自然言語処理の分野では、Transformer ベースの機械翻訳システムが、言語を超えたコミュニケーションへのアプローチ方法に革命をもたらしました。大手変圧器サプライヤーとして、当社はこれらのシステムの開発と最適化に深く関わっています。 Transformer ベースの機械翻訳ソリューションの高品質なパフォーマンスを確保するには、適切な評価指標を理解して利用することが重要です。
1. ブルースコア
BLEU (Bilingual Evaluation Understudy) スコアは、機械翻訳を評価するために最も広く使用されている指標の 1 つです。機械翻訳されたテキストと 1 つ以上の参考翻訳との類似性を測定します。 BLEU の背後にある基本的な考え方は、候補翻訳と参照翻訳の間の N グラムの重複を計算することです。
たとえば、ユニグラム (n = 1) BLEU スコアは、候補翻訳内の個々の単語が参照翻訳にも出現する割合を測定します。バイグラム (n = 2) やトリグラム (n = 3) などの高次の n グラムは、より複雑な構文情報と意味情報を取得します。
BLEU スコアの範囲は 0 ～ 1 です。0 は参照翻訳との重複がないことを示し、1 は完全な一致を示します。ただし、BLEU スコアにはいくつかの制限があります。テキストの意味論的な意味は考慮されていないため、構文的には正しいが意味論的に間違っている翻訳に高いスコアが与えられる場合があります。
2.流星
METEOR (明示的な順序付けによる翻訳の評価指標) も重要な評価指標です。これはユニグラム マッチングと語幹検索および同義語のマッチングを組み合わせたもので、BLEU スコアの制限の一部に対処するのに役立ちます。
METEOR は、単語の正確な一致と、ステミングと同義語の置換後の一致の両方を考慮して、ユニグラムの精度と再現率の調和平均を計算します。この指標では、文の構文構造を把握するために重要な語順もある程度考慮されます。
BLEU と比較して、METEOR は一般に、特に意味上の類似性の観点から、翻訳品質のより包括的な評価を提供します。ただし、計算コストが高くなり、計算が遅くなる可能性があります。
3.ルージュ
ROUGE (Recall - Oriented Understudy for Gisting Evaluation) は、もともと自動テキスト要約を評価するために設計された一連の指標ですが、機械翻訳にも適用されています。 ROUGE は、n グラム、スキップ バイグラム、および最長共通部分列の観点から、候補翻訳と参照翻訳の間の重複を測定します。
ROUGE - N は、N グラムの再現率を測定します。N は 1、2 などです。ROUGE - L は、候補と参照の間の最長の共通部分列を測定します。これらの指標は、ソース テキスト内の重要な情報をキャプチャする機械翻訳システムの能力を評価するのに役立ちます。
4.持っています
翻訳編集率 (TER) は、候補翻訳を参照翻訳に変換するために必要な編集 (挿入、削除、置換) の数を測定します。翻訳の流暢さと正確さの尺度を提供します。
TER 値が低いほど、リファレンスと一致させるために必要な編集が少なくて済むため、翻訳の品質が高くなります。 TER は、翻訳の構文的および語彙的な精度を評価するのに特に役立ちます。
5. 人的評価
自動化された指標は便利で広く使用されていますが、機械翻訳の品質を評価するには人間による評価が依然として重要な部分です。人間の評価者は、意味上の一貫性、文化的適切性、翻訳の全体的な読みやすさなどの要素を考慮できます。
人間による評価は、翻訳をスケールで評価したり、異なる翻訳を比較したり、詳細なフィードバックを提供したりするなどのタスクを通じて実行できます。ただし、人間による評価は時間がかかり、個人の偏見の影響を受けます。
当社の機械翻訳用トランス製品
当社は変圧器サプライヤーとして、機械翻訳システムに適した高品質な変圧器製品を幅広く提供しています。私たちのエポキシキャスト乾式変圧器安定した電力供給と信頼性の高いパフォーマンスを提供します。これは、機械翻訳アルゴリズムのスムーズな動作に不可欠です。
私たちの11kV油入変圧器大規模な機械翻訳モデルの高電力要件を満たすように設計されています。絶縁性、放熱性に優れ、長期安定した動作を実現します。
さらに、私たちの11kv乾式変圧器は、中小規模の機械翻訳アプリケーションにとってコスト効率の高いソリューションです。設置やメンテナンスが簡単なので、多くのお客様に好評です。
結論
結論として、Transformer ベースの機械翻訳システムのパフォーマンスを評価するには、自動化されたメトリクスと人間による評価の組み合わせが必要です。各指標には独自の長所と限界があるため、包括的な評価では翻訳品質の複数の側面を考慮する必要があります。
当社は変圧器サプライヤーとして、機械翻訳システムの開発と運用をサポートする高品質な変圧器製品の提供に努めます。当社の製品にご興味がございましたら、調達についてご相談したい場合はお気軽にお問い合わせください。より良い機械翻訳のパフォーマンスを実現するために、皆様と協力できることを楽しみにしています。
参考文献
- Papineni, K.、Roukos, S.、Ward, T.、Zhu, WJ (2002)。 BLEU: 機械翻訳の自動評価手法。計算言語学協会に関する第 40 回年次総会の議事録。
- Banerjee, S.、Lavie, A. (2005)。 METEOR: 人間の判断との相関性が向上した MT 評価の自動指標。機械翻訳および/または要約のための内部および外部評価尺度に関する ACL ワークショップの議事録。
- リン、CY (2004)。 ROUGE: サマリーを自動評価するためのパッケージ。テキスト要約に関するワークショップの議事が分岐します。
- Snover, M.、Dorr, B.、Schwartz, R.、Micciulla, L.、Makhoul, J. (2006)。ターゲットを絞った人間によるアノテーションによる翻訳編集率の研究。アメリカ大陸機械翻訳協会の議事録。