AI資格ドリル
資格を選ぶ↓

用語比較

BLEUとROUGEの違い|機械翻訳の適合率ベースの指標と、要約の再現率ベースの指標(G検定)

BLEUとROUGEは、どちらも人が作った正解の文章(参照)と、機械が出した文章の重なりを数えて点数にする自動評価の指標です。機械翻訳の話ではBLEU、要約の話ではROUGEが出てきます。名前が似ていて、どちらもn-gram(連続したn個の語)の一致を使うため、説明文だけでは取り違えやすい組み合わせです。

BLEUは翻訳の出力のうち参照と一致した割合(適合率)を見て短すぎる出力に罰則を掛ける指標、ROUGEは参照のうち出力に含まれていた割合(再現率)を見る指標と覚えると、選択肢を切り分けられます。

このページは、BLEUの原論文(2002年)とROUGEの論文(2004年)の記述をもとに、評価する対象・分母・短さの扱い・計算で比べます。翻訳モデルそのものの違いは別のページにあります。

この記事の根拠と出典

各セクションの見出しの下に、公式資料で確認した内容か編集部の整理かをラベルで示しています。 試験日・料金・申込条件・試験方式は変わることがあるため、申込前に公式サイトで確認してください。G検定の一次情報確認日: 2026-10-02。

結論

BLEU

Papineniらが2002年に発表した、機械翻訳の自動評価の指標。候補訳のn-gramが参照訳にどれだけ含まれるかを数える適合率に基づく。短すぎる訳には短さの罰則(brevity penalty)を掛ける。

ROUGE

Linが2004年に発表した、要約の自動評価の指標群。名前は Recall-Oriented Understudy for Gisting Evaluation の略で、参照の要約のn-gramがどれだけ出力に含まれるかを数える再現率に基づく。

見分け方

選択肢に「機械翻訳」「適合率」「短さの罰則」があればBLEU、「要約」「再現率」「最長共通部分列」があればROUGEです。

違いを表で確認

比較軸BLEUROUGE
評価する対象BLEU:機械翻訳の出力。論文の題名が「機械翻訳の自動評価の方法」ROUGE:要約の出力。論文の題名が「要約の自動評価のパッケージ」
基にする量BLEU:適合率。候補訳のn-gramのうち、参照訳に現れたものの割合を見るROUGE-N:再現率。参照要約のn-gramのうち、候補の要約に現れたものの割合を見る。式の分母が参照側のn-gramの総数になる
短さ・長さの扱いBLEU:候補が参照より短いと、短さの罰則(brevity penalty)で点数を下げる。候補が長い場合は適合率の側で既に不利になるROUGE-N:分母が参照側なので、参照の内容を拾えていないほど下がる。式にはBLEUのような短さの罰則は入っていない
計算の特徴BLEU:同じ語の繰り返しを防ぐため、候補の各n-gramの数を参照に現れる最大回数で頭打ち(clipping)にし、n=1〜4の適合率を幾何平均する(論文の基準設定)ROUGE:ROUGE-N(n-gramの再現率)、ROUGE-L(最長共通部分列に基づく)、ROUGE-W、ROUGE-Sの4種類を示す。ROUGE-Lは連続していなくても順序の合う一致を数える
目指したことBLEU:人手の評価は高価で数か月かかる。速く安く言語に依存せず、人手の評価と高く相関する代理として提案されたROUGE:要約の人手評価は大がかりで頻繁に行えない。BLEUの成功を受けて、同様のn-gramの重なりを要約評価に使えるかを検討した

どこで迷っているかを切り分ける

01

「機械翻訳の精度を自動で測る」「短すぎる訳に罰則」という語が出る人

BLEUです。候補訳と参照訳のn-gramの一致を適合率で見て、参照より短い訳には短さの罰則を掛けます。

02

「要約」「再現率」「最長共通部分列」という語が出る人

ROUGEです。参照の要約の内容がどれだけ出力に含まれるかを再現率で見ます。ROUGE-Lは最長共通部分列で語順の合う一致を数えます。

03

「適合率と再現率のどちらに基づくか」を問われる人

BLEUは適合率、ROUGE-Nは再現率です。ROUGEの論文自身が、BLEUを適合率に基づく尺度と述べています。

具体例で使い分ける

例 1

選択肢に「短さの罰則」が出る場合(架空の場面)

「機械翻訳の出力を参照訳との n-gram の一致で評価し、参照より短い出力に罰則を掛ける指標はどれか」という問いがあります。

  • n-gramの一致で翻訳を評価し、短さの罰則(brevity penalty)を掛けるのはBLEUの式の特徴です。
  • ROUGEは要約の評価に使われる指標群で、分母を参照側に置く再現率が基本です。

結論: 短さの罰則が出ればBLEUです。

例 2

小さな例でBLEUの頭打ちを確かめる(論文の例にならった計算)

候補が「the the the the the the the」の7語、参照が「The cat is on the mat.」(大文字小文字は区別しない)のとき、単語1個ずつ(unigram)の適合率を求めます。

  • 頭打ちをしない適合率では、候補の7語すべてが参照に現れるので7/7になります。
  • 頭打ちをすると、候補の「the」の数は参照に現れる最大回数の2回に切られ、一致は2で、候補の語数7で割って2/7になります。

結論: 同じ語を並べただけの出力は、頭打ちで点数が大きく下がります。

例 3

小さな例でROUGE-1の再現率を計算する(架空の例)

参照の要約が「the cat sat on the mat」の6語、候補の要約が「the cat on the mat」の5語です。単語1個ずつ(ROUGE-1)で見ます。

  • 候補の5語(the 2回、cat、on、mat)は、どれも参照に同じ回数以上あるので、一致は5です。
  • 再現率は、一致5を参照側の語数6で割って5/6です。適合率は、一致5を候補側の語数5で割って5/5になります。
  • 候補は参照より短いので、BLEUの式ではBPがe^(1-6/5)で約0.82となり、適合率が高くても点数が下がります。

結論: 分母が参照側ならROUGE-N(再現率)、候補側ならBLEUの適合率です。

問題文から答えを選ぶ手順

  1. 1

    対象を見る

    機械翻訳ならBLEU、要約ならROUGEです。

  2. 2

    分母を見る

    候補側の語数で割るなら適合率でBLEU、参照側の語数で割るなら再現率でROUGE-Nです。

  3. 3

    罰則を見る

    「短さの罰則」「頭打ち(clipping)」「幾何平均」が出ればBLEUです。

  4. 4

    名前の後ろを見る

    「ROUGE-L」「最長共通部分列」ならROUGEです。連続していない一致も数えます。

試験での見分け方

  • 1BLEUは、Papineniらが2002年に発表した機械翻訳の自動評価の指標で、候補訳と参照訳のn-gramの一致(適合率)に基づく。
  • 2BLEUは、候補のn-gramの数を参照に現れる最大回数で頭打ちにした修正n-gram適合率の幾何平均に、短さの罰則(BP)を掛ける。論文の基準設定はn=4で重みは一様である。
  • 3ROUGEは、Linが2004年に示した要約の自動評価の指標群で、名前は Recall-Oriented Understudy for Gisting Evaluation の略である。
  • 4ROUGE-Nは、参照要約のn-gramのうち候補に現れたものの割合(n-gramの再現率)で、ROUGE-Lは最長共通部分列に基づく。

誤答しやすい選択肢

ROUGEを翻訳の評価指標と考える

修正: ROUGEの論文の題名は要約の自動評価です。翻訳の評価で名前が出るのはBLEUです。

どちらも適合率に基づくと考える

修正: BLEUは適合率、ROUGE-Nは再現率です。ROUGEの論文は、BLEUを適合率に基づく尺度として区別しています。

ROUGE-Lを連続した語の一致だけを数える指標と考える

修正: ROUGE-Lは最長共通部分列に基づくので、連続していなくても順序の合う一致を数えます。論文は、この点を利点として述べています。

確認問題

Q1機械翻訳の自動評価の指標で、候補訳が参照訳より短いときに短さの罰則を掛けるのは?

答え: BLEU

修正n-gram適合率の幾何平均に、短さの罰則(brevity penalty)を掛けます。

Q2要約の自動評価の指標群で、参照要約のn-gramが候補にどれだけ含まれるか(再現率)を基本にするのは?

答え: ROUGE(ROUGE-N)

分母が参照要約側のn-gramの総数になるので、再現率に関わる尺度です。

Q3最長共通部分列に基づき、連続していなくても順序の合う一致を数えるROUGEの種類は?

答え: ROUGE-L

あらかじめn-gramの長さを決める必要がない点も、論文が利点として述べています。

到達チェック

  • BLEUが翻訳、ROUGEが要約の評価だと言える
  • BLEUは適合率、ROUGE-Nは再現率だと言える
  • 短さの罰則がBLEUの式の要素だと言える

同じ資格で次に知りたいこと

よくある質問

QBLEUとROUGEの違いは?

A

BLEUは機械翻訳の自動評価の指標で、候補訳のn-gramが参照訳に含まれる割合(適合率)を基に、短い訳に罰則を掛けます。ROUGEは要約の自動評価の指標群で、参照要約のn-gramが候補に含まれる割合(再現率)を基本にします。

QROUGEの名前の意味は?

A

Recall-Oriented Understudy for Gisting Evaluation の略です。名前に再現率(Recall)が入っており、ROUGE-Nは参照要約側のn-gramを分母にする再現率の尺度です。

QBLEUの短さの罰則とは?

A

候補訳の長さcが参照訳の有効な長さrより長ければ罰則は1(なし)、c≦rならe^(1-r/c)を掛ける仕組みです。短い訳が適合率だけで高得点になるのを防ぎます。

次に見る比較

執筆: ミナト編集部(運営者情報を見る)