【論文解説】LLMはなぜ日本文化に寄りがちなのか？CROQで見る文化・地域バイアス

3文要約

この論文は、LLM（Large Language Model、大規模言語モデル）が文化に関する曖昧な質問へ答えるとき、どの国や地域を暗黙に選びやすいのかを調べた研究です。

著者らは、CROQ（Culture-Related Open Questions、文化に関する自由回答型質問データセット）を作り、24言語・31,680問で複数のLLMの回答を分析しています。

論文では、入力言語の公用国への強い偏りに加えて、外部参照では日本、米国、インドなど一部の国が目立つこと、さらにその偏りは事前学習よりもSFT（Supervised Fine-Tuning、教師あり微調整）後に強まりやすいことが示されています。

論文情報

何を調べた論文か：LLMの「文化的な初期値」を測る

この論文が扱う問いは、「LLMは文化の話をするとき、どの地域を自然に思い浮かべるのか」です。

たとえば、「家族生活を形づくる価値観は何か」「どのような伝統舞踊があるか」のような質問は、国や地域を指定しないと複数の正解があり得ます。

このような質問に対して、LLMが日本、米国、インド、中国、フランスなど、どの地域に回答を寄せるのかを分布として見ます。

重要なのは、この研究が「文化的に正しい答え」を採点しているわけではない点です。

正誤判定ではなく、自由回答に現れる地域参照の偏りを観察しています。

背景：文化ベンチマークだけでは見えにくい偏り

既存の文化ベンチマーク（評価用データセット）では、多くの場合、選択式問題や正解ラベルつき問題でLLMの文化知識を測ります。

それは知識の有無を見るには有効です。

一方で、「正解が1つではない文化質問」に対して、LLMがどの文化圏を自然に選ぶのかは見えにくくなります。

この論文は、そこを分布として測ります。

CROQデータセット：24言語・31,680問の自由回答型質問

著者らは、CROQという新しいデータセットを構築しています。

CROQは、文化に関する曖昧な質問を集めたデータセットです。

11トピックには、信念・価値観・アイデンティティ、日常生活、教育、芸術、食、地理、政治、健康、メディア、歴史、経済などが含まれます。

質問は、地名を明示しない形で作られています。

What values shape family life {in region/place}? Be brief. Choose yourself the place.

日本語で言えば、「どの地域かは自分で選び、家族生活を形づくる価値観を短く答えてください」という形です。

ここでLLMは、明示されていない地域を自分で補う必要があります。

その補い方に、モデル内部の文化的・地域的な事前分布が現れる、というのが論文の発想です。

評価方法：回答から国・地域を抽出する

評価は大きく3段階です。

1. CROQの質問をLLMに入力する
2. LLMが自由回答を生成する
3. 別のLLM-as-a-judge（LLMを評価者として使う方法）で、回答に含まれる国・地域を最大5件抽出する

論文では、LLM-as-a-judgeの抽出手順について、264件の評価で98%の精度を達成したプロンプトを採用したと説明しています。

Normalized Entropy（正規化エントロピー）は、分布の偏りを測る指標です。

国・地域の集合を\(C\)、国\(c\)が参照される確率を\(p(c)\)とすると、エントロピーは次のように書けます。

\[
H(C) = – \sum_{c \in C} p(c) \log p(c)
\]

ただし、国の種類数が多いほど最大値も大きくなるため、比較しやすいように最大値で割って正規化します。

\[
H_{\mathrm{norm}}(C) =
\frac{
– \sum_{c \in C} p(c) \log p(c)
}{
\log |C|
}
\]

\(H_{\mathrm{norm}}\)が1に近いほど、参照が複数地域へ均等に広がっていると解釈できます。

逆に0に近いほど、特定の国や地域に集中している可能性があります。

主要結果：入力言語の国に寄りやすく、日本・米国・インドも目立つ

論文のRQ1では、「LLMはどのような地域文化バイアスを持つのか」が調べられています。

結果として、多くのモデルで入力言語の公用国への参照が強く現れました。

たとえば英語で質問すると英語圏、日本語で質問すると日本、スペイン語で質問するとスペイン語圏のように、言語と国の共起が回答に反映されやすい、と論文では示されています。

また、入力言語の公用国ではない外部参照を見ると、日本と米国が特に頻出し、その後にインド、中国、フランスなどが続く傾向が報告されています。

ここで大事なのは、「LLMは日本文化が好きだ」と読むのではなく、「自由回答で地域を選ぶとき、日本が参照されやすい分布が観測された」と読むことです。

言語の影響：高リソース言語と低リソース言語で分布が変わる

RQ2では、入力言語が地域バイアスにどう影響するかを調べています。

論文では、英語、中国語、フランス語、ロシア語などの高リソース言語（学習データが比較的多い言語）では、参照される国・地域がやや広がりやすい傾向が示されています。

一方で、アムハラ語、スンダ語、アッサム語、ハウサ語、バスク語などの低リソース言語（学習データが比較的少ない言語）では、入力言語の公用国への参照や未回答が増え、分布が狭くなりやすいと論文では説明されています。

これは多言語サービスにとって重要です。

同じプロンプトでも、言語を変えるだけで、モデルが想定する文化的背景が変わる可能性があるためです。

どの学習段階で偏りが強まるのか

RQ3では、文化・地域バイアスが学習のどの段階で現れるのかを調べています。

論文では、Base model（事前学習後の基盤モデル）とInstruct model（指示追従用に調整されたモデル）を比較しています。

結果として、Base modelは地域参照が比較的広く分散する一方で、SFTやInstruction tuning（指示に従うように後段で調整する工程）の後に、特定地域への集中が強まりやすいことが示されています。

ここから、文化バイアスは単に事前学習データだけで決まるのではなく、「どのような模範回答を好ましいと教えるか」にも影響される可能性が示唆されます。

実装者視点：CROQ型評価を自社AIサービスで使うなら

LLMアプリケーションを作る側から見ると、この研究はかなり実務的です。

文化や地域に関わる回答を出すサービスでは、プロンプト言語ごとに回答分布が変わる可能性があるためです。

たとえば、旅行、教育、医療情報、地域ニュース、商品推薦、キャラクター会話、多言語チャットボットなどでは、文化的な初期値がユーザー体験に影響します。

import logging
from collections import Counter
from typing import Iterable

logger = logging.getLogger(__name__)


def count_region_mentions(region_lists: Iterable[list[str]]) -> Counter[str]:
    """LLM回答から抽出済みの地域名リストを集計する。

    Args:
        region_lists: 1回答ごとに抽出された国・地域名のリスト。

    Returns:
        国・地域名をキー、出現回数を値にしたCounter。

    Raises:
        TypeError: region_listsの要素がlist[str]として扱えない場合。

    Example:
        >>> count_region_mentions([["Japan", "USA"], ["Japan"]])
        Counter({'Japan': 2, 'USA': 1})
    """
    counts: Counter[str] = Counter()

    for regions in region_lists:
        if not isinstance(regions, list):
            logger.error("region_lists must contain list[str], got %s", type(regions).__name__)
            raise TypeError("region_lists must contain list[str]")

        for region in regions:
            if not isinstance(region, str):
                logger.error("region name must be str, got %s", type(region).__name__)
                raise TypeError("region name must be str")

            # 表記ゆれを別カウントにしないため、集計前に最低限の正規化を行う。
            normalized = region.strip()
            if normalized:
                counts[normalized] += 1

    logger.info("counted %d unique regions", len(counts))
    return counts

実務では、この集計だけでは不十分です。

地域名抽出モデルの誤り、多義的な地名、国と文化圏のズレ、ユーザーの意図、サービス上許容できる偏りの基準を別途設計する必要があります。

よくある誤解

この論文の限界と注意点

なぜ重要か：多言語AIサービスの品質に直結する

この論文が重要なのは、文化バイアスが「倫理的に大事」というだけでなく、実際のサービス品質に影響するからです。

たとえば、多言語の教育AIが、低リソース言語の質問に対して毎回その国だけを前提にすると、世界の多様な事例を学ぶ機会が狭まります。

旅行AIが、文化的な説明で特定国の有名事例ばかり出すと、ユーザーが求める地域性とずれる可能性があります。

また、医療・行政・金融のような高リスク領域では、地域前提の誤りがユーザーに不利益を与える可能性もあります。

このため、LLMを多言語・多文化環境で使う場合は、単に翻訳品質を見るだけでなく、回答がどの地域を暗黙に前提にしているかを検査することが重要です。

関連技術

次に読むべき記事

まとめ

この論文は、LLMが文化に関する自由回答でどの国や地域を暗黙に選びやすいのかを、CROQという新しいデータセットで分析しています。

論文では、入力言語の公用国への強い偏りに加えて、外部参照では日本、米国、インドなどが目立つ傾向が示されています。

また、文化・地域バイアスは事前学習だけでなく、SFTやInstruction tuningといった後段の調整で強まり得ることも示唆されています。

多言語AIサービスを作るなら、「どの言語で聞いても同じ品質で答えるか」だけでなく、「どの文化や地域を暗黙に前提にしているか」を評価することが重要です。