这项由哈佛大学、MIT、微软研究院等多所知名机构的研究东谈主员共同完成的蹙迫研究，发表于2025年2月，论文全名为《Language Models' Factuality Depends on the Language of Inquiry》。这个由Kumar Tanmay（哈佛大学）、Tushar Aggarwal（微软研究院）、Ayush Agrawal（蒙特利尔大学/Mila）等东谈主构成的国外研究团队，通过深入分析揭示了现时首先进AI讲话模子的一个粉饰劣势。感意思的读者可以通过论文下载集结获取完整研究内容。

你有莫得遭受过这样的情况：用汉文问AI一个对于某个番邦名东谈主的问题，它讲演不出来，但换成英文问相似的问题，它却能准确讲演？若是你以为这仅仅就怕步地，那就大错特错了。这个看似浅易的步地，实验上揭示了现时AI讲话模子的一个根人道问题——它们并不像咱们想象的那样大致在不同讲话之间解放调度知识。

研究团队通过一个无邪的例子完整展示了这个问题：当他们用阿拉伯语商量AI"拉希德·沙沙伊来自哪个国度"时，多个先进的AI模子都能正确讲演"沙特阿拉伯"。关联词，当研究东谈主员用英语或斯瓦希里语问相似的问题时，这些原本"忠良"的AI却一霎"失忆"了，纷繁讲演"不知谈"。这就好比一个闪耀多种讲话的翻译，明明知谈某个词的含义，却只可用其中一种讲话抒发出来，换个讲话就词穷了。

这个步地的背后粉饰着什么秘籍？研究团队发现，面前的AI讲话模子固然堪称是"多讲话"的，但它们实验上更像是把不同讲话的知识分裂装在不同的"盒子"里，而不是着实领路了这些知识的本色含义。当你用阿拉伯语发问时，AI会去"阿拉伯语盒子"里找谜底；当你用英语发问时，它只会去"英语盒子"里找。若是英语盒子里莫得这个信息，即使阿拉伯语盒子里有，AI也找不到。

为了深入研究这个问题，研究团队联想了一套全面的测试体系。他们选拔了13种不同的讲话，涵盖了高资源讲话（如英语、汉文、法语、日语）、中等资源讲话（如印地语、俄语、阿拉伯语、希腊语）和低资源讲话（如尼泊尔语、乌克兰语、土耳其语、斯瓦希里语、泰语），构建了一个包含10000个与国度有关事实的高大数据库。

这个数据库就像一座巨大的知识藏书楼，里面收录了多样对于不同国度的事实信息——从城市、艺术家、体育东谈主物到地标、节日、政事家，应有尽有。研究团队将这些信息翻译成13种讲话，创建了相应的问题模板，然后用这些问题去"考试"14个不同的AI模子，包括咱们熟悉的Llama、Gemma、DeepSeek、Phi等知名模子。

一、讲话"偏心眼"步地：AI模子的双重圭臬

研究收尾令东谈主畏怯。真的所有被测试的AI模子都说明出了明显的"讲话偏心眼"步地。这种偏心并不是赶快的，而是受命着一定的规定：AI模子在用与某个国度"关联度较高"的讲话发问时说明更好，而用其他讲话发问时说明明显着落。

以Llama-3-70B模子为例，当用与事实有关的"原土讲话"商量时，它的虚假率惟有2.36%，说明至极出色。关联词当用其他讲话商量相似的事及时，虚假率却飙升到9.85%，差距超越了四倍。这就好比一个导游，在我方的家乡大致了然入怀地先容每一个景点，但一朝到了其他地方，就变得支敷衍吾，许多基本信息都说不明晰。

更料想的是，研究团队还发现了"讲话资源效应"。高资源讲话（那些在互联网上有无数文本尊府的讲话）的说明明显优于低资源讲话。用高资源讲话发问时，AI的说明比用低资源讲话发问要好46%。这就像是在一个藏书楼里，那些藏书丰富的书架老是能提供更准确的信息，而那些藏书突出的书架则时常让东谈主失望而归。

模子限制的影响也至极显赫。研究炫耀，大模子比小模子的跨讲话知识改革才能要强得多。Llama-3-70B在详尽评分上比Llama-3.2-1B高出152%，这个差距至极惊东谈主。这证明，要想让AI着实作念到跨讲话知识分享，咱们需要参加更多的计算资源和更大的模子限制。

二、三重测试体系：全地点透视AI的讲话才能

为了全面评估AI模子的多讲话才能，研究团队联想了三种不同类型的测试，就像给AI进行全面体检一样。

第一种测试是"事实回忆测试"，至极于测试AI的基础追思才能。研究东谈主员会问一些平直的事实问题，比如"孟买位于哪个国度？"或"??? ??? ????? ??????? ?？"（尼泊尔语：达兰位于哪个国度？）。这个测试的目的是看AI能否在不同讲话环境下回忆起疏通的事实信息。

收尾炫耀，AI模子渊博存在严重的讲话偏见。当问题的讲话与谜底国度的"原土讲话"匹配时，AI说明出色；但当讲话不匹配时，性能就大幅着落。这就好比一个东谈主，用母语能流利地背诵诗歌，但用外语就巴巴急急，即使是磨灭首诗的翻译版块。

第二种测试是"语境领路测试"，熟谙AI能否字据给定的语境信息正确讲演问题，而不是依赖我方的内置知识。比如，研究东谈主员会说"李伟住在俄罗斯，谢尔盖住在中国，谁住在俄罗斯？"这个测试格外料想，因为它有意抵触了咱们的知识贯通——无为咱们会以为"李伟"是中国名字，"谢尔盖"是俄罗斯名字。

这个测试揭示了AI的另一个问题：文化偏见。许多AI模子无法开脱对名字的刻板印象，即使明确告诉它们"李伟住在俄罗斯"，它们仍然倾向于以为李伟住在中国。这证明AI在处分跨文化信息时，时常会被预设的文化关联所误导。

第三种测试是"反事实相持测试"，这个测试最料想，也最能知道AI的问题。研究东谈主员会有意提供虚假的信息，比如说"乔治·华盛顿活命在印度，求教乔治·华盛顿活命在哪个国度？"正确的回管待该是字据给定信息讲演"印度"，但许多AI模子会"改良"这个虚假，相持讲演"好意思国"。

这个测试的收尾至极有启发性。那些在事实回忆方面说明优异的模子，在反事实相持测试中时常说明较差。这就好比一个博学的拔擢，知识富饶是优点，但有时会过于死板己见，不肯意袭取与既有知知趣矛盾的信息。

三、评估体系立异：三个维度量化AI的讲话智能

为了科学地评估AI模子的多讲话才能，研究团队创造了三个全新的评分磋议，就像为AI的讲话才能开垦了一套圭臬化考试系统。

第一个磋议叫作念"事实回忆分数"（FRS），专门测量AI在单一讲话环境下回忆事实的准确性。这个分数就像学生的考试收成，分数越高证明AI在该讲话下的说明越好。计算设施洽商了两种情况：AI用"原土讲话"讲演有关国度问题时的虚假率，以及用"非原土讲话"讲演时的虚假率。当这两个虚假率都为零时，FRS得分为满分1.0；当虚假率很高时，得分接近0。

第二个磋议是"知识改革分数"（KTS），这个磋议最关节，专门测量AI在不同讲话之间改革知识的才能。它不宽恕AI的全都准确率有多高，而是宽恕AI在不同讲话下的说明是否一致。若是一个AI模子用英语讲演某个问题的准确率是90%，用汉文讲演相似问题的准确率亦然90%，那么它的KTS分数就很高，即使90%这个准确率自己并不完整。相悖，若是AI用英语能达到95%的准确率，但用汉文惟有50%的准确率，那么它的KTS分数就会很低。

第三个磋议是"跨讲话事实知识改革分数"（X-FaKT），这是前两个分数的详尽评估，采纳长入平均数的计算设施。这个分数的联想很奥妙：它不允许AI通过在某一个方面说明格外好来笼罩在另一个方面的不及。惟有当AI既能准确回忆事实（高FRS），又能在不同讲话间保持一致性（高KTS）时，X-FaKT分数才会高。

通过这三个磋议的测试，研究团队发现了一个料想的步地：模子限制如实很蹙迫。在所有测试的模子中，参数目最大的Llama-3-70B说明最好，X-FaKT分数达到0.848，这意味着它在事实准确性和跨讲话一致性方面都相对可以。而较小的模子，如Llama-3.2-1B，X-FaKT分数惟有0.336，说明至极不睬想。

更令东谈主不测的是，即使是相似参数限制的不同模子，说明也可能大相径庭。比如，Gemma-2-9B的X-FaKT分数是0.691，明显优于参数目更大的Mistral-7B-v0.2（0.483）。这证明，除了模子限制除外，老师设施、数据质料和架构联想都会显赫影响AI的跨讲话才能。

四、讲话资源分层：AI全国的"数字领域"

研究团队的一个蹙迫发现是，AI模子的说明与讲话的"资源丰富度"密切有关。他们将13种测试讲话分为三个档次，就像把全国讲话分红了"富饶区"、"中产区"和"艰苦区"。

高资源讲话包括英语、汉文、法语和日语，这些讲话在互联网上有海量的文本尊府，AI老师时能构兵到无数有关内容。在测试中，当使用这些讲话发问时，AI的平均虚假率惟有3.83%，说明至极优秀。这就好比在一座范例皆全的当代化藏书楼里查找尊府，多样信息都能平缓找到。

中等资源讲话包括印地语、俄语、阿拉伯语和希腊语，这些讲话的汇注资源相对较少，AI的老师数据也相应减少。测试收尾炫耀，使用这些讲话时，AI的虚假率飞腾到26.73%，性能明显着落。

低资源讲话包括尼泊尔语、乌克兰语、土耳其语、斯瓦希里语和泰语，这些讲话的汇注资源稀缺，AI构兵的有关老师数据至极有限。在这些讲话的测试中，AI的虚假率高达29.53%，说明最差。

关联词，研究团队发现了一个料想的例外步地：斯瓦希里语和土耳其语固然被归类为低资源讲话，但它们的说明却比预期好得多。深入分析后发现，这两种讲话都使用拉丁字母，而AI模子在老师经由中构兵了无数的英语（也使用拉丁字母）内容。这种笔墨系统的相似性匡助AI更好地处分这些讲话，就像一个熟悉拼音的中国东谈主更容易学会其他使用拉丁字母的讲话一样。

这个发现揭示了AI老师中的一个蹙迫旨趣：笔墨系统的相似性大致促进跨讲话的知识改革。研究东谈主员发现，使用相似笔墨系统的讲话对之间说明出更强的关联性。比如，印地语和尼泊尔语（都使用天城文）、俄语和乌克兰语（都使用西里尔字母）在AI说明上炫耀出明显的相似阵势。

五、模子架构影响：不同"大脑结构"的才能各异

研究团队测试了14个不同的AI模子，这些模子就像领有不同"大脑结构"的智能体，在处分多讲话任务时说明出天渊之别的才能。

Llama系列模子举座说明最为平衡。Llama-3-70B行为"旗舰型号"，不仅参数目最大（700亿个），而况在15万亿个词汇的多讲话数据上进行老师，相沿8种主要讲话。它在所有三个评算磋议上都取得了最好收成，就像一个着实的"讲话天才"，既博学又能交融交融。

Gemma系列模子说明也至极可以，格外是在知识一致性方面。Gemma-2-27B固然参数目比Llama-3-70B少，但在某些跨讲话任务上的说明至极安详，就像一个固然知识面不如博士那么广，但在我方掌抓的知识范围内至极可靠的专科东谈主士。

Phi系列模子展现了一个料想的步地：尽管参数目相对较小，但经过全心联想的老师战略让它们在某些任务上说明出色。Phi-4-14B相沿16种讲话，在多讲话推理任务中说明不俗，这证明老师设施的蹙迫性不亚于模子限制。

DeepSeek和Mistral等模子主要专注于英语和汉文，在处分其他讲话时说明相对较差。这就像专科化的翻舌人，在我方的专科领域至极出色，但涉至极他领域就显过劲不从心。

最小的模子如Llama-3.2-1B在所有测试中都说明较差，这并不令东谈主不测。毕竟，10亿个参数比拟于700亿个参数，就像是一个小学生的大脑容量与大学拔擢比拟，差距是不言而喻的。

六、深度分析：AI"讲话孤岛"步地的压根原因

通过无数的实验和分析，研究团队揭示了AI模子跨讲话知识改革弯曲的压根原因，这些原因就像禁止不同岛屿之间交流的自然樊篱。

起先是"讲话孤苦效应"。AI模子在老师经由中，不同讲话的知识时常被存储在相对寂然的"神经汇注区域"中，就像大脑中负责不同功能的区域一样。当AI用某种讲话学习一个事及时，这个信息主要存储在与该讲话有关的神经联结中。当换用另一种讲话查询时，AI需要在不同的神经区域之间开垦联结，而这种联结时常是薄弱的或者压根不存在的。

其次是"老师数据偏差"。不同讲话在AI老师数据中的占比各异巨大，英语内容可能占据了老师数据的大头，而一些小语种的内容只占很小的比例。这就导致AI对某些讲话的领路远比其他讲话长远，酿成了明显的"偏科"步地。

第三是"文化关联强化"。在老师数据中，对于某个国度的信息更多地以该国的官方讲话或主要讲话出现。比如，对于沙特阿拉伯的信息更多地出面前阿拉伯语文本中，对于日本的信息更多地出面前日语文本中。这种步地在老师经由中继续强化，最终导致AI开垦了强横的"讲话-国度"关联，难以跳出这种固定阵势。

研究团队还发现了一个料想的步地：AI模子在处分"反知识"信息时会说明出死板的一面。当研究东谈主员有意提供与常知趣矛盾的信息时，那些在事实回忆方面说明优秀的模子反而更难袭取这些信息。这就像一个博学的拔擢，恰是因为知识丰富，是以更容易对与既有知识打破的信息产生抗击。

七、实验细节：科学严谨的测试设施

为了确保研究收尾的可靠性，研究团队采纳了极其严谨的实验联想，就像进行一场大限制的科学实验。

他们构建的数据集包含三个部分，共计2362个测试实例。事实回忆测试包含802个实例，每个实例都是一个浅易平直的事实性问题，如"孟买位于哪个国度？"这些问题涵盖了13个国度的多样地舆、文化、政事信息，确保测试的全面性。

语境领路测试包含156个实例，每个实例都全心联想了反直观的情境。研究东谈主员有意幸免将东谈主名与其最常关联的国度配对，比如会说"山田太郎住在巴西，史小姐住在日本"，然后问"谁住在日本？"这种联想大致灵验测试AI是否大致开脱刻板印象，着实领路给定的语境信息。

反事实相持测试包含1404个实例，这是最大的测试集。研究东谈主员选拔了一些历史上著名的东谈主物，如乔治·华盛顿、拿破仑等，然后有意提供虚假的信息，如"拿破仑活命在中国"，看AI是否大致按照给定信息讲演，如故会相持历史事实。

为了确保评估的客不雅性，研究团队使用了Qwen-2.5-72B-Inst行为评估器，这是一个专门用于评估其他AI讲演质料的模子。但在使用经由中，他们发现了一个蹙迫问题：评估器自己也可能带有知识偏见。比如，当评估器"知谈"某个历史事及时，它可能会倾向于以为妥贴历史事实的讲演是正确的，即使题目条目的是字据给定的反事实信息讲演。

这个发现让研究团队领略到，使用AI来评估AI是一个复杂的问题，需要至极提神性箝制评估器的行径，确保它按照预定的评估圭臬责任，而不是按照我方的知识配景进行判断。

八、不测发现：AI的"讲话回退"步地

在研究经由中，团队发现了一个之前未被防备到的料想步地："讲话回退"。当AI在某种讲话下无法找到准确谜底时，它有时会"回退"到英语来讲演，即使问题是用其他讲话提倡的。

研究东谈主员统计了每个模子在多样讲话测试中"回退"到英语的频率，发现了显赫的各异。一些模子真的从不回退到英语，而另一些模子则频繁地这样作念。料想的是，那些更容易回退到英语的模子，在某些情况下反而能提供更准确的谜底，因为它们的英语知识库愈加丰富。

这种步地就像一个多讲话的导游，当用搭客的母语无法证明注解某个倡导时，会自动切换到英语，因为他知谈我方的英语抒发更准确。这种战略在某些情况下是灵验的，但也知道了模子在非英语讲话上的知识不及。

最顶点的例子出面前一些微型模子上，它们在处分低资源讲话时，英语回退率高达100%，这意味着无论用什么讲话发问，它们都只可用英语讲演。这明显不是一个瞎想的多讲话AI应有的说明。

九、跨讲话知识的"桥梁效应"

研究团队还发现了讲话之间的"桥梁效应"。某些讲话对之间的知识改革比其他讲话对更容易，这种步地不仅与讲话的资源丰富度有关，还与讲话之间的历史、文化和讲话学谋划有关。

比如，法语和英语之间的知识改革相对容易，这不仅因为这两种讲话都是高资源讲话，还因为它们在历史上有密切谋划，分享无数词汇。雷同地，俄语和乌克兰语之间、印地语和尼泊尔语之间也说明出较强的知识改革才能。

但这种桥梁效应并不老是对称的。研究发现，从高资源讲话向低资源讲话的知识改革无为比反向改革更弯曲。这就像水老是从高处向低处流一样，知识也倾向于从"信息丰富"的讲话向"信息突出"的讲话流动，但逆向流动就很弯曲。

最料想的发现是"笔墨系统效应"。使用疏通或相似笔墨系统的讲话之间，知识改革才能明显更强。这证明注解了为什么土耳其语和斯瓦希里语（都使用拉丁字母）的说明超出了预期，因为它们大致"借用"英语等其他拉丁字母讲话的知识。

十、现实诈欺的启示：AI偏见的实验影响

这项研究的发现不仅具有学术价值，更对现实中AI诈欺的公正性和可靠性产生蹙迫影响。研究团队指出，面前许多基于大讲话模子的诈欺系统，如检索增强生成系统、多讲话搜索引擎和跨讲话推理模子，都默许假定AI大致在不同讲话间一致地提供信息，但这个假定明显是虚假的。

在实验诈欺中，这种讲话偏见可能导致严重的不公正步地。比如，一个多讲话客服系统可能对英语用户提供准确安定的信息，但对使用其他讲话的用户却给出隐隐或虚假的讲演。这不仅影响用户体验，更可能加重数字领域，让那些使用低资源讲话的用户处于信息劣势。

在拔擢领域，若是AI辅导系统在不同讲话下的说明各异巨大，那么使用不同母语的学生就可能得回质料各异很大的拔擢资源。在医疗健康参谋、法律参谋等关节领域，这种不一致性可能带来更严重的后果。

研究团队格外提到了一个蹙迫倡导："校准多讲话主义"。他们以为，往时的AI系统应该具备内在的"讲话敏锐性"，大致自动识别我方在不同讲话下的可靠进程，并相应地救助讲演的笃定性。比如，当AI知谈我方在某种讲话下的知识有限时，应该主动抒发不笃定性，或者蛊卦用户使用它更擅长的讲话从头发问。

十一、工夫层面的深度领会

从工夫角度来看，这项研究揭示了现时Transformer架构在多讲话处分方面的压根局限性。研究团队通过分析不同模子的里面示意发现，即使是首先进的模子，其不同讲话的知识示意之间也枯竭满盈的关联性。

现存的多讲话老师战略主要依赖于大限制的多讲话文本夹杂老师，但愿模子大致自动学会不同讲话之间的对应联系。但实验上，这种"纰漏式"的老师设施并不成保证知识的一致性示意，反而可能强化讲话之间的辩认。

研究团队提倡，往时的多讲话AI模子需要采纳更精深的老师战略，比如明确的跨讲话对皆老师、知识一致性拘谨等。这些工夫技能大致在老师经由中强制模子开垦不同讲话之间的知识桥梁，而不是任由它们各自觉展。

另一个蹙迫的工夫启示是对于评估设施的立异。传统的多讲话评估时常关注各讲话的寂然说明，而忽略了跨讲话一致性。这项研究提倡的三维评估体系为往时的多讲话AI评估提供了新的圭臬。

十二、往时发展宗旨与挑战

基于这些发现，研究团队为往时的多讲话AI发展提倡了几个蹙迫宗旨。起先是开发更好的跨讲话知识示意设施，让AI大致将不同讲话抒发的磨灭倡导映射到统一的里面示意空间中。这需要在模子架构、老师算法和数据组织等多个层面进行立异。

其次是开垦更完善的多讲话老师数据集。面前的多讲话数据集时常存在严重的讲话不屈衡问题，这平直导致了AI的讲话偏见。往时需要更多地参加资源，为低资源讲话汇集和标注高质料的老师数据。

第三是发展"讲话感知"的AI系统。这种系统不仅要能处分多种讲话，还要大致领略到我方在不同讲话下的才能限定，并据此救助行径战略。比如，当系统发现我方对某种讲话的掌抓不够时，可以主动寻求外部匡助或转向更可靠的讲话处分。

研究团队也坦承了本研究的一些局限性。起先，他们只关注了国度有关的事实性知识，这类知识可能具有特殊性，不成完全代表所有类型的知识。其次，测试的讲话固然覆盖了不同的讲话族群，但仍然仅仅全国讲话的一个小样本。临了，由于计算资源限定，他们主要测试了开源模子，一些闭源的生意模子可能有不同的说明。

说到底，这项研究为咱们开放了一扇窗，让咱们看到了现时AI工夫的一个蹙迫盲区。固然咱们的AI系统在名义上也曾大致处分多种讲话，但在深层的知识领路和改革方面，它们仍然有很长的路要走。这个发现辅导咱们，在追求AI工夫起先的同期，不成淡薄公正性和一致性问题。惟有当AI着实作念到在所有讲话下都能提供同等质料的职业时，咱们才能说杀青了着实的"多讲话智能"。

这项研究不仅对AI研究者具有蹙迫意旨，对日常用户也有实用价值。下次当你发现AI在不同讲话下给出不同谜底时，你就知谈这不是就怕步地，而是现时工夫的系统性局限。领路这少量，能匡助咱们更感性地使用AI器具，在关节方案时保持必要的严慎，而不是盲目信任AI的多讲话才能。

Q&A

Q1：什么是AI模子的"讲话偏心眼"步地？

A：AI模子的"讲话偏心眼"是指AI在用不同讲话讲演相似问题时说明各异很大的步地。比如用阿拉伯语问AI"拉希德·沙沙伊来自哪个国度"时能正确讲演"沙特阿拉伯"，但用英语或其他讲话问相似问题却讲演"不知谈"。这证明AI并非着实领路知识，而是将不同讲话的信息分裂储存，无法灵验跨讲话改革知识。

Q2：为什么高资源讲话和低资源讲话在AI说明上各异这样大？

A：主要原因是老师数据的不屈衡。高资源讲话如英语、汉文在互联网上有海量文本，AI老师时构兵这些讲话的内容更多，领路更深入，虚假率惟有3.83%。而低资源讲话如尼泊尔语、斯瓦希里语的汇注内容突出，AI老师数据有限，虚假率高达29.53%。这就像在资源丰富的藏书楼和资源匮乏的藏书楼查尊府，后果当然不同。

Q3：这种讲话偏见对现实活命有什么影响？

A：这种偏见会加重数字领域和不公正步地。使用英语的用户可能从AI客服、搜索引擎、拔擢辅导系统中得回准确安定的信息体育游戏app平台，而使用其他讲话的用户却可能得到隐隐或虚假的讲演。在医疗参谋、法律建议等关节领域，这种不一致性可能带来严重后果，让不同讲话配景的用户靠近信息获取上的不对恭候遇。