由卡内基梅隆大学领导的一个国际研究小组发现,当大脑“阅读”或解码英语或葡萄牙语的句子时,其神经激活模式是相同的。
该研究发表在 NeuroImage 上,首次表明不同语言在描述事件和场景时具有相似的神经特征。研究小组通过使用机器学习算法发现了这一点,该算法本质上是学习英语中句子含义与大脑激活模式之间的关系,然后根据葡萄牙语中的激活模式识别句子含义。这些发现可用于改进机器翻译、跨语言的大脑解码以及潜在的第二语言教学。
“这告诉我们,在大多数情况下,我们碰巧学会说话的语言不会改变大脑的组织,”卡内基梅隆大学的 DO Hebb 心理学教授马塞尔·贾斯特说,他是使用大脑成像和机器学习的先驱识别大脑如何破译思想和概念的技术。“语义信息在大脑中的相同位置表示,并且每个人的强度模式都相同。知道这意味着脑对脑或脑对计算机的接口对于所有语言的使用者来说可能是相同的,”Just 说。
在这项研究中,15 名以葡萄牙语为母语的人(其中 8 名是葡萄牙语和英语双语者)在功能性磁共振成像 (fMRI) 扫描仪中阅读了 60 条葡萄牙语句子。CMU 开发的计算模型仅根据激活模式就能够预测参与者正在阅读哪些葡萄牙语句子。
该计算模型使用一组 42 个概念级语义特征和 6 个概念在句子中的角色(例如代理或动作)的标记来识别英语中的大脑激活模式。
该模型以 67% 的准确率预测了哪些句子是用葡萄牙语阅读的。由此产生的大脑图像显示,60 个句子的激活模式位于相同的大脑位置,英语和葡萄牙语句子的强度水平相似。
结果还表明,激活模式可以分为四个语义类别,具体取决于句子的焦点:人、地点、动作和感受。不同语言之间的分组非常相似,这强调了大脑中信息的组织是相同的,而不管它是用什么语言表达的。
“跨语言预测模型捕捉了句子中所描述事件或状态的概念要点,而不是依赖于特定的语言特质。它展示了跨人、语言和双语状态的神经信号的元语言预测能力,”CMU 心理学博士后、该研究的第一作者 Ying Yang 说。
除了Just和Yang之外,研究团队还包括CMU的Jing Wang和Vladimir Cherkassky以及巴西圣卡塔琳娜联邦大学的Cyntia Bailer。
国家情报总监办公室 (ODNI)、情报高级研究项目活动 (IARPA) 通过美国空军研究实验室 (AFRL) 资助了这项研究。