让AI改写一套几十年前的银行程序,难点不是把旧语法换成新语法,而是保证每一笔计算都原样复现。低资源编程语言——公开代码、教程和问答相对稀缺的语言——因此一直是代码模型的薄弱处,但其中不少仍支撑金融、政府和科学计算系统。
据OpenAI公布的信息,MultiLangBench要求模型分别用20种语言从头构建兼容SQLite的数据库引擎。SQLite是一种嵌入应用的轻量数据库,这项任务会同时检验大型代码组织、状态管理和功能迭代。OpenAI报告称,GPT-6 Astra的平均测试通过率为87.4%,GPT-5.6 Sol为26.8%,覆盖COBOL、Fortran、OCaml和Visual Basic等语言。
另一项评测让模型把COBOL程序迁移到C++、Java、Kotlin、Python或Rust,再用隐藏测试检查输出能否逐字节一致。OpenAI称GPT-6.1 Sol在低、高推理强度下的准确率分别为86.6%和97.9%。这说明评测正从“代码能不能跑”推进到“旧系统行为能不能保住”;但官方也提醒,生产迁移仍需专家复核和业务规则测试。