谷歌 DeepMind 使用大型语言模型破解了纯数学领域一个著名的悬而未决的问题。在发表在 Nature 杂志上的一篇论文中，研究人员表示这是第一次使用大型语言模型来发现一个长期存在的科学难题的解决方案，即产生从未存在的可验证且有价值的新信息。
“它不在训练数据中，甚至不为人所知。”论文合著者、谷歌DeepMind研究副总裁普什梅特·科利（Pushmet Kohli）说。
大型语言模型以虚构内容而非提供新的事实而闻名。谷歌 DeepMind 的新工具 FunSearch 可能会改变这一现状。这表明它们确实可以产生新发现，如果它们被特殊设计成这样，并且你把它们提出的大部分无用内容都抛弃了。
之所以起了 FunSearch 这个名字，是因为它被用于搜索数学函数（Function），而不是因为它很有趣。FunSearch 延续了 DeepMind 使用人工智能在基础数学和计算机科学方面的一系列发现。
例如，AlphaTensor 找到了一种更高效的矩阵乘算法，打破了 50 年来的记录。AlphaDev 找到了一种全新的数据排序算法，让这种每天使用数万亿次的关键算法运行速度更快。
然而，这些工具并没有使用大型语言模型。两者都建立在 DeepMind 的游戏人工智能 AlphaZero 之上，通过将数学问题视为围棋或国际象棋中的谜题来解决它们。
该公司研究 AlphaTensor 和 FunSearch 的研究员贝尔纳迪诺·罗梅拉·帕雷德斯（Bernardino Romera Paredes）说，问题是他们被困在了自己的领域：“AlphaTensor 擅长矩阵乘法，但基本上不会其他东西。”
FunSearch 采取了不同的策略。它结合了一个名为 Codey 的大型语言模型，这是谷歌 PaLM 2 的一个微调版本，以及其他拒绝错误或无意义答案并重新给出正确答案的系统。
谷歌 DeepMind 的研究科学家阿尔侯赛因·法齐（Alhussein Fawzi）说：“老实说，我们虽然想好了假设，但我们不知道这到底为什么有效。在项目开始时，我们根本不知道这是否可行。”
研究人员首先用 Python 列出了他们想要解决的问题的框架，但他们在程序中留白了如何解决问题的代码，这就是 FunSearch 的用武之地。他们让 Codey 来填补空白的地方，实际上就是让它提出能够解决问题的代码。
然后，第二个算法检查并为 Codey 得出的结果打分。即使还不正确，也会被保存并返回给 Codey，Codey 会再次尝试完成该程序。
科利说：“许多建议是荒谬的，有些是可以接受的，还有一小部分很有启发性。你拿着那些真正有启发性的建议，然后告诉它说，‘拿着这些，然后再重复一遍。’”
在花了几天时间提出了几百万条建议并将整个过程重复了几十次之后，FunSearch 终于想出了一套代码，为“帽子集”问题提供了一个正确的、以前未知的解决方案（该问题涉及到找到某一类型集合的最大大小）。
想象一下在图表纸上画点，“帽子集”问题就像在试图计算出你可以放下多少个点，同时保证其中三个点永远不会形成一条直线。
它不是一个热门问题，但很重要。数学家们甚至没有就如何解决这个问题达成共识，更不用说解决方案是什么了。它也与矩阵乘法有关，也就是 AlphaTensor 曾经做的工作。
菲尔兹奖获得者、美国加州大学洛杉矶分校的陶哲轩（Terence Tao），在 2007 年的一篇博客文章中将这个问题称为“也许是自己最喜欢的悬而未决的问题”。他对 FunSearch 的能力很感兴趣，他说：“这是一个很有前途的范例。一种利用大型语言模型力量的有趣方式。”
与 AlphaTensor 相比，FunSearch 的一个重要优势是，理论上它可被用于寻找广泛问题的解决方案。这是因为它可以通过生成代码的方式来找到解决方案的一部分（配方），而不是努力找到整个解决方案。
不同的代码将解决不同的问题。FunSearch 的结果也更容易理解。法齐说，配方往往比它产生的奇怪的数学解决方案更清晰。
（来源：STEPHANIE ARNETT/MITTR）
为了测试它的多功能性，研究人员使用 FunSearch 来解决数学中的另一个难题：装箱问题，即试图将物品装到尽可能少的箱子中。
这对于计算机科学的一系列应用非常重要，从数据中心管理到电子商务。FunSearch 同样想出了一种比人类设计的更快的方法来解决这个问题。
陶哲轩说，数学家们“仍在努力找出将大型语言模型纳入其研究工作流程的最佳方法，以利用它们的力量，同时规避它们的缺点。（但）这无疑展示了一条可能的前进道路。”
作者简介：威尔·道格拉斯·海文（Will Douglas Heaven）是《麻省理工科技评论》人工智能栏目的高级编辑，他在这里报道新的研究、新兴趋势及其背后的人。此前，他是英国广播公司（BBC）科技与地缘政治网站 Future Now 的创始编辑，也是 New Scientist 杂志的首席技术编辑。他拥有英国伦敦帝国理工学院计算机科学博士学位，深谙与机器人合作的体验。
津公网安备12011002023007号