OpenAI 推出了全新的AI模型 OpenAI o1，它能像人类一样思考，在回答问题前生成内部思维链，推理能力显著提升，在多个基准测试中超越了人类专家。o1 的成功得益于强化学习，同时也为 AI 安全性带来了新机遇。虽然 o1 的原始思维链对用户隐藏，但这将助力研究人员监控模型，防止未对齐的思维链暴露给用户。o1 的推出标志着 AI 进入了全新的纪元，将为科学、编码、数学等领域带来新的突破。
o1 模型：会思考的 AI
你是否想过，有一天 AI 也能像人类一样思考？OpenAI 的全新模型 o1 让这一想法成为现实。o1 不仅能够理解和生成文本，更能在回答问题之前生成一个长的内部思维链，从而进行更深入、更复杂的推理。
o1 使用强化学习进行训练，这是一种模仿人类学习过程的机器学习方法。通过强化学习，o1 可以从经验中学习，不断改进自己的推理策略，就像人类在解决问题时会不断反思和修正自己的思路一样。o1 最大的突破在于其“思维链”机制，它就像人类思考时脑海中浮现的一系列想法，帮助模型理清思路，逐步解决问题。
目前，o1 已应用于 ChatGPT 和 OpenAI API，为用户提供更智能、更强大的 AI 体验。例如，在 ChatGPT 中使用 o1 模型，用户可以体验到更流畅、更自然的对话，o1 能够更好地理解用户的意图，并给出更符合逻辑的回答。而在 OpenAI API 中使用 o1 模型，开发者可以构建更智能的应用程序，例如能够自动生成代码、解决数学问题、分析数据的应用程序。
o1 横空出世：推理能力再上新台阶
OpenAI 近期发布了全新的 AI 模型 o1，旨在通过强化学习提升模型的复杂推理能力。o1 与以往模型最大的区别在于，它能够在回答问题之前生成内部“思维链”，模拟人类思考时逐步推理的过程。
OpenAI 表示，我们的大规模强化学习算法教导模型如何在高效的数据训练过程中使用其思维链进行高效的思考。我们发现，o1的性能随着强化学习的增加（训练时间计算）和思考时间的增加（测试时间计算）而持续提高。扩展这种方法的限制与LLM预训练的限制有很大不同，我们正在继续研究它们。
实力碾压：o1 表现远超 GPT-4o
为了验证 o1 模型的性能，OpenAI 进行了一系列基准测试，结果显示 o1 在多个领域的表现都远超其前身 GPT-4o，甚至超越了人类专家。
在学术领域， o1 在美国数学奥林匹克竞赛（AIME）的资格赛中排名前 500 名学生，并在物理、生物和化学问题的基准测试（GPQA）上超过了人类博士水平的准确率。
在编程领域， o1 在竞赛编程问题（Codeforces）上排名第 89%，并在模拟 Codeforces 竞赛编程比赛中，获得了 1807 的 Elo 评分，表现优于 93% 的参赛者。
以下是 o1 在部分基准测试中的表现：
• AIME（2024）： o1 在每个问题只采样一次的情况下平均解决了 74% 的问题，在 64 个样本的共识下平均解决了 83% 的问题，当使用学习的评分函数对 1000 个样本进行重新排序时，平均解决了 93% 的问题。
• CodeForces： o1 的 Elo 评分为 1807，表现优于 93% 的参赛者。
• GPQA Diamond： o1 超过了人类博士的准确率，成为第一个在该基准测试中做到这一点的模型。
o1 与 GPT-4o 在不同基准测试中的得分对比如下图所示
o1 和 GPT-4o 在不同基准测试中的得分对比
o1 在广泛的基准测试中都优于 GPT-4o，包括 57 个 MMLU 子类别中的 54 个。图中显示了七个类别作为示例。
o1 与 GPT-4o 在不同竞赛中的得分对比如下图所示
o1 和 GPT-4o 在不同竞赛中的得分对比
o1 在具有挑战性的推理基准测试中，相对于 GPT-4o 有很大的改进。实心条形图表示 pass@1 的准确率，阴影区域表示 64 个样本的多数投票（共识）的性能。
