OpenAI在应对近期投资压力的同时,其最新 AI 模型也面临收益递减的问题。
据The Information报道,OpenAI 的下一代 AI 模型——代号为 Orion——与其前代产品相比,性能提升较小。
据报道,在员工测试中,Orion 在完成 20% 的培训后就达到了 GPT-4 的性能水平。然而,据说从 GPT-4 过渡到预期的 GPT-5 所表现出的质量改进比从 GPT-3 到 GPT-4 的飞跃要小。
“公司的一些研究人员认为,在处理某些任务时,Orion 并不比其前身更出色,”员工在报告中表示。“据 OpenAI 的一名员工称,Orion 在语言任务上表现更好,但在编码等任务上可能不会胜过之前的模型。”
人工智能训练的早期阶段通常会带来最显著的改进,而后续阶段通常只会带来较小的性能提升。因此,剩余 80% 的训练不太可能带来与前几代改进相当的进步。
OpenAI 的最新 AI 模型出现这种情况正值该公司的关键时刻,该公司最近一轮融资筹集了 66 亿美元。随着这笔资金的支持,投资者的期望值也随之增加,同时也带来了技术挑战,这些挑战使 AI 开发中的传统扩展方法变得复杂。
如果这些早期版本不符合预期,OpenAI 未来的融资前景可能不会引起同样程度的兴趣。
报告中强调的局限性凸显了整个人工智能行业面临的重大挑战:高质量训练数据的可用性越来越低,以及在竞争日益激烈的领域保持相关性的必要性。
根据6 月份发表的一篇论文(PDF),人工智能公司将在 2026 年至 2032 年期间耗尽可公开获取的人类生成文本数据库。该信息指出,开发人员“已经从用于实现近年来人工智能快速发展的数据中“榨干”了大部分数据。
为了应对这些挑战,OpenAI 正在从根本上重新思考其人工智能发展战略。
The Information 解释道:“为了应对最近由于 GPT 改进放缓而对基于训练的缩放定律提出的挑战,业界似乎正将精力转向在初始训练之后改进模型,这可能会产生不同类型的缩放定律。”
OpenAI 在应对这些挑战时,必须平衡创新与实际应用以及投资者的期望。然而,公司领军人物的不断离职无助于解决问题。