Elon Musk证明xAI在OpenAI模型上训练了Grok

OpenAI和Anthropic最近一直在反对第三方通过促进可公开访问的聊天机器人和API来训练新人工智能模型的努力,这一过程称为“蒸馏”。
这次谈话的重点是中国公司利用蒸馏技术来创建开放重量模型,这些模型的功能几乎与美国产品一样,但成本却低得多。然而,科技工作者普遍认为美国实验室相互使用这些技术是为了避免落后于竞争对手。
现在我们知道至少在一次案件中这是真的:周四在加州联邦法院的证人席上,埃隆·马斯克被问及xAI是否在OpenAI模型上使用蒸馏技术来训练Grok,他声称这是人工智能公司的普遍做法。当被问及这是否意味着“是”时,他说“部分”。
马斯克正在起诉OpenAI、CEOSam Altman和Greg Brockman,指控他们将OpenAI实体转变为营利性结构,从而违反了OpenAI最初的非营利使命。该审判于本周开始,技术领导者提供了证词。
马斯克的承认值得注意,因为蒸馏会削弱人工智能巨头通过投资计算基础设施而建立的优势,从而威胁到它们。这使得其他软件制造商能够以低廉的价格创建几乎同样强大的模型。考虑到前沿实验室在寻找足够的数据来训练模型时扭曲并涉嫌违反版权规则,这里有不小的讽刺意味。
毫不奇怪,马斯克的xAI于2023年初创公司,也就是OpenAI几年后,试图向当时该领域的领导者学习。目前尚不清楚蒸馏是否明确违法,但可能违反公司为其产品用户设定的服务条款。
据报道,OpenAI、Anthropic和Google通过前沿模型论坛发起了一项倡议,分享有关如何打击中国蒸馏企图的信息。这些通常涉及对模型的系统查询以了解其内部工作原理。为了阻止这种行为,前沿实验室正在努力阻止用户进行可疑的大规模查询。
截至发稿时,OpenAI没有回应对马斯克的承认发表评论的请求。
在后来的证词中,马斯克被问及他去年夏天提出的一个说法,即xAI很快就会远远超越除Google之外的任何公司。对此,他对全球领先的人工智能提供商进行了排名,称Anthropic位居榜首,其次是OpenAI、Google和中国的开源模型。他将xAI描述为一家规模小得多的公司,只有几百名员工。