这不,又有人拿蒸馏说事儿了。美国白宫和企业接连下场,给Kimi K3安了个“蒸馏Fable”的帽子。7月21日,OpenAI总裁格雷格·布罗克曼在接受采访时,先大方认可K3的实力,直言 “毫无疑问,这是一款相当出色的模型”。
面对蒸馏质疑,他说现在判断月之暗面是否蒸馏了OpenAI的模型还为时过早,并表示“我们一直在持续监测这类行为”。特朗普的总统助理Michael Kratsios在X平台发文称,美方掌握的信息显示,月之暗面开发K3时对Anthropic的Fable模型进行了蒸馏。还说月之暗面建立了一套内部平台,大规模秘密蒸馏美国AI模型,还不断切换访问方式避开检测。Anthropic公共政策负责人Sarah Heck转发Michael Kratsios的推文,并表态称,“非法、对抗性蒸馏是知识产权盗窃和工业间谍活动”,“给美国国家安全带来严重风险”。就连Anthropic CEO阿莫代都在国会听证会上声称,K3蒸馏的是一款“尚未公开的未来模型”。7月21日,月之暗面副总裁黄震昕直接否认了相关指控,称Kimi K3性能实现跨越式提升,核心依托底层原创架构创新,并非对任何现有模型进行蒸馏复刻。
团队自研的注意力机制、二阶优化器等一系列技术改进,才是模型性能突破的核心原因。
黄震昕也借机反驳了行业固有偏见,提出 “开源、国产大模型不该被贴上低价标签”,拥有顶尖 SOTA 能力的国产模型,完全可以匹配合理的商业化定价。很多网友对白宫和Anthropic的指控也提出时间线层面的疑问,相关海外模型对外开放周期很短,很难在短期内完成整套蒸馏训练流程。有网友称,《Fable 5》上市那么久了吗,Kimi能在它发布前就提炼出它的输出内容?有网友称,月之暗面在《Fable》发布后的一个月内就提炼了它,有足够时间把它全部打包进K3并发布了?还有很多网友以Anthropic用盗版书训练模型的事来调侃。有网友称,Anthropic在未经询问的情况下“蒸馏”了数百万本受版权保护的书籍。他们明知故犯地使用了盗版材料进行训练。整个美国的AI生态系统都建立在类似的盗窃和榨取之上。有网友称:我们有信息显示,Anthropic为开发Fable 5而提炼了人类的整个互联网。
就连Hermes联合创始人Teknium都来凑热闹了。
他写道:“我有信息显示,Anthropic为了开发它的Fable模型,抓取了我的GitHub、Twitter、Reddit、Discord和Facebook子。
为了做到这一点,他们开发了一个复杂的内部平台,用于进行大规模抓取并掩盖他们的行动。”
这件事说到底,已经不是单纯的技术争议了。
Kimi K3发布后,外界长期以来对美国在全球AI竞赛中“大幅领先”的判断被动摇了。
性能越来越强、价格越来越低的中国模型不断涌现,给OpenAI和Anthropic的商业模式带来了实实在在的压力。
(转载自:AI普瑞斯)