https://about.fb.com/news/2024/07/open-source-ai-is-the-path-forward/
在高性能计算的早期,当时的科技巨头纷纷斥巨资开发自己封闭的 Unix 版本。在当时,很难想象还有其他方法可以开发出如此先进的软件。然而,开源的 Linux 最终获得了普及——最初是因为它允许开发者随意修改代码,而且价格更低廉;随着时间的推移,它变得更加先进、更加安全,并拥有比任何封闭的 Unix 都更广泛的生态系统,支持更多的功能。如今,Linux 已成为云计算和大多数移动设备操作系统的事实标准,而我们都受益于由此产生的优秀产品。
我相信 AI 的发展也将遵循类似的轨迹。如今,几家科技公司正在开发领先的封闭模型。但开源正在迅速缩小差距。去年,Llama 2 的性能只能与上一代前沿模型相媲美。今年,Llama 3 已经可以与最先进的模型竞争,并在某些领域处于领先地位。我们预计,从明年开始,未来的 Llama 模型将成为业界最先进的模型。但即使在那之前,Llama 已经在开放性、可修改性和成本效益方面处于领先地位。
今天,我们朝着开源 AI 成为行业标准的目标迈出了新的一步。我们发布了 Llama 3.1 405B,这是第一个达到前沿水平的开源 AI 模型,以及全新改进的 Llama 3.1 70B 和 8B 模型。除了相较封闭模型具有显著的成本/性能优势外,405B 模型的开放性使其成为微调和蒸馏小型模型的最佳选择。
除了发布这些模型之外,我们还与众多公司合作,共同发展更广泛的生态系统。亚马逊、Databricks 和英伟达正在推出全套服务,以支持开发者微调和蒸馏自己的模型。Groq 等创新者已经为所有新模型构建了低延迟、低成本的推理服务。这些模型将在所有主流云平台上提供,包括 AWS、Azure、谷歌、甲骨文等。Scale.AI、戴尔、德勤等公司已经准备好帮助企业采用 Llama,并利用自身数据训练定制模型。随着社区的发展壮大,越来越多的公司开发出新的服务,我们可以共同努力,使 Llama 成为行业标准,让人人都能享受到 AI 的益处。
Meta 致力于开源 AI。我将阐述为什么我认为开源是最佳的开发体系,为什么开源 Llama 对 Meta 有利,以及为什么开源 AI 对世界有利,因此将成为一个长期存在的平台。
为什么开源 AI 对开发者有利
在与世界各地的开发者、首席执行官和政府官员交谈时,我通常会听到几个主题:
- 我们需要训练、微调和蒸馏我们自己的模型。 每个组织都有不同的需求,而这些需求最好通过使用其特定数据训练或微调的不同规模的模型来满足。设备上的任务和分类任务需要小型模型,而更复杂的任务则需要更大的模型。现在,您可以使用最先进的 Llama 模型,使用您自己的数据继续训练它们,然后将它们蒸馏成最佳规模的模型,而我们或其他任何人都无法看到您的数据。
- 我们需要掌控自己的命运,而不是被锁定在一个封闭的供应商那里。 许多组织不希望依赖于他们无法自己运行和控制的模型。他们不希望封闭模型提供商能够更改其模型、修改其使用条款,甚至完全停止为其提供服务。他们也不希望被锁定在一个拥有模型独家权利的单一云平台上。开源使得拥有兼容工具链的广泛公司生态系统成为可能,您可以在这些公司之间轻松迁移。人们普遍认为,开源软件往往更安全,因为它的开发更加透明。
- 我们需要保护我们的数据。 许多组织处理需要保护的敏感数据,并且不能通过云 API 将其发送到封闭模型。其他组织则根本不信任封闭模型提供商会保护他们的数据。开源通过允许您在任何地方运行模型来解决这些问题。人们普遍认为,开源软件往往更安全,因为它的开发更加透明。
- 我们需要一个运行效率高、成本低廉的模型。 开发者可以在自己的基础设施上运行 Llama 3.1 405B 进行推理,其成本大约是使用 GPT-4o 等封闭模型的一半,这适用于面向用户和离线推理任务。
- 我们希望投资于将成为长期标准的生态系统。 许多人看到开源的发展速度比封闭模型更快,他们希望在能够为他们带来长期最大优势的架构上构建自己的系统。
为什么开源 AI 对 Meta 有利
Meta 的商业模式是为人们打造最佳体验和服务。为此,我们必须确保始终能够获得最佳技术,并且不会被锁定在竞争对手的封闭生态系统中,任由他们限制我们的发展。
我早期的 formative experiences 之一是,在构建我们的服务时,受到了苹果公司对其平台限制的制约。从他们对开发者的征税方式、他们制定的任意规则,以及他们阻止发布的所有产品创新来看,很明显,如果我们能够构建最佳版本的产品,并且竞争对手无法限制我们构建的内容,那么 Meta 和许多其他公司将可以自由地为人们构建更好的服务。从哲学层面上讲,这就是我如此坚定地相信为下一代计算构建 AI 和 AR/VR 开放生态系统的主要原因。
人们经常问我是否担心开源 Llama 会放弃技术优势,但我认为这种想法忽略了以下几个原因:
首先,为了确保我们能够获得最佳技术,并且不会在长期内被锁定在封闭的生态系统中,Llama 需要发展成为一个完整的工具、效率改进、芯片优化和其他集成生态系统。如果只有我们一家公司使用 Llama,这个生态系统就不会发展,我们的处境也不会比封闭的 Unix 版本好到哪里去。
其次,我预计 AI 领域的竞争将继续非常激烈,这意味着开源任何特定模型都不会在当时的情况下放弃相较于次优模型的巨大优势。Llama 成为行业标准的途径是,一代又一代地保持持续的竞争力、效率和开放性。
第三,Meta 与封闭模型提供商的一个关键区别在于,销售 AI 模型的访问权限并不是我们的商业模式。这意味着公开发布 Llama 不会像封闭提供商那样损害我们的收入、可持续性或投资研究的能力。(这就是为什么一些封闭提供商不断游说政府反对开源的原因之一。)
最后,Meta 在开源项目和成功方面有着悠久的历史。通过与开放计算项目 (Open Compute Project) 分享我们的服务器、网络和数据中心设计,并让供应链标准化我们的设计,我们节省了数十亿美元。我们通过开源 PyTorch、React 和许多其他领先工具,从生态系统的创新中受益。只要我们长期坚持这种方法,它就一直对我们有效。
为什么开源 AI 对世界有利
我认为,开源对于 AI 的积极未来至关重要。与任何其他现代技术相比,AI 在提高人类生产力、创造力和生活质量方面,以及在加速经济增长的同时解锁医疗和科学研究方面的潜力更大。开源将确保全世界更多的人能够获得 AI 的益处和机会,确保权力不会集中在少数公司手中,并确保该技术能够在整个社会中更均匀、更安全地部署。
关于开源 AI 模型的安全性,目前存在着持续的争论,我的观点是,开源 AI 将比其他方案更安全。我认为,各国政府最终会得出结论,支持开源符合他们的利益,因为它将使世界更加繁荣和安全。
我的安全理解框架是,我们需要防止两类危害:无意危害和故意危害。无意危害是指,即使运行 AI 系统的人并非有意造成危害,但 AI 系统也可能造成危害。例如,现代 AI 模型可能会无意中给出错误的健康建议。或者,在更具未来主义色彩的情况下,一些人担心,模型可能会无意中自我复制或过度优化目标,从而损害人类的利益。故意危害是指,恶意行为者利用 AI 模型达到造成危害的目的。
值得注意的是,无意危害涵盖了人们对 AI 的大部分担忧——从 AI 系统将对数十亿使用它的人产生什么影响,到对人类来说最灾难性的科幻场景。在这方面,开源应该会安全得多,因为系统更加透明,可以进行广泛的审查。从历史上看,开源软件也因为这个原因更加安全。同样,使用带有 Llama Guard 等安全系统的 Llama,可能比使用封闭模型更安全、更可靠。因此,大多数关于开源 AI 安全性的讨论都集中在故意危害上。
我们的安全流程包括严格的测试和红队演练,以评估我们的模型是否有能力造成重大危害,目标是在发布之前降低风险。由于模型是开源的,因此任何人都可以自行进行测试。我们必须记住,这些模型是根据互联网上已经存在的信息进行训练的,因此,在考虑危害时,出发点应该是模型是否比可以从谷歌或其他搜索结果中快速检索到的信息更容易造成危害。
在推理故意危害时,区分个人或小规模行为者可能做的事情,以及拥有大量资源的民族国家等大规模行为者可能做的事情,将很有帮助。
在未来的某个时刻,个别恶意行为者可能能够利用 AI 模型的智能,从互联网上获取的信息中制造出全新的危害。在这一点上,力量平衡对 AI 安全至关重要。我认为,生活在一个 AI 得到广泛部署的世界里会更好,这样更大的参与者就可以制衡规模较小的恶意行为者的力量。这就是我们在社交网络上管理安全的方式——我们更强大的 AI 系统能够识别并阻止那些经常使用规模较小的 AI 系统的不那么老练的行为者的威胁。更广泛地说,更大规模的机构部署 AI 将促进整个社会的安全与稳定。只要每个人都能获得类似世代的模型(开源促进了这一点),那么拥有更多计算资源的政府和机构就能制衡计算资源较少的恶意行为者。
接下来的问题是,美国和民主国家应该如何应对中国等拥有大量资源的国家的威胁。美国的优势在于分散化和开放式创新。一些人认为,我们必须封闭我们的模型,以防止中国获得这些模型,但我认为这样做行不通,只会对美国及其盟友不利。我们的对手非常擅长间谍活动,窃取装在拇指驱动器上的模型相对容易,而且大多数科技公司的运作方式还远远不能加大这种难度。在一个只有封闭模型的世界里,最有可能的结果是,少数几家大公司加上我们的地缘政治对手能够获得领先的模型,而初创企业、大学和小型企业则错失良机。此外,将美国的创新限制在封闭的开发环境中,会增加我们根本无法领先的可能性。相反,我认为,我们最好的策略是建立一个强大的开放生态系统,并让我们的领先公司与我们的政府和盟友密切合作,确保他们能够充分利用最新进展,并在长期内实现可持续的先发优势。
在考虑未来的机遇时,请记住,当今大多数领先的科技公司和科学研究都是建立在开源软件之上的。如果我们共同投资于开源 AI,那么下一代公司和研究机构将使用它。这包括刚刚起步的初创企业,以及可能没有资源从头开始开发自己的尖端 AI 的大学和国家的人们。
归根结底,开源 AI 代表着世界抓住这项技术为每个人创造最大经济机会和安全的最佳机会。
让我们携手共建
对于过去的 Llama 模型,Meta 为自己开发了它们,然后发布出来,但并没有过多关注构建更广泛的生态系统。在这个版本中,我们采取了不同的方法。我们正在内部组建团队,让尽可能多的开发者和合作伙伴能够使用 Llama,并且我们正在积极建立合作伙伴关系,以便生态系统中的更多公司也能为其客户提供独特的功能。
我相信 Llama 3.1 的发布将成为行业的一个转折点,大多数开发者将开始主要使用开源,我预计这种趋势只会越来越明显。我希望您能加入我们,共同努力,让人人都能享受到 AI 的益处。
您可以立即访问 llama.meta.com 获取这些模型。
💪,
MZ