潮流转变：开源 LLM 相对于闭源 LLM 的竞争优势

原文towardsdatascience.com/shifting-tides-the-competitive-edge-of-open-source-llms-over-closed-source-llms-aee76018b5c7https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/3ac7b832a52ff0e4714d13f04831b794.png图片由Yoko Saito在Unsplash提供自从 ChatGPT 发布激发了开发者使用大型语言模型LLM构建应用程序的兴趣以来特别是 OpenAI 的专有闭源基础模型一直在市场上占据主导地位。为 ChatGPT 提供动力的 OpenAI 基础模型 gpt-3.5-turbo通常是编程教程中的默认 LLM。2023 年a16z[1]对 70 位企业 AI 领导者进行的调查显示大约 80%的企业市场份额属于闭源其中大部分归 OpenAI 所有。然而较小的开源模型已经开始受到欢迎并可能很快取代较大的闭源模型。主要原因是开源 LLM 的能力正在迎头赶上。闭源模型的主要优势即性能现在正在迅速减弱。此外上述调查受访者还列出了其他因素如数据安全、可定制性和成本这些因素使得开源 LLM 成为企业中比闭源 LLM 更具吸引力的替代品。根据同一项调查[1]一些企业 AI 决策者甚至计划在来年实现 50/50 的分割。因此我们已经有理由期待到 2024 年将会有显著的趋势转向在较小的开源模型上部署用例。…/Images/198627852b1a7810b2263a7858144a5e.png当前和预期在企业中开源与闭源 LLM 的市场份额图像由作者根据[1]中“企业使用哪些模型提供商”图中的数据提供性能到目前为止闭源专有基础模型在性能上优于开源模型但这种主要优势正在迅速减弱。虽然最初专有模型比开源模型更强大但开源模型已经变得更加先进性能差距正在迅速缩小。这是因为训练和实验的门槛已经从大型研究机构下降到较小的研究机构甚至个人。因为已经开发了成本效益的微调策略如低秩适应LoRA使得高质量的基础模型对公众开放几乎任何有想法、一些时间和性能良好的笔记本电脑的人都可以生成和分发其新变体。https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/8ca942a76d819e38d4ddc60e9e41a8c7.png随时间推移开源与闭源 LLM 能力的比较受此Tweet启发开源模型迅速缩小性能差距的一个很好的例子是Meta 的 Llama模型。2023 年 3 月Meta 决定开源 Llama 模型。这推动了模型能力的进步Llama 发布后一个月内一群爱好者和研究人员改进了模型并创建了各种定制版本其中许多是在彼此之上构建的。几乎一年后Meta 发布了 Llama 3现在它在LMSYS 排行榜上排名前十。数据安全开源模型可以自托管因此提供了控制和数据安全方面的明显优势这对于企业来说尤为重要。在企业中生产化生成式 AI 应用需要解决敏感用例的数据安全问题。特别是那些在高度监管行业运营的企业如银行、医疗保健和生命科学可能会有监管要求。因此许多企业不愿意与闭源模型提供商共享其敏感或专有数据尤其是如果无法保证数据不会被用于重新训练 LLM从而存在数据泄露的风险。这些担忧可以通过虚拟专用云VPC环境或完全本地的自托管环境来解决。虽然许多闭源模型提供商提供 VPC 集成但自托管仅适用于开源模型。然而对在本地运行 LLM 框架的兴趣迅速增加例如Ollama这已经是开发者构建本地管道的第一个迹象。https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/9d33e5d9630592c585edc23d6c526b33.png基于从 2023 年 6 月至 2024 年 3 月期间 Google Trends 数据的搜索词“ollama”的全球兴趣。data from Google Trends between June 2023 and March 2024。100 是该词的最高流行度值。可定制性另一个需要考虑的因素是通过微调到特定行业、业务或用例来定制基础模型。未来我们可以预期大多数组织将开发定制模型通过减少所需的标记数量来提高准确性、降低延迟和成本从而使解决方案更具可扩展性。虽然有一些从头开始训练的定制模型例如彭博 GPT用于金融用例但这对于许多组织来说不是一个可行的解决方案。开发所谓的基座模型需要技术专长和计算资源这些通常只有大型研究机构才能获得。相反通过添加可堆叠的改进如指令微调或 LoRA对特定用例进行预训练基础模型的微调是一种更可行的方法。虽然许多专有模型可以进行微调但开源模型比闭源模型提供更多的灵活性。在微调开源模型时甚至可以使用更小、更轻量级的 LLM这些模型在经过特定用例的微调后可以达到与大型专有模型相似的性能。此外在开发 LLM 驱动的应用程序时较小的模型可以更快地进行迭代从而缩短上市时间。成本最后开源模型可能比闭源模型更具成本效益尤其是在大规模的生产用例中。虽然闭源模型的主要成本因素是推理成本但开源模型的成本在于自托管这些模型通常免费使用。尽管自托管基础设施的设置和维护最初可能导致更高的成本但在规模扩大时可能更具成本效益。此外能够利用更小的微调模型企业可以更好地控制托管成本因为它们资源消耗较少从而降低成本。另一方面专有模型的推理成本与利用率呈线性增长。根据 a16z 调查[1]企业经常想避免与闭源模型提供商锁定其中一个原因是面临意外价格政策变化的风险。正如 a16z 调查[1]中的一个受访者所说“得到准确的答案值得花钱”但很明显当有免费、无限制的替代方案时专有模型将变得不那么有吸引力。https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/59f04e9faafafd5dd7e84056f4deb353.png封闭源与开源 LLM 在利用率方面的成本比较。灵感来源于 Sergei Savvov 的你不需要托管 LLM对吧如 Hugging Face 上的博客文章所称呼的2023 年是“开源发布的一年”我们已看到封闭源模型提供商在策略上的转变迹象。正如 Meta 发布的 Llama 3发布后排名榜单前 5这证明了模型提供商从开源其模型中获益。尽管 OpenAI 仍然以 GPT-4 领先排行榜但我们尚未看到他们向开源模型转变的任何动作。相反他们已经启用了较小模型的定制。同时谷歌正在尝试复制 Meta 对其 Llama 模型所做的事情。正如泄露的谷歌内部备忘录[2]所预示的谷歌旨在建立一个创新发生的平台以巩固其作为思想领袖和方向制定者的地位。因此我们可以看到谷歌发布了与其专有 Gemini 模型并行的开源替代品 Gemma。此外他们通过Kaggle 竞赛推动其发展以鼓励社区发布 Gemma 的变体。https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/a4d8130552ccb550392dca3f23cd7993.pngLlama-3–70b-Instruct 在LMSYS Chatbot Arena 排行榜上排名第 5这是截至 2024 年 4 月 19 日的唯一开源模型总结来说我们预计在不久的将来封闭源模型在受欢迎程度上会向开源模型转变。正如讨论的那样四个关键因素是性能、数据安全、可定制性和成本。喜欢这个故事吗免费订阅以获取我发布新故事的提醒。每当 Leonie Monigatti 发布内容时都会收到电子邮件在LinkedIn、Twitter和Kaggle!*上找到我参考文献文献资料[1] Sarah Wang和Shangda Xu在 Andreessen Horowitz2024。企业构建和购买生成式 AI 的 16 项变化。访问日期2024 年 4 月 20 日。[2] Dylan Patel 和 Afzal Ahmad 在 (2023) 中。 谷歌搜索 “我们没有任何护城河OpenAI 也没有”.图片如果没有其他说明所有图片均由作者创作。