训练只需三个小时 Databricks 开源 LLM

发布时间:2023-04-19 16:23:37来源:佚名

大数据分析公司 Databricks Inc 近日也加入了生成式 AI 领域的竞争之中,发布了一个名为 Dolly 的开源大型语言模型,将模型命名为 Dolly 是为了向第一只克隆羊多莉致敬。

大数据分析公司 Databricks Inc 近日也加入了生成式 AI 领域的竞争之中,发布了一个名为 Dolly 的开源大型语言模型,将模型命名为 Dolly 是为了向第一只克隆羊多莉致敬。

训练只需三个小时 Databricks 开源 LLM

像 ChatGPT 和 Bard 这样的生成式 AI,它们使用的数据通常来自于在成千上万不同网站,使用的数据量十分惊人,而且想要使用这些数据训练 AI 还需要数以千计的强大 GPU 在背后提供支持。

Databricks 希望通过开源 Dolly 及其训练数据,让任何人都能开发出一个真正像人类的 AI,而无需投资数百万美元,也让这类 AI 不再是只有大型科技公司才能负担得起的东西,数以百万计的小公司也将能够从中受益。

除此之外,让各个小公司构建自己的模型,而不将数据通过 API 发送给专有模型背后的服务提供商,也可以保护小公司的敏感数据和专有的知识产权。此外,一些公司可能在模型质量、成本和期望行为方面有不同的权衡,这些公司也可以根据需求调整模型。

Databricks 首席执行官 Ali Ghodsi 表示,Dolly 只需要非常少的数据和非常短的时间就能完成训练。

只需 30 美元、一台服务器和三个小时,我们就能教 Dolly 开始进行人类级别的交互。

Databricks 没有从头开始创建自己的模型,而是基于 EleutherAI 在 2021 年开源的自然语言处理模型 —— GPT-J。GPT-J 是一个基于 GPT-3,由 60 亿个参数组成的自然语言处理 AI 模型。该模型在一个 800GB 的开源文本数据集上进行训练,并且能够与类似规模的 GPT-3 模型相媲美。

Databricks 说,尽管模型小得多,只有 60 亿个参数,以及较小的数据集和训练时间(ChatGPT 的参数是 1750 亿个),但 Dolly 仍然表现出了 ChatGPT 所展示的同样的 "神奇的人类互动能力"。

Databricks 目前已经在 GitHub 上开源了一个简单的 Databricks notebook,开发者可以使用它在 Databricks 上自己构建 Dolly。

免责声明:文章内容不代表本站立场,本站不对其内容的真实性、完整性、准确性给予任何担保、暗示和承诺,仅供读者参考,文章版权归原作者所有。如本文内容影响到您的合法权益(内容、图片等),请及时联系本站,我们会及时删除处理。

推荐资讯


最新上架


WolframAlpha
WolframAlpha
使用Wolfram的突破算法计算的专家级答案,知识库,和人工智能技术。数学,科学的
Yip
Yip
输入您的笔记和犬吠将自动生成问题。
MindSmith
MindSmith
创建和共享micro-courses Mindsmith是你的实验室。世界变化太快依靠笨重的、过
TutorAI
TutorAI
导师的人工智能是一个AI-powered学习平台。您可以输入任何话题,它会为你提供各
Quizgecko
Quizgecko
AI-Powered发电机测试问题。自己做测试使用人工智能。适合教师、学习和人力资