刘洋的博客分享 http://blog.sciencenet.cn/u/outcrop 管中窥豹,盲人摸象

博文

马斯克开源大型语言模型 Grok-1

已有 978 次阅读 2024-3-18 09:10 |个人分类:计算机应用技术|系统分类:海外观察

人工智能领域迈出的重要一步,科技企业家埃隆·马斯克领导下的xAI公司近日宣布将其大型语言模型Grok-1的权重和架构开源。这一举措旨在促进更广泛的研究合作,并为AI社区提供强大的工具,以进一步探索和推进自然语言处理技术。

Grok-1模型现已在Apache 2.0许可证下发布,这意味着任何个人或组织都可以自由地使用和修改模型,用于各种用途,包括商业项目。源代码已在GitHub上的xai-org/grok存储库中公开,供研究人员和技术爱好者访问和贡献。

该模型是一个拥有3140亿参数的专家混合模型,包含8个独立的“专家”网络。这种设计允许模型在处理输入时只激活25%的权重,从而提高了计算效率。Grok-1的这些权重是基于2023年10月预训练结束时的状态,这意味着它们尚未针对任何特定的对话场景进行微调或优化。

通过开源Grok-1,马斯克和xAI公司希望能够激励AI社区共同解决自然语言处理中的一些最紧迫挑战,如理解复杂语境、生成连贯对话以及提高模型的创造力和逻辑推理能力。此外,由于Grok-1是在没有特定任务微调的情况下发布的,研究人员可以自由地探索不同的微调技术,以适应他们自己的研究方向或应用场景。

开源大型语言模型如Grok-1对于推动AI技术的民主化至关重要。它不仅为研究人员提供了强大的基础模型,还为小型团队和独立开发者提供了与大公司竞争的机会。马斯克此举被广泛视为对AI领域的一次积极贡献,有望加速创新并推动人工智能技术的发展。

随着Grok-1的发布,AI社区现在可以开始利用这个模型,无论是为了学术研究,还是为了开发新的应用程序和服务。马斯克和xAI公司通过这一开放的姿态,展现了他们对技术进步和共享知识的坚定承诺(以上文本由星火大模型SparkDesk-v3.5总结)。

开源项目github: https://github.com/xai-org/grok-1

模型数据下载:magnet:?xt=urn:btih:5f96d43576e3d386c9ba65b883210a393b68210e&tr=https%3A%2F%2Facademictorrents.com%2Fannounce.php&tr=udp%3A%2F%2Ftracker.coppersurfer.tk%3A6969&tr=udp%3A%2F%2Ftracker.opentrackr.org%3A1337%2Fannounce



https://wap.sciencenet.cn/blog-1750-1425770.html

上一篇:岭南探石寻矿之金山地质博物馆(增城)
下一篇:研究生读研期间不妨多做点“杂”事
收藏 IP: 43.128.115.*| 热度|

1 杨正瓴

该博文允许注册用户评论 请点击登录 评论 (0 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-4-27 16:10

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部