StableLM

StableLM官网,Stability AI推出的类chatgpt大语言模型

StableLM是什么?

或许每一次历史潮流的兴起，都有着热热闹闹的场面。今年年初，AI大型语言模型（LLM）ChatGPT引爆了市场，而现在又有一位重磅选手加入这场竞争——Stability AI。Stability AI是一家推出火爆AI绘画领域Stable Diffusion开源模型的公司。在4月19日，他们宣布推出开源大语言模型StableLM，并发起了对ChatGPT的挑战。当您进入Stability AI网站上的大语言模型介绍页面时，您会先看到一只绿鹦鹉，展现了Stable Diffusion XL的绘画特点，然后才是大语言模型的介绍。也许，这就是大语言模型“Stable Diffusion”不期而至的时刻吧。

StableLM官网

GitHub等开源平台上下载：https://github.com/stability-AI/stableLM/

Stability AI近期发布了大型语言模型StableLM，该网站介绍了该模型的相关参数和下载方式。目前，StableLM的Alpha版本已经可以从GitHub等开源平台上下载，包括30亿和70亿参数版本，而后续还将推出更高参数的版本。与Stable Diffusion类似，开发者可以在遵守协议的情况下，将该模型用于商业或研究活动。

Stability AI成立于2019年，是生成式AI领域中最知名的公司之一。在ChatGPT占据市场地位的大语言模型市场上，不少人期待着类似Stable Diffusion的开源模型能尽快出现。而Stability AI将其StableLM的发布比作Stable Diffusion，这预示着该模型也将像Stable Diffusion一样向公众开放使用。这一消息吸引了很多人的关注，AI军备竞赛的开启或许就要开始了。

因此，Stability AI在今年年初与Hugging Face等几个初创公司一起资助了研究中心Eleuther AI，StableLM便是建立在Eleuther AI的开源模型之上。

这些模型包括GPT-J、GPT-NeoX和Pythia等等，而此次大模型的训练则是在The Pile这个开源数据集上完成的，该数据集融合了PubMed、StackExchange和维基百科等多个网站的文本样本，规模是The Pile的三倍，共包含1.5万亿个内容标记。

尽管参数规模与GPT-3无法进行直接比较，但StableLM在交流和编程方面展现出了惊人的高性能，这正是多样的文本数据集带来的好处。