网友提问 :7、大模型私有化部署需要的算力大概是在一个什么量级?

2023-04-30 00:00:00

星环科技 (688031): 回答:回复:例如像开源的ChatGLM,它有6B和130B,利用LoRA等不断出现的技术大概在10张A100卡以内就能精训(Fine-tune)和推理。因此,对于这种大模型,行业里的客户是有技术条件去做私有化部署推理这件事情的;同时,目前大模型的小型化也在快速推进,可以预期的是它需要的精训和推理计算力门槛也在慢慢降低的;再次,由同行经验,对于大模型来讲,第一要求的是有高质量的数据,第二是看模型的参数大小,第三才是算力。

2023-04-30 00:00:00

热门互动

星环科技股票

星环科技
法定名称:
星环信息科技(上海)股份有限公司
公司简介:
2013年6月5日,"星环信息科技(上海)有限公司"成立。
经营范围:
公司是一家企业级大数据基础软件开发商,围绕数据的集成、存储、治理、建模、分析、挖掘和流通等数据全生命周期提供基础软件及服务。
注册地址
上海市徐汇区虹漕路88号B栋11-12楼
办公地址
上海市徐汇区虹漕路88号3楼、B栋11楼

热搜牛散

热门股票

Copyright © 2016 特特股 tetegu.Com All Rights Reserved