网友提问 :7、大模型私有化部署需要的算力大概是在一个什么量级?
2023-04-30 00:00:00
星环科技-U (688031): 回答:回复:例如像开源的ChatGLM,它有6B和130B,利用LoRA等不断出现的技术大概在10张A100卡以内就能精训(Fine-tune)和推理。因此,对于这种大模型,行业里的客户是有技术条件去做私有化部署推理这件事情的;同时,目前大模型的小型化也在快速推进,可以预期的是它需要的精训和推理计算力门槛也在慢慢降低的;再次,由同行经验,对于大模型来讲,第一要求的是有高质量的数据,第二是看模型的参数大小,第三才是算力。
2023-04-30 00:00:00