网友提问 :问:公司的大模型训练和推理成本大概是什么水平?在商业化之前,计划将成本优化到什么水平?会采取哪些措施?
2023-10-30 00:00:00
昆仑万维 (300418): 回答:答:首先在硬件端,自 2020 年起,我们便前瞻性地进行算力储备,现已构建了自主可控的算力集群。目前公司芯片储备达 9,000 张,预计能够满足未来 1~2 年除视频 AIGC 之外的大模型算力需求。其次,与大模型不同,应用端调用的模型是经过针对性优化的小模型,对算力的消耗相对较小,公司现有的硬件储备足以支撑其应用。另外,关于推理和训练的优化工作,全球范围内都在进行。我们可以观察到,基本上我们所有的推理成本都在快速下降。在海外推出的基于 UGC 社区的 C 端产品形态中,大部分用户是使用阅读、收听或观看 AIGC 内容的 C 端用户,而真正进行 UGC创作的用户占比相对较小。我们认为这种新的商业形态有望进一步降低我们对训练和推理成本的需求。从我们的业务模式来看,我们在商业化方面对算力成本的依赖和需求非常低。
2023-10-30 00:00:00