网友提问 :公司是否评估过DeepSeek大模型(尤其是其推理优化与合成数据技术)对训练数据需求的影响?未来是否有计划针对DeepSeek的模型架构(如MoE、强化学习)开发定制化数据集,以提升双方技术协同性?”
2025-02-21 15:33:30
海天瑞声 (688787): 回答:尊敬的投资者,您好:(1)Deepseek推出了一系列模型,其中V3模型依然使用了预训练、以及SFT等训练方式,其中预训练阶段的token使用量达到了14.8T,远超GPT4等同类可比大模型预训练阶段的数据使用量,且在后训练阶段也使用了一定规模的标注数据,这也更加说明海量以及高质量数据对于基础模型能力提升的重要意义。(2)关于让大家震撼的R1模型,基于目前的公开信息来看,其部分优势体现在推理类任务上,尤其是那些具备较强的规则性、可以推导的任务类型上,确实不需要大量的人工标注,但是对于其他领域(尤其是更为广阔的垂向领域)的复杂问题,依然需要观察,我们认为高阶的数据专家的参与依然非常重要。(3)此外,数据质量不仅影响模型获取和表达知识的能力,还决定了模型生成内容的风格和准确性,帮助DeepSeek实现了在输出端的文采能力提升。 其一,高质量数据可以提升模型表达和推理能力。优质数据包含准确、连贯且富有表现力的语言样本。例如,包含CoT数据可以引导模型在推理时进行反思,进而在生成回答时展现出清晰的逻辑和优美的语言表达。这正是DeepSeek模型能够生成既准确又具有华丽文风的关键因素之一。其二,高质量数据可以降低噪音和确保一致性。数据中的错误、噪音或不一致信息会导致模型生成内容出现语法或逻辑问题。高质量的数据则能有效减少这些问题,使模型更好地学习到语言规律,从而提高整体生成质量。 其三,高质量数据可以提升泛化能力。数据的多样性和全面性使得模型在面对不同领域和任务时都能生成高质量的回答。丰富且准确的样本帮助模型在多种场景下自如切换风格,无论是精炼的技术解答还是文采斐然的创意写作,都能游刃有余。
(4)往未来看,MoE等算法架构会发挥各自优势,进一步助推模型向产业端发展,真正让大模型技术深入滲透到各个行业中,这一过程中必将凸显专业知识的直要性,需要更多数据、以及数据专家的参与,因此我们看好并期待未来大模型在各行业百花齐放的局面。
2025-02-21 15:33:30