网友提问 :8、“小钢”如何保证数据的准确性?以及利用公开数据的合规性?
2023-12-16 00:00:00
上海钢联 (300226): 回答:答:对于数据的准确性,首先,使用内部的数据库结构和业务逻辑来训练大模型,使其能够识别和查询所需的数据。其次,通过反向训练的方式,将成熟的案例训练给大模型,并由大模型监督模型实现准确性。对于文档的合规性,通过训练小模型来识别语料的主题和是否包含敏感问题或错误,以确保使用的语料是合规的。在训练大模型时,使用相似度较高的语料可以避免模型偏离主题。此外,引入大量已经筛选过的优质语言可以避免合规问题。此外,钢联拥有海量的产业大数据资源,并且积累了大量的合规能力。这使得钢联在给大模型做预训练时能够保证数据质量,并且在引入外部数据集时能够进行高质量或合规的筛查处置。
2023-12-16 00:00:00