网友提问 :近期公司公众号先后发布了多篇关于国内外常见大模型产品的测试文章,我想问下,关于国内大模型测试评估市场未来的发展趋势,公司有何想法?公司的竞争优势是什么?
2024-06-04 11:18:00
永信至诚 (688244): 回答:尊敬的投资者,您好!
安全是人工智能健康发展和可持续应用的前提和保障,随着人工智能大模型广泛应用,潜在的安全风险也日益突出,人工智能大模型急需开展常态化测试评估。具体来看:
第一,政策监管要求。国家对AI技术和应用的监管日益加强,先后颁布实施《生成式人工智能服务管理暂行办法》(中央网信办等七部门联合发布)以及《生成式人工智能服务安全基本要求》(全国网安标委发布),都提出开展AI安全评估、建立常态化监测、测评手段等明确的要求。
第二,实质性的内容安全要求。AI智能的快速发展和应用使得AI被用于生成钓鱼邮件、编写恶意软件代码等变得普遍,AI能力已经被恶意利用导致网络攻击数量激增。同时,越来越多实例证明,AI大模型的产出可能存在暴力、虚假、诋毁、扭曲历史等不符合正向价值观的内容,一方面在AI应用上市前必须进行安全测评,在其全生命周期的服务过程中更需要进行常态化的测评和监控,利用AI对抗AI,将AI能力限制在安全的范围内。
第三,系统安全要求。AI大模型作为复杂的软件系统,存在非常复杂的上下游供应链,并与互联网或其他各类信息系统相连接,越复杂的系统可能存在的安全脆弱点就越多,面临的安全威胁也越多。AI系统自身的基础设施面临非常高的系统安全风险,比如通过网络环境、系统漏洞、模型后门、算法漏洞、数据泄露、数据违规等等,一旦遭受到黑客攻击或渗透,AI大模型将造成非常大的社会和经济损失,因此必须通过不同压力场景下的测试来检验其防御弹性,保证AI系统的数字健康。
根据沙利文咨询预测,2024年我国人工智能市场规模将突破7993亿。因此,随着国内AI大模型的广泛应用,AI大模型安全测试评估赛道拥有巨大的市场潜力和发展空间。
作为人工智能安全测试评估的先行者,基于公司AI安全测评“数字风洞”,不仅可以为大模型打造基础安全设施测试平台,筑牢大模型安全基石,还可以利用专为安全测评打造的AI春秋大模型为基座,为大模型打造内容过滤引擎,确保大模型输出内容更符合社会伦理和法律法规要求,从而实现常态化支撑大模型基础设施安全与内容风险测评,保障AI数字健康和规范应用。
目前,公司结合AI春秋大模型和「数字风洞」产品的技术与实践能力研发了基于API的AI内容安全测评系统,已接入百度千帆、通义千问、月之暗面、虎博、商汤日日新、讯飞星火、360智脑、抖音云雀、紫东太初、孟子、智谱、百川等20余个AI大模型API,以及2个本地搭建的开源大模型。春秋AI大模型是这个测评系统的核心,公司利用20余万条静态提问集和近200种针对大模型的内容安全测评载荷对这个大模型进行训练和微调,使其具备了精准的针对大模型进行动态提问、智能测评以及对回复结果进行异常判定和评估的能力,借助数值风洞的时光机功能可以针对多个大模型进行常态化的内容安全测评和监测,并一键进行快速复测,春秋AI大模型也可以作为内容安全外脑为任意的大模型及其应用进行安全赋能。
谢谢!
2024-06-04 11:37:00