网友提问 :问:大家比较关注国外 ChatGPT 等 AI 新技术在安全的一些应用,请问两个方面的问题,第一是从技术发展上可能会带来什么样的安全问题?另外就是前段时间微软、谷歌要把 AI 能力植入到整个安全技术体系内,公司怎么去看技术发展趋势以及是否会有相应的布局?
2023-04-28 00:00:00
亚信安全 (688225): 回答:答:这个问题其实是两个方面,先回答 AI 对安全的影响。原来我们一直在谈公司的平台化战略是云化、智能和联动,其中的“智能”实际上从那时候开始一直在做相应的布局,只不过最近ChatGPT 的推出让大家突然发现 AI 的很多算法和模型超出了大家的预期,实际上整个 AI 构架与网络安全行业极其契合。在大模型中一方面要有相应的海量数据,另一方面要有相应的模型或者规则,最后是相应的反馈,甚至把反馈输出给机器人、虚拟人等完成行动处置。这与网络安全行业基于威胁情报以及安全事件告警记录等海量信息采集、训练形成模型是类似的路径,不管是在做 APT 防护还是各种各样的防御,威胁发现能力的规则要有相应的模型,只不过原来这些规则绝大部分要基于专家、基于攻防研究去设置,然后才会进行相应的处置和响应。从这个链条来看,我们可以看到AI 的应用在于取代专家的判断或者加强规则的设立。AI 底层技术在云网边端相应的产品、威胁情报、核心技术引擎等方面都得到了很快的发展与应用。不管是 XDR 还是我们讲到的态势感知等产品,都会应用 AI 技术,未来我们给客户提供的运营能力以及应急处置能力都可以用 AI 进行部分替代和取代,甚至比训练有素的安全专家会更加强大。从这个维度讲,AI 的注入和赋能对整个产业会产生深刻的影响,带来巨大的帮助。 第二,AI 本身的挑战。AI 大模型基于海量数据和相应的训练,在模型中大家可以发现提问的技巧特别关键,提问人有没有解构的能力、把问题设计好是比较重要的。一方面,训练的数据是不是存在毒药、提问和处置在应用的时候是否出现问题等等会对数字化系统带来巨大的挑战,也就是说可以数据投毒,甚至黑客组织、APT 组织也可以利用模型能力来高效地发起攻击。所以在这个过程中怎么防范在数据训练和提问的过程中避免出现安全风险是很大的挑战,也是一个很大的问题。其实安全行业和各国政府高度重视 ChatGPT 带来的安全问题,不仅是我们所看到的狭义的网络安全和数据安全,甚至于上升到了社会意识、舆论操作的问题,所以这里面我们认为会有很多的挑战,网安行业会在相关技术应用如同态加密等密码技术以及很多技术层面对其进行相应的防御。
2023-04-28 00:00:00