近年来,随着云计算、大数据以及深度学习等技术的快速发展,人工智能技术也日益成熟,并开始在各个领域落地应用。
但是,人工智能在推动产业发展的同时,也给安全领域带来了巨大的挑战。在日前召开的2018中国人工智能移动安全高峰论坛上,来自不同领域的安全专家围绕“AI与安全”的话题展开了讨论。
工信部网络安全管理局副局长杨宇燕表示,保障人工智能的安全使用是一项复杂的系统工程,目前,这一工程还存在安全意识不足、制度落实不到位等问题。
为了应对人工智能安全的发展,杨宇燕认为应该从四个方面发力。首先是突破核心技术,其次是加强标准的制定,然后是建立网络威胁信息共享机制,最后是加强应急处置和评测体系的建设。
百度首席安全科学家韦韬则认为,人工智能的演进速度太快,背后隐藏的安全风险给安全防护工作带来巨大压力,“如果防护方不提前把控风险,黑产一定会把它们利用到极致,并对社会造成巨大的灾害。”
系统漏洞
李康去年刚刚从学术圈转到产业界,现在是360智能安全研究院的负责人。他主要的研究方向是攻防对抗里的安全技术,其中便包括人工智能对抗方面的研究。
在李康看来,人工智能系统中存在非常多的漏洞,其中遇到最多的安全问题是“逃逸攻击”。这也被形容为“骗人攻击”,因为其主要目的就是欺骗人工智能应用,最典型的案例就是人脸识别系统将A认作是B。
形成这种攻击的主要原因是深度学习模型在做数据培训时,通常是采用固定的维度,比如图像训练,所有图像资料都会被进行维度处理,调整至同样的格式呈现给机器。但在这个变维的过程中,也成为攻击者进行“数据投毒”,欺骗人工智能的场景。
“原来是一张羊的图片,但维度变化后,机器看到的并不是羊,而是狼。”李康表示,这种情况下,攻击者可能使用的手段也通常出乎意料。
此外,相对于欺骗人工智能的“骗人攻击”,还存在一种偷取人工智能的“偷人攻击”。这种情况下,攻击者的目的是复制人工智能模型、数据和参数,获得模型后,攻击者可以自行训练数据,更危险的是还有可能推导出原来用的是什么数据。
“目前面临的一个重要问题是,安全分析员没有意识到有这么多安全问题,主要还是因为现在的程序复杂度太高,越复杂的系统潜在的安全风险也越多。”李康表示,“这也要求业界要多关心自身模型、数据的安全,AI是一个有巨大价值的东西,但它如果很轻易就能被别人‘偷走’的话,就是一个巨大风险。”
AI“双刃剑”
从事网络安全工作多年的安赛科技高级咨询顾问于忠臣向21世纪经济报道记者表示,人工智能技术对安全产业起到了极大的促进作用,“在之前,攻击者可以对一个漏洞进行反复利用,甚至可以交叉利用多个漏洞去攻击用户,但AI技术帮助防护方在极短时间内发现漏洞,并进行全网修复。”
但同时,于忠臣也指出,任何新兴技术都是一把双刃剑,AI技术在助力防护方的同时,也成为很多攻击者的一把利器。
北京大学郭耀教授表示,他目前正在用人工智能技术解决很多应用安全的问题,比如安全分析、广告欺诈监测、隐私分析等。
“应用在访问用户数据前会有一个非常长的条款,利用人工智能技术就可以对此进行聚类分析,然后对比相似功能的应用,如果100个应用做同样的事情,其他的都不需要电话号码,而有一个需要,那肯定是有问题的。” 郭耀说。
而腾讯移动安全防病毒负责人王佳斌指出,从攻击者角度来说,他们实施攻击的第一步是选择攻击对象,而人工智能可帮助攻击者更精准的寻找目标。
有研究表明,通过人工智能的方式对被攻击人的行为进行训练,可以实现在一些合适的节点进行钓鱼攻击,从实际效果来看,这种方式的成功率可达30%,而普通的广撒网方式则只有5%-14%的成功率。
除此之外,王佳斌还提到了“数据污染”。在实际检测到的一些病毒中,已经发现一些黑产通过正规的申诉通道,投递出与病毒非常接近的文件。这些文件的敏感恶意行为被去掉了,改动也很小,但将它标记为安全进行训练后,却会产生很多问题。
面对来自黑产的对抗,王佳斌提出了两种应对方案。第一种是对黑产提交过来的污染样本进行鉴定,并从训练集里剔除,保证训练数据的纯洁性;第二种是寻找更多的对抗样本,找到它们与训练数据的差异性,提前补充到训练数据的特征工程中,这样污染样本过来时,就能快速区别。
平衡发展
对于AI和安全的关系,长虹信息安全灯塔实验室首席科学家唐博认为可以为三个发展阶段。第一个阶段,是用AI的方法可以解决一些安全问题,比如用AI的方法来识别攻击、用大数据分析识别一些异常流量或者一些攻击的行为。
第二个阶段是用安全来保护人工智能。在人工智能的模型被“偷”,被“骗”的过程,需要对其进行安全保护。
第三个阶段,是当人工智能的安全达到一定程度时,它可能会出现跨界或者跨平台的应用,效率也得到进一步提升。而这些过程中,安全和AI是一个相辅相成的过程。
中国信通院泰尔终端实验室副主任马鑫则认为,技术本没有对错之分,只有先进落后之分。正常的技术发展都需要有一个周期,而且人工智能和其他技术不同,如果把其他技术比作潮水,那人工智能则像海啸。
AI是一个大系统,系统越复杂,它的安全越需要关注。在一些应用场景比较简单的情况下,它的安全性比较容易得到满足和保障,而在一些复杂的场景下,则需要对其安全性进行研究。而在整个技术发展过程中,面对的是一个平衡的问题。