如何构建安全可信的人工智能？中国工程院院士沈昌祥系列解读！

当下，人工智能（AI）技术以前所未有的速度赋能人类社会，推动其跨越式发展的同时，AI 技术的滥用与潜在失控风险可能会对国家安全与人类社会构成重大威胁。

问：有哪些新兴技术可能带来网络空间安全风险？最需要警惕的网络安全的威胁是什么？

沈昌祥院士：现在的新型技术不断地涌现，我们生产也在不断发展，数字化、智能化……关键是智能化发展是生产力发展必然的趋势。人工智能在赋能人类社会加快发展的同时，正逐渐衍生出可危及国家安全和人类安全的新形态严重风险，人工智能一旦失误就会给人类带来灾难，比如机器人，如果被人家控制了，可能会发生危险行为。所以我们必须要解决人工智能化社会以后的网络空间安全问题。要确保新型网络空间安全可信，使人工智能业务信息安全可信：物理环境信息数据、算法模型规则及伦理、实现软件代码和流程；计算处理服务资源安全可信：传感控制设备、通信网络、计算能力（云）；安全可信管理：系统资源配置满足高强度计算，可信策略。——源自搜狐科技高端访谈栏目《1号位》

问：人工智能发展中的安全问题？

沈昌祥院士：全球范围内对人工智能潜在风险的担忧日益加剧，如马斯克等顶尖专家联合呼吁重视并缓解人工智能可能带来的灭绝风险。大模型虽然具备强大的预训练语言能力和精准的回答问题能力，但其背后隐藏着信息泄露、可信能力缺失、偏见及违反伦理道德等风险。以ChatGPT为例，人工智能在辅助决策时可能导致的错误判断及其严重后果。有研究数据表明，使用AI生成的数据训练次数超过5次，模型就会出现崩溃。将AI生成的内容喂给模型，只会导致性能下降。这种“模型自噬障碍”（MAD），即生成式AI成本越来越低，伴生而来的是AI生成信息的低质、同质化，未经证实的“AI语言”如果不加以甄别，又再次进入互联网，就会“弄脏”互联网，进一步被抓取作为训练AI的语料，AI大模型将会走向崩溃，陷入这种“模型自噬”。 ——源自2024世界数字经济大会互联网3.0高峰论坛

问：为什么人工智能的安全问题被放大了呢？

沈昌祥院士：关键是大模型继承了深度学习的模型，我们叫“黑盒子”，构成了学习的闭环环节，导致决策和推理过程中难以被理解，因此也埋下了极大的风险隐患。此外，模型在构造过程当中还可能存在数据来源不可信的问题，如果有人故意破坏这个模型的数据，这会给人们带来灾难。如果智能硬件被应用于恐怖袭击，智能化机器人实施犯罪行为，智能化武器与军备竞赛引发了国际担忧，机器人智能行为一旦失控将危及人类的安全，只有在确保人工智能安全可信的前提下才能健康发展。安全可信的系统能够提供动态的全方位保护，确保计算任务的逻辑组合不被篡改或破坏，从而实现预期的计算目标，这相当于人体具有免疫力，确保健康。 ——源自2024网易经济学家年会·夏季论坛

问：人工智能风险普遍存在吗？请结合案例说明。

沈昌祥院士：人工智能风险与网络安全密切相关。网络安全是人工智能发展的底座，其风险度=脆弱度×威胁度，其中脆弱度来源于图灵计算原理缺少攻防安全理念、冯·诺依曼体系结构缺少防护部件和重大工程应用无安全治理服务三大原始性缺失。这使得网络空间极其脆弱，受网络攻击的风险性增加。2021年5月7日，美国最大的成品油管道运营商科洛尼尔管道运输公司（Colonial Pipeline）受到勒索软件攻击，被迫关闭其美国东部沿海各州智能化供油网络，美国政府宣布美国17个州和华盛顿特区进入紧急状态。 ——源自科技日报

在人工智能基础设施建设领域，对哪个方面特别关注？

沈昌祥院士：安全问题至关重要。人工智能衍生出人工智能自身失误、智能硬件被恶意袭击以及机器人智能行为体失控等重大风险。需对这些问题加强研究和防范，构建由法律、战略和制度等组成的安全可信的保障体系，确保人工智能基础设施的安全、稳定、可持续运行。 ——源自科技日报

问：在自动驾驶、智慧医疗和人脸识别等特定领域，人工智能风险是否更为突出?

沈昌祥院士：自动驾驶、智慧医疗和人脸识别等技术，一旦出现问题将威胁到人类的生命安全和财产安全。IT系统设计不能穷尽所有逻辑，利用逻辑缺陷挖掘漏洞进行攻击的风险一直存在，传统“封堵查杀”难以应对未知恶意攻击，找漏洞、打补丁的思路也不利于整体网络安全，需要通过由被动防御转为主动免疫的方式来降低人工智能特定领域风险。 ——源自科技日报

问：随着人工智能技术的持续发展，数据隐私和安全、能耗等问题日益凸显。针对这些问题应先发展后治理还是边发展边治理？

沈昌祥院士：要注重治理和发展平衡。应构建主动免疫可信计算新模式，打造计算部件和防护部件为核心的并行体系结构，建设可信安全管理中心支持下的主动免疫的防护框架，实现主体、客体、操作、环境可信动态访问控制，确保体系结构、资源配置、操作行为、数据存储、策略管理可信。以此达到让攻击者进不去、非授权者重要信息拿不到、窃取保密信息看不懂、系统和信息改不了、系统工作瘫不成和攻击行为赖不掉的防护效果，全方位维护人工智能安全。 ——源自科技日报

问：具体该如何构建安全可信的人工智能？

沈昌祥院士：应从三方面展开：第一方面，物理环境信息数据、算法模型规则与伦理要实现软件代码和流程都要可信可控；第二方面，计算机处理服务资源安全可信，比如传感控制设备，通信网络、计算能力都要安全可信；第三方面，安全可信的管理，离开法治管理是不行的，系统资源配置要满足高强度计算，可信策略行为一定要有准则，异常控制与审计监控不可或缺。第一，信息数据要可信；第二，设备资源要可信；第三，管理要可信。 ——源自中国计算机报

问：行业或者企业应如何预防人工智能潜在的安全问题？

沈昌祥院士：要科学严谨分析研究，坚持自主创新，掌握核心竞争力，把握主动优势。要以具有可信计算功能的国产软硬件设备为基础，在完备的法律、战略和制度的支持下，尽快建立起完整的可信计算产品链，打造安全可信人工智能新生态，筑牢数字经济发展基石。 ——源自科技日报