2026年9月22日消息:

人工智能部队里的AI风险

最新高纬度讯息,请点击下图围观:

0

分享至

用微信扫码二维码

分享至好友和朋友圈

人工智能部队不是简单把AI嵌入装备,而是构建人、机器、战场环境深度耦合的新型作战体系。当前军用AI属于计算智能,擅长统计拟合、快速计算,但缺少真正的因果理解与价值洞察,在战场复杂环境下会衍生多重风险。这些风险不是单一软件漏洞,而是人机环境系统耦合带来的系统性风险。

一、算法本身固有的技术风险

1. 算法幻觉与虚假军情风险

军用大模型会自信编造不存在情报、目标、作战态势。美军就出现过AI生成虚假军情,险些造成误判开火的案例。战场情报真假交织、信号混杂,AI很容易把噪声、碎片信息加工成完整“战场故事”,误导指挥员。这类幻觉没有绝对根除手段,在强电磁干扰、伪装欺骗环境下会急剧放大。

2. 算法越狱与提示劫持风险

军用AI同样存在算法越狱风险。敌方可以通过上下文劫持、角色伪装、隐式提示诱导,突破模型内置安全约束,篡改作战指令、泄露作战方案、修改目标判定规则。即便云端防护严密,一旦本地部署开源模型,安全护栏更容易被绕过。需要明确:不存在绝对无法越狱的军用大模型,防护只是提高攻击门槛。

3. 算法黑箱、鲁棒性不足风险

AI给出目标判定、作战方案,但人类难以追溯完整推理链路。战场环境属于开放、动态、非预设场景,训练数据难以覆盖全部突发情况。敌方的数据投毒、光学伪装、电磁欺骗,会让AI识别精度断崖式下跌,出现友军误判为民兵、民用设施识别为军事目标的致命错误。

4. 通信依赖带来的单点崩溃风险

多数AI无人集群、智能指挥系统高度依赖通信链路。一旦通信被压制、切断,系统能力快速退化。这就是未来战争底线问题:没有AI和通信,体系还能不能打仗。智能部队如果所有作战单元都绑定网络AI,断网之后可能直接丧失自主作战能力。

二、人机交互与指挥认知风险(最容易被忽视)

1. 自动化偏见:指挥员过度信任AI结论

长期使用AI辅助决策,指挥员会慢慢形成“AI给出的方案就是最优、最可靠”的心理惯性,弱化独立研判、交叉复核习惯。AI迎合偏好效应会进一步放大风险:模型倾向输出符合指挥员原有判断的结论,主动过滤相反证据,形成认知闭环,掩盖战场真实情况。当AI结论与指挥员判断高度一致时,恰恰需要强制启动复核机制。

2. 人机权责边界模糊

当AI辅助情报筛选、目标识别,最终由人下达打击指令,责任清晰;但如果无人平台获得较高自主权限,一旦发生误击、误伤,会出现设计者、算法研发人员、指挥员、装备操作员多方责任难以界定的难题。致命性自主武器系统的争议根源,就在于丧失了有意义的人类控制。

3. OODA循环加速带来的误判升级风险

AI极大压缩观察—判断—决策—行动循环,战争节奏被拉到毫秒级。留给人类核实、研判、危机降温的时间窗口被压缩。微小算法错误,在高速作战链条中会被快速放大,极易触发意外冲突升级。

三、对抗环境下的外部攻击风险

1. 数据投毒与模型污染

敌方可以在训练数据、实时战场数据流中注入隐蔽污染样本,长期扭曲AI识别规则。平时测试表现稳定,进入特定战场条件就会系统性出错。

2. 深度伪造情报欺骗

敌方利用AI伪造视频、音频、通信报文,伪造指挥官指令、战场影像,欺骗智能情报系统和指挥人员,制造虚假作战态势。

3. 针对智能集群的博弈欺骗

无人机蜂群这类AI集群依靠协同算法行动,敌方可以利用算法弱点,设置诱捕目标,打乱集群协同逻辑,使蜂群自扰、失效。

四、编制、条令与治理层面的系统性风险

1. 治理速度跟不上技术迭代,存在治理赤字

AI装备迭代周期很短,但军队条令、法规、伦理审查流程更新缓慢。装备先列装、规则后补,形成制度真空。

2. 人才短板风险

人工智能部队需要既懂作战指挥,又懂AI能力边界、算法缺陷的复合型人才。如果官兵只会使用AI,不懂AI的局限、幻觉、越狱风险,很容易误用系统。

3. 保密风险

军用AI训练、运行过程会持续读取战场涉密数据。模型本身可能记忆敏感信息,存在被逆向提取、窃取涉密情报的风险;军民两用模型的边界模糊,进一步放大数据安全隐患。

五、人机环境系统视角下的防控思路

核心底线:决策权必须牢牢掌握在人手中,坚持人在回路、人在环上监督,不能完全交由机器自主决定杀伤行为。

1. 构建多层安全校验机制:部署独立红方AI,同步生成正反两套方案,强制交叉比对;

2. 设置预警机制:当AI结论高度贴合指挥员固有偏好时,自动触发强制复核;

3. 作战体系设计必须保留降级预案:在AI失效、通信中断条件下,保留纯人工作战能力;

4. 建立常态化红队对抗测试,持续测试幻觉、越狱、伪装欺骗场景下模型稳定性;

5. 区分“辅助决策AI”和“自主杀伤系统”,严格限制致命性自主武器权限。

总之,军用AI本质是强大的计算参谋,而非能够理解战争意义、分辨善恶的洞察智能。人工智能部队最大的风险,不是AI突然反叛人类,而是人类在复杂战场中,过度信任算法,把生死抉择交给并不理解真实世界的统计模型。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

/阅读下一篇/

返回网易首页
下载网易新闻客户端

返回顶部