10月21日,法国Orange全国移动网络大面积中断。
11月5日,日本NTT Docomo的5G SA服务全国中断。
11月11日,Docomo的5G SA服务再次全国中断。
11月16日,Docomo的5G SA服务第三次全国中断。
短短26天,两家大型运营商接连发生4起全国性移动网络重大故障,而故障都出在同一个关键位置——5G核心网。
对于一家正在加速从5G NSA向SA迁移,希望借此改善网络质量、重建用户信任的运营商来说,这11天,Docomo几乎经历了一场极限压力测试。
11月5日上午11时18分左右,Docomo的5G SA服务发生全国性故障,最多约158.7万名5G SA用户受到影响,语音、数据和短信都无法正常使用。故障直到次日凌晨1时20分左右才恢复,持续约14小时。
Docomo最初在公告中给出的原因是:
承载5G SA签约用户的交换设备发生拥塞。
11月6日,Docomo进一步说明了故障经过:
承载5G SA用户的部分交换设备出现内存异常,处理能力下降,响应时延不断增加。
终端长时间收不到网络响应,就开始反复重传。大量重传又进一步推高了核心网的信令负荷,形成近似“信令风暴”的现象,最终把局部设备的异常,放大成了全国性的5G SA业务中断。
为什么故障会持续14个小时?
Docomo解释说,内存异常发生时,公司正在全国范围内更新用户数据库文件。两件事在时间上重合,排查人员起初怀疑是数据库更新引发了故障,因此花了更多时间去检查相关作业。
另外,出问题的恰恰是核心通信系统中的主用系统。这意味着Docomo不能简单地重启设备,也不能贸然倒换主备。恢复业务时,还要谨慎控制大量终端集中重新接入带来的信令洪峰,避免恢复动作本身引发第二轮拥塞。

图源NTT Docomo
故障恢复后,Docomo表示已完成临时措施,并计划在一周内完成防止内存异常再次发生的永久措施。
然而,第一次故障刚刚落幕,永久措施还在“一周内完成”的时间表上,六天后,同一张网络再次中断。
11月11日上午10时34分,Docomo的5G SA服务再次发生全国性故障,直到晚上7时17分才完全恢复,持续约8小时43分钟。受影响的仍是5G SA签约用户,普通5G和4G依然正常。
这一次,Docomo给出的原因,与第一次最初的表述基本相同:
承载5G SA签约用户的交换设备发生拥塞。
但Docomo没有进一步说明具体原因,也没有说明是否与第一次的内存异常有关。
这些问题还没有答案,五天后,第三次故障又来了。
11月16日上午10时02分,Docomo的5G SA服务第三次发生全国性故障,直到下午3时58分才全面恢复,持续约5小时56分钟。影响范围依旧没变:5G SA签约用户的语音、数据和短信受到影响,普通5G和4G不受影响。
这一次,Docomo把原因表述为:
通信集中到承载5G SA签约用户的交换设备。
官方表述,从“交换设备发生拥塞”变成了“通信集中到交换设备”。但通信为什么会突然集中?三次故障是否有关联?Docomo仍未透露。
唯一稍显积极的是,三次故障的持续时间,从约14小时缩短到8小时43分钟,再缩短到5小时56分钟。这或许说明,Docomo的故障定位和恢复速度在提高。
Docomo连续三次故障,也让人想起不到一个月前法国Orange的全国性断网。
当地时间10月21日上午11时37分,Orange突发全国性网络中断,数百万用户无法正常打电话、发短信或使用移动数据。服务直到下午6时30分至晚上8时30分才陆续恢复。
据法国媒体报道,故障出在Orange的新移动核心网设备上。过去18个月,Orange一直在分批把用户迁入这张新核心网,每批约10万用户。这次受到影响的,是已经迁入新核心网的部分4G和5G用户,仍留在旧核心网的用户没有受到影响。
由于事故发生在用户迁移期间,外界一度怀疑是核心网割接失败。Orange随后否定了这种猜测,称真正的原因是:诺基亚新移动核心网设备中的一个软件漏洞引发连锁故障,并使备用系统一同失效。
Orange负责人表示,这次事故极为罕见,十四年来从未遇到过类似的事件,而且复杂度前所未有,所以花了很长时间才找到漏洞。
他解释说,这个软件漏洞会让设备在收到某种特定的错误信息后崩溃,而且每次尝试恢复上线,都会再次崩溃。
更麻烦的是,备用设备运行着相同的软件,也跟着瘫痪了。
从Docomo到Orange,故障都出在5G核心网这个位置。这不由让人想起,当初业界在讨论5G核心网向云原生和服务化架构演进时,就曾提出过的一些技术挑战。
一是自动恢复不等于业务恢复。
Docomo第一次故障后,有一个信息点值得关注:官方证实底层虚拟化与自动恢复机制在故障期间正常工作,但仍未能阻止长达 14 小时的业务中断。
云原生的自愈机制,可以重启或迁移异常实例。但若故障发生在应用层业务逻辑、信令上下文状态或网络拓扑层,且编排系统缺乏对复杂电信业务逻辑的精细化修复能力,就可能出现这样的情况:基础设施和网络功能自动恢复了,端到端业务却迟迟没有恢复。
二是服务化架构带来的依赖复杂度和故障放大风险。
5G核心网把传统网元拆分成为模块化的微服务,网络功能之间通过服务化接口相互调用。这让部署、扩容和演进更灵活,但也增加了服务发现、授权、超时、重试和状态同步等依赖关系。一旦某个关键网络功能出现延迟或逻辑异常,就可能引发不断重试,造成局部异常的级联放大。
三是软件同构与冗余失效。
在云原生环境下,主备系统若运行着完全相同的代码与镜像,就会共享同一个软件故障域。这意味着,同一个软件漏洞会让主用和备用系统一起倒下,冗余机制彻底落空。Orange这次就是如此。
针对这些挑战,业界也提出了相应架构优化方案和解法。例如,让云基础设施与电信业务逻辑深度协同,建立跨网元的全局编排与资源调配机制,并进一步补齐电信级高性能硬件和专有网络协议方面的短板。
目前,Orange 已确认是共有软件漏洞击穿了主备系统。Docomo 披露的首起事故则涉及内存异常、信令重传与设备拥塞,后续事故根因仍未公开。尽管这些还不足以完全证明,业界当年担心的那些挑战已经在现网中发生,但这些故障至少给行业敲响了警钟:
虚拟化、自动恢复、主备冗余,本来都是为了让核心网更可靠,可事故发生时,它们为什么没能挡住断网?
这也让行业不得不思考:如果6G核心网是5G核心网的轻量化演进版,就更需要在设计之初,把故障隔离、冗余设计和恢复能力放在更突出的位置。
