工业现场的通信永远是“故障是常态，稳定是结果”：网络闪断、PLC重启、电磁干扰、端口松动，任何一个小问题都可能导致通信中断。普通Demo级的“启动时连一次，连不上就报错”的写法，在现场跑起来三天两头断一次，人工重启才能恢复，在线率连90%都难保证。
要做到工业级99.99%的在线率，靠的不是“永远不中断”，而是中断后能秒级自愈、故障不扩散、极端情况能兜底。一套完整的高可用通信体系，必须包含「状态机管理+应用层心跳+指数退避重连+多级看门狗+数据兜底」五层防护，即使底层链路断了，上层业务也几乎感知不到。
一、先搞懂：工业通信为什么会“假死”？
很多程序看起来“连上了”，实际已经不能通信，90%的假死都源于四个底层问题：
- TCP半连接状态：网络闪断时，TCP层不会立即感知连接失效，
Connected属性依然返回true，但实际链路已经不通，默认TCP KeepAlive周期长达2小时，等系统发现故障黄花菜都凉了。 - 设备重启无感知：PLC断电重启后，客户端不会主动发起重连，一直停留在“已连接”的假状态，数据永远不更新。
- 业务线程卡死：一次异常阻塞导致采集线程死锁、挂死，线程不再执行读写，但程序没崩，界面看起来正常，数据却不再刷新。
- 资源泄漏假死：反复重连不释放旧的连接句柄、非托管资源，运行几天后句柄耗尽，再也无法建立新连接。
工业级通信的核心思路就是：默认所有环节都会出问题，并且为每一种故障准备好自愈和兜底方案。
二、整体架构：五层自愈体系，保障99.99%在线
| 层级 | 能力 | 作用 |
|---|---|---|
| 状态机层 | 连接状态统一管控 | 避免状态混乱、并发重连、重复初始化 |
| 心跳检测层 | 应用层心跳验证 | 精准识别半连接、假死连接，不依赖TCP状态 |
| 自动重连层 | 指数退避自动重连 | 故障后自动恢复，避免重连风暴打爆PLC |
| 看门狗层 | 线程级+进程级双重看门狗 | 线程死了重启线程，进程崩了重启进程 |
| 兜底层 | 数据保持+故障隔离 | 通信中断不影响主业务，单设备故障不扩散 |
整套体系的目标是：毫秒级故障检测，秒级自动恢复，极端故障自动重启，全程无需人工干预。
三、核心实现1：有限状态机，管清楚连接生命周期
很多重连逻辑写得乱，根源是没有明确的状态定义，全靠bool变量标记，很容易出现“同时多个线程发起重连”“状态反复横跳”的问题。用有限状态机统一管理所有连接状态，所有状态变更都走统一入口，从根源上避免混乱。
3.1 状态定义
publicenumPlcConnectionState{Disconnected=0,// 已断开Connecting=1,// 正在连接Connected=2,// 正常连接Reconnecting=3,// 正在重连Faulted=4// 严重故障，达到最大重试阈值}3.2 状态机核心实现
用读写锁保证状态变更的线程安全，对外提供状态变更事件，方便上层业务监听。
publicclassPlcConnectionStateMachine{privatereadonlyReaderWriterLockSlim_stateLock=new();privatePlcConnectionState_currentState=PlcConnectionState.Disconnected;publicPlcConnectionStateCurrentState{get{_stateLock.EnterReadLock();try{return_currentState;}finally{_stateLock.ExitReadLock();}}}// 状态变更事件publiceventAction<PlcConnectionState,PlcConnectionState>OnStateChanged;publicboolTryChangeState(PlcConnectionStatetargetState){_stateLock.EnterWriteLock();try{// 非法状态流转直接拒绝，比如已经在重连中就不能再发起重连if(!IsValidTransition(_currentState,targetState))returnfalse;varoldState=_currentState;_currentState=targetState;// 异步触发事件，避免阻塞状态变更_=Task.Run(()=>OnStateChanged?.Invoke(oldState,targetState));returntrue;}finally{_stateLock.ExitWriteLock();}}// 定义合法的状态流转privateboolIsValidTransition(PlcConnectionStatecurrent,PlcConnectionStatetarget){returntargetswitch{PlcConnectionState.Connecting=>current==PlcConnectionState.Disconnected||current==PlcConnectionState.Faulted,PlcConnectionState.Connected=>current==PlcConnectionState.Connecting||current==PlcConnectionState.Reconnecting,PlcConnectionState.Reconnecting=>current==PlcConnectionState.Connected||current==PlcConnectionState.Connecting,PlcConnectionState.Disconnected=>current!=PlcConnectionState.Disconnected,PlcConnectionState.Faulted=>true,_=>false};}}四、核心实现2：应用层心跳+指数退避自动重连
4.1 为什么不用TCP自带的KeepAlive？
TCP KeepAlive是传输层的保活机制，默认2小时才发一次探测包，只能检测链路层面的断开，无法检测“TCP连着但PLC通信栈已经挂了”的假死状态。工业场景必须用应用层心跳：主动发一条真实的读指令，PLC能正常返回才算连接真的可用。
4.2 心跳检测实现
选择一个PLC上必然存在、地址固定的寄存器作为心跳探测点，比如保持寄存器0，或者状态寄存器，周期执行读取，连续失败达到阈值则判定为连接失效。
publicclassPlcHeartbeatChecker{privatereadonlyIPlcClient_client;privateTimer_heartbeatTimer;privateint_continuousFailCount=0;privateconstintFailThreshold=3;// 连续3次失败判定为断开privateconstintHeartbeatInterval=2000;// 2秒一次心跳publiceventActionOnConnectionLost;publicvoidStart(){_heartbeatTimer=newTimer(DoHeartbeat,null,HeartbeatInterval,Timeout.Infinite);}privatevoidDoHeartbeat(objectstate){try{// 应用层心跳：读一个固定的已知寄存器，能读到才算真的连上_=_client.ReadHoldingRegisters(1,0,1);_continuousFailCount=0;}catch{Interlocked.Increment(ref_continuousFailCount);if(_continuousFailCount>=FailThreshold){OnConnectionLost?.Invoke();return;// 触发断线后停止心跳，等待重连成功后恢复}}finally{// 下次心跳_heartbeatTimer?.Change(HeartbeatInterval,Timeout.Infinite);}}publicvoidReset(){_continuousFailCount=0;}publicvoidStop(){_heartbeatTimer?.Dispose();}}4.3 指数退避自动重连
检测到断线后，不能疯狂循环重连，否则PLC刚启动就被大量连接请求打挂。采用指数退避策略：失败次数越多，重连间隔越长，最大间隔限制在30秒，既保证快速恢复，又避免冲击设备。
重连必须遵循「彻底释放旧资源→等待间隔→新建连接→验证可用性→恢复业务」的完整流程，绝对不能只new一个新TcpClient就完事。
publicclassPlcReconnectManager{privatereadonlyIPlcClient_client;privatereadonlyPlcConnectionStateMachine_stateMachine;privatereadonlyPlcHeartbeatChecker_heartbeat;privateint_retryCount=0;privateconstintMaxRetryBeforeAlarm=10;// 10次失败触发告警privateconstintMaxBackoffSeconds=30;privatereadonlyobject_reconnectLock=new();publicPlcReconnectManager(IPlcClientclient,PlcConnectionStateMachinestateMachine){_client=client;_stateMachine=stateMachine;_heartbeat=newPlcHeartbeatChecker(client);_heartbeat.OnConnectionLost+=TriggerReconnect;}publicvoidStart(){// 首次连接_=Task.Run(DoConnect);}privatevoidTriggerReconnect(){// 保证同一时间只有一个重连在执行if(!_stateMachine.TryChangeState(PlcConnectionState.Reconnecting))return;lock(_reconnectLock){_=Task.Run(DoReconnectLoop);}}privateasyncTaskDoReconnectLoop(){while(true){_retryCount++;// 指数退避计算等待时间intwaitSeconds=Math.Min((int)Math.Pow(2,_retryCount),MaxBackoffSeconds);awaitTask.Delay(TimeSpan.FromSeconds(waitSeconds));try{// 1. 彻底释放旧连接资源_client.Disconnect();awaitTask.Delay(500);// 等待资源完全释放// 2. 发起新连接boolsuccess=_client.Connect();if(success){// 3. 连接成功，重置计数器，恢复心跳，恢复业务_retryCount=0;_stateMachine.TryChangeState(PlcConnectionState.Connected);_heartbeat.Reset();_heartbeat.Start();// 触发连接恢复事件，上层恢复周期性采集等业务OnReconnected?.Invoke();return;}}catch(Exceptionex){// 记录重连失败日志，包含失败原因LogHelper.Error($"第{_retryCount}次重连失败：{ex.Message}");}// 达到告警阈值触发告警if(_retryCount==MaxRetryBeforeAlarm){_stateMachine.TryChangeState(PlcConnectionState.Faulted);OnReconnectFailedAlarm?.Invoke();}}}privateasyncTaskDoConnect(){if(!_stateMachine.TryChangeState(PlcConnectionState.Connecting))return;try{boolsuccess=_client.Connect();if(success){_stateMachine.TryChangeState(PlcConnectionState.Connected);_heartbeat.Start();OnConnected?.Invoke();}else{TriggerReconnect();}}catch{TriggerReconnect();}}publiceventActionOnConnected;publiceventActionOnReconnected;publiceventActionOnReconnectFailedAlarm;}五、核心实现3：多级看门狗，彻底杜绝假死
重连只能解决“连接断了”的问题，但如果是“采集线程卡死了”“程序崩了”，重连逻辑也跟着一起死了，这时候就需要看门狗来兜底。工业级场景至少要做两级看门狗。
5.1 线程级看门狗：监控业务线程不卡死
每个关键业务线程（采集线程、计算线程）都向看门狗注册，线程正常运行时定期“喂狗”，超过设定时间没喂狗，就判定线程异常，强制销毁并重启线程。
publicclassThreadWatchdog{privatereadonlyDictionary<string,WatchdogItem>_items=new();privatereadonlyThread_watchThread;privatevolatilebool_running;publicvoidRegister(stringthreadName,inttimeoutMs,ActiononTimeout){lock(_items){_items[threadName]=newWatchdogItem{TimeoutMs=timeoutMs,OnTimeout=onTimeout,LastBeatTime=Environment.TickCount64};}}// 业务线程调用，喂狗publicvoidBeat(stringthreadName){lock(_items){if(_items.TryGetValue(threadName,outvaritem))item.LastBeatTime=Environment.TickCount64;}}publicvoidStart(){_running=true;_watchThread=newThread(WatchLoop){IsBackground=true,Priority=ThreadPriority.Highest// 看门狗线程优先级最高};_watchThread.Start();}privatevoidWatchLoop(){while(_running){Thread.Sleep(500);// 500ms检测一次lock(_items){foreach(varitemin_items){longelapsed=Environment.TickCount64-item.Value.LastBeatTime;if(elapsed>item.Value.TimeoutMs&&!item.Value.Triggered){item.Value.Triggered=true;LogHelper.Error($"线程[{item.Key}]超时未响应，触发重启");// 异步执行重启逻辑，不阻塞看门狗线程_=Task.Run(item.Value.OnTimeout);}}}}}publicvoidStop(){_running=false;}privateclassWatchdogItem{publicintTimeoutMs;publiclongLastBeatTime;publicActionOnTimeout;publicboolTriggered;}}使用示例：采集线程每个周期结束喂一次狗，超过5秒没喂狗就认为线程卡死，触发重启。
// 注册看门狗_watchdog.Register("DataAcquisitionThread",5000,RestartAcquisitionThread);// 采集线程内部privatevoidAcquisitionLoop(){while(_running){try{// 执行采集逻辑DoAcquisition();}catch(Exceptionex){LogHelper.Error($"采集异常：{ex.Message}");}finally{// 每个周期喂一次狗_watchdog.Beat("DataAcquisitionThread");Thread.Sleep(100);}}}5.2 进程级守护进程：程序崩了自动重启
如果发生非托管异常、内存溢出导致整个程序崩溃，内部的看门狗也一起死了，这时候就需要外部独立的守护进程来兜底。守护进程是一个极简的独立exe，只做一件事：监控主进程状态，进程退出就立即重启。
// 守护进程主逻辑classProgram{privateconststringMainProcessName="YourPlcClient";privateconststringMainExePath=@"C:\App\YourPlcClient.exe";staticvoidMain(string[]args){Console.WriteLine("PLC通信守护进程已启动");varcheckTimer=newTimer(CheckProcess,null,3000,5000);// 防止程序退出ManualResetEventwaitHandle=newManualResetEvent(false);waitHandle.WaitOne();}privatestaticvoidCheckProcess(objectstate){try{varprocesses=Process.GetProcessesByName(MainProcessName);if(processes.Length==0){LogHelper.Warn("主进程已退出，正在重启...");Process.Start(MainExePath);LogHelper.Info("主进程重启完成");}else{// 可选：监控内存占用，超过阈值强制重启longmemory=processes[0].WorkingSet64;if(memory>2L*1024*1024*1024)// 超过2G{LogHelper.Warn($"主进程内存过高({memory/1024/1024}MB)，强制重启");processes[0].Kill();Thread.Sleep(2000);Process.Start(MainExePath);}}}catch(Exceptionex){LogHelper.Error($"守护进程检测异常：{ex.Message}");}}}5.3 终极兜底：硬件看门狗
对于无人值守的工控机，可以外接硬件看门狗设备（USB/串口看门狗），程序正常运行时持续给硬件发脉冲，程序卡死、系统死机后，硬件看门狗超时会强制断电重启整机，实现最极端场景的自愈。
六、核心实现4：数据兜底+故障隔离
通信中断不应该导致业务崩溃，更不能把错误的数据传给控制逻辑。
- 数据质量戳机制：每个数据点都带质量标记，分为
Good（实时有效值）、Hold（保持上一值）、Bad（无效值）。通信中断时自动保持最后一次有效值并标记为Hold状态，上层业务可以根据质量标记决定是否使用。 - 单设备故障隔离：多设备场景下，每个设备独立通信线程、独立重连逻辑，一个设备挂了不影响其他设备，绝对不能因为一台PLC断连导致整个上位机卡死。
- 业务降级开关：通信异常时，自动关闭非核心功能（比如历史曲线、统计报表），优先保障采集、控制等核心功能的资源。
七、工程化避坑：90%的重连都踩过这些坑
1. 并发重连风暴
多个线程同时检测到断线，同时发起重连，反复创建销毁连接，资源越抢越乱。解决：用状态机+锁保证同一时间只有一个重连流程在执行。
2. 资源释放不彻底
重连时只调用Close，不Dispose，导致TCP句柄、串口句柄泄漏，运行几天就无法新建连接。解决：重连第一步就是彻底释放旧客户端对象，所有实现IDisposable的资源全部释放，再重新创建新实例。
3. OPC UA只重连TCP不重建订阅
很多人做OPC UA重连，只重新建立了TCP连接，但会话、订阅、监控项都没重建，结果就是“连上了但收不到数据”。解决：重连是全链路重建：连接→会话→订阅→监控项，一步都不能少。
4. 异常静默吞噬
重连失败只catch不记日志，现场出问题不知道断了多久、失败原因是什么。解决：每一次重连失败都要记录详细日志：时间、失败原因、异常堆栈、重试次数，做到所有故障可追溯。
5. UI线程阻塞
把重连逻辑放在UI线程执行，重连过程中界面完全卡死。解决：所有通信、重连、心跳逻辑全部放在后台线程，UI只做状态展示，绝对不参与通信逻辑。
6. PLC启动期被打挂
PLC重启需要十几秒初始化，这时候客户端疯狂重连，大量连接请求占满PLC连接数，导致PLC启动后很久都恢复不了。解决：指数退避+最大间隔限制，越失败重连越慢，给设备留足恢复时间。
八、稳定性验证：怎么证明你的程序够稳？
写完代码不算完，必须经过故障注入测试验证自愈能力：
- 拔网线测试：运行中拔掉网线，等待1分钟再插回，验证是否自动恢复，恢复时间是否在5秒内。
- PLC重启测试：重启PLC，验证程序是否能检测到断线，并在PLC启动后自动重连成功。
- 线程卡死测试：调试时手动挂起采集线程，验证看门狗是否能检测到并重启线程。
- 72小时长稳测试：连续运行72小时，监控内存、句柄数、CPU占用，确认没有泄漏、没有持续上涨。
- 故障恢复率统计：统计100次断线故障中，自动恢复成功的比例，目标100%自愈。
真正工业级的通信程序，不是“从来不断”，而是“断了能自己好，好的足够快，用户感知不到”。按年计算99.99%的在线率，相当于全年停机时间不超过52分钟，靠的就是这套毫秒级检测、秒级恢复的自愈体系。
写在最后
工业软件的稳定性，从来不是靠“写得完美没有bug”，而是靠“接受故障是常态，并且为所有故障准备好兜底方案”。
一套完整的看门狗+自动重连体系，本质上是把现场运维人员的工作固化到程序里：发现断了就手动重连、程序崩了就手动重启、线程卡了就手动重启线程。当这些操作都被程序自动执行，并且响应速度比人快几百倍的时候，99.99%的在线率就是水到渠成的结果。
