集群节点隔离问题排查指南 - Windows Server

概要

群集节点隔离是 Windows Server 故障转移群集中的一项保护功能，可暂时隔离不稳定或有问题的节点，以保护群集运行状况和应用程序工作负荷。 隔离节点无法托管群集角色（如虚拟机（VM），直到它自动或通过管理员干预退出隔离。 多个问题可能会触发隔离，包括重复的运行状况检查失败、持久性服务故障、硬件问题或存储或网络通信问题。 本文提供了一种彻底的方法，用于调查和解决节点隔离事件，以帮助管理员确保群集稳定性和最短停机时间。

故障排除清单

使用此清单进行系统故障排除：

• 标识隔离的节点
  • 使用故障转移群集管理器或 Get-ClusterNode PowerShell cmdlet。
• 查看群集事件和错误消息
  • 检查事件查看器（系统和群集日志），了解隔离原因，例如事件 ID 1641、1647、1649。
  • 检查最近的应用程序、系统和故障转移群集日志。
• 检查节点状态和资源托管子系统 （RHS）
  • 检查 RHS 或核心服务是否反复崩溃。
  • 查看服务健康状态和最近的重启情况。
• 评估网络连接
  • 验证节点是否可以与其他群集成员通信（ICMP/ping、端口 3343 和其他）。
  • 请验证没有数据包丢失、MTU不匹配或防火墙阻塞。
• 验证群集存储连接
  • 检查群集共享卷（CSV）和磁盘资源的访问权限。
  • 查找事件 ID 5120、5142（CSV 暂停/断开连接）。
• 检查系统资源运行状况
  • 调查磁盘状态、内存、CPU 使用率、硬件警报。
  • 针对硬件问题运行诊断。
• 群集配置评审
  • 验证节点证书、静态 IP、群集网络设置、仲裁配置。
• 检查安全软件或防病毒
  • 确定安全代理是否干扰群集流量或服务。
  • 暂时禁用以测试稳定性。
• 收集相关数据进行分析
  • 群集日志（Get-ClusterLog）、事件日志、网络跟踪、故障转储。

常见问题和解决方案

由于反复出现 RHS/服务故障而导致隔离

症状

• 节点显示为“隔离”状态。
• 事件 ID：1641（Node quarantine activated）、1647、重复 7031（服务控制管理器： unexpected service termination）。
• 群集角色在节点中不断发生故障转移。 VM 可能会重复重启或移动。

解决方法：

• 查看Cluster.log和系统/应用程序事件日志中的失败详细信息。
• 如果特定进程（例如，MsSense.exe，rhs.exe）与它相关：
  • 获取进程的内存转储文件。 分析死锁或内存泄漏。
  • 删除或禁用有问题的 VM/服务。
  • 为 Windows、Hyper-V 和第三方软件应用最新更新。
  • 为 .avhdx、.vhdx 和群集相关文件添加防病毒排除项。
• 检查已知 bug（例如 WDATP/MsSense.exe 内存泄漏），并应用 MSFT 修补程序（如果可用）。

网络通信问题

症状

• 节点已隔离。 网络事件显示丢弃的数据包或心跳信号故障。
• 事件 ID：1135（Node removed from cluster）、1177、有关通信通道中断的警告（状态 10054）。
• 其他节点显示尝试连接隔离节点（端口 3343）失败。

决议

• 确保所有必需的群集端口（UDP 3343、SMB、TCP 6600 进行实时迁移）都已打开，并且不受防火墙/安全软件阻止。
• 针对密钥端口运行 Test-NetConnection 。
• 检查 MTU 是否不匹配。 在所有群集适配器设置中设置一致的 MTU 值。
• 更新网络适配器驱动程序/固件。 验证 RDMA 配置（如果使用）。
• 如果防病毒/防火墙阻止流量，请添加异常，或暂时禁用以进行测试。

导致隔离的存储/CSV 问题

症状

• 事件 ID 5120、5142、CSV 暂停或断开连接，节点在发生故障后进入隔离区。
• 无法从隔离的节点访问 VM 磁盘或 CSV。
• 事件日志显示存储路径故障、已降级的 MPIO 或控制器重置。

决议

• 验证存储子系统的运行状况（使用供应商工具和日志）。
• 重新连接或重启存储路径，检查是否存在永久性磁盘。
• 从防病毒中排除群集存储目录。
• 在受影响的节点上运行 Get-ClusterSharedVolumeState 。
• 验证多路径 I/O（MPIO），检查故障转移/故障恢复日志，应用最新的固件或存储驱动程序。

安全平台/防病毒干扰

症状

• 群集通信被第三方安全软件丢弃。
• 群集事件日志或 TCP/IP 诊断日志指示悄无声息的数据包丢弃。
• Procmon 显示阻止的群集服务执行。

决议

• 禁用/删除有问题的安全软件。 重新测试群集稳定性。
• 验证群集通信是否正常工作后重新安装。
• 将群集服务、进程和目录添加到软件排除列表。

配置和基础结构缺口

症状

• 在节点重启或更新后启动隔离措施。
• 出现 IP 配置错误（使用 DHCP 而不是静态），群集证书缺失。
• 仲裁见证资源重复失败。

决议

• 将群集 IP 资源设置为静态，而不是 DHCP（Set-ClusterParameter）。
• 验证群集节点证书;如果缺少，则从正常节点导出/导入。
• 验证和修复仲裁见证配置（磁盘/文件共享见证设置）。
• 使用 Update-ClusterNetworkNameResource 刷新网络名称资源。

从隔离状态恢复

常规恢复步骤：

• 使用 PowerShell 清除节点隔离： Start-ClusterNode -Name <NodeName> -ClearQuarantine
• 逐出并重新添加节点;如有必要，请重启群集服务。
• 清除问题后重启节点（硬件、网络、服务相关）。
• 监视日志进行确认：节点正常重新加入群集。

常见问题快速参考表

問题	关键症状	决议	参考事件标识符
RHS/服务故障	隔离状态、虚拟机故障转移、故障日志	分析转储文件，更新/升级，AV 排除项，删除有问题的服务/虚拟机	1641, 7031
网络通信错误	节点删除、丢弃的数据包、端口故障	打开群集端口， 修复 MTU， 更新 NIC 驱动程序， AV/防火墙排除	1135, 1177, 10054
存储/CSV 访问失败	CSV 暂停/断开连接，VM 磁盘 I/O 错误	存储供应商分析， 更新固件/驱动程序， 修复 MPIO， AV 排除项	5120, 5142
防病毒/安全平台问题	被筛选器和服务阻止的数据包被丢弃	禁用/删除 AV/Security、设置排除项、根据需要重新安装	多种多样
配置与仲裁问题	仲裁见证失败，IP/证书错误	设置静态 IP， 修复证书， 重新生成仲裁见证， 更新资源	1069, 1558, 121
恢复步骤（常规）	无法托管角色，节点将保持隔离状态	Start-ClusterNode -ClearQuarantine、逐出/重新添加、重启、监视日志	1641

数据收集

在联系Microsoft支持人员之前，可以收集有关你的问题的以下信息。

• 群集日志： Get-ClusterLog -Destination \<FolderPath> -UseLocal -TimeSpan <Minutes>
• 事件日志：导出系统、应用程序和故障转移集群管理日志。
• 网络痕迹：Netsh trace start scenario=GENERAL capture=yes tracefile=<path>
• 进程转储文件：根据需要使用 Sysinternals 或内置 Windows 工具。
• 存储和硬件诊断：通过供应商工具输出进行收集。
• 安全软件日志：导出相关的安全代理筛选和作日志。

References

• 建议用于 Hyper-V 主机的防病毒排除项