TCP 重传率高怎么排查
更新时间:2026-10-07。FAQ 速查页。TCP 重传率高是网络类工单里最常见的症状之一:应用侧只感觉「变慢、抖动」,内核计数器里
TcpRetransSegs却一路涨。本篇给出从指标确认到分因定位的最短路径,相关工具细节见 ss、netstat、tcpdump、tc。
一句话回答
先跑 nstat -az TcpRetransSegs TcpExtTCPSynRetrans TcpExtTCPFastRetrans 确认重传量级与构成:快速重传(Fast Retransmit,收到 3 个重复 ACK 就补发)多说明偶发丢包或乱序;超时重传(Timeout Retransmission,RTO 到期才重发)多说明链路严重丢包或中间设备掐包。然后 ss -i 找到具体连接,tcpdump 抓包区分「发出去没到对端」还是「对端回了没到我」,最后核对 tc qdisc 和网卡 offload 配置。
现象:先确认「高」到什么程度
重传本身是 TCP 的正常自愈机制,不为零不等于有问题。经验阈值:
- 重传率(TcpRetransSegs / TcpOutSegs)< 0.5%:正常,无需处理。
- 0.5% – 2%:灰区,配合应用侧延迟指标看是否有感。
- 大于 2% 或绝对速率持续 > 1000/s:真问题,继续往下查。
nstat -az TcpRetransSegs TcpExtTCPFastRetrans TcpExtTCPSynRetrans TcpExtTCPTimeouts
# 隔 10 秒再跑一次,取差值算速率,单次数值没有参考意义netstat -s 输出里的 segments retransmited 与 segments send out 做除法即重传率;fast retransmits、retransmissions in slow start、TCPSynRetrans 分别对应快速重传、慢启动阶段重传和 SYN 重传(SYN 重传指向对端不响应或 SYN 被中间丢,排查方向不同)。
原因分类与定位路径
重传高只有四类根因:真丢包、乱序误判、本机 qdisc/限速误伤、网卡 offload 假象。下图给出判断顺序,先分层确认「包在哪一段没走到」,再对号入座。
这张图的关键点有三:一是重传计数器只告诉你「发了」,不告诉你「在哪丢的」,必须 tcpdump 在两端同时抓才能分段;二是本机出口段的 tc qdisc 和网卡 offload 是最容易被漏查的「自己打自己」来源;三是乱序在抓包里表现为连续 dupACK 但后续数据补齐,只有 dupACK 没有补齐才是丢包。
排查命令与步骤
按顺序执行,每一步有明确的「继续/收工」判据。
第一步:分连接定位——ss -ti 看每条连接的 retrans、rtt、cwnd。重传集中在某几条连接上,是链路或特定对端问题;全机普遍高,是本机出口或网关问题。
ss -ti | grep -A1 ESTAB
# 看 retrans:0/12 格式:当前未确认重传数/总重传数
ss -ti state established '( dport = :443 )'第二步:确认包到哪一段断了。发端抓 tcpdump -i any host <peer> -w send.pcap,对端同步抓。发端 pcap 里看到重传包发出去多次、对端 pcap 里一次都没到——链路丢包,上 mtr --tcp --port <port> <peer> 看哪一跳开始丢。对端收到了、也回了 ACK、发端没收到——回包路径丢,方向反过来再 mtr。
第三步:查本机是否自我误伤。
tc qdisc show dev eth0 # 有没有 netem/tbf 在限速丢包
iptables -L -n -v | grep DROP # 本机防火墙计数是否在涨
ethtool -k eth0 | grep -E "tcp-segmentation|generic-receive|rx-checksumming"第四步:排除 offload 假象。tcpdump 看到「bad checksum」不一定是真坏包——TSO(TCP Segmentation Offload,网卡代做分段)下抓包看到的是大帧,checksum 由网卡发出时才填,抓包点在内核路径上所以显示 bad。判据:重传计数器同步涨才是真问题,只在 tcpdump 里看到 bad cksum 而 TcpRetransSegs 不涨是假象。网卡/ring 细节见 ethtool。
解决与防复发
| 根因 | 处理 | 防复发 |
|---|---|---|
| 链路丢包 | 换路由/找运营商,mtr 报告附工单 | 监控重传率基线,超 0.5% 报警 |
| 乱序触发快速重传 | 调 net.ipv4.tcp_reordering(默认 3,多路径场景可加大) | 避免等价多路径里乱序严重的组合 |
| tc netem/tbf 误伤 | 核对规则目的 IP/端口,测试规则忘记删是高频事故 | qdisc 变更走变更单,留 TTL |
| 缓冲区溢出(对端接收慢) | 调大 net.ipv4.tcp_rmem,应用侧提速消费 | 监控 TCPBacklogDrop 等计数器 |
| SYN 重传(对端不响应) | 查对端 backlog、tcp_syncookies | 对端连接数水位告警 |
两个容易踩的坑:一是容器环境 nstat/netstat -s 看的是宿主机或 network namespace 各自的计数,别拿 A 容器的计数解释 B 容器的问题;二是 Kubernetes 里跨节点重传高经常是宿主机 conntrack 表满或 CNI 插件的 MTU 不匹配,这类场景重传集中在 PMTU(Path MTU,路径最大传输单元)附近的大包,抓包看 MSS 协商和 ICMP Fragmentation Needed 是否被丢。
这一篇在知识体系里的位置
本篇是 tools/network/ 目录下的故障排查入口:工具用法细节分别看 ss、netstat、tcpdump、tc qdisc、ethtool、iftop;丢包发生在内核协议栈内部时用 dropwatch 继续往下钻。
总结
TCP 重传率高先别慌:用 nstat -az TcpRetransSegs 两次取差算出真实速率和重传率(>0.5% 才值得查),用 netstat -s 分快速重传/超时重传/SYN 重传定方向,用 ss -ti 锁定具体连接,双端 tcpdump 加 mtr 确认丢在哪一段,最后核对 tc qdisc 规则残留与网卡 offload 假象——多数案例最终落在链路丢包、乱序误判、测试 netem 规则忘删这三处之一。