Архитектура обработки сетевых пакетов в ядре Linux при экстремальных нагрузках

По умолчанию сетевой стек ядра Linux оптимизирован для серверов общего назначения и сетевых интерфейсов 1 Gbps. При переходе на высокоскоростные каналы 10GbE / 40GbE / 100GbE и трафик в сотни тысяч пакетов в секунду (PPS / High RPS) стандартные размеры буферов сокетов (Socket Ring Buffers) и очереди ядра переполняются за миллисекунды, приводя к массовым сетевым сбоям:

• TCP Listen Drops / TCP SYN Drops: Очередь не принятых сокетов (Listen Backlog) переполнена, новые клиенты получают отказ в TCP-соединении (Connection Refused / Timeout);
• Переполнение очередей сетевого интерфейса (Packet Drops): Рост счетчика rx_dropped / tx_dropped в выводе ip -s link или ifconfig;
• Зависание процессора в SoftIRQ (ksoftirqd): Одно ядро CPU перегружено обработкой аппаратных сетевых прерываний из-за отсутствия распределения очередей RSS (Receive Side Scaling);
• Исчерпание портов и сокетов в TIME_WAIT: Ошибки Cannot assign requested address при частых исходящих соединениях к микросервисам/базам данных.

Бизнес-риски

Потеря до 30% входящего клиентского трафика, катастрофический рост задержек TTFB (Time to First Byte), сбои в работе балансировщиков (NGINX, HAProxy, Envoy).

Ключевые лимиты сетевого стека ядра Linux

Регламент комплексного тюнинга сетевого стека Linux

Сценарий 1: Проверка и увеличение кольцевых буферов сетевой карты (NIC Ring Buffers)

Увеличьте аппаратные буферы приема (RX) и передачи (TX) сетевой карты утилитой ethtool:

# 1. Просмотр текущих и максимально поддерживаемых размеров Ring Buffer:
sudo ethtool -g eth0

# 2. Установка максимальных значений буферов (например, 4096):
sudo ethtool -G eth0 rx 4096 tx 4096

# 3. Включение разгрузок процессора (Hardware Offloading: TSO, GSO, GRO):
sudo ethtool -K eth0 tso on gso on gro on

Сценарий 2: Комплексная конфигурация sysctl для 10G/40G серверов

Создайте конфигурационный файл оптимизации сетевого стека:

sudo tee /etc/sysctl.d/99-network-highload.conf <<EOF
# --------------------------------------------------
# Оптимизация сетевого стека Linux для HighLoad 10G/40G
# --------------------------------------------------

# 1. Очереди соединений и пакетов ядра
net.core.somaxconn = 65535
net.ipv4.tcp_max_syn_backlog = 65535
net.core.netdev_max_backlog = 250000

# 2. Буферы памяти сокетов TCP (min, default, max в байтах):
# Выделение до 16-32 МБ на сокет для высокоскоростных BDP каналов
net.core.rmem_max = 67108864
net.core.wmem_max = 67108864
net.core.rmem_default = 33554432
net.core.wmem_default = 33554432
net.ipv4.tcp_rmem = 4096 87380 33554432
net.ipv4.tcp_wmem = 4096 65536 33554432

# 3. Управление диапазоном портов и состояниями TIME_WAIT
net.ipv4.ip_local_port_range = 1024 65535
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_fin_timeout = 15
net.ipv4.tcp_max_tw_buckets = 2000000

# 4. Алгоритм контроля перегрузки Google BBR и справедливое планирование fq
net.core.default_qdisc = fq
net.ipv4.tcp_congestion_control = bbr

# 5. Защита от SYN-Flood атак и MTU Probing
net.ipv4.tcp_syncookies = 1
net.ipv4.tcp_mtu_probing = 1
EOF

# Применение настроек:
sudo sysctl --system

Сценарий 3: Мониторинг сетевых дропов и потерь через netstat и nstat

# Мониторинг дропов в очереди SYN и Accept queue в реальном времени:
watch -d 'nstat -az TcpExtListenOverflows TcpExtListenDrops TcpExtTCPZeroWindowDrop'

# Если счетчики TcpExtListenOverflows растут -> приложение (NGINX) не успевает вызывать accept().
# Увеличьте директиву backlog в конфигурации веб-сервера (nginx: listen 80 backlog=65535;).

Типовые ошибки администраторов

• Включение устаревшего параметра net.ipv4.tcp_tw_recycle: Данный параметр категорически запрещен и удален из ядра Linux (начиная с 4.12), так как он ломает работу всех клиентов, находящихся за одним общим корпоративным NAT. Используйте ТОЛЬКО net.ipv4.tcp_tw_reuse = 1.
• Забытый backlog в конфигурациях пользовательских демонов: Если в sysctl настроен somaxconn = 65535, но в конфиге NGINX/Node.js/Gunicorn оставлен дефолтный backlog = 511, размер очереди будет ограничен меньшим значением (511).