Причины падения systemd в аварийные режимы Emergency и Rescue Mode

В процессе инициализации операционной системы systemd запускает таргет local-fs.target, который выполняет параллельную проверку целостности (fsck) и монтирование всех блочных устройств, описанных в статическом файле конфигурации /etc/fstab. Если критический раздел (/, /boot, /home, /var) не может быть смонтирован из-за неверного UUID, повреждения суперблока файловой системы или недоступности сетевого NFS/iSCSI хранилища, systemd прерывает обычный граф загрузки и переводит сервер в изолированный режим:

«You are in emergency mode. After logging in, type "journalctl -xb" to view system logs, "systemctl reboot" to reboot, or "exit" to continue bootup. Cannot open access to console, the root account is locked.»

Бизнес-риски

Полная блокировка старта продуктовых серверов после планового ребута, зависание удаленных необслуживаемых серверов в дата-центрах.

Сравнение режимов Emergency Mode и Rescue Mode

Регламент диагностики и восстановления системы в Emergency Mode

Сценарий 1: Перевод корневой системы в режим записи (Read-Write)

По умолчанию в emergency mode корень смонтирован в ro, что запрещает сохранение изменений в конфигурационных файлах:

# 1. Перемонтирование корневой файловой системы на запись:
mount -o remount,rw /

# 2. Проверка возможности записи:
touch /test_rw && rm /test_rw

Сценарий 2: Поиск виновника сбоя через journalctl -xb

Фильтрация логов текущей неудавшейся загрузки по уровням ошибок:

# 1. Поиск критических ошибок монтирования и дисковых сбоев:
journalctl -xb -p 3

# 2. Поиск строк с ошибками монтирования конкретных таргетов:
journalctl -xb | grep -E "Failed to mount|dependency failed|Timed out"

Сценарий 3: Исправление файла конфигурации /etc/fstab

Чаще всего сбой вызван удаленным сетевым диском, сменившимся UUID или опечаткой в опциях монтирования:

# 1. Вывод актуальных UUID всех подключенных блочных устройств:
blkid

# 2. Редактирование fstab:
nano /etc/fstab

# Рекомендации по безопасной настройке fstab:
# Для некритичных и внешних дисков ВСЕГДА добавляйте опции nofail и x-systemd.device-timeout=5s:
# ПРИМЕР ПРАВИЛЬНОЙ СТРОКИ:
# UUID=4a21-9bc2  /mnt/data  ext4  defaults,nofail,x-systemd.device-timeout=5s  0  2

# 3. Перезагрузка демона systemd для перегенерации mount-юнитов:
systemctl daemon-reload

# 4. Проверка монтирования всех точек без перезапуска:
mount -a

# 5. Перезагрузка сервера в штатный режим:
systemctl reboot

Типовые ошибки администраторов

• Монтирование сетевых NFS/CIFS шаров без опции _netdev: Если в fstab для сетевого диска не указана опция _netdev, systemd попытается смонтировать его ДО инициализации сетевого стека, что мгновенно вызовет аварийный стоп в Emergency Mode.
• Блокировка root-пользователя: Если в Ubuntu аккаунт root заблокирован (нет пароля), вход в Emergency Mode невозможен. В GRUB добавьте параметр init=/bin/bash для сброса пароля или исправления fstab.