В документе описаны особенности эксплуатации сервиса Boss, а также действия при проблемах с его работой: высокой загрузке CPU, росте потребления памяти, сбросах пользовательских сессий и других симптомах. Документ предназначен для использования администраторами организации.
Сервис Boss хранит рабочие контексты активных пользователей (сессии, списки чатов и контактов) в оперативной памяти. Это дает быстрый отклик клиентам, но у такой схемы есть особенность: после перезапуска экземпляр начинает работу с пустым контекстом и заново собирает его по мере обращений пользователей. Этот процесс называется «прогревом».
Во время прогрева:
- загрузка CPU экземпляра высокая (вплоть до 100%), в контроллере экземпляр может быть в статусе
busy(как посмотреть — см. раздел Как проверить состояние сервиса); - растет нагрузка на связанные сервисы — хранилища истории и контактов, сервис авторизации;
- у части пользователей временно не отображаются чаты или контакты.
Обычно прогрев занимает 15–30 минут. Чем больше экземпляров перезапущено одновременно и чем выше нагрузка в этот момент, тем дольше длится прогрев.
Не рекомендуется | Почему |
|---|---|
Перезапускать экземпляры в статусе | Ни тот ни другой статус сам по себе не означает, что экземпляр неисправен: |
Перезапускать все экземпляры или все узлы кластера одновременно | Все экземпляры стартуют с пустым контекстом, и пиковая нагрузка ложится на связанные сервисы. Это самый тяжелый сценарий восстановления. |
Перезапускать в профилактических целях | Профилактический перезапуск не нужен и ухудшает работу пользователей на время прогрева. |
Делать |
|
Переносить бакеты Boss через |
|
Выполнять массовый сброс пользовательских сессий без согласования с поддержкой | Вызывает одновременную пересборку контекстов у всех пользователей. |
Оставлять расширенный уровень логирования | Увеличивает потребление памяти и объем логов. Штатный уровень — 2. Повышать его допустимо на одном экземпляре на время диагностики, затем верните штатное значение. |
Менять параметры только в рантайме, не в конфигурации | После перезапуска изменения откатятся. Изменения, рекомендованные поддержкой, вносите не только в рантайме, но и в конфигурацию на всех экземплярах. |
Если проблема уже возникла, действуйте по таблице ниже. Команды для проверки состояния описаны в разделе Как проверить состояние сервиса, список данных для обращения в поддержку — в разделе Что передать в поддержку.
Симптом | Что делать |
|---|---|
Высокая загрузка CPU сразу после перезапуска | Это прогрев. Подождите 15–30 минут, ничего не перезапускайте. Следите, чтобы загрузка снижалась. |
Загрузка CPU не снижается через 30 минут после перезапуска | Не перезапускайте экземпляры повторно: прогрев начнется заново. Соберите данные (см. ниже) и обратитесь в поддержку. |
Рост загрузки CPU без перезапуска | Проверьте состояние связанных сервисов — хранилищ истории и контактов, сервиса авторизации. Часто Boss нагружен из-за того, что они медленно отвечают. Если связанные сервисы в порядке, соберите данные (см. ниже) и обратитесь в поддержку. |
При высокой нагрузке под Boss перезапускается по liveness-пробе | Допустимо увеличить таймаут пробы до 30 секунд: под нагрузкой экземпляр может не успевать отвечать за штатное время. |
Экземпляр в статусе | Если экземпляр или узел перезапускались в последние 30 минут, это прогрев — подождите. Перезапуск оправдан, только если |
Экземпляр в статусе | Проверьте логи экземпляра и перезапустите его. Если он падает повторно, сохраните coredump (см. ниже) и логи, передайте их в поддержку, рассмотрите возможность отката на предыдущую версию. |
Потребление памяти экземпляра Boss устойчиво выше 80% в рабочие часы | Нагрузка превышает расчетную для текущих ресурсов. Обратитесь в поддержку заранее, не дожидаясь падений: может понадобиться перераспределить нагрузку или добавить ресурсы. |
Потребление памяти экземпляра Boss — 90% и выше, продолжает расти | Проверьте уровень логирования (должен быть 2; как проверить — см. Консоль экземпляра). Если он штатный, перезапустите только этот экземпляр, по возможности вне пиковых часов: управляемый перезапуск легче аварийного завершения при нехватке памяти. Соберите данные (см. ниже) и обратитесь в поддержку. |
Логи быстро растут, заканчивается место на диске | Верните уровень логирования на 2 и проверьте настройки ротации логов. |
У пользователей пропали чаты после перезапуска | Ожидаемо на время прогрева: чаты подгрузятся в течение 15–30 минут. Если у конкретного пользователя проблема сохраняется дольше, обратитесь в поддержку. |
Массовые разлогины | Проверьте сервис авторизации и хранилище контактов. Источник обычно в них, перезапуск Boss не поможет. |
Утилита ic установлена на adm-хосте (/usr/local/bin/ic) и запускается с правами root. Команды kubectl выполняйте на хосте с доступом к кластеру.
Карта сервиса показывает экземпляры Boss, их адреса, состояние (alive, busy, zombie) и роль (main/dup):
# ic map bossautoflip: enablenode 01 (536870912 buckets)srv boss.onpremise.a-01-1 10.32.129.230:2500 alive mainnode 02 (536870912 buckets)srv boss.onpremise.a-01-2 10.32.129.206:2500 alive main...
Имя экземпляра имеет вид boss.<узел>.<экземпляр>, рядом указан IP пода.
История изменений карты показывает перезапуски, смены состояния и flip:
# ic map boss -hist2026-09-18/09:56:16.289 srv boss.onpremise.a-01-1:7d1e2c5(main) join state alive...
Чтобы приложить историю к обращению в поддержку, сохраните ее в файл:
# ic map boss -hist > boss_map_hist.txt
Экземпляр, который обслуживает конкретного пользователя:
# ic wib boss str <логин пользователя>a37ed84d in [a0000000 bfffffff] 06 boss.onpremise.a-01-6 alive
Найдите под по IP из ic map boss:
# kubectl -n vkteams get pods -o wide | grep 10.32.129.230boss-1-vbncb 1/1 Running 3 (34d ago) 152d 10.32.129.230 onpremise
Консоль доступна только изнутри пода экземпляра:
kubectl -n vkteams exec -it <под boss> -c boss -- nc 127.0.0.1 4323
Одиночную команду можно передать без интерактивного режима:
kubectl -n vkteams exec <под boss> -c boss -- sh -c "echo 'log_level' | nc -w 2 127.0.0.1 4323"
Текущие уровни логирования экземпляра:
log_levelLog levels: Sys: notice(6) Mem: debug(8) Kl: info(7)...File log: /oap/icq/logs/boss.onpremise.a-01-1.err.log (Open)
Чтобы быстрее найти причину, приложите к обращению:
- время начала проблемы и список затронутых узлов и экземпляров;
- графики CPU и памяти по узлам Boss за период от часа до начала проблемы (графики можно посмотреть в Grafana — см. документацию по мониторингу);
- логи Boss (включая
*.err.log— см. Где найти логи) и связанных сервисов за тот же период; - список действий, выполненных до и во время проблемы, со временем: перезапуски, изменения конфигурации, плановые работы;
- историю изменений карты в контроллере за этот период (см. Состояние экземпляров в контроллере): по ней видно, какие экземпляры перезапускались, уходили в
zombieи на каких былflip; - версию установки;
- coredump, если экземпляр падал (см. ниже).
Логи Boss пишутся в файлы на узле, где работает под.
Логи Boss доступны в каталоге /oap/icq/logs/: boss.<узел>.<экземпляр>.err.log — основной лог для диагностики, рядом лежат файлы access, fss и on-premise того же экземпляра. Архивные файлы после ротации находятся там же (например, boss.<узел>.<экземпляр>.err.log.1). Внутри пода логи доступны по тому же пути.
Собрать логи для обращения в поддержку можно скриптом report.sh — он сохранит измененные за указанный период файлы сервиса в архив:
report.sh -f boss -B <дата начала> -A <дата окончания>
Общая структура каталогов с логами сервисов описана в документе Логи Мессенджер и ВКС.
Файлы coredump обычно хранятся в каталоге /data/cores/ на узле, где упал экземпляр. Имя файла начинается с имени сервиса и PID процесса:
# ls -la /data/cores/ | grep bos-rwxr-xr-x 1 root root 113814000 ... bos_srv.1144771.0.core.bin-rw-rw-rw- 1 root root 333783338 ... bos_srv.1144771.0.core.bin.libs.tar.zst-rw-r--r-- 1 root root 2307882242 ... bos_srv.1144771.0.core.zst
В разных версиях установки каталог может отличаться. Если в /data/cores/ файлов нет, уточните путь у поддержки.
При повторяющейся высокой нагрузке поддержка может попросить снять профиль производительности. Обратитесь в поддержку — специалисты предоставят инструкцию.
Приведенные выше рекомендации касаются аварийных ситуаций. Если перезагрузка серверов запланирована, действуйте иначе.
Если работы требуют перезагрузки серверов (обновление ОС, смена сети, перенос в другую подсеть и т. п.):
- перезапускайте узлы поочередно, давая каждому прогреться перед следующим;
- проводите работы вне пиковых часов, но учитывайте: без пользовательского трафика прогрев не идет. После перезапуска ночью или в выходные экземпляры прогреваются на утреннем росте нагрузки, и первый час рабочего дня будет нагружен сильнее обычного;
- на время утреннего прогрева заранее предупредите поддержку, обеспечьте дежурство администратора и не перезапускайте экземпляры;
- если одновременный перезапуск всего кластера неизбежен, заранее предупредите поддержку: под такой сценарий можно подготовить настройки, которые снизят пиковую нагрузку на старте.
Технический писатель: Москвина Анна