VK WorkSpace On-Premise logo
Помощь
Обновлена 20 ноября 2026 г. в 07:44

Сервис Boss: рекомендации по эксплуатации и действия при проблемах

Назначение документа

В документе описаны особенности эксплуатации сервиса Boss, а также действия при проблемах с его работой: высокой загрузке CPU, росте потребления памяти, сбросах пользовательских сессий и других симптомах. Документ предназначен для использования администраторами организации.

Как устроен сервис и почему это важно

Сервис Boss хранит рабочие контексты активных пользователей (сессии, списки чатов и контактов) в оперативной памяти. Это дает быстрый отклик клиентам, но у такой схемы есть особенность: после перезапуска экземпляр начинает работу с пустым контекстом и заново собирает его по мере обращений пользователей. Этот процесс называется «прогревом».

Во время прогрева:

  • загрузка CPU экземпляра высокая (вплоть до 100%), в контроллере экземпляр может быть в статусе busy (как посмотреть — см. раздел Как проверить состояние сервиса);
  • растет нагрузка на связанные сервисы — хранилища истории и контактов, сервис авторизации;
  • у части пользователей временно не отображаются чаты или контакты.

Обычно прогрев занимает 15–30 минут. Чем больше экземпляров перезапущено одновременно и чем выше нагрузка в этот момент, тем дольше длится прогрев.

Чего не делать

Не рекомендуется

Почему

Перезапускать экземпляры в статусе busy или zombie в контроллере

Ни тот ни другой статус сам по себе не означает, что экземпляр неисправен: busy — штатный статус под нагрузкой и во время прогрева, zombie — ожидаемое состояние после недавнего перезапуска экземпляра или узла. Перезапуск обнуляет уже собранный контекст, и прогрев начинается заново. Когда перезапуск экземпляра в zombie оправдан — см. Что делать при проблемах.

Перезапускать все экземпляры или все узлы кластера одновременно

Все экземпляры стартуют с пустым контекстом, и пиковая нагрузка ложится на связанные сервисы. Это самый тяжелый сценарий восстановления.

Перезапускать в профилактических целях

Профилактический перезапуск не нужен и ухудшает работу пользователей на время прогрева.

Делать flip main/dup для сервиса Boss под нагрузкой

flip — команда контроллера, меняющая ролями пару экземпляров main/dup. Сторона dup у Boss не реплицируется с main и не хранит копию контекстов, поэтому flip равносилен перезапуску всех затронутых экземпляров.

Переносить бакеты Boss через assign

assign переносит бакеты без контекстов, и на новом экземпляре они собираются заново, как после перезапуска. Для переноса нагрузки используйте migr: она переносит контексты вместе с бакетами. Это дольше, но создает меньшую нагрузку на кластер. assign оставьте для аварийных случаев, когда исходный экземпляр недоступен.

Выполнять массовый сброс пользовательских сессий без согласования с поддержкой

Вызывает одновременную пересборку контекстов у всех пользователей.

Оставлять расширенный уровень логирования

Увеличивает потребление памяти и объем логов. Штатный уровень — 2. Повышать его допустимо на одном экземпляре на время диагностики, затем верните штатное значение.

Менять параметры только в рантайме, не в конфигурации

После перезапуска изменения откатятся. Изменения, рекомендованные поддержкой, вносите не только в рантайме, но и в конфигурацию на всех экземплярах.

Что делать при проблемах

Если проблема уже возникла, действуйте по таблице ниже. Команды для проверки состояния описаны в разделе Как проверить состояние сервиса, список данных для обращения в поддержку — в разделе Что передать в поддержку.

Симптом

Что делать

Высокая загрузка CPU сразу после перезапуска

Это прогрев. Подождите 15–30 минут, ничего не перезапускайте. Следите, чтобы загрузка снижалась.

Загрузка CPU не снижается через 30 минут после перезапуска

Не перезапускайте экземпляры повторно: прогрев начнется заново. Соберите данные (см. ниже) и обратитесь в поддержку.

Рост загрузки CPU без перезапуска

Проверьте состояние связанных сервисов — хранилищ истории и контактов, сервиса авторизации. Часто Boss нагружен из-за того, что они медленно отвечают. Если связанные сервисы в порядке, соберите данные (см. ниже) и обратитесь в поддержку.

При высокой нагрузке под Boss перезапускается по liveness-пробе

Допустимо увеличить таймаут пробы до 30 секунд: под нагрузкой экземпляр может не успевать отвечать за штатное время.

Экземпляр в статусе zombie

Если экземпляр или узел перезапускались в последние 30 минут, это прогрев — подождите. Перезапуск оправдан, только если zombie сохраняется дольше 30 минут после окончания прогрева. Перезапускайте экземпляры по одному и дожидайтесь возврата в alive (обычно в течение 15–30 минут).

Экземпляр в статусе dead

Проверьте логи экземпляра и перезапустите его. Если он падает повторно, сохраните coredump (см. ниже) и логи, передайте их в поддержку, рассмотрите возможность отката на предыдущую версию.

Потребление памяти экземпляра Boss устойчиво выше 80% в рабочие часы

Нагрузка превышает расчетную для текущих ресурсов. Обратитесь в поддержку заранее, не дожидаясь падений: может понадобиться перераспределить нагрузку или добавить ресурсы.

Потребление памяти экземпляра Boss — 90% и выше, продолжает расти

Проверьте уровень логирования (должен быть 2; как проверить — см. Консоль экземпляра). Если он штатный, перезапустите только этот экземпляр, по возможности вне пиковых часов: управляемый перезапуск легче аварийного завершения при нехватке памяти. Соберите данные (см. ниже) и обратитесь в поддержку.

Логи быстро растут, заканчивается место на диске

Верните уровень логирования на 2 и проверьте настройки ротации логов.

У пользователей пропали чаты после перезапуска

Ожидаемо на время прогрева: чаты подгрузятся в течение 15–30 минут. Если у конкретного пользователя проблема сохраняется дольше, обратитесь в поддержку.

Массовые разлогины

Проверьте сервис авторизации и хранилище контактов. Источник обычно в них, перезапуск Boss не поможет.

Как проверить состояние сервиса

Где запускать команды

Утилита ic установлена на adm-хосте (/usr/local/bin/ic) и запускается с правами root. Команды kubectl выполняйте на хосте с доступом к кластеру.

Состояние экземпляров в контроллере

Карта сервиса показывает экземпляры Boss, их адреса, состояние (alive, busy, zombie) и роль (main/dup):

# ic map bossautoflip:   enablenode   01     (536870912   buckets)    srv   boss.onpremise.a-01-1     10.32.129.230:2500   alive   mainnode   02     (536870912   buckets)    srv   boss.onpremise.a-01-2     10.32.129.206:2500   alive   main...

Имя экземпляра имеет вид boss.<узел>.<экземпляр>, рядом указан IP пода.

История изменений карты показывает перезапуски, смены состояния и flip:

# ic map boss -hist2026-09-18/09:56:16.289   srv   boss.onpremise.a-01-1:7d1e2c5(main)   join   state   alive...

Чтобы приложить историю к обращению в поддержку, сохраните ее в файл:

# ic map boss -hist > boss_map_hist.txt

Экземпляр, который обслуживает конкретного пользователя:

# ic wib boss str <логин пользователя>a37ed84d in [a0000000 bfffffff] 06 boss.onpremise.a-01-6 alive

Под экземпляра в Kubernetes

Найдите под по IP из ic map boss:

# kubectl -n vkteams get pods -o wide | grep 10.32.129.230boss-1-vbncb   1/1   Running   3 (34d ago)   152d   10.32.129.230   onpremise

Консоль экземпляра

Консоль доступна только изнутри пода экземпляра:

kubectl -n vkteams exec -it <под boss> -c boss -- nc 127.0.0.1 4323

Одиночную команду можно передать без интерактивного режима:

kubectl -n vkteams exec <под boss> -c boss -- sh -c "echo 'log_level' | nc -w 2 127.0.0.1 4323"

Текущие уровни логирования экземпляра:

log_levelLog levels:         Sys: notice(6)  Mem: debug(8)  Kl: info(7)...   File log:        /oap/icq/logs/boss.onpremise.a-01-1.err.log (Open)

Что передать в поддержку

Чтобы быстрее найти причину, приложите к обращению:

  • время начала проблемы и список затронутых узлов и экземпляров;
  • графики CPU и памяти по узлам Boss за период от часа до начала проблемы (графики можно посмотреть в Grafana — см. документацию по мониторингу);
  • логи Boss (включая *.err.log — см. Где найти логи) и связанных сервисов за тот же период;
  • список действий, выполненных до и во время проблемы, со временем: перезапуски, изменения конфигурации, плановые работы;
  • историю изменений карты в контроллере за этот период (см. Состояние экземпляров в контроллере): по ней видно, какие экземпляры перезапускались, уходили в zombie и на каких был flip;
  • версию установки;
  • coredump, если экземпляр падал (см. ниже).

Где найти логи

Логи Boss пишутся в файлы на узле, где работает под.

Логи Boss доступны в каталоге /oap/icq/logs/: boss.<узел>.<экземпляр>.err.log — основной лог для диагностики, рядом лежат файлы access, fss и on-premise того же экземпляра. Архивные файлы после ротации находятся там же (например, boss.<узел>.<экземпляр>.err.log.1). Внутри пода логи доступны по тому же пути.

Собрать логи для обращения в поддержку можно скриптом report.sh — он сохранит измененные за указанный период файлы сервиса в архив:

report.sh -f boss -B <дата начала> -A <дата окончания>

Общая структура каталогов с логами сервисов описана в документе Логи Мессенджер и ВКС.

Где найти coredump

Файлы coredump обычно хранятся в каталоге /data/cores/ на узле, где упал экземпляр. Имя файла начинается с имени сервиса и PID процесса:

# ls -la /data/cores/ | grep bos-rwxr-xr-x  1 root root   113814000 ... bos_srv.1144771.0.core.bin-rw-rw-rw-  1 root root   333783338 ... bos_srv.1144771.0.core.bin.libs.tar.zst-rw-r--r--  1 root root  2307882242 ... bos_srv.1144771.0.core.zst

В разных версиях установки каталог может отличаться. Если в /data/cores/ файлов нет, уточните путь у поддержки.

При повторяющейся высокой нагрузке поддержка может попросить снять профиль производительности. Обратитесь в поддержку — специалисты предоставят инструкцию.

Плановые работы

Приведенные выше рекомендации касаются аварийных ситуаций. Если перезагрузка серверов запланирована, действуйте иначе.

Если работы требуют перезагрузки серверов (обновление ОС, смена сети, перенос в другую подсеть и т. п.):

  • перезапускайте узлы поочередно, давая каждому прогреться перед следующим;
  • проводите работы вне пиковых часов, но учитывайте: без пользовательского трафика прогрев не идет. После перезапуска ночью или в выходные экземпляры прогреваются на утреннем росте нагрузки, и первый час рабочего дня будет нагружен сильнее обычного;
  • на время утреннего прогрева заранее предупредите поддержку, обеспечьте дежурство администратора и не перезапускайте экземпляры;
  • если одновременный перезапуск всего кластера неизбежен, заранее предупредите поддержку: под такой сценарий можно подготовить настройки, которые снизят пиковую нагрузку на старте.

Технический писатель: Москвина Анна

Была ли статья полезна?