Установка кластера Pilot на нескольких машинах

В папке stack/Install/cluster есть Compose для узлов и балансировщика. Узлы запускаются на отдельных Linux-серверах и используют общую конфигурационную базу PostgreSQL и Redis. Балансировщик Traefik хранит привязку сессии к узлу и обращается к узлам по их сетевым адресам.

Что подготовить

  • Docker с Compose на каждом узле и машине балансировщика. На узлах нужен один и тот же образ Pilot-Server из вашего дистрибутива. На первой машине для подготовки конфигурации нужен Python 3.8 или новее.
  • Доступный для всех узлов PostgreSQL. Роли, которой создаётся конфигурационная база, нужны права CREATEDB. После настройки узлы подключаются к этой базе.
  • Redis с закрытым доступом и уведомлениями notify-keyspace-events KEA. Его адрес записывается в конфигурацию Pilot.
  • Общий каталог, смонтированный на всех узлах, например через NFS. В нём создайте databases, aspnet, license и server-settings. В databases лежат общий файловый архив и каталог модулей ServerHost. Для S3 создайте заданный в Pilot временный каталог архива. Индексы и журналы каждого узла будут в его локальном каталоге.
  • Адреса узлов во внутренней сети. Откройте порт узла для балансировщика, а порт балансировщика для клиентов и админки. PostgreSQL, Redis и NFS должны быть доступны узлам по служебной сети.

Для переноса существующего контура остановите его Pilot-Server, сохраните резервные копии базы, архива и settings.xml. Используйте копию settings.xml как исходную конфигурацию и новое имя конфигурационной базы. Адреса PostgreSQL и архива в исходной конфигурации должны быть доступны с каждого узла. Перенос файловых баз и правила работы с данными описаны в инструкции по переводу контура в кластер.

Создайте конфигурационную базу

Перейдите в cluster внутри установочной папки. На первой машине создайте node.env по образцу .env.example. Задайте параметры PostgreSQL, имя конфигурационной базы, путь CLUSTER_SEED_ROOT к папке с исходным settings.xml, строку Redis и учётную запись администратора Pilot. Для пустого контура можно подготовить settings.xml командой Pilot-Server Ascon.Pilot.Daemon --admin.

umask 077
cp .env.example node.env
chmod 600 node.env

Укажите Redis в формате redis.internal:6379, password=<пароль>. Укажите локальный каталог CLUSTER_NODE_ROOT и создайте в нём папки indexes и logs. После заполнения файла выполните инициализацию один раз на первой машине.

bash initialize.sh node.env

Скрипт создаёт конфигурационную базу штатной утилитой PostgresMigration и проверяет результат в PostgreSQL. Для существующих PostgreSQL-баз он берёт подключения, идентификаторы и архивы из исходного settings.xml. Файловые базы из того же файла передаются в PostgresMigration. Инициализация останавливается, если конфигурационная база с этим именем уже существует.

Если пароль PostgreSQL в исходном XML записан в строке подключения, скрипт переносит его в файл с правами 0600 в общем каталоге databases/.cluster-pgpass. Сохраняйте этот каталог вместе с конфигурационной базой. У каждого узла должен быть доступ к этому каталогу. Пароли, уже зашифрованные Pilot, остаются в формате Pilot.

Перенесите журнал SQLite

При инициализации установщик переносит журнал из файла с суффиксом .journal.dbp рядом с основным .dbp. Например, для base.dbp это base.journal.dbp. Пользователь, запускающий установщик на первой машине, должен иметь права чтения обоих файлов. Перед переносом остановите исходный Pilot и возьмите согласованную копию файлов SQLite без непустых файлов WAL.

Для кластера, уже перенесённого из SQLite, остановите Pilot на всех узлах. Используйте node.env этого кластера и исходную копию settings.xml с файловыми базами. После резервного копирования PostgreSQL выполните:

bash initialize.sh node.env --restore-journal

Скрипт сверяет идентификатор базы и загружает события в одной транзакции на базу. Повторный запуск пропускает совпадающие записи. Если тот же номер события уже принадлежит другой записи, скрипт откатывает загрузку журнала этой базы. После успешного переноса запустите узлы и проверьте журнал в Pilot.

Подключите ещё одну PostgreSQL-базу

Подготовьте копию settings.xml сервера с подключаемой базой. В её описании должны быть адрес PostgreSQL, доступный всем узлам, и пути к общему архиву в контейнере. Имя и идентификатор базы должны отличаться от уже подключённых.

Остановите Pilot на всех узлах кластера и сделайте резервную копию конфигурационной базы. На первой машине выполните команду с прежним node.env и папкой с копией settings.xml.

bash initialize.sh node.env --attach pilot-dev /var/lib/pilot-cluster/seed-dev

Команда добавляет описание базы в общую конфигурацию. Добавьте её имя в CLUSTER_READY_DATABASES на каждом узле и запустите узлы по инструкции ниже. Проверьте вход в каждую базу по адресу http://<балансировщик>:5545/<имя-базы>.

Запустите узлы

На каждой машине задайте одинаковые параметры PostgreSQL и общего хранилища. Значения CLUSTER_NODE_NAME, CLUSTER_NODE_BIND и CLUSTER_NODE_ROOT относятся к конкретной машине. Запустите все узлы на той же версии Pilot, которой создали конфигурацию.

Для работы с Traefik на каждом узле укажите в CLUSTER_READINESS_IMAGE образ ghcr.io/pilotopentools/pilotproadmin-migration:<версия-релиза> с поддержкой --cluster-readiness. Укажите учётную запись администратора Pilot и перечислите через запятую имена всех баз, обслуживаемых этим кластером, в CLUSTER_READY_DATABASES. Ограничьте доступ к служебному порту 5546 адресом балансировщика.

docker compose --env-file node.env -f compose.yml -f readiness.yml config --quiet
docker compose --env-file node.env -f compose.yml -f readiness.yml up -d pilot readiness

Откройте http://<адрес-узла>:5545/ для каждого узла. Pilot-Server должен вернуть свою версию. При общем каталоге настроек обёртка использует файловую блокировку, чтобы узлы применяли изменения по очереди.

Запустите балансировщик

На машине балансировщика скопируйте routes.example.yml в routes.yml и укажите адреса узлов, доступные из контейнера Traefik. В отдельном файле gateway.env задайте CLUSTER_GATEWAY_BIND и при необходимости CLUSTER_GATEWAY_PORT.

Traefik проверяет /ready на порту 5546 каждого узла. Проверка отвечает HTTP 200, когда Pilot API этого узла сообщает состояние Launched для всех баз из CLUSTER_READY_DATABASES. При ошибке подключения, отсутствующей или ещё не открытой базе проверка отвечает HTTP 503. При обновлении существующего кластера сначала запустите проверку на каждом узле, затем перенесите секцию healthCheck из нового шаблона в действующий routes.yml.

docker compose --env-file gateway.env -f gateway.yml up -d

Укажите адрес балансировщика в PilotProAdmin и клиентах Pilot. Если используется сервис миграции, настройте для контура доступ к PostgreSQL кластера и архиву. Кластерная миграция.