#1224: Как настроить репликацию БД Swarmica?

Отредактирована: 17 дней назад

Симптомы

Можно ли настроить репликацию базы Swarmica для аналитики или резервного копирования?

Решение

Да, Swarmica использует Postgres в качестве СУБД, который поддерживает репликацию.

Чтобы включить репликацию, необходимо выполнить шаги на основном сервере и на реплике, описанные ниже.

Инструкции ниже для версии PostgreSQL 18!

Если на сервере версия отличается, обратитесь в Поддержку Swarmica.

Настройка основного сервера Swarmica

1. Создайте файл /root/swarmica/pg_hba.conf со следующим содержимым (замените REPLICA_IP на IP-адрес сервера реплики):

local   all             all                                     trust
host    all             all             127.0.0.1/32            trust
host    all             all             ::1/128                 trust
local   replication     all                                     trust
host    replication     all             127.0.0.1/32            trust
host    replication     all             ::1/128                 trust
host    replication     all             REPLICA_IP/32           scram-sha-256
host    all             all             all                     scram-sha-256

В PostgreSQL 18 scram-sha-256 — рекомендуемый метод. Строка host all all all scram-sha-256 разрешает обычные подключения с паролем.

2. Отредактируйте /root/swarmica/docker-compose.yml. Важно: для PostgreSQL 18 том монтируется в /var/lib/postgresql, а файл pg_hba.conf — в /var/lib/postgresql/18/docker/pg_hba.conf.

postgres:
  image: postgres:18-bookworm
  container_name: swarmica-postgres
  shm_size: 8gb
  command: postgres -N 300 -c shared_preload_libraries=pg_stat_statements -c pg_stat_statements.track=all -c wal_keep_size=512MB -c work_mem=8MB -c temp_buffers=16MB -c shared_buffers=8GB -c track_activity_query_size=16384 -c max_wal_size=4GB -c checkpoint_timeout=10min
  restart: always
  volumes:
    - swarmica_postgres_data:/var/lib/postgresql
    - swarmica_postgres_data_backups:/backups
    - ./pg_hba.conf:/var/lib/postgresql/18/docker/pg_hba.conf
  env_file:
    - .env
  ports:
    - "54321:5432"

ВНИМАНИЕ! Для репликации на другом сервере необходимо сделать порт 5432 контейнера postgres доступным на сервере. Это повышает уязвимость сервера к внешним атакам, поэтому рекомендуется принять все возможные меры защиты, такие как:

  • Изменение адреса порта (в примере выше — 54321)
  • Ограничение доступа к порту средствами файрвола на сервере
  • Ограничение доступа к порту средствами внешнего файрвола / NAT / WAF / NGFW

3. Перезагрузите сервисы:

cd /root/swarmica
docker compose down
docker compose up -d

4. Разрешите репликацию для учётной записи, которую будете использовать на реплике:

docker exec -it swarmica-postgres sh -c 'psql -U $POSTGRES_USER -d postgres'
CREATE USER replicator WITH REPLICATION ENCRYPTED PASSWORD 'replicator_insecure_password';
SELECT pg_create_physical_replication_slot('replication_slot');

ВНИМАНИЕ! Обязательно замените replicator и replicator_insecure_password на собственные, более защищённые имя пользователя и пароль.

Настройка реплики

Здесь приводится пример настройки реплики внутри Docker-контейнера на другом физическом/виртуальном сервере. Вы можете применить аналогичные настройки в любом варианте установки Postgres 18.

1. Установите docker.io и docker-compose-v2:

apt-get update
apt-get install docker.io docker-compose-v2

2. Создайте папку для конфигурационных файлов:

mkdir replica
cd replica

3. Создайте .env файл с параметрами подключения Postgres:

# Master host connection configuration
POSTGRES_MASTER_HOST=my-swarmica-host.tld
POSTGRES_MASTER_PORT=54321
POSTGRES_MASTER_DB=swarmica_app
POSTGRES_MASTER_USER=replicator
POSTGRES_MASTER_PASSWORD=replicator_insecure_password

# Replica host configuration
POSTGRES_HOST=postgres
POSTGRES_USER=replicator
POSTGRES_PASS=replicator_insecure_password
POSTGRES_PORT=5432

4. Создайте docker-compose.yml со следующим содержимым. Обратите внимание на путь PGDATA для 18 — /var/lib/postgresql/18/docker.

volumes:
  postgres_data: {}

services:
  postgres:
    image: postgres:18-bookworm
    restart: always
    container_name: swarmica-postgres
    shm_size: 1gb
    environment:
      PGPASSWORD: $POSTGRES_MASTER_PASSWORD
    command: |
      gosu postgres bash -c "
      if [ ! -s /var/lib/postgresql/18/docker/postgresql.conf ]; then
        pg_basebackup -h $POSTGRES_MASTER_HOST -p $POSTGRES_MASTER_PORT -U $POSTGRES_MASTER_USER -D /var/lib/postgresql/18/docker -R -v --slot=replication_slot -X stream;
      fi
      chmod 700 /var/lib/postgresql/18/docker/
      postgres -N 1024 -c hot_standby=on
      "
    volumes:
      - postgres_data:/var/lib/postgresql
    env_file:
      - .env

5. Скачайте образы и запустите сервис реплики:

docker compose pull
docker compose up -d

6. После этого репликация должна начаться автоматически. Проверьте логи:

docker logs -f swarmica-postgres

Ожидаемые строки в логах реплики:

pg_basebackup: initiating base backup, waiting for checkpoint to complete
pg_basebackup: checkpoint completed
...
pg_basebackup: base backup completed
... LOG:  entering standby mode
... LOG:  consistent recovery state reached at ...
... LOG:  started streaming WAL from primary at ...

7. Проверьте статус репликации на мастере:

docker exec -it swarmica-postgres sh -c 'psql -U $POSTGRES_USER -d postgres -c "SELECT client_addr, state, sync_state FROM pg_stat_replication;"'

В выводе должна быть строка с IP-адресом реплики и состоянием streaming.

📌 Что изменилось по сравнению с PostgreSQL 14

ПараметрPostgreSQL 14PostgreSQL 18
Путь монтирования тома/var/lib/postgresql/data/var/lib/postgresql
Расположение PGDATA в контейнере/var/lib/postgresql/data/var/lib/postgresql/18/docker
Путь к pg_hba.conf в контейнере/var/lib/postgresql/data/pg_hba.conf/var/lib/postgresql/18/docker/pg_hba.conf
Метод аутентификации по умолчаниюmd5 / scram-sha-256scram-sha-256
wal_level по умолчаниюreplicareplica

Если при запуске контейнера вы видите ошибку error mounting ... no such file or directory, проверьте, что том смонтирован именно в /var/lib/postgresql, а не в /var/lib/postgresql/data.