Подготовка к развертыванию

Перед началом работы

Требования

Ознакомьтесь с системными требованиями и топологией кластера.

У вас должен быть SSH доступ на все сервера. Это необходимо для установки артефактов и запуска исполняемого файла YDB.

Сетевая конфигурация должна разрешать TCP соединения по следующим портам (по умолчанию, могут быть изменены настройками):

  • 22: сервис SSH;
  • 2135, 2136: GRPC для клиент-кластерного взаимодействия;
  • 19001, 19002: Interconnect для внутрикластерного взаимодействия узлов;
  • 8765, 8766: HTTP интерфейс YDB Embedded UI.

При размещении нескольких динамических узлов на одном сервере потребуются отдельные порты для gRPC, Interconnect и HTTP интерфейса каждого динамического узла в рамках сервера.

Убедитесь в том, что системные часы на всех серверах в составе кластера синхронизированы с помощью инструментов ntpd или chrony. Желательно использовать единый источник времени для всех серверов кластера, чтобы обеспечить одинаковую обработку секунд координации (leap seconds).

Если применяемый на серверах кластера тип Linux использует syslogd для логирования, необходимо настроить ротацию файлов лога с использованием инструмента logrotate или его аналогов. Сервисы YDB могут генерировать значительный объем системных логов, в особенности при повышении уровня логирования для диагностических целей, поэтому важно включить ротацию файлов системного лога для исключения ситуаций переполнения файловой системы /var.

Выберите серверы и диски, которые будут использоваться для хранения данных:

  • Используйте схему отказоустойчивости block-4-2 для развертывания кластера в одной зоне доступности (AZ), задействуя не менее 8 серверов. Данная схема позволяет переживать отказ 2 серверов.
  • Используйте схему отказоустойчивости mirror-3-dc для развертывания кластера в трех зонах доступности (AZ), задействуя не менее 9 серверов. Данная схема позволяет переживать отказ 1 AZ и 1 сервера в другой AZ. Количество задействованных серверов в каждой AZ должно быть одинаковым.

Примечание

Запускайте каждый статический узел (узел хранения данных) на отдельном сервере. Возможно совмещение статических и динамических узлов на одном сервере, а также размещение на одном сервере нескольких динамических узлов при наличии достаточных вычислительных ресурсов.

Подробнее о требованиях к оборудованию описано в разделе Системные требования и рекомендации для YDB.

Подготовка ключей и сертификатов TLS

Защита трафика и проверка подлинности серверных узлов YDB осуществляется с использованием протокола TLS. Перед установкой кластера необходимо спланировать состав серверов, определиться со схемой именования узлов и конкретными именами, и подготовить ключи и сертификаты TLS.

Вы можете использовать существующие или сгенерировать новые сертификаты. Следующие файлы ключей и сертификатов TLS должны быть подготовлены в формате PEM:

  • ca.crt - сертификат центра регистрации (Certification Authority, CA), которым подписаны остальные сертификаты TLS (одинаковые файлы на всех узлах кластера);
  • node.key - секретные ключи TLS для каждого из узлов кластера (свой ключ на каждый сервер кластера);
  • node.crt - сертификаты TLS для каждого из узлов кластера (соответствующий ключу сертификат);
  • web.pem - конкатенация секретного ключа узла, сертификата узла и сертификата центра регистрации для работы HTTP интерфейса мониторинга (свой файл на каждый сервер кластера).

Необходимые параметры формирования сертификатов определяются политикой организации. Обычно сертификаты и ключи для YDB формируются со следующими параметрами:

  • ключи RSA длиною 2048 или 4096 бит;
  • алгоритм подписи сертификатов SHA-256 с шифрованием RSA;
  • срок действия сертификатов узлов не менее 1 года;
  • срок действия сертификата центра регистрации не менее 3 лет.

Необходимо, чтобы сертификат центра регистрации был помечен соответствующим образом: должен быть установлен признак CA, а также включены виды использования "Digital Signature, Non Repudiation, Key Encipherment, Certificate Sign".

Для сертификатов узлов важно соответствие фактического имени хоста (или имён хостов) значениям, указанным в поле "Subject Alternative Name". Для сертификатов должны быть включены виды использования "Digital Signature, Key Encipherment" и расширенные виды использования "TLS Web Server Authentication, TLS Web Client Authentication". Необходимо, чтобы сертификаты узлов поддерживали как серверную, так и клиентскую аутентификацию (опция extendedKeyUsage = serverAuth,clientAuth в настройках OpenSSL).

Для пакетной генерации или обновления сертификатов кластера YDB с помощью программного обеспечения OpenSSL можно воспользоваться примером скрипта, размещённым в репозитории YDB на GitHub. Скрипт позволяет автоматически сформировать необходимые файлы ключей и сертификатов для всего набора узлов кластера за одну операцию, облегчая подготовку к установке.

Создайте системного пользователя и группу, от имени которых будет работать YDB

На каждом сервере, где будет запущен YDB, выполните:

sudo groupadd ydb
sudo useradd ydb -g ydb

Для того, чтобы сервис YDB имел доступ к блочным дискам для работы, необходимо добавить пользователя, под которым будут запущены процессы YDB, в группу disk:

sudo usermod -aG disk ydb

Настройте лимиты файловых дескрипторов

Для корректной работы YDB, особенно при использовании спиллинга в многоузловых кластерах, рекомендуется увеличить лимит на количество одновременно открытых файловых дескрипторов.

Для изменения лимита файловых дескрипторов добавьте следующие строки в файл /etc/security/limits.conf:

ydb soft nofile 10000
ydb hard nofile 10000

Где ydb — имя пользователя, под которым запускается ydbd.

После изменения файла необходимо перезагрузить систему или заново залогиниться для применения новых лимитов.

Примечание

Для получения дополнительной информации о конфигурации спиллинга и его связи с файловыми дескрипторами см. раздел «Конфигурация спиллинга».

Установите программное обеспечение YDB на каждом сервере

  1. Скачайте и распакуйте архив с исполняемым файлом ydbd и необходимыми для работы YDB библиотеками:

    mkdir ydbd-stable-linux-amd64
curl -L <binaries_url> | tar -xz --strip-component=1 -C ydbd-stable-linux-amd64

    где binaries_url ссылка на архив нужной вам версии со страницы загрузок

  2. Создайте на сервере директорию:

    sudo mkdir -p  /opt/ydb

  3. Скопируйте исполняемый файл и библиотеки в соответствующие директории:

    sudo cp -iR ydbd-stable-linux-amd64/bin /opt/ydb/
sudo cp -iR ydbd-stable-linux-amd64/lib /opt/ydb/

  4. Установите владельца файлов и каталогов:

    sudo chown -R root:bin /opt/ydb

Подготовьте и очистите диски на каждом сервере

Для эффективной работы YDB рекомендуется использовать физические (не виртуальные) диски объемом более 800 ГБ как блочные устройства.

Минимальный объем диска должен быть не менее 80 ГБ, при меньшем объеме узел YDB не сможет использовать устройство. Корректная и бесперебойная работа с дисками минимального объема не гарантируется. Использовать такие диски рекомендуется исключительно в ознакомительных целях.

Важно

Конфигурации с дисками объемом меньше 800 ГБ или с любыми видами виртуализации системы хранения нельзя использовать для сервисов, находящихся в промышленной эксплуатации, а также для тестирования производительности системы.

Мы не рекомендуем использовать для хранения данных YDB диски, которые используются другими процессами (в том числе операционной системой).

Получить список блочных устройств на сервере можно командой lsblk. Пример вывода:

NAME   MAJ:MIN RM   SIZE RO TYPE MOUNTPOINTS
loop0    7:0    0  63.3M  1 loop /snap/core20/1822
...
vda    252:0    0    40G  0 disk
├─vda1 252:1    0     1M  0 part
└─vda2 252:2    0    40G  0 part /
vdb    252:16   0   186G  0 disk
└─vdb1 252:17   0   186G  0 part

Названия блочных устройств зависят от настроек операционной системы, заданных базовым образом или настроенных вручную. Обычно имена устройств состоят из трех частей:

  • Фиксированный префикс или префикс, указывающий на тип устройства
  • Последовательный идентификатор устройства (может быть буквой или числом)
  • Последовательный идентификатор раздела на данном устройстве (обычно число)

  1. Создайте разделы на выбранных дисках:

    Внимание

    Следующая операция удалит все разделы на указанном диске! Убедитесь, что вы указали диск, на котором нет других данных!

    DISK=/dev/nvme0n1
sudo parted ${DISK} mklabel gpt -s
sudo parted -a optimal ${DISK} mkpart primary 0% 100%
sudo parted ${DISK} name 1 ydb_disk_ssd_01
sudo partx --u ${DISK}

    Выполните команду ls -l /dev/disk/by-partlabel/, чтобы убедиться что в системе появился диск с меткой /dev/disk/by-partlabel/ydb_disk_ssd_01.

    Если вы планируете использовать более одного диска на каждом сервере, укажите для каждого свою уникальную метку вместо ydb_disk_ssd_01. Метки дисков должны быть уникальны в рамках каждого сервера, и используются в конфигурационных файлах, как показано в последующих инструкциях.

    Для упрощения последующей настройки удобно использовать одинаковые метки дисков на серверах кластера, имеющих идентичную конфигурацию дисков.

  2. Очистите диск встроенной в исполняемый файл ydbd командой:

    Важно

    После выполнения команды данные на диске сотрутся.

    sudo LD_LIBRARY_PATH=/opt/ydb/lib /opt/ydb/bin/ydbd admin bs disk obliterate /dev/disk/by-partlabel/ydb_disk_ssd_01

    Проделайте данную операцию для каждого диска, который будет использоваться для хранения данных YDB.

Пример полной команды для разметки 3-х дисков

DISK=/dev/vdb
sudo parted ${DISK} mklabel gpt -s
sudo parted -a optimal ${DISK} mkpart primary 0% 100%
sudo parted ${DISK} name 1 ydb_disk_ssd_01
sudo partx --u ${DISK}
sleep 5
sudo LD_LIBRARY_PATH=/opt/ydb/lib /opt/ydb/bin/ydbd admin bs disk obliterate /dev/disk/by-partlabel/ydb_disk_ssd_01

DISK=/dev/vdc
sudo parted ${DISK} mklabel gpt -s
sudo parted -a optimal ${DISK} mkpart primary 0% 100%
sudo parted ${DISK} name 1 ydb_disk_ssd_02
sudo partx --u ${DISK}
sleep 5
sudo LD_LIBRARY_PATH=/opt/ydb/lib /opt/ydb/bin/ydbd admin bs disk obliterate /dev/disk/by-partlabel/ydb_disk_ssd_02

DISK=/dev/vdd
sudo parted ${DISK} mklabel gpt -s
sudo parted -a optimal ${DISK} mkpart primary 0% 100%
sudo parted ${DISK} name 1 ydb_disk_ssd_03
sudo partx --u ${DISK}
sleep 5
sudo LD_LIBRARY_PATH=/opt/ydb/lib /opt/ydb/bin/ydbd admin bs disk obliterate /dev/disk/by-partlabel/ydb_disk_ssd_03

Проверьте подготовку дисков

Для проверки корректной разметки дисков выполните команду на каждом сервере кластера:

ls -al /dev/disk/by-partlabel/

В выводе команды должны быть созданные и размеченные вами диски

lrwxrwxrwx 1 root root    10 Nov 26 12:54 ydb_disk_ssd_01 -> ../../vdb1
lrwxrwxrwx 1 root root    10 Nov 26 12:54 ydb_disk_ssd_02 -> ../../vdc1
lrwxrwxrwx 1 root root    10 Nov 26 12:54 ydb_disk_ssd_03 -> ../../vdd1

После выполнения подготовительных мероприятий можно переходить к развёртыванию системы. Выберите инструкцию в соответствии с вашей конфигурацией:

Предыдущая
Первоначальное развёртывание
Следующая
Развёртывание кластера с использованием конфигурации V1