Перейти к основному содержимому

Облачный сервер с GitLab Runner

GitLab Runner — открытое программное обеспечение, используется для автоматизации и выполнения задач (пайплайнов) в GitLab CI/CD. Работает как агент, который последовательно выполняет шаги, определенные в задачах пайплайна. Позволяет запускать сборку, тестирование и развертывание приложений в автоматическом режиме и управлять всем процессом выполнения задач CI/CD в GitLab.

Вы можете создать облачный сервер с готовым приложением GitLab Runner. Приложение запускается внутри Docker-контейнера облачного сервера. В России сервер работает с настроенной операционной системой SelectOS 1 64-bit. В других странах — Ubuntu 22.04.

Если вам нужно запустить несколько раннеров в одном Docker-контейнере, увеличите количество раннеров. Для запуска нескольких задач CI/CD включите параллельное выполнение задач.

Создать облачный сервер с GitLab Runner

Для работы GitLab Runner совместно с сервером GitLab из другой сети, облачный сервер с GitLab Runner должен быть доступен из интернета. Для этого при создании сервера нужно создать приватную подсеть и подключить публичный IP-адрес. Для настройки GitLab Runner также при создании сервера необходимо указать user data — пользовательские параметры конфигурации операционной системы.

  1. Опционально: создайте публичный IP-адрес.

  2. Создайте облачный сервер с GitLab Runner.

1. Опционально: создать публичный IP-адрес

Создайте публичный IP-адрес, чтобы облачный сервер с GitLab Runner был доступен из интернета.

Используйте подраздел Создать публичный IP-адрес инструкции Публичные IP-адреса.

2. Создать облачный сервер с GitLab Runner

  1. В панели управления в верхнем меню нажмите Продукты и выберите Облачные серверы.

  2. Нажмите Создать сервер.

  3. Заполните блоки:

  4. Проверьте цену облачного сервера.

  5. Нажмите Создать.

Имя и расположение

  1. Введите имя сервера. Оно будет установлено как имя хоста в операционной системе.

  2. Выберите регион и сегмент пула, в котором будет создан сервер. От сегмента пула зависит список доступных конфигураций сервера и стоимость ресурсов. После создания сервера изменить сегмент пула нельзя.

Источник

  1. Откройте вкладку Приложения.

  2. Выберите Cloud GitLab Runner.

  3. Опционально: если вам нужна другая актуальная или архивная версия приложения, в поле Версия выберите нужную версию.

Конфигурация

Выберите конфигурацию от 2 vCPU, RAM от 2 ГБ и размером загрузочного диска от 8 ГБ. Для всех линеек, кроме Shared и Dedicated, доступны два вида конфигураций сервера:

  • фиксированные конфигурации — конфигурации линеек с разными техническими характеристиками, в которых зафиксировано соотношение ресурсов;
  • произвольные конфигурации — конфигурации, в которых можно указать любое соотношение ресурсов.

В конфигурациях используются разные процессоры в зависимости от линейки и сегмента пула. Вы можете настроить выбранную конфигурацию. После создания сервера можно будет изменить конфигурацию.

  1. Откройте вкладку с линейкой.

  2. Нажмите Фиксированная.

  3. Опционально: вы можете настроить конфигурацию, если создаете сервер в сегментах пула ru-3b, ru-7a и ru-7b:

    3.1. Разверните блок с описанием настроек конфигурации.

    3.2. Опционально: выберите производителя процессора. Выбор производителя доступен не во всех пулах.

    3.3. Опционально: если вы хотите, чтобы за vCPU облачного сервера не закреплялись ядра физического процессора, снимите чекбокс Выделенные ядра. Подробнее в инструкции Выделенные ядра.

    3.4. Опционально: если для сервера с выделенными ядрами вы хотите выключить Hyper-Threading, снимите чекбокс Hyper-Threading (SMT).

    3.5. Опционально: если вы создаете сервер с выделенными ядрами и хотите разместить многопроцессорный сервер на одной NUMA-ноде, отметьте чекбокс Обязательное размещение на одной NUMA-ноде. Разместить на одной NUMA-ноде можно сервер с 4 vCPU и больше. Если ресурсы облачного сервера не получится разместить на одной ноде, он не создаcтся. Подробнее в подразделе Размещение на одной NUMA-ноде инструкции Выделенные ядра.

  4. Выберите конфигурацию.

  5. Если в выбранной конфигурации доступны и локальные, и сетевые диски, выберите диск, который будет использоваться в качестве загрузочного:

    • локальный диск — отметьте чекбокс Локальный SSD NVMe диск. Сервер с локальным диском можно создать только из образов и приложений;
    • сетевой диск — не отмечайте чекбокс.

    Объем оперативной памяти, который выделяется серверу, может быть меньше указанного в конфигурации — ядро операционной системы резервирует часть оперативной памяти в зависимости от версии ядра и дистрибутива. Выделенный объем на сервере можно проверить с помощью команды sudo dmesg | grep Memory.

Диски

  1. Если при настройке конфигурации вы не отметили чекбокс Локальный SSD NVMe диск, в качестве загрузочного диска сервера будет использоваться первый указанный сетевой диск. Чтобы настроить его:

    1.1. Выберите тип сетевого загрузочного диска.

    1.2. Укажите размер сетевого загрузочного диска в ГБ или ТБ. Учитывайте лимиты сетевых дисков на максимальный размер.

    1.3. Если вы выбрали тип диска Универсальный v2, укажите общее количество операций чтения и записи в IOPS. После создания диска вы можете изменить количество IOPS — уменьшить или увеличить. Количество изменений IOPS не ограничено.

  2. Чтобы добавить дополнительный сетевой диск сервера:

    2.1. Нажмите Добавить.

    2.2. Выберите тип сетевого диска.

    2.3. Укажите размер сетевого диска в ГБ или ТБ. Учитывайте лимиты сетевых дисков на максимальный размер.

    2.4. Если вы выбрали тип диска Универсальный v2, укажите общее количество операций чтения и записи в IOPS. После создания диска вы можете изменить количество IOPS — уменьшить или увеличить. Количество изменений IOPS не ограничено.

    После создания сервера можно будет подключить новые дополнительные диски.

Сеть

Сервер может быть добавлен в новую приватную подсеть или в уже существующую.

Приватная — подсеть без доступа из интернета или с одним статическим публичным IP-адресом. Публичный IP-адрес подключается к серверу, который будет доступен из интернета.

  1. Нажмите Приватная подсеть.

  2. В поле Публичный IP-адрес для доступа из интернета выберите публичный IP-адрес, который вы создали раннее или создайте новый.

  3. Разверните блок с настройками приватной подсети.

  4. В поле Подсеть выберите существующую подсеть.

  5. В поле Приватный IP укажите приватный IP-адрес сервера. Публичный IP-адрес будет автоматически подключен к приватному адресу.

Безопасность

Выберите группы безопасности для фильтрации трафика на портах сервера. Без групп безопасности трафик будет запрещен. Если блок отсутствует, в сети сервера выключена фильтрация трафика (port security). С выключенной фильтрацией трафика весь трафик будет разрешен.

Доступ

  1. Разместите на сервере SSH-ключ для проекта для безопасного подключения:

    1.1. Если SSH-ключ для проекта не добавлен в облачную платформу, нажмите Добавить SSH-ключ, введите имя ключа, вставьте публичный ключ в формате OpenSSH и нажмите Добавить.

    1.2. Если SSH-ключ для проекта добавлен в облачную платформу, в поле SSH-ключ выберите существующий ключ. SSH-ключ доступен только в том пуле, в котором он размещен.

  2. Опционально: в поле Пароль для «root»:

    2.1. Скопируйте пароль пользователя root — пользователя с неограниченными правами на все действия над системой.

    2.2. Сохраните пароль в безопасном месте и не передавайте в открытом виде.

Дополнительные настройки

  1. Если вы планируете создать несколько серверов и хотите повысить отказоустойчивость инфраструктуры, добавьте сервер в группу размещения:

    1.1. Чтобы создать новую группу, в поле Группа размещения нажмите Создать.

    1.2. Выберите Новая группа и введите имя группы.

    1.3. Выберите политику размещения на разных хостах:

    • желательно — soft-anti-affinity. Система постарается разместить серверы на разных хостах. Если при создании сервера не будет подходящего хоста, он будет создан на том же хосте;
    • обязательно — anti-affinity. Серверы в группе обязательно располагаются на разных хостах. Если при создании сервера не будет подходящего хоста, сервер не будет создан.

    1.4. Если группа создана, в поле Группа размещения выберите группу размещения.

  2. Чтобы добавить дополнительную информацию или фильтровать серверы в списке, добавьте теги сервера. Автоматически добавляются теги операционной системы и конфигурации. Чтобы добавить новый тег, в поле Теги введите тег.

  3. Чтобы добавить скрипт, который выполнится с помощью агента cloud-init при первом запуске операционной системы, в блоке Автоматизация в поле User data:

    • откройте вкладку Текст и вставьте скрипт текстом;
    • или откройте вкладку Файл и загрузите файл со скриптом.
#cloud-config

write_files:
- path: "/opt/gomplate/values/user-values.yaml"
  permissions: "0644"
  content: |
    gitlabURL: "<gitlab_server_url>"
    token: "<runner_token>"

Укажите:

  • <gitlab_server_url> — URL сервера с GitLab, к которому подключается GitLab Runner;
  • <runner_token> — регистрационный токен для GitLab Runner. Можно получить по инструкции Create a project runner with a runner authentication token официальной документации GitLab.

Увеличить количество раннеров

  1. Подключитесь к облачному серверу.

  2. В файл /opt/gomplate/templates/gitlab-runner-env.tpl добавьте URL:

    echo 'export RUNNER_GITLAB_URL_2="https://<gitlab_server_url>"' >> /opt/gomplate/templates/gitlab-runner-env.tpl

    Укажите <gitlab_server_url> — URL сервера с GitLab, к которому подключается GitLab Runner.

  3. Если второй раннер добавляется для другого GitLab сервера, в файл /opt/gomplate/templates/gitlab-runner-env.tpl добавьте токен раннера:

    echo 'export RUNNER_REGISTRATION_TOKEN_2="<runner_token>"' >> /opt/gomplate/templates/gitlab-runner-env.tpl

    Укажите <runner_token> — регистрационный токен для GitLab Runner. Можно получить по инструкции Create a project runner with a runner authentication token официальной документации GitLab.

  4. В скрипт /opt/gitlab-runner-pre-flight.sh добавьте регистрацию нового раннера:

    • в функцию register_runner:

      sed -i '/register_runner () {/,/^}/ {
      /^}/ i\
      echo "Register additional runner"\
      docker run -i --rm \\\
          -v /etc/gitlab-runner:/etc/gitlab-runner \\\
          gitlab/gitlab-runner:ubuntu-v17.5.4 register \\\
          --non-interactive \\\
          --url "\${RUNNER_GITLAB_URL_2}" \\\
          --token "\${RUNNER_REGISTRATION_TOKEN_2}" \\\
          --template-config /etc/gitlab-runner/config-template.toml \\\
          --executor "docker" \\\
          \${RUNNER_ADDITIONAL_PARAMS}
      }' /opt/gitlab-runner-pre-flight.sh

    • в функцию register_legacy_runner:

      sed -i '/register_legacy_runner () {/,/^}/ {
      /^}/ i\
      echo "Register additional runner"\
      docker run -i --rm \\\
          -v /etc/gitlab-runner:/etc/gitlab-runner \\\
          gitlab/gitlab-runner:ubuntu-v17.5.4 register \\\
          --non-interactive \\\
          --url "\${RUNNER_GITLAB_URL_2}" \\\
          --registration-token "\${RUNNER_REGISTRATION_TOKEN_2}" \\\
          --template-config /etc/gitlab-runner/config-template.toml \\\
          --executor "docker" \\\
          \${RUNNER_ADDITIONAL_PARAMS}
      }' /opt/gitlab-runner-pre-flight.sh

  5. Перезагрузите сервис:

    sudo systemctl restart gitlab-runner

Включить параллельное выполнение задач CI/CD

warning

Параллельное выполнения задач CI/CD может снизить производительность раннера.

  1. Подключитесь к облачному серверу.

  2. В файле /etc/gitlab-runner/config.toml укажите количество параллельных задач в параметре concurrent:

    sed -i '1 i\concurrent = 2' /etc/gitlab-runner/config.toml