Перейти к основному содержимому

Подключить сетевой диск к выделенному серверу с ОС Linux

Сетевые диски доступны для подключения к выделенным серверам в пуле MSK-1. Подключить сетевой диск можно к выделенным серверам:

  • произвольной и готовой конфигурации с портом для локальной сети. Посмотреть информацию о портах сервера можно в панели управления: в верхнем меню нажмите Продукты → Выделенные серверы → Серверы → страница сервера → вкладка Порты;
  • готовой конфигурации с тегом Можно подключить сетевые диски;
  • произвольной конфигурации с дополнительной сетевой картой 2 × 10 GE + подключение к SAN сети Сетевых дисков 10 Гбит/с.

Подключите сетевой диск к серверу.

  1. Создайте SAN-сеть.
  2. Соедините сетевой диск с сервером.
  3. Подключите сетевой диск к серверу в ОС сервера.
  4. Настройте MPIO.
  5. Опционально: подключите сетевой диск к еще одному серверу.
  6. Подготовьте сетевой диск к работе.

1. Создать SAN-сеть⁠

  1. В панели управления в верхнем меню нажмите Продукты и выберите Выделенные серверы.
  2. Перейдите в раздел Сетевые диски и СХД → вкладка Сетевые диски.
  3. Откройте вкладку SAN-сеть.
  4. Нажмите Добавить SAN-сеть.
  5. Выберите зону доступности.
  6. Введите подсеть или оставьте подсеть, которая сформирована по умолчанию. Подсеть должна принадлежать диапазону приватных адресов 10.0.0.0/8, 172.16.0.0/12 или 192.168.0.0/16 и не должна уже использоваться в вашей инфраструктуре.
  7. Нажмите Создать SAN-сеть.

2. Соединить сетевой диск с сервером⁠

  1. В панели управления в верхнем меню нажмите Продукты и выберите Выделенные серверы.

  2. Перейдите в раздел Сетевые диски и СХД → вкладка Сетевые диски.

  3. Откройте страницу диска → вкладка Подключение к серверу.

  4. В поле Сервер нажмите Выбрать.

  5. Выберите сервер, к которому будет подключен сетевой диск.

  6. Нажмите Соединить.

  7. Если вы подключаете сетевой диск к серверу с приватной сетью, настройте сеть:

    7.1. Выберите VLAN.

    7.2. Введите CIDR. Подсеть должна принадлежать диапазону приватных адресов 10.0.0.0/8, 172.16.0.0/12 или 192.168.0.0/16 и не должна уже использоваться в вашей инфраструктуре.

    7.3. Введите адреса Next hop 1 и Next hop 2 из выбранной приватной подсети.

    7.4. Нажмите Настроить.

3. Подключить сетевой диск к серверу в ОС сервера⁠

Подключить сетевой диск к серверу можно вручную или при помощи готового скрипта, который формируется в панели управления. Использовать скрипт можно только на ОС Ubuntu.

Подключить сетевой диск можно по SAN-сети или через приватную сеть.

Процесс подключения сетевого диска в ОС сервера через приватную подсеть зависит от количества портов:

  • если на сервере только один локальный порт или настроен MC-LAG, используйте инструкцию для одного порта;

  • если на сервере два локальных порта, используйте инструкцию для двух портов.

    1. Подключитесь к серверу по SSH или через KVM-консоль.

    2. Откройте конфигурационный файл утилиты netplan текстовым редактором vi:

      vi /etc/netplan/50-cloud-init.yaml

    3. На сетевые интерфейсы, подключенные к SAN-коммутатору, добавьте IP-адреса и пропишите маршруты для получения доступа к iSCSI-таргетам:

          <eth_name_1>:
                  addresses:
                  - <ip_address_1>
                  routes:
                  - to: <destination_subnet_1>
                  via: <next_hop_1>
          <eth_name_2>:
                  addresses:
                  - <ip_address_2>
                  routes:
                  - to: <destination_subnet_2>
                  via: <next_hop_2>

      Укажите:

      • <eth_name_1> — имя первого сетевого интерфейса, он настраивается на первом порте сетевой карты;
      • <ip_address_1> — IP-адрес первого порта сетевой карты. Можно посмотреть в панели управления: в верхнем меню нажмите Продукты → Выделенные серверы → раздел Сетевые диски и СХД → вкладка Сетевые диски → страница диска → блок Настройка сетевых интерфейсов → столбец IP-адрес порта;
      • <destination_subnet_1> — подсеть назначения для первого порта сетевой карты. Можно посмотреть в панели управления: в верхнем меню нажмите Продукты → Выделенные серверы → раздел Сетевые диски и СХД → вкладка Сетевые диски → страница диска → блок Настройка сетевых интерфейсов → столбец Подсеть назначения;
      • <next_hop_1> — шлюз для первого порта сетевой карты. Можно посмотреть в панели управления: в верхнем меню нажмите Продукты → Выделенные серверы → раздел Сетевые диски и СХД → вкладка Сетевые диски → страница диска → блок Настройка сетевых интерфейсов → столбец Next hop (шлюз);
      • <eth_name_2> — имя второго сетевого интерфейса, он настраивается на втором порте сетевой карты;
      • <ip_address_2> — IP-адрес второго порта сетевой карты. Можно посмотреть в панели управления: в верхнем меню нажмите Продукты → Выделенные серверы → раздел Сетевые диски и СХД → вкладка Сетевые диски → страница диска → блок Настройка сетевых интерфейсов → столбец IP-адрес порта;
      • <destination_subnet_2> — подсеть назначения для второго порта сетевой карты. Можно посмотреть в панели управления: в верхнем меню нажмите Продукты → Выделенные серверы → раздел Сетевые диски и СХД → вкладка Сетевые диски → страница диска → блок Настройка сетевых интерфейсов → столбец Подсеть назначения;
      • <next_hop_2> — шлюз для второго порта сетевой карты. Можно посмотреть в панели управления: в верхнем меню нажмите Продукты → Выделенные серверы → раздел Сетевые диски и СХД → вкладка Сетевые диски → страница диска → блок Настройка сетевых интерфейсов → столбец Next hop (шлюз).

    4. Выйдите из текстового редактора vi с сохранением изменений:

      :wq

    5. Примените конфигурацию:

      netplan apply

    6. Выведите информацию о сетевых интерфейсах и проверьте, что они настроены корректно:

      ip a

    7. Опционально: перезагрузите сервер.

    8. Проверьте, что скорость работы каждого интерфейса не ниже 10 ГБит/сек:

      ethtool <eth_name_1> | grep -i speed
      ethtool <eth_name_2> | grep -i speed

      Укажите <eth_name_1> и <eth_name_2> — имена сетевых интерфейсов, которые вы настроили на шаге 3.

    9. Если скорость ниже 10 Гбит/с, создайте тикет.

    10. Проверьте, что iSCSI-таргет доступен:

      ping -c5 <iscsi_target_ip_address_1>
      ping -c5 <iscsi_target_ip_address_2>

      Укажите:

      • <iscsi_target_ip_address_1> — IP-адрес первого iSCSI-таргета. Можно посмотреть в панели управления: в верхнем меню нажмите Продукты → Выделенные серверы → раздел Сетевые диски и СХД → вкладка Сетевые диски → страница диска → блок Настройка iSCSI-соединения → поле IP-адрес iSCSI-таргета 1;
      • <iscsi_target_ip_address_2> — IP-адрес второго iSCSI-таргета. Можно посмотреть в панели управления: в верхнем меню нажмите Продукты → Выделенные серверы → раздел Сетевые диски и СХД → вкладка Сетевые диски → страница диска → блок Настройка iSCSI-соединения → поле IP-адрес iSCSI-таргета 2.

    11. Введите имя iSCSI-инициатора:

      vi /etc/iscsi/initiatorname.iscsi
      InitiatorName= <initiator_name>

      Укажите <initiator_name> — имя iSCSI-инициатора. Можно посмотреть в панели управления: в верхнем меню нажмите Продукты → Выделенные серверы → раздел Сетевые диски и СХД → вкладка Сетевые диски → страница диска → блок Настройка iSCSI-соединения → поле Initiator name.

    12. Перезапустите iSCSI:

      systemctl restart iscsid.service
      systemctl restart multipathd.service

    13. Создайте iSCSI-интерфейсы:

      iscsiadm -m iface -I <iscsi_eth_name_1> --op new
      iscsiadm -m iface -I <iscsi_eth_name_2> --op new

      Укажите:

      • <iscsi_eth_name_1> — имя первого iSCSI-интерфейса;
      • <iscsi_eth_name_2> — имя второго iSCSI-интерфейса.

    14. Привяжите iSCSI-интерфейсы к сетевым интерфейсам:

      iscsiadm -m iface --interface <iscsi_eth_name_1> --op update -n iface.net_ifacename -v <eth_name_1>
      iscsiadm -m iface --interface <iscsi_eth_name_2> --op update -n iface.net_ifacename -v <eth_name_2>

      Укажите:

      • <iscsi_eth_name_1> — имя первого iSCSI-интерфейса, который вы создали на шаге 13;
      • <eth_name_1> — имя первого сетевого интерфейса, который вы настроили на шаге 3;
      • <iscsi_eth_name_2> — имя второго iSCSI-интерфейса, который вы создали на шаге 13;
      • <eth_name_2> — имя второго сетевого интерфейса, который вы настроили на шаге 3.

    15. Проверьте доступность iSCSI-таргета через интерфейсы iSCSI:

      iscsiadm -m discovery -t sendtargets -p <iscsi_target_ip_address_1> --interface <iscsi_eth_name_1>
      iscsiadm -m discovery -t sendtargets -p <iscsi_target_ip_address_2> --interface <iscsi_eth_name_2>

      Укажите:

      • <iscsi_target_ip_address_1> — IP-адрес первого iSCSI-таргета. Можно посмотреть в панели управления: в верхнем меню нажмите Продукты → Выделенные серверы → раздел Сетевые диски и СХД → вкладка Сетевые диски → страница диска → блок Настройка iSCSI-соединения → поле IP-адрес iSCSI-таргета 1;
      • <iscsi_eth_name_1> — имя первого iSCSI-интерфейса, который вы создали на шаге 13;
      • <iscsi_target_ip_address_2> — IP-адрес второго iSCSI-таргета. Можно посмотреть в панели управления: в верхнем меню нажмите Продукты → Выделенные серверы → раздел Сетевые диски и СХД → вкладка Сетевые диски → страница диска → блок Настройка iSCSI-соединения → поле IP-адрес iSCSI-таргета 2;
      • <iscsi_eth_name_2> — имя второго iSCSI-интерфейса, который вы создали на шаге 13.

      В ответе появится список iSCSI-таргетов. Например:

      10.100.1.2:3260,1 iqn.2003-01.com.redhat.iscsi-gw:workshop-target
      10.100.1.6:3260,2 iqn.2003-01.com.redhat.iscsi-gw:workshop-target

      Здесь:

      • 10.100.1.2:3260 — IP-адрес первого iSCSI-таргета;
      • iqn.2003-01.com.redhat.iscsi-gw:workshop-target — IQN первого iSCSI-таргета. IQN (iSCSI Qualified Name) — полный уникальный идентификатор устройства iSCSI;
      • 10.100.1.6:3260 — IP-адрес второго iSCSI-таргета;
      • iqn.2003-01.com.redhat.iscsi-gw:workshop-target — IQN второго iSCSI-таргета.

    16. Настройте CHAP-аутентификацию на iSCSI-Initiator:

      iscsiadm --mode node -T <iqn> -p <iscsi_target_ip_address_1> --op update -n node.session.auth.authmethod --value CHAP

      iscsiadm --mode node -T <iqn> -p <iscsi_target_ip_address_2> --op update -n node.session.auth.authmethod --value CHAP

      iscsiadm --mode node -T <iqn> --op update -n node.session.auth.username --value <username>

      iscsiadm --mode node -T <iqn> -p <iscsi_target_ip_address_1> --op update -n node.session.auth.password --value <password>

      iscsiadm --mode node -T <iqn> -p <iscsi_target_ip_address_2> --op update -n node.session.auth.password --value <password>

      Укажите:

      • <iqn> — IQN первого и второго iSCSI-таргета. Можно посмотреть в панели управления: в верхнем меню нажмите Продукты → Выделенные серверы → раздел Сетевые диски и СХД → вкладка Сетевые диски → страница диска → блок Настройка iSCSI-соединения → поле Target name;
      • <iscsi_target_ip_address_1> — IP-адрес первого iSCSI-таргета. Можно посмотреть в панели управления: в верхнем меню нажмите Продукты → Выделенные серверы → раздел Сетевые диски и СХД → вкладка Сетевые диски → страница диска → блок Настройка iSCSI-соединения → поле IP-адрес iSCSI-таргета 1;
      • <iscsi_target_ip_address_2> — IP-адрес второго iSCSI-таргета. Можно посмотреть в панели управления: в верхнем меню нажмите Продукты → Выделенные серверы → раздел Сетевые диски и СХД → вкладка Сетевые диски → страница диска → блок Настройка iSCSI-соединения → поле IP-адрес iSCSI-таргета 2;
      • <username> — имя пользователя для авторизации iSCSI-инициатора. Можно посмотреть в панели управления: в верхнем меню нажмите Продукты → Выделенные серверы → раздел Сетевые диски и СХД → вкладка Сетевые диски → страница диска → блок Настройка iSCSI-соединения → поле Username;
      • <password> — пароль для авторизации iSCSI-инициатора. Можно посмотреть в панели управления: в верхнем меню нажмите Продукты → Выделенные серверы → раздел Сетевые диски и СХД → вкладка Сетевые диски → страница диска → блок Настройка iSCSI-соединения → поле Рassword.

    17. Авторизуйтесь на iSCSI-таргете через iSCSI-интерфейсы:

      iscsiadm --mode node -T <iqn> -p <iscsi_target_ip_address_1> --login --interface <iscsi_eth_name_1>
      iscsiadm --mode node -T <iqn> -p <iscsi_target_ip_address_2> --login --interface <iscsi_eth_name_2>

      Укажите:

      • <iqn> — IQN первого и второго iSCSI-таргета. Можно посмотреть в панели управления: в верхнем меню нажмите Продукты → Выделенные серверы → раздел Сетевые диски и СХД → вкладка Сетевые диски → страница диска → блок Настройка iSCSI-соединения → поле Target name;
      • <iscsi_target_ip_address_1> — IP-адрес первого iSCSI-таргета. Можно посмотреть в панели управления: в верхнем меню нажмите Продукты → Выделенные серверы → раздел Сетевые диски и СХД → вкладка Сетевые диски → страница диска → блок Настройка iSCSI-соединения → поле IP-адрес iSCSI-таргета 2;
      • <iscsi_eth_name_1> — имя первого iSCSI-интерфейса, который вы создали на шаге 13;
      • <iscsi_target_ip_address_2> — IP-адрес второго iSCSI-таргета. Можно посмотреть в панели управления: в верхнем меню нажмите Продукты → Выделенные серверы → раздел Сетевые диски и СХД → вкладка Сетевые диски → страница диска → блок Настройка iSCSI-соединения → поле IP-адрес iSCSI-таргета 2;
      • <iscsi_eth_name_2> — имя второго iSCSI-интерфейса, который вы создали на шаге 13.

    18. Проверьте, что iSCSI-сессия для каждого iSCSI-таргета запустилась:

      iscsiadm -m session

      В ответе появятся две активные iSCSI-сессии. Например:

      tcp: [1] 10.100.1.2:3260,1 iqn.2003-01.com.redhat.iscsi-gw:workshop-target (non-flash)
      tcp: [3] 10.100.1.6:3260,2 iqn.2003-01.com.redhat.iscsi-gw:workshop-target (non-flash)

      Здесь [1] и [3] — номера iSCSI-сессий.

    19. Включите автоматическое подключение дисков при перезагрузке сервера, для этого установите параметр node.startup в режим automatic:

      iscsiadm --mode node -T <iqn> -p <iscsi_target_ip_address_1> --op update -n node.startup -v automatic
      iscsiadm --mode node -T <iqn> -p <iscsi_target_ip_address_2> --op update -n node.startup -v automatic
      systemctl enable iscsid.service
      systemctl restart iscsid.service

      Укажите:

      • <iqn> — IQN первого и второго iSCSI-таргета. Можно посмотреть в панели управления: в верхнем меню нажмите Продукты → Выделенные серверы → раздел Сетевые диски и СХД → вкладка Сетевые диски → страница диска → блок Настройка iSCSI-соединения → поле Target name;
      • <iscsi_target_ip_address_1> — IP-адрес первого iSCSI-таргета. Можно посмотреть в панели управления: в верхнем меню нажмите Продукты → Выделенные серверы → раздел Сетевые диски и СХД → вкладка Сетевые диски → страница диска → блок Настройка iSCSI-соединения → поле IP-адрес iSCSI-таргета 1;
      • <iscsi_target_ip_address_2> — IP-адрес второго iSCSI-таргета. Можно посмотреть в панели управления: в верхнем меню нажмите Продукты → Выделенные серверы → раздел Сетевые диски и СХД → вкладка Сетевые диски → страница диска → блок Настройка iSCSI-соединения → поле IP-адрес iSCSI-таргета 1.

    20. Опционально: перезагрузите сервер.

4. Настроить MPIO⁠

MultiPath-IO (MPIO) — многопутевой ввод-вывод для повышения отказоустойчивости передачи данных на сетевой диск.

В ОС Ubuntu MPIO настроен по умолчанию, проверьте настройки.

  1. Откройте конфигурационный файл утилиты Device Mapper Multipath текстовым редактором vi:

    vi /etc/multipath.conf

  2. Убедитесь, что файл /etc/multipath.conf содержит только следующие строки:

    defaults {
        user_friendly_names yes
    }

  3. Убедитесь, что в файле bindings есть информация о WWID блочного устройства:

    cat /etc/multipath/bindings

    В ответе отобразится информация о WWID блочного устройства. Например:

    # Format:
    # alias wwid
    #
    mpatha 3600140530fab7e779fa41038a0a08f8e

  4. Убедитесь, что в файле wwids есть информация о WWID блочного устройства:

    cat /etc/multipath/wwids

    В ответе отобразится информация о WWID блочного устройства. Например:

    # Valid WWIDs:
    /3600140530fab7e779fa41038a0a08f8e/

  5. Проверьте подключение сетевого диска и убедитесь, что для параметра policy указано значение service-time 0:

    multipath -ll

    В ответе отобразится информация об устройствах, путях и текущей политике. Например:

    mpatha (3600140530fab7e779fa41038a0a08f8e) dm-0 LIO-ORG,TCMU device
    size=20G features='0' hwhandler='1 alua' wp=rw
    |-+- policy='service-time 0' prio=10 status=active
    | `- 8:0:0:0 sdc 8:32 active ready running
    `-+- policy='service-time 0' prio=10 status=enabled
    `- 9:0:0:0 sdd 8:48 active ready running

5. Опционально: подключить сетевой диск к еще одному серверу⁠

  1. Соедините сетевой диск с сервером в панели управления.
  2. Подключите сетевой диск к серверу в ОС сервера.
  3. Настройте MPIO.

6. Подготовить сетевой диск к работе⁠

Сетевой диск, который вы подключили к серверу, можно отформатировать в нужную файловую систему:

  • кластерная файловая система (Cluster File System, CFS) — это файловая система, которая позволяет нескольким серверам (узлам) одновременно работать с одними и теми же данными на общем хранилище. Примеры кластерных файловых систем:

    • GFS2 (Global File System 2), подробнее в статье GFS2 Overview официальной документации Red Hat;
    • OCFS2 (Oracle Cluster File System 2), подробнее в официальной документации Oracle Linux.

  • Logical Volume Manager (LVM) — это программное обеспечение для виртуализации хранения данных, предназначенное для гибкого управления физическими устройствами хранения. Подробнее в инструкции Configuring and managing logical volumes официальной документации Red Hat;

  • стандартная файловая система, например ext4 или XFS. Обратите внимание, в режиме чтения-записи такая файловая система может использоваться только на одном сервере одновременно, чтобы избежать повреждения данных. Для совместного доступа нескольких серверов рекомендуется использовать кластерные файловые системы;

  • VMFS (VMware File System) — кластерная файловая система, используемая VMware ESXi для хранения файлов виртуальных машин. Она поддерживает совместный доступ к хранилищу несколькими хостами ESXi. VMFS автоматически управляет блокировками — предотвращает одновременное изменение файлов виртуальных машин, что обеспечивает целостность данных. Подробнее в инструкции VMware vSphere VMFS официальной документации VMware Storage.