Автомасштабирование группы нод
Автомасштабирование недоступно для групп нод с GPU без драйверов.
В кластере Managed Kubernetes для автомасштабирования групп нод можно использовать Cluster Autoscaler. Он помогает оптимально использовать ресурсы кластера — в зависимости от нагрузки на кластер количество нод в группе будет автоматически уменьшаться или увеличиваться. Cluster Autoscaler устанавливается автоматически при создании кластера, для начала работы его достаточно в ключить.
При использовании Cluster Autoscaler учитывайте рекомендации.
Для автомасштабирования подов в Managed Kubernetes используется Metrics Server.
Рекомендации
Для оптимальной работы автомасштабирования мы рекомендуем:
- не использовать одновременно несколько инструментов автомасштабирования;
- убедиться, что в проекте есть квоты на vCPU, RAM, GPU и объем диска д ля создания максимального количества нод в группе;
- указать в манифестах для подов запросы на ресурсы. Подробнее в инструкции Resource Management for Pods and Containers документации Kubernetes;
- настроить для подов, для которых недопустимы остановки, PodDisruptionBudget. Это поможет избежать даунтайма при переносе между нодами;
- не изменять ресурсы ноды вручную через панель управления. Cluster Autoscaler не будет учитывать эти изменения;
- проверить, что ноды в группе имеют одинаковую конфигурацию и лейблы.
Автомасштабирование с помощью Cluster Autoscaler
Cluster Autoscaler не требуется устанавливать в кластере — он устанавливается автоматически при создании кластера. Чтобы использовать Cluster Autoscaler в кластере, включите автомасшабирование группы нод. После включения автомасштабирования используются настройки по умолчанию, но вы можете настроить Cluster Autoscaler для каждой группы нод.
Принцип работы
Cluster Autoscaler работает с существующими группами нод и заранее выбранными конфигурациями.
Если группа нод находится в статусе ACTIVE, Cluster Autoscaler каждые 10 секунд проверяет, есть ли поды в статусе PENDING, и анализирует нагрузку — запросы от подов на vCPU, RAM и GPU.
В зависимости от результатов проверки ноды добавляются или удаляются.
Группа нод в это время переходит в статус PENDING_SCALE_UP или PENDING_SCALE_DOWN.
Статус кластера во время автомасштабирования — ACTIVE.
Подробнее о статусах кластера в инструкции Посмотреть статус кластера.
Минимальное и максимальное количество нод в группе можно задать при включении автомасштабирования — Cluster Autoscaler будет менять количество нод только в этих пределах. Если в других группах нод кластера остается не менее двух рабочих нод, мож но настроить автомасштабирование до нуля нод.
Добавление ноды
Если есть поды в статусе PENDING и в кластере не хватает свободных ресурсов для их размещения, в кластер добавляется необходимое количество нод.
В кластере с версией Kubernetes 1.28 и выше Cluster Autoscaler будет работать сразу в нескольких группах и распределять ноды равномерно.
Например, у вас две группы нод с включенным автомасштабированием. Нагрузка на кластер увеличилась и требует добавления четырех нод. В каждой группе нод будет одновременно создано по две новые ноды.
В кластере с версией Kubernetes 1.27 и ниже ноды добавляются по одной за цикл проверки.
Удаление ноды
Если нет подов в статусе PENDING, Cluster Autoscaler проверяет количество ресурсов, которые запрашивают поды.
Если запрашиваемое количество ресурсов для подов на одной ноде меньше 50% от ее ресурсов, то Cluster Autoscaler помечает ноду как ненужную. Если на ноде через 10 минут не вырастет количество запросов на ресурсы, Cluster Autoscaler проверит, можно ли перенести поды на другие ноды.
Cluster Autoscaler не перенесет поды и, соответственно, не удалит ноду, если выполняется одно из условий:
- поды используют PodDisruptionBudget;
- в Kube-system подах нет PodDisrptionBudget;
- поды созданы без контроллера — например, Deployment, ReplicaSet, StatefulSet;
- поды используют local storage;
- на других нодах нет ресурсов под запросы пода;
- есть несоответствие nodeSelector, правил affinity и anti-affinity или других параметров.
Вы можете разрешить таким подам перенос — для этого добавьте аннотацию:
cluster-autoscaler.kubernetes.io/safe-to-evict: "true"
Если ограничений нет, поды будут перенесены, а малонагруженные ноды удалятся. Ноды удаляются по одной за цикл проверки.
Автомасштабирование до нуля нод
В группе нод можно настроить автомасштабирование до нуля нод — при низкой нагрузке удаляются все ноды группы. Карточка группы нод со всеми настройками не удаляется. Когда нагрузка повысится, в этой группе нод снова могут быть добавлены ноды.
Автомасштабирование до нуля нод работает, только если в других группах нод кластера остается не менее двух рабочих нод. В кластере должны оставаться рабочие ноды для размещения системных компонентов, которые нужны для функционирования кластера.
Например, автомасштабирование до нуля нод не сработает, если в кластере:
- две группы нод, в каждой из которых по одной рабочей ноде;
- одна группа нод с двумя рабочими нодами.
Когда в группе нет нод, вы не платите за неиспользуемые ресурсы.
Включить автомасштабирование с помощью Cluster Autoscaler
Если установить минимальное количество нод в группе больше, чем текущее количество, оно не увеличится до нижней границы сразу.
Группа нод будет масштабироваться только после появления подов в статусе PENDING.
Так же и с верхней границей нод в группе — если текущее количество нод больше верхней границы, удаление начнется только после проверки подов.
Включить автомасштабирование с помощью Cluster Autoscaler можно в панели управления, через API Managed Kubernetes или через Terraform.
- В панели управления в верхнем меню нажмите Продукты и выберите Managed Kubernetes.
- Откройте страницу кластера → вкладка Состав кластера.
- В менюгруппы нод выберите Изменить количество нод.
- В поле Количество нод откройте вкладку С автомасштабированием.
- Установите минимальное и максимальное количество нод в группе — значение нод будет меняться только в этом диапазоне. Для отказоустойчивой работы системных компонентов мы рекомендуем использовать не менее двух рабочих нод в кластере, ноды могут находиться в разных группах.
- Нажмите Сохранить.
Настроить Cluster Autoscaler
Вы можете настроить Cluster Autoscaler отдельно для каждой группы нод.
Параметры, их описание и значения по умолчанию можно посмотреть в таблице Параметры Cluster Autoscaler. Если вы не укажете параметр в манифесте, будет использовано значение по умолчанию.
Пример манифеста:
apiVersion: v1
kind: ConfigMap
metadata:
name: cluster-autoscaler-nodegroup-options
namespace: kube-system
data:
config.yaml: |
150da0a9-6ea6-4148-892b-965282e195b0:
scaleDownUtilizationThreshold: 0.55
scaleDownUnneededTime: 7m
zeroOrMaxNodeScaling: true
e3dc24ca-df9d-429c-bcd5-be85f8d28710:
scaleDownGpuUtilizationThreshold: 0.25
ignoreDaemonSetsUtilization: true
Здесь 150da0a9-6ea6-4148-892b-965282e195b0 и e3dc24ca-df9d-429c-bcd5-be85f8d28710 — уникальные идентификаторы (UUID) групп нод в кластере.
Можно посмотреть в панели управления: в верхнем меню нажмите Продукты ⟶ Managed Kubernetes ⟶ раздел Kubernetes ⟶ страница кластера ⟶ скопируйте UUID над карточкой группы нод, рядом с сегментом пула.