Использование дискового пространства в кластере Kafka

В облачных базах данных часть дискового пространства резервируется под служебные нужды:

• для файловой системы — примерно 4% объема диска;
• под операционную систему, компоненты сервиса и логи — примерно 8 ГБ.

Зарезервированная часть дискового пространства недоступна для размещения баз данных. Учитывайте это при выборе линейки конфигураций.

Вы можете отслеживать степень заполнения диска с помощью уведомлений о заполненности диска и метрик. Подробнее о метриках в инструкции Мониторинг кластера и нод Kafka.

При заполнении диска кластера на 95% и более кластер перейдет в статус DISK_FULL и будет работать только на чтение. Это необходимо, чтобы предотвратить полную блокировку или повреждение кластера из-за отсутствия свободного места. Чтобы кластер работал на чтение и запись, освободите место на диске или масштабируйте кластер и выберите конфигурацию с размером диска больше, чем в предыдущей конфигурации.

Уведомления о заполненности диска

Уведомления о заполненности диска направляются на электронную почту Владельца аккаунта и пользователей, которые подписаны на категорию уведомлений «Услуги и сервисы». Уведомления направляются при заполнении диска на 80% и 95%.

Освободить место на диске

Чтобы освободить место на диске, вы можете:

• удалить топик;
• настроить политику очистки данных.

Удалить топик

1. В панели управления в верхнем меню нажмите Продукты и выберите Облачные базы данных.
2. Откройте вкладку Активные.
3. Откройте страницу кластера → вкладка Топики.
4. В менютопика выберите Удалить.
5. Введите имя топика для подтверждения удаления.
6. Нажмите Удалить.

Настроить политику очистки данных

warning

После изменения параметров log.retention.minutes и log.retention.hours в настройках СУБД кластер будет перезагружен и станет недоступным на время перезагрузки.

Чтобы ускорить очистку диска, измените политику хранения данных в настройках кластера. Kafka автоматически будет удалять данные по новым правилам.

1. В панели управления в верхнем меню нажмите Продукты и выберите Облачные базы данных.
2. Откройте вкладку Активные.
3. Откройте страницу кластера → вкладка Настройки.
4. В блоке Настройки СУБД нажмите Изменить.
5. Укажите новые значения параметров для настройки политики очистки данных.
6. Нажмите Сохранить.

Параметры для настройки политики очистки данных

log.segment.bytes	Максимальный размер одного сегмента в разделе топика в байтах. Когда текущий сегмент будет заполнен, Kafka создаст новый сегмент. Значение по умолчанию — 1 073 741 824
log.retention.bytes	Максимальный размер раздела топика в байтах. Когда раздел будет заполнен, Kafka начнет удалять старые сегменты. Значение по умолчанию — -1 (максимальный размер не ограничен)
log.retention.ms	Время хранения сегмента в миллисекундах. Если не задано, используется параметр log.retention.minutes. Если указано -1, время хранения не ограничивается, даже если заданы параметры log.retention.minutes или log.retention.hours
log.retention.minutes	Время хранения сегмента в минутах. Если не задано, используется параметр log.retention.hours
log.retention.hours	Время хранения сегмента в часах. Используется, если не заданы параметры log.retention.ms и log.retention.minutes. Значение по умолчанию — 168