Гипервизор на Linux KVM и libvirt c поддержкой LVM

гипервизор linux

В жизни системного администратора однажды настает момент, когда приходится с нуля разворачивать инфраструктуру предприятия либо переделывать уже имеющуюся, перешедшую по наследству. В этой статье я расскажу о том, как правильно развернуть гипервизор на основе Linux KVM и libvirt c поддержкой LVM (логических групп).

В этой статье мы коснемся всех тонкостей управления гипервизором, включая консольные и GUI-утилиты, расширение ресурсов и миграцию виртуальных машин на другой гипервизор.

Для начала разберемся с тем, что значит виртуализация.

Что такое виртуализация

Официальное определение звучит так: «Виртуализация — это предоставление набора вычислительных ресурсов или их логического объединения, абстрагированное от аппаратной реализации и обеспечивающее при этом логическую изоляцию друг от друга вычислительных процессов, выполняемых на одном физическом ресурсе». То есть, если выражаться человеческим языком, имея один мощный сервер, мы можем превратить его в несколько средних серверов, и каждый из них будет выполнять свою задачу, отведенную ему в инфраструктуре, не мешая при этом другим.

Системные администраторы, работающие вплотную с виртуализацией на предприятии, мастера и виртуозы своего дела, поделились на два лагеря. Одни — приверженцы высокотехнологичной, но безумно дорогой VMware для Windows. Другие — любители open source и бесплатных решений на основе Linux VM. Можно долго перечислять преимущества VMware, но здесь мы остановимся на виртуализации, основанной на Linux VM.

Технологии виртуализации и требования к железу

Сейчас есть две популярные технологии виртуализации: Intel VT и AMD-V. В Intel VT (от Intel Virtualization Technology) реализована виртуализация режима реальной адресации; соответствующая аппаратная виртуализация ввода-вывода называется VT-d. Часто эта технология обозначается аббревиатурой VMX (Virtual Machine eXtension). В AMD создали свои расширения виртуализации и первоначально называли их AMD Secure Virtual Machine (SVM). Когда технология добралась до рынка, она стала называться AMD Virtualization (сокращенно AMD-V).

Перед тем как вводить аппаратное обеспечение в эксплуатацию, убедись, что оборудование поддерживает одну из этих двух технологий (посмотреть можно в характеристиках на сайте производителя). Если поддержка виртуализации имеется, ее необходимо включить в BIOS перед развертыванием гипервизора.

Вот полезный список процессоров с поддержкой технологии виртуализации.

Среди других требований гипервизоров — поддержка аппаратного RAID (1, 5, 10), которая повышает отказоустойчивость гипервизора при выходе жестких дисков из строя. Если поддержки аппаратного RAID нет, то можно использовать программный на крайний случай. Но RAID — это мастхэв!

Решение, описанное в этой статье, несет на себе три виртуальные машины и успешно работает на минимальных требованиях: Core 2 Quad Q6600 / 8 Гбайт DDR2 PC6400 / 2 × 250 Гбайт HDD SATA (хардверный RAID 1).

Установка и настройка гипервизора

Я покажу, как настраивать гипервизор, на примере Debian Linux 9.6.0 — Х64-86. Ты можешь использовать любой дистрибутив Linux, который тебе по душе.

Когда ты определишься с выбором железа и его наконец-то привезут, придет время ставить гипервизор. При установке ОС все делаем, как обычно, за исключением разметки дисков. Неопытные администраторы часто выбирают опцию «Автоматически разбить все дисковое пространство без использования LVM». Тогда все данные будут записаны на один том, что нехорошо по нескольким причинам. Во-первых, если жесткий диск выйдет из строя, ты потеряешь все данные. Во-вторых, изменение файловой системы доставит массу хлопот.

В общем, чтобы избежать лишних телодвижений и потери времени, рекомендую использовать разметку диска с LVM.

Logical Volume Manager

Менеджер логических томов (LVM) — это подсистема, доступная в Linux и OS/2, построенная поверх Device Mapper. Ее задача — представление разных областей с одного жесткого диска или областей с нескольких жестких дисков в виде одного логического тома. LVM создает из физических томов (PV — Phisical Volumes) логическую группу томов (VG — Volumes Group). Она, в свою очередь, состоит из логических томов (LV — Logical Volume).

Сейчас во всех дистрибутивах Linux с ядром 2.6 и выше есть поддержка LVM2. Для использования LVM2 на ОС с ядром 2.4 надо устанавливать патч.

После того как система обнаружила жесткие накопители, запустится менеджер разбивки жестких дисков. Выбираем пункт Guided — use entire disk and set up LVM.

Guided — use entire disk and set up LVM
Guided — use entire disk and set up LVM

Теперь выбираем диск, на который будет установлена наша группа томов.

Выбор диска для LVM
Выбор диска для LVM

Система предложит варианты разметки носителя. Выбираем «Записать все файлы на один раздел» и идем дальше.

Записать все файлы на один раздел
Записать все файлы на один раздел

Система оповестит о том, что необходимо сохранить созданные изменения при разметке. Смело соглашаемся, выбрав Yes.

Запись сохраненных изменений при разметке
Запись сохраненных изменений при разметке

После сохранения изменений мы получим одну логическую группу и два тома в ней. Первый — это корневой раздел, а второй — это файл подкачки. Тут многие зададут вопрос: а почему не выбрать разметку вручную и не создать LVM самому?

Я отвечу просто: при создании логической группы VG загрузочный раздел boot не пишется в VG, а создается отдельным разделом с файловой системой ext2. Если этого не учесть, то загрузочный том окажется в логической группе. Это обречет тебя на мучения и страдания при восстановлении загрузочного тома. Именно поэтому загрузочный раздел отправляется на том без LVM.

Состояние дисков после разметки
Состояние дисков после разметки

Переходим к конфигурации логической группы для гипервизора. Выбираем пункт «Конфигурация менеджера логических томов».

Конфигурация менеджера логических томов
Конфигурация менеджера логических томов

Система оповестит о том, что все изменения будут записаны на диск. Соглашаемся.

Запись сохраненных изменений при разметке
Запись сохраненных изменений при разметке

Далее в менеджере логических томов удаляем сначала созданные логические тома vg-<hostname>_root и vg-<hostname>_swap. А потом и саму логическую группу vg-<hostname>.

Создадим новую группу — к примеру, назовем ее vg_sata.

Создание новой логической группы
Создание новой логической группы

В серверах используются носители SATA, SSD, SAS, SCSI, NVMe. Хорошим тоном при создании логической группы будет указывать не имя хоста, а тип носителей, которые используются в группе. Советую логическую группу назвать так: vg_sata, vg_ssd, vg_nvme и так далее. Это поможет понять, из каких носителей построена логическая группа.

Указание имени для новой логической группы
Указание имени для новой логической группы

Далее выберем место на физическом томе, где будет размещена новая логическая группа. В данном случае спутать физический том не получится: загрузочный раздел помечен файловой системой ext2.

Выбор физического тома для размещения логической группы
Выбор физического тома для размещения логической группы

Создаем наш первый логический том. Это будет том для корневого раздела операционной системы. Выбираем пункт «Создать логический том».

Создание логического тома
Создание логического тома

Выбираем группу для нового логического тома. У нас она всего одна.

Выбор логической группы для нового тома
Выбор логической группы для нового тома

Присваиваем имя логическому тому. Правильнее всего при назначении имени будет использовать префикс в виде названия логической группы — например, vg_sata_root, vg_ssd_root и так далее.

Задаем название нового тома
Задаем название нового тома

Указываем объем для нового логического тома. Советую выделить под корень 10 Гбайт, но можно и меньше, благо логический том всегда можно расширить.

Задаем название нового тома
Задаем название нового тома

По аналогии с примером выше создаем следующие логические тома:

  • vg_sata_home — 20 Гбайт под каталоги пользователей;
  • vg_sata_opt — 10 Гбайт для установки прикладного ПО;
  • vg_sata_var — 10 Гбайт для часто меняющихся данных, к примеру логов системы и других программ;
  • vg_sata_tmp — 5 Гбайт для временных данных, если объем временных данных велик, можно сделать и больше. В нашем примере этот раздел не создавался за ненадобностью;
  • vg_sata_swap — равен объему оперативной памяти. Это раздел для свопа, и создаем мы его для подстраховки — на случай, если закончится оперативная память на гипервизоре.

После создания всех томов завершаем работу менеджера.

Завершение работы менеджера логических томов
Завершение работы менеджера логических томов

Теперь имеем несколько томов для создания разделов операционной системы. Нетрудно догадаться, что для каждого раздела есть свой логический том.

Состояние логической группы после создания томов
Состояние логической группы после создания томов

Создаем одноименный раздел под каждый логический том.

Состояние логической группы после создания томов
Состояние логической группы после создания томов

Сохраняем и записываем проделанные изменения.

Состояние логической группы после создания томов
Состояние логической группы после создания томов

После сохранения изменений разметки диска начнут ставиться базовые компоненты системы, а затем будет предложено выбрать и установить дополнительные компоненты системы. Из всех компонентов нам понадобится ssh-server и стандартные системные утилиты.

Выбор дополнительных компонентов
Выбор дополнительных компонентов

После установки будет сформирован и записан на диск загрузчик GRUB. Устанавливаем его на тот физический диск, где сохранен загрузочный раздел, то есть /dev/sda.

Предложение записать загрузчик на диск
Предложение записать загрузчик на диск
Выбор диска для записи загрузчика
Выбор диска для записи загрузчика

Теперь ждем, пока закончится запись загрузчика на диск, и после оповещения перезагружаем гипервизор.

Запись загрузчика
Запись загрузчика
Сообщение об окончании установки системы
Сообщение об окончании установки системы

После перезагрузки системы заходим на гипервизор по SSH. Первым делом под рутом устанавливаем нужные для работы утилиты.

Настраиваем SSH по вкусу. Советую сразу сделать авторизацию по ключам. Перезапускаем и проверяем работоспособность службы.

Перед установкой софта для виртуализации необходимо проверить физические тома и состояние логический группы.

Устанавливаем компоненты виртуализации и утилиты для создания сетевого моста на интерфейсе гипервизора.

После установки настраиваем сетевой мост на гипервизоре. Комментируем настройки сетевого интерфейса и задаем новые:

Содержимое будет примерно таким:

Добавляем нашего пользователя, под которым будем работать с гипервизором, в группы libvirt и kvm (для RHEL группа называется qemu).

Теперь необходимо инициализировать нашу логическую группу для работы с гипервизором, запустить ее и добавить в автозагрузку при запуске системы.

Для нормальной работы группы LVM с QEMU-KVM требуется сначала активировать логическую группу через консоль virsh.

Теперь скачиваем дистрибутив для установки на гостевые системы и кладем его в нужную папку.

Чтобы подключаться к виртуальным машинам по VNC, отредактируем файл /etc/libvirt/libvirtd.conf:

Раскомментируем и изменим строчку listen_addr = "0.0.0.0". Сохраняем файл, перезагружаем гипервизор и проверяем, все ли службы запустились и работают.

Чтобы отличить разделы гостевых ОС от разделов гипервизора, рекомендую использовать такое обозначение логических томов: vg_sata_<guestos_hostname>_root. Например: vg_sata_test_root, vg_sata_test_tmp и так далее.

Создание виртуальной машины и управление ей

Создадим диски для новой виртуальной машины из консоли на гипервизоре:

Запускаем утилиту screen и в новом скрине создаем новую виртуальную машину следующей командой:

Подробную информацию по параметрам установки ВМ можно получить командой virt-install —help.

Отсоединяем на время скрин комбинацией Ctrl + A + D и подключаем созданные нами логические тома к машине нехитрой манипуляцией. Для каждого логического тома новой ВМ создаем такой файл XML.

vg_sata_test_home.xml

В теге source указываем местоположение логического тома на гипервизоре, в теге target — название диска (vdb, vdc и так далее). Повторяем для каждого логического тома, кроме root (он уже подключен как vda и активен). После того как все файлы будут созданы, подключим все тома к виртуальной машине:

Если все сделано правильно, на экране появится сообщение Device attached successfully.

Теперь можно подключаться к машине по VNC и устанавливать ОС, используя, например, krdc или любую другую утилиту. При подключении нужно указать сетевой адрес гипервизора и порт 5900. Проверить, какие порты открыты, можно вот так:

:0 соответствует порту 5900, а :1 — порту 5901.

При установке гостевой системы делаем ручную разметку диска с файловой системой ext4. Каждому разделу выделен свой диск vdX. Загрузчик прописываем в VDA.

В результате всех действий ты получишь рабочую виртуальную машину, которая будет иметь адрес в локальной сети.

Мануал по командам virsh

Для любителей GUI тоже есть приятная новость. Если ты предпочитаешь работать в «Иксах», то тебе пригодится утилита virt-manager. Ниже я опишу работу с ней в Debian 9 и KDE.

Устанавливаем пакет. После установки запускаем утилиту.

Подключаемся к гипервизору по IP, вводим логин и пароль пользователя, который добавлен в группу libvirt на гипервизоре. Связь установлена. Теперь приступаем к созданию и настройке виртуальной машины. После подключения гипервизора кликаем правой кнопкой и выбираем «Добавить новое». Появится окно менеджера создания виртуальных машин.

В окне выбираем «Установка с локального образа» и нажимаем «Далее».

Создание новой виртуальной машины
Создание новой виртуальной машины

Выбираем «Использовать ISO-образ» и находим его на гипервизоре. Нажимаем «Выбрать образ» и «Далее».

Выбор локального образа
Выбор локального образа

Выставляем параметры ЦП и памяти, жмем «Далее».

Параметры ЦП и памяти
Параметры ЦП и памяти

Указываем носитель для системы — логический том LVM. Выбираем уже имеющийся пул vg_sata и нажимаем значок «плюс» (добавить). Создаем новый корневой раздел vg_sata_<имя ВМ>_root и указываем объем носителя. Жмем «Финиш».

Указываем том LVM как носитель
Указываем том LVM как носитель

В последнем окне проверяем настройки сети: ВМ должна использовать сетевой мост. Ставим галку «Конфигурация машины до установки ОС». Жмем «Финиш».

Перепроверка настроек
Перепроверка настроек

В появившемся окне добавляем остальные созданные логические тома к ВМ через добавление новых девайсов.

Добавление логических томов к ВМ
Добавление логических томов к ВМ

После того как все тома будут подключены, нажимаем кнопку «Начать установку» и устанавливаем ОС на новую ВМ.

Расширение ресурсов гипервизора

Для расширения ресурсов на гипервизоре может понадобиться даунтайм. Поэтому машины с гипервизора нужно мигрировать на другой гипервизор. Это касается обновления и расширения ресурсов ЦП и памяти. Исключение — если сервер поддерживает технологию hot-plug, которая позволяет добавлять компоненты, не выключая сервер. С ней можно попробовать провести расширение без даунтайма.

В качестве примера рассмотрим расширение VG. Проверим нашу логическую группу томов.

linux kvm

Проверяем доступные диски.

linux kvm

Необходимо подготовить новый диск под использование LVM.

linux kvm

Создаем новый физический том.

linux kvm

Проверяем, что новый физический том создался.

linux kvm hypervisor

Расширяем группу с помощью нового физического тома.

linux kvm hypervisor

Проверяем, что группа расширена на 116 Гбайт.

linux kvm hypervisor

linux kvm hypervisor

 

linux kvm hypervisor

Проверяем, что свободного места стало больше.

hypervisor linux

Можно также при необходимости удалить физический том из логической группы.

hypervisor linux

hypervisor linux

Расширение ресурсов виртуальной машины

С виртуальными машинами все примерно так же, как с гипервизором. При расширении ресурсов CPU и RAM необходима перезагрузка ВМ (то есть даунтайм). А с дисками все намного проще: LVM позволяет расширить объем диска на лету, без перезагрузки ВМ.

Расширить ресурсы ВМ можно командой virsh edit <имя ВМ>. Перед изменением конфигурации делаем резервную копию ее конфигурационного файла.

Теперь можно производить расширение ресурсов.

Редактируем следующие параметры:

  • <memory unit=KiB>4194304 — общий (максимальный) объем памяти ВМ (в килобайтах);
  • <currentMemory unit=KiB>4194304 — объем используемой памяти ВМ (в килобайтах);
  • <vcpu placement=static>2 — количество ядер процессора.

После редактирования сохраняем файл конфигурации ВМ. И в самой ВМ завершаем работу:

После выключения ВМ на гипервизоре включаем ВМ с помощью такой команды:

Все, ресурсы ЦП и память расширены, можно проверять.

Расширяем диски

Расширение объемов дисков на ВМ достаточно простая операция. Надо просто соблюдать определенную последовательность действий.

Сначала на гипервизоре проверяем, какой раздел будем расширять.

hypervisor linux

Теперь расширяем том на нужное количество гигабайтов (это число строго ограничено объемом группы, но его тоже можно расширить).

hypervisor linux

Убеждаемся, что логический том расширен. Запоминаем значение LSize.

hypervisor linux

Увеличить размер блочного устройства можно из консоли virsh.

Смотрим список виртуальных машин.

kvm linux установка

Проверяем имеющиеся логические тома на виртуальной машине.

kvm linux установка

Расширяем выбранный том на нужный размер (вспоминаем значение LSize).

kvm linux настройка

Выходим из консоли:

Переходим к настройкам на гостевой ОС. Запрашиваем информацию о состоянии расширяемого раздела:

kvm linux настройка

Запускаем утилиту parted, вводим информацию о разделе и указываем, какой раздел и насколько увеличить.

linux kvm настройка

Чтобы расширить файловую систему на нужном разделе, пишем

linux kvm настройка

Проверяем состояние раздела, его объем должен стать больше.

linux kvm настройка

Миграция виртуальной машины на другой гипервизор

Жизнь часто готовит нам сюрпризы. Щедрое руководство может решить обновить парк серверов и списать старые. А иногда может, например, выйти из строя материнская плата на сервере времен крестовых походов.

В любом случае на помощь нам приходит миграция виртуальных машин с одного физического сервера на другой. Но тут встает один вопрос: мы же используем LVM и нам надо копировать блочные устройства. Как это правильно сделать?

Кто-то верно сказал, что любую задачу можно решить командой dd, надо только правильно подобрать параметры. А в совокупности с утилитой nc можно вообще победить вселенское зло. Это как раз и есть наш случай.

Если использовать rsync или scp для копирования по сети, то пока оно будет идти, ты успеешь выйти на пенсию. Утилита nc поможет сохранить наше драгоценное время.

Делаем резервную копию конфига нашей мигрирующей ВМ и выключаем ВМ.

Определим объем передаваемых данных. В нашем примере это 57 Гбайт. Не хило, правда?

Заодно убедись, что блочное устройство не занято другими процессами (ВМ должна быть потушена), об этом нам скажет флаг -wi-a-----. Если занято, то там будет -wi-ao----.

linux kvm настройка

Создаем на гипервизоре-получателе логические тома по аналогии с гипервизором-отправителем:

linux kvm настройка

Передаем файл конфигурации на другой гипервизор. Тут можно использовать и rsync.

linux kvm настройка

Теперь передаем блочные устройства между двумя гипервизорами. На получателе выполняем такую команду:

На источнике запускаем

Ждем, пока закончится передача данных и запись блочного устройства в системе. Повторяй операцию для всех логических томов мигрирующей ВМ.

После передачи необходимо инициализировать нашу виртуальную машину, запустить и добавить в автозагрузку.

На этом миграция виртуальной машины закончена!

Понравилась статья? Поделиться с друзьями:
Добавить комментарий