Состоялся (https://www.proxmox.com/en/news/press-releases/proxmox-ve-5-3) релиз Proxmox Virtual Environment 5.3 (http://www.proxmox.com), специализированного Linux-дистрибутива на базе Debian GNU/Linux, нацеленного на развертывание и обслуживание виртуальных серверов с использованием LXC и KVM, и способного выступить в роли замены таких продуктов, как VMware vSphere, Microsoft Hyper-V и Citrix XenServer. Размер установочного iso-образа (http://download.proxmox.com/iso/) 641 Мб.Proxmox VE предоставляет средства для развёртывания полностью готовой системы виртуальных серверов промышленного уровня с управлением через web-интерфейс, рассчитанный на управление сотнями или даже тысячами виртуальных машин. Дистрибутив имеет встроенные инструменты для организации резервного копирования виртуальных окружений и доступную из коробки поддержку кластеризации, включая возможность миграции виртуальных окружений с одного узла на другой без остановки работы. Среди особенностей web-интерфейса: поддержка безопасной VNC-консоли; управление доступом ко всем доступным объектам (VM, хранилище, узлы и т.п.) на основе ролей; поддержка различных механизмов аутентификации (MS ADS, LDAP, Linux PAM, Proxmox VE authentication).
В новом выпуске (http://pve.proxmox.com/wiki/Roadmap#Proxmox_VE_5.3):
- Пакетная база обновлена до Debian 9.6, задействовано ядро Linux 4.15.18. Обновлены версии QEMU 2.12.1, LXC 3.0.2, ZFS 0.7.12 и Ceph 12.2.8;
- В GUI добавлен интерфейс для управления дисками, поддерживающий работу с разделами ZFS, LVM, LVMthin, xfs и ext4;
- В GUI добавлена поддержка создания узлов с Ceph Metadata Server (MDS);
- В состав включён плагин для управления хранилищами CephFS, поддерживающий сохранение в CephFS резервных копий (VZDump), шаблонов и ISO-образов;
- В инсталлятор добавлена возможность установки на раздел с ZFS;
- Обеспечена поддержка LIO (SCSI target) при использовании хранилищ на базе ZFS поверх iSCSI;
- В состав включён пакет ifupdown2, поддержка которого частично добавлена в GUI;
- В интерфейс для просмотра состояния хранилищ добавлена функция удаления неиспользуемых образов дисков;
- В noVNC добавлены опции для показа/скрытия локального курсора и автоматического изменения размера окна;
- В GUI добавлен редактор /etc/hosts;
- Добавлена возможность настройки размера видеопамяти для виртуальных машин;
- Пользователю предоставлена возможность установки устройства 'vmgenid' (VM Generation ID), генерирующего идентификатор виртуальной машины, который полезен для безопасного создания снапшотов, резервных копий и клонов для различных приложений внутри VM;- Добавлена экспериментальная поддержка эмуляции виртуальных машин на базе архитектуры ARM;
- Добавлена поддержка проброса в виртуальные машины vGPU/MDev и PCI. Проброс PCI-устройств в VM и активация vGPU могут быть настроены через GUI;- Реализована поддержка вложенного запуска контейнеров, позволяющая использовать lxc, lxd или docker внутри контейнеров. Также добавлена возможность применения правил AppArmor внутри контейнеров;
- Добавлена возможность монтирования разделов CIFS/NFS в привилегированных контейнерах.URL: https://www.proxmox.com/en/news/press-releases/proxmox-ve-5-3
Новость: https://www.opennet.ru/opennews/art.shtml?num=49717
>>В инсталлятор добавлена возможность установки на раздел с ZFS;Так было и раньше. Месяц назад ставил на зеркало из zfs из коробки/
Фриварная версия сама обновится или уже обновилась (она ж тестовая впереди бежит)?
В оригинале: "Installer with ZFS: no swap space is created by default, instead an optional limit of the used space in the advanced options can be defined, thus leaving unpartitioned space at the end for a swap partition."
изкоробочная 5.2 свопилась в zvol. Непонятно, что эта цитата означает и из какого контекста выдернута.
https://pve.proxmox.com/wiki/Roadmap#Proxmox_VE_5.3
> https://pve.proxmox.com/wiki/Roadmap#Proxmox_VE_5.3от того что ты привел английскую версию, откуда именно выдернута эта новость, и к чему она, яснее лично мне не стало. Повторяю: оно в zvol свопилось при дефолтной установке, еще две версии назад, прям как настоящая солярка, и, поскольку своп на vhost это в любом случае предаварийная ситуация, как бы плохо оно не работало, можно никаким отдельным свопом не запариваться, тем более еще и в раздел на общем с данными диске. Так что неясно, что означает сия фраза. Вероятнее всего это вырванная из контекста копипаста из тикета/рассылки/коммита/где они там ведут разработку, отвечающая на неизвестный нам вопрос-задание. (например - "сделать таки раздел под своп, как у всех")
ты вроде бы умный перец =)
там же написано - по дефолту своп не создается вообще, но есть возможность в инсталяторе откусить пустое место чтобы потом на нем сделать своп если надо
вот как-то так (я указал использовать 60 Г из 64, по дефолту он использует весь диск):root@pve:~# pveversion
pve-manager/5.3-5/97ae681d (running kernel: 4.15.18-9-pve)
---
Disk /dev/sda: 64 GiB, 68719476736 bytes, 134217728 sectorsDevice Start End Sectors Size Type
/dev/sda1 34 2047 2014 1007K BIOS boot
/dev/sda2 2048 1050623 1048576 512M EFI System
/dev/sda3 1050624 125829120 124778497 59.5G Solaris /usr & Apple ZFSUnpartitioned space /dev/sda: 4 GiB
---
root@pve:~# free -h
total used free shared buff/cache available
Mem: 1.9G 903M 963M 30M 102M 924M
Swap: 0B 0B 0B
ну то есть я правильно предположил, что новость заключается в том, что "а мы гланды научились вырезать - через задницу, автогеном!" - "своп в zvol нам показался немодно и немолодежно, никакого другого мы не научились потому что переписать скрипты установки ниасилили, но вы можете вручную уменьшить раздел zfs и потом вручную создать не-zfs после него, и вручную туда назначить своп - не забудьте вручную же поправить fstab" ?круто, че.
А при отвале диска с этим свопом, оно просто не загрузится, да?
> ну то есть я правильно предположил, что новость заключается в том, что
> "а мы гланды научились вырезать - через задницу, автогеном!" - "своп
> в zvol нам показался немодно и немолодежно, никакого другого мы не
> научились потому что переписать скрипты установки ниасилили, но вы можете вручную
> уменьшить раздел zfs и потом вручную создать не-zfs после него, и
> вручную туда назначить своп - не забудьте вручную же поправить fstab"
> ?хз, наверное решили что своп на гипервизоре не нужен
> круто, че.
> А при отвале диска с этим свопом, оно просто не загрузится, да?там же системДа, может она каким-то юнитом своп цепляет, а не из fstab
если так и система стоит на зеркале, то загрузится
> хз, наверное решили что своп на гипервизоре не нуженда,похоже, новость надо переписать вот так: а еще в этой версии мы разучились свопиться в zvol, а своп создавать - тоже не научились, но добавили ограничитель занимаемого дискового пространства вообще, поэтому, поковырявшись пол-часика, вы можете все себе сделать сами, правда, без интуитивно-приятного интерфейса, ради которого, собственно, pve ставили - своп ненужно!
> там же системДа, может она каким-то юнитом своп цепляет, а не из
> fstabон блобом цепляет, юнит там для красоты и чтоб было от чего depends рисовать, но информацию о том что цеплять - берет из fstab (кстати, подскажите Лене, что это немодно и немолодежно, binary device registry парсится на целых 10наносекунд быстрее)
> если так и система стоит на зеркале, то загрузится
система на zfs ставится на зеркало, угу, красивое "решение".
>> хз, наверное решили что своп на гипервизоре не нужен
> да,похоже, новость надо переписать вот так: а еще в этой версии мы
> разучились свопиться в zvol, а своп создавать - тоже не научились,а где кроме солярки своп в zvol нормально работает?
во фрю zfs сколько лет назад портировали, а до сих пор swap on zvol unrecommended> fstab (кстати, подскажите Лене, что это немодно и немолодежно, binary device
> registry парсится на целых 10наносекунд быстрее)подсказал -- Лена обиделась...
>> если так и система стоит на зеркале, то загрузится
> система на zfs ставится на зеркало, угу, красивое "решение".я имел ввиду не md/lvm mirror и не аппаратный raid1, а zfs mirror.
> а где кроме солярки своп в zvol нормально работает?ну у меня были наивные мысли, что раз в pve 51-2 он включался при установке без спросу, им уже можно пользоваться.
Но, видимо, таки нельзя ;-)> я имел ввиду не md/lvm mirror и не аппаратный raid1, а zfs mirror.
тогда возвращаемся к исходному вопросу - предположим, мы кое-как, вручную, порешали проблемы с миррором и с загрузкой после развала grub2, предположим у нас там zfs mirror который этот самый grub2 сумеет загрузить в половинном варианте (хорошо бы проверить), ок - система стартует, чудо-блоб системДы лезет в fstab, а там - там-тадам - /dev/sda3 /dev/sdb3 помечены как своп-разделы, при этом сегодня sdb у нас не случилось. Оно точно-точно хотя бы с ручными пинками после этого загрузится? ;-) Ну и восстанавливать тоже непросто, все вручную.
для freebsd задача имеет криво выглядящее, но абсолютно автоматическое решение за счет использования gmirror на первых гигабайтах диска вместо zfs - он отмиррорит и загрузчики, и своп, и даже разбивку диска. Остаток можно отдать zfs, пусть сама разбирается. А тут - только жить без свопа.
>[оверквотинг удален]
> там zfs mirror который этот самый grub2 сумеет загрузить в половинном
> варианте (хорошо бы проверить), ок - система стартует, чудо-блоб системДы лезет
> в fstab, а там - там-тадам - /dev/sda3 /dev/sdb3 помечены как
> своп-разделы, при этом сегодня sdb у нас не случилось. Оно точно-точно
> хотя бы с ручными пинками после этого загрузится? ;-) Ну и
> восстанавливать тоже непросто, все вручную.
> для freebsd задача имеет криво выглядящее, но абсолютно автоматическое решение за счет
> использования gmirror на первых гигабайтах диска вместо zfs - он отмиррорит
> и загрузчики, и своп, и даже разбивку диска. Остаток можно отдать
> zfs, пусть сама разбирается. А тут - только жить без свопа.ага, возвращаемся к вопросу -- а нафига своп на гипервизоре =)
XenServer 6.5:
[Dom-0]# free -m
total used free shared buffers cached
Mem: 596 583 12 0 67 88
-/+ buffers/cache: 427 168
Swap: 511 42 469думаю если его выключить он и не заметит
> ага, возвращаемся к вопросу -- а нафига своп на гипервизоре =)хз, да. Да и на хранилке без гипервизора тоже.
ну тут поминали про какие-то фейлы DO, с cephoм и без свопа - поскольку у меня такого не предвидится, я не стал выяснять, что у них там случилось.
мне было интересно не в плане гипервизора, а в плане образцово-показательного решения с zol - "раз уж pve в дефлотной конфигурации ипользует, значит и нам можно". Ну, видимо, оказывается что нам нельзя, не совсем еще полностью окончательно уже готово оно для деск...продакшна.
> тогда возвращаемся к исходному вопросу - предположим, мы кое-как, вручную, порешали проблемы
> с миррором и с загрузкой после развала grub2, предположим у нас
> там zfs mirror который этот самый grub2 сумеет загрузить в половинном
> варианте (хорошо бы проверить), ок - система стартует, чудо-блоб системДы лезет
> в fstab, а там - там-тадам - /dev/sda3 /dev/sdb3 помечены как
> своп-разделы, при этом сегодня sdb у нас не случилось. Оно точно-точно
> хотя бы с ручными пинками после этого загрузится? ;-) Ну и
> восстанавливать тоже непросто, все вручную.щас провел тест-кейс:
поставил его на zmirror, оставив кусок под своп
получилось 4 раздела(на обоих одинаково разбило): bios boot, efi, zfs, swap(добавлен ручками)
забил в fstab sda4, sdb4 как swap
hot-remove sda не убрал из swapspace sda4 -- прикольно однако, думаю если бы своп был заюзан был бы kernel-panic
после ребута получил 1.5 минуты ожидания "а вдруг потерянная часть свопа вернется" =)
далее загрузка прошла в штатном режиме
усе гораздо интереснее =)
эта хрень в дефолтном сетапе (без свопа) на хосте с 4Г оперативы не могет стартануть 2 виртуалки с 1Г оперы каждая.
первую стартует, а на вторую у нее уже памяти нет.
мало того, оно загадило лог сообщениями о нехватке оперативы для запуска собственных внутренних джобов
> хз, наверное решили что своп на гипервизоре не нуженСлавный масштаб у тебя.
Ты хоть раз раз боевой проксмокс видел?
Утилизация свопа на 50% для него обычное дело.
>> хз, наверное решили что своп на гипервизоре не нужен
> Славный масштаб у тебя.а я тут при чем?
> Ты хоть раз раз боевой проксмокс видел?
(фаллометрия моде он)
а ты боевой OpenVMS, SmartOS, XenServer видел?
(фаллометрия моде офф)> Утилизация свопа на 50% для него обычное дело.
ога-ога. и как там с latency у виртуалок?
>> Утилизация свопа на 50% для него обычное дело.
> ога-ога. и как там с latency у виртуалок?да может и нормально, если это проактивный своп в обычном его линуксном понимании - вон лежала-лежала у меня таза банных на 6G в свопе - видимо, текло там что-то потихонечку, и ядро считало что это менее ценно чем даже buffer cache (памяти в системе четыре раз по таких шесть, и вполне бы и так все поместилось - но зачем). Потом все равно умерла. А не было бы свопа в системе - latency была бы выше, а не ниже - за счет меньшего кэша реально частоиспользуемого.
хотя все равно - большой своп на хосте это стремно, непонятно, и требует детального исследования не чудак ли предыдущий админ и чем таким этот самый своп занят.
>>> Утилизация свопа на 50% для него обычное дело.
>> ога-ога. и как там с latency у виртуалок?
> да может и нормальнов проксе в своп уйдут спящие виртуалки
и когда они начнут просыпаться будет очень не веселая картина
а если учесть что в самой виртуалке тоже есть своп.. ну ты понял ;)> вон лежала-лежала у меня таза банных на 6G в
> свопе - видимо, текло там что-то потихонечку,не хилый у тебя memory leak приключился :))
> Так было и раньше. Месяц назад ставил на зеркало из zfs из коробки/оно уже год ставится на зеркало zfs из коробки.
эээ... поправка: оно уже год _загружается_ с зеркала zfs из коробки. А то ставиться-то оно бодро рвалось и раньше, только вот потом не работало. ;-)
> эээ... поправка: оно уже год _загружается_ с зеркала zfs из коробки. А
> то ставиться-то оно бодро рвалось и раньше, только вот потом не
> работало. ;-)5.2 точно ставилось (и работало) на зеркало (и создавало его), 5.1 не помню
> 5.2 точно ставилось (и работало) на зеркало (и создавало его), 5.1 не
> помнюда, в 5.2 починили. 5.1 именно "ставилась", я по этому поводу зарубил pve в одном мелком проекте, решив что оно не совсем еще окончательно уже готово для деск...простите, использования там где это может стоить денег. Наверное, в общем-то, и зря, но уж больно осадочек остался неприятный.
Адская машина, настройки сделанные при установке прибиваются гвоздями навсегда
Гвоздодёром не умеешь пользоваться?
Умею, но она при этом разваливается на г-но и ветки
Это какие, например?
Когда mdadm из коробки в установщике будет?
Никогда, ибо авторы упopoты.
Это вопрошающие об этом в каждой новости про сабж не совсем адекватны.
А у авторов есть несколько альтернативных решений на любой вкус.
Решение это zfs тормознутый с кучей мозгов и аппаратный. Усе
Дорогой школьник, открой для себя уже гугль.
Есть такая поисковая система по адресу https://google.com.
Набери там: как поставить proxmox на madm
Для тебя это будет удивительно, но текст можно вводить не только на опеннете.
Дорогой школьник, сидел бы ты за своим wot
Основа хорошей работы proxmox одинаковые пакеты. Чтобы развернуть 5 хостов с 1из них на mdadm мне придется делать зеркало репы, потому что а вдруг 6-8я на mdadm будет+ еще 10к хреновых действий от и до. Нет это все можно, но день уйдет на лишние телодвижения. А должно быть с учетом требования одинаковых пакетов- 1диск и 10 минут на установку. Ну так для понимания вам
mdadm официально не поддерживается. Для создания зеркал предлагают использовать zfs или lvm
Причём для системы требуют аппаратный raid, а для дисков под Ceph простой host bus adapter. В каких серверах такое бывает одновременно?
Поставить дебиан как Вам надо, а потом накатить проксмокс?
Во-во. И чо взвыли - непонятно.
Ага, я вот тоже только один раз поставил из их образа. С тех пор, ставлю сначала debian, делаю, чего мне надо и только потом ставлю proxmox из репы.
> Причём для системы требуют аппаратный raid,рекомендуют. C 5.2 прекрасно обходятся raidz (раньше был баг, ломавший такую установку)
> а для дисков под Ceph простой host bus adapter. В каких серверах такое бывает одновременно?
в предназначенных для строительства хранилищ - ну, правда "простой" придется сделать из непростого, поменяв прошивку в lsi на 'IT'. Обычно такие ящики именно так и сконфигурены - отдельно диски под систему, на недорейде, отдельно под хранилку, на отдельном контроллере. Если повезло - он будет не adaptec и не этот... sc2ct или как там его.
Ну или обойтись jbod - ceph'у на самом деле все равно, ему просто не нужны дополнительные накладные расходы от рейда, и дополнительная изоляция.но вообще-то - безумству храбрых - венки со скидкой. Это я про использование ceph в его причудливой проксиной конфигурации для хранения образов vm предназначенных для какой ни есть работы, а не экспериментов.
а что, на отдельную san с отдельной хранилкой (пусть из дерьма и палок даже) - не хватило денег?
Вангую, что и сейчас есть баг.
Поэтому, чем проще - тем лучше.
> Вангую, что и сейчас есть баг.мои тесты с таким сетапом прошли успешно. Ровно через неделю после фейла с 5.1
> Поэтому, чем проще - тем лучше.левый raid1 вместо штатных средств zfs - ни разу не проще и не лучше.
Наверно предполагают, что имеется отдельно сервер и отдельно хранилище, не?
> Наверно предполагают, что имеется отдельно сервер и отдельно хранилище, не?не, они по задумке - сами себе хранилище.
Для которого нужно откуда-то, отдельно от хранимого, загружать его собственную систему.разумеется, пользоваться необязательно, и как раз эту часть я бы пока трогать не рискнул.
Неделю назад ставил на один диск из трёх, потом всё смигрировал в RAID1 (bootloader) + RAID1 (UEFI) + RAID5 (LVM). Всё просто.
Хз кому такой Франкенштейн из дерьма и палок может понадобиться.
ну хз - вон вмварь обгадилась и суматошно запиливает у себя поддержку недоконтейнеров. Видимо, клиенты понаслушались про "low footprint" и прочие баззворды, и начали спрашивать.если что - франкенштейны из ентер-прайс класс решений в общем-то как-то тоже вызывают вопросы. Ну да, ты там не будешь крайним, если что, и может быть даже тебе в случае чего помогут (в случае проксмоксы я как-то не уверен, что их инженеры умеют больше чем пересобирать dpkg), но это ж бизнес, а не технология.
чем оно лучше XCP-NG?
Всем, с учетом того, что xen мертв уже более чем 5 лет
> xen мертв уже более чем 5 летОткуда дровишки? Поактивнее чем раньше пилится. А то, что массы школоты в другую сторону бросились - это ещё не показатель.
Школота подрастет. А для каких нужд пилится Xen?
С чего бы он мёртв-то?
Насчёт проброса не очень понял (башка гудит). Видяшку PCI-Ex уже можно через GUI прикручивать к виртуалке?
Млин, поддержку CTL таргета не внесли...
Btrfs поддерживается? о_О
Пока еще нет
"Пакетная база обновлена до Debian 9.6" - ребята из proxmox не держат своей репы дебиана и ничего не обновляли (ну, за исключением некоторых отдельных пакетов). В оригинале "Based on Debian 9.6", что означает несколько иное, чем "пакетная база обновлена".
Во блин, вчера обновилось, а я даже не заметил )))root@pve5-9:~# pveversion -v
proxmox-ve: 5.3-1 (running kernel: 4.15.18-9-pve)
Надо остальные ноды обновить )
Нода тестовая. Но состоит в кластере. Я ещё удивился на восми нодах обновления есть. А на девятой пусто. Причем все ноды состоят в группе HA и все виртуалки исправно мигрируют. До этого ноды никогда версиями не различались.Но нода тестовая, обкатаем и методом последовательной миграции обновим остальные.
У тебя автообновление настроено? Надеюсь это тестовый стенд...
> У тебя автообновление настроено?а куда ты денешься-то? Без апдейтов безопасности жить собрался?
Ну а как в дебианоподобных устроены апдейты - мы все понимаем.
Дык вопрос то не в том, чтобы жить без апдейтов, а в том, чтобы делать это убедившись в наличии рабочей резервной копии, в заранее выбранное время и контролируя ситуацию.
слушай, ну что ты тут можешь проконтролировать, если это дебиан? Который в борьбе за экономию места на зеркалах (чтобы было куда сложить ненужные кучи мусора "мы первые в мире по числу ненужнопакетов") не хранит никаких версий пакетов, кроме распоследней?И даже команды "обновить отдельный пакет" в нем не предусмотрено by design.
Либо принимать как данность, либо жить без обновлений/с эпизодическими обновлениями, надеясь на защиту периметра (молясь чтобы это не был еще один дебиан с лейбаком кого-нибудь модного).
В конце-концов, у вмвари то же самое. То есть вот за все эти великие тыщи зеленых бумажек ты не можешь даже отдельно отказаться от улучшизма с kpti/прочего бреда, жрущего ресурсы как свинья, тебе даже не удастся точно угадать, с какого именно апдейта конца 17го года тебе его принудительно впендюрили.
Тут хоть на zfs'ный снапшот можно попробовать откатиться (в надежде, что апдейт не поменял ничего в zfs или ceph, если ты ее используешь, такого, что откат уже и невозможен вообще). А проще плюнуть и расслабиться - в конце-концов, если возникнет массовая проблема, они ее исправят довольно быстро.
А учитывая общую сырость всей системы - возможно, автоматические апдейты позволят тебе НЕ налететь на грабли, вовремя заменив дефективное ядро или дефективный синкер, до того как оно у тебя проявится.
> слушай, ну что ты тут можешь проконтролировать, если это дебиан? Который в
> борьбе за экономию места на зеркалах (чтобы было куда сложить ненужные
> кучи мусора "мы первые в мире по числу ненужнопакетов") не
> хранит никаких версий пакетов, кроме распоследней?"" Пал Андреич, Вы д***л ?! ""
ну а пользоваться-то ты этим когда-нибудь пробовал?
Особенно в сочетании с проксмоксой, у которой никаких снапшотов нет вообще (ну ок, ладно, можно вручную, наверное - но это уже не совсем похоже на банальное "отключить апдейты и апдейтиться вручную по пятницам, с видимостью контроля")как это выглядело до эпохи сплошного rolling у здоровых людей: место на зеркалах - проблемы держателей зеркал, пакеты дистрибутива никогда не обновляются и не удаляются. Пакеты в апдейтах тоже никогда не удаляются - только добавляются новые версии. У высокоуровневых утилит менеджмента - ЕСТЬ команда "обновить" для отдельного пакета (и они способны в этом случае правильно решить ситуацию с зависимостями, а не "ой, все пропало, запусти apt --fix-broken, а если не поможет то прямо даже и не знаю")
P.S. ажно 60T ненужно. об...ся и не жить, экономы.
Если у тебя общая датасорка или сеф настроен. И в кластеие овер 4 ноды, считай бессмертный)))
> Если у тебя общая датасорка или сеф настроен. И в кластеие овер
> 4 ноды, считай бессмертный)))до первого split brain, ага (ну точнее до развала кластера, потому что split в этой конфигурации не должно быть, оно просто встанет колом пока не соберешь обратно).
но мы тут не про это, мы про контролируемые апдейты только необходимых пакетов болтали, и как их откатить если что-то пошло не так. Был у тебя кластер over4 ноды, а осталось уже ровно четыре, потому что пятая, после апгрейда, чтой-та кластера не видит, или он ее.
Или кластер видит, все ок, но нужная тебе vm на этой ноде не стартует. undo в apt ни разу не предусмотрен.
>но мы тут не про это, мы про контролируемые апдейты только необходимых пакетов болтали, и как их откатить если что-то пошло не так. Был у тебя кластер over4 ноды, а осталось уже ровно четыре, потому что пятая, после апгрейда, чтой-та кластера не видит, или он ее.Так-то оно так, но когда у тебя много узлов, нода становится расходным материалом и подлежит замене, не важно по какой причине утратила свою работоспособность, по железной или софтовой, на резервную.
>Или кластер видит, все ок, но нужная тебе vm на этой ноде не стартует. undo в apt ни разу не предусмотрен
А вот для этого и нужна миграция и ha, а иначе зачем кластер. А вообще ежедневные бекапы мастхев
> А вот для этого и нужна миграция и haи софт ее обеспечивающий - никогда-никогда не обновлять, ага ;-)
иначе придется сам кластер резервировать другим кластером. У тебя в результате неудачного обновления что сломается с наибольшей вероятностью-то? Вот и я думаю, что не /bin/bc нифига.
Ну или наплевать и забыть, оно ж автоматически обновляется и дальше работает...почти всегда и почти у всех, хехехех. А народ там чтой-та переживает.
>undo в apt ни разу не предусмотрен.рассуждение почти правильное, но даже если бы была возможность откатить пакеты на прежние версии у вас останется проблема с откатом базы данных, хоть это и sqlite но всё же и там что то может измениться так что предыдущие версии пакетов уже не будут работать с новой базой.
поэтому нужно использовать другие уровни в которых можно сделать snapshot.
zfs,lvm это даже проще чем откат пакетов.
> рассуждение почти правильное, но даже если бы была возможность откатить пакеты на прежние
> версиину вот у всех остальных она есть, в рамках хотя бы одной и той же ветки дистрибутива (понятно что после апгрейда через версию она в любом случае становится призрачной)
а у дебианов почему-то не предусмотрено (ну ок, вон, оказывается, какие-то хостеры, не имевшие ни малейшего отношения к самому дебиану, сделали хотя бы просто шестичасовые срезы, спасибо и на этом). И вперед-то - только через бестолковый install, который меняет тип установки и вообще не особо предназначен для апгрейдов.
> поэтому нужно использовать другие уровни в которых можно сделать snapshot.
snapshot без поддержки bootenv почти бесполезен. а она у нас из коробки есть где? Правильно, в freebsd'е, да и там кривая.
P.S. sqlite никогда не рушит совместимость данных - за исключением единичного апгрейда 2->3.
Они и про совместимость api-то каждый раз трубят во все трубы, чтоб никого не зацепило ненароком. Это вам не postgres, pg_dumpall каждый раз при малейшем чихе (и вообще на всякий случай ;-) причем перескочить через версию даже не думай.
> snapshot без поддержки bootenv почти бесполезен. а она у нас из коробки
> есть где?В солярке и её "illumos клонах"
>Правильно, в freebsd'е, да и там кривая.
Как ?! Там ещё и bootenv кривой?
Чорт… как жыть то… :)
> Как ?! Там ещё и bootenv кривой?ну вон freenas отрапортовал что в его восприятии 11.чегонитамсодрали починили, и они даже выпилили обратно grub вместо штатного загрузчика, при помощи которого как-то обходили проблему.
Мало смонтировать /хрень/брень/ROOT в корень, нужны еще скрипты, умеющие его переключать- а с этим что-то не получилось. В 11 я не пробовал, правда - не осталось невиртуальных.
>а у дебианов почему-то не предусмотреноя для себя лично разделяю описанную вами проблему на две части
1) в максимуме недостаток такой есть (в индексах перечислены только самые последние версии пакетов)
2) в реальной жизни мне ни разу не потребовалось в минорных обновлениях откатываться назад, конечно если не использовать unstable репозитарий.кроме того,
-сами файлы никуда не деваются, их по прежнему можно скачать с того же места где они были
-а ещё есть https://snapshot.debian.org/
-а ещё в репозитарии proxmox все версии пакетов доступны в индексе сразу, можно откатиться ручками через apt install <пакет>=версия, другой вопрос что в случае проксмоса это не так тривиально, нужно разом откатывать все пакеты а не один за одним
>snapshot без поддержки bootenv почти бесполезенну вас послушать так, раз нет bootenv то и zfs юзать нет смысла
я говорю о подходе для тех кому нужно ехать а не размышлять о теории идеальной ОС.
снепшот сделали, накатили обновления пакетов, не понравилось, подредактировали grub.cfg перегрузились в снепшот
> сами файлы никуда не деваютсякак это не деваются? Они именно что деваются, после удаления из индекса - хотя бы потому, что их автомиррорилка именно в индексы и смотрит (я ее как раз имел сомнительное счастье недавно поднимать у себя).
> а ещё есть https://snapshot.debian.org/
это уже упоминали. Это чья-то отдельная попытка скомпенсировать фатальный недостаток самого проекта - на отдельном энтузиазме и отдельных ресурсах, которые сегодня есть, а завтра не будет. А зачем они так делают - загадка, потому что по их же заявлению там ажно целых 60T за все время жизни проекта.
проксы тоже позаботились о своих пользователях? Значит, молодцы, тоже понимают, что это именно проблема. В отличие от разработчиков мейнстрима.
> другой вопрос что в случае проксмоса это не так тривиально, нужно разом откатывать все
> пакеты а не один за однимо том и речь (как минимум не все, но пачку связанных - ладно б один вручную пооверрайдить ;-)
> ну вас послушать так, раз нет bootenv то и zfs юзать нет смысла
для отката операционной системы на прошлое состояние - ну, в общем, нет. Проще и быстрее чинить текущее.
его когда-нибудь кто-нибудь безусловно починит.
> я говорю о подходе для тех кому нужно ехать
ну я и говорю- что бы там ни поломалось, его либо починит апстрим, либо починишь ты сам, рано или поздно. Вероятнее - быстрее чем вручную загружаться со снапшота и потом героически переоткатывать систему (с последующим обязательным апгрейдом все равно в ближайшем будущем, ибо не сидеть же с дырами) без рабочих bootenv'ов (которые, заметим, не снапшот, а независимая точка монтирования)
по части репозитария вы абсолютно правы, косяк есть. (в репозатарии последняя и максимум предпоследняя версия пакетов, если они под разными ветками числятся security/stable например)но так же верно и то что откат пакетов это не 100% гарантия что всё будет как было раньше.
пакеты откатывают состояние исполняемых файлов, а пользовательские данные в /var/lib уже могут быть не айс после отката пакетов
>P.S. sqlite никогда не рушит совместимость данных - за исключением единичного апгрейда 2->3.я о том что разработчикам может что то в голову ударить,например баг какой нибудь устраняя, и они формат таблиц поменяют, но предыдущие версии ПО начнут из за этого глючить, если им подсунуть.
что нибудь типа
<buzz> text not NULL DEFAULT ""
на
<buzz> text not NULLобратную совместимость мало кто может гарантировать особенно в бесплатном ПО, тем более что это внутренняя кухня а не интерфейс взаимодействия с внешними приложениями.
поэтому простой откат пакетов не панацея, обратно как было он не сделает.
От тебя, пох, странно слышать.
Ни в одной большой системе не предусмотрено "by design", что не является необходимым.apt-get --only-upgrade install имя
в сравнении с убунтовским qemu - SPICE поддуривает (отрисовка) на виндяцких гостях
причем дуркует сочетание virt-viewer(6.0-2) с линуха с гостем в проксмоксе
если виндяцкий 7.0 (ниже не сморел) - норм-для OVS нет графических пришлепок, хотя обычно достаточно установить OVS и перепривязать дефолтный бридж к OVS bridge
-дифференциальные бэкапы - только установить https://ayufan.eu/projects/proxmox-ve-differential-backups/ искаропки нету
-непривелигированные контейнеры - бэкап будет (штатный) с ошибкой по доступу (если не поставить права "для всех") ибо рут контейнер имеет не 0 ид (что нормально) и прав на запись через vzdump не получит
>- Добавлена возможность монтирования разделов CIFS/NFS в привилегированных контейнерах.не понятно - о чем, в стораджах есть оба или речь о графическом причемосе для контейнера?
>[оверквотинг удален]
> -для OVS нет графических пришлепок, хотя обычно достаточно установить OVS и перепривязать
> дефолтный бридж к OVS bridge
> -дифференциальные бэкапы - только установить https://ayufan.eu/projects/proxmox-ve-differential-backups/
> искаропки нету
> -непривелигированные контейнеры - бэкап будет (штатный) с ошибкой по доступу (если не
> поставить права "для всех") ибо рут контейнер имеет не 0 ид
> (что нормально) и прав на запись через vzdump не получит
>>- Добавлена возможность монтирования разделов CIFS/NFS в привилегированных контейнерах.
> не понятно - о чем, в стораджах есть оба или речь о
> графическом причемосе для контейнера?нашел детали в видео https://www.proxmox.com/en/training/video-tutorials/item/wha... - это фичи контейнер сделали
А что там с пробросом GPU?
Винда 10 или 7 нормально видит и использует проброшенную в виртуалку видяху?
> А что там с пробросом GPU?
> Винда 10 или 7 нормально видит и использует проброшенную в виртуалку видяху?проброс работал и раньше https://habr.com/post/183468/ (этож "обычный" kvm), только надо было править конфиги...
лично я этой фичей не пользовался ни в прокмоксе ни через virt-manager (для моих задач не нужно)
Проброс работал только для очень маленького списка видеокарт и очень сильно зависил от фаз луны.
Винда все равно отказывалась признавать видео-карту.
Тестили, знаем.
> Проброс работал только для очень маленького списка видеокарт и очень сильно зависил
> от фаз луны.
> Винда все равно отказывалась признавать видео-карту.
> Тестили, знаем.не тестил, валяется радеон HD (в компе интел + АМД РХ550), но ковырять рабочий комп влом, а основной для хостовой системы АМД (и подозреваю - установка 2-ой АМД может не взлететь), нет желания проверять
судя по хабру - там заводилось
> Винда все равно отказывалась признавать видео-карту.ну так это ж все проклятая винда виновата, разьве вы не знали?
(причем, если ее и линукс не признает, видеокарту то есть, все равно виновата будет проклятая винда)
>> Винда все равно отказывалась признавать видео-карту.
> ну так это ж все проклятая винда виновата, разьве вы не знали?
> (причем, если ее и линукс не признает, видеокарту то есть, все равно
> виновата будет проклятая винда)для проброса железа уже штеуд должен отработать, "линукс" "просто передает" доступ к железу и признавать (в данном варианте) не должен. Ядру можно дать указание (какие девайсы на шине типа pci-stub.ids=, по типу https://habr.com/post/211909/), если этого не сделать - возможны варианты ;)
Если весь девайс пробросить то проблем нет совсем
А vgpu только интеловое сделали. Ничего нового с qemu. вообще они нихера не сделали. В веб морде не работает пока не залезишь и большую часть в консоле не сделаешь. да и работает криво все. Ждем лет 5 до адекватного vgpu
> способного выступить в роли замены таких продуктов, как VMware vSphere, Microsoft Hyper-V и Citrix XenServerС каких пор эта php-шная+cgi-шная, во все поля железнодорожными костылями прибитая... в общем влом перечислять... поделка *в состоянии заменить* пускай даже хипер-В?
Простите, но это все равно как написать - *набор скриптов от Васяна на bash+php+perl в состоянии заменить*
>> способного выступить в роли замены таких продуктов, как VMware vSphere, Microsoft Hyper-V
>> и Citrix XenServer
> С каких пор эта php-шная+cgi-шная, во все поля железнодорожными костылями прибитая... в
> общем влом перечислять... поделка *в состоянии заменить* пускай даже хипер-В?ну да, где же божественному гиперв (у которого и такого удаленного управления нет, только интуитивно-понятный powershell или чудо-консоль, неработоспособная вне корпоративных сетей - да и та, обнаружив родные форточки, норовит переключиться в rdp-режим, поскольку родной ни разу не SPICE, а совершенно кривая и глючная поделка, не умеет даже разрешение экрана нормально поменять)
> Простите, но это все равно как написать - *набор скриптов от Васяна
> на bash+php+perl в состоянии заменить*...набор скриптов от Ляо Сунь Выня, правда, частично на божественной сишечке, поскольку bash тоже ниасилен, а на ash много не накодишь, частично на божественном adobe flash (ибо Ляо ниасилил php) который лежит в основе управлялок vmware, действительно, куда там нам...
Прекрасный квест "найди ту единственную-неповторимую комбинацию версий firefox и flash (особенно теперь, когда адоб запретил скачивать произвольные версии без nda и писем с поклоном султанам), с которыми хотя бы со второй попытки (первый таб виснет) открывается конкретная версия vcenter", опять же, становится недоступен нечестивцам, сэкономившим пятьдесят косарей. А, впрочем нет, не 50 - скорее 500, ибо хранилка к вмвари не прилагается, ее еще отдельно надо купить - а умеет ли pve отдать том через rdma - я что-то сомневаюсь.
> Прекрасный квест "найди ту единственную-неповторимую комбинацию версий firefox и flash
> (особенно теперь, когда адоб запретил скачивать произвольные версии без nda и
> писем с поклоном султанам), с которыми хотя бы со второй попытки
> (первый таб виснет) открывается конкретная версия vcenter", опять же, становится недоступен
> нечестивцам, сэкономившим пятьдесят косарей. А, впрочем нет, не 50 - скорее
> 500, ибо хранилка к вмвари не прилагается, ее еще отдельно надо
> купить - а умеет ли pve отдать том через rdma -
> я что-то сомневаюсь.таки есть же еще Nutanix
в платном виде может управлять всем зоопарком гипервизоров
и отдельной хранилки ей не надо
Со своей идеологией, что без поллитра никак
Вернули бы simfs Уже. Ploop'ами хранить данные - это изврат. Особенно когда надо квоту увеличить