Компания Amazon сообщила (https://aws.amazon.com/blogs/aws/now-available-compute-inten.../) о введении в строй нового поколения элементов инфраструктуры облачного сервиса Amazon Elastic Compute Cloud (Amazon EC2), которое
базируется (https://aws.amazon.com/ec2/faqs/#compute-optimized) на использовании гипервизора
KVM (http://www.linux-kvm.org/page/Main_Page) (Kernel-based Virtual Machine) вместо ранее применяемого Xen. Со временем новый гипервизор планируется задействовать и для других типов окружений Amazon EC2.
Внедрённое в Amazon решение на базе KVM примечательно работой без программного окружения хост-системы, что позволяет не тратить ресурсы на выполнение дополнительной операционной системы, координирующей работу гипервизора. В итоге удалось добиться увеличения вычислительных мощности и памяти, предоставляемых виртуальным окружениям, благодаря распределению между ними всех имеющихся ресурсов сервера.URL: https://www.theregister.co.uk/2017/11/07/aws_writes_new_kvm_.../
Новость: https://www.opennet.ru/opennews/art.shtml?num=47556
>Внедрённое в Amazon решение на базе KVM примечательно работой без программного окружения хост-системы, что позволяет не тратить ресурсы на выполнение дополнительной операционной системы, координирующей работу гипервизора.одобряю, сам так делаю
Тогда подробней расскажи что значит "без программного окружения хост-системы" - это KVM можно поставить вместо ОС или как это работает или в чем тогда выигрыш. До сих пор Xen всегда был более производительный.
ядро, qemu, openrc, busybox. Пруфы производительности хена в студию.
>Пруфы производительности хена в студию.KVM не поддерживает паравиртуализацию CPU, поэтому в некоторых конфигурациях Xen будет по определению быстрее.
это в какой школе такую ерунду говорят? процессор при виртуализации эмулируется аппаратно, внутри самого себя, с помощью исполнения в другом кольце (хоть где-то они пригодились), паравиртуализация, как правило, вещь софтовая и потому будет медленнее.
видать разные use-case-ы.
Виртуализировать весь сервак под один хост, да там PV не нужно.
Виртуализировать сервак под десяток "гостей" к примеру с одним хранилищем, уже выгодно PV?
Не все CPU средней давности могут в SLAT и/или IOMMU, далеко не все PCI девайсы могут в PCI passthrough. Есть куча ньюансов и возможных оптимизаций, которые решаются паравиртуализацией.
Кольца и прочие мелочи - только вершина айсберга.
> Не все CPU средней давности могут в SLAT и/или IOMMU, далеко нечестно говоря, эффективность этих чудо-технологий сильно преувеличена. Скорее они упрощают написание виртуальных драйверов, позволяя меньше наделать ошиб...извините, нанять более дешевых индусов.
> все PCI девайсы могут в PCI passthrough. Есть куча ньюансов и
да кто ж им дасть? Или ты по pci-дивайсу на виртуалку выделять собираешься?
это вообще фича нужная исключительно редко.
> это в какой школе такую ерунду говорят?в твоей, видимо. То у тебя треды бесплатны, то вот аппаратная виртуализация.
> процессор при виртуализации эмулируется аппаратно
и кто тебе сказал, что это - бесплатно?
паравиртуализация - как правило софтовая реализация нужной функции целиком - то есть вместо попытки выполнения недоступной в этом режиме команды, внезапно-переключения в контекст гипервизора, разгребания ситуации гипервизором и эмуляции ее выполнения (и так по каждой команде, при обращении к сложному устройству их тыщи) с имитацией физического устройства - знающий о том, что выполняется в виртуальной среде гость просто зовет интерфейс гипервизора - "изобрази мне тут запись сектора на диск, что-ли", например, а не заполняем энцать несуществующих регистров несуществующего контроллера (каждая операция - переключение в гипервизор) и дергаем несуществующий dma напоследок. С чего бы второму варианту быть быстрее? Это совсем банальный случай, его и bare-metal гипервизоры умеют, а у xen есть возможности подменять и достаточно крупные куски функционала ядра прямым обращением к хосту (это вот и про выделение памяти в том числе).
дальше, правда, начинается диавольщина в деталях, типа образцового неумения ораклов работать с количеством ядер больше одного в паравиртуализованной сетевухе. Но у xen таких детских болезней я особо и не назову.
> KVM не поддерживает паравиртуализацию CPU, поэтому в некоторых конфигурациях Xen будет
> по определению быстрее.Ты KVM только на скриншотах видел шоле? По скорости CPU и RAM - KVM почти как bare metal, плюс-минус 5%
busybox, qemu (без openstack или чего там сейчас модно?). Ты в своем уме? Что это за поделиe на уроках иформатики?)
openstack нужен только тем, кто продаёт PaaS, а несколько хостов для внутренних нужд на базе openstack - сильный оверкилл
Срочно телеграфируй Безосу, мы обязаны предупредить его об уроках информатики.
VPC networking and EBS storage resources are implemented by dedicated hardware components that are part of all current generation EC2 instance families. It is built on core Linux Kernel-based Virtual Machine (KVM) technology, but does not include general purpose operating system components.
> Тогда подробней расскажи что значит "без программного окружения хост-системы" - это KVM
> можно поставить вместо ОС или как это работает или в чем
> тогда выигрыш.Скорее как в ESXi и у анонима который "сам так делает", окружение просто кастрированное. Но для начальства и маркетинга оно концептуально отсутствует.
> До сих пор Xen всегда был более производительный.
это миф
не совсем миф, у XEN намного лучше организованна работа с памятью и если на тестах в вакууме или с минимальным количеством виртуалок KVM мог в теста быть немного производительней, но на большом количестве виртуалок он уже серьезно регрессировал. по крайней мере так было раньше и по крайней мере тот же амазон в свое время выбрал именно XEN именно поэтому. Но то что амазон перешел на KVM заставляет пересмотреть ситуацию и провести дополнительные тесты по этому поводу. С точки зрения администрирования конечно удобнее работать с ванильным ядром и без заморочек с разными блоками памяти.
> пересмотреть ситуацию и провести дополнительные тесты по этому поводу. С точки
> зрения администрирования конечно удобнее работать с ванильным ядром и без заморочек
> с разными блоками памяти.Пересмотр с тестами имени RH: https://bugs.centos.org/view.php?id=13763#c30014
"Я тут поставил RH-7.4 и у меня ВМ не поднимается", и пофиг что сломали не в xen.
"голое железо" - гугли.
Ну вас, извращенцев, нафиг. Потом в контекстой рекламе затыкают чем-нибудь голым и железным.
> Тогда подробней расскажи что значит "без программного окружения хост-системы" - это KVM
> можно поставить вместо ОС или как это работает или в чем тогда выигрыш.Выигрыш в том что как раз не надо ставить еще какое-то окружение, как в Xen. Xen все-равно без драйверов dom0 ни о чем.
> До сих пор Xen всегда был более производительный.
Когда-то был. А сейчас kvm используют всюду и допинали его толпой. А поскольку он еще и ставится парой команд и совершенно не интрузивный, в отличие от xen - с ним намного удобнее. Cказал apt-get install qemu-system-x86, или что там у кого - и понеслась. Даже ребута не надо. Xen так слабо.
> Выигрыш в том что как раз не надо ставить еще какое-то окружениеНадо.
Там Linux Kernel без сети и стораджа.
> Надо.Не надо. На хосте стоит обычная операционка, без извратов с гибридом бутлоадера и гипервизора и полунедооперационки к нему. Эта операционка и будет гипервизор для VM.
> Там Linux Kernel без сети и стораджа.
А тут может быть с сетью и сторажем и админится как нормальный инстанс операционки, а не какая-то неведома херь, где компоненты к другдругу плохо подогнаны, так что при обновлении что-нибудь норовит отвалиться.
Открываем оригинал
https://aws.amazon.com/blogs/aws/now-available-compute-inten.../Ctrl+F "KVM" Not found
> The instances do not require (or support) the Xen paravirtual networking or block device drivers, both of which have been removed in order to increase efficiency.
про KVM ни слова
фак почитай
https://aws.amazon.com/ec2/faqs/#compute-optimized
Они передумали и решили скрыть информацию о новом гипервизоре https://www.theregister.co.uk/2017/11/09/aws_deletes_new_hyp.../
В факе все есть.
> Они передумали и решили скрыть информацию о новом гипервизоре https://www.theregister.co.uk/2017/11/09/aws_deletes_new_hyp.../У майкрософта очень припекало, бизнес накрывался, так что доплатили за отсутствие пиара? :)
> примечательно работой без программного окружения хост-системыЭто как? Они превратили KVM в esxi?
нет, а зачем? минимальное окружение KVM (дрова, гипервизор, шелл, api для управления) весит раза в 2 меньше, чем esxi (в котором всё перечисленное тоже есть). превращение в esxi потребует какой-то ненужной хрени натолкать (что противоречит изначальному посылу)
> дрова, гипервизор, шелл, api для управленияesxi - ровно то же самое
А также еще python, SOAP
Зато основные утилиты например shell, ps, syslog сильно кастрированы
Иначе ентерпрайз не влезает
Будто нельзя на нормальном языке агента написать, а не тащить все поделия индусов кто на чем умеет программировать
в ESXi shell, ps, syslog это busybox, если что.и чем тебе питон не подходит?
Чтобы Васи из Урюпинска не спрашивали "Какого... у вас тут всё на эрланге, который я никогда даже не видел"
> Чтобы Васи из Урюпинска не спрашивали "Какого... у вас тут всё на
> эрланге, который я никогда даже не видел"Откуда у Васи из Урюпинска деньги на ESXi? Васек, ты спалился - жди гостей.
Действительно, откуда у него 0 рублей на ESXi ?
> Действительно, откуда у него 0 рублей на ESXi ?Действительно, откуда тебе знать что 0 рублей "бесплатный" гипервизор стоит ограниченное количество времени, а потом всё равно надо заплатить.
> Действительно, откуда тебе знать что 0 рублей "бесплатный" гипервизор стоит ограниченное
> количество временистесняюсь спросить - вы лицензию-то читать пробовали?
А, ну да, пробовали, но она ж, небось, без перевода, а языки отличные от командного и матерного так и ниасилены.
Ну хоть это-то вы можете, с гугльтранслейтом пополам?
vSphere Hypervisor is a free bare-metal hypervisor that virtualizes servers so you can consolidate your applications on less hardware.
Там есть в лицензии подводный камушек (такой, внушительный) для админов локалхостов не владеющих йезыками, но ни пол-словечка ни про какое "ограниченное время".больше чем на 100 physical hosts, правда, низзя, но хочу я на тебя посмотреть вручную (без vCenter) пытающегося поуправлять фермой на не то что 100, а хотя бы два десятка.
Не совсем. В ESXi ещё линуксулятор есть.
> Не совсем. В ESXi ещё линуксулятор есть.для дров, но дрова переписываются помаленьку, в 6.5 уже много native.
> Не совсем. В ESXi ещё линуксулятор есть.А еще там есть корпорация которая его делает, с довольно хорошими аппетитами. Теперь им придется здорово подвинуться.
barrel metal голое железо
> barrel metal голое железоНеправда, это железо для бочек. Проверьте у гугла.
https://www.opennet.ru/cgi-bin/openforum/vsluhboard.cgi?quot... barrel metal голое железо> Неправда, это железо для бочек. Проверьте у гугла.
Пользуюсь DDS чего и вам желаю
>> Неправда, это железо для бочек. Проверьте у гугла.
> Пользуюсь DDS чего и вам желаюДак, https://translate.duckduckgo.com не работает же?
https://en.wikipedia.org/wiki/Hypervisor
https://dic.academic.ru/dic.nsf/ruwiki/1350642
Переходят с RHEL5 на 6, наверное
Есть во всём этом один нюансик. (Любопытно, каким путём пошли спецы из Амазона?)
На обслуживание ввода-вывода и всяких внутренних нужд типа аллокации памяти и дёрти-маркеров при миграции тратится опять-таки память. В зависимости от профиля нагрузки, памяти этой может требоваться сотни метров на одну виртуалку (в очень отдельных случаях куда больше, но мы из рассматривать не будем).Внимание, вопрос. Работа большого числа ВМ в обычной (buddy-алгоритм) памяти ведёт к её адской фрагментации с перспективой на ООМ. Qemu давно может нарезать память из huge pagse'ов, но хочет брать из из статического пула. Который, в свою очередь, в Linux нужно нарезать статикой. Иначе не факт, что потом дадут.
…Да, что-то долгий заход получился. Короче, вопрос: как амазоновцы будут ресурсы экономить?
в амазоне нет миграции.
Если нет миграции, то как они тогда SLA c таким количеством девяток организуют?
https://aws.amazon.com/ec2/sla/AWS will use commercially reasonable efforts to make Amazon EC2 and Amazon EBS each available with a Monthly Uptime Percentage (defined below) of at least 99.95%
> …Да, что-то долгий заход получился. Короче, вопрос: как амазоновцы будут ресурсы
> экономить?KSM к примеру.
А в Xen как экономили?
> KSM к примеру.TMEM в xen. Но: без возможности отмигрировать в ситуации "память скоро кончится", любой оверкоммит ведёт к чьему-то концу. Или, что не лучше, жестокой просадке на баллоне.
> А в Xen как экономили?
А там памятью рулит гипервизор, который xen. И HP всем гостям нарезает он, по требованию. И за фрагментацию отвечает он же, как научили.
* Я ни разу не рекламирую xen как панацею, но за предсказуемым шедулером и минимальными накладками на *пара*виртуализацию — таки к нему. За это предоплата — PVOPS в ядре. Которые можно сломать, дабы зафорсить переход на свой продукт:
https://bugs.centos.org/view.php?id=13763#c30014 Вот так RH борется с конкурентами. (Ссылка на RH только по подписке, так что линк на centos.)…Полагаю, решение Amazon как-то с этим связано…
> * Я ни разу не рекламирую xen как панацею, но за предсказуемым
> шедулером и минимальными накладками на *пара*виртуализацию — таки к нему. За
> это предоплата — PVOPS в ядре. Которые можно сломать, дабы зафорсить
> переход на свой продукт:
> https://bugs.centos.org/view.php?id=13763#c30014 Вот так RH борется с конкурентами.
> (Ссылка на RH только по подписке, так что линк на centos.)
> …Полагаю, решение Amazon как-то с этим связано…kiselev </img>
Ты так говоришь, как будто это первая грабля с PV и с Xen вообще.
Да, можно предположить что коварный RH назло маме уши отморозил, а импульсивный Амазон сорвался и сменил гипервизор.
Оценивать вероятность такого сценария не буду, как и холиварить о производительности и узких местах Xen.
> Да, можно предположить что коварный RH назло маме уши отморозил, а импульсивный
> Амазон сорвался и сменил гипервизор.1. В код ядер релиза RH 7.4 под видом усиления безопасности внедрена бага образца 2014г. (исправлена примерно тогда же). PV больше не может быть загружен.
2. Фикс поставлен в план для RH 7.5.
3. PROFIT. За пол-года до следующего минора даже самые тупы^w энтерпрайзные пользователи должны соскочить с PV. А на HV|PVH xen'у не светит т.к. тот же qemu + ещё одна прослойка.
Называя вещи своими именами, Xen - разрабатывается где-то там, сам по себе, слабо синхронизируясь с Linux. И поэтому он обречен на то что все это будет не очень хорошо протестировано и периодически будет что-то отваливаться. А вот KVM - часть ядра, половина разработчиков линя ядра тестит и отлаживает на kvm-ных виртуалках. Сам понимаешь что это идет весьма на пользу качеству кода и взаимодействию компонентов.
> 3. PROFIT. За пол-года до следующего минора даже самые тупы^w энтерпрайзные пользователи
> должны соскочить с PV. А на HV|PVH xen'у не светит т.к.
> тот же qemu + ещё одна прослойка.а что, у 7.1 - 7.3 уже EOL?
Обещал не спорить, но любопытно стало, не смотря на то что не пользуюсь.
> а что, у 7.1 - 7.3 уже EOL?
> Обещал не спорить, но любопытно стало, не смотря на то что не
> пользуюсь.У RH-образных внутри миноров апгрейд "бесшовный". Так что, все RH-клиенты ломаются после штатного апгрейда. Дальше — либо старое (и набитое CVE) ядро, либо отказ от оф. поддержки (на самом деле, при случае поддержка всё равно потребует последнее ядро, так что 1х). Либо (чего и добиваются imho конкретно нагло) смена технологии виртуализации.
LTS — внутри "мажоров". Сейчас это 6.x и 7.x.
> У RH-образных внутри миноров апгрейд "бесшовный".это не означает что ты не можешь зафиксировать minor
ну да, придется аж вручную целый один файлик отредактировать.> штатного апгрейда. Дальше — либо старое (и набитое CVE) ядро, либо
ядра (и неядра) в случае critical и major угроз - обновляются. Иногда с задержкой в месяц, но пока EOL не настанет, обновляются.
И еще сколько-то времени в рамках EUS, но это уже, действительно, избранные версии и заподорого.Я заманался стирать пятнадцать одинаковых уведомлений об одних и тех же исправлениях в каждой .1 .2 .3 и так далее до 7.
> отказ от оф. поддержки (на самом деле, при случае поддержка всё
за extended надо платить. Раза так в три больше чем за обычную лицензию. То есть, копейки.
Но за поддержку на от...сь мне и копеек жалко.> равно потребует последнее ядро, так что 1х). Либо (чего и добиваются
> imho конкретно нагло) смена технологии виртуализации.да бред у вас параноидальный.
Причем тут RH? KSLR'щики бездумно скопипастили, не понимая, как оно работает, очередной кусок grsec. RH всосала в свое ядро, ибо инвесторы любят посекьюрнее. Как обычно, трехлетней тухлости, ибо за полетом мысли сотни мартышек успеть невозможно. Теперь опаньки, выясняется что усьо сломалось.
Техподдержка третьего уровня ведет заляпанным карри когтем по чеклисту - "у нас это в поставке? У нас это рекомендуется? У нас есть крупный корпоративный клиент с этим? Пошел на х..!" (на самом деле на этот квадратик ведут все стрелочки)
я пока новичек, может кто подскажет строку кофига для расшаривания общей папки в kvm , хост и гость на основе линкукса желательно без самбы. временно пока не разобрался пробросил флешку для обмена.
> я пока новичек, может кто подскажет строку кофига для расшаривания общей папки
> в kvm , хост и гость на основе линкукса желательно без
> самбы. временно пока не разобрался пробросил флешку для обмена.
> кто подскажет строку кофига для расшаривания общей папкиТы это... мамку уже расшарил, теперь за папку взялся?
А папка у него чех, судя по фамилии:
> новичекНо раз "пока", видать, серьёзно взялся.
Для виртуалок с bridged network в Kvm, что быстрее: open vswitch или простой мост средствами brctl?
если ты не понимаешь, для чего на самом деле нужен openvswitch - он тебе и не нужен.
Под бубунту надо компилить kernel драйвер amzn-drivers. Мде. Сомнительное "улучшение".