The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]

04.02.2019 21:22  Выпуск системы управления инфраструктурой виртуализации oVirt 4.3.0

После более года разработки представлен релиз платформы oVirt 4.3.0, в рамках которой развивается основанная на гипервизоре KVM и библиотеке libvirt система для развёртывания, сопровождения и мониторинга набора виртуальных машин и управления облачной инфраструктурой. Развиваемые в oVirt технологии управления виртуальными машинами применяются в продукте Red Hat Enterprise Virtualization и могут выступать в роли открытой альтернативы VMware vSphere. Кроме Red Hat в разработке также принимают участие компании Canonical, Cisco, IBM, Intel, NetApp и SUSE. Код проекта распространяется под лицензией GPLv2. Готовые пакеты доступны для Red Hat Enterprise Linux 7.6 и CentOS 7.6. Также доступны готовые для развёртывания iso-образы, основанные на CentOS 7.6 и Fedora 28.

oVirt представляет собой стек, охватывающий все уровни виртуализации - от гипервизора до API и GUI-интерфейса. Несмотря на то, что в качестве основного гипервизора в oVirt позиционируется KVM, интерфейс реализован как надстройка над библиотекой libvirt, которая абстрагирована от типа гипервизора и подходит для управления виртуальными машинами на базе различных систем виртуализации, включая Xen и VirtualBox. В составе oVirt развивается интерфейс для быстрого массового создания высокодоступных виртуальных машин с поддержкой средств Live-миграции окружений между серверами без остановки работы.

Платформой предоставляются средства для создания правил динамической балансировки и управления ресурсами кластера, механизмы управления энергопотреблением кластера, инструменты управления образами виртуальных машин, компоненты для конвертирования и импорта существующих виртуальных машин. Поддерживается единое виртуальное хранилище данных, доступное с любого узла. Интерфейс содержит развитую систему отчётов и средства администрирования, позволяющие управлять конфигурацией как на уровне инфраструктуры, так и на уровне отдельных виртуальных машин.

Наиболее заметные новшества:

  • Поддержка чипсета Q35 (ICH9) с возможностью использования UEFI и UEFI Secure Boot;
  • Поддержка серверных систем с процессорами на базе микроархитектуры Skylake и AMD EPYC;
  • В набор для гостевых систем на базе Windows добавлен новый драйвер smbus;
  • Расширены возможности утилиты virt-v2v, предназначенной для преобразования образов виртуальных машин для запуска под управлением KVM. В том числе налажена конвертация виртуальных машин VMware ESX VM со снапшотами;
  • Добавлена поддержка импорта и экспорта шаблонов в формате OVA;
  • Реализована полная поддержка live-миграции виртуальных машин на основе профиля "High Performance VM";
  • Поддержка отказоустойчивой кластеризации Microsoft (SCSI Persistent Reservation) для дисков в режиме Direct LUN;
  • В web-интерфейсе добавлена новая страница с детальной информацией о виртуальной машине;
  • Реализован пользовательский интерфейс для обновления кластера;
  • В OVN (Open Virtual Network) добавлена поддержка групп безопасности;
  • Реализована возможность использования статических адресов IPv6;
  • Добавлена возможность использования фреймворка Neutron из платформы OpenStack 13 в качестве внешнего провайдера для создания, конфигурирования и сопровождения сетей;
  • Добавлена поддержка сетевого анализатора Skydive из OpenStack 14;
  • Осуществлён переход на СУБД PostgreSQL 10 (раньше использовался выпуск 9.5);
  • Добавлена поддержка передачи метрик в rsyslog вместо fluentd.


  1. Главная ссылка к новости (https://www.mail-archive.com/a...)
  2. OpenNews: Выпуск системы управления инфраструктурой виртуализации oVirt 4.2.0
  3. OpenNews: Выпуск системы управления конфигурацией Ansible 2.2
  4. OpenNews: Доступна система управления инфраструктурой виртуализации oVirt 4.0.0
  5. OpenNews: Amazon открыл код легковесной платформы виртуализации Firecracker
  6. OpenNews: Релиз системы виртуализации VirtualBox 6.0
Лицензия: CC-BY
Тип: Программы
Ключевые слова: ovirt, virtual
При перепечатке указание ссылки на opennet.ru обязательно
Обсуждение Ajax/Линейный | Раскрыть все сообщения | RSS
 
  • 1.1, Аноним (1), 22:04, 04/02/2019 [ответить] [показать ветку] [···]    [к модератору]
  • –4 +/
    Всегда интересовало почему его нет под debian?
     
     
  • 2.2, Аноним (2), 22:07, 04/02/2019 [^] [ответить]    [к модератору]
  • +5 +/
    потому что разработчики из Red Hat, это ж RHEV.
     
     
  • 3.8, Аноним (8), 22:55, 04/02/2019 [^] [ответить]    [к модератору]
  • –14 +/
    >RHEV

    Red Hat Enterprise Virus?

     
  • 2.4, бублички (?), 22:28, 04/02/2019 [^] [ответить]    [к модератору]
  • –9 +/
    потому что под Debian есть Proxmox. сомневаюсь что они колоссально различаются или содержат какие-то наработки кроме веб-интерфейса
     
     
  • 3.11, Dim (??), 23:06, 04/02/2019 [^] [ответить]    [к модератору]
  • +2 +/
    Они совершенно разные
     
     
  • 4.16, бублички (?), 23:13, 04/02/2019 [^] [ответить]    [к модератору]  
  • –1 +/
    будь добр, назови 2-3 принципиальных отличия. на мой взгляд и то и другое не больше чем web-оболочка к libvirt да ещё может быть pcs (pacemaker, corosync) для HA
     
     
  • 5.20, Dim (??), 23:18, 04/02/2019 [^] [ответить]     [к модератору]  
  • +3 +/
    Хех, мсье явно не гонял ни то ни другое никогда PVE это оболочка над kvm и кучк... весь текст скрыт [показать]
     
     
  • 6.23, бублички (?), 23:26, 04/02/2019 [^] [ответить]     [к модератору]  
  • +/
    oVirt не пользовался никогда, но лет 7 назад много пользовался Proxmox и был уве... весь текст скрыт [показать]
     
     
  • 7.26, Dim (??), 23:29, 04/02/2019 [^] [ответить]     [к модератору]  
  • +/
    овирт не оболочка, это управляющий сервер который контролирует все аспекты вирту... весь текст скрыт [показать]
     
     
  • 8.33, бублички (?), 23:38, 04/02/2019 [^] [ответить]    [к модератору]  
  • +/
    libvirt сам по себе хорошо умеет и storage и cеть. в чём ещё плюсы oVirt кроме как веб-оболочки? "всё вообще " - это веб-оболочка и снова веб-оболочка?
     
     
  • 9.48, Dim (??), 23:49, 04/02/2019 [^] [ответить]     [к модератору]  
  • +1 +/
    то что libvirt умеет, он умеет на уровне хоста, ovirt дает оркестрацию на сотни ... весь текст скрыт [показать]
     
     
  • 10.51, бублички (?), 23:53, 04/02/2019 [^] [ответить]    [к модератору]  
  • –8 +/
    libvirt с его уровнем хоста для меня вполне достаточно, для остального есть ansible или puppet. но спасибо за информацию
     
  • 10.190, Антон Зубков (?), 14:45, 08/02/2019 [^] [ответить]    [к модератору]  
  • +/
    Какой это он storage использут без кластерной фс? ))
     
     
  • 11.191, Dim (??), 17:20, 08/02/2019 [^] [ответить]    [к модератору]  
  • +/
    > Какой это он storage использут без кластерной фс? ))

    eсть два варианта - файловый и блочный. Если файловый то NFS, gluster и любой posix compatible, если локами на нем управляет внешний плагин.
    Блочный - любой который может увидеть device-mapper-multipath, который просто форматируется как PV и овирт управляет доступами хостов к LV, без ФС. Так оно и масштабируется на сотни хостов в одном кластере, и прослойка от VM к блокам стореджа тоньше.

     
  • 7.28, asdasd (?), 23:30, 04/02/2019 [^] [ответить]    [к модератору]  
  • +/
    А зачем Proxmox'у libvirt?
     
     
  • 8.30, бублички (?), 23:34, 04/02/2019 [^] [ответить]    [к модератору]  
  • –1 +/
    затем что мне он (libvirt) нравится :D
     
     
  • 9.166, Аноним (166), 11:14, 06/02/2019 [^] [ответить]    [к модератору]  
  • –2 +/
    Просто ты потребитель, жрешь все что кинут на пол из RHEL/IBM парни.
     
     
  • 10.179, бублички (?), 18:15, 06/02/2019 [^] [ответить]    [к модератору]  
  • +/
    > Просто ты потребитель, жрешь все что кинут на пол из RHEL/IBM парни.

    твой oVirt такой-же точно и от тех-же самых парней, с тем-же самым libvirt под копотом

     
  • 7.34, kvaps (ok), 23:38, 04/02/2019 [^] [ответить]    [к модератору]  
  • +/
    >много пользовался Proxmox и был уверен что они хотяб до libvirt доросли

    Он там нафиг не нужен.

     
  • 2.81, Аноним (81), 00:35, 05/02/2019 [^] [ответить]    [к модератору]  
  • +/
    Собери из исходников, че как маленький. А если не устраивает, иди мейтейнером стань.
     
  • 1.3, бублички (?), 22:27, 04/02/2019 [ответить] [показать ветку] [···]    [к модератору]  
  • +/
    кто-то пользуется этим в production хотяб на 10-20 физических серверов? как работает live-миграция? что в качестве shared storage для live-миграции понимает без дополнительного шаманизма? лучше или хуже Proxmox в этом плане? ведь по сути у обоих проектов упор всецело на веб-оболочку "чтоб Роман из сэйлз и Кирилл из кастомер сервис тоже могли худо-бедно задеплоить сервачок когда приспичит"
     
     
  • 2.6, анон (?), 22:50, 04/02/2019 [^] [ответить]     [к модератору]  
  • +4 +/
    да fc или iscsi Отлично лив мигрирует хосты обновляем Если надо сторедж заме... весь текст скрыт [показать]
     
     
  • 3.10, бублички (?), 23:05, 04/02/2019 [^] [ответить]     [к модератору]  
  • +/
    спасибо за отзыв в плане live-migration предпочитаю Ganeti за его возможность п... весь текст скрыт [показать]
     
     
  • 4.43, C (?), 23:43, 04/02/2019 [^] [ответить]     [к модератору]  
  • +/
    Я гонял Все норм Бегало на двух с половиной стойках, всего больше 40 серваков ... весь текст скрыт [показать]
     
     
  • 5.111, Legionz (?), 02:16, 05/02/2019 [^] [ответить]    [к модератору]  
  • +1 +/
    ойо, гластер? клиенты на нфс хоть или на фьюзе?
     
  • 2.13, пох (?), 23:09, 04/02/2019 [^] [ответить]     [к модератору]  
  • +/
    в случае проксы это абсолютно ложное утверждение во-первых, как раз гуй у них в... весь текст скрыт [показать]
     
     
  • 3.14, Dim (??), 23:11, 04/02/2019 [^] [ответить]     [к модератору]  
  • –6 +/
    Я думал ажиотаж с zfs уже прошел и народ перестал тащить эту дрянь в прод, особе... весь текст скрыт [показать]
     
  • 3.19, бублички (?), 23:16, 04/02/2019 [^] [ответить]    [к модератору]  
  • –4 +/
    извини, но бредни о вкусной и полезной ZFS даже читать не хочу. libvirt и pcs я сам умею, а Ceph не пригодилась ни разу
     
     
  • 4.126, пох (?), 09:57, 05/02/2019 [^] [ответить]     [к модератору]  
  • –1 +/
    ну значит админу локалхоста с переизбытком свободного времени оно пока не требуе... весь текст скрыт [показать]
     
  • 2.15, zzz (??), 23:11, 04/02/2019 [^] [ответить]     [к модератору]  
  • –7 +/
    Госпаде, Win2012 умел в live-миграцию уже в 2012-ом, и даже без общего хранилища... весь текст скрыт [показать]
     
     
  • 3.17, Dim (??), 23:13, 04/02/2019 [^] [ответить]     [к модератору]  
  • +4 +/
    овирт умел лайв миграцию еще в 2006-ом, когда еще назывался solidice, в миграции... весь текст скрыт [показать]
     
     
  • 4.22, zzz (??), 23:26, 04/02/2019 [^] [ответить]    [к модератору]  
  • –5 +/
    Умел по принципу "кукарекнул, а там хоть солнце не вставай". До сих пор пилят до рабочего состояния.
     
     
  • 5.24, Dim (??), 23:27, 04/02/2019 [^] [ответить]    [к модератору]  
  • +1 +/
    > Умел по принципу "кукарекнул, а там хоть солнце не вставай". До сих
    > пор пилят до рабочего состояния.

    ну что за херня? все прекрасно работает уже более десятилетия

     
     
  • 6.32, zzz (??), 23:38, 04/02/2019 [^] [ответить]    [к модератору]  
  • –1 +/
    УМВР - отличный аргумент. Вам бы на лор сходить, что ли.
     
     
  • 7.44, Dim (??), 23:43, 04/02/2019 [^] [ответить]     [к модератору]  
  • +1 +/
    Потому что нечего ахинею нести Я строил датацентры с KVM под капотом последние ... весь текст скрыт [показать]
     
     
  • 8.57, zzz (??), 00:00, 05/02/2019 [^] [ответить]    [к модератору]  
  • –1 +/
    >никогда _особых_ проблем не видел

    То-то и оно.

     
     
  • 9.62, Dim (??), 00:05, 05/02/2019 [^] [ответить]    [к модератору]  
  • +1 +/
    > То-то и оно.

    Проблем с миграцией не было. Проблемы обычно в сетевом стеке

     
     
  • 10.71, zzz (??), 00:15, 05/02/2019 [^] [ответить]    [к модератору]  
  • –2 +/
    Команда cp отработала штатно, невероятное достижение, никогда такого не было, и только в KVM...!
     
     
  • 11.75, Dim (??), 00:21, 05/02/2019 [^] [ответить]     [к модератору]  
  • +3 +/
    окей, я понял ты очередной мышкотолкатель у которого подгорает при виде вещей в... весь текст скрыт [показать]
     
     
  • 12.80, zzz (??), 00:33, 05/02/2019 [^] [ответить]    [к модератору]  
  • –5 +/
    Куда уж нам, сирым и убогим HV/ESXiникам, только на помойку под напором фич KVM
     
     
  • 13.87, Dim (??), 00:45, 05/02/2019 [^] [ответить]     [к модератору]  
  • +/
    так уже ведь на помойке AWS использует KVM, GCP тоже, rackspace, vultr, да вооб... весь текст скрыт [показать]
     
  • 13.182, Аноним (182), 20:46, 06/02/2019 [^] [ответить]    [к модератору]  
  • –1 +/
    То то у тебя хвост дымится вечно, яростная манифестация чувства неполноценности при любом удобном случае. Ох уж эти вантузоиды.
     
  • 8.123, mamonts (ok), 09:42, 05/02/2019 [^] [ответить]    [к модератору]  
  • +/
    Дмитрий, с вами как то можно связаться ? У меня просто есть несколько вопросов по датацентру. Если что babkin@belregion.ru
     
  • 7.117, Олег (??), 08:26, 05/02/2019 [^] [ответить]    [к модератору]  
  • +/
    Стойка на proxmox
    Проблем с миграциями нет.
     
     
  • 8.121, Аноним (121), 09:21, 05/02/2019 [^] [ответить]    [к модератору]  
  • –2 +/
    На бесплатном проксмосе? Который "для тестов, нестабильный тра-ля-ля, дай денег"
     
  • 8.127, пох (?), 10:05, 05/02/2019 [^] [ответить]    [к модератору]  
  • +/
    storage у этой стойки из чего сделан?
     
  • 6.132, PnDx (ok), 12:23, 05/02/2019 [^] [ответить]     [к модератору]  
  • +3 +/
    Не знаю, что там 10 лет прекрасно Связка postcopy HP анонсирована в 2017 qem... весь текст скрыт [показать]
     
     
  • 7.139, нах (?), 16:40, 05/02/2019 [^] [ответить]    [к модератору]  
  • +1 +/
    но хоть щас то - настало щастье? А то тут только фанбои и хейтеры выступали, человека с реальным опытом послушать бы хотелось.

     
     
  • 8.175, PnDx (ok), 13:59, 06/02/2019 [^] [ответить]     [к модератору]  
  • +1 +/
    Скажем так, объём регламентов в части виртуализации у меня в конторе потихоньк... весь текст скрыт [показать]
     
  • 7.144, Dim (??), 17:20, 05/02/2019 [^] [ответить]     [к модератору]  
  • +/
    Обычная миграция не требует postcopy LSM вышел, емнип в районе 2010, просто миг... весь текст скрыт [показать]
     
     
  • 8.172, PnDx (ok), 13:22, 06/02/2019 [^] [ответить]     [к модератору]  
  • +/
    Ага, без нагрузки на CPU RAM Ну или при наличии какого-нибудь безразмерного... весь текст скрыт [показать]
     
  • 3.21, бублички (?), 23:20, 04/02/2019 [^] [ответить]    [к модератору]  
  • +/
    тебе читать бы научиться. мой вопрос был гораздо проще твоих напрасных объяснений
     
     
  • 4.25, zzz (??), 23:28, 04/02/2019 [^] [ответить]    [к модератору]  
  • +1 +/
    А что вы хотели услышать? Репорт двух с половиной анонимусов об удачной миграции недопиленной платформы? Ловите наркомана.jpg
     
     
  • 5.27, Dim (??), 23:29, 04/02/2019 [^] [ответить]    [к модератору]  
  • +/
    > А что вы хотели услышать? Репорт двух с половиной анонимусов об удачной
    > миграции недопиленной платформы? Ловите наркомана.jpg

    KVM - недопиленная платформа?

     
  • 3.29, анон (?), 23:30, 04/02/2019 [^] [ответить]     [к модератору]  
  • +/
    давайте опустим детский сад - без общего хранилища мигрируем и блаблабла Есть... весь текст скрыт [показать]
     
     
  • 4.49, zzz (??), 23:51, 04/02/2019 [^] [ответить]    [к модератору]  
  • –3 +/
    Именно поэтому только в 2к19 "Реализована полная поддержка live-миграции виртуальных машин на основе профиля "High Performance VM". KVM - изначально решение для васян-хостингов, каковым и осталось.
     
     
  • 5.52, Dim (??), 23:53, 04/02/2019 [^] [ответить]     [к модератору]  
  • +/
    расскажи мне, что же по твоему такое high performance VM , и покажи мне аналог ... весь текст скрыт [показать]
     
  • 5.56, анон (?), 23:59, 04/02/2019 [^] [ответить]    [к модератору]  
  • +/
    да это какой-то маркетинг High Performance VM - который ввели только в 4.2 чтоли, зачем даже не разбирался. Все там давно мигрирует вдоль и поперек
     
     
  • 6.60, анон (?), 00:04, 05/02/2019 [^] [ответить]    [к модератору]  
  • +/
    короч, это vm  с cpu pinning. Такие вообще не должны мигрироваться по логике -)
     
     
  • 7.65, Dim (??), 00:08, 05/02/2019 [^] [ответить]     [к модератору]  
  • –1 +/
    А в Овирте, в 2019, они surprise мигрируют тем не менее Еще там мигрируют ма... весь текст скрыт [показать]
     
     
  • 8.72, zzz (??), 00:17, 05/02/2019 [^] [ответить]    [к модератору]  
  • +/
    Система виртуализации ломает принятые правила? Достижение!
     
     
  • 9.76, Dim (??), 00:22, 05/02/2019 [^] [ответить]    [к модератору]  
  • +/
    > Система виртуализации ломает принятые правила? Достижение!

    технология ломает то что конкуренты считали невозможным! достижение, да. Тебе все еще достаточно 640k памяти?

     
     
  • 10.82, zzz (??), 00:36, 05/02/2019 [^] [ответить]    [к модератору]  
  • –2 +/
    Неправильным, но какая разница, покуда разговор идет с фанбоем, который 11 лет только и делает, что городит кластеры под KVM за неумением в другие технологии.
     
     
  • 11.90, Dim (??), 00:50, 05/02/2019 [^] [ответить]     [к модератору]  
  • +/
    мне не надо быть фанбоем, мне достаточно посмотреть на статистику линукс уже да... весь текст скрыт [показать]
     
  • 6.68, zzz (??), 00:10, 05/02/2019 [^] [ответить]    [к модератору]  
  • –2 +/
    Если вы считаете достижением полноценную поддержку ядра только спустя 4 года, то остается только развести руками. Я уж лучше по старинке, HV+ESXi. Понадежнее, знаете ли, не до слоупочьих забав.
     
  • 3.115, пох (?), 07:08, 05/02/2019 [^] [ответить]     [к модератору]  
  • +/
    http web archive org web 20100216042115 http www virtualbox org manual ch07 ... весь текст скрыт [показать]
     
  • 2.37, Const (??), 23:40, 04/02/2019 [^] [ответить]     [к модератору]  
  • +/
    Я гонял Все норм Бегало на двух с половиной стойках, всего больше 40 серваков ... весь текст скрыт [показать]
     
     
  • 3.46, анон (?), 23:45, 04/02/2019 [^] [ответить]    [к модератору]  
  • +/
    Вполне можно использовать iscsi и fc как shared помимо nfs. и даже с multipath
     
  • 2.39, C (?), 23:41, 04/02/2019 [^] [ответить]     [к модератору]  
  • +/
    Я гонял Все норм Бегало на двух с половиной стойках, всего больше 40 серваков ... весь текст скрыт [показать]
     
     
  • 3.47, бублички (?), 23:47, 04/02/2019 [^] [ответить]    [к модератору]  
  • +/
    GlusterFS, что в user-space, вызывает лишь слёзы в качестве shared-storage. ведь есть же DRBD в kernel-space
     
     
  • 4.50, Dim (??), 23:52, 04/02/2019 [^] [ответить]    [к модератору]  
  • +1 +/
    ты серьезно не понимаешь разницу между DRBD и SDS?
     
     
  • 5.63, бублички (?), 00:05, 05/02/2019 [^] [ответить]    [к модератору]  
  • –1 +/
    перечитай исходное сообщение
     
     
  • 6.67, Dim (??), 00:10, 05/02/2019 [^] [ответить]    [к модератору]  
  • +2 +/
    > перечитай исходное сообщение

    я его видел. DRBD сравнивать с gluster это как минимум странно. Они вообще разные, для совершенно разных целей, и выполняют совершенно разные роли.

     
     
  • 7.70, бублички (?), 00:15, 05/02/2019 [^] [ответить]    [к модератору]  
  • –1 +/
    я знаю что они разные, но товарищ выше писал о GlusterFS в качестве shared-storage, что вызвало у меня слёзы. ты что-то совсем не то читаешь в том что вдобавок не тебе было адресовано
     
     
  • 8.74, Dim (??), 00:20, 05/02/2019 [^] [ответить]     [к модератору]  
  • +/
    Tак и DRBD не shared storage a gluster как раз таки да Ты просто сравниваешь ... весь текст скрыт [показать]
     
     
  • 9.79, бублички (?), 00:31, 05/02/2019 [^] [ответить]    [к модератору]  
  • –2 +/
    ты больной какой-то? где я их сравнивал?
     
     
  • 10.85, zzz (??), 00:41, 05/02/2019 [^] [ответить]    [к модератору]  
  • –2 +/
    Обычный фанатик KVM. Как-никак, 11 лет кластеры поднимает, не то, что мы, грязь из-под ногтей.
     
     
  • 11.91, Dim (??), 00:51, 05/02/2019 [^] [ответить]    [к модератору]  
  • +/
    > Обычный фанатик KVM. Как-никак, 11 лет кластеры поднимает, не то, что мы,
    > грязь из-под ногтей.

    у тебя отличное самоопределение

     
  • 10.86, Dim (??), 00:42, 05/02/2019 [^] [ответить]    [к модератору]  
  • +/
    > ты больной какой-то? где я их сравнивал?

    ты их не просто сравнил, но еще и в качестве shared storage, хотя DRBD вообще не об этом.

     
     
  • 11.94, бублички (?), 00:55, 05/02/2019 [^] [ответить]     [к модератору]  
  • –2 +/
    товарищ, ты наркоман почему ты читаешь совсем не то что я пишу я ни разу не ск... весь текст скрыт [показать]
     
     
  • 12.96, Dim (??), 00:56, 05/02/2019 [^] [ответить]     [к модератору]  
  • +1 +/
    как это понимать ... весь текст скрыт [показать]
     
  • 2.41, C (?), 23:41, 04/02/2019 [^] [ответить]     [к модератору]  
  • +/
    Я гонял Все норм Бегало на двух с половиной стойках, всего больше 40 серваков ... весь текст скрыт [показать]
     
  • 2.173, Тимофей (??), 13:42, 06/02/2019 [^] [ответить]    [к модератору]  
  • +/
    Возьми да разверни и попробуй.
     
     ....нить скрыта, показать (62)

  • 1.5, бублички (?), 22:40, 04/02/2019 [ответить] [показать ветку] [···]    [к модератору]  
  • +/
    скриншотик что-то бомжацкий совсем - Dell PowerEdge R210 II c 4 GB памяти. да и сетевой интерфейс наверное 1 Gbit, а значит полностью программный для гостевых систем - никакого SR-IOV и ixgbevf/igbvf. а это уровень годов так 2008-2010
     
     
  • 2.7, анон (?), 22:52, 04/02/2019 [^] [ответить]    [к модератору]  
  • +1 +/
    SR-IOV есть с волосатых времен. лично запускал.
     
     
  • 3.12, бублички (?), 23:09, 04/02/2019 [^] [ответить]     [к модератору]  
  • –1 +/
    веб-оболочка oVirt непосредственно понимает интерфейсы ixgbevf igbvf в виде пула... весь текст скрыт [показать]
     
     
  • 4.18, анон (?), 23:15, 04/02/2019 [^] [ответить]    [к модератору]  
  • +1 +/
    все из веб морды. только раньше надо было что-то еще в Grub2 в загрузку для igb написать
     
  • 2.31, zzz (??), 23:36, 04/02/2019 [^] [ответить]    [к модератору]  
  • –2 +/
    Дык KVM и есть тех же годов. Его уже все обошли по фичам, уже даже bhyve в спину дышит - а люди до сих пор гордятся поделкой из кружка "Умелые руки" десятилетней давности. Фанатики что с них взять.
     
     
  • 3.36, бублички (?), 23:40, 04/02/2019 [^] [ответить]    [к модератору]  
  • –1 +/
    гордятся? где ты таких людей видел? немедленно перестань с ними общаться
     
     
  • 4.83, zzz (??), 00:38, 05/02/2019 [^] [ответить]    [к модератору]  
  • –2 +/
    Стараюсь, но они сами идут со мной на контакт, как пресловутый @Dim.
     
  • 3.38, Dim (??), 23:40, 04/02/2019 [^] [ответить]     [к модератору]  
  • +4 +/
    KVM появился позже чем vmware и xen, быстро догнал их по фичам и на сегодня им п... весь текст скрыт [показать]
     
     
  • 4.88, zzz (??), 00:47, 05/02/2019 [^] [ответить]    [к модератору]  
  • –1 +/
    Когда-то все так же пользовались Apache, а потом внезапно перешли на nginx. История должна была чему-то научить, но только не фанбоев.

    Всё жду, когда bhyve обойдет по фичам KVM.

     
     
  • 5.92, Dim (??), 00:53, 05/02/2019 [^] [ответить]     [к модератору]  
  • –2 +/
    ну да, все пользовались ESX i потом появился и перешли на KVM Сейчас все пере... весь текст скрыт [показать]
     
     
  • 6.102, бублички (?), 01:14, 05/02/2019 [^] [ответить]    [к модератору]  
  • +/
    я не ошибся, ты сравниваешь Docker и KVM? что вдруг случилось?
     
     
  • 7.103, Dim (??), 01:16, 05/02/2019 [^] [ответить]    [к модератору]  
  • –1 +/
    > я не ошибся, ты сравниваешь Docker и KVM? что вдруг случилось?

    а что тебя смущает?

     
  • 6.124, пох (?), 09:49, 05/02/2019 [^] [ответить]     [к модератору]  
  • +1 +/
    все пользовались и перешли - ну-ка, ну-ка, кто же это, кто эти уникумы На дел... весь текст скрыт [показать]
     
     
  • 7.142, Dim (??), 17:09, 05/02/2019 [^] [ответить]     [к модератору]  
  • +/
    Велкам на сайт Red Hat, в список клиентов RHV и OpenStack Я тут недавно ну ка... весь текст скрыт [показать]
     
     
  • 8.152, пох (?), 20:05, 05/02/2019 [^] [ответить]     [к модератору]  
  • +/
    так это не перешли, это те кому впарили в общем тут уже можно не продолжать, да... весь текст скрыт [показать]
     
     
  • 9.153, Dim (??), 20:43, 05/02/2019 [^] [ответить]     [к модератору]  
  • –1 +/
    я лично переводил клиентов, когда там работал Как раз таких кому до этого впари... весь текст скрыт [показать]
     
     
  • 10.157, пох (?), 23:22, 05/02/2019 [^] [ответить]     [к модератору]  
  • +/
    думаю, не глупее И вероятнее всего - технически грамотнее You not need to be s... весь текст скрыт [показать]
     
     
  • 11.160, Dim (??), 23:44, 05/02/2019 [^] [ответить]     [к модератору]  
  • +/
    You need to have smart advisors У этого конкретного CTO, в советниках на зарпла... весь текст скрыт [показать]
     
     
  • 12.163, пох (?), 10:28, 06/02/2019 [^] [ответить]     [к модератору]  
  • +/
    мне вот, кстати, неизвестный - ну то есть с ним было бы, наверное, изрядно интер... весь текст скрыт [показать]
     
  • 12.167, пох (?), 11:17, 06/02/2019 [^] [ответить]     [к модератору]  
  • +/
    Rash is a freelance writer and frequent reviewer of enterprise hardware and soft... весь текст скрыт [показать]
     
  • 5.138, scorry (ok), 15:16, 05/02/2019 [^] [ответить]    [к модератору]  
  • +/
    > ... все так же пользовались Apache, а потом внезапно перешли на nginx

    Ложь.

     
     
  • 6.168, пох (?), 11:22, 06/02/2019 [^] [ответить]     [к модератору]  
  • +/
    медленно и печально перешли Оставляя след из дерьма и кровищи Но в конце-концо... весь текст скрыт [показать]
     
  • 3.137, commiethebeastie (ok), 14:54, 05/02/2019 [^] [ответить]    [к модератору]  
  • +/
    >а люди до сих пор гордятся поделкой из кружка "Умелые руки" десятилетней давности.

    Мальчик, посмотри разработчиков qemu, там же сплошной энтерпрайз и R&D.

     
     ....нить скрыта, показать (22)

  • 1.9, анон (?), 22:57, 04/02/2019 [ответить] [показать ветку] [···]    [к модератору]  
  • +/
    похерили api3.6, а значит все вменяемые бекапы перестали работать. придется ждать, пока кто-нить не напишет для 4.
    похерили поддержку Opteron 2G.
     
     
  • 2.118, DeerFriend (?), 08:33, 05/02/2019 [^] [ответить]    [к модератору]  
  • +/
    Похерили ovirt-shell, который работает через апи3.6
    Развивают ansible модули, которые, внезапно, работают через апи4+
     
     
  • 3.129, Аноним (129), 11:07, 05/02/2019 [^] [ответить]    [к модератору]  
  • +/
    ты уже переписал бекап на ansible?
     
     
  • 4.131, DeerFriend (?), 11:47, 05/02/2019 [^] [ответить]    [к модератору]  
  • –2 +/
    Мну через ансибль делает деплой виртуалок.

    Мну не пользует бэкапы.

    Мну быстрее задеплоить новую виртуалку, чем разбираться, какой бекап более актуальный.

     
     
  • 5.156, Аноним (156), 22:31, 05/02/2019 [^] [ответить]    [к модератору]  
  • +2 +/
    Нет, серьезно, вот такое отношение в энтерпрайзе теперь модно? Что наработали в утиль - поднимем новую виртуалочку, и без бекапов.
     
     
  • 6.169, пох (?), 11:27, 06/02/2019 [^] [ответить]     [к модератору]  
  • +/
    мы это практиковали на bare metal еще до того как это стало модно в энтер-прайсе... весь текст скрыт [показать]
     
     
  • 7.178, DeerFriend (?), 17:59, 06/02/2019 [^] [ответить]    [к модератору]  
  • +/
    Интересно узнать, как IaC влияет на появление оооочень уязвимых мест?
     
     
  • 8.181, нах (?), 18:34, 06/02/2019 [^] [ответить]     [к модератору]  
  • +/
    боюсь это не для детишек но все же подскажу, не разжевывая, вдруг дитё попалось... весь текст скрыт [показать]
     
     
  • 9.184, DeerFriend (?), 23:56, 06/02/2019 [^] [ответить]    [к модератору]  
  • +1 +/
    Кажется я ввёл вас в заблуждение.
    Я не говорил, что у меня совсем нет бэкапов. Я говорил, что делать их средствами KVM/RHV/итд не самый лучший способ.
    Прикладные данные должны бэкапиться/резервироваться средствами приложений, а не гипервизором.
    Если ломается система управления, её придется восстановить. Пользователи не заметят, менеджеры может быть отложат очередной релиз, руководству будет доложено, что простоя не было.

    Как только восстановлена система управления, дальше работает IaC.
    БД работает в резерве мастер/мастер + слейвы, логи сливаются дополнительно на внешнее хранилище+ELK.

    На все остальные данные наплевать.
    Пытаться восстанавливать гигабайты в KVM с устаревшими архивами логов или другим мусором, копившимся на файловой системе годами - просто глупо и долго. По этой причине не ждите бэкапов в KVM средствами гипервизора, они реально не нужны.

     
  • 6.177, DeerFriend (?), 17:56, 06/02/2019 [^] [ответить]    [к модератору]  
  • +/
    Энтерпрайзу нравится, когда у тебя время отработки плейбука на новой виртуалке:
      - сопоставимо с временем загрузки железного сервера
      - на порядок меньше времени восстановления из бэкапа
     
     
  • 7.180, нах (?), 18:26, 06/02/2019 [^] [ответить]     [к модератору]  
  • +/
    энтерпрайзу не нравится, когда на ходу наворачивается хранилка, иди чини одни и... весь текст скрыт [показать]
     
     
  • 8.185, DeerFriend (?), 23:59, 06/02/2019 [^] [ответить]    [к модератору]  
  • +/
    В старых виртуалках много мусора в виде архивов логов и прочего шита.
    Если вы не работате с виртуалками как с контейнерами, значит вы что-то делаете не правильно.
     
     
  • 9.186, нах (?), 10:00, 07/02/2019 [^] [ответить]    [к модератору]  
  • +/
    > В старых виртуалках много мусора в виде архивов логов и прочего шита.

    а зачем вы у себя храните токсичный мусор? Я вот не храню, и тщательно его уничтожаю при обнаружении - место не бесплатное, да и манипулировать ста гигабайтами куда проще чем тремястами с ненужно-логами. Не говоря уже о том что туда неизбежно попадают всякие личные данные, чем меньше собираешь, тем спокойней спишь.

    Те логи что у меня хранятся, они нужные (в частности, вот по ним и будем посмертный анализ проводить, от чего и почему оно развалилось) и их мало.

    > Если вы не работате с виртуалками как с контейнерами, значит вы что-то делаете не правильно.

    по-моему как раз наоборот - если вы работаете с виртуалками как с контейнерами - значит вы даром тратите ценные ресурсы на эмуляцию, и вам нужно двигаться по следам описанного в тредике про M/S - в крайнем случае, в сторону kata/clear (которые, правда, недоделаны и никогда не будут - и именно потому, что при всей красивости затеи оказались нафиг не нужны)

    кстати, ovirt, наверное, последние, кто не предлагает встроенной альтернативы kvm'у, заставляя вместо этого запихивать опеншифт в ненужно-виртуалки (пусть даже и торчащий наружу persistent storage'м ) Даже вмварь прогнулась (и совершенно зря, как бы вообще стремительный полет netware не повторила).

     
     
  • 10.187, DeerFriend (?), 12:39, 07/02/2019 [^] [ответить]    [к модератору]  
  • +/
    Когда вырастаешь из локалхоста в энтерпрайз, оказывается, что у тебя много коллег, за всеми не уследишь.
    Кто в хомяке, кто ещё где-нибудь может временное ненужное забыть.

    При ценах на вмварь, у них просто нет выбора. Они не смогут ещё сверху продать контейнерный гипервизор, клиенты не оценят. Поэтому приходится встраивать в то, что есть.

    И с редхатом я по этой же причине не согласен, что они опеншифта с прошлой осени стали продавать как виртуалки (поядерно, а не по сокетам процессорным). Весь смысл контейнеризации теряется, накладные расходы на виртуализацию остаются и т.п..
    Ансибль позволяет раотать с вирталками как с контейнерами, а покупать и опеншифт и рхев вместе - бизнесу такие расходы обосновать будет очень сложно.

     
     
  • 11.188, нах (?), 15:49, 07/02/2019 [^] [ответить]    [к модератору]  
  • +1 +/
    > Когда вырастаешь из локалхоста в энтерпрайз, оказывается, что у тебя много коллег, за всеми не
    > уследишь.
    > Кто в хомяке, кто ещё где-нибудь может временное ненужное забыть.

    странно что пропагандист ансибля и прочих средств энтерпрайзной автоматики следит за ними вручную ;-) У меня оно автоматическое, коллеги, понятное дело, вовсе исключены из процесса, но вот разработчик нагадить может, а поскольку гадит он тоже автоматически, и куда попало, дерьма может случиться много, следить обязательно надо, и разбираться, кто начал жрать место, еще когда только начал. Пустить дело на самотек - вот как раз и придется раз в неделю принудительно пересоздавать vm'ы, а то ж лопнут, и концов не найдешь.

    > При ценах на вмварь, у них просто нет выбора. Они не смогут ещё сверху продать контейнерный
    > гипервизор, клиенты не оценят.

    да куда они денутся... глянь на минуточку цену на какой-нибудь poweredge m1000 в более-менее нормальной комплектации (и ~40000 в _год_ - сверху, оптом дешевле) - и поймешь, что вмварь на него стоит дешево, очень дешево. А ведь это - _дешевая_ железка, есть же ж еще и дорогие...

    Я полагаю, выбора нет при нынешних китайских разработчиках - скопипастить докер (или что там они копипастят под oci) они еще как-то смогут, а сделать аналог kata, только еще и чтоб работал - это фантастика.

     
     
  • 12.189, DeerFriend (?), 12:46, 08/02/2019 [^] [ответить]    [к модератору]  
  • +/
    Вы таки видите всё в черно-белом цвете. А ведь есть ещё оттенки серого.
    Возможность быстро переразвернуть не означает необходимости подиагностировать проблему.
    Для этого в ITILе есть понятия проблема и инцидент. Подходы к их решению несколько отличаются.


    Бизнес не любит дополнительные расходы :)

     
  • 1.112, Аноним (112), 03:22, 05/02/2019 [ответить] [показать ветку] [···]    [к модератору]  
  • +/
    Спрашивал про Deb врезультате куча керпичец и не одного нормального вменяемого ответа. Мда.
     
     
  • 2.113, Dim (??), 03:26, 05/02/2019 [^] [ответить]     [к модератору]  
  • –2 +/
    Были сборки, но емнип они все хреново работали Никто не тестирует под Дебиан, о... весь текст скрыт [показать]
     
     
  • 3.122, Аноним (112), 09:32, 05/02/2019 [^] [ответить]    [к модератору]  
  • +/
    Ну тоесть по той же причине что и виртуозо.
     
     
  • 4.143, DeerFriend (?), 17:11, 05/02/2019 [^] [ответить]    [к модератору]  
  • +/
    Разработчиков proxmox это не остановило, делать свой дистриб на дебиане с ovz.
    А что мешает тебе перепаковать rpm в deb?
     
  • 2.120, Buzzer (?), 09:20, 05/02/2019 [^] [ответить]    [к модератору]  
  • +/
    Потому что Enterprise - это не кpaсноглазие.
    Сурьезные конторы заинтересованы в том, чтобы все быстро развертывалось и легко сопровождалось.

    Дальше сами додумаете мысль?

     
     
  • 3.125, пох (?), 09:52, 05/02/2019 [^] [ответить]     [к модератору]  
  • +/
    если ты не собираешься самостоятельно собирать и сопровождать deb-пакеты - уточн... весь текст скрыт [показать]
     
     
  • 4.135, Buzzer (?), 14:07, 05/02/2019 [^] [ответить]    [к модератору]  
  • +/
    Сделать медленно, но надежно.
    А потом, когда сделавший навострит лыжи в другую контору, искать кулибина, который сможет разобраться во всех креативах.
    Через такое много раз проходили, знаем.
     
     
  • 5.140, нах (?), 16:46, 05/02/2019 [^] [ответить]     [к модератору]  
  • +/
    медленно но надежно - это вот без всякого креатива next-next-ok Ну сколько у т... весь текст скрыт [показать]
     
     
  • 6.148, Dim (??), 17:32, 05/02/2019 [^] [ответить]     [к модератору]  
  • +/
    Есть такая штука как BMaaS, там автодеплой железа под заданную конфигурацию, при... весь текст скрыт [показать]
     
  • 1.114, Ддд (?), 04:08, 05/02/2019 [ответить] [показать ветку] [···]    [к модератору]  
  • –1 +/
    Молодцы. Десять лет пилить веб интерфейс с покер фейсом. Почему в опенсорсе такие «эффективные» кодеры?
     
     
  • 2.134, barma (??), 13:29, 05/02/2019 [^] [ответить]    [к модератору]  
  • +/
    Потому, вы дорогой товаришь не задонатили свои кровные 5$, а ждете что кто-то бесплатно за вас сделает.
     
  • 1.119, Аноним (119), 08:51, 05/02/2019 [ответить] [показать ветку] [···]    [к модератору]  
  • –1 +/
    А расскажите пожалуйста, чем его бекапить предполагается? Инкрементальные бекапы сделать реально?
     
     
  • 2.141, Dim (??), 17:02, 05/02/2019 [^] [ответить]     [к модератору]  
  • +/
    есть софт который это умеет, его не сложно нагуглить из самодельного, я делал ч... весь текст скрыт [показать]
     
     
  • 3.158, Аноним (119), 23:25, 05/02/2019 [^] [ответить]    [к модератору]  
  • +/
    Хм, по запросу бекапов KVM ничего толкового не нашлось, а тот же Veem например говорит что не умеют - только HyperV и VMWare. Про KVM сказали что думают.
     
     
  • 4.161, Dim (??), 23:46, 05/02/2019 [^] [ответить]     [к модератору]  
  • +/
    https storware eu en storware-vprotect https wiki sep de wiki index php RHE... весь текст скрыт [показать]
     
     
  • 5.170, пох (?), 11:29, 06/02/2019 [^] [ответить]     [к модератору]  
  • +/
    вас спрашивали - толкового а вы нам - For now, only COPY backup is supported f... весь текст скрыт [показать]
     
  • 1.128, CHERTS (ok), 10:58, 05/02/2019 [ответить] [показать ветку] [···]    [к модератору]  
  • +2 +/
    The following virtual machine guest operating systems are supported:
    Red Hat Enterprise Linux 3 - 6
    Red Hat Enterprise Linux 7+
    SUSE Linux Enterprise Server 10+
    Ubuntu 12.04 (Precise Pangolin LTS)+
    Windows XP Service Pack 3 and newer
    Windows 7
    Windows 8
    Windows 10
    Windows Server 2003 Service Pack 2 and newer
    Windows Server 2008
    Windows Server 2008 R2
    Windows Server 2012 R2
    Windows Server 2016

    Какой то сильно маленький список поддерживаемых гостевых ОС, ни Debian ни Oracle Linux ни тем более FreeBSD нет :( Одни Enterprise версии и Windows, удивительно как Ubuntu вообще попала в такую милось.

     
     
  • 2.130, Вы забыли заполнить поле Name (?), 11:08, 05/02/2019 [^] [ответить]    [к модератору]  
  • +/
    > удивительно как Ubuntu вообще попала в такую милось

    версии 12.04? Очевидно - это они так издевались.

    P.S. список, похоже, года два не обновлялся

     
  • 2.146, Dim (??), 17:26, 05/02/2019 [^] [ответить]     [к модератору]  
  • +/
    gt оверквотинг удален поддерживаемый у них означает что QA сели, поставили ОС,... весь текст скрыт [показать]
     
  • 1.133, xm (ok), 13:17, 05/02/2019 [ответить] [показать ветку] [···]    [к модератору]  
  • +/
    О, FreeBSD bhyve таки обошёл QEMU/KVM как (zzz - вы дождались) :-)

    Q: What VM operating systems does bhyve support?

    A: bhyve supports any version of FreeBSD i386/amd64 with VirtIO support. OpenBSD, NetBSD and GNU/Linux are supported using the sysutils/grub2-bhyve port. UEFI support is available for FreeBSD, OpenBSD, GNU/Linux, SmartOS and Windows:

        FreeBSD 8.4-RELEASE and newer, including CURRENT
        OpenBSD amd64/i386 5.2 and newer
        GNU/Linux amd64/i386 (Many distributions)
        NetBSD amd64 6.1 and newer
        SmartOS 20151001 and newer
        Windows x64 Vista, 7, 8, 10
        Windows Server 2008r2, 2012r2, 2016

    Tested GNU/Linux distributions include:

        CentOS/RHEL 6.2, 6.3, 6.4, 6.5 and 7.0
        Debian 6.0.7, 7.0, 7.6 netinstall i386/amd64
        Fedora 20
        openSUSE 12.3 and 13.1 amd64
        Ubuntu Server 10.04, 12.04, 13.04, 14.04, 14.10, 15.04, 15.10, 16.04 i386/amd64

     
     
  • 2.136, Аноним (136), 14:22, 05/02/2019 [^] [ответить]     [к модератору]  
  • +2 +/
    bhyve ещё и обеспечивает лучшую производительность IO на виртуалках У KVM с эти... весь текст скрыт [показать]
     
     
  • 3.145, Anonimus (??), 17:21, 05/02/2019 [^] [ответить]    [к модератору]  
  • +/
    io kvm при правильной конфигурации и так близка к нативной - главное не использовать дефолтную конфигурацию)
     
  • 3.150, xm (ok), 19:29, 05/02/2019 [^] [ответить]    [к модератору]  
  • +/
    > перешли на smartos с её lx зонами

    О, интересно. Не расскажете о use case и т.п.?

     
  • 2.147, Dim (??), 17:27, 05/02/2019 [^] [ответить]     [к модератору]  
  • +/
    gt оверквотинг удален поддерживаемый в oVirt означает что QA сели, поставили О... весь текст скрыт [показать]
     
     
  • 3.149, xm (ok), 19:26, 05/02/2019 [^] [ответить]     [к модератору]  
  • +/
    Вы не поверите, но вот там в bhyve это все реально тоже сели, поставили ОС, и г... весь текст скрыт [показать]
     
     
  • 4.151, Dim (??), 19:59, 05/02/2019 [^] [ответить]     [к модератору]  
  • –2 +/
    не поверю Сколько там людей профессионально занимаются именно QA Я глянул на с... весь текст скрыт [показать]
     
     
  • 5.154, xm (ok), 21:42, 05/02/2019 [^] [ответить]     [к модератору]  
  • +/
    Дружище, рекомендую почаще высовывать голову из своей KVM-раковины и посматриват... весь текст скрыт [показать]
     
     
  • 6.155, Dim (??), 22:04, 05/02/2019 [^] [ответить]     [к модератору]  
  • –2 +/
    Вот именно поэтому я и написал что могу и ошибаться так как напрямую с проектом ... весь текст скрыт [показать]
     
     
  • 7.159, Аноним (159), 23:33, 05/02/2019 [^] [ответить]    [к модератору]  
  • –2 +/
    > фря устроит большой камбэк

    это как? разве что ты каминг аут имел ввиду...

     
     
  • 8.162, Dim (??), 23:47, 05/02/2019 [^] [ответить]    [к модератору]  
  • –1 +/
    > это как? разве что ты каминг аут имел ввиду...

    сразу после нетвари :)

     
     ....нить скрыта, показать (10)

  • 1.164, dddd (?), 11:04, 06/02/2019 [ответить] [показать ветку] [···]    [к модератору]  
  • +/
    жаль Небула ускакала из опенсорса - единственная эмулировала апи от амазона а не свои поделки толкала
     
     
  • 2.174, Тимофей (??), 13:44, 06/02/2019 [^] [ответить]    [к модератору]  
  • +/
    Потому и ускакала...
     
  • 2.183, Аноним (183), 20:50, 06/02/2019 [^] [ответить]    [к модератору]  
  • +/
    Речь не про OpenNebula случайно?
     
  • 1.165, dddd (?), 11:05, 06/02/2019 [ответить] [показать ветку] [···]    [к модератору]  
  • +/
    надо Солярку потестить с ее зонами. запустил ее в виртуалке - летает просто и весит мало в отличие от монстровых  центосов и убунт
     
     
  • 2.171, пох (?), 11:33, 06/02/2019 [^] [ответить]    [к модератору]  
  • +/
    > надо Солярку потестить с ее зонами. запустил ее в виртуалке - летает
    > просто и весит мало в отличие от монстровых  центосов и

    а что под ней запускать-то, вот в чем вопрос?

     

     Добавить комментарий
    Имя:
    E-Mail:
    Заголовок:
    Текст:


      Закладки на сайте
      Проследить за страницей
    Created 1996-2019 by Maxim Chirkov  
    ДобавитьПоддержатьВебмастеруГИД  
    Hosting by Ihor