The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]



"Выпуск системы управления инфраструктурой виртуализации oVir..."
Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Изначальное сообщение [ Отслеживать ]

"Выпуск системы управления инфраструктурой виртуализации oVir..."  +/
Сообщение от opennews (??), 04-Фев-19, 22:04 
После более года разработки представлен (https://www.mail-archive.com/announce@ovirt.org/msg0044...) релиз платформы oVirt 4.3.0 (http://www.ovirt.org/), в рамках которой развивается основанная на гипервизоре KVM и библиотеке libvirt система для развёртывания, сопровождения и мониторинга набора виртуальных машин и управления облачной инфраструктурой. Развиваемые в oVirt технологии управления виртуальными машинами применяются в продукте Red Hat Enterprise Virtualization и могут выступать в роли открытой альтернативы VMware vSphere. Кроме Red Hat в разработке также принимают участие компании Canonical, Cisco, IBM, Intel, NetApp и SUSE. Код проекта распространяется под лицензией GPLv2. Готовые пакеты доступны (http://www.ovirt.org/download/) для Red Hat Enterprise Linux 7.6 и CentOS 7.6. Также доступны готовые для развёртывания iso-образы (https://resources.ovirt.org/pub/ovirt-4.3/iso/), основанные на CentOS 7.6 и Fedora 28.

oVirt представляет собой стек, охватывающий все уровни виртуализации - от гипервизора до API и GUI-интерфейса. Несмотря на то, что в качестве основного гипервизора в oVirt позиционируется KVM, интерфейс реализован как надстройка над библиотекой libvirt (http://libvirt.org/), которая абстрагирована от типа гипервизора и подходит для управления виртуальными машинами на базе различных систем виртуализации, включая Xen и VirtualBox. В составе oVirt развивается интерфейс для быстрого массового создания высокодоступных виртуальных машин с поддержкой средств Live-миграции окружений между серверами без остановки работы.

Платформой предоставляются средства для создания правил динамической балансировки и управления ресурсами кластера, механизмы управления энергопотреблением кластера, инструменты управления образами виртуальных машин, компоненты для конвертирования и импорта существующих виртуальных машин. Поддерживается единое виртуальное хранилище данных, доступное с любого узла. Интерфейс содержит развитую систему отчётов и средства администрирования, позволяющие управлять конфигурацией как на уровне инфраструктуры, так и на уровне отдельных виртуальных машин.

Наиболее заметные новшества (https://ovirt.org/release/4.3.0/):


-  Поддержка чипсета Q35 (ICH9) с возможностью использования  UEFI и  UEFI Secure Boot;
-  Поддержка серверных систем с процессорами на базе микроархитектуры Skylake и AMD EPYC;
-  В набор для гостевых систем на базе Windows добавлен новый драйвер  smbus;
-  Расширены возможности утилиты virt-v2v, предназначенной для преобразования образов виртуальных машин для запуска под управлением KVM. В том числе налажена конвертация виртуальных машин
VMware ESX VM со снапштами;

-  Добавлена поддержка импорта и экспорта шаблонов в формате OVA;
-  Реализована полная поддержка live-миграции виртуальных машин на основе профиля "High Performance VM";

-  Поддержка отказоустойчивой кластеризации Microsoft (SCSI Persistent Reservation) для дисков в режиме Direct LUN (https://ovirt.org/develop/release-management/features/storag...);

-   В web-интерфейсе добавлена новая страница с детальной информацией о виртуальной машине;

-  Реализован пользовательский интерфейс для обновления кластера;
-  В  OVN (Open Virtual Network) добавлена поддержка групп безопасности;
-  Реализована возможность использования статических адресов
IPv6;

-  Добавлена возможность использования фреймворка Neutron из платформы OpenStack 13 в качестве внешнего провайдера для создания, конфигурирования и сопровождения сетей;
-  Добавлена поддержка сетевого анализатора Skydive из OpenStack 14;

-  Осуществлён переход на СУБД PostgreSQL 10 (раньше использовался выпуск 9.5);
-  Добавлена поддержка передачи метрик в rsyslog вместо fluentd.


URL: https://www.mail-archive.com/announce@ovirt.org/msg0044...
Новость: https://www.opennet.ru/opennews/art.shtml?num=50090

Ответить | Правка | Cообщить модератору

Оглавление

Сообщения по теме [Сортировка по времени | RSS]


1. "Выпуск системы управления инфраструктурой виртуализации oVir..."  –4 +/
Сообщение от Аноним (1), 04-Фев-19, 22:04 
Всегда интересовало почему его нет под debian?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

2. "Выпуск системы управления инфраструктурой виртуализации oVir..."  +5 +/
Сообщение от Аноним (2), 04-Фев-19, 22:07 
потому что разработчики из Red Hat, это ж RHEV.
Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

8. "Выпуск системы управления инфраструктурой виртуализации oVir..."  –14 +/
Сообщение от Аноним (8), 04-Фев-19, 22:55 
>RHEV

Red Hat Enterprise Virus?

Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

4. "Выпуск системы управления инфраструктурой виртуализации oVir..."  –9 +/
Сообщение от бублички (?), 04-Фев-19, 22:28 
потому что под Debian есть Proxmox. сомневаюсь что они колоссально различаются или содержат какие-то наработки кроме веб-интерфейса
Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

11. "Выпуск системы управления инфраструктурой виртуализации oVir..."  +2 +/
Сообщение от Dim (??), 04-Фев-19, 23:06 
Они совершенно разные
Ответить | Правка | ^ к родителю #4 | Наверх | Cообщить модератору

16. "Выпуск системы управления инфраструктурой виртуализации oVir..."  –1 +/
Сообщение от бублички (?), 04-Фев-19, 23:13 
будь добр, назови 2-3 принципиальных отличия. на мой взгляд и то и другое не больше чем web-оболочка к libvirt да ещё может быть pcs (pacemaker, corosync) для HA
Ответить | Правка | ^ к родителю #11 | Наверх | Cообщить модератору

20. "Выпуск системы управления инфраструктурой виртуализации oVir..."  +3 +/
Сообщение от Dim (??), 04-Фев-19, 23:18 
> будь добр, назови 2-3 принципиальных отличия. на мой взгляд и то и
> другое не больше чем web-оболочка к libvirt да ещё может быть
> pcs (pacemaker, corosync) для HA

Хех, мсье явно не гонял ни то ни другое никогда. PVE это оболочка над kvm и кучкой всяких других loosely coupled продуктов, последний раз когда я проверял, он даже libvirt не использовал. А oVirt это открытая версия RHV, продукта который Red Hat купил вместе с изобретателями KVM (a также spice, KSM и еще многого вокруг) Qumranet, и который с тех пор развивает и продает как альтернативу vSphere.

Технически, помимо собственно KVM, там нет практически НИЧЕГО общего.

Ответить | Правка | ^ к родителю #16 | Наверх | Cообщить модератору

23. "Выпуск системы управления инфраструктурой виртуализации oVir..."  +/
Сообщение от бублички (?), 04-Фев-19, 23:26 
oVirt не пользовался никогда, но лет 7 назад много пользовался Proxmox и был уверен что они хотяб до libvirt доросли за эти годы. да, по-моему это был бы признак роста. с тех пор пользуюсь исключительно Ganeti или libvirt - я противник веб-оболочек
Ответить | Правка | ^ к родителю #20 | Наверх | Cообщить модератору

26. "Выпуск системы управления инфраструктурой виртуализации oVir..."  +/
Сообщение от Dim (??), 04-Фев-19, 23:29 
> oVirt не пользовался никогда, но лет 7 назад много пользовался Proxmox и
> был уверен что они хотяб до libvirt доросли за эти годы.
> да, по-моему это был бы признак роста. с тех пор пользуюсь
> исключительно Ganeti или libvirt - я противник веб-оболочек

овирт не оболочка, это управляющий сервер который контролирует все аспекты виртуализации на подконтрольных хостах. либвирт, кластеризация (не corosynk/pacemaker), сторедж, сети, все вообще.

Ответить | Правка | ^ к родителю #23 | Наверх | Cообщить модератору

33. "Выпуск системы управления инфраструктурой виртуализации oVir..."  +/
Сообщение от бублички (?), 04-Фев-19, 23:38 
libvirt сам по себе хорошо умеет и storage и cеть. в чём ещё плюсы oVirt кроме как веб-оболочки? "всё вообще " - это веб-оболочка и снова веб-оболочка?
Ответить | Правка | ^ к родителю #26 | Наверх | Cообщить модератору

48. "Выпуск системы управления инфраструктурой виртуализации oVir..."  +1 +/
Сообщение от Dim (??), 04-Фев-19, 23:49 
> libvirt сам по себе хорошо умеет и storage и cеть. в чём
> ещё плюсы oVirt кроме как веб-оболочки? "всё вообще " - это
> веб-оболочка и снова веб-оболочка?

то что libvirt умеет, он умеет на уровне хоста, ovirt дает оркестрацию на сотни хостов. сторедж он использует свой, без кластерных FS и со своей реализацией разделения локов и HA. на самом деле многое что либвирт умеет написали и пропихнули в него ребята из oвирт, потому что это им было нужно. То же самое касается LVM и dm-mp

Ответить | Правка | ^ к родителю #33 | Наверх | Cообщить модератору

51. "Выпуск системы управления инфраструктурой виртуализации oVir..."  –8 +/
Сообщение от бублички (?), 04-Фев-19, 23:53 
libvirt с его уровнем хоста для меня вполне достаточно, для остального есть ansible или puppet. но спасибо за информацию
Ответить | Правка | ^ к родителю #48 | Наверх | Cообщить модератору

190. "Выпуск системы управления инфраструктурой виртуализации oVir..."  +/
Сообщение от Антон Зубковemail (?), 08-Фев-19, 14:45 
Какой это он storage использут без кластерной фс? ))
Ответить | Правка | ^ к родителю #48 | Наверх | Cообщить модератору

191. "Выпуск системы управления инфраструктурой виртуализации oVir..."  +/
Сообщение от Dim (??), 08-Фев-19, 17:20 
> Какой это он storage использут без кластерной фс? ))

eсть два варианта - файловый и блочный. Если файловый то NFS, gluster и любой posix compatible, если локами на нем управляет внешний плагин.
Блочный - любой который может увидеть device-mapper-multipath, который просто форматируется как PV и овирт управляет доступами хостов к LV, без ФС. Так оно и масштабируется на сотни хостов в одном кластере, и прослойка от VM к блокам стореджа тоньше.

Ответить | Правка | ^ к родителю #190 | Наверх | Cообщить модератору

28. "Выпуск системы управления инфраструктурой виртуализации oVir..."  +/
Сообщение от asdasd (?), 04-Фев-19, 23:30 
А зачем Proxmox'у libvirt?
Ответить | Правка | ^ к родителю #23 | Наверх | Cообщить модератору

30. "Выпуск системы управления инфраструктурой виртуализации oVir..."  –1 +/
Сообщение от бублички (?), 04-Фев-19, 23:34 
затем что мне он (libvirt) нравится :D
Ответить | Правка | ^ к родителю #28 | Наверх | Cообщить модератору

166. "Выпуск системы управления инфраструктурой виртуализации oVir..."  –2 +/
Сообщение от Аноним (166), 06-Фев-19, 11:14 
Просто ты потребитель, жрешь все что кинут на пол из RHEL/IBM парни.
Ответить | Правка | ^ к родителю #30 | Наверх | Cообщить модератору

179. "Выпуск системы управления инфраструктурой виртуализации oVir..."  +/
Сообщение от бублички (?), 06-Фев-19, 18:15 
> Просто ты потребитель, жрешь все что кинут на пол из RHEL/IBM парни.

твой oVirt такой-же точно и от тех-же самых парней, с тем-же самым libvirt под копотом

Ответить | Правка | ^ к родителю #166 | Наверх | Cообщить модератору

34. "Выпуск системы управления инфраструктурой виртуализации oVir..."  +/
Сообщение от kvaps (ok), 04-Фев-19, 23:38 
>много пользовался Proxmox и был уверен что они хотяб до libvirt доросли

Он там нафиг не нужен.

Ответить | Правка | ^ к родителю #23 | Наверх | Cообщить модератору

81. "Выпуск системы управления инфраструктурой виртуализации oVir..."  +/
Сообщение от Аноним (81), 05-Фев-19, 00:35 
Собери из исходников, че как маленький. А если не устраивает, иди мейтейнером стань.
Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

3. "Выпуск системы управления инфраструктурой виртуализации oVir..."  +/
Сообщение от бублички (?), 04-Фев-19, 22:27 
кто-то пользуется этим в production хотяб на 10-20 физических серверов? как работает live-миграция? что в качестве shared storage для live-миграции понимает без дополнительного шаманизма? лучше или хуже Proxmox в этом плане? ведь по сути у обоих проектов упор всецело на веб-оболочку "чтоб Роман из сэйлз и Кирилл из кастомер сервис тоже могли худо-бедно задеплоить сервачок когда приспичит"
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

6. "Выпуск системы управления инфраструктурой виртуализации oVir..."  +4 +/
Сообщение от анон (?), 04-Фев-19, 22:50 
да. fc или iscsi. Отлично лив мигрирует. хосты обновляем. Если надо сторедж замейнтить (диск вышел или обновить), позволяет мигрировать диски на другой шаред сторедж налету без даунтайма. В общем, джастдуит.
Ответить | Правка | ^ к родителю #3 | Наверх | Cообщить модератору

10. "Выпуск системы управления инфраструктурой виртуализации oVir..."  +/
Сообщение от бублички (?), 04-Фев-19, 23:05 
спасибо за отзыв. в плане live-migration предпочитаю Ganeti за его возможность пользоваться вдобавок DRBD, т.к. shared storage у клиентов если и запланирован то зачастую представляет собой лишь SPOF (недублирован), а спорить с ними пустое дело
Ответить | Правка | ^ к родителю #6 | Наверх | Cообщить модератору

43. "Выпуск системы управления инфраструктурой виртуализации oVir..."  +/
Сообщение от C (?), 04-Фев-19, 23:43 
Я гонял. Все норм. Бегало на двух с половиной стойках, всего больше 40 серваков. Айскази, миграция, гластер, высокая доступность, есть фенс агент, и даже работает. Проксмокс красивше. Овирт функциональнее. Можно смело юзать. Около двух лет гонялось примерно 2500 виртуалок. Не все одновременно, но под тысячу крутилось постоянно. Можно смело использовать. В качестве шаред стоража можно гластер. Можно нфс. Но с последним надо тонко шаманить на таймауты. С гластером попроще. Но и помедленнее.
Ответить | Правка | ^ к родителю #10 | Наверх | Cообщить модератору

111. "Выпуск системы управления инфраструктурой виртуализации oVir..."  +1 +/
Сообщение от Legionz (?), 05-Фев-19, 02:16 
ойо, гластер? клиенты на нфс хоть или на фьюзе?
Ответить | Правка | ^ к родителю #43 | Наверх | Cообщить модератору

13. "Выпуск системы управления инфраструктурой виртуализации oVir..."  +/
Сообщение от пох (?), 04-Фев-19, 23:09 
в случае проксы это абсолютно ложное утверждение.

во-первых, как раз гуй у них всегда был "красивенько, только недоделанно" - тривиальнейшие операции возможны только через ручное редактирование конфигов.

во-вторых, успехов вам самостоятельно поставить нечто способное на запуск kvm, хоть debian, хоть redhat based поверх raidz поверх (как raidz и полагается) jbod, и чтоб оно еще и загружалось, а потом прикрутить где-то рядом ceph, предположим даже с адом и трэшом в виде corosync, а не с pveшным, а теперь пристегните ремни и попробуем устроить тут live migration...
То есть одну вы поставите, верю, а на десятой тихо повеситесь в уголочке на сетевом проводе.

(то что оно у проксы все из соплей и клея, и лучше все же поставить вместо этого всего vmware - понятно, не обсуждается)

Ответить | Правка | ^ к родителю #3 | Наверх | Cообщить модератору

14. "Выпуск системы управления инфраструктурой виртуализации oVir..."  –6 +/
Сообщение от Dim (??), 04-Фев-19, 23:11 
> (то что оно у проксы все из соплей и клея, и лучше
> все же поставить вместо этого всего vmware - понятно, не обсуждается)

Я думал ажиотаж с zfs уже прошел и народ перестал тащить эту дрянь в прод, особенно в виде ZoL.

Ответить | Правка | ^ к родителю #13 | Наверх | Cообщить модератору

19. "Выпуск системы управления инфраструктурой виртуализации oVir..."  –4 +/
Сообщение от бублички (?), 04-Фев-19, 23:16 
извини, но бредни о вкусной и полезной ZFS даже читать не хочу. libvirt и pcs я сам умею, а Ceph не пригодилась ни разу
Ответить | Правка | ^ к родителю #13 | Наверх | Cообщить модератору

126. "Выпуск системы управления инфраструктурой виртуализации oVir..."  –1 +/
Сообщение от пох (?), 05-Фев-19, 09:57 
ну значит админу локалхоста с переизбытком свободного времени оно пока не требуется.

пилите шура дальше ваши голые libvirt и pcs, оне золотые...где-то там, поглубже, унутре - вам же совсем больше нечем заняться?

Ответить | Правка | ^ к родителю #19 | Наверх | Cообщить модератору

15. "Выпуск системы управления инфраструктурой виртуализации oVir..."  –7 +/
Сообщение от zzz (??), 04-Фев-19, 23:11 
Госпаде, Win2012 умел в live-миграцию уже в 2012-ом, и даже без общего хранилища. Не любите себе и руководству голову своими велосипедами, поставьте WinHV или VmWare, которые на семь (!) лет опережают сие наколеночное поделие.
Ответить | Правка | ^ к родителю #3 | Наверх | Cообщить модератору

17. "Выпуск системы управления инфраструктурой виртуализации oVir..."  +4 +/
Сообщение от Dim (??), 04-Фев-19, 23:13 
> Госпаде, Win2012 умел в live-миграцию уже в 2012-ом, и даже без общего
> хранилища. Не любите себе и руководству голову своими велосипедами, поставьте WinHV
> или VmWare, которые на семь (!) лет опережают сие наколеночное поделие.

овирт умел лайв миграцию еще в 2006-ом, когда еще назывался solidice, в миграции нет никакой магии

Ответить | Правка | ^ к родителю #15 | Наверх | Cообщить модератору

22. "Выпуск системы управления инфраструктурой виртуализации oVir..."  –5 +/
Сообщение от zzz (??), 04-Фев-19, 23:26 
Умел по принципу "кукарекнул, а там хоть солнце не вставай". До сих пор пилят до рабочего состояния.
Ответить | Правка | ^ к родителю #17 | Наверх | Cообщить модератору

24. "Выпуск системы управления инфраструктурой виртуализации oVir..."  +1 +/
Сообщение от Dim (??), 04-Фев-19, 23:27 
> Умел по принципу "кукарекнул, а там хоть солнце не вставай". До сих
> пор пилят до рабочего состояния.

ну что за херня? все прекрасно работает уже более десятилетия

Ответить | Правка | ^ к родителю #22 | Наверх | Cообщить модератору

32. "Выпуск системы управления инфраструктурой виртуализации oVir..."  –1 +/
Сообщение от zzz (??), 04-Фев-19, 23:38 
УМВР - отличный аргумент. Вам бы на лор сходить, что ли.
Ответить | Правка | ^ к родителю #24 | Наверх | Cообщить модератору

44. "Выпуск системы управления инфраструктурой виртуализации oVir..."  +1 +/
Сообщение от Dim (??), 04-Фев-19, 23:43 
> УМВР - отличный аргумент. Вам бы на лор сходить, что ли.

Потому что нечего ахинею нести. Я строил датацентры с KVM под капотом последние 11 лет, никогда особых проблем с миграцией не видел. Стандартная сетевая синхронизация

Ответить | Правка | ^ к родителю #32 | Наверх | Cообщить модератору

57. "Выпуск системы управления инфраструктурой виртуализации oVir..."  –1 +/
Сообщение от zzz (??), 05-Фев-19, 00:00 
>никогда _особых_ проблем не видел

То-то и оно.

Ответить | Правка | ^ к родителю #44 | Наверх | Cообщить модератору

62. "Выпуск системы управления инфраструктурой виртуализации oVir..."  +1 +/
Сообщение от Dim (??), 05-Фев-19, 00:05 
> То-то и оно.

Проблем с миграцией не было. Проблемы обычно в сетевом стеке

Ответить | Правка | ^ к родителю #57 | Наверх | Cообщить модератору

71. "Выпуск системы управления инфраструктурой виртуализации oVir..."  –2 +/
Сообщение от zzz (??), 05-Фев-19, 00:15 
Команда cp отработала штатно, невероятное достижение, никогда такого не было, и только в KVM...!
Ответить | Правка | ^ к родителю #62 | Наверх | Cообщить модератору

75. "Выпуск системы управления инфраструктурой виртуализации oVir..."  +3 +/
Сообщение от Dim (??), 05-Фев-19, 00:21 
> Команда cp отработала штатно, невероятное достижение, никогда такого не было, и только
> в KVM...!

окей, я понял. ты очередной мышкотолкатель у которого подгорает при виде вещей в которых он не понимает. здоровья и счастья тебе, вы держитесь там

Ответить | Правка | ^ к родителю #71 | Наверх | Cообщить модератору

80. "Выпуск системы управления инфраструктурой виртуализации oVir..."  –5 +/
Сообщение от zzz (??), 05-Фев-19, 00:33 
Куда уж нам, сирым и убогим HV/ESXiникам, только на помойку под напором фич KVM
Ответить | Правка | ^ к родителю #75 | Наверх | Cообщить модератору

87. "Выпуск системы управления инфраструктурой виртуализации oVir..."  +/
Сообщение от Dim (??), 05-Фев-19, 00:45 
> Куда уж нам, сирым и убогим HV/ESXiникам, только на помойку под напором
> фич KVM

так уже ведь на помойке. AWS использует KVM, GCP тоже, rackspace, vultr, да вообще все кроме azure на нем. ESXi вместе с HV давно уже на помойке, потому что будущего у них нет. KVM тоже  подохнет, когда контейнеры научатся все OS запускать, но ESXi уже давно будет дохлой.

Ответить | Правка | ^ к родителю #80 | Наверх | Cообщить модератору

182. "Выпуск системы управления инфраструктурой виртуализации oVir..."  –1 +/
Сообщение от Аноним (182), 06-Фев-19, 20:46 
То то у тебя хвост дымится вечно, яростная манифестация чувства неполноценности при любом удобном случае. Ох уж эти вантузоиды.
Ответить | Правка | ^ к родителю #80 | Наверх | Cообщить модератору

123. "Дмитрий, с вами как то можно связаться ? "  +/
Сообщение от mamontsemail (ok), 05-Фев-19, 09:42 
Дмитрий, с вами как то можно связаться ? У меня просто есть несколько вопросов по датацентру. Если что babkin@belregion.ru
Ответить | Правка | ^ к родителю #44 | Наверх | Cообщить модератору

117. "Выпуск системы управления инфраструктурой виртуализации oVir..."  +/
Сообщение от Олег (??), 05-Фев-19, 08:26 
Стойка на proxmox
Проблем с миграциями нет.
Ответить | Правка | ^ к родителю #32 | Наверх | Cообщить модератору

121. "Выпуск системы управления инфраструктурой виртуализации oVir..."  –2 +/
Сообщение от Аноним (121), 05-Фев-19, 09:21 
На бесплатном проксмосе? Который "для тестов, нестабильный тра-ля-ля, дай денег"
Ответить | Правка | ^ к родителю #117 | Наверх | Cообщить модератору

127. "Выпуск системы управления инфраструктурой виртуализации oVir..."  +/
Сообщение от пох (?), 05-Фев-19, 10:05 
storage у этой стойки из чего сделан?
Ответить | Правка | ^ к родителю #117 | Наверх | Cообщить модератору

132. "Выпуск системы управления инфраструктурой виртуализации oVir..."  +3 +/
Сообщение от PnDx (ok), 05-Фев-19, 12:23 
Не знаю, что там 10 лет прекрасно.
Связка (postcopy+HP) анонсирована в 2017 (qemu-kvm 2.9 на ядрах от 4.11 /реально заработало после 4.12/). До этого на нормальных нагрузках (которыми в т.ч. я занимаюсь) был тот ещё цирк (и будет, пока все площадки не пройдут апгрейд).
Миграция между стораджами через NBD появилась в районе qemu 2.4, что тоже ни разу не 10 лет. С предыдущим, доморощенным "механизмом" можно было такое "ой" отхвать, что данные только совочком собрать и в утиль.
Ответить | Правка | ^ к родителю #24 | Наверх | Cообщить модератору

139. "Выпуск системы управления инфраструктурой виртуализации oVir..."  +1 +/
Сообщение от нах (?), 05-Фев-19, 16:40 
но хоть щас то - настало щастье? А то тут только фанбои и хейтеры выступали, человека с реальным опытом послушать бы хотелось.

Ответить | Правка | ^ к родителю #132 | Наверх | Cообщить модератору

175. "Выпуск системы управления инфраструктурой виртуализации oVir..."  +1 +/
Сообщение от PnDx (ok), 06-Фев-19, 13:59 
> но хоть щас то - настало щастье? А то тут только фанбои
> и хейтеры выступали, человека с реальным опытом послушать бы хотелось.

  Скажем так, объём регламентов в части виртуализации у меня в конторе потихоньку сокращается. Например, внедрение postcopy даёт шанс "прозрачно" таскать критичные к даунтаймам в сотни мс инстансы (e.g. rabbitMQ) поверх обычного Ethernet.
  На мой вкус, связки (qemu-kvm + libvirt) можно использовать года так с 2017 (qemu 2.4+, libvirt 1.3+) без фатальных последствий. Остаются "родовые травмы" (например, CPU context switching на вводе/выводе ВМ), но это уже́ обычный вопрос выбора инструмента (не qemu единым).

Ответить | Правка | ^ к родителю #139 | Наверх | Cообщить модератору

144. "Выпуск системы управления инфраструктурой виртуализации oVir..."  +/
Сообщение от Dim (??), 05-Фев-19, 17:20 
> Не знаю, что там 10 лет прекрасно.
> Связка (postcopy+HP) анонсирована в 2017 (qemu-kvm 2.9 на ядрах от 4.11 /реально
> заработало после 4.12/).

Обычная миграция не требует postcopy. LSM вышел, емнип в районе 2010, просто миграция без переноса стореджа была с самого начала (2006).

> До этого на нормальных нагрузках (которыми в т.ч.
> я занимаюсь) был тот ещё цирк (и будет, пока все площадки
> не пройдут апгрейд).

Что конкретно не пашет?

> Миграция между стораджами через NBD появилась в районе qemu 2.4, что тоже
> ни разу не 10 лет. С предыдущим, доморощенным "механизмом" можно было
> такое "ой" отхвать, что данные только совочком собрать и в утиль.

NBD - эдин из самых долбанутых механизмов в QEMU (Фабрис - тот еще чудик), и использовать NBD в проде дело сомнительное. А внешний механизм который использует RHV вполне себе рабочий, если его не насиловать

Ответить | Правка | ^ к родителю #132 | Наверх | Cообщить модератору

172. "Выпуск системы управления инфраструктурой виртуализации oVir..."  +/
Сообщение от PnDx (ok), 06-Фев-19, 13:22 
> Обычная миграция не требует postcopy. LSM вышел, емнип в районе 2010, просто
> миграция без переноса стореджа была с самого начала (2006).

  Ага, без нагрузки на CPU>>RAM. Ну или при наличии какого-нибудь "безразмерного" RDMA (что тоже не так давно появилось в qemu).
  * Тротлинг при миграции появился чуть раньше postcopy, но тоже совсем недавно (и чреват обрушением мигрируемого сервиса из-за неконтролируемого провала производительности вирт. CPU). А без ничего протащить нормально нагруженную ВМ (с десятками ГБ ОЗУ) через "верёвку" ethernet 10Гбит/с (а у меня ещё остались площадки с 1 Гбит) — это нужно или SLA с допустимыми даунтаймами по 30+ секунд, или убирать с ВМ нагрузку при миграции.

>> До этого на нормальных нагрузках (которыми в т.ч.
>> я занимаюсь) был тот ещё цирк (и будет, пока все площадки
>> не пройдут апгрейд).
> Что конкретно не пашет?

  Например, такой нюанс. Работа ВМ qemu в rss ведёт (на наших нагрузках) к агрессивной фрагментации ОЗУ. Через короткое время в buddy не остаётся блоков нижних порядков. Здравствуй, OOM. Лечится преаллокацией в HP. Вроде, всё ок?
  Ага, пока не надо мигрировать. Стандартная huge-страница 2МБ (внезапно) инвалидируется целиком. Эффект на ширину потока данных при миграции ясен?

>> Миграция между стораджами через NBD появилась в районе qemu 2.4, что тоже
>> ни разу не 10 лет. С предыдущим, доморощенным "механизмом" можно было
>> такое "ой" отхвать, что данные только совочком собрать и в утиль.
> NBD - эдин из самых долбанутых механизмов в QEMU (Фабрис - тот
> еще чудик), и использовать NBD в проде дело сомнительное. А внешний
> механизм который использует RHV вполне себе рабочий, если его не насиловать

У меня за NBD пока только 1 нюанс числится: портит данные при проблемах с пересборкой пакетов в TCP (как раз на "узких" каналах). Но здесь можно съехать "ну это же TCP, чините его" (что я и делал).
  За намёк на внешний механизм спасибо, надо поглядеть (что-то я проспал видимо, когда последний раз ходил в код libvirt, или через что он рулится?).

Ответить | Правка | ^ к родителю #144 | Наверх | Cообщить модератору

21. "Выпуск системы управления инфраструктурой виртуализации oVir..."  +/
Сообщение от бублички (?), 04-Фев-19, 23:20 
тебе читать бы научиться. мой вопрос был гораздо проще твоих напрасных объяснений
Ответить | Правка | ^ к родителю #15 | Наверх | Cообщить модератору

25. "Выпуск системы управления инфраструктурой виртуализации oVir..."  +1 +/
Сообщение от zzz (??), 04-Фев-19, 23:28 
А что вы хотели услышать? Репорт двух с половиной анонимусов об удачной миграции недопиленной платформы? Ловите наркомана.jpg
Ответить | Правка | ^ к родителю #21 | Наверх | Cообщить модератору

27. "Выпуск системы управления инфраструктурой виртуализации oVir..."  +/
Сообщение от Dim (??), 04-Фев-19, 23:29 
> А что вы хотели услышать? Репорт двух с половиной анонимусов об удачной
> миграции недопиленной платформы? Ловите наркомана.jpg

KVM - недопиленная платформа?

Ответить | Правка | ^ к родителю #25 | Наверх | Cообщить модератору

29. "Выпуск системы управления инфраструктурой виртуализации oVir..."  +/
Сообщение от анон (?), 04-Фев-19, 23:30 
давайте опустим детский сад - без общего хранилища мигрируем и блаблабла... Есть онлайн миграция vm с одного хоста на другой без изменения нахождения дисков vm. Есть онлайн миграция дисков vm с одного стореджа на другой без смены хоста, где запущен vm. И то и другое работает из коробки в вебморде или апи, время переключения 10-200мс. Все это позволяет полностью без даунтайма абстрагироваться от железа от слова полностью.
Ответить | Правка | ^ к родителю #15 | Наверх | Cообщить модератору

49. "Выпуск системы управления инфраструктурой виртуализации oVir..."  –3 +/
Сообщение от zzz (??), 04-Фев-19, 23:51 
Именно поэтому только в 2к19 "Реализована полная поддержка live-миграции виртуальных машин на основе профиля "High Performance VM". KVM - изначально решение для васян-хостингов, каковым и осталось.
Ответить | Правка | ^ к родителю #29 | Наверх | Cообщить модератору

52. "Выпуск системы управления инфраструктурой виртуализации oVir..."  +/
Сообщение от Dim (??), 04-Фев-19, 23:53 
> Именно поэтому только в 2к19 "Реализована полная поддержка live-миграции виртуальных машин
> на основе профиля "High Performance VM". KVM - изначально решение для
> васян-хостингов, каковым и осталось.

расскажи мне, что же по твоему такое "high performance VM", и покажи мне аналог который легко мигрируется на других системах

Ответить | Правка | ^ к родителю #49 | Наверх | Cообщить модератору

56. "Выпуск системы управления инфраструктурой виртуализации oVir..."  +/
Сообщение от анон (?), 04-Фев-19, 23:59 
да это какой-то маркетинг High Performance VM - который ввели только в 4.2 чтоли, зачем даже не разбирался. Все там давно мигрирует вдоль и поперек
Ответить | Правка | ^ к родителю #49 | Наверх | Cообщить модератору

60. "Выпуск системы управления инфраструктурой виртуализации oVir..."  +/
Сообщение от анон (?), 05-Фев-19, 00:04 
короч, это vm  с cpu pinning. Такие вообще не должны мигрироваться по логике -)
Ответить | Правка | ^ к родителю #56 | Наверх | Cообщить модератору

65. "Выпуск системы управления инфраструктурой виртуализации oVir..."  –1 +/
Сообщение от Dim (??), 05-Фев-19, 00:08 
> короч, это vm  с cpu pinning. Такие вообще не должны мигрироваться
> по логике -)

А в Овирте, в 2019, они (surprise!) мигрируют тем не менее. Еще там мигрируют машины с проброшенным железом (VM-FEX 802.1Qbg например).

Ответить | Правка | ^ к родителю #60 | Наверх | Cообщить модератору

72. "Выпуск системы управления инфраструктурой виртуализации oVir..."  +/
Сообщение от zzz (??), 05-Фев-19, 00:17 
Система виртуализации ломает принятые правила? Достижение!
Ответить | Правка | ^ к родителю #65 | Наверх | Cообщить модератору

76. "Выпуск системы управления инфраструктурой виртуализации oVir..."  +/
Сообщение от Dim (??), 05-Фев-19, 00:22 
> Система виртуализации ломает принятые правила? Достижение!

технология ломает то что конкуренты считали невозможным! достижение, да. Тебе все еще достаточно 640k памяти?

Ответить | Правка | ^ к родителю #72 | Наверх | Cообщить модератору

82. "Выпуск системы управления инфраструктурой виртуализации oVir..."  –2 +/
Сообщение от zzz (??), 05-Фев-19, 00:36 
Неправильным, но какая разница, покуда разговор идет с фанбоем, который 11 лет только и делает, что городит кластеры под KVM за неумением в другие технологии.
Ответить | Правка | ^ к родителю #76 | Наверх | Cообщить модератору

90. "Выпуск системы управления инфраструктурой виртуализации oVir..."  +/
Сообщение от Dim (??), 05-Фев-19, 00:50 
> Неправильным, но какая разница, покуда разговор идет с фанбоем, который 11 лет
> только и делает, что городит кластеры под KVM за неумением в
> другие технологии.

мне не надо быть фанбоем, мне достаточно посмотреть на статистику. линукс уже давно не странная маргинальщина, а стандартная серверная ОС, и KVM уже давно не фигня для краснглазых а стандартный гипервизор для большинства облачных систем.

Ответить | Правка | ^ к родителю #82 | Наверх | Cообщить модератору

68. "Выпуск системы управления инфраструктурой виртуализации oVir..."  –2 +/
Сообщение от zzz (??), 05-Фев-19, 00:10 
Если вы считаете достижением полноценную поддержку ядра только спустя 4 года, то остается только развести руками. Я уж лучше по старинке, HV+ESXi. Понадежнее, знаете ли, не до слоупочьих забав.
Ответить | Правка | ^ к родителю #56 | Наверх | Cообщить модератору

115. "Выпуск системы управления инфраструктурой виртуализации oVir..."  +/
Сообщение от пох (?), 05-Фев-19, 07:08 
> Госпаде, Win2012 умел в live-миграцию уже в 2012-ом

http://web.archive.org/web/20100216042115/http://www.virtual...
сановская документация версии 2 не сохранилась, а то бы оказалось что и в 2008м был.

но это немножечко не та лайвмиграция, которая нужна в 2019.

при этом с, скажем, бэкапами - внезапно, все плохо что у той, что у другой.

Бэкап той же проксы - внезапно, банальный zfs send. Инкрементальный, если знать где грабли, быстрый и эффективный. А вмварь сама по себе, не виртуалки в ней - вообще никак не бэкапится, вот это да, вот это ентер-прайс солюшн. У винды наоборот - сервер легко, виртуалки, особенно невиндовые, не умеющие vss - с кучей приседаний и проблем на пустом месте.

Не то чтобы хотелось в один непрекрасный день заделаться админом опенотсосного велика, но поглядывать в ту сторону все же очень и очень полезно для понимания, в какой заднице вся индустрия.

Ответить | Правка | ^ к родителю #15 | Наверх | Cообщить модератору

37. "Выпуск системы управления инфраструктурой виртуализации oVir..."  +/
Сообщение от Const (??), 04-Фев-19, 23:40 
Я гонял. Все норм. Бегало на двух с половиной стойках, всего больше 40 серваков. Айскази, миграция, гластер, высокая доступность, есть фенс агент, и даже работает. Проксмокс красивше. Овирт функциональнее. Можно смело юзать. Около двух лет гонялось примерно 2500 виртуалок. Не все одновременно, но под тысячу крутилось постоянно. Можно смело использовать. В качестве шаред стоража можно гластер. Можно нфс. Но с последним надо тонко шаманить на таймауты. С гластером попроще. Но и помедленнее.
Ответить | Правка | ^ к родителю #3 | Наверх | Cообщить модератору

46. "Выпуск системы управления инфраструктурой виртуализации oVir..."  +/
Сообщение от анон (?), 04-Фев-19, 23:45 
Вполне можно использовать iscsi и fc как shared помимо nfs. и даже с multipath
Ответить | Правка | ^ к родителю #37 | Наверх | Cообщить модератору

39. "Выпуск системы управления инфраструктурой виртуализации oVir..."  +/
Сообщение от C (?), 04-Фев-19, 23:41 
Я гонял. Все норм. Бегало на двух с половиной стойках, всего больше 40 серваков. Айскази, миграция, гластер, высокая доступность, есть фенс агент, и даже работает. Проксмокс красивше. Овирт функциональнее. Можно смело юзать. Около двух лет гонялось примерно 2500 виртуалок. Не все одновременно, но под тысячу крутилось постоянно. Можно смело использовать. В качестве шаред стоража можно гластер. Можно нфс. Но с последним надо тонко шаманить на таймауты. С гластером попроще. Но и помедленнее.
Ответить | Правка | ^ к родителю #3 | Наверх | Cообщить модератору

47. "Выпуск системы управления инфраструктурой виртуализации oVir..."  +/
Сообщение от бублички (?), 04-Фев-19, 23:47 
GlusterFS, что в user-space, вызывает лишь слёзы в качестве shared-storage. ведь есть же DRBD в kernel-space
Ответить | Правка | ^ к родителю #39 | Наверх | Cообщить модератору

50. "Выпуск системы управления инфраструктурой виртуализации oVir..."  +1 +/
Сообщение от Dim (??), 04-Фев-19, 23:52 
ты серьезно не понимаешь разницу между DRBD и SDS?
Ответить | Правка | ^ к родителю #47 | Наверх | Cообщить модератору

63. "Выпуск системы управления инфраструктурой виртуализации oVir..."  –1 +/
Сообщение от бублички (?), 05-Фев-19, 00:05 
перечитай исходное сообщение
Ответить | Правка | ^ к родителю #50 | Наверх | Cообщить модератору

67. "Выпуск системы управления инфраструктурой виртуализации oVir..."  +2 +/
Сообщение от Dim (??), 05-Фев-19, 00:10 
> перечитай исходное сообщение

я его видел. DRBD сравнивать с gluster это как минимум странно. Они вообще разные, для совершенно разных целей, и выполняют совершенно разные роли.

Ответить | Правка | ^ к родителю #63 | Наверх | Cообщить модератору

70. "Выпуск системы управления инфраструктурой виртуализации oVir..."  –1 +/
Сообщение от бублички (?), 05-Фев-19, 00:15 
я знаю что они разные, но товарищ выше писал о GlusterFS в качестве shared-storage, что вызвало у меня слёзы. ты что-то совсем не то читаешь в том что вдобавок не тебе было адресовано
Ответить | Правка | ^ к родителю #67 | Наверх | Cообщить модератору

74. "Выпуск системы управления инфраструктурой виртуализации oVir..."  +/
Сообщение от Dim (??), 05-Фев-19, 00:20 
> я знаю что они разные, но товарищ выше писал о GlusterFS в
> качестве shared-storage, что вызвало у меня слёзы. ты что-то совсем не
> то читаешь в том что вдобавок не тебе было адресовано

Tак и DRBD не shared storage (a gluster как раз таки да). Ты просто сравниваешь слишком разные вещи, ты бы еще NFS и LVM сравнил

Ответить | Правка | ^ к родителю #70 | Наверх | Cообщить модератору

79. "Выпуск системы управления инфраструктурой виртуализации oVir..."  –2 +/
Сообщение от бублички (?), 05-Фев-19, 00:31 
ты больной какой-то? где я их сравнивал?
Ответить | Правка | ^ к родителю #74 | Наверх | Cообщить модератору

85. "Выпуск системы управления инфраструктурой виртуализации oVir..."  –2 +/
Сообщение от zzz (??), 05-Фев-19, 00:41 
Обычный фанатик KVM. Как-никак, 11 лет кластеры поднимает, не то, что мы, грязь из-под ногтей.
Ответить | Правка | ^ к родителю #79 | Наверх | Cообщить модератору

91. "Выпуск системы управления инфраструктурой виртуализации oVir..."  +/
Сообщение от Dim (??), 05-Фев-19, 00:51 
> Обычный фанатик KVM. Как-никак, 11 лет кластеры поднимает, не то, что мы,
> грязь из-под ногтей.

у тебя отличное самоопределение

Ответить | Правка | ^ к родителю #85 | Наверх | Cообщить модератору

86. "Выпуск системы управления инфраструктурой виртуализации oVir..."  +/
Сообщение от Dim (??), 05-Фев-19, 00:42 
> ты больной какой-то? где я их сравнивал?

ты их не просто сравнил, но еще и в качестве shared storage, хотя DRBD вообще не об этом.

Ответить | Правка | ^ к родителю #79 | Наверх | Cообщить модератору

94. "Выпуск системы управления инфраструктурой виртуализации oVir..."  –2 +/
Сообщение от бублички (?), 05-Фев-19, 00:55 
товарищ, ты наркоман? почему ты читаешь совсем не то что я пишу? я ни разу не сказал о DRBD в контексте shared-storage, подразумевал лишь в качестве репликации. или тебе объяснить всё-всё и с самого начала и во всех случаях?
Ответить | Правка | ^ к родителю #86 | Наверх | Cообщить модератору

96. "Выпуск системы управления инфраструктурой виртуализации oVir..."  +1 +/
Сообщение от Dim (??), 05-Фев-19, 00:56 
> товарищ, ты наркоман? почему ты читаешь совсем не то что я пишу?
> я ни разу не сказал о DRBD в контексте shared-storage, подразумевал
> лишь в качестве репликации. или тебе объяснить всё-всё и с самого
> начала и во всех случаях?
>> GlusterFS, ... вызывает лишь слёзы в качестве shared-storage. ведь есть же DRBD ...

как это понимать?

Ответить | Правка | ^ к родителю #94 | Наверх | Cообщить модератору

41. "Выпуск системы управления инфраструктурой виртуализации oVir..."  +/
Сообщение от C (?), 04-Фев-19, 23:41 
Я гонял. Все норм. Бегало на двух с половиной стойках, всего больше 40 серваков. Айскази, миграция, гластер, высокая доступность, есть фенс агент, и даже работает. Проксмокс красивше. Овирт функциональнее. Можно смело юзать. Около двух лет гонялось примерно 2500 виртуалок. Не все одновременно, но под тысячу крутилось постоянно. Можно смело использовать. В качестве шаред стоража можно гластер. Можно нфс. Но с последним надо тонко шаманить на таймауты. С гластером попроще. Но и помедленнее.
Ответить | Правка | ^ к родителю #3 | Наверх | Cообщить модератору

173. "Выпуск системы управления инфраструктурой виртуализации oVir..."  +/
Сообщение от Тимофей (??), 06-Фев-19, 13:42 
Возьми да разверни и попробуй.
Ответить | Правка | ^ к родителю #3 | Наверх | Cообщить модератору

5. "Выпуск системы управления инфраструктурой виртуализации oVir..."  +/
Сообщение от бублички (?), 04-Фев-19, 22:40 
скриншотик что-то бомжацкий совсем - Dell PowerEdge R210 II c 4 GB памяти. да и сетевой интерфейс наверное 1 Gbit, а значит полностью программный для гостевых систем - никакого SR-IOV и ixgbevf/igbvf. а это уровень годов так 2008-2010
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

7. "Выпуск системы управления инфраструктурой виртуализации oVir..."  +1 +/
Сообщение от анон (?), 04-Фев-19, 22:52 
SR-IOV есть с волосатых времен. лично запускал.
Ответить | Правка | ^ к родителю #5 | Наверх | Cообщить модератору

12. "Выпуск системы управления инфраструктурой виртуализации oVir..."  –1 +/
Сообщение от бублички (?), 04-Фев-19, 23:09 
веб-оболочка oVirt непосредственно понимает интерфейсы ixgbevf/igbvf в виде пула и даёт присваивать гостевым сервера? или ты это ручками запускал? хотя чего там понимать - libvirt ведь это из коробки понимает
Ответить | Правка | ^ к родителю #7 | Наверх | Cообщить модератору

18. "Выпуск системы управления инфраструктурой виртуализации oVir..."  +1 +/
Сообщение от анон (?), 04-Фев-19, 23:15 
все из веб морды. только раньше надо было что-то еще в Grub2 в загрузку для igb написать
Ответить | Правка | ^ к родителю #12 | Наверх | Cообщить модератору

31. "Выпуск системы управления инфраструктурой виртуализации oVir..."  –2 +/
Сообщение от zzz (??), 04-Фев-19, 23:36 
Дык KVM и есть тех же годов. Его уже все обошли по фичам, уже даже bhyve в спину дышит - а люди до сих пор гордятся поделкой из кружка "Умелые руки" десятилетней давности. Фанатики что с них взять.
Ответить | Правка | ^ к родителю #5 | Наверх | Cообщить модератору

36. "Выпуск системы управления инфраструктурой виртуализации oVir..."  –1 +/
Сообщение от бублички (?), 04-Фев-19, 23:40 
гордятся? где ты таких людей видел? немедленно перестань с ними общаться
Ответить | Правка | ^ к родителю #31 | Наверх | Cообщить модератору

83. "Выпуск системы управления инфраструктурой виртуализации oVir..."  –2 +/
Сообщение от zzz (??), 05-Фев-19, 00:38 
Стараюсь, но они сами идут со мной на контакт, как пресловутый @Dim.
Ответить | Правка | ^ к родителю #36 | Наверх | Cообщить модератору

38. "Выпуск системы управления инфраструктурой виртуализации oVir..."  +4 +/
Сообщение от Dim (??), 04-Фев-19, 23:40 
> Дык KVM и есть тех же годов. Его уже все обошли по
> фичам, уже даже bhyve в спину дышит - а люди до
> сих пор гордятся поделкой из кружка "Умелые руки" десятилетней давности. Фанатики
> что с них взять.

KVM появился позже чем vmware и xen, быстро догнал их по фичам и на сегодня им пользуются все основные облачные хостеры кроме Azure и частично AWS. Нормально так для "поделки".

Гипервизоры как таковые уже давно никого не удивляют и их с тех пор понаписали еще много для более узкого использования (siemens, google, еще китайцы какие-то свое пилили, bhyve).

Если KVM это поделка, то почему другие гипервизоры не поделка?

Ответить | Правка | ^ к родителю #31 | Наверх | Cообщить модератору

88. "Выпуск системы управления инфраструктурой виртуализации oVir..."  –1 +/
Сообщение от zzz (??), 05-Фев-19, 00:47 
Когда-то все так же пользовались Apache, а потом внезапно перешли на nginx. История должна была чему-то научить, но только не фанбоев.

Всё жду, когда bhyve обойдет по фичам KVM.

Ответить | Правка | ^ к родителю #38 | Наверх | Cообщить модератору

92. "Выпуск системы управления инфраструктурой виртуализации oVir..."  –2 +/
Сообщение от Dim (??), 05-Фев-19, 00:53 
> Когда-то все так же пользовались Apache, а потом внезапно перешли на nginx.
> История должна была чему-то научить, но только не фанбоев.
> Всё жду, когда bhyve обойдет по фичам KVM.

ну да, все пользовались ESX (i потом появился) и перешли на KVM. Сейчас все переходят на докер (даже сам KVM), но фанаты проприетарщины застряли в прошлом десятилетии.

Ответить | Правка | ^ к родителю #88 | Наверх | Cообщить модератору

102. "Выпуск системы управления инфраструктурой виртуализации oVir..."  +/
Сообщение от бублички (?), 05-Фев-19, 01:14 
я не ошибся, ты сравниваешь Docker и KVM? что вдруг случилось?
Ответить | Правка | ^ к родителю #92 | Наверх | Cообщить модератору

103. "Выпуск системы управления инфраструктурой виртуализации oVir..."  –1 +/
Сообщение от Dim (??), 05-Фев-19, 01:16 
> я не ошибся, ты сравниваешь Docker и KVM? что вдруг случилось?

а что тебя смущает?

Ответить | Правка | ^ к родителю #102 | Наверх | Cообщить модератору

124. "Выпуск системы управления инфраструктурой виртуализации oVir..."  +1 +/
Сообщение от пох (?), 05-Фев-19, 09:49 
"все пользовались и перешли" - ну-ка, ну-ка, кто же это, кто эти уникумы?

На деле кто пользовались gsx (esx это выбор нище...выпоняли)те и сегодня пользуются vcenter.
И ни на какой докер они не переходят и не перейдут, причем бы тут этот недоконтейнер вообще, когда речь про виртуализацию?

Но вот насчет не угробят ли китайцы под руководством дефективных менеджеров vmware, и не придется ли хошь не хошь перебираться на kvm в любой обертке - это действительно вопрос. Причем, в общем-то, с готовым ответом, если только kvm и ее обертки не превратятся в нечто совершенно негодное для использования еще раньше.

Ответить | Правка | ^ к родителю #92 | Наверх | Cообщить модератору

142. "Выпуск системы управления инфраструктурой виртуализации oVir..."  +/
Сообщение от Dim (??), 05-Фев-19, 17:09 
> "все пользовались и перешли" - ну-ка, ну-ка, кто же это, кто эти
> уникумы?

Велкам на сайт Red Hat, в список клиентов RHV и OpenStack.

> На деле кто пользовались gsx (esx это выбор нище...выпоняли)те и сегодня пользуются
> vcenter.
> И ни на какой докер они не переходят и не перейдут, причем
> бы тут этот недоконтейнер вообще, когда речь про виртуализацию?

Я тут недавно (ну как недавно, с год назад) был у одного клиента, небольшой такой инвестиционный банк с Wall St., только в нашем городе за 50000 хостов с варей. Только крутятся там одни линуксы, и до них вдруг дошло что надо бы переходить на k8s (openshift в их случае), и урезать количество инстансов в несколько раз. Сейчас все уже работает, железа осталось в районе 15к хостов, а работает все намного быстрее. Такой вот недоконтейнер (уже не докер правда а CRI-O), который не способен заменить виртуализацию.

> Но вот насчет не угробят ли китайцы под руководством дефективных менеджеров vmware,
> и не придется ли хошь не хошь перебираться на kvm в
> любой обертке - это действительно вопрос. Причем, в общем-то, с готовым
> ответом, если только kvm и ее обертки не превратятся в нечто
> совершенно негодное для использования еще раньше.

Там разные обертки есть. Опенстак - то еще г, особенно если его ставить из ванили, и пытаться решать задачи для которых он не предназначен. оВирт вполне себе рабочий вариант, но он для уровня ДЦ а не облака. Уже есть kubevirt под k8s/openshift, там может оказаться совсем не плохо, но я его не гонял пока что в проде.

Ответить | Правка | ^ к родителю #124 | Наверх | Cообщить модератору

152. "Выпуск системы управления инфраструктурой виртуализации oVir..."  +/
Сообщение от пох (?), 05-Фев-19, 20:05 
> Велкам на сайт Red Hat, в список клиентов RHV и OpenStack.

так это не перешли, это те кому впарили.

> Я тут недавно (ну как недавно, с год назад) был у одного клиента, небольшой такой инвестиционный
> банк с Wall St., только в нашем городе за 50000 хостов с варей.

в общем тут уже можно не продолжать, да -   ^^^ пц как он есть. Что только не делают люди, чтоб кляту винду не ставить ;-)

> Только крутятся там одни линуксы, и до них вдруг дошло что надо бы переходить на k8s (openshift
> в их случае)

до них дошло, или пришел новый (стопиццотый по счету) аутсорсер и велел запилить впопенштифт, потому что модно и он вообще-то другого не умеет?

Потому как (глядя на свое хозяйство, где, в общем-то, даже и докер, но ни разу не микросервисный), обычно это означает взорвать все к чертям вместе с разработчиками (которые очевидно умеют только то что умеют) и сделать с нуля. Банчок такое может и не пережить, даже с уолстрит, там, грят, волки бродют, которые не упустят кусить за бочок, пока клиент под наркозом по поводу замены всей пищеварительной системы целиком, от глотки до сраки.
Нет, тупо заменить виртуалки контейнерами под опеншифтом - это из области сказок венского леса. (или там были крутые и таки clear?)

> Там разные обертки есть. Опенстак - то еще г, особенно если его ставить из ванили, и пытаться
> решать задачи для которых он не предназначен.

а для каких он таки предназначен, кроме освоения бюджета?

> оВирт вполне себе рабочий вариант, но он для уровня ДЦ а не облака.

ну у меня вот были есть и будут, надеюсь, именно ДЦ, и никаких облаков.
Чего ради я могу выбрать oVirt, если вмварь пока еще жива и вполне себе работает? "затобесплатно" не катит, мне эти деньги все равно не достанутся, а геморрой вот он.

P.S. с безопасного расстояния наблюдаю за развертыванием опеншитового кластера, грозящего поглотить наши системы. Гы-гы-гы. Кстати, поверх вмвари, ага, смешно.

Ответить | Правка | ^ к родителю #142 | Наверх | Cообщить модератору

153. "Выпуск системы управления инфраструктурой виртуализации oVir..."  –1 +/
Сообщение от Dim (??), 05-Фев-19, 20:43 
> так это не перешли, это те кому впарили.

я лично переводил клиентов, когда там работал. Как раз таких кому до этого впарили варю, и ин надоело переплачивать

> в общем тут уже можно не продолжать, да -   ^^^
> пц как он есть. Что только не делают люди, чтоб кляту
> винду не ставить ;-)

согласен. Сейчас поднять рабочий сервер занимает пару секунд, раньше было до 40 минут (пока vsan просрется, пока vcloud отпыхтит...)

> до них дошло, или пришел новый (стопиццотый по счету) аутсорсер и велел
> запилить впопенштифт, потому что модно и он вообще-то другого не умеет?

Думаешь ты умнее чем CTO топового американского банка?

> Потому как (глядя на свое хозяйство, где, в общем-то, даже и докер,
> но ни разу не микросервисный), обычно это означает взорвать все к
> чертям вместе с разработчиками (которые очевидно умеют только то что умеют)

разработчикам нужна кнопка. Нажал - получил хост с установками. Или тысячу. Им пофиг на чем оно там крутится.

> Нет, тупо заменить виртуалки контейнерами под опеншифтом - это из области сказок
> венского леса. (или там были крутые и таки clear?)

Виртуалки остались для всяких внутренних эксченджей и прочей админской кухни. Основная масса нагрузки не на них.


> а для каких он таки предназначен, кроме освоения бюджета?

Давай спросим коллег из rackspace?

> ну у меня вот были есть и будут, надеюсь, именно ДЦ, и
> никаких облаков.
> Чего ради я могу выбрать oVirt, если вмварь пока еще жива и
> вполне себе работает? "затобесплатно" не катит, мне эти деньги все равно
> не достанутся, а геморрой вот он.

За варю ты уже заплатил, но она устареет и придется платить еще раз. Когда придется - будете думать и решать. За те годы что я работал на шапку и перетаскивал клиентов с вари, я видел достаточно контор которые решили что с варей им больше не по пути. Если это не твой случай - на здоровье, это не твой случай.

> P.S. с безопасного расстояния наблюдаю за развертыванием опеншитового кластера, грозящего
> поглотить наши системы. Гы-гы-гы. Кстати, поверх вмвари, ага, смешно.

Дык на здоровье, ему пофиг на чем бегать. Я его поверх опенстака ставил, и в амазоне и где только не. Правда если захотите использовать kubevirt, нестинг придется городить, а это всегда хреновая идея.

Ответить | Правка | ^ к родителю #152 | Наверх | Cообщить модератору

157. "Выпуск системы управления инфраструктурой виртуализации oVir..."  +/
Сообщение от пох (?), 05-Фев-19, 23:22 
> Думаешь ты умнее чем CTO топового американского банка?

думаю, не глупее. И вероятнее всего - технически грамотнее. You not need to be smart to be a boss.

> разработчикам нужна кнопка. Нажал - получил хост с установками. Или тысячу.

нет, потому что они не умеют, внезапно, тысячу. Они может даже primary/slave с трудом могут - когда второй хост вроде бы и есть, но пользоваться им не отключив первый - нельзя, все рассыпется.
А микросервисную архитектуру умеют другие разработчики, и они работают в другой конторе.

Вариант этих уволить а тех нанять - так чтоб в какой-то момент посередине процесса не навернуться задницей между двух табуреток (потому что разработчики точно не идиоты и не будут дожидаться розового конвертика) - это вот то, что, вероятно, действительно умеет твой CTO, или ему просто повезло, так тоже случается.

> Давай спросим коллег из rackspace?

нет уж, давай спросим коллег которые не осваивают (чужие в случае рака) бюджеты, а отвечают за _результат_ - то есть не торговцев сервисами, для которых "результат" случается сразу после перевода денег на счет, им действительно важнее всего сэкономить на любой спичке, а их счастливых покупателей или эксплуатантов on premises.

> За варю ты уже заплатил, но она устареет и придется платить еще раз.

заплатил не я, а бизнес. Он еще и за меня платит, не говоря уже о стае других обезьян, причем каждый месяц. И это ему обходится существенно дороже чем все лицензии чохом. Сам понимаешь, в какой плоскости лежит возможная экономия. Кстати, на фоне делловского протвиня на котором крутится та вмварь, ее ценник как-то уже вот и не выглядит заоблачным. А ведь он тоже устаревает и приходится за него платить, что, собственно, вот прямо сейчас и сделали (это за новые, а поддержку старых оплачивать никто, понятно, не отменял, запасные вентиляторы на толкучке не продают).

так что это экономия на спичках, из серии "перестать обслуживать кофе-машины в офисе и покупать кофе для них". Я обычно старался на этом этапе уволиться, не дожидаясь неизбежного результата.

> Дык на здоровье, ему пофиг на чем бегать.

эффективность виртуальной технологии развернутой поверх виртуальной технологии представляется мне весьма сомнительной. Полагаю, они еще в нашей сети запутаются, с последствиями, а потом мы посмотрим как оно забавно переживает автомиграцию.

они, если что, уже сейчас навыпрашивали себе ресурсов больше, чем реально обслуживающий клиентов прод, у которого хотя бы этих проблем - нет. Полагаю, до внедрения ЭТО не доживет.

Ответить | Правка | ^ к родителю #153 | Наверх | Cообщить модератору

160. "Выпуск системы управления инфраструктурой виртуализации oVir..."  +/
Сообщение от Dim (??), 05-Фев-19, 23:44 
> думаю, не глупее. И вероятнее всего - технически грамотнее. You not need
> to be smart to be a boss.

You need to have smart advisors. У этого конкретного CTO, в советниках на зарплате в том числе некий Бьярн Стрoуструпп. Широко известный в узких кругах дядька.


> нет, потому что они не умеют, внезапно, тысячу. Они может даже primary/slave
> с трудом могут - когда второй хост вроде бы и есть,
> но пользоваться им не отключив первый - нельзя, все рассыпется.
> А микросервисную архитектуру умеют другие разработчики, и они работают в другой конторе.

Ну что за гадание по юзерпику? Полным полно технологий в которых такое понятие как master/slave давно забыто. Я сейчас могу развернуть кластер из тысячи нод базы данных, готовый к работе, одним кликом в EC2. Банки тоже такое хотят, но без облаков.

> Вариант этих уволить а тех нанять - так чтоб в какой-то момент
> посередине процесса не навернуться задницей между двух табуреток (потому что разработчики
> точно не идиоты и не будут дожидаться розового конвертика) - это
> вот то, что, вероятно, действительно умеет твой CTO, или ему просто
> повезло, так тоже случается.

Я ему обязательно передам твою оценку, уверен, ему будет очень интересно


> нет уж, давай спросим коллег которые не осваивают (чужие в случае рака)
> бюджеты, а отвечают за _результат_ - то есть не торговцев сервисами,
> для которых "результат" случается сразу после перевода денег на счет, им
> действительно важнее всего сэкономить на любой спичке, а их счастливых покупателей
> или эксплуатантов on premises.

https://www.pcmag.com/article2/0,2817,2496294,00.asp оценка этого самого rackspace с т.з. клиента а не продавца сервиса


> заплатил не я, а бизнес. Он еще и за меня платит, не
> говоря уже о стае других обезьян, причем каждый месяц. И это
> ему обходится существенно дороже чем все лицензии чохом. Сам понимаешь, в
> какой плоскости лежит возможная экономия. Кстати, на фоне делловского протвиня на
> котором крутится та вмварь, ее ценник как-то уже вот и не
> выглядит заоблачным. А ведь он тоже устаревает и приходится за него
> платить, что, собственно, вот прямо сейчас и сделали (это за новые,
> а поддержку старых оплачивать никто, понятно, не отменял, запасные вентиляторы на
> толкучке не продают).

Делловское железо приходит к EOL за 5 лет и его тоже надо менять, и если вы этого не делаете, я не завидую вашим админам.

С контейнерами можно развернуть существенно больше инстансов per host чем с виртуализацией, а значит, если юз кейс позволяет использовать контейнеры, нет смысла этого не делать, и таким образом сократить расходы на варю, железо и обезьян которые это все обслуживают.

> так что это экономия на спичках, из серии "перестать обслуживать кофе-машины в
> офисе и покупать кофе для них". Я обычно старался на этом
> этапе уволиться, не дожидаясь неизбежного результата.

Нормальная экономия, с 50к железяк перейти на 15к. При такой экономии можно и зарплаты обезьянам поднять (кстати, подняли тогда, и бонусы выплатили)


> эффективность виртуальной технологии развернутой поверх виртуальной технологии представляется
> мне весьма сомнительной. Полагаю, они еще в нашей сети запутаются, с
> последствиями, а потом мы посмотрим как оно забавно переживает автомиграцию.

контейнеры - абстракция, но не совсем виртуальщина. Но решать надо конечно для каждого случая конкретно

> они, если что, уже сейчас навыпрашивали себе ресурсов больше, чем реально обслуживающий
> клиентов прод, у которого хотя бы этих проблем - нет. Полагаю, до внедрения ЭТО не доживет.

бывает по всякому

Ответить | Правка | ^ к родителю #157 | Наверх | Cообщить модератору

163. "Выпуск системы управления инфраструктурой виртуализации oVir..."  +/
Сообщение от пох (?), 06-Фев-19, 10:28 
> У этого конкретного CTO, в советниках на зарплате в том числе некий Бьярн Стрoуструпп. Широко
> известный в узких кругах дядька.

мне вот, кстати, неизвестный - ну то есть с ним было бы, наверное, изрядно интересно просто поговорить в обеденный перерыв, но что из беседы был бы какой-то прямой толк - совсем не уверен - напоминаю, набрели мы тут на http://www.stroustrup.com/ (ты спалил свой банчок) - ну вот что может мне, инженеру, рассказать полезного (а не просто интересного) даже очень умный человек, неспособный свой сайт нормально сделать (ну или нежелающий, и-так-сойдет, студень-второкурсник запилил ему в качестве лабы десять лет назад)? IT, к сожалению, это не столько про умных, сколько про любознательных - поэтому я и трачу время, выуживая информацию о технологиях, которые надеюсь не использовать никогда.

Был бы я программистом на c++ - я бы может и ушел просветленным. Но вряд ли это актуально для CTO M/S.

> Ну что за гадание по юзерпику?

я говорю о том, что если кто-то сознательно использует технологию vmware - у него вряд ли инфраструктура состоит из лайтвейт микросервисов, размножаемых простым кликом мышью. И, соответственно, нельзя вот так взять, все выбросить и поменять платформу - будет больно. У банчка, полагаю, изначально было что-то сделано неправильно и вмварь с самого начала была неподходящей платформой. Начиная вот с того, что 50k хостов означает катастрофическую нехватку мощностей приложениям, чем бы они ни были, а тогда - зачем их было размазывать по виртуалкам вместо bare metal? Они охрененно масштабировались копированием, но не умели использовать ресурсы? Что-то,похоже, в консерватории не так.

> С контейнерами можно развернуть существенно больше инстансов per host чем с виртуализацией

можно, если эти инстансы нужны - то есть оно вообще способно бесконечно горизонтально маштабироваться. Но опять же для начала следует задать вопрос - какого хрена в инфраструктуре, ориентированной на вмварь, оно масштабируется горизонтально, а не вертикально - первое всегда дороже.

> Делловское железо приходит к EOL за 5 лет и его тоже надо менять

у меня тут ебеме - настоящие, не китайская подделка, соответственно, понятно, сколько им лет. Все еще жужжат, и запасные вентиляторы ебеме продает. Выкидывать не планируем. Если делл так не может, это очень печально (но выбирать уже не из чего, циску нам нельзя)

Ответить | Правка | ^ к родителю #160 | Наверх | Cообщить модератору

167. "Выпуск системы управления инфраструктурой виртуализации oVir..."  +/
Сообщение от пох (?), 06-Фев-19, 11:17 
> https://www.pcmag.com/article2/0,2817,2496294,00.asp оценка этого самого rackspace
> с т.з. клиента а не продавца сервиса

Rash is a freelance writer and frequent reviewer of enterprise hardware and software.
извини, я хотел бы заслушать клиента, а не дешевую журнашлюху. Вот кого-нибудь рангом пожиже CTO твоего банчка - из тех, кому не выступать в модных туфлях перед советом директоров, рассказывая о великой экономии, а из тех, кому звонят в три ночи, "просыпайся, оно - опять!"

Забавно, что ты этого не понял. Или сделал вид.

P.S. кстати, из личного кармашшшка я плачу арубе. И там vmware, как ни странно, а не прекрасный kvm (вот ЭТО я правда хотел бы увидеть). Ну они деньги итальянской мафии отмывают, им можно.

Ответить | Правка | ^ к родителю #160 | Наверх | Cообщить модератору

138. "Выпуск системы управления инфраструктурой виртуализации oVir..."  +/
Сообщение от scorry (ok), 05-Фев-19, 15:16 
> ... все так же пользовались Apache, а потом внезапно перешли на nginx

Ложь.

Ответить | Правка | ^ к родителю #88 | Наверх | Cообщить модератору

168. "Выпуск системы управления инфраструктурой виртуализации oVir..."  +/
Сообщение от пох (?), 06-Фев-19, 11:22 
>> ... все так же пользовались Apache, а потом внезапно перешли на nginx
> Ложь.

медленно и печально перешли. Оставляя след из дерьма и кровищи. Но в конце-концов да, почти таки все, кто совсем не мог - поставил фронтендом.

Причем проблема, как обычно, не в том что nginx был прекрасен, а в том что апач после то ли ухода, то ли "ухождения" старых разработчиков скатился в такое с...ное г-но, которому даже закон Мура не особенно помогал.

Ответить | Правка | ^ к родителю #138 | Наверх | Cообщить модератору

137. "Выпуск системы управления инфраструктурой виртуализации oVir..."  +/
Сообщение от commiethebeastie (ok), 05-Фев-19, 14:54 
>а люди до сих пор гордятся поделкой из кружка "Умелые руки" десятилетней давности.

Мальчик, посмотри разработчиков qemu, там же сплошной энтерпрайз и R&D.

Ответить | Правка | ^ к родителю #31 | Наверх | Cообщить модератору

9. "Выпуск системы управления инфраструктурой виртуализации oVir..."  +/
Сообщение от анон (?), 04-Фев-19, 22:57 
похерили api3.6, а значит все вменяемые бекапы перестали работать. придется ждать, пока кто-нить не напишет для 4.
похерили поддержку Opteron 2G.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

118. "Выпуск системы управления инфраструктурой виртуализации oVir..."  +/
Сообщение от DeerFriend (?), 05-Фев-19, 08:33 
Похерили ovirt-shell, который работает через апи3.6
Развивают ansible модули, которые, внезапно, работают через апи4+
Ответить | Правка | ^ к родителю #9 | Наверх | Cообщить модератору

129. "Выпуск системы управления инфраструктурой виртуализации oVir..."  +/
Сообщение от Аноним (129), 05-Фев-19, 11:07 
ты уже переписал бекап на ansible?
Ответить | Правка | ^ к родителю #118 | Наверх | Cообщить модератору

131. "Выпуск системы управления инфраструктурой виртуализации oVir..."  –2 +/
Сообщение от DeerFriend (?), 05-Фев-19, 11:47 
Мну через ансибль делает деплой виртуалок.

Мну не пользует бэкапы.

Мну быстрее задеплоить новую виртуалку, чем разбираться, какой бекап более актуальный.

Ответить | Правка | ^ к родителю #129 | Наверх | Cообщить модератору

156. "Выпуск системы управления инфраструктурой виртуализации oVir..."  +2 +/
Сообщение от Аноним (156), 05-Фев-19, 22:31 
Нет, серьезно, вот такое отношение в энтерпрайзе теперь модно? Что наработали в утиль - поднимем новую виртуалочку, и без бекапов.
Ответить | Правка | ^ к родителю #131 | Наверх | Cообщить модератору

169. "Выпуск системы управления инфраструктурой виртуализации oVir..."  +/
Сообщение от пох (?), 06-Фев-19, 11:27 
> Нет, серьезно, вот такое отношение в энтерпрайзе теперь модно? Что наработали в
> утиль - поднимем новую виртуалочку, и без бекапов.

мы это практиковали на bare metal еще до того как это стало модно в энтер-прайсе. Даже без виртуалочек.
Зачем бэкапать то, что можно просто переустановить и оно гарантированно будет в том же самом состоянии? Причем даже если железка поменялась на не такую же точно (это умение уже почти утрачено).

Проблема только в том, что для этого требуются особенности архитектуры, закладываемые на ранних этапах разработки.
И ценой оказывается наличие нескольких ну оооочень уязвимых мест, которым и бэкап не поможет - контора успеет обанкротиться до того, как он поднимется.

Ответить | Правка | ^ к родителю #156 | Наверх | Cообщить модератору

178. "Выпуск системы управления инфраструктурой виртуализации oVir..."  +/
Сообщение от DeerFriend (?), 06-Фев-19, 17:59 
Интересно узнать, как IaC влияет на появление оооочень уязвимых мест?
Ответить | Правка | ^ к родителю #169 | Наверх | Cообщить модератору

181. "Выпуск системы управления инфраструктурой виртуализации oVir..."  +/
Сообщение от нах (?), 06-Фев-19, 18:34 
боюсь это не для детишек.

но все же подскажу, не разжевывая, вдруг дитё попалось старшего возраста: если у меня сейчас безвозвратно навернется система управления, и основная, и резервная - у меня навернется только система управления. А не управление. И тем более не вся инфраструктура сразу. Пользователи вообще ничего не заметят. И если что-то повредят - оно и при этом будет восстановлено с бэкапа. Который таки есть.


Ответить | Правка | ^ к родителю #178 | Наверх | Cообщить модератору

184. "Выпуск системы управления инфраструктурой виртуализации oVir..."  +1 +/
Сообщение от DeerFriend (?), 06-Фев-19, 23:56 
Кажется я ввёл вас в заблуждение.
Я не говорил, что у меня совсем нет бэкапов. Я говорил, что делать их средствами KVM/RHV/итд не самый лучший способ.
Прикладные данные должны бэкапиться/резервироваться средствами приложений, а не гипервизором.
Если ломается система управления, её придется восстановить. Пользователи не заметят, менеджеры может быть отложат очередной релиз, руководству будет доложено, что простоя не было.

Как только восстановлена система управления, дальше работает IaC.
БД работает в резерве мастер/мастер + слейвы, логи сливаются дополнительно на внешнее хранилище+ELK.

На все остальные данные наплевать.
Пытаться восстанавливать гигабайты в KVM с устаревшими архивами логов или другим мусором, копившимся на файловой системе годами - просто глупо и долго. По этой причине не ждите бэкапов в KVM средствами гипервизора, они реально не нужны.

Ответить | Правка | ^ к родителю #181 | Наверх | Cообщить модератору

177. "Выпуск системы управления инфраструктурой виртуализации oVir..."  +/
Сообщение от DeerFriend (?), 06-Фев-19, 17:56 
Энтерпрайзу нравится, когда у тебя время отработки плейбука на новой виртуалке:
  - сопоставимо с временем загрузки железного сервера
  - на порядок меньше времени восстановления из бэкапа
Ответить | Правка | ^ к родителю #156 | Наверх | Cообщить модератору

180. "Выпуск системы управления инфраструктурой виртуализации oVir..."  +/
Сообщение от нах (?), 06-Фев-19, 18:26 
> Энтерпрайзу нравится, когда у тебя время отработки плейбука на новой виртуалке:
>  - сопоставимо с временем загрузки железного сервера
>  - на порядок меньше времени восстановления из бэкапа

энтерпрайзу не нравится, когда на ходу наворачивается хранилка, иди чини.

одни и те же байтики у тебя восстанавливаются из бэкапа медленнее, чем те же самые байтики в таком же количестве (или в сто раз больше, если , на самом деле, вовсе не нужно полное восстановление) копируются с шаблона или чего ты там эту виртуалку заводил? Ну точно хранилка щас сдохнет.

Ладно б еще гнал про контейнеры со всякими там рефлинками...

Ответить | Правка | ^ к родителю #177 | Наверх | Cообщить модератору

185. "Выпуск системы управления инфраструктурой виртуализации oVir..."  +/
Сообщение от DeerFriend (?), 06-Фев-19, 23:59 
В старых виртуалках много мусора в виде архивов логов и прочего шита.
Если вы не работате с виртуалками как с контейнерами, значит вы что-то делаете не правильно.
Ответить | Правка | ^ к родителю #180 | Наверх | Cообщить модератору

186. "Выпуск системы управления инфраструктурой виртуализации oVir..."  +/
Сообщение от нах (?), 07-Фев-19, 10:00 
> В старых виртуалках много мусора в виде архивов логов и прочего шита.

а зачем вы у себя храните токсичный мусор? Я вот не храню, и тщательно его уничтожаю при обнаружении - место не бесплатное, да и манипулировать ста гигабайтами куда проще чем тремястами с ненужно-логами. Не говоря уже о том что туда неизбежно попадают всякие личные данные, чем меньше собираешь, тем спокойней спишь.

Те логи что у меня хранятся, они нужные (в частности, вот по ним и будем посмертный анализ проводить, от чего и почему оно развалилось) и их мало.

> Если вы не работате с виртуалками как с контейнерами, значит вы что-то делаете не правильно.

по-моему как раз наоборот - если вы работаете с виртуалками как с контейнерами - значит вы даром тратите ценные ресурсы на эмуляцию, и вам нужно двигаться по следам описанного в тредике про M/S - в крайнем случае, в сторону kata/clear (которые, правда, недоделаны и никогда не будут - и именно потому, что при всей красивости затеи оказались нафиг не нужны)

кстати, ovirt, наверное, последние, кто не предлагает встроенной альтернативы kvm'у, заставляя вместо этого запихивать опеншифт в ненужно-виртуалки (пусть даже и торчащий наружу persistent storage'м ) Даже вмварь прогнулась (и совершенно зря, как бы вообще стремительный полет netware не повторила).

Ответить | Правка | ^ к родителю #185 | Наверх | Cообщить модератору

187. "Выпуск системы управления инфраструктурой виртуализации oVir..."  +/
Сообщение от DeerFriend (?), 07-Фев-19, 12:39 
Когда вырастаешь из локалхоста в энтерпрайз, оказывается, что у тебя много коллег, за всеми не уследишь.
Кто в хомяке, кто ещё где-нибудь может временное ненужное забыть.

При ценах на вмварь, у них просто нет выбора. Они не смогут ещё сверху продать контейнерный гипервизор, клиенты не оценят. Поэтому приходится встраивать в то, что есть.

И с редхатом я по этой же причине не согласен, что они опеншифта с прошлой осени стали продавать как виртуалки (поядерно, а не по сокетам процессорным). Весь смысл контейнеризации теряется, накладные расходы на виртуализацию остаются и т.п..
Ансибль позволяет раотать с вирталками как с контейнерами, а покупать и опеншифт и рхев вместе - бизнесу такие расходы обосновать будет очень сложно.

Ответить | Правка | ^ к родителю #186 | Наверх | Cообщить модератору

188. "Выпуск системы управления инфраструктурой виртуализации oVir..."  +1 +/
Сообщение от нах (?), 07-Фев-19, 15:49 
> Когда вырастаешь из локалхоста в энтерпрайз, оказывается, что у тебя много коллег, за всеми не
> уследишь.
> Кто в хомяке, кто ещё где-нибудь может временное ненужное забыть.

странно что пропагандист ансибля и прочих средств энтерпрайзной автоматики следит за ними вручную ;-) У меня оно автоматическое, коллеги, понятное дело, вовсе исключены из процесса, но вот разработчик нагадить может, а поскольку гадит он тоже автоматически, и куда попало, дерьма может случиться много, следить обязательно надо, и разбираться, кто начал жрать место, еще когда только начал. Пустить дело на самотек - вот как раз и придется раз в неделю принудительно пересоздавать vm'ы, а то ж лопнут, и концов не найдешь.

> При ценах на вмварь, у них просто нет выбора. Они не смогут ещё сверху продать контейнерный
> гипервизор, клиенты не оценят.

да куда они денутся... глянь на минуточку цену на какой-нибудь poweredge m1000 в более-менее нормальной комплектации (и ~40000 в _год_ - сверху, оптом дешевле) - и поймешь, что вмварь на него стоит дешево, очень дешево. А ведь это - _дешевая_ железка, есть же ж еще и дорогие...

Я полагаю, выбора нет при нынешних китайских разработчиках - скопипастить докер (или что там они копипастят под oci) они еще как-то смогут, а сделать аналог kata, только еще и чтоб работал - это фантастика.

Ответить | Правка | ^ к родителю #187 | Наверх | Cообщить модератору

189. "Выпуск системы управления инфраструктурой виртуализации oVir..."  +/
Сообщение от DeerFriend (?), 08-Фев-19, 12:46 
Вы таки видите всё в черно-белом цвете. А ведь есть ещё оттенки серого.
Возможность быстро переразвернуть не означает необходимости подиагностировать проблему.
Для этого в ITILе есть понятия проблема и инцидент. Подходы к их решению несколько отличаются.


Бизнес не любит дополнительные расходы :)

Ответить | Правка | ^ к родителю #188 | Наверх | Cообщить модератору

112. "Выпуск системы управления инфраструктурой виртуализации oVir..."  +/
Сообщение от Аноним (112), 05-Фев-19, 03:22 
Спрашивал про Deb врезультате куча керпичец и не одного нормального вменяемого ответа. Мда.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

113. "Выпуск системы управления инфраструктурой виртуализации oVir..."  –2 +/
Сообщение от Dim (??), 05-Фев-19, 03:26 
> Спрашивал про Deb врезультате куча керпичец и не одного нормального вменяемого ответа.
> Мда.

Были сборки, но емнип они все хреново работали. Никто не тестирует под Дебиан, основная разработка под Центос/RHEL

Ответить | Правка | ^ к родителю #112 | Наверх | Cообщить модератору

122. "Выпуск системы управления инфраструктурой виртуализации oVir..."  +/
Сообщение от Аноним (112), 05-Фев-19, 09:32 
Ну тоесть по той же причине что и виртуозо.
Ответить | Правка | ^ к родителю #113 | Наверх | Cообщить модератору

143. "Выпуск системы управления инфраструктурой виртуализации oVir..."  +/
Сообщение от DeerFriend (?), 05-Фев-19, 17:11 
Разработчиков proxmox это не остановило, делать свой дистриб на дебиане с ovz.
А что мешает тебе перепаковать rpm в deb?
Ответить | Правка | ^ к родителю #122 | Наверх | Cообщить модератору

120. "Выпуск системы управления инфраструктурой виртуализации oVir..."  +/
Сообщение от Buzzer (?), 05-Фев-19, 09:20 
Потому что Enterprise - это не кpaсноглазие.
Сурьезные конторы заинтересованы в том, чтобы все быстро развертывалось и легко сопровождалось.

Дальше сами додумаете мысль?

Ответить | Правка | ^ к родителю #112 | Наверх | Cообщить модератору

125. "Выпуск системы управления инфраструктурой виртуализации oVir..."  +/
Сообщение от пох (?), 05-Фев-19, 09:52 
если ты не собираешься самостоятельно собирать и сопровождать deb-пакеты - уточняй свою мысль дальше, чем именно у тебя де6иллиан сложнее быстроразвертывать и легкосопровождать.

отдельно расскажи, сколько у сурьезной конторы, с нормальным современным железом, oVirt или любых других _хостов_, и зачем при таком количестве особобыстрая развертываемость, и не лучше ли сделать медленно но надежно.

Ответить | Правка | ^ к родителю #120 | Наверх | Cообщить модератору

135. "Выпуск системы управления инфраструктурой виртуализации oVir..."  +/
Сообщение от Buzzer (?), 05-Фев-19, 14:07 
Сделать медленно, но надежно.
А потом, когда сделавший навострит лыжи в другую контору, искать кулибина, который сможет разобраться во всех креативах.
Через такое много раз проходили, знаем.
Ответить | Правка | ^ к родителю #125 | Наверх | Cообщить модератору

140. "Выпуск системы управления инфраструктурой виртуализации oVir..."  +/
Сообщение от нах (?), 05-Фев-19, 16:46 
медленно но надежно - это вот без всякого креатива. next-next-ok.
Ну сколько у тебя в ГОД прибавляется лезвий? Хорошо если восемь, да?

Охрененно сложная и частая процедура, ее прям до смерти необходимо автоматизировать и рационализировать?

(ну и даже если это сделано и автор упал под каток - не надо искать кулибина, надо нормального админа - если уж в автодеплое физических хостов не получается разобраться - гоните его в шею, это не админ, это девляпс пытается прокрасться! Они все палятся на вопросе "на чем умеете программировать", если что, не ведитесь!)

Ответить | Правка | ^ к родителю #135 | Наверх | Cообщить модератору

148. "Выпуск системы управления инфраструктурой виртуализации oVir..."  +/
Сообщение от Dim (??), 05-Фев-19, 17:32 
> медленно но надежно - это вот без всякого креатива. next-next-ok.
> Ну сколько у тебя в ГОД прибавляется лезвий? Хорошо если восемь, да?

Есть такая штука как BMaaS, там автодеплой железа под заданную конфигурацию, причем не только хосты но и сторедж и свичи с раутерами - openstack ironic или EC2 i3.metal например. Даже овирт или esxi намного проще переустановить чем дебажить что за хрень на хосте случилась выбросив PSOD.

Ответить | Правка | ^ к родителю #140 | Наверх | Cообщить модератору

114. "Выпуск системы управления инфраструктурой виртуализации oVir..."  –1 +/
Сообщение от Ддд (?), 05-Фев-19, 04:08 
Молодцы. Десять лет пилить веб интерфейс с покер фейсом. Почему в опенсорсе такие «эффективные» кодеры?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

134. "Выпуск системы управления инфраструктурой виртуализации oVir..."  +/
Сообщение от barma (??), 05-Фев-19, 13:29 
Потому, вы дорогой товаришь не задонатили свои кровные 5$, а ждете что кто-то бесплатно за вас сделает.
Ответить | Правка | ^ к родителю #114 | Наверх | Cообщить модератору

119. "Выпуск системы управления инфраструктурой виртуализации oVir..."  –1 +/
Сообщение от Аноним (119), 05-Фев-19, 08:51 
А расскажите пожалуйста, чем его бекапить предполагается? Инкрементальные бекапы сделать реально?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

141. "Выпуск системы управления инфраструктурой виртуализации oVir..."  +/
Сообщение от Dim (??), 05-Фев-19, 17:02 
> А расскажите пожалуйста, чем его бекапить предполагается? Инкрементальные бекапы сделать
> реально?

есть софт который это умеет, его не сложно нагуглить. из самодельного, я делал через backup API и backy2, но потом появился бюджет и взяли нормальный storware

Ответить | Правка | ^ к родителю #119 | Наверх | Cообщить модератору

158. "Выпуск системы управления инфраструктурой виртуализации oVir..."  +/
Сообщение от Аноним (119), 05-Фев-19, 23:25 
Хм, по запросу бекапов KVM ничего толкового не нашлось, а тот же Veem например говорит что не умеют - только HyperV и VMWare. Про KVM сказали что думают.
Ответить | Правка | ^ к родителю #141 | Наверх | Cообщить модератору

161. "Выпуск системы управления инфраструктурой виртуализации oVir..."  +/
Сообщение от Dim (??), 05-Фев-19, 23:46 
> Хм, по запросу бекапов KVM ничего толкового не нашлось, а тот же
> Veem например говорит что не умеют - только HyperV и VMWare.
> Про KVM сказали что думают.

https://storware.eu/en/storware-vprotect/
https://wiki.sep.de/wiki/index.php/RHEV_backup
https://www.trilio.io/wp-content/uploads/2018/05/TrilioVault...
https://www.vembu.com/backup-solution-for-rhev-hypervisor/
https://www.acronis.com/en-us/business/backup/rhv/

Ответить | Правка | ^ к родителю #158 | Наверх | Cообщить модератору

170. "Выпуск системы управления инфраструктурой виртуализации oVir..."  +/
Сообщение от пох (?), 06-Фев-19, 11:29 
>> Хм, по запросу бекапов KVM ничего толкового не нашлось, а тот же

вас спрашивали - толкового!

а вы нам -
> https://wiki.sep.de/wiki/index.php/RHEV_backup

For now, only COPY backup is supported for RHEV. With this backup all data defined by the backup task is backed up (provisioned space).

сорри, можно я ничего не буду знать про акронис? Хотелось бы сохранить хотя бы какие-то иллюзии.

Ответить | Правка | ^ к родителю #161 | Наверх | Cообщить модератору

128. "Выпуск системы управления инфраструктурой виртуализации oVir..."  +2 +/
Сообщение от CHERTSemail (ok), 05-Фев-19, 10:58 
The following virtual machine guest operating systems are supported:
Red Hat Enterprise Linux 3 - 6
Red Hat Enterprise Linux 7+
SUSE Linux Enterprise Server 10+
Ubuntu 12.04 (Precise Pangolin LTS)+
Windows XP Service Pack 3 and newer
Windows 7
Windows 8
Windows 10
Windows Server 2003 Service Pack 2 and newer
Windows Server 2008
Windows Server 2008 R2
Windows Server 2012 R2
Windows Server 2016

Какой то сильно маленький список поддерживаемых гостевых ОС, ни Debian ни Oracle Linux ни тем более FreeBSD нет :( Одни Enterprise версии и Windows, удивительно как Ubuntu вообще попала в такую милось.

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

130. "Выпуск системы управления инфраструктурой виртуализации oVir..."  +/
Сообщение от Вы забыли заполнить поле Name (?), 05-Фев-19, 11:08 
> удивительно как Ubuntu вообще попала в такую милось

версии 12.04? Очевидно - это они так издевались.

P.S. список, похоже, года два не обновлялся

Ответить | Правка | ^ к родителю #128 | Наверх | Cообщить модератору

146. "Выпуск системы управления инфраструктурой виртуализации oVir..."  +/
Сообщение от Dim (??), 05-Фев-19, 17:26 
>[оверквотинг удален]
> Windows 8
> Windows 10
> Windows Server 2003 Service Pack 2 and newer
> Windows Server 2008
> Windows Server 2008 R2
> Windows Server 2012 R2
> Windows Server 2016
> Какой то сильно маленький список поддерживаемых гостевых ОС, ни Debian ни Oracle
> Linux ни тем более FreeBSD нет :( Одни Enterprise версии и
> Windows, удивительно как Ubuntu вообще попала в такую милось.

поддерживаемый у них означает что QA сели, поставили ОС, и гоняли свои тесты по полной программе (агенты, драйверы, стабильность etc).
В проксе это означает "у нас вроде запустилось". Если нужен такой список - можно просто посмотреть что поддерживает KVM

Ответить | Правка | ^ к родителю #128 | Наверх | Cообщить модератору

133. "Выпуск системы управления инфраструктурой виртуализации oVir..."  +/
Сообщение от xm (ok), 05-Фев-19, 13:17 
О, FreeBSD bhyve таки обошёл QEMU/KVM как (zzz - вы дождались) :-)

Q: What VM operating systems does bhyve support?

A: bhyve supports any version of FreeBSD i386/amd64 with VirtIO support. OpenBSD, NetBSD and GNU/Linux are supported using the sysutils/grub2-bhyve port. UEFI support is available for FreeBSD, OpenBSD, GNU/Linux, SmartOS and Windows:

    FreeBSD 8.4-RELEASE and newer, including CURRENT
    OpenBSD amd64/i386 5.2 and newer
    GNU/Linux amd64/i386 (Many distributions)
    NetBSD amd64 6.1 and newer
    SmartOS 20151001 and newer
    Windows x64 Vista, 7, 8, 10
    Windows Server 2008r2, 2012r2, 2016

Tested GNU/Linux distributions include:

    CentOS/RHEL 6.2, 6.3, 6.4, 6.5 and 7.0
    Debian 6.0.7, 7.0, 7.6 netinstall i386/amd64
    Fedora 20
    openSUSE 12.3 and 13.1 amd64
    Ubuntu Server 10.04, 12.04, 13.04, 14.04, 14.10, 15.04, 15.10, 16.04 i386/amd64

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

136. "Выпуск системы управления инфраструктурой виртуализации oVir..."  +2 +/
Сообщение от Аноним (136), 05-Фев-19, 14:22 
bhyve ещё и обеспечивает лучшую производительность IO на виртуалках. У KVM с этим слабовато, и не улучшилось за истекшие десять лет. По этой причине мы перешли на smartos с её lx зонами. Там IO виртуалок почти равна нативной.
Ответить | Правка | ^ к родителю #133 | Наверх | Cообщить модератору

145. "Выпуск системы управления инфраструктурой виртуализации oVir..."  +/
Сообщение от Anonimus (??), 05-Фев-19, 17:21 
io kvm при правильной конфигурации и так близка к нативной - главное не использовать дефолтную конфигурацию)
Ответить | Правка | ^ к родителю #136 | Наверх | Cообщить модератору

150. "Выпуск системы управления инфраструктурой виртуализации oVir..."  +/
Сообщение от xm (ok), 05-Фев-19, 19:29 
> перешли на smartos с её lx зонами

О, интересно. Не расскажете о use case и т.п.?

Ответить | Правка | ^ к родителю #136 | Наверх | Cообщить модератору

147. "Выпуск системы управления инфраструктурой виртуализации oVir..."  +/
Сообщение от Dim (??), 05-Фев-19, 17:27 
>[оверквотинг удален]
>     SmartOS 20151001 and newer
>     Windows x64 Vista, 7, 8, 10
>     Windows Server 2008r2, 2012r2, 2016
> Tested GNU/Linux distributions include:
>     CentOS/RHEL 6.2, 6.3, 6.4, 6.5 and 7.0
>     Debian 6.0.7, 7.0, 7.6 netinstall i386/amd64
>     Fedora 20
>     openSUSE 12.3 and 13.1 amd64
>     Ubuntu Server 10.04, 12.04, 13.04, 14.04, 14.10, 15.04,
> 15.10, 16.04 i386/amd64

поддерживаемый в oVirt означает что QA сели, поставили ОС, и гоняли свои тесты по полной программе (агенты, драйверы, стабильность etc).
А тут это означает "у нас вроде запустилось". Если нужен такой список - можно просто посмотреть что поддерживает KVM - https://www.linux-kvm.org/page/Guest_Support_Status

Ответить | Правка | ^ к родителю #133 | Наверх | Cообщить модератору

149. "Выпуск системы управления инфраструктурой виртуализации oVir..."  +/
Сообщение от xm (ok), 05-Фев-19, 19:26 
> поддерживаемый в oVirt означает что QA сели, поставили ОС, и гоняли свои тесты по полной программе

Вы не поверите, но вот там в bhyve это все реально тоже "сели, поставили ОС, и гоняли свои тесты по полной программе".

Ответить | Правка | ^ к родителю #147 | Наверх | Cообщить модератору

151. "Выпуск системы управления инфраструктурой виртуализации oVir..."  –2 +/
Сообщение от Dim (??), 05-Фев-19, 19:59 
> Вы не поверите, но вот там в bhyve это все реально тоже
> "сели, поставили ОС, и гоняли свои тесты по полной программе".

не поверю. Сколько там людей профессионально занимаются именно QA? Я глянул на сайт - выглядит как любительский проект, с одним мейнтейнером. Хотя я конечно там не работал и не знаю этот комьюнити лично (в отличии от KVM/QEMU), могу и ошибаться.

Ответить | Правка | ^ к родителю #149 | Наверх | Cообщить модератору

154. "Выпуск системы управления инфраструктурой виртуализации oVir..."  +/
Сообщение от xm (ok), 05-Фев-19, 21:42 
Дружище, рекомендую почаще высовывать голову из своей KVM-раковины и посматривать что же там происходит за её уютными завитками.
Вообще, bhyve приехал из NetApp а кем и как он теперь пилится довольно легко выяснить по коммитам.
Кстати, если вы посмотрите на список разработчиков FreeBSD и сделаете простой гуглинг по имени вы увидите, что многие из них являются ведущими разработчиками в крупных корпорациях начиная с того же NetApp, Netflix, Intel, Sophos, Dell EMC и проч. проч.
Если это - любители, то кто тогда мы?
Ответить | Правка | ^ к родителю #151 | Наверх | Cообщить модератору

155. "Выпуск системы управления инфраструктурой виртуализации oVir..."  –2 +/
Сообщение от Dim (??), 05-Фев-19, 22:04 
Вот именно поэтому я и написал что могу и ошибаться так как напрямую с проектом не знаком. Сайтик там выглядит довольно хреново, других индикаций у меня нет.

Честно говоря я очень сильно сомневаюсь в чем-либо основанном на фре, помимо совсем embedded хреновин типа того же netapp. Она конечно пока выживает, но не внушает доверия без кого нибудь достаточно мощного дающего поддержку. Очень давно не видел ее в проде нигде кроме совсем гиковских контор у которых денег нет и не предвидится. Если фря устроит большой камбэк, как в свое время это сделала макось - вот тогда все что вокруг фри тоже станет актуальным. Ну а пока я сосредоточусь на Линуксе и его родном тулсете


Ответить | Правка | ^ к родителю #154 | Наверх | Cообщить модератору

159. "Выпуск системы управления инфраструктурой виртуализации oVir..."  –2 +/
Сообщение от Аноним (159), 05-Фев-19, 23:33 
> фря устроит большой камбэк

это как? разве что ты каминг аут имел ввиду...

Ответить | Правка | ^ к родителю #155 | Наверх | Cообщить модератору

162. "Выпуск системы управления инфраструктурой виртуализации oVir..."  –1 +/
Сообщение от Dim (??), 05-Фев-19, 23:47 
> это как? разве что ты каминг аут имел ввиду...

сразу после нетвари :)

Ответить | Правка | ^ к родителю #159 | Наверх | Cообщить модератору

164. "Выпуск системы управления инфраструктурой виртуализации oVir..."  +/
Сообщение от dddd (?), 06-Фев-19, 11:04 
жаль Небула ускакала из опенсорса - единственная эмулировала апи от амазона а не свои поделки толкала
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

174. "Выпуск системы управления инфраструктурой виртуализации oVir..."  +/
Сообщение от Тимофей (??), 06-Фев-19, 13:44 
Потому и ускакала...
Ответить | Правка | ^ к родителю #164 | Наверх | Cообщить модератору

183. "Выпуск системы управления инфраструктурой виртуализации oVir..."  +/
Сообщение от Аноним (183), 06-Фев-19, 20:50 
Речь не про OpenNebula случайно?
Ответить | Правка | ^ к родителю #164 | Наверх | Cообщить модератору

165. "Выпуск системы управления инфраструктурой виртуализации oVir..."  +/
Сообщение от dddd (?), 06-Фев-19, 11:05 
надо Солярку потестить с ее зонами. запустил ее в виртуалке - летает просто и весит мало в отличие от монстровых  центосов и убунт
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

171. "Выпуск системы управления инфраструктурой виртуализации oVir..."  +/
Сообщение от пох (?), 06-Фев-19, 11:33 
> надо Солярку потестить с ее зонами. запустил ее в виртуалке - летает
> просто и весит мало в отличие от монстровых  центосов и

а что под ней запускать-то, вот в чем вопрос?

Ответить | Правка | ^ к родителю #165 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Спонсоры:
MIRhosting
Inferno Solutions
Hosting by Ihor
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2019 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру