The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]



Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Режим отображения отдельной подветви беседы [ Отслеживать ]

Оглавление

Релиз LDAP-сервера ReOpenLDAP 1.2.0, opennews (??), 08-Сен-22, (0) [смотреть все]

Сообщения [Сортировка по времени | RSS]


38. "Релиз LDAP-сервера ReOpenLDAP 1.2.0"  +4 +/
Сообщение от erthink (ok), 09-Сен-22, 09:17 
> Судя по списку изменений, проект, весьма ожидаемо, заброшен.
> В этом и есть основное отличие от openldap, видимо :-)

Для тех кто в танке, основные отличия от OpenLDAP: работающая репликация в режиме multi-master, в том числе для full-mesh топологии из 3-4-5 узлов, в том числе под высокой нагрузкой.

OpenLDAP в таком режиме потеряет часть апдейтов и упадет максимум через 1-2 часа, а в худшем случае удалит произвольную часть синхронизируемых данных...

:-)

Ответить | Правка | Наверх | Cообщить модератору

54. "Релиз LDAP-сервера ReOpenLDAP 1.2.0"  +/
Сообщение от bOOster (ok), 09-Сен-22, 10:26 
Я проблем еще с 2.4.49 (по моему) с многонодной мультимастер репликацией не имел. Низнаю че там в ReOpenLDAP изобретали.
Ответить | Правка | Наверх | Cообщить модератору

59. "Релиз LDAP-сервера ReOpenLDAP 1.2.0"  +1 +/
Сообщение от erthink (ok), 09-Сен-22, 10:40 
> Я проблем еще с 2.4.49 (по моему) с многонодной мультимастер репликацией не
> имел. Низнаю че там в ReOpenLDAP изобретали.

OpenLDAP гарантированно падает и/или теряет данные когда:
- больше двух узлов в multimaster;
- изменения льются на все узлы одновременно;
- связь между узлами рвется и восстанавливается.

Ответить | Правка | Наверх | Cообщить модератору

61. "Релиз LDAP-сервера ReOpenLDAP 1.2.0"  +/
Сообщение от bOOster (ok), 09-Сен-22, 10:50 
>> Я проблем еще с 2.4.49 (по моему) с многонодной мультимастер репликацией не
>> имел. Низнаю че там в ReOpenLDAP изобретали.
> OpenLDAP гарантированно падает и/или теряет данные когда:
>  - больше двух узлов в multimaster;
>  - изменения льются на все узлы одновременно;
>  - связь между узлами рвется и восстанавливается.

Я еще раз повторяю, в моих условиях я не имел этих проблем. 10 нод в мультимастере (all over the world) у меня было и щас есть, самые старые 2.4.49. На 2.5 я еще даже и не думаю переходить. Не вижу никаких выгод пока.
Гоняют серверы по синхронизации громадный переизбыток трафика - да, но у меня на серверах нет каналов с учетом трафика.
Про количество slave репликаций OpenLDAP скромно умолчу..

Ответить | Правка | Наверх | Cообщить модератору

64. "Релиз LDAP-сервера ReOpenLDAP 1.2.0"  +2 +/
Сообщение от erthink (ok), 09-Сен-22, 11:04 
>[оверквотинг удален]
>> OpenLDAP гарантированно падает и/или теряет данные когда:
>>  - больше двух узлов в multimaster;
>>  - изменения льются на все узлы одновременно;
>>  - связь между узлами рвется и восстанавливается.
> Я еще раз повторяю, в моих условиях я не имел этих проблем.
> 10 нод в мультимастере у меня было и щас есть, самые
> старые 2.4.49. На 2.5 я еще даже и не думаю переходить.
> Не вижу никаких выгод пока.
> Гоняют серверы по синхронизации громадный переизбыток трафика - да, но у меня
> на серверах нет каналов с учетом трафика.

Проблема воспроизводится (даже) на собственных тестах OpenLDAP, если их просто зациклить (но быстрее на нагруженной машине).
Но вы можете достаточно долго не замечать проблем, так как обычный сценарий использования OpenLDAP с multimaster и обычные требования сильно отличаются от мегафоновских.
Грубо говоря, у вас не 10К апдейтов в секунду, нет тестов на устойчивость и корректность работы при потере и восстановлении связности, нет проверок что данные на узлах кластера одинаковые (вот проверьте, кстати).

При использовании multimaster смысл переходить есть только на ReOpenLDAP.

С объемом трафика это никак не связано, и переизбытка быть недолжно.

Ответить | Правка | Наверх | Cообщить модератору

82. "Релиз LDAP-сервера ReOpenLDAP 1.2.0"  +/
Сообщение от Stan (??), 09-Сен-22, 20:06 
У нас 6 мастер-мастер OpenLDAP разбросанный по всему миру (разные регионы). Трафик конечно не 10К апдейтов в секунду, но где-то чуть меньше половины. Собираем метрики, есть мониторинг - каких либо крупных проблем не наблюдаем. У вас есть пошаговая инструкция как воспроизвести эту проблему?
Ответить | Правка | Наверх | Cообщить модератору

83. "Релиз LDAP-сервера ReOpenLDAP 1.2.0"  +/
Сообщение от erthink (ok), 09-Сен-22, 20:40 
> У нас 6 мастер-мастер OpenLDAP разбросанный по всему миру (разные регионы). Трафик
> конечно не 10К апдейтов в секунду, но где-то чуть меньше половины.
> Собираем метрики, есть мониторинг - каких либо крупных проблем не наблюдаем.
> У вас есть пошаговая инструкция как воспроизвести эту проблему?

Как уже отвечал где-то рядом - достаточно зациклить собственные тесты OpenLDAP, которые тестируют репликацию.
Желательно на сильно загруженной машине.

Использовавшийся сценарий для проверки _примерно_ такой:
- на машине настраивается четыре local-interface, например 10.{1,2,3,4}.0.0.1/24
- конфигурируется full-mesh мультмастер кластер из 4-х инстанции slapd, т.е. у каждого slapd по 3 штуки syncprov и syncrepl к другим;
- все syncprov и syncrepl настраиваются так, чтобы работали через соответствующие local-интерфейсы, т.е. получает что каждый slapd "сидит" в своем сегменте 10.{1,2,3,4}.0.0.1/24;
- кроме этого каждый slapd слушает свой порт на 0.0.0.0;
- запускается питоновский скрипт, который стохастически начинает одновременно создавать/изменять/удалять записи через подключения ко всем четырем сервера (но при этом изменения не конфликтуют между собой);
- этот-же питоновский скрипт проверяет что данные соответствуют ожидаемым (можно создать, удалить, изменить и т.п.)
- запускается еще набор скриптов, который через iptables стохастически временно рвет syncprov-syncrepl соединения между узлами.
- оставляем "на ночь", утром проверяем что не упало и DIT на всех узлах совпадает.
- повторяем с ASAN и затем с Valgrind...

Если вы готовы разбираться со скриптами, то я наверное смогу их отыскать.

В OpenLDAP достаточно быстро всплывали ошибки:
- race conditions, use-after-free и всяческие падения в десятках мест;
- зацикливания и зависания;
- утечки памяти;
- воскрешение удаленных записей;
- удаление недавно добавленных и/или обновленных;

Удаление части replication scope более редкая ошибка, но внимательно прочитав RFC можно примерно догадаться когда и почему она происходит.

Ответить | Правка | Наверх | Cообщить модератору

84. "Релиз LDAP-сервера ReOpenLDAP 1.2.0"  +/
Сообщение от erthink (ok), 09-Сен-22, 20:43 
> У нас 6 мастер-мастер OpenLDAP разбросанный по всему миру (разные регионы). Трафик
> конечно не 10К апдейтов в секунду, но где-то чуть меньше половины.
> Собираем метрики, есть мониторинг - каких либо крупных проблем не наблюдаем.
> У вас есть пошаговая инструкция как воспроизвести эту проблему?

На всякий, может пригодится https://ldapcon.org/2017/wp-content/uploads/2017/08/1_ReOpen...

Ответить | Правка | К родителю #82 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру