The OpenNET Project / Index page

[ новости/++ | форум | wiki | теги ]

22.01.2017 11:38  Релиз распределенной системы хранения конфигурации etcd 3.1

Проект CoreOS, развивающий основанное на идеях контейнерной изоляции серверное окружение, представил релиз etcd 3.1, высоконадёжного распределённого хранилища параметров конфигурации, задаваемых в форме ключ/значение. Основным назначением etcd является предоставление унифицированного механизма хранения конфигурации и информации о работающих сервисах для изолированных контейнеров с типовой начинкой. Код etcd написан на языке Go и распространяется под лицензией Apache 2.0.

Etcd позволяет организовать единое хранилище конфигурации для группы серверов, которое реплицируются на все узлы и поддерживается в синхронизированном состоянии с использованием протокола Raft. Наличие копии данных на всех хостах позволяет исключить потерю конфигурации при выходе из строя отдельного узла. В etcd также могут сохраняться временные данные, для которых предусмотрена возможность определения времени жизни записи. Для доступа к конфигурации предоставляется простой API, основанный на использовании gRPC.

Имеется встроенная возможность отслеживания изменения состояния ключа или директории с вызовом обработчика в случае обнаружения изменения (например, можно применить новое значение параметра конфигурации). Для защиты канала связи при обращении из внешней сети предоставляется поддержка TLS-шифрования, аутентификации клиентов по ключам и разграничения доступа через ACL. На типовом оборудовании etcd обеспечивает производительность порядка 10 тысяч операций записи в секунду. Для доступа к базе можно использовать утилиту etcdctl.

Основные новшества:

  • Проведена оптимизация линеаризованной модели чтения ключей, в отличие от сериализированной модели обеспечивающей выдачу актуальных ключей, но ценой потери производительности из-за накладных расходов, связанных с необходимостью определения консенсуса (сериализированная модель читает ключи значительно быстрее, но может выдавать не самое свежее состояние). Оценка состояния ключей в линеаризованной модели производится с использованием протокола Raft. В новой версии для увеличения производительности, снижения нагрузки на дисковую подсистему и сокращения задержек применена индексация запросов через Raft и обеспечена возможность объединения групп запросов;
  • Исключены ситуации кратковременной потери доступности кластера при выполнении операции обновления программного обеспечения. Ранее, в момент обновления лидирующего узла могла возникнуть ситуация временной потери работоспособности, если другие узлы инициировали выбор нового лидирующего узла из-за истечения таймаута. Отныне лидирующий узел автоматически передаёт лидерство другому узлу перед переходом в offline.
  • Для исключения возникновения ситуации потери кворума из-за ошибки оператора, при которой кластер становится неработоспособен, перед перенастройкой состава кластера теперь осуществляется проверка работоспособности его участников, а изменение состава вступает в силу только, когда оно безопасно для сохранения работоспособности. Например, запрос на удаление узла будет отвергнут, если без этого узла не может быть сформирован кворум из-за недостаточного числа активных участников. Или будет отвергнут запрос на добавление участника, если кворум будет потерян из-за невозможности включить узел в состав кластера (например, указан неверный адрес);
  • В etcd v3 API добавлена порция новых средств для учёта времени жизни операций извлечения, определения закреплённых за сеансом ресурсов, эффективной обработки ключей по их ревизиям (при выборке диапазона ключей можно ограничить минимальное и максимальное время модификации или создания ключа) и сокращения круговых задержек через отключение операций подтверждения (допущение возврата старых значений для удалённых событий).
  • В разряд стабильный переведён API аутентификации, все дальнейшие изменения в v3 Auth API будут сохранять совместимость с текущими клиентами etcd v3. Основными отличиями от модели аутинтификации API v2 являются использование токенов для аутентификации (без необходимости выполнения операций bcrypt для каждого запроса) и возможность определения прав доступа для интервалов ключей, вместо привязки к префиксам ключей;
  • Предоставлена возможность обращения к API по протоколу gRPC, использующему protobuf, через прокси. Прокси gRPC может применяться для сокращения нагрузки на ядро кластера etcd через применение кэширования недавно извлекаемых ключей и слияния отслеживаемых запросов. Например, прокси gRPC позволяет защитить кластер от наводнения запросами одного и того же ключа со стороны неправильно настроенного клента или объединить типовые потоки отслеживания для нескольких клиентов, что позволяет сократить число сетевых соединений к кластеру и уменьшить трафик.


  1. Главная ссылка к новости (https://coreos.com/blog/etcd-3...)
  2. OpenNews: Выпуск распределенной системы хранения конфигурации etcd 3.0
  3. OpenNews: Выпуск распределенной системы хранения конфигурации etcd 2.1
  4. OpenNews: Выпуск распределенной системы хранения конфигурации etcd 2.0
  5. OpenNews: Представлена распределённая операционная система DC/OS (Datacenter Operating System)
  6. OpenNews: Первый стабильный выпуск серверной Linux-системы CoreOS
Лицензия: CC-BY
Тип: Программы
Ключевые слова: etcd, container
При перепечатке указание ссылки на opennet.ru обязательно
Обсуждение Линейный вид | Ajax | Показать все | RSS
 
  • 1.1, Аноним, 13:12, 22/01/2017 [ответить] [смотреть все]
  • –3 +/
    etcd
    etcdctl
    ...
     
     
  • 2.2, бедный буратино, 13:30, 22/01/2017 [^] [ответить] [смотреть все] [показать ветку]
  • +/
    шёл логопед по шоссе и сосал etcdctl
     
  • 2.32, Аноним, 07:54, 23/01/2017 [^] [ответить] [смотреть все] [показать ветку]
  • +/
    dhcpcd
     
  • 2.37, Аноним, 13:09, 23/01/2017 [^] [ответить] [смотреть все] [показать ветку]
  • +1 +/
    итдд -- "И так далее"-демон
     
  • 1.3, vantoo, 14:27, 22/01/2017 [ответить] [смотреть все]
  • –2 +/
    Привет windows-реестр!
     
     
  • 2.5, Аноним, 14:35, 22/01/2017 [^] [ответить] [смотреть все] [показать ветку]  
  • –4 +/
    как будто что-то плохое
     
     
  • 3.6, Аноним, 15:43, 22/01/2017 [^] [ответить] [смотреть все]  
  • –5 +/
    Плохое Хранилище настроек, требующее специальных костылялок для редактирования ... весь текст скрыт [показать]
     
     
  • 4.7, Аноним, 16:03, 22/01/2017 [^] [ответить] [смотреть все]  
  • –4 +/
    Так получилось, что получить ключ-значение из реестра быстрее, чем прочитать-рас... весь текст скрыт [показать]
     
     
  • 5.18, Да я забыл заполнить поле Name, 22:05, 22/01/2017 [^] [ответить] [смотреть все]  
  • +6 +/
    > Так получилось, что получить ключ-значение из реестра быстрее, чем прочитать-распарсить из файла.

    Это какой-то системд головного мозга (там тоже быстрее грузиться хотели)!
    Зачем нужно получать это значение быстрее?

    У приложений что, основное занятие - это чтение/сохранение настроек?

     
  • 5.39, Аноним, 13:58, 23/01/2017 [^] [ответить] [смотреть все]  
  • +/
    Что курил Когда начнётся фрагментирование этого твоего реестра, чтение будет ещ... весь текст скрыт [показать]
     
  • 5.45, алекс, 17:53, 23/01/2017 [^] [ответить] [смотреть все]  
  • –1 +/
    В текстовых хотя бы есть комментарии от разработчиков, а для реестра ещё сразу ч... весь текст скрыт [показать]
     
  • 5.46, алекс, 17:55, 23/01/2017 [^] [ответить] [смотреть все]  
  • –1 +/
    Ещё и бекап реестра делать, да. Не-е, не надо нам такого барахла.
     
  • 5.50, rshadow, 20:27, 23/01/2017 [^] [ответить] [смотреть все]  
  • –1 +/
    Парсинг файла конфигурации происходит как правило на момент старта один раз Воз... весь текст скрыт [показать]
     
     
  • 6.58, шшш, 07:40, 24/01/2017 [^] [ответить] [смотреть все]  
  • +/
    Если у тебя 20 типов сервисов и каждый имеет по 100 копий, то ты не будешь делат... весь текст скрыт [показать]
     
  • 4.8, Анын, 16:04, 22/01/2017 [^] [ответить] [смотреть все]  
  • +1 +/
    В "распределённых" тестовых файлах? :)
     
  • 4.9, Аноним, 16:09, 22/01/2017 [^] [ответить] [смотреть все]  
  • +5 +/
    Возможно админам локалхоста плохое В перспективе, когда ценность каждого инстан... весь текст скрыт [показать]
     
     
  • 5.20, exSun, 22:55, 22/01/2017 [^] [ответить] [смотреть все]  
  • –1 +/
    Невесёлая перспектива Очень много энергии тратится ... весь текст скрыт [показать]
     
  • 4.10, Huy, 17:27, 22/01/2017 [^] [ответить] [смотреть все]  
  • +5 +/
    Как буд-то текстовый фал редачится астралом, а не текстовым редактором, и вообще... весь текст скрыт [показать]
     
     
  • 5.35, Аноним, 10:51, 23/01/2017 [^] [ответить] [смотреть все]  
  • +1 +/
    >Как буд-то
    >фал
    >рыкчу
    >исктаь
    >анаогичную

    Спеллчекер может помочь!

     
     
  • 6.40, Аноним, 13:59, 23/01/2017 [^] [ответить] [смотреть все]  
  • +1 +/
    Спеллчекер тут уже не поможет.
     
  • 4.11, Аноним, 18:32, 22/01/2017 [^] [ответить] [смотреть все]  
  • +3 +/
    Если не знаешь, что такое сабж и зачем он нужен, то лучше промолчать.
     
  • 2.13, Аноним, 19:41, 22/01/2017 [^] [ответить] [смотреть все] [показать ветку]  
  • –1 +/
    Windiws-реестр весьма неплохая идея Плохо то, что там практически невозможно пе... весь текст скрыт [показать] [показать ветку]
     
     
  • 3.22, Аноним, 02:36, 23/01/2017 [^] [ответить] [смотреть все]  
  • –1 +/
    Весь софт под линукс придётся перелопатить, чтобы он хранил конфиги в этом реест... весь текст скрыт [показать]
     
     
  • 4.30, ., 06:08, 23/01/2017 [^] [ответить] [смотреть все]  
  • –3 +/
    Чтобы было так же плохо как в винде. 100500%
     
  • 4.34, Аноним, 10:13, 23/01/2017 [^] [ответить] [смотреть все]  
  • +3 +/
    Ну чтобы в реестре случилась одна ошибка и вся система из-за этого стала раком, ... весь текст скрыт [показать]
     
     
  • 5.41, Аноним, 14:00, 23/01/2017 [^] [ответить] [смотреть все]  
  • +/
    Ну линукс же сложный, а венду переустановил и всё ... весь текст скрыт [показать]
     
     
  • 6.44, _, 17:18, 23/01/2017 [^] [ответить] [смотреть все]  
  • –1 +/
    Ну не всё ешё потерянно сысиемды уже прибит гвоздями, скоро и под линуксы пойду... весь текст скрыт [показать]
     
  • 6.47, алекс, 17:57, 23/01/2017 [^] [ответить] [смотреть все]  
  • –1 +/
    жрали мы это, хватит
     
  • 4.43, Аноним, 15:07, 23/01/2017 [^] [ответить] [смотреть все]  
  • +2 +/
    Да фих там Скорее сделают etcfs, которая будет представлять конфиг из реестра в... весь текст скрыт [показать]
     
  • 1.12, Аноним, 18:44, 22/01/2017 [ответить] [смотреть все]  
  • +2 +/
    странно, что никто не заныл про go, видимо win реестр больше ненавидят =)
     
     
  • 2.14, Аноним, 19:57, 22/01/2017 [^] [ответить] [смотреть все] [показать ветку]  
  • –5 +/
    Меня всегда удивляет, когда местные эксперты высказывают недовольство языком про... весь текст скрыт [показать] [показать ветку]
     
     
  • 3.15, Аноним, 20:14, 22/01/2017 [^] [ответить] [смотреть все]  
  • +7 +/
    > о том, что джава плохая,

    Правильно, индусы и интели с кингстонами прямо обожают жабу.

    > а божественная сишечка рулит - пустая болтовня делитантов,

    А что они делят?

     
  • 3.19, Сергей, 22:08, 22/01/2017 [^] [ответить] [смотреть все]  
  • –2 +/
    Как это Большая Во-первых, требования Память больше не дешевая, и на каждый х... весь текст скрыт [показать]
     
     
  • 4.23, angra, 02:48, 23/01/2017 [^] [ответить] [смотреть все]  
  • +2 +/
    Скажи честно я Go видел только на картинке, но мнение уже имею Ты путаешь пам... весь текст скрыт [показать]
     
     
  • 5.27, Аноним, 03:32, 23/01/2017 [^] [ответить] [смотреть все]  
  • +1 +/
    Не агрись, человек отвечал про яву.
     
     
  • 6.28, Аноним, 03:33, 23/01/2017 [^] [ответить] [смотреть все]  
  • +/
    По крайней мере, первая часть написана как будто про яву.
     
     
  • 7.29, angra, 04:18, 23/01/2017 [^] [ответить] [смотреть все]  
  • +/
    Про которую ты знаешь из напевов Рабиновича Ты вправду считаешь, что helloworld... весь текст скрыт [показать]
     
     
  • 8.36, Ванга, 12:14, 23/01/2017 [^] [ответить] [смотреть все]  
  • –1 +/
    Я не считаю, я знаю Умельцы из соседне страны на букву у, написали флеш полиси ... весь текст скрыт [показать]
     
     
  • 9.52, angra, 23:59, 23/01/2017 [^] [ответить] [смотреть все]  
  • –1 +/
    Специально для икспердов usr bin time -v java HelloWorld Hello, World Comman... весь текст скрыт [показать]
     
     
  • 10.55, Аноним, 03:22, 24/01/2017 [^] [ответить] [смотреть все]  
  • +/
    к логопеду к офтальмологу я про любое и не говорил ... весь текст скрыт [показать]
     
  • 4.48, Ordu, 19:06, 23/01/2017 [^] [ответить] [смотреть все]  
  • –1 +/
    Не надо путать тёплое с мягким Cargo -- это не пакетный менагер Если вам нужны... весь текст скрыт [показать]
     
  • 4.49, Аноним, 19:45, 23/01/2017 [^] [ответить] [смотреть все]  
  • –1 +/
    Так прямо и вижу серьёзную энтерпрайзную архитектуру на армах и мипсах Ты опять... весь текст скрыт [показать]
     
  • 3.25, Анином, 03:14, 23/01/2017 [^] [ответить] [смотреть все]  
  • +1 +/
    Ну как какая Если какая-нибудь утилита написана на жабке, то вслед на ней столь... весь текст скрыт [показать]
     
     
  • 4.31, ., 06:13, 23/01/2017 [^] [ответить] [смотреть все]  
  • +/
    Утилиты на жабе не пишут Start time не тот На жабе пишут чё нить стартующее... весь текст скрыт [показать]
     
     
  • 5.53, angra, 00:08, 24/01/2017 [^] [ответить] [смотреть все]  
  • –1 +/
    Еще один иксперд time ldapsearch real 0m0 201s user 0m0 211s sys 0m0 029s Како... весь текст скрыт [показать]
     
  • 3.26, Аноним, 03:25, 23/01/2017 [^] [ответить] [смотреть все]  
  • –2 +/
    Удивление - когнитивная эмоция, возникающая при возникновении неожиданной ситуац... весь текст скрыт [показать]
     
     
  • 4.54, angra, 00:13, 24/01/2017 [^] [ответить] [смотреть все]  
  • –1 +/
    Что конкретные программисты не умеют программировать на этом языке, а может и во... весь текст скрыт [показать]
     
     
  • 5.56, Аноним, 03:35, 24/01/2017 [^] [ответить] [смотреть все]  
  • +/
    Есть многое на свете, друг Горацио, что по размеру тяжелее ldapsearch Твоё мнен... весь текст скрыт [показать]
     
  • 3.42, Аноним, 14:02, 23/01/2017 [^] [ответить] [смотреть все]  
  • +/
    Хорошо, давай я с точки зрения пользователя тебе за java поясню Она тянет java-... весь текст скрыт [показать]
     
     
  • 4.51, Ordu, 23:09, 23/01/2017 [^] [ответить] [смотреть все]  
  • +/
    Вы не умеете готовить жабу.

    Она может пахать на компьютере из 1960-х годов. И пашет: http://thenewstack.io/happens-use-java-1960-ibm-mainframe/

    Правда странички отдаёт за 6-10 секунд.

     
  • 1.21, deadfood, 01:45, 23/01/2017 [ответить] [смотреть все]  
  • –1 +/
    >хранилище параметров конфигурации, задаваемых в форме ключ/значение

    ненужно, хороните

    для тех админов локалхоста, кто не понял: возьмите простейший конфиг апача со всеми его иерархиями и инклюдами, и попробуйте представить его в виде ключ-значение. Опционально можете подумать обычной сетевой фс с приколюхами

    оптимизация чтения конфигов (почти единоразовая операция при старте) вообще убивает. чуваки смешали базу данных и конфиги, покажите им mongodb чтоли

     
     
  • 2.24, angra, 02:55, 23/01/2017 [^] [ответить] [смотреть все] [показать ветку]  
  • +1 +/
    > для тех админов локалхоста, кто не понял: возьмите простейший конфиг апача со
    > всеми его иерархиями и инклюдами, и попробуйте представить его в виде ключ-значение.

    Я ни разу не сторонник etcd и понятия не имею как это решают там, но в общем случае ничего сложного в твоей задаче нет, достаточно лишь додуматься, что ключ может быть составным.

    Вообще у проекта очень неудачное название, оно вводит в заблуждение, намекая на drop-in замену обычному /etc, но на деле не имеет с /etc почти ничего общего.

     
  • 1.33, EuPhobos, 09:52, 23/01/2017 [ответить] [смотреть все]  
  • –1 +/
    Очередной dconf/gconf ?
     
     
  • 2.38, Аноним, 13:34, 23/01/2017 [^] [ответить] [смотреть все] [показать ветку]  
  • +/
    Очередной ты? Уже ведь были люди, зачем было еще тебя создавать?
     
     
  • 3.57, Аноним, 03:49, 24/01/2017 [^] [ответить] [смотреть все]  
  • +/
    Удваиваю этого господина (а не того, что сверху)
     
  • 1.59, Kostiantyn Lysenko, 06:58, 25/01/2017 [ответить] [смотреть все]  
  • +/
    Удивляюсь тому что большинство комментаторов не заметили слова 'распределенный'.

    Системы подобные etcd возникли потому что распределенно хранить конфигурации в текстовых файлах, на сотнях и тысячях хостов, мягко говоря, неудобно.

    Любопытно было бы услышать сравнение с Consul, который обеспечивает похожую функциональность.

     

     Добавить комментарий
    Имя:
    E-Mail:
    Заголовок:
    Текст:


      Закладки на сайте
      Проследить за страницей
    Created 1996-2017 by Maxim Chirkov  
    ДобавитьРекламаВебмастеруГИД  
    Hosting by Ihor TopList