The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]

Релиз Skytools 3.0, инструментария для PostgreSQL, используемого в инфраструктуре Skype

18.03.2012 12:29

Компания Skype выпустила релиз Skytools 3.0, открытого набора инструментов для организации репликации, поддержания серверов горячего резерва и автоматического восстановления после сбоя для кластеров СУБД PostgreSQL. Skytools используется для обеспечения работы крупнейшего в мире PostgreSQL-кластера, обслуживающего базу абонентов Skype (более миллиарда пользователей). Код проекта в большей части написан на языке Python (имеются компоненты на Си) и распространяется в рамках лицензии BSD.

В состав пакета входит фреймворк PgQ, позволяющий организовать работу отвечающих требованиям ACID (атомарность, согласованность, изолированность, долговечность) очередей запросов. Очереди отвечают требованиям транзакционной модели, могут быть организованы сразу к нескольким хостам, поддерживают включение процедур. Для репликации используется Londiste - простая и надёжная реализация системы асинхронной репликации на уровне таблиц, базирующаяся на использовании очередей PgQ и поддерживающая такие интересные функции как двустороннее сравнение таблиц и начальное копирование таблиц в неблокирующем режиме.

Ключевые новшества Skytools 3:

  • Поддержка каскадных очередей, позволяющих сохранить идентичные копии содержимого очередей на нескольких узлах;
  • Новый управляющий демон pgqd (ticker), поддерживающий обслуживание одним процессом нескольких PgQ БД;
  • Улучшения системы репликации Londiste:
    • Реализация параллельного копирования, позволяющая выполнить процесс начальной синхронизации таблиц одновременно для нескольких узлов (в ветке 2.x для распараллеливания порождались дополнительные процессы);
    • Команда EXECUTE, позволяющая запустить любой SQL-скрипт на всех узлах;
    • Поддержка слияния очередей репликации от различных партицированных БД, что позволяет организовать мультимастер репликацию для непересекающихся данных (shared-nothing multimaster replication);
    • Автоматическое создание таблиц и последовательностей (sequence) через импортирование структуры с базового узла;
    • Возможность подключения дополнительных обработчиков для обработки событий (например, можно определить свой метод партицирования);
    • При репликации целевая таблица может иметь другое имя (опция --dest-table);
  • Новая интерактивная консоль администратора - qadmin, которая позволяет вместо длинных опций командной строки управлять системой через ввод команд. Поддерживается автодополнение набора команд через нажатие клавиши "табуляция".

Дополнительно можно отметить релиз фреймворка Pyrseas, предназначенного для сопровождения СУБД PostgreSQL и автоматизации операций по обновлению структуры данных. Pyrseas преобразует стандартную схему со структурой БД и сопутствующие метаданные в формат YAML или JSON, более пригодный для использования в системах контроля версий. Используя представление в формате YAML, Pyrseas обеспечивает генерацию SQL для выполнения синхронизации структуры одной БД с другой (т.е. можно легко внести изменения в структуру и распространить их на другие БД). Поддерживается PostgreSQL 8.4, 9.0 и 9.1. Код проекта написан на языке Python и распространяется под лицензией BSD.

  1. Главная ссылка к новости (http://permalink.gmane.org/gma...)
  2. OpenNews: Компания Skype планирует обслуживать миллиард пользователей с PostgreSQL
  3. OpenNews: Skype делится своими PostgreSQL-проектами
  4. OpenNews: Масштабирование PostgreSQL: готовые решения от Skype
  5. OpenNews: Компания Skype планирует обслуживать миллиард пользователей с PostgreSQL
  6. OpenNews: Материалы онлайн-конференции с ведущими экспертами PostgreSQL
Лицензия: CC-BY
Тип: Программы
Короткая ссылка: https://opennet.ru/33381-skytools
Ключевые слова: skytools, postgresql, update, sync, pyrseas
При перепечатке указание ссылки на opennet.ru обязательно
Обсуждение (19) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.1, ананим (?), 13:46, 18/03/2012 [ответить] [﹢﹢﹢] [ · · · ]  
  • +3 +/
    > Skytools используется для обеспечения работы крупнейшего в мире PostgreSQL-кластера, обслуживающего базу абонентов Skype (более миллиарда пользователей).

    Как?!!
    Неужели ещё не перевели на м$sql? Или денег на лицензии не хватило?

     
     
  • 2.2, Алексей (??), 14:10, 18/03/2012 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Принцип "если работает - не трогай" в действии.
     
     
  • 3.6, ананим (?), 19:18, 18/03/2012 [^] [^^] [^^^] [ответить]  
  • +7 +/
    Это не принцип мс.
    У неё - ёжики будут всё равно есть кактус. И мышки тоже.
     
  • 3.24, fi (ok), 14:33, 19/03/2012 [^] [^^] [^^^] [ответить]  
  • +/
    помним, скорбим - hotmail.com на freebsd :))
     
  • 2.5, Evgueni (?), 18:23, 18/03/2012 [^] [^^] [^^^] [ответить]  
  • +/
    Кстати, было бы очень интересно посмотреть на результат со стороны. В смысле результат перехода.
     
     
  • 3.7, all_glory_to_the_hypnotoad (ok), 20:42, 18/03/2012 [^] [^^] [^^^] [ответить]  
  • +/
    очевидно, такой переход просто сделать невозможно
     
     
  • 4.14, ананим (?), 00:03, 19/03/2012 [^] [^^] [^^^] [ответить]  
  • +/
    Хм. Очевидно, что возможно.
    Всего то база клиентов. Да ещё и в сиквеле.
    А вот нужно ли — другой вопрос.
     
  • 3.16, анонимус (??), 02:39, 19/03/2012 [^] [^^] [^^^] [ответить]  
  • +/
    >Кстати, было бы очень интересно посмотреть на результат со стороны. В смысле результат перехода.

    Не менее масштабный переход был осуществлен в свое время на Hotmail. И ничего, работает

     
     
  • 4.25, fi (ok), 14:36, 19/03/2012 [^] [^^] [^^^] [ответить]  
  • +/
    > ничего, *не* работает

    После перехода колбасило так что я слетел, даже mail.ru в то время лучше был.


     
  • 2.27, ФФ (ok), 20:25, 19/03/2012 [^] [^^] [^^^] [ответить]  
  • +/
    >Как?!!
    >Неужели ещё не перевели на м$sql?

    )))
    дадада

     

  • 1.4, _Ahatanhel_ (ok), 14:42, 18/03/2012 [ответить] [﹢﹢﹢] [ · · · ]  
  • +4 +/
    >Компания Skype выпустила

    тоесть Майкрософт?

     
     
  • 2.8, Аноним (-), 21:00, 18/03/2012 [^] [^^] [^^^] [ответить]  
  • –2 +/
    Microsoft тоже делает вклад в OpenSource
     
     
  • 3.9, Аноним (-), 21:29, 18/03/2012 [^] [^^] [^^^] [ответить]  
  • +/
    ---------------------------
    nice try microsoft's boy...
    ---------------------------

    дай пруфов, коль не жалко?!

     
     
  • 4.12, Пруф (?), 22:22, 18/03/2012 [^] [^^] [^^^] [ответить]  
  • +2 +/
    http://www.apache.org/foundation/thanks.html
     
  • 4.33, letsmac (ok), 20:30, 22/03/2012 [^] [^^] [^^^] [ответить]  
  • +/
    Для тех кого в гугле забанили : http://www.codeplex.com/
     
  • 3.11, Аноним (-), 22:01, 18/03/2012 [^] [^^] [^^^] [ответить]  
  • +3 +/
    «Embrace, extend and extinguish»
     
  • 2.15, Михрютка (?), 01:33, 19/03/2012 [^] [^^] [^^^] [ответить]  
  • +/
    дададад, а еще под BSD лицензией и на питоне! Очевидно же диверсия!
     
     
  • 3.29, Anonymouse (?), 22:06, 19/03/2012 [^] [^^] [^^^] [ответить]  
  • +/
    Михрютка - ховайся! И оперу пиши!
     
     
  • 4.32, Михрютка (?), 01:44, 21/03/2012 [^] [^^] [^^^] [ответить]  
  • +/
    Не могу, оперу уже норвеги написали :)
     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Спонсоры:
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2020 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру