По информации из доклада (https://www.pgcon.org/2016/schedule/attachments/426_2016.05....) Владимира Бородина на конференции Pgcon, компания Яндекс полностью завершила перевод сервиса Яндекс.Почта с СУБД Oracle на PostgreSQL. Решение по уходу с CУБД Oracle было принято в 2012 году. Затем два года проводились эксперименты и летом 2014 года был подготовлен прототип рабочей системы для Яндекс.Почты на основе PostgreSQL, после чего потребовалось около двух лет на его доработку и внедрение. В сентябре 2015 была проведена экспериментальная миграция неактивных пользователей сервиса, затем в январе 2016 стартовал процесс перевода активных пользователей. Полностью переход Яндекс.Почты на PostgreSQL был завершён в июле.Система обеспечивает хранение около 1 Пб данных (более 100 миллиардов записей) и обрабатывает 250 тысяч запросов в секунду. Среди причин, побудивших к уходу от Oracle отмечается неотзывчивая поддержка, неудобное развёртывание, закрытый код, синхронные клиентские интерфейсы, большой объем ручных операций и большие затраты на сопровождение. Из задействованных после миграции специфичных возможностей PostgreSQL отмечается версионирование даных, массивы и составные типы. Замена хранимых процедур Oracle PL/SQL на PL/pgSQL позволила сократить их размер и расширить возможности по тестированию. Отсутствие блокировки кэша библиотек (https://docs.oracle.com/cd/B16240_01/doc/doc.102/e16282/orac...) позволило упростить развёртывание изменений.
URL: https://news.ycombinator.com/item?id=12489055
Новость: http://www.opennet.ru/opennews/art.shtml?num=45146
патчей в апстрим много, наверное, накоммитилиэто хорошо
Наш ответ УБеру
Ах вот почему у меня почта на яндекс прихожить перестала.
да это просто праздник какой то
Доклад от 2016.05.19?
Пингуете будущее?
> специфичных возможностей PostgreSQL отмечается версионирование даныхА где такое в PostgreSQL? что-то я проспал видимо :-)
Есть из коробки? Писал сам руками на тригерах
да, и в оракле и в pg есть версионность, и в обоих нет блокировак поэтому
https://www.postgresql.org/support/versioning/
Ссылка вообще не туда.
> да, и в оракле и в pg есть
>www.postgresql.org/support/versioning/Это не та ссылка. https://www.postgresql.org/docs/9.5/static/mvcc-intro.html
Если коротко, то DDL в Postgres транзакционен + copy-on-write всегда.
Как бы не дошло дело до oracle postgresql.
Это как? С MySQL попытались такое проделать и появилась MariaDB. Это Open Source детка.
MariaDB появилась иначе - когда вендиус решил еще раз продать воздух уже проданый Sun.
С тех пор где-то там..
Не, всё не так. MariaDB появилась, когда Видениус увидел что оракел (схавав сан) вообще не заинтересован в развитии конкурента.
дошло б до Яндекс.Oracle -- было б интересно.
> Яндекс.Почта успешно мигрировала с Oracle на PostgreSQLЯндекс.Почта успешно исторгла из себя проприетарный зонд. Ну чё, хорошая новость, наверное...
А за что они от своего Jabber-сервиса решили отказаться?
Увы, джаббер помер из-за своей ориентированности на постоянное соединение, а сейчас все ориентируются на мобильники и push-архитектуру. Так что увы...
> Увы, джаббер помер из-за своей ориентированности на постоянное соединение, а сейчас все
> ориентируются на мобильники и push-архитектуру. Так что увы...надо срочно написать в вацап, что их протокол помер и все ориентируются на мобильники и пуш-архитектуру, а то прозябают там
То-то в вацаппе синхронизировать сообщения на всех устройствах та еще задачка.
Та же хрень в гугл талке, через обычный джаббер клиент, сообщения могут теряться как входящие так и исходящие на мобильном устройстве
Смотрю я на воцапп на мобиле и в вебе, вижу там синхронизированные сообщения и думаю «А не врет ли аноним?»
Это у вас от неосведомлённости.
Вы попробуйте телефончик-то выключить, и попробовать тогда посмотреть из веба. И ничего вы не увидите.
Потому что сообщения ваши все — на вашем мобильном, и именно туда идёт веб клиент за архивом.
Потеряете телефон — потеряете архив. Нет телефона — не можете ни отправлять, ни получать сообщения, сколько бы веб клиентов ни запускали.
> Это у вас от неосведомлённости.
> Вы попробуйте телефончик-то выключить, и попробовать тогда посмотреть из веба. И ничего
> вы не увидите.
> Потому что сообщения ваши все — на вашем мобильном, и именно туда
> идёт веб клиент за архивом.
> Потеряете телефон — потеряете архив. Нет телефона — не можете ни отправлять,
> ни получать сообщения, сколько бы веб клиентов ни запускали.Да, без телефона их веб-клиент не работает. А вот бэкап сообщений лежит в Google Drive и при установке на чистую мобилу притаскивается оттуда. Но вам же это не интересно, вам нужно в лужи метан попускать.
Так ты его навряд ли сможешь восстановить, бэкап то шифрованный, а ключик без рута с телефона не утащить.
Я восстанавливал, проблем не было. На предыдущем смарте экран разбил.
> Так ты его навряд ли сможешь восстановить, бэкап то шифрованный, а ключик
> без рута с телефона не утащить.Руками может и не смогу, не пробовал, при установке клиента на другую мобилу все само приходит. Плюс чаты можно отправить почтой вместе со всеми аттачами хоть себе, хоть кому еще, так же встроенная возможность клиента, полностью все содержимое чата в txt-файле. Какие еще проблемы придумаете?
> Так ты его навряд ли сможешь восстановить, бэкап то шифрованный, а ключик
> без рута с телефона не утащить."Бекап у меня есть, но я вам его не отдам, потому что у вас докУментов нету"
>Это у вас от неосведомлённости.Чур меня! Не хочу туда вляпываться. Неожиданно много людей, разбирающихся в сортах.
Whatsapp переписку не хранит
> Whatsapp переписку не хранитХранит. У вас на мобиле и в гугл-драйве, откуда и притаскивает бэкапы, если нужно.
Да лано. Проорешь "алла я в бар" в пиндосском аэропорту и тебе из анб сами все бэкапы привезут.
В мобиле понятно. Насчёт Google drive не в курсе, хотелось бы подробностей.
> В мобиле понятно. Насчёт Google drive не в курсе, хотелось бы подробностей.В настройках ВоцАппа есть «Резервная копия чатов», там можно включить бэкапы в гугл-драйв. При установке на новую мобилу он оттуда подтягивает бэкап и чаты на мобиле восстанавливаются. В каком формате хранит не смотрел, надо глянуть.
>надо срочно написать в вацап, что их протокол помер и все ориентируются на мобильники и пуш-архитектуру, а то прозябают тамВацап уже давно отказался от XMPP в пользу своего закрытого бинарного протокола.
ага и в мюторрент с фэйсбуком )
Они долго затягивали, но в конце концов разродились – XEP-0357: Push Notifications. Подробно рассказано тут: https://blog.process-one.net/xmpp-mobile-groupchat-introduci.../
В свежем ejabberd уже есть.
Так что не всё потеряно.
OpenID выпилили. Следующее, видимо, RSS.
А потом http?
А вот это они правильно придумали
давно пора.
websockets давно существуют ибо для.
>OpenID выпилили. Следующее, видимо, RSS.нормальный rss они уже давно выпилили и сделали голимое подобие.., которому видимо дорога за OpenID, jabber, закладками и прочим...
Яндекс.Почта отказывается от jabber, вот это неприятно.
увы пользователи первыми отказались от жаббера..
а как же.. а как же - оно же все открытое - а оказалось не нужно.
Где те 100 тыс пользователей которые хотят все открытое ?
> Где те 100 тыс пользователей которые хотят все открытое ?их как бы не спрашивали ;)
> Где те 100 тыс пользователей которые хотят все открытое?На Freenode, вестимо. :)
> As of March 2015 the largest IRC networks are:
> freenode – around 99k users at peak hours
> а как же.. а как же - оно же все открытое -
> а оказалось не нужно.
> Где те 100 тыс пользователей которые хотят все открытое ?Они теперь в matrix!
Все на http://matrix.org.Потому что открытости недостаточно, нужно ещё и удовлетворительно работать.
Jabber не смог.
> Потому что открытости недостаточно, нужно ещё и удовлетворительно работать.
> Jabber не смог.Да всё он смог, просто все нормальные реализации jabber сервера и jabber клиента почему-то оказались проприетарными.
>> Потому что открытости недостаточно, нужно ещё и удовлетворительно работать.
>> Jabber не смог.
> Да всё он смог, просто все нормальные реализации jabber сервера и jabber
> клиента почему-то оказались проприетарными.а как же те 100 тыс программистов - которым дай открытый код и открытые спецификации и они напишут матрицу?.. не шмогла ?
Вы что-то путаете
Потому что насобирались большие компанёшки и решили денег наварить с джаббера. Стандартизация каждого чиха ханимала хз сколько времени. А они свои закрытые поделия пилили и продавали. А потом ещё и разъединились - гугла с своими клиентами, циска с своими. И нет нормального обмена между системами. Конец немного предсказуем.
> Потому что насобирались большие компанёшки и решили денег наварить с джаббера. Стандартизация
> каждого чиха ханимала хз сколько времени. А они свои закрытые поделия
> пилили и продавали. А потом ещё и разъединились - гугла с
> своими клиентами, циска с своими. И нет нормального обмена между системами.
> Конец немного предсказуем.а кто же мешал по открытым спекам все написать ?..
> а кто же мешал по открытым спекам все написать ?..Ты спеки видел? Там энтерпрайзно, круто, XML во все поля, схемы, федерации и что еще. А реально - базовые вещи умрешь кодить, парсинг невменяем, к тому же все опциональное. Вещи которые работали в ICQ98, который в 10 раз меньше любого жабберклиента оказались "опциональны" и/или кривы. Пользователям кривой урод не требуется.
И в каком году вышла официальная спека на стандарт видеоконференций?
> а кто же мешал по открытым спекам все написать ?..Например то что там 5 разных вариантов передачи файлов.
> а как же.. а как же - оно же все открытое - а оказалось не нужно.Потому что в жаббере плохо работает абсолютно все что может работать плохо. Нельзя приказать пользователям пользоваться протоколом который теряет сообщения, отказывается слать файлы, а уж чтобы видеозвонок... ух... ну попробуйте это с жаббером.
Насколько я помню сервер не может приказать клиенту(да и стандартов я таких не помню) использовать для разных типов сообщений разные порты. Чатик пусть бегает по таким, аудио по таким, видео по таким, передача фалйов по таким... Тогда можно не напряжно полисовать разные типы трафика.
> Потому что в жаббере плохо работает абсолютно все что может работать плохо.
> Нельзя приказать пользователям пользоваться протоколом который теряет сообщения, отказывается
> слать файлы, а уж чтобы видеозвонок... ух... ну попробуйте это с
> жаббером.Теряют сообщения конкретные реализации, а не протокол, в протоколе есть все средства чтобы их не терять, и подтверждения доставки и offline хранение.
разработчиков на эрланг найти - ж-а оказалось как трудно, видимо.
Неужели наступила эпоха, когда зажравшимся монстрам типа ораклов, мелкософтов и прочих эпплов вставили пику FOSS?! Яндекс - это ведь не бухгалтерия одного склада, нагрузки серьёзные - народ вот так посмотрит-посмотрит, да и плюнет на контуженный ценами оракл! И прально сделает. Всё же "корпоративный сектор" слегка припух развешивать миллионные ценники - раскрутят брэнд, да сосут бабло.
Всяческих успехов Постгресу!!
> Неужели наступила эпоха, когда зажравшимся монстрам типа ораклов, мелкософтов и прочих
> эпплов вставили пику FOSS?! Яндекс - это ведь не бухгалтерия одного
> склада, нагрузки серьёзные - народ вот так посмотрит-посмотрит, да и плюнет
> на контуженный ценами оракл! И прально сделает. Всё же "корпоративный сектор"
> слегка припух развешивать миллионные ценники - раскрутят брэнд, да сосут бабло.
> Всяческих успехов Постгресу!!с разморозкой, принцесса, скайп ещё в светлые времена доброй памяти на постгресе сидел, а там нагрузки — не полторы нищих калеки с тремя письмами
В skype было 21 миллион народу.
И какие там нагрузки на БД?
Какая бы не была плохая поддрежка у Оракл, но она есть и это основная причина покупки их базы. Найти разработчика ядра Postgres в штат (точнее как миниум двух), чтоб спать спойкойно, очень сложно, да и это будет дорого. А сторонний саппорт пока не развит. Понятно, что это не проблема для Яндекс, у них куча C разрабов, но для среднестатистического потребителя Oracle это очень большая проблема.
Ну и с практической точки зрения утилиты администрирования Postgres находятся на данный момент в очень паршивом состоянии на фоне Oracle.
> Какая бы не была плохая поддрежка у Оракл, но она есть и
> это основная причина покупки их базы. Найти разработчика ядра Postgres в
> штат (точнее как миниум двух), чтоб спать спойкойно, очень сложно, да
> и это будет дорого. А сторонний саппорт пока не развит. Понятно,
> что это не проблема для Яндекс, у них куча C разрабов,
> но для среднестатистического потребителя Oracle это очень большая проблема.
> Ну и с практической точки зрения утилиты администрирования Postgres находятся на данный
> момент в очень паршивом состоянии на фоне Oracle.«среднестатистический потребителя Oracle» сам ничего не пишет. Он покупает и использует свои бизнес-системы, а уже для них покупает такую базу, какую порекомендует разработчик бизнес-системы.
Начал 1C работать на постгресе — стали для 1С покупать постгрес.
Станут на постгресе работать прочие учётные-торговые-промышленные системы — станут их ставить на постгрес.
Потихоньку, по мере устаревания старых.
От потребителей тут зависит примерно ничего. Решают разработчики софта для бизнеса.
> «среднестатистический потребителя Oracle» сам ничего не пишет.Где обитает этот диковинный потребитель?
Назовите хоть одного (даже пользователя personal edition) который бы не писал код.
Любой банк, любая госконтора имеет самописанный код.
Тот же Business Suit - не найти одинакового в разных фирмах (у всех что-то своё дописано).
Полная чушь.
Берут оракл потому что это действительно лучшая рсубд. А вот блоб и саппорт — это офишенный минус. При чем из-за того что блоб, не пдохой саппорт (а он у них не плохой. гораздо лучше прочих блобячих конкурентов).
> штат..как миниум двух.. спать спойкойно.. очень сложноПросто не нужно из манагеров идти в админы и программисты.
У хорошо спроектированного ПО, да при наличии сырцов, трэйсить ошибку даже в удовольствие. При этом на уровне 2-го курса профильного вуза.Зыж
> Найти разработчика ядра Postgres в штат (точнее как миниум двух), чтоб спать спойкойно, очень сложно, да и это будет дорогоА ты не путай свою шерсть с государственной. (С)
Ззыж
> При чем из-за того что блоб, не пдохой саппорт (а он у них не плохой. гораздо лучше прочих блобячих конкурентов).При чем из-за того что блоб, не пдохой саппорт (а он у них не плохой. гораздо лучше прочих блобячих конкурентов) сливает(!).
Через недельку после открытого сапортреквеста приходит ответ — нет, этого сделать нельзя, может в будущих релизах.
.. забавно, а мы вчера всё уже сами сделали.
~30-40% именно такие запросы.
Желаете купить из-за саппорта? Готовьте бабло на "может в следующем". Вот и уся математика.
> Какая бы не была плохая поддрежка у Оракл, но она есть и
> это основная причина покупки их базы....а также сваливания с оного: мои старые друзья, будучи платиновыми, что ли, партнёрами орацла -- как-то лёгший RAC поднимали сами, всё сами; потому как хвалёная поддержка оченно их морально поддержала, умело разводя руками в столь деликатной ситуации.
> но для среднестатистического потребителя Oracle это очень большая проблема.
FUD.
> Ну и с практической точки зрения утилиты администрирования Postgres находятся
> на данный момент в очень паршивом состоянии на фоне Oracle.По счастью, на оракл после семёрки плотно не смотрел, но тогда его даже развернуть было форменным извращением.
> на оракл после семёрки плотно не смотрел7.3.3.4 — это как лебединая песня поршневых истребителей.
Как-то так. Ну как наш як-9 последней модификации.. в общем отличная вещь, но между ними эпоха. Или две.
ну во всяком случае на Unixware стоял 7.3.4.6 ... может они ещё патчей понавыпускали.
с этой версии ставился на линух (с небольшими ограничениями и с бубном, но.. работал)
"на оракл после семёрки плотно не смотрел, но тогда его даже развернуть было форменным извращением"Ничего не поменялось. У нас кульОраклист его полдня ставит на один сервак. Попутно накатывая на сервак кучи помёта в виде иксов и гнома.
Давно все ставится автоматически если правильный скрипт написать ... 30 минут и Oracle up and running
Чувак, семерка была 20 лет назад.
> По счастью, на оракл после семёрки плотно не смотрел, но тогда его
> даже развернуть было форменным извращением.Пол-дня ушло, даже чуть больше, с перерывами на пожрать/перекреститься. Регистрация, скачивание зип-архивов(здравствуй виндоус), i386 пакеты на x64 архитектуре для сборки, вмешательство в иерархию ФС, создание файлов в обход пакетника, перезагрузка, добавление магических ключей в мэйкфайлы во время возникающих ошибок (retry/retry/retry), общем не знаю как было раньше, но в тот день я поминал оракел теми еще словами.
> А сторонний саппорт пока не развит.не реклама но вот https://postgrespro.ru/
узнал о них потому как они занимаются переводом документации на русс + также присутствуют в списке минкомсвязи (если не ошибаюсь)
> не реклама но вот https://postgrespro.ru/
> узнал о них потому как они занимаются переводом документации на русс +
> также присутствуют в списке минкомсвязи (если не ошибаюсь)Могу рекомендовать, как минимум сам Бартунов по общению оставил только приятное впечатление.
>Найти разработчика ядра Postgres в штат (точнее как миниум двух), чтоб спать спойкойно, очень сложно, да и это будет дорого.Вот дурень :) Сравни:
Найти разработчика ядра Oracle в штат (точнее как миниум двух), чтоб спать спойкойно, технически _невозможно_, за _любые_ деньги.
И? :)
> Яндекс - это ведь не бухгалтерия одного склада, нагрузки серьёзныеЯндекс - местечкова контора ориентированная только на Россию, ну и к тому же карго-культ с Гугла.
да-да-да... фактически разорван в клочья.Ну вот постгри как-то и перетопчутся. и остальнам "нищeбpoдам" помогут.
Что не устраивает то?
Дык это и не устраивает! Нада же каиться и платить :)
>> Яндекс - это ведь не бухгалтерия одного склада, нагрузки серьёзные
> Яндекс - местечкова контора ориентированная только на Россию, ну и к тому
> же карго-культ с Гугла.Вызывающе неверная информация
На фактическом размере их бизнеса и нагрузках, ложащихся на СУБД, это сказывается лишь косвенно.
> Неужели наступила эпоха, когда зажравшимся монстрам типа ораклов, мелкософтов и прочих
> эпплов вставили пику FOSS?!помечтайте.. помечтайте..
в тренде передача имущественных прав на код
выпихивание из руководств представителей сообществ и т.д. и т.д.сейчас для любого неосвоенного ресурса найдётся свой собиратель сливок
А что так волнуешься то?
Тоже в квартире под подушкой 8 ярдов заныкал что ли?
> А что так волнуешься то?
> Тоже в квартире под подушкой 8 ярдов заныкал что ли?я спокоен и меланхоличен
а вот ты похоже возбудился, .. только я не пойму на какой элемент логики
OpenSource -> ресурс -> владельцы ресурса
и причём тут подушки?просвети пожалуйста неочевидный ход своей мысли
или у тебя подгорает где-то ещё?
> я спокоен и меланхоличенПросто любитель чужое посчитать?
ну да, бывает. пловина 404-х такая.> просвети пожалуйста неочевидный ход своей мысли или у тебя подгорает где-то ещё?
У меня не подгорает, могу подождать.
Тебе срочно? :D
>> я спокоен и меланхоличен
> Просто любитель чужое посчитать?
> ну да, бывает. пловина 404-х такая.
>> просвети пожалуйста неочевидный ход своей мысли или у тебя подгорает где-то ещё?
> У меня не подгорает, могу подождать.
> Тебе срочно? :Dпонятно, очередной балабол
удачи
:D
Какая еще эпоха?. Максимум одного манагера в оракле уволят.
Да пусть оставляют (жалко же человека то).
Хм.. дай обрисую.
Завтра просто будет ещё один центр компетенции по постгри. С хорошей командой.
После завтра у них будет свой полнотекстовой поисковик. Бесплатно. А платно — и пошли бомбардировки "штрих-кодами по глонасу"...
..
А после-после завтра (выходя на пенсию) они будут весьти курсы подготовки в бауманке.
И я (не менее старый) буду на них записываться (хорошо бы не сильно дорого. А то оракл — это пиceц).Всё. Как-то так.
разрушать страну то оно конечно всяко быстрее,.. но тут важен трэнд.
Припоминаю, что почта mail.ru вроде переходила тоже с оракла, но на mysql.
А у меня вот вопрос не почему они перешли, а наоборот - почему они вообще ораклом пользовались? O_o
> А у меня вот вопрос не почему они перешли, а наоборот -
> почему они вообще ораклом пользовались? O_oВо времена создания Яндекса (и/или их почты) он был вне конкуренции.
А чё вобще не уйти с реляционной БД сразу? Всё одно придётся.
Свидетель NoSQL в треде!
Вобще они конечно вроде не озвучили ЧЁ они там хранят, может просто индексы какие...
>Вобще они конечно вроде не озвучили ЧЁ они там хранят, может просто индексы какие...А я доклад полистал. Там для не умеющих читать на скриншотах стрелочками нарисовано, что они хранят в СУБД. Метаданные писем: кто прислал, тема письма, метки, папочки и т.д. Удивительно, что этого барахла у них набралось аж 2 терабайта, да ещё так часто используется, что аж шардинг, 75% SSD-дисков и только 25% SATA-дисков. А 2% пользователей у них вообще 50% нагрузки создают.
> неотзывчивая поддержкаа у ПостГреса отзывчивая?
>> неотзывчивая поддержка
> а у ПостГреса отзывчивая?http://www.opennet.ru/openforum/vsluhforumID3/109101.html#99
> а у ПостГреса отзывчивая?как минимум - существующая, функциональная.
о Оракловской оное сказать получается - нечасто, а в РФ - так вообще нечасто.
Импортозамещение в действии!