The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]

форумы  помощь  поиск  регистрация  майллист  вход/выход  слежка  RSS
"Представлена инфраструктура по организации параллельных вычи..."
Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Изначальное сообщение [ Отслеживать ]

"Представлена инфраструктура по организации параллельных вычи..."  +/
Сообщение от opennews (??) on 04-Май-15, 08:55 
В дерево исходных текстов СУБД PostgreSQL приняты изменения (http://git.postgresql.org/gitweb/?p=postgresql.git;a=commitd...) с реализацией инфраструктуры для параллельных вычислений, предоставляющей следующие возможности:

-  Удобные процедуры для координирования запуска и завершения работы параллельно выполняемых рабочих процессов;
-  Синхронизация различных внутренних состояний (GUCs, комбинированный маппинг CID, снапшоты транзакций) между лидером группы параллельных работ и непосредственно распараллелеными рабочими процессами;
-  Ограничение вызова различных операций, которые могут привести к внесению некорректных изменений в условиях активного распараллеливания;
-  Доставка уведомлений клиенту через сообщения ErrorResponse,
NoticeResponse и NotifyResponse от работающих в параллельном режиме обработчиков.


Дополнительно, можно отметить появление (http://www.opennet.ru/soft/job_PostgreSQL.odt) в компании Postgres Professional, в которой работают многие известные отечественные разработчики PostgreSQL, вакансий разработчиков на языке C для работы над ядром СУБД PostgreSQL. Трудоустройство на полный рабочий день в Москве. Работа подразумевает создание новой функциональности ядра СУБД PostgreSQL, участие в Open Source проектах и обеспечение поддержки 3-го уровня (исправление ошибок, поиск и решение проблем). Контакты для связи: obartunov@postgrespro.ru и a.korotkov@postgrespro.ru.


URL: http://www.postgresql.org/message-id/E1Ynu2T-0005iK-Gf@...
Новость: http://www.opennet.ru/opennews/art.shtml?num=42158

Ответить | Правка | Cообщить модератору

Оглавление

Сообщения по теме [Сортировка по времени | RSS]


1. "Представлена инфраструктура по организации параллельных вычи..."  +/
Сообщение от Аноним (??) on 04-Май-15, 08:55 
Публикация e-mail в удобном для спам ботов виде крайне способствует засорению персонального почтового ящика.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

2. "Представлена инфраструктура по организации параллельных вычи..."  +5 +/
Сообщение от A.Stahl (ok) on 04-Май-15, 09:01 
>Публикация e-mail в удобном для ... виде

Это называется вежливость.
Разгадывать ребусы вроде:
o(a+)(искусство по-английски)unov(коммерческая собака)postgrespro(тчк)ru
не в кайф. Особенно если действительно надо выйти на связь.

Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

3. "Представлена инфраструктура по организации параллельных вычи..."  +2 +/
Сообщение от Аноним (??) on 04-Май-15, 09:24 
ИМХО, но это точно не вежливость. Вежливость - это когда для резюме кандидатов открывают отдельный e-mail  и, при необходимости, краткий help. А забитый спамом персональный e-mail ведущих разработчиков это, простите, "свинью положили".
Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

13. "Представлена инфраструктура по организации параллельных вычи..."  +1 +/
Сообщение от YetAnotherOnanym (ok) on 04-Май-15, 12:15 
Работал в провайдере, на сайте был открытым текстом адрес support@..., редиректился на мой персональный email, на мой же адрес редиректились hd@, helpdesk@, help@, abuse@, webmaster@, postmaster@ и ещё какие-то, все уже не помню. В день - два-три-пять собщений, пик - около десятка, в основном на русском. После обучения SA переставали проходить и они.
Ответить | Правка | ^ к родителю #3 | Наверх | Cообщить модератору

14. "Представлена инфраструктура по организации параллельных вычи..."  +/
Сообщение от pkdr (ok) on 04-Май-15, 12:39 
Вообще-то rfc5321 как раз требует, чтобы postmaster@ не фильтровался.

Да и abuse@, ИМХО лучше не фильтровать.

Ответить | Правка | ^ к родителю #13 | Наверх | Cообщить модератору

4. "Представлена инфраструктура по организации параллельных вычи..."  +/
Сообщение от arzeth (ok) on 04-Май-15, 09:25 
Я ребусы (полегче) встречал только на русских сайтах. А так я вижу только типа mail(at)example(dot)com
Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

5. "Представлена инфраструктура по организации параллельных вычи..."  +/
Сообщение от A.Stahl (ok) on 04-Май-15, 09:27 
>mail(at)example(dot)com

Неужели ты думаешь, что для сборщиков адресов этот адрес хоть как-то отличается от написанного прямым текстом? На улице 21 век, гигагерцовые процессоры и прочие достижения...

Ответить | Правка | ^ к родителю #4 | Наверх | Cообщить модератору

22. "Представлена инфраструктура по организации параллельных вычи..."  –1 +/
Сообщение от Аноним (??) on 04-Май-15, 18:17 
От профессионала спасёт только ещё более крутой профессионал. От скриптидис - спасёт.
Та же история с ssh. Держать на стандартном 22 порту или перевесить? :)
Как говаривал старик Шекспирыч:  ту бир ор нот ту бир?!
Ответить | Правка | ^ к родителю #5 | Наверх | Cообщить модератору

48. "Представлена инфраструктура по организации параллельных вычи..."  +/
Сообщение от anonimous on 13-Май-15, 18:53 
> Та же история с ssh. Держать на стандартном 22 порту или перевесить? :)

как же смИшно выглядят скриптикиддис перевешивающие с 22 на другой порт.
по-вашему перебор портов для бота более занудная процедура, чем перебор пароля?

добавьте уже один раз в /etc/ssh/sshd_config строку:
AuthenticationMethods publickey

и будет вам счастье

Ответить | Правка | ^ к родителю #22 | Наверх | Cообщить модератору

6. "Представлена инфраструктура по организации параллельных вычи..."  +/
Сообщение от arzeth (ok) on 04-Май-15, 09:30 
> Это называется вежливость.
> Разгадывать ребусы вроде:
> o(a+)(искусство по-английски)unov(коммерческая собака)postgrespro(тчк)ru
> не в кайф. Особенно если действительно надо выйти на связь.

Либо вообще можно было бы так сделать: <span class="email">mail ...AAAATTTT... example ...DOOOT... com</span>, а затем с помощью JS сделать нормальный e-mail.

Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

7. "Представлена инфраструктура по организации параллельных вычи..."  +2 +/
Сообщение от Аноним (??) on 04-Май-15, 10:01 
Спам-боты уже сто лет как умеют выполнять JS-скрипты.
Ответить | Правка | ^ к родителю #6 | Наверх | Cообщить модератору

9. "Представлена инфраструктура по организации параллельных вычи..."  +1 +/
Сообщение от Бобазали on 04-Май-15, 10:34 
> Это называется вежливость.
> Разгадывать ребусы вроде:
> o(a+)(искусство по-английски)unov(коммерческая собака)postgrespro(тчк)ru
> не в кайф. Особенно если действительно надо выйти на связь.
>Либо вообще можно было бы так сделать: <span class="email">mail ...AAAATTTT... example ...DOOOT... com</span>, а затем с помощью JS сделать нормальный e-mail.

А можно просто создать отдельный e-mail аналогичный resume@postgrespro.ru и пояснить, что для быстрой связи с Бортуновым О. письмо должно начинаться фразой : "Вниманию Олега Бортунова". Procmail или иной фильтр облегчит жизнь и оператору и Олегу.

И, возможно, стоит перейти к содержанию новости, форма подачи, похоже получила свою долю внимания.

Можно привести сравнительный пример выгод использования параллельно выполняемых рабочих процессов.

Ответить | Правка | ^ к родителю #6 | Наверх | Cообщить модератору

11. "Представлена инфраструктура по организации параллельных вычи..."  –1 +/
Сообщение от Генрих Мюллер on 04-Май-15, 11:29 
это называется фсб
Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

8. "Представлена инфраструктура по организации параллельных вычи..."  –1 +/
Сообщение от Аноним (??) on 04-Май-15, 10:01 
> Публикация e-mail в удобном для спам ботов виде крайне способствует засорению персонального
> почтового ящика.

А с приходом Яндекса/GMail'а такая проблема как спам еще существует?

Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

10. "Представлена инфраструктура по организации параллельных вычи..."  +8 +/
Сообщение от Аноним (??) on 04-Май-15, 11:17 
скажите когда же в postgres уже появиться merge/upsert ???
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

12. "Представлена инфраструктура по организации параллельных вычи..."  –1 +/
Сообщение от vitalif (ok) on 04-Май-15, 11:39 
во-во, +100
Ответить | Правка | ^ к родителю #10 | Наверх | Cообщить модератору

15. "Представлена инфраструктура по организации параллельных вычи..."  +/
Сообщение от фыва on 04-Май-15, 16:06 
http://www.depesz.com/2012/06/10/why-is-upsert-so-complicated/
Ответить | Правка | ^ к родителю #10 | Наверх | Cообщить модератору

17. "Представлена инфраструктура по организации параллельных вычи..."  +/
Сообщение от Аноним (??) on 04-Май-15, 16:15 
это все извращения, локи, ловля исключений. нужно просто сделать нормальный штатный механизм
Ответить | Правка | ^ к родителю #15 | Наверх | Cообщить модератору

33. "Представлена инфраструктура по организации параллельных вычи..."  +/
Сообщение от Аноним (??) on 04-Май-15, 23:01 
Займись на досуге.
Ответить | Правка | ^ к родителю #17 | Наверх | Cообщить модератору

36. "Представлена инфраструктура по организации параллельных вычи..."  +/
Сообщение от Roman (??) on 04-Май-15, 23:45 
> http://www.depesz.com/2012/06/10/why-is-upsert-so-complicated/

Особое удовольствие когда на таблице несколько ограничений уникальности или пр. причин для исключения)

Ответить | Правка | ^ к родителю #15 | Наверх | Cообщить модератору

20. "Представлена инфраструктура по организации параллельных вычи..."  +/
Сообщение от denis111 (ok) on 04-Май-15, 17:05 
insert into mytable (col1,col2) (select distinct * from (values ('val1','val2')) as tmp (col1,col2) where not exists (select 1 from mytable t where t.col1 = tmp.col1 and t.col2 = tmp.col2))
Ответить | Правка | ^ к родителю #10 | Наверх | Cообщить модератору

35. "Представлена инфраструктура по организации параллельных вычи..."  +/
Сообщение от Roman (??) on 04-Май-15, 23:42 
а апдейт где?
Ответить | Правка | ^ к родителю #20 | Наверх | Cообщить модератору

45. "Представлена инфраструктура по организации параллельных вычи..."  +/
Сообщение от PnDx (ok) on 06-Май-15, 15:26 
Строчкой ниже и с теми же полями. Правда, красота? </sarcasm>
Но реально редко напрягает, т.к. прячется за более высокоуровневым синтаксисом.
Ответить | Правка | ^ к родителю #35 | Наверх | Cообщить модератору

47. "Представлена инфраструктура по организации параллельных вычи..."  +/
Сообщение от rob pike on 08-Май-15, 12:46 
уже

https://github.com/postgres/postgres/commit/168d5805e4c08bed...

Ответить | Правка | ^ к родителю #10 | Наверх | Cообщить модератору

16. "Представлена инфраструктура по организации параллельных вычи..."  +/
Сообщение от Аноним (??) on 04-Май-15, 16:11 
Вот интересно, когда появится возможность создавать таблицы в памяти, аналог memory таблиц у MySQL?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

18. "Представлена инфраструктура по организации параллельных вычи..."  +/
Сообщение от Аноним (??) on 04-Май-15, 16:17 
это считай есть, man tablespace
Ответить | Правка | ^ к родителю #16 | Наверх | Cообщить модератору

23. "Представлена инфраструктура по организации параллельных вычи..."  +/
Сообщение от Аноним (??) on 04-Май-15, 18:58 
Читал. Это не то.
Ответить | Правка | ^ к родителю #18 | Наверх | Cообщить модератору

28. "Представлена инфраструктура по организации параллельных вычи..."  +/
Сообщение от Аноним (??) on 04-Май-15, 20:27 
Это то - создай tablespace в tmpfs
Ответить | Правка | ^ к родителю #23 | Наверх | Cообщить модератору

19. "Представлена инфраструктура по организации параллельных вычи..."  +1 +/
Сообщение от фыва on 04-Май-15, 16:17 
В версии 9.1 появились unlogged tables
Ответить | Правка | ^ к родителю #16 | Наверх | Cообщить модератору

21. "Представлена инфраструктура по организации параллельных вычи..."  +/
Сообщение от Михрютка (ok) on 04-Май-15, 17:21 
а они разве какое-то отношение к engine=memory имеют? мне всю дорогу казалось, что нет
Ответить | Правка | ^ к родителю #19 | Наверх | Cообщить модератору

25. "Представлена инфраструктура по организации параллельных вычи..."  +/
Сообщение от фыва on 04-Май-15, 19:18 
Имеют, они в разы быстрее обычных, но не журналируются (и не реплицируются). За меньшую скорость относительно таблиц mysql "только в памяти" снимается ограничение на размер. А также переживает не аварийный перезапуск сервера.

Можно почитать здесь: http://www.depesz.com/2011/01/03/waiting-for-9-1-unlogged-ta.../

Ответить | Правка | ^ к родителю #21 | Наверх | Cообщить модератору

38. "Представлена инфраструктура по организации параллельных вычи..."  +/
Сообщение от Михрютка (ok) on 05-Май-15, 07:18 
> Имеют, они в разы быстрее обычных, но не журналируются (и не реплицируются).
> За меньшую скорость относительно таблиц mysql "только в памяти" снимается ограничение
> на размер. А также переживает не аварийный перезапуск сервера.
> Можно почитать здесь: http://www.depesz.com/2011/01/03/waiting-for-9-1-unlogged-ta.../

ну то есть два разных механизма, как я и думал. по скорости "в разы быстрее" это преувеличение скорее всего, вот человек мерял http://michael.otacoo.com/postgresql-2/unlogged-table-perfor.../ и говорит о росте не более 20% на его задаче.

Ответить | Правка | ^ к родителю #25 | Наверх | Cообщить модератору

43. "Представлена инфраструктура по организации параллельных вычи..."  +/
Сообщение от фыва on 05-Май-15, 17:56 
>вот человек мерял http://michael.otacoo.com/postgresql-2/unlogged-table-perfor... и говорит о росте не более 20% на его задаче.

Так это общее ускорение ответа страниц, отработка запросов к таблицам постгреса ускоряется в разы, особенно при частых вставках.

Ответить | Правка | ^ к родителю #38 | Наверх | Cообщить модератору

34. "Представлена инфраструктура по организации параллельных вычи..."  +/
Сообщение от Аноним (??) on 04-Май-15, 23:02 
> а они разве какое-то отношение к engine=memory имеют? мне всю дорогу казалось,
> что нет

Прочитай документацию.

Ответить | Правка | ^ к родителю #21 | Наверх | Cообщить модератору

24. "Представлена инфраструктура по организации параллельных вычи..."  +/
Сообщение от Аноним (??) on 04-Май-15, 19:04 
Тоже по этой причине на MySQL висит несколько проектов. Задавал этот вопрос у них на форуме, на что получил ответ - используй memcached. Вот только тогда поддерживать тогда надо не одну базу, а две, и перекидывать данные из одной в другую одним запросом, как это делается в случае MySQL, не получится.
Ответить | Правка | ^ к родителю #16 | Наверх | Cообщить модератору

26. "Представлена инфраструктура по организации параллельных вычи..."  +/
Сообщение от Аноним (??) on 04-Май-15, 19:27 
Зачем?
Ответить | Правка | ^ к родителю #16 | Наверх | Cообщить модератору

27. "Представлена инфраструктура по организации параллельных вычи..."  +/
Сообщение от Аноним (??) on 04-Май-15, 19:39 
Например есть данные, которые вообще нет необходимости писать в пзу, какие-нибудь данные онлайн, например список подключенных абонентов. В некоторых ситуациях можно добавлять и обновлять данные в таблице в памяти и из нее сохранять в таблицу на пзу через какой-то промежуток времени. Это не только ускоряет работу с базой, но и значительно увеличивает срок службы ssd. Таблица в памяти определенно нужная функция, иначеб ее не было в mysql
Ответить | Правка | ^ к родителю #26 | Наверх | Cообщить модератору

29. "Представлена инфраструктура по организации параллельных вычи..."  +1 +/
Сообщение от Аноним (??) on 04-Май-15, 20:44 
Бгг. "Нетранзакционный DDL - нужная функция, иначе б его не было в MySQL".
Ответить | Правка | ^ к родителю #27 | Наверх | Cообщить модератору

31. "Представлена инфраструктура по организации параллельных вычи..."  +/
Сообщение от Аноним (??) on 04-Май-15, 21:30 
Далеко не всегда нужны ACID таблицы и транзакции. В моей практике часто встречались задачи, в которых потеря данных за час-два и даже день несущественна. Особенно учитывая редкость отключения электричества и использование ибп. А транзакции можно обеспечить и на memory движке, просто это осталось в разделе "недоделанное", как и тысячи других вещей.
Ответить | Правка | ^ к родителю #29 | Наверх | Cообщить модератору

32. "Представлена инфраструктура по организации параллельных вычи..."  +/
Сообщение от Аноним (??) on 04-Май-15, 21:44 
http://lmgtfy.com/?q=DDL&l=1
Ответить | Правка | ^ к родителю #31 | Наверх | Cообщить модератору

37. "Представлена инфраструктура по организации параллельных вычи..."  +1 +/
Сообщение от Аноним (??) on 05-Май-15, 00:12 
Я для такого использую redis, а когда надо с ним заджойнить - redis FDW. Костыль, но отлично работает (только джойнить надо с  CTE на foreign table, иначе redis на каждый id дергается).
Ответить | Правка | ^ к родителю #27 | Наверх | Cообщить модератору

39. "Представлена инфраструктура по организации параллельных вычи..."  +/
Сообщение от Аноним (??) on 05-Май-15, 09:06 
Redis быстрая и очень гибкая СУБД. Postre и MySQL стоило бы поучиться у нее. Чего только стоит управляемое прозрачное кеширование в ram..., реляционных аналогов к сожалению не предвидется
Ответить | Правка | ^ к родителю #37 | Наверх | Cообщить модератору

42. "Представлена инфраструктура по организации параллельных вычи..."  +/
Сообщение от rob pike on 05-Май-15, 17:42 
отож.

> 45% of acknowledged writes were thrown away. To add insult to injury, Redis preserved all the failed writes in place of the successful ones

https://aphyr.com/posts/307-call-me-maybe-redis-redux

Ответить | Правка | ^ к родителю #39 | Наверх | Cообщить модератору

44. "Представлена инфраструктура по организации параллельных вычи..."  +/
Сообщение от Аноним (??) on 05-Май-15, 22:14 
Основной недостаток redis-а - персистенция через fork(): при большом потоке записей copy-on-write может раздуть процессы до срабатывания oom killer. overcommit_memory проблему решает, но костыль еще тот.
Ответить | Правка | ^ к родителю #39 | Наверх | Cообщить модератору

30. "Представлена инфраструктура по организации параллельных вычи..."  +/
Сообщение от Аноним (??) on 04-Май-15, 20:50 
Всегда было:
http://www.databasesoup.com/2015/02/running-with-scissors-mo...
Ответить | Правка | ^ к родителю #16 | Наверх | Cообщить модератору

40. "Представлена инфраструктура по организации параллельных вычи..."  +/
Сообщение от Прохожий (??) on 05-Май-15, 10:29 
Зачем это? Реализовывать процедуры, которые будут в фоне на стороне базы работать?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

41. "Представлена инфраструктура по организации параллельных вычи..."  +/
Сообщение от Аноним (??) on 05-Май-15, 16:23 
Как вариант многопоточные хранимки, если например внутри хранимки надо сделать несколько тяжелых запросов, то их можно запустить параллельно
Ответить | Правка | ^ к родителю #40 | Наверх | Cообщить модератору

46. "Представлена инфраструктура по организации параллельных вычи..."  +/
Сообщение от фыва on 06-Май-15, 16:38 
Два момента где многопоточность будет рулить:
1. неблокирующее чтение, в том числе с нескольких физических устройств сразу (для распределенных таблиц), возможно будет и упреждающее чтение
2. распараллеливание тяжелых запросов где грузится процессор (сортировка, GiST)
Ответить | Правка | ^ к родителю #40 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Спонсоры:
MIRhosting
Inferno Solutions
Hosting by Ihor
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2019 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру