The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]



"Яндекс открыл YTsaurus, платформу для обработки и хранения больших объёмов данных"
Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Изначальное сообщение [ Отслеживать ]

"Яндекс открыл YTsaurus, платформу для обработки и хранения больших объёмов данных"  +/
Сообщение от opennews (??), 23-Мрт-23, 16:04 
Компания Яндекс объявила об открытии исходных текстов платформы распределённого хранения и обработки больших объёмов данных YTsaurus, поддерживающей манипуляцию данными с использованием парадигмы MapReduce, движка SQL-запросов, распределённой файловой системы и NoSQL хранилища в формате ключ-значение. YTsaurus используется в инфраструктуре Яндекс для эффективного использования вычислительных мощностей суперкомпьютеров компании. Код проекта написан на языках C/C++ и открыт под лицензией Apache 2.0...

Подробнее: https://www.opennet.ru/opennews/art.shtml?num=58850

Ответить | Правка | Cообщить модератору

Оглавление

Сообщения [Сортировка по времени | RSS]


1. Скрыто модератором  +10 +/
Сообщение от Аноним (1), 23-Мрт-23, 16:04 
Ответить | Правка | Наверх | Cообщить модератору

2. Скрыто модератором  +3 +/
Сообщение от Аноним (2), 23-Мрт-23, 16:08 
Ответить | Правка | Наверх | Cообщить модератору

9. Скрыто модератором  +/
Сообщение от Аноним (9), 23-Мрт-23, 16:51 
Ответить | Правка | К родителю #1 | Наверх | Cообщить модератору

45. Скрыто модератором  +/
Сообщение от пох. (?), 23-Мрт-23, 21:29 
Ответить | Правка | К родителю #1 | Наверх | Cообщить модератору

4. "Яндекс открыл YTsaurus, платформу для обработки и хранения б..."  +13 +/
Сообщение от Аноним (4), 23-Мрт-23, 16:13 
Утечка в сеть 40Гб аркадии, по прошествии месяца теперь называется "яндекс открыл"
Ответить | Правка | Наверх | Cообщить модератору

8. "Яндекс открыл YTsaurus, платформу для обработки и хранения б..."  +/
Сообщение от Аноним (9), 23-Мрт-23, 16:49 
Да теперь открытое управление инфраструктурой будет не только у я. но и у всех кто зайюзает сабж.  
Ответить | Правка | Наверх | Cообщить модератору

93. "Яндекс открыл YTsaurus, платформу для обработки и хранения б..."  +/
Сообщение от Аноним (93), 31-Мрт-23, 14:47 
Какому дураку придет в голову строить свою экосистему на базе продукта конкурента?
Только одбитому...
Ответить | Правка | Наверх | Cообщить модератору

29. "Яндекс открыл YTsaurus, платформу для обработки и хранения б..."  +7 +/
Сообщение от Вы забыли заполнить поле Name (?), 23-Мрт-23, 19:18 
В утечке вроде этого не было
Ответить | Правка | К родителю #4 | Наверх | Cообщить модератору

69. "Яндекс открыл YTsaurus, платформу для обработки и хранения б..."  +1 +/
Сообщение от Товарищ майор (ok), 24-Мрт-23, 10:21 
И правильно сделали. Код всё равно утёк, коммерческой тайной его не прикрыть. А так хоть от СПО-сообщества обратную связь получить можно будет.
Ответить | Правка | К родителю #4 | Наверх | Cообщить модератору

7. "Яндекс открыл YTsaurus, платформу для обработки и хранения б..."  +/
Сообщение от 11 (?), 23-Мрт-23, 16:48 
Из него можно вытянуть отдельно хранилище?
Ответить | Правка | Наверх | Cообщить модератору

46. "Яндекс открыл YTsaurus, платформу для обработки и хранения б..."  –2 +/
Сообщение от пох. (?), 23-Мрт-23, 21:29 
> Из него можно вытянуть отдельно хранилище?

Данные яндекс-яды уже кто-то вытянул. Ты тоже можешь попробовать.

Ответить | Правка | Наверх | Cообщить модератору

20. "Яндекс открыл YTsaurus, платформу для обработки и хранения б..."  +/
Сообщение от Аноним (20), 23-Мрт-23, 18:11 
Как это связано с похмел-fs ?
Ответить | Правка | Наверх | Cообщить модератору

51. "Яндекс открыл YTsaurus, платформу для обработки и хранения б..."  +/
Сообщение от koct9i (ok), 23-Мрт-23, 21:49 
никак, только тем что оба из яндекса
Ответить | Правка | Наверх | Cообщить модератору

24. "Яндекс открыл YTsaurus, платформу для обработки и хранения б..."  –2 +/
Сообщение от InuYasha (??), 23-Мрт-23, 18:32 
Кто-нибудь вообще будет обсуждать технические подробности или так и будут кричать "яднекс то", "яднекс сё"? Я тоже от них не в восторге, но, однако же, КХ вещь не плохая.
Ответить | Правка | Наверх | Cообщить модератору

26. "Яндекс открыл YTsaurus, платформу для обработки и хранения б..."  +2 +/
Сообщение от Tron is Whistling (?), 23-Мрт-23, 19:06 
Ну вот посмотрел я на архитектуру - и откровенно не понимаю: кому-то кроме яндеха это монструозное поделие реально может понадобиться? Его ж поддерживать обойдётся дороже, чем результат.
Ответить | Правка | Наверх | Cообщить модератору

34. "Яндекс открыл YTsaurus, платформу для обработки и хранения б..."  –1 +/
Сообщение от Вы забыли заполнить поле Name (?), 23-Мрт-23, 19:32 
Тому кто сейчас развернул у себя хадуп?
Ответить | Правка | Наверх | Cообщить модератору

47. "Яндекс открыл YTsaurus, платформу для обработки и хранения б..."  +1 +/
Сообщение от Tron is Whistling (?), 23-Мрт-23, 21:31 
Хавдупа по крайней мере гомогенна.
Ответить | Правка | Наверх | Cообщить модератору

49. "Яндекс открыл YTsaurus, платформу для обработки и хранения б..."  +/
Сообщение от Tron is Whistling (?), 23-Мрт-23, 21:35 
А тут намесили оверлеев - плакать хочется.
Ответить | Правка | Наверх | Cообщить модератору

48. "Яндекс открыл YTsaurus, платформу для обработки и хранения б..."  +2 +/
Сообщение от пох. (?), 23-Мрт-23, 21:31 
> Ну вот посмотрел я на архитектуру - и откровенно не понимаю: кому-то
> кроме яндеха это монструозное поделие реально может понадобиться? Его ж поддерживать
> обойдётся дороже, чем результат.

Как будто ты его вообще сможешь поддерживать? Если уж даже из клячхауса во все стороны свисают нитки и торчат ошметки - то уж этого монстра ты скорее всего даже не запустишь. А запустишь так пожалеешь, потому что навернется и хрен ты свои данные оттуда назад добудешь без помощи яндекса. А он тебе вряд ли будет помогать, не до тебя ему.


Ответить | Правка | К родителю #26 | Наверх | Cообщить модератору

50. "Яндекс открыл YTsaurus, платформу для обработки и хранения б..."  +1 +/
Сообщение от Tron is Whistling (?), 23-Мрт-23, 21:36 
Абсолютно фак'т.
Ответить | Правка | Наверх | Cообщить модератору

70. "Яндекс открыл YTsaurus, платформу для обработки и хранения б..."  +/
Сообщение от Товарищ майор (ok), 24-Мрт-23, 10:23 
Ну Якитория, например, использует. С админкой спокойно справляется 3 человека (с учётом отпусков и почти круглосуточной поддержки).
Ответить | Правка | К родителю #26 | Наверх | Cообщить модератору

76. "Яндекс открыл YTsaurus, платформу для обработки и хранения б..."  +1 +/
Сообщение от пох. (?), 24-Мрт-23, 11:58 
Само-то оно - не стоит, чтоль?

Отдельный вопрос - зачем этот монстр якитории и откуда у нее суперкомпьютеры.

И как эти три землекопа ухитрились без помощи яндекса всю эту монстрятину взгромоздить и перенести в нее какие-то (какие, кроме оплаты разьве что) бизнес-процессы?

И главное - откуда среди поварят взялись целых три таких гения?

(ну и еще на закусочку - а откуда у них код проекта который неделю как на гитхаб выложен?)

Ответить | Правка | Наверх | Cообщить модератору

86. "Яндекс открыл YTsaurus, платформу для обработки и хранения б..."  –1 +/
Сообщение от Товарищ майор (ok), 27-Мрт-23, 09:26 
Вы определитесь, для этого нужны 3 гения или оно само стоять должно ))
Ответить | Правка | Наверх | Cообщить модератору

78. "Яндекс открыл YTsaurus, платформу для обработки и хранения б..."  +1 +/
Сообщение от Tron is Whistling (?), 24-Мрт-23, 21:38 
У меня два стандартных вопроса: как и нафига.
Ответить | Правка | К родителю #70 | Наверх | Cообщить модератору

89. "Яндекс открыл YTsaurus, платформу для обработки и хранения б..."  +/
Сообщение от Аноним (89), 27-Мрт-23, 13:28 
Тому, у кого в хадупе больше 500 машин, и, поэтому, приходится из распределять по нескольким кластерам
Ответить | Правка | К родителю #26 | Наверх | Cообщить модератору

90. "Яндекс открыл YTsaurus, платформу для обработки и хранения б..."  +1 +/
Сообщение от Tron is Whistling (?), 27-Мрт-23, 17:17 
Ну я и говорю - кроме яндеха наверное никому...
Потому что сами понимаете, за пределами - не надо, а внутри такие кластеры найти надо постараться.
Ответить | Правка | Наверх | Cообщить модератору

35. "Яндекс открыл YTsaurus, платформу для обработки и хранения б..."  +2 +/
Сообщение от Бывалый Смузихлёб (??), 23-Мрт-23, 19:33 
а что там обсуждать ? Слишком жирное, монструозное и специализированное для обычного пользователя и даже для не-совсем-обычного. И, похоже, уже зашквар для яндекса ибо решил сливать.

Ну есть - и есть. Если бы не было - едва ли кому-то в мире с того хуже стало

Ответить | Правка | К родителю #24 | Наверх | Cообщить модератору

32. "Яндекс открыл YTsaurus, платформу для обработки и хранения б..."  +/
Сообщение от Вы забыли заполнить поле Name (?), 23-Мрт-23, 19:26 
На гитхаб выложили... по идее их должны забанить, ведь яндекс под санкциями
Ответить | Правка | Наверх | Cообщить модератору

43. "Яндекс открыл YTsaurus, платформу для обработки и хранения б..."  +/
Сообщение от . (?), 23-Мрт-23, 21:11 
Яндыкс под чужим ником выложил
Ответить | Правка | Наверх | Cообщить модератору

60. "Яндекс открыл YTsaurus, платформу для обработки и хранения б..."  +/
Сообщение от погроммист (?), 24-Мрт-23, 00:49 
Не Яндекс под санкциями, а директор(а) яндекса.
Ответить | Правка | К родителю #32 | Наверх | Cообщить модератору

65. "Яндекс открыл YTsaurus, платформу для обработки и хранения б..."  +/
Сообщение от Аноним (65), 24-Мрт-23, 08:16 
а зря. они директоров на следующий день после введения против него санкций меняют
Ответить | Правка | Наверх | Cообщить модератору

72. "Яндекс открыл YTsaurus, платформу для обработки и хранения б..."  +/
Сообщение от Аноним (72), 24-Мрт-23, 11:13 
Как ты Воложа поменяешь?
Ответить | Правка | Наверх | Cообщить модератору

74. "Яндекс открыл YTsaurus, платформу для обработки и хранения б..."  +2 +/
Сообщение от пох. (?), 24-Мрт-23, 11:27 
Так уже жеж. Официально объявлено что Волож - непричемыш и вообще где-то только рядом стоял а руль - нини, не трогал.

И официальной должности не имеет, совсем никакой, вообще.
https://www.rbc.ru/business/03/06/2022/629a0db89a79472e9e52e0e4
(да, я понимаю что это юмористический сайт, но никаких других в нынешнее время у меня для вас нет)

Ответить | Правка | Наверх | Cообщить модератору

62. "Яндекс открыл YTsaurus, платформу для обработки и хранения б..."  +/
Сообщение от погроммист (?), 24-Мрт-23, 01:09 
Работал с ней в 2016-2018 внутри Яндекса. Уже тогда это была продуманная до мелочей система, которой пользуются почти все отделы как единой ФС для данных всей компании. Тысячи человек и роботов ежедневно запускали джобы поверх тысяч нод *единого* кластера на все отделы, и очень редко когда он уходил в даунтайм. Очень продуманная система ACL и квотирования ресурсов, бесконечная масштабируемость, и всё умещается в пару статических бинарников на C++ без всяких maven джунглей.
Ответить | Правка | Наверх | Cообщить модератору

64. "Яндекс открыл YTsaurus, платформу для обработки и хранения б..."  –1 +/
Сообщение от ivan_erohin (?), 24-Мрт-23, 07:10 
> которой пользуются [...] как единой ФС для данных всей компании.

сценарий:

одна маленькая дырка в единой ФС
+
один злонамеренный инсайдер-погромист
=
все данные всей компании улетают на. или в.

> почти все отделы

а, ну тогда пускай будет.

Ответить | Правка | Наверх | Cообщить модератору

66. "Яндекс открыл YTsaurus, платформу для обработки и хранения б..."  +/
Сообщение от Аноним (65), 24-Мрт-23, 08:19 
>  единой ФС для данных всей компании

а, так это фс для файлопомойки. а в новости что-то про бигдату

Ответить | Правка | К родителю #62 | Наверх | Cообщить модератору

73. "Яндекс открыл YTsaurus, платформу для обработки и хранения б..."  +4 +/
Сообщение от пох. (?), 24-Мрт-23, 11:24 
они там мамой клянутся что универсальная - хошь помойку, хошь бигдату (как будто это не помойка), а хошь данные кредитных карт и адреса доставки яды. Ой... уплыла. Ну и фиг с ней - яндекс-то ни копейки на этом не потерял.

Ответить | Правка | Наверх | Cообщить модератору

83. "Яндекс открыл YTsaurus, платформу для обработки и хранения б..."  +/
Сообщение от all_glory_to_the_hypnotoad (ok), 26-Мрт-23, 03:41 
Это же мягко говоря не правда. В тот период ыть не умела быть единой ФС для всех, каждому отделу поднимали свои инстансы. Ну и это далеко не единственный инструмент внутри Я чтобы что-то похранить и обработать.
Ответить | Правка | К родителю #62 | Наверх | Cообщить модератору

87. "Яндекс открыл YTsaurus, платформу для обработки и хранения б..."  +/
Сообщение от пох. (?), 27-Мрт-23, 10:29 
Вы бы лучше поделились информацией, как оно вообще было в работе и чего стоили те даунтаймы которые "редко" по мнению предыдущего эхсперта. Как чинилось, во что выливалось...

Ответить | Правка | Наверх | Cообщить модератору

91. "Яндекс открыл YTsaurus, платформу для обработки и хранения б..."  +/
Сообщение от Аноним (91), 28-Мрт-23, 07:24 
"хранения и обработки данных десятков тысяч пользователей" - прям настоящая бигдата, целые десятки тысяч.
Ответить | Правка | К родителю #62 | Наверх | Cообщить модератору

77. "Яндекс открыл YTsaurus, платформу для обработки и хранения б..."  +/
Сообщение от Big Robert TheTables (?), 24-Мрт-23, 17:05 
да это просто бомба, если работает, как описано.
Ответить | Правка | Наверх | Cообщить модератору

88. "Яндекс открыл YTsaurus, платформу для обработки и хранения б..."  +/
Сообщение от пох. (?), 27-Мрт-23, 10:30 
В смысле уж рванет так рванет?
Ответить | Правка | Наверх | Cообщить модератору

79. "Яндекс открыл YTsaurus, платформу для обработки и хранения б..."  +/
Сообщение от Илья (??), 24-Мрт-23, 21:45 
Зачем на гитхаб?
Ответить | Правка | Наверх | Cообщить модератору

92. "Яндекс открыл YTsaurus, платформу для обработки и хранения б..."  +/
Сообщение от Sergemail (??), 29-Мрт-23, 16:23 
Знакомый сценарий:

1. Дуров вышел из вконтакта;
2. Утечка кода из ВК;
3. Новый, невиданный Телеграм;

1. Волож вышел из Я;
2. Утечка кода из Я;
3. Новый, невиданный <.что?.>;

Ответить | Правка | Наверх | Cообщить модератору

94. "Яндекс открыл YTsaurus, платформу для обработки и хранения б..."  +/
Сообщение от пох. (?), 31-Мрт-23, 23:14 
ничего, увы. Волож потому и держался до последнего за яндекс, что прекрасно знает - второго он уже не создаст. Просто потому что это можно было только тогда сделать даже при особом везении и кое-каких талантах.

Ну, в конце-концов, особо ему не посочувствуешь - с голоду пухнуть явно не планирует, на остаток жизни поиграться с разумными автомобильчиками и неразумными таксистами ему вполне хватит, не смотря на все санкции, и гражданство хорошей страны никуда не денется.

Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру