URL: https://www.opennet.ru/cgi-bin/openforum/vsluhboard.cgi
Форум: vsluhforumID3
Нить номер: 130066
[ Назад ]
Исходное сообщение
"Яндекс открыл YTsaurus, платформу для обработки и хранения больших объёмов данных"
Отправлено opennews , 23-Мрт-23 16:04 
Компания Яндекс объявила об открытии исходных текстов платформы распределённого хранения и обработки больших объёмов данных YTsaurus, поддерживающей манипуляцию данными с использованием парадигмы MapReduce, движка SQL-запросов, распределённой файловой системы и NoSQL хранилища в формате ключ-значение. YTsaurus используется в инфраструктуре Яндекс для эффективного использования вычислительных мощностей суперкомпьютеров компании. Код проекта написан на языках C/C++ и открыт под лицензией Apache 2.0...

Подробнее: https://www.opennet.ru/opennews/art.shtml?num=58850

Содержание
Сообщения в этом обсуждении
"Яндекс открыл YTsaurus, платформу для обработки и хранения б..."
Отправлено Аноним , 23-Мрт-23 16:04 
Вывод наработок в Израиль похоже идет успешно
"Яндекс открыл YTsaurus, платформу для обработки и хранения б..."
Отправлено Аноним , 23-Мрт-23 16:08 
- По этому вопросу вам надо спросить Рабиновича
- Какого?
- Да любого...
"Яндекс открыл YTsaurus, платформу для обработки и хранения б..."
Отправлено Аноним , 23-Мрт-23 16:51 
Через Голландию?
"Яндекс открыл YTsaurus, платформу для обработки и хранения б..."
Отправлено пох. , 23-Мрт-23 21:29 
> Вывод наработок в Израиль похоже идет успешно

да если бы... в Израиль уехали яндексмобили (ну и янго там всегда был - это яндекстакси в профиль, такая же дрянь как в Грузии и РФ - демпинг, самые отвратительные водятлы, денег им не хватает, пытаются разводить на ровном месте и т д) и еще какой-то вообще загадочной нужности хлам.
Что в целом логично - там в силу климата ЦОД строить себе дороже (и электричество тоже дорогое безумно, и рабы недешевы).

Клячхаус уехал в амстердам.

А это - похоже, осталось в Москве.

"Яндекс открыл YTsaurus, платформу для обработки и хранения б..."
Отправлено Аноним , 23-Мрт-23 16:13 
Утечка в сеть 40Гб аркадии, по прошествии месяца теперь называется "яндекс открыл"
"Яндекс открыл YTsaurus, платформу для обработки и хранения б..."
Отправлено Аноним , 23-Мрт-23 16:49 
Да теперь открытое управление инфраструктурой будет не только у я. но и у всех кто зайюзает сабж.  
"Яндекс открыл YTsaurus, платформу для обработки и хранения б..."
Отправлено Аноним , 31-Мрт-23 14:47 
Какому дураку придет в голову строить свою экосистему на базе продукта конкурента?
Только одбитому...
"Яндекс открыл YTsaurus, платформу для обработки и хранения б..."
Отправлено Вы забыли заполнить поле Name , 23-Мрт-23 19:18 
В утечке вроде этого не было
"Яндекс открыл YTsaurus, платформу для обработки и хранения б..."
Отправлено Товарищ майор , 24-Мрт-23 10:21 
И правильно сделали. Код всё равно утёк, коммерческой тайной его не прикрыть. А так хоть от СПО-сообщества обратную связь получить можно будет.
"Яндекс открыл YTsaurus, платформу для обработки и хранения б..."
Отправлено 11 , 23-Мрт-23 16:48 
Из него можно вытянуть отдельно хранилище?
"Яндекс открыл YTsaurus, платформу для обработки и хранения б..."
Отправлено пох. , 23-Мрт-23 21:29 
> Из него можно вытянуть отдельно хранилище?

Данные яндекс-яды уже кто-то вытянул. Ты тоже можешь попробовать.

"Яндекс открыл YTsaurus, платформу для обработки и хранения б..."
Отправлено Аноним , 23-Мрт-23 18:11 
Как это связано с похмел-fs ?
"Яндекс открыл YTsaurus, платформу для обработки и хранения б..."
Отправлено koct9i , 23-Мрт-23 21:49 
никак, только тем что оба из яндекса
"Яндекс открыл YTsaurus, платформу для обработки и хранения б..."
Отправлено InuYasha , 23-Мрт-23 18:32 
Кто-нибудь вообще будет обсуждать технические подробности или так и будут кричать "яднекс то", "яднекс сё"? Я тоже от них не в восторге, но, однако же, КХ вещь не плохая.
"Яндекс открыл YTsaurus, платформу для обработки и хранения б..."
Отправлено Tron is Whistling , 23-Мрт-23 19:06 
Ну вот посмотрел я на архитектуру - и откровенно не понимаю: кому-то кроме яндеха это монструозное поделие реально может понадобиться? Его ж поддерживать обойдётся дороже, чем результат.
"Яндекс открыл YTsaurus, платформу для обработки и хранения б..."
Отправлено Вы забыли заполнить поле Name , 23-Мрт-23 19:32 
Тому кто сейчас развернул у себя хадуп?
"Яндекс открыл YTsaurus, платформу для обработки и хранения б..."
Отправлено Tron is Whistling , 23-Мрт-23 21:31 
Хавдупа по крайней мере гомогенна.
"Яндекс открыл YTsaurus, платформу для обработки и хранения б..."
Отправлено Tron is Whistling , 23-Мрт-23 21:35 
А тут намесили оверлеев - плакать хочется.
"Яндекс открыл YTsaurus, платформу для обработки и хранения б..."
Отправлено пох. , 23-Мрт-23 21:31 
> Ну вот посмотрел я на архитектуру - и откровенно не понимаю: кому-то
> кроме яндеха это монструозное поделие реально может понадобиться? Его ж поддерживать
> обойдётся дороже, чем результат.

Как будто ты его вообще сможешь поддерживать? Если уж даже из клячхауса во все стороны свисают нитки и торчат ошметки - то уж этого монстра ты скорее всего даже не запустишь. А запустишь так пожалеешь, потому что навернется и хрен ты свои данные оттуда назад добудешь без помощи яндекса. А он тебе вряд ли будет помогать, не до тебя ему.


"Яндекс открыл YTsaurus, платформу для обработки и хранения б..."
Отправлено Tron is Whistling , 23-Мрт-23 21:36 
Абсолютно фак'т.
"Яндекс открыл YTsaurus, платформу для обработки и хранения б..."
Отправлено Товарищ майор , 24-Мрт-23 10:23 
Ну Якитория, например, использует. С админкой спокойно справляется 3 человека (с учётом отпусков и почти круглосуточной поддержки).
"Яндекс открыл YTsaurus, платформу для обработки и хранения б..."
Отправлено пох. , 24-Мрт-23 11:58 
Само-то оно - не стоит, чтоль?

Отдельный вопрос - зачем этот монстр якитории и откуда у нее суперкомпьютеры.

И как эти три землекопа ухитрились без помощи яндекса всю эту монстрятину взгромоздить и перенести в нее какие-то (какие, кроме оплаты разьве что) бизнес-процессы?

И главное - откуда среди поварят взялись целых три таких гения?

(ну и еще на закусочку - а откуда у них код проекта который неделю как на гитхаб выложен?)

"Яндекс открыл YTsaurus, платформу для обработки и хранения б..."
Отправлено Товарищ майор , 27-Мрт-23 09:26 
Вы определитесь, для этого нужны 3 гения или оно само стоять должно ))
"Яндекс открыл YTsaurus, платформу для обработки и хранения б..."
Отправлено Tron is Whistling , 24-Мрт-23 21:38 
У меня два стандартных вопроса: как и нафига.
"Яндекс открыл YTsaurus, платформу для обработки и хранения б..."
Отправлено Аноним , 27-Мрт-23 13:28 
Тому, у кого в хадупе больше 500 машин, и, поэтому, приходится из распределять по нескольким кластерам
"Яндекс открыл YTsaurus, платформу для обработки и хранения б..."
Отправлено Tron is Whistling , 27-Мрт-23 17:17 
Ну я и говорю - кроме яндеха наверное никому...
Потому что сами понимаете, за пределами - не надо, а внутри такие кластеры найти надо постараться.
"Яндекс открыл YTsaurus, платформу для обработки и хранения б..."
Отправлено Бывалый Смузихлёб , 23-Мрт-23 19:33 
а что там обсуждать ? Слишком жирное, монструозное и специализированное для обычного пользователя и даже для не-совсем-обычного. И, похоже, уже зашквар для яндекса ибо решил сливать.

Ну есть - и есть. Если бы не было - едва ли кому-то в мире с того хуже стало

"Яндекс открыл YTsaurus, платформу для обработки и хранения б..."
Отправлено Вы забыли заполнить поле Name , 23-Мрт-23 19:26 
На гитхаб выложили... по идее их должны забанить, ведь яндекс под санкциями
"Яндекс открыл YTsaurus, платформу для обработки и хранения б..."
Отправлено . , 23-Мрт-23 21:11 
Яндыкс под чужим ником выложил
"Яндекс открыл YTsaurus, платформу для обработки и хранения б..."
Отправлено погроммист , 24-Мрт-23 00:49 
Не Яндекс под санкциями, а директор(а) яндекса.
"Яндекс открыл YTsaurus, платформу для обработки и хранения б..."
Отправлено Аноним , 24-Мрт-23 08:16 
а зря. они директоров на следующий день после введения против него санкций меняют
"Яндекс открыл YTsaurus, платформу для обработки и хранения б..."
Отправлено Аноним , 24-Мрт-23 11:13 
Как ты Воложа поменяешь?
"Яндекс открыл YTsaurus, платформу для обработки и хранения б..."
Отправлено пох. , 24-Мрт-23 11:27 
Так уже жеж. Официально объявлено что Волож - непричемыш и вообще где-то только рядом стоял а руль - нини, не трогал.

И официальной должности не имеет, совсем никакой, вообще.
https://www.rbc.ru/business/03/06/2022/629a0db89a79472e9e52e0e4
(да, я понимаю что это юмористический сайт, но никаких других в нынешнее время у меня для вас нет)

"Яндекс открыл YTsaurus, платформу для обработки и хранения б..."
Отправлено погроммист , 24-Мрт-23 01:09 
Работал с ней в 2016-2018 внутри Яндекса. Уже тогда это была продуманная до мелочей система, которой пользуются почти все отделы как единой ФС для данных всей компании. Тысячи человек и роботов ежедневно запускали джобы поверх тысяч нод *единого* кластера на все отделы, и очень редко когда он уходил в даунтайм. Очень продуманная система ACL и квотирования ресурсов, бесконечная масштабируемость, и всё умещается в пару статических бинарников на C++ без всяких maven джунглей.
"Яндекс открыл YTsaurus, платформу для обработки и хранения б..."
Отправлено ivan_erohin , 24-Мрт-23 07:10 
> которой пользуются [...] как единой ФС для данных всей компании.

сценарий:

одна маленькая дырка в единой ФС
+
один злонамеренный инсайдер-погромист
=
все данные всей компании улетают на. или в.

> почти все отделы

а, ну тогда пускай будет.

"Яндекс открыл YTsaurus, платформу для обработки и хранения б..."
Отправлено Аноним , 24-Мрт-23 08:19 
>  единой ФС для данных всей компании

а, так это фс для файлопомойки. а в новости что-то про бигдату

"Яндекс открыл YTsaurus, платформу для обработки и хранения б..."
Отправлено пох. , 24-Мрт-23 11:24 
они там мамой клянутся что универсальная - хошь помойку, хошь бигдату (как будто это не помойка), а хошь данные кредитных карт и адреса доставки яды. Ой... уплыла. Ну и фиг с ней - яндекс-то ни копейки на этом не потерял.

"Яндекс открыл YTsaurus, платформу для обработки и хранения б..."
Отправлено all_glory_to_the_hypnotoad , 26-Мрт-23 03:41 
Это же мягко говоря не правда. В тот период ыть не умела быть единой ФС для всех, каждому отделу поднимали свои инстансы. Ну и это далеко не единственный инструмент внутри Я чтобы что-то похранить и обработать.
"Яндекс открыл YTsaurus, платформу для обработки и хранения б..."
Отправлено пох. , 27-Мрт-23 10:29 
Вы бы лучше поделились информацией, как оно вообще было в работе и чего стоили те даунтаймы которые "редко" по мнению предыдущего эхсперта. Как чинилось, во что выливалось...

"Яндекс открыл YTsaurus, платформу для обработки и хранения б..."
Отправлено Аноним , 28-Мрт-23 07:24 
"хранения и обработки данных десятков тысяч пользователей" - прям настоящая бигдата, целые десятки тысяч.
"Яндекс открыл YTsaurus, платформу для обработки и хранения б..."
Отправлено Big Robert TheTables , 24-Мрт-23 17:05 
да это просто бомба, если работает, как описано.
"Яндекс открыл YTsaurus, платформу для обработки и хранения б..."
Отправлено пох. , 27-Мрт-23 10:30 
В смысле уж рванет так рванет?
"Яндекс открыл YTsaurus, платформу для обработки и хранения б..."
Отправлено Илья , 24-Мрт-23 21:45 
Зачем на гитхаб?
"Яндекс открыл YTsaurus, платформу для обработки и хранения б..."
Отправлено Serg , 29-Мрт-23 16:23 
Знакомый сценарий:

1. Дуров вышел из вконтакта;
2. Утечка кода из ВК;
3. Новый, невиданный Телеграм;

1. Волож вышел из Я;
2. Утечка кода из Я;
3. Новый, невиданный <.что?.>;

"Яндекс открыл YTsaurus, платформу для обработки и хранения б..."
Отправлено пох. , 31-Мрт-23 23:14 
ничего, увы. Волож потому и держался до последнего за яндекс, что прекрасно знает - второго он уже не создаст. Просто потому что это можно было только тогда сделать даже при особом везении и кое-каких талантах.

Ну, в конце-концов, особо ему не посочувствуешь - с голоду пухнуть явно не планирует, на остаток жизни поиграться с разумными автомобильчиками и неразумными таксистами ему вполне хватит, не смотря на все санкции, и гражданство хорошей страны никуда не денется.