https://www.opennet.ru/openforum/vsluhforumID3/55795.html Компания Yahoo объявила (http://finance.yahoo.com/news/Yahoo-Raises-Commitment-to-bw-15490453.html?.v=1) о выпуске собственной версии (http://developer.yahoo.com/hadoop/) дистрибутива платформы Apache Hadoop (http://lucene.apache.org/hadoop/), предназначенной для организации распределенной обработки больших (петабайты) объемов данных с использованием парадигмы map/reduce, когда задача делится на множество более мелких обособленных фрагментов, каждый из которых может быть запущен на отдельном узле кластера. Дистрибутив включает в себя набор подготовленных в недрах Yahoo дополнений и улучшений, используется в компании непосредственно в работе поискового движка и распространяется только в исходных текстах. Код Hadoop и новый дистрибутив Yahoo распространяются под лицензией Apache 2.0.<br><br><br>Представленный код отличается высоким качеством и всесторонне протестирован в промышленной эксплуатации, так как непосредственно используется в самых больших из существующих Hadoop кластеров (Hadoop клас...<br><br>URL: http://finance https://www.opennet.ru/openforum/vsluhforumID3/55795.html#15 Tue, 16 Jun 2009 09:43:58 GMT &gt;да вы хоть читали что такое MapReduce, чтобы о транзакционной целостности говорить?! <br><br>Да, читал и даже тестировал :)<br><br>&gt;MapReduce - это всего лишь способ обработки данных, при котором обаботка <br>&gt;происходит в два этапа - разбитие данных на пары ключ/значение и <br>&gt;их агрегация.<br><br>В принципе да, только делать MR поверх одной СУБД - потеря скорости, даже по отношению к хранимкам. Преимущество MR достигается на параллельной работе с ЛОКАЛЬНЫМ (для каждого нода) данными.<br><br>&gt; Способ хранения никак не оговаривается. <br><br>Да, но без HDFS или другой распределенной ФС MR будет медленнее PL/SQL.<br><br>&gt; Просто в Yahoo для <br>&gt;хранения используют файловую систему HDFS и базу HBase, которая поверх этой <br>&gt;фс работает. Все три компонента и составляют дистрибутив Hadoop. Так вот <br>&gt;в HBase есть поддержка транзакций, но не по стандарту SQL, как <br>&gt;мы к этому привыкли. <br><br>А по какому стандарту идет поддержка транзакций в HBase? Сколько я не читал ни разу не видел записи о том, что HBase имеет поддержку транзакций.<br><br>Специальн https://www.opennet.ru/openforum/vsluhforumID3/55795.html#14 Mon, 15 Jun 2009 07:43:01 GMT да вы хоть читали что такое MapReduce, чтобы о транзакционной целостности говорить?! MapReduce - это всего лишь способ обработки данных, при котором обаботка происходит в два этапа - разбитие данных на пары ключ/значение и их агрегация. Способ хранения никак не оговаривается. Просто в Yahoo для хранения используют файловую систему HDFS и базу HBase, которая поверх этой фс работает. Все три компонента и составляют дистрибутив Hadoop. Так вот в HBase есть поддержка транзакций, но не по стандарту SQL, как мы к этому привыкли. А целостность достигается за счет использования HDFS с избытоной репликацией.<br> https://www.opennet.ru/openforum/vsluhforumID3/55795.html#13 Mon, 15 Jun 2009 07:35:12 GMT &gt;&gt; Зависит от задач. Google поисковик не критичен к потере (не учете) одной страницы в индексе<br>&gt; особенно, если это страница майкрософт дот ком при запросе майкрософт уиндовс :)))<br><br>Google как раз заботится о своих данных.<br><br>проблема не в "заботе о данных", а в транзакционной консистентности. Как этого добиться на основе MapReduce?<br> https://www.opennet.ru/openforum/vsluhforumID3/55795.html#12 Sun, 14 Jun 2009 06:37:48 GMT &gt;Зависит от задач. Google поисковик не критичен к потере (не учете) одной страницы в индексе<br><br>особенно, если это страница майкрософт дот ком при запросе майкрософт уиндовс :)))<br>Google как раз заботится о своих данных.<br> https://www.opennet.ru/openforum/vsluhforumID3/55795.html#11 Sat, 13 Jun 2009 20:03:44 GMT &gt;&gt;&gt;SQoop - утопия. Не получится заменить SQL-БД на распределенные. максимум это применение <br>&gt;&gt;&gt;для некритичных данных - типа обработка веба и постороение поискового индекса. <br>&gt;&gt;&gt;<br>&gt;&gt;<br>&gt;&gt;Получится :) <br>&gt;<br>&gt;В общем тут ты прав :) <br><br>Ну, а критики мапредуса правы, конечно же, в том, что стоимость его развертывания втрое превышает стоимость всего их бизнеса, обеих почек на продажу и бабушкиной квартиры :)<br>И вместо того, чтобы этот факт признать и подчеркнуть - "утопией" обзываются!<br>Пойду, гляну в словаре, что это за слово такое, "утопия"... Явно что-то нехорошее... :)<br> https://www.opennet.ru/openforum/vsluhforumID3/55795.html#10 Sat, 13 Jun 2009 05:08:36 GMT Хорошо подмечено.Стандартная MSовская практика.<br> https://www.opennet.ru/openforum/vsluhforumID3/55795.html#9 Sat, 13 Jun 2009 01:37:34 GMT Они купят себе какую-нибудь контору и делов-то. Девелоперов потом почикают, названием сменят - все как обычно.<br> https://www.opennet.ru/openforum/vsluhforumID3/55795.html#8 Fri, 12 Jun 2009 21:23:06 GMT &gt;&gt;SQoop - утопия. Не получится заменить SQL-БД на распределенные. максимум это применение <br>&gt;&gt;для некритичных данных - типа обработка веба и постороение поискового индекса. <br>&gt;&gt;<br>&gt;<br>&gt;Получится :) <br><br>В общем тут ты прав :)<br><br>&gt;"типа обработка веба" - "некритичные" данные??? :) <br><br>Зависит от задач. Google поисковик не критичен к потере (не учете) одной страницы в индексе. А бух. учет и управление складом - критичны. Наверное правильнее сказать, что есть задачи которые можно решить без транзакций. И те которые нет. OLAP - можно сделать на Hadoop, а городить поверх MapReduce OLTP - это сразу диагноз.<br><br>&gt;А вебморда к петабайтному OLAPу - тоже "некритична" в таком случае? Вместе <br>&gt;с базой? <br><br>OLAP не критичен к транзакциям. Чаще всего OLAP вообще через ETL делают - какие нафиг транзакции. А вот OLTP смогут нормально работать поверх SQL.<br><br><br>Утопия в том, что Hadoop нужен только пока hardware не позволяет реализовать эту обработку на РСУБД. Раньше 1Gb было много для СУБД. А сейчас легко до 10-20Gb одной оперативы https://www.opennet.ru/openforum/vsluhforumID3/55795.html#7 Fri, 12 Jun 2009 19:54:17 GMT &gt;SQoop - утопия. Не получится заменить SQL-БД на распределенные. максимум это применение <br>&gt;для некритичных данных - типа обработка веба и постороение поискового индекса. <br>&gt;<br><br>Получится :)<br>"типа обработка веба" - "некритичные" данные??? :)<br>А вебморда к петабайтному OLAPу - тоже "некритична" в таком случае? Вместе с базой?<br>