forum.opennet.ru

"Hadoop установил новый мировой рекорд"

Форум Разговоры, обсуждение новостей
Версия для распечатки	Пред. тема \| След. тема

Исходное сообщение

[ Отслеживать ]

Подсказка: Второй уровень иерархии тем в форуме реализован через вкладку "Показ ключевых тем".

"Hadoop установил новый мировой рекорд"	+/–
Сообщение от opennews (?), 16-Май-09, 21:52
Команда разработчиков системы распределенных вычислений Yahoo объявила (http://developer.yahoo.net/blogs/hadoop/2009/05/hadoop_sorts...) о том, что используя Apache Hadoop, они смогли побить мировой рекорд в сортировке неспецифичных (general purpose) данных. Новое значение рекорда — 1 терабайт за 62 секунды или петабайт за 16.25 часа. Измерения проводились на кластере Yahoo Hammer, который содержит приблизительно 3800 серверов, в каждом из которых по 2 четырех ядерных процессора Xeon 2.5ГГц, 4 SATA диска, 16Гб ОЗУ, 1Гбит сетевая карта. В качестве ОС используется REHL 5.1, а для обработки данных Sun Java JDK версий 1.6.0_05-b13 и 1.6.0_13-b03. Apache Hadoop — это открытая среда для проведения процессороемких распределенных вычислений. Ее использование позволяет приложениям получать доступ к массивам не структурированной информации петабайтного объема. Проект начал развиваться в качестве открытой альтернативы Google File System (GFS) и приприетарной реал... URL: http://news.cnet.com/8301-13846_3-10242392-62.html Новость: https://www.opennet.ru/opennews/art.shtml?num=21767
Ответить \| Правка \| Cообщить модератору

Оглавление

Hadoop установил новый мировой рекорд, opennews, 16-Май-09, 21:52 [смотреть все]

А сейчас мы послушаем начальника транспортного цеха Переписать Apache Had, iZEN, 16-Май-09, 23:01 (4)
Кто там говорил про тормоза Java User239 Ну ну , Аноним, 16-Май-09, 23:49 (5) //
- ну думайте, что говорите же производительность кластера не является доказательс, stone3, 17-Май-09, 00:52 (6) //
  - речь не о производительности кластера, а о рекорде установленном приложением нап, idkfa, 17-Май-09, 06:48 (9) //
    - Платформа Hadoop состоит из нескольких элементов В основании лежит распределен, Jet, 17-Май-09, 10:49 (14)
      - Вы бы хоть в SVN им заглянули, прежде чем тут чушь писать ximaera loderunner , ximaera, 18-Май-09, 13:33 (36)
- решение на основе явы может с успехом применяться в тех случаях, когда быстродей, Voviandr, 17-Май-09, 01:26 (7) //
  - Может ли алюминий использоваться для производства молока - Может, из него делают, Jet, 17-Май-09, 10:54 (16) //
    - Hadoop установил новый мировой рекорд, pavlinux, 17-Май-09, 15:11 (21)
      - Ну предположим что сортировка проводилась методом пузыря Как этот алгоритм ре, Jet, 17-Май-09, 18:34 (26)
        
        А зачем такое предполагать Очевидно что на Map-Reduce делать сортировку пузырем, crypto5, 17-Май-09, 19:00 (27)
        Зачем предполагать, когда можно проверить Реализован он так static class Tota, ximaera, 18-Май-09, 13:57 (39)
    - http developer yahoo net blogs hadoop Yahoo2009 pdf -- тут написано какое soft, crypto5, 17-Май-09, 19:43 (30)
- я говорил в статье не написано сколько они этот свой кластер тюнили, не удивлюс, sluge, 18-Май-09, 11:28 (33)
- Дык сравните с таким же переписанных на сях А то если соревноваться только с сам, User294, 18-Май-09, 14:06 (40)
с 4ядерным ксеоном и с 16гб оперативы чоб оно тормозило , funky_dennis, 17-Май-09, 07:18 (10) //
- ну так и обьемы данных не маленькие , crypto5, 17-Май-09, 08:57 (11)
На С таки оно было бы существенно быстрее , Deniel, 17-Май-09, 10:48 (13) //
- Возможно оно и так было на С Hadoop написанный на жабе - не производит никаки, Jet, 17-Май-09, 10:53 (15) //
  - Пф Производительность зависит не от той демонстрационной утилиты, которую ребят, ximaera, 18-Май-09, 13:40 (37)
  - Специально для Вас There are now 4 Hadoop map reduce applications to support th, ximaera, 18-Май-09, 13:53 (38)
- Религия C еще заразнее, чем я думал , Knuckles, 17-Май-09, 13:19 (17)
- На С его нет И не будет , Vasiliy, 17-Май-09, 14:23 (18) //
  - Вообще GoogleFS MapReduse это вроде на С Python сделано Но открытых на С , uZver, 18-Май-09, 11:53 (34)
- http scienceblogs com goodmath 2006 11 the_c_is_efficient_language_fa phpI dec, Volodymyr Lisivka, 17-Май-09, 15:09 (19) //
  - Зачем одновремено давать ссылку и искажать те факты которые по этой ссылке есть , Zzz, 17-Май-09, 16:44 (24) //
    - А прочитать ниже было уже никак About a year later, testing a new JIT for Java, noname, 17-Май-09, 17:07 (25)
  - Отсюда мораль придет злобный асемблерщик и всех порвет как всегда - сями и т п , User294, 18-Май-09, 14:16 (41) //
    - Что это, мы-то, как раз-таки, имеем представление в какой код транслируется байт, iZEN, 18-Май-09, 14:34 (43)
      - MapReduce очень просто реализовать на чём угодно, хоть на bash-е Есть уже готов, Volodymyr Lisivka, 18-Май-09, 15:06 (44)
        
        Вот, кстати, примитивная реализация Hadoop раскидывание задач по кластеру на b, Volodymyr Lisivka, 18-Май-09, 16:19 (45)
        User294 считает по другому Не было разрывов, не было , Аноним, 18-Май-09, 19:16 (48)
  - Only in your dreams JAVA could be faster than C , Marinov, 18-Май-09, 16:28 (46) //
    - http www mail-archive com hadoop-user lucene apache org msg02139 htmlMapReduce, Volodymyr Lisivka, 18-Май-09, 17:38 (47)
А как они определили, что 1Тб отсортирован Сколько на это уходит время А если , pavlinux, 17-Май-09, 15:10 (20) //
- Ну прогу проверки в сто раз легче написать , crypto5, 17-Май-09, 19:00 (28)
Куда такие объёмый данных Гораздо проще разбить на логически разделённые блоки , FSA, 17-Май-09, 15:12 (22) //
- Ну ведь бывают ситуации когда разбить не получается , crypto5, 17-Май-09, 19:01 (29)
- Так понт Hadoop как раз и заключается что он САМ разбивает на блоки и размазывае, uZver, 18-Май-09, 11:56 (35)
Прошлогодний результат сортировки 1 терабайта данных, показанный также Hadoop н, kandrew, 17-Май-09, 15:52 (23) //
- http developer yahoo net blogs hadoop 2008 07 apache_hadoop_wins_terabyte_sort, Pasystem, 18-Май-09, 09:33 (32) //
  - Итого добавили мощи - подтянули рекорд А если еще вдвое больше машин Что, де, User294, 18-Май-09, 14:17 (42) //
    - Не надо считать всех дураками Если бы было целесообразнее использовать с , а р, Аноним, 18-Май-09, 19:26 (49)
      - тогда кем их считать, если они говорят глупости НЕ МОЖЕТ байт-код исполняться бы, аноним, 18-Май-09, 19:36 (50)
        
        gt оверквотинг удален Может так оказатся что качество С компилера хуже чем JIT, crypto5, 18-Май-09, 19:44 (51)
        
        Ну вот когда будут доказательства - отлично, поговорим Вот только про рекорд , User294, 18-Май-09, 20:30 (53)
        
        Сколько раз тебе нужно говорить, что lzma- и zip-алгоритмы в JavaSE написаны с и, iZEN, 18-Май-09, 20:35 (54)
        gt оверквотинг удален Так а я и не говорю что джава круче Вы просто утверждал, crypto5, 18-Май-09, 20:45 (55)
        
        МОЖЕТ Да может же А потому что JIT оптимизирует код под конкретный процессор , Аноним, 18-Май-09, 20:12 (52)
        
        А пруфлинк можно , crypto5, 18-Май-09, 20:46 (56)
        
        К пущей досаде жабистов могу припомнить что пруфлинк про gcc и как раз вот такую, User294, 18-Май-09, 21:25 (58)
        
        А проверки характерные для managed кода куда денутся Испарятся Зато си-компилято, User294, 18-Май-09, 21:22 (57)
        
        На численных алгоритмах все обычно без managed проверок идет их еще компилятор , Аноним, 18-Май-09, 22:49 (60)
        Ну я запустил этот QuickLZ У меня на 2GHz Celeron 550 оно показывает скорость с, Volodymyr Lisivka, 19-Май-09, 03:57 (62)
        
        s и я не даю и я даю , Volodymyr Lisivka, 19-Май-09, 03:59 (63)
        
        -march и про остальные опции вы, видимо, не слыхали Любая профилировка - огромны, Аноним, 18-Май-09, 22:01 (59)
        
        Слыхали, а вот вы не понял сути вопроса Вы что - будете генерировать 10 выполни, Аноним, 18-Май-09, 22:53 (61)
        
        Компилятор, не Никто не сомневался, что java - зрелая и развитая технология Толь, аноним, 19-Май-09, 08:15 (64)
        
        Под виртуальную машину сотню мегабайт на каждом компьютере - и всё Остальное та, Интегратор Императора, 19-Май-09, 12:29 (65)
        
        вынесем за скобки сомнительный пассаж про неподдатливых программеров платформа j, аноним, 19-Май-09, 14:20 (66)
        
        И это правильно 50 грамм кремния должны стоить дешевле двух кило мозга , Аноним, 19-Май-09, 14:38 (67)

Форумы | Темы | Пред. тема | След. тема

Партнёры:

Хостинг:

Закладки на сайте
Проследить за страницей

Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру