forum.opennet.ru

"Hadoop установил новый мировой рекорд"

Форум Разговоры, обсуждение новостей
Версия для распечатки	Пред. тема \| След. тема

Исходное сообщение

[ Отслеживать ]

Заметили полезную информацию ? Пожалуйста добавьте в FAQ на WIKI.

. "Hadoop установил новый мировой рекорд"	–1 +/–
Сообщение от Jet (??), 17-Май-09, 18:34
>> For the larger sorts, we used 64 bit JVMs for the Name Node and Job Tracker. Ну предположим что сортировка проводилась методом пузыря... Как этот алгоритм реализован на "Name Node and Job Tracker" ?
Ответить \| Правка \| Наверх \| Cообщить модератору

Оглавление

Hadoop установил новый мировой рекорд, opennews, 16-Май-09, 21:52 [смотреть все]

А сейчас мы послушаем начальника транспортного цеха Переписать Apache Had, iZEN, 16-Май-09, 23:01 (4)
Кто там говорил про тормоза Java User239 Ну ну , Аноним, 16-Май-09, 23:49 (5) //
- ну думайте, что говорите же производительность кластера не является доказательс, stone3, 17-Май-09, 00:52 (6) //
  - речь не о производительности кластера, а о рекорде установленном приложением нап, idkfa, 17-Май-09, 06:48 (9) //
    - Платформа Hadoop состоит из нескольких элементов В основании лежит распределен, Jet, 17-Май-09, 10:49 (14)
      - Вы бы хоть в SVN им заглянули, прежде чем тут чушь писать ximaera loderunner , ximaera, 18-Май-09, 13:33 (36)
- решение на основе явы может с успехом применяться в тех случаях, когда быстродей, Voviandr, 17-Май-09, 01:26 (7) //
  - Может ли алюминий использоваться для производства молока - Может, из него делают, Jet, 17-Май-09, 10:54 (16) //
    - Hadoop установил новый мировой рекорд, pavlinux, 17-Май-09, 15:11 (21)
      - Ну предположим что сортировка проводилась методом пузыря Как этот алгоритм ре , Jet, 17-Май-09, 18:34 (26)
        
        А зачем такое предполагать Очевидно что на Map-Reduce делать сортировку пузырем, crypto5, 17-Май-09, 19:00 (27)
        Зачем предполагать, когда можно проверить Реализован он так static class Tota, ximaera, 18-Май-09, 13:57 (39)
    - http developer yahoo net blogs hadoop Yahoo2009 pdf -- тут написано какое soft, crypto5, 17-Май-09, 19:43 (30)
- я говорил в статье не написано сколько они этот свой кластер тюнили, не удивлюс, sluge, 18-Май-09, 11:28 (33)
- Дык сравните с таким же переписанных на сях А то если соревноваться только с сам, User294, 18-Май-09, 14:06 (40)
с 4ядерным ксеоном и с 16гб оперативы чоб оно тормозило , funky_dennis, 17-Май-09, 07:18 (10) //
- ну так и обьемы данных не маленькие , crypto5, 17-Май-09, 08:57 (11)
На С таки оно было бы существенно быстрее , Deniel, 17-Май-09, 10:48 (13) //
- Возможно оно и так было на С Hadoop написанный на жабе - не производит никаки, Jet, 17-Май-09, 10:53 (15) //
  - Пф Производительность зависит не от той демонстрационной утилиты, которую ребят, ximaera, 18-Май-09, 13:40 (37)
  - Специально для Вас There are now 4 Hadoop map reduce applications to support th, ximaera, 18-Май-09, 13:53 (38)
- Религия C еще заразнее, чем я думал , Knuckles, 17-Май-09, 13:19 (17)
- На С его нет И не будет , Vasiliy, 17-Май-09, 14:23 (18) //
  - Вообще GoogleFS MapReduse это вроде на С Python сделано Но открытых на С , uZver, 18-Май-09, 11:53 (34)
- http scienceblogs com goodmath 2006 11 the_c_is_efficient_language_fa phpI dec, Volodymyr Lisivka, 17-Май-09, 15:09 (19) //
  - Зачем одновремено давать ссылку и искажать те факты которые по этой ссылке есть , Zzz, 17-Май-09, 16:44 (24) //
    - А прочитать ниже было уже никак About a year later, testing a new JIT for Java, noname, 17-Май-09, 17:07 (25)
  - Отсюда мораль придет злобный асемблерщик и всех порвет как всегда - сями и т п , User294, 18-Май-09, 14:16 (41) //
    - Что это, мы-то, как раз-таки, имеем представление в какой код транслируется байт, iZEN, 18-Май-09, 14:34 (43)
      - MapReduce очень просто реализовать на чём угодно, хоть на bash-е Есть уже готов, Volodymyr Lisivka, 18-Май-09, 15:06 (44)
        
        Вот, кстати, примитивная реализация Hadoop раскидывание задач по кластеру на b, Volodymyr Lisivka, 18-Май-09, 16:19 (45)
        User294 считает по другому Не было разрывов, не было , Аноним, 18-Май-09, 19:16 (48)
  - Only in your dreams JAVA could be faster than C , Marinov, 18-Май-09, 16:28 (46) //
    - http www mail-archive com hadoop-user lucene apache org msg02139 htmlMapReduce, Volodymyr Lisivka, 18-Май-09, 17:38 (47)
А как они определили, что 1Тб отсортирован Сколько на это уходит время А если , pavlinux, 17-Май-09, 15:10 (20) //
- Ну прогу проверки в сто раз легче написать , crypto5, 17-Май-09, 19:00 (28)
Куда такие объёмый данных Гораздо проще разбить на логически разделённые блоки , FSA, 17-Май-09, 15:12 (22) //
- Ну ведь бывают ситуации когда разбить не получается , crypto5, 17-Май-09, 19:01 (29)
- Так понт Hadoop как раз и заключается что он САМ разбивает на блоки и размазывае, uZver, 18-Май-09, 11:56 (35)
Прошлогодний результат сортировки 1 терабайта данных, показанный также Hadoop н, kandrew, 17-Май-09, 15:52 (23) //
- http developer yahoo net blogs hadoop 2008 07 apache_hadoop_wins_terabyte_sort, Pasystem, 18-Май-09, 09:33 (32) //
  - Итого добавили мощи - подтянули рекорд А если еще вдвое больше машин Что, де, User294, 18-Май-09, 14:17 (42) //
    - Не надо считать всех дураками Если бы было целесообразнее использовать с , а р, Аноним, 18-Май-09, 19:26 (49)
      - тогда кем их считать, если они говорят глупости НЕ МОЖЕТ байт-код исполняться бы, аноним, 18-Май-09, 19:36 (50)
        
        gt оверквотинг удален Может так оказатся что качество С компилера хуже чем JIT, crypto5, 18-Май-09, 19:44 (51)
        
        Ну вот когда будут доказательства - отлично, поговорим Вот только про рекорд , User294, 18-Май-09, 20:30 (53)
        
        Сколько раз тебе нужно говорить, что lzma- и zip-алгоритмы в JavaSE написаны с и, iZEN, 18-Май-09, 20:35 (54)
        gt оверквотинг удален Так а я и не говорю что джава круче Вы просто утверждал, crypto5, 18-Май-09, 20:45 (55)
        
        МОЖЕТ Да может же А потому что JIT оптимизирует код под конкретный процессор , Аноним, 18-Май-09, 20:12 (52)
        
        А пруфлинк можно , crypto5, 18-Май-09, 20:46 (56)
        
        К пущей досаде жабистов могу припомнить что пруфлинк про gcc и как раз вот такую, User294, 18-Май-09, 21:25 (58)
        
        А проверки характерные для managed кода куда денутся Испарятся Зато си-компилято, User294, 18-Май-09, 21:22 (57)
        
        На численных алгоритмах все обычно без managed проверок идет их еще компилятор , Аноним, 18-Май-09, 22:49 (60)
        Ну я запустил этот QuickLZ У меня на 2GHz Celeron 550 оно показывает скорость с, Volodymyr Lisivka, 19-Май-09, 03:57 (62)
        
        s и я не даю и я даю , Volodymyr Lisivka, 19-Май-09, 03:59 (63)
        
        -march и про остальные опции вы, видимо, не слыхали Любая профилировка - огромны, Аноним, 18-Май-09, 22:01 (59)
        
        Слыхали, а вот вы не понял сути вопроса Вы что - будете генерировать 10 выполни, Аноним, 18-Май-09, 22:53 (61)
        
        Компилятор, не Никто не сомневался, что java - зрелая и развитая технология Толь, аноним, 19-Май-09, 08:15 (64)
        
        Под виртуальную машину сотню мегабайт на каждом компьютере - и всё Остальное та, Интегратор Императора, 19-Май-09, 12:29 (65)
        
        вынесем за скобки сомнительный пассаж про неподдатливых программеров платформа j, аноним, 19-Май-09, 14:20 (66)
        
        И это правильно 50 грамм кремния должны стоить дешевле двух кило мозга , Аноним, 19-Май-09, 14:38 (67)

Форумы | Темы | Пред. тема | След. тема

Партнёры:

Хостинг:

Закладки на сайте
Проследить за страницей

Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру