The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]

Компания LexisNexis объявила об открытии системы распределенных вычислений HPCC

20.06.2011 15:41

Компания LexisNexis объявила о вступлении в ряды некоммерческой организации Linux Foundation, курирующей широкий спектр работ, связанных с развитием Linux. Одновременно анонсировано решение по открытию кода проекта HPCC (High Performance Computing Cluster), предназначенного для использования в кластерах для обработки большого объема данных (петабайты).

Система HPCC написана на языке C++ и конкурирует с написанной на языке Java платформой Hadoop, позволяя, по заявлению LexisNexis, достичь значительно более высокой производительности. В тестовой конфигурации HPCC-кластер из 400 узлов затратил на сортировку 1 Тб данных 102 секунды и выполнил комплексное тестовое задание за 6 минут 27 секунд. То же задание на том же оборудовании Hadoop выполнил за 25 минут 28 секунд, что в 3.95 раз медленнее, чем результат HPCC. Компания Yahoo, используя Hadoop-кластер из 1460 узлов, смогла выполнить сортировку 1 Тб данных за 62 секунды, а 100 Тб на кластере из 3452 узлов за 173 минуты (на сортировку 1 Пб ушло 975 минут).

С точки зрения надежности, решения LexisNexis развиваются уже на протяжении 10 лет и давно используются в промышленном секторе для обработки критически важных данных в таких учреждениях как банки, финансовые компании, правоохранительные органы и правительственные структуры. Система прозрачно масштабируется от одного сервера до кластера из тысяч узлов, при появлении необходимости в расширении хранилища новые узлы могут добавляться на лету. В комплект входят средства для развертывания, мониторинга и управления кластером. Код HPCC в настоящий момент готовится к открытию под лицензией GNU Affero GPL v.3 и будет доступен в течение нескольких недель.

HPCC позволяет хранить и обрабатывать в распределенной кластерной инфраструктуре огромные массивы данных, благодаря массовой параллельной обработке обеспечивая производительность в миллиарды операций в секунду. Например, за доли секунды можно получить доступ, осуществить анализ и произвести изменение выборки из терабайт разрозненных данных, хранимых в разных частях кластера. Для формирования логики выборки данных используется специально разработанный язык манипулирования данными ECL (Enterprise Control Language). Для программирования на языке ECL поставляется специальная интегрированная среда разработки. Итоговый код транслируется в оптимальное представление на языке C++ и может быть собран в виде разделяемой библиотеки. Кроме того, запросы на языке ECL могут быть интегрированы как inline-блоки в программы на языке C++. Поддерживается интеграция ECL и с другими языками программирования. Для ускорения типовых выборок возможно создание индексов по нескольким ключам.

В рамках платформы поддерживаются два механизма обеспечения работы с данными: Roxie (Rapid Online XML Inquiry Engine) - движок для формирования запросов и доставки данных, снабженный элементами для использования в роли warehouse-хранилища, например, поддерживающий выполнение структурированных запросов и аналитических операций; Thor (The Data Refinery Cluster) - похожая по сути на Hadoop MapReduce Cluster распределенная система хранения, объединяющая в единое хранилище информацию с разных узлов кластера и предназначенная для связывания, преобразования и индексации данных.

На конечных узлах данные хранятся в локальной файловой системе Linux. Большие файлы разбиваются на части и хранятся порциями. Возможно подключение специальных трансляторов, которые могут отождествлять файлы с внешними базами, например, с содержимым БД в MySQL. Для обеспечения надежности, данные дублируются на разных узлах, а изменения реплицируются. В случае сбоя, проблемный узел автоматически замещается резервным узлом, а все ранее выполняемые на сбойном узле задания возобновляются с последней контрольной точки. Thor имеет Master/Slave архитектуру, подразумевающую размещение отдельных серверов имен и серверов маппинга размещения файлов на узлах хранения. Roxie оперирует распределенными индексами B+Tree, содержащими информацию о ключах и данных, хранимых в локальных файлах на каждом узле.

  1. Главная ссылка к новости (http://www.businesswire.com/ne...)
  2. OpenNews: Опубликованы спецификации Carrier Grade Linux 5.0. Формирование стека для обеспечения высокой доступности
  3. OpenNews: Yahoo закрывает собственный Hadoop-дистрибутив и фокусирует внимание на Apache Hadoop
  4. OpenNews: Yahoo планирует открыть код различных вспомогательных систем
  5. OpenNews: Проекту Apache Hadoop присуждена премия новатор года
Лицензия: CC-BY
Тип: Интересно / К сведению
Короткая ссылка: https://opennet.ru/30932-cluster
Ключевые слова: cluster, Hadoop, HPCC
При перепечатке указание ссылки на opennet.ru обязательно
Обсуждение (23) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.1, hummermania (?), 17:49, 20/06/2011 [ответить] [﹢﹢﹢] [ · · · ]  
  • +5 +/
    С каждой новой компанией, вступившей в ряды Linux Foundation, сообщество и объем изученных знаний, становится все сильнее и сильнее с каждым днем. Проприетарщикам не понять, что смена бизнес-модели с полностью закрытой даже на полуоткрытую, когда результаты многолетнего труда инженеров компании становятся доступными для изучения, улучшения и последующего развития - приносит гораздо больше выгод всем участникам. Сообщество получает в руки еще одно поле для исследований - инструмент обработки, фирма получает "плюсики в карму" и наработки в систему, и одновременно имеет энтерпрайз версию продукта для продажи. И сообщество относится к этому с пониманием и фирма живет и развивается. Это конечно не так мгновенно и быстро рубить бабло тролля патенты и продавая миллионы лицензий тупо их клонируя, и забивая болт на получателей-пользователей продукта и не имея с ними нормальной обратной связи, но зато надежно в долгосрочной перспективе.
     
     
  • 2.2, BratSinot (?), 18:40, 20/06/2011 [^] [^^] [^^^] [ответить]  
  • +/
    Да, вот только на тех-же OS если их открыть много не заработаешь.
    P.S. Про Darwin можно не говорить, это ядро и используется только в MacOS X и GNU/Darwin.
     
     
  • 3.3, Аноним (-), 19:00, 20/06/2011 [^] [^^] [^^^] [ответить]  
  • +4 +/
    >Да, вот только на тех-же OS если их открыть много не заработаешь.

    Нельзя слишком долго зарабатывать сверх вложенного труда.

     
  • 3.30, Аноним (-), 15:29, 23/06/2011 [^] [^^] [^^^] [ответить]  
  • +/
    > Да, вот только на тех-же OS если их открыть много не заработаешь.

    Уже - не заработаешь. Потому что нишу занял пингвин и те кто зарабатывает на нем. Как известно, если баклан прилетел поздно - он пролетает.

     
  • 2.4, Anonym1 (?), 19:11, 20/06/2011 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Вообще говоря, продажа лицензий на ПО аналогична рентным платежам, которые в начале 20 века почти разрушили экономику Франции.
    Сейчас продажа лицензий на использование программ вместо экземпляров программ, а точнее ее кумулятивный эффект за последние 25 лет, благополучно топит экономику США.
     
  • 2.5, Square (ok), 19:31, 20/06/2011 [^] [^^] [^^^] [ответить]  
  • –2 +/
    >Проприетарщикам не понять, что смена бизнес-модели с полностью закрытой даже на полуоткрытую

    Борцам за опенсорс не понять, что закрытость исходников- это всего лишь метод, приносящий неплохие деньги, и в случае если он окажется неэффективен - то компания просто перейдет на иные методы.
    Купит Redhat, купит Скайп :) купит Novell :) ... и все равно будет получать прибыль на свои вложения...

     
     
  • 3.7, Аноним (-), 19:41, 20/06/2011 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Орки купили Сан и что полезного они дали миру, развалив все открытые наработки, потеряв разработчиков, унесших с собой свои проекты? Заработали денег потеряв возможность развиваться?

     
     
  • 4.8, Аноним (-), 20:14, 20/06/2011 [^] [^^] [^^^] [ответить]  
  • +/
    Черта с два они потеряли разрабов. Мсье никогда не работал в компании крупнее Рогов-и-копыт? Контракт со служащими подразумевает в пункте 8, что все, что разработано в рабочее время на рабочем оборудовании - является интеллектуальной собственностью компании. И привет, ГПЛ! Исходники - не ваши! Они - собственность Оракла! И - сюрприз, Оракл развивает Солярис! Солярис 11 получил то, чего столько лет не было в сановской версии, начиная от поддержки TCP layer 2 - Солярис теперь может работать бриджом! (Про кроссбоу я скромно умолчу, равно как и про другие инновации уже при Оракле).

    Мсье, изучил бы матчасть, прежде, чем оналетичесги мыслить и такие перлы выдавать. Лужи газифицировать.

     
     
  • 5.9, Аноним (-), 20:23, 20/06/2011 [^] [^^] [^^^] [ответить]  
  • +2 +/
    >Черта с два они потеряли разрабов.

    Нет конечно все разработчики ушедшие от них и в дальнейшем будут приносить благо компании из которой они ушли...

    >все, что разработано в рабочее время на рабочем оборудовании - является интеллектуальной собственностью компании.

    Но не то, что будет сделано ушедшими разработчиками в дальнейшем.

    >И привет, ГПЛ! Исходники - не ваши!

    Прочтите для начала лицензию.

     
  • 5.10, Serge (??), 21:11, 20/06/2011 [^] [^^] [^^^] [ответить]  
  • +4 +/
    > Про кроссбоу я скромно умолчу, равно как и про другие инновации уже при Оракле

    кроссбоу был сделан до оракла, еще в опенсолярисе. Оракл практически ничего не добавил в Солярис, кроме, пожалуй ofed/IB. Поэтому IB там кривой и не вписывается в общую концепцию системы - не работает в контейнерах и тп.

     
  • 5.25, Аноним (-), 12:43, 21/06/2011 [^] [^^] [^^^] [ответить]  
  • +/
    > Черта с два они потеряли разрабов.

    Да, конечно, а опенофис кто недавно слил при попытках порулить? Слив засчитан ;)

    А соляра - она вообше линуксу уже почти не конкурент нигде. Оракл и то вон линуксом барыжит. Может работать бриджом? Вау! В 2011 году?! Ахаха! :) Этак парни из оракла скоро memcpy() новой фичой объявят, пожалуй.

     
  • 3.11, Все тот же аноним (?), 00:03, 21/06/2011 [^] [^^] [^^^] [ответить]  
  • +5 +/
    Видите ли, уважаемый, проблема open source шире, чем вам кажется. Закрытые исходники - это в принципе противоестественно, как и, например, общество потребления в целом. Понятие открытых исходников можно экстраполировать практически до любых масштабов. Например, известное, надеюсь, вам дело (уже даже два) "Браудер против налоговых инспекций номер 25 и 28" в принципе не существовало бы, если бы за деятельностью налоговых органов осуществлялся общественный контроль. Т. е. другими словами, существовали бы те самые открытые исходники. Или вот, например, предстоящие парламентские выборы: партия с названием "Единая Россия" просто не смогла бы принять в них участие, как дискредитировавшая себя (достаточно формально оценить формальные результаты ее управления за последние десять лет; рекомендую обратить особое внимание на структуру ВВП, продолжительность жизни, количество обвинительных приговоров, статистику потребления тяжелых наркотиков и статистику социально опасных заболеваний). Т. е. те же самые открытые исходники, а не их интерпретация или рисование посредством СМИ, радикально меняли бы и политическое, и экономическое лицо государства. Что касается собственно бизнес-ориентированных технологий, здесь все еще очевиднее: только и исключительно тупость конечных пользователей позволяет существовать таким лавкам, как мелкомягкие.
     
     
  • 4.28, Michael Shigorin (ok), 00:42, 22/06/2011 [^] [^^] [^^^] [ответить]  
  • +/
    > достаточно формально оценить формальные результаты ее управления за последние десять лет;
    > рекомендую обратить особое внимание на структуру ВВП, продолжительность жизни,
    > количество обвинительных приговоров, статистику потребления тяжелых наркотиков
    > и статистику социально опасных заболеваний

    Вот только не либералам в это носом тыкать кого-либо, потому как именно они за 80-е и уж тем более 90-е сильно потрудились над предпосылками перечисленного, и именно их оппоненты смогли остановить падение страны в пропасть.

    Для сравнения -- вспомним 1927..1937 (десять лет после аналогичного срока после захвата власти этими самыми либералами, тогда с коммунистическим приветом).  И сравним.

    Вообще же здесь разница в декларации и сущности.  Либерастизм как минимум последние пару веков без фиги в кармане, как мне думается, и не существовал (внимательно присмотревшись к цепочке французских переворотов и сопутствующих слов, можно довольно много понять).  А это определяет цену всем их _декларациям_.

     
     
  • 5.29, Все тот же аноним (?), 11:49, 22/06/2011 [^] [^^] [^^^] [ответить]  
  • +/
    Пример из сообщения выше привел не с целью политической дискуссии, но, если настаиваете: реформы девяностых делали не либералы, если вы об этом. Люди, которые пришли к власти после них, им не оппоненты. Они не остановили падение страны, а инициировали его. Вопрос не в том, верите вы в это или нет: просто смотрите на статистику, это голые цифры, без эмоций.

    Никаких аналогий с тридцатыми годами прошлого века у новейшей истории России нет. Если интересно понять, почему либерализм в России в принципе не приживется, почитайте г-на Афанасьева. Выводы он делает очень неприятные, но абсолютно адекватные.

    Если честно, разочаровали убогими определениями типа "либерасты".

     
     
  • 6.36, Michael Shigorin (ok), 21:46, 06/07/2011 [^] [^^] [^^^] [ответить]  
  • +/
    > Если честно, разочаровали убогими определениями типа "либерасты".

    http://www.opennet.ru/openforum/vsluhforumID3/71958.html#171

     
  • 5.34, Аноним (-), 20:06, 27/06/2011 [^] [^^] [^^^] [ответить]  
  • +/
    > Вот только не либералам в это носом тыкать кого-либо, потому как именно
    > они за 80-е и уж тем более 90-е сильно потрудились над предпосылками перечисленного,

    Не скажу ничего про либералов, зато скажу что желание сделать работу 1 раз а потом получать за нее деньги постоянно - противоестественно. Если это мошенничество-паразитизм приобритает массовые формы, денежная масса обесценивается. Потому что по сути цена денег (не подкрепленных ничем кроме доверия к ним как мерилу ценности) приравнивается к цене копипасты (в 2011 году это примерно $0). Разумеется, ценность денег при таком раскладе ннеизбежно сыпется в 0 семимильными шагами. В общем то такой подход напоминает АО МММ - до какой-то степени работает, но потом почему-то все красочно рушится. Наверное потому что ничем не обеспечено, кроме потока лохов.

     
     
  • 6.35, Michael Shigorin (ok), 23:33, 27/06/2011 [^] [^^] [^^^] [ответить]  
  • +/
    > Если это мошенничество-паразитизм приобритает массовые формы,
    > денежная масса обесценивается.

    Обесценивается она из-за ростовщичества скорее (другая форма жадности и паразитизма); дупы постить необязательно. :)

     
  • 3.19, hummermania (?), 10:18, 21/06/2011 [^] [^^] [^^^] [ответить]  
  • +/
    Все верно, то есть вместо улучшения продукта и привлечения в код новейших достижений - лучше жировать на лицензиях и ложить на инновации, а еще лучше купить другую компанию и забрать все достижения себе.

    Огромное количество открытых проектов, созданных сообществом, которое пробивает себе дорогу в будущее, это как изучение математики или биологии в свое время. Если бы каждая группа ученых математиков или физиков закрывала бы результаты исследований - каждой группе пришлось бы по миллиону раз проходить один и тот же путь изучения физического процесса или теоремы. И где была бы математика и физика сегодня? В руках ТНК? Можете себе представить частную монополию на всю математику? Можете представить себе лицензионные отчисления за изготовление калькуляторов, или применение "+" или "-" ?  

    Проприетарщикам вместо чтобы маяться дурью, тратя миллиардные ресурсы на тотальное скрытие кода и его обфускацию, чтобы только срубить бабла на лицухах - лучше бы открыли код системы и продавали бы enterprice-версию, основанную на открытой. Даже такая бизнес-модель в современном мире предпочтительнее и для клиентов и для создателей. И все больше и больше умных и дальновидных руководителей применяют ее. И это не остановить.

    Какие ниши сейчас остались за проприетарщиками? А сколько ниш они занимали в прошлом? Тренд не улавливаете?

     
  • 3.22, Sergey722 (ok), 12:29, 21/06/2011 [^] [^^] [^^^] [ответить]  
  • +/
    > Борцам за опенсорс не понять, что закрытость исходников- это всего лишь метод,
    > приносящий неплохие деньги...

    1) Не согласен со словом ТОЛЬКО в Вашем комментарии, но согласен, что метод.
    2) Думаю речь о том, что есть риск понять его неэффективность (если он, конечно, неэффективен, не берусь судить) слишком поздно, упустив прибыль или вовсе загнувшись.

     
  • 3.33, Аноним (-), 20:00, 27/06/2011 [^] [^^] [^^^] [ответить]  
  • +/
    > Борцам за опенсорс не понять, что закрытость исходников- это всего лишь метод,
    > приносящий неплохие деньги,

    Желанине 1 раз сделать работу, а потом почему-то пытаться постоянно получать за нее деньги - по большому счету отдает мошнничеством. А всевозможные АО МММ имеют такое странное свойство что сперва они стригут сверхприбыли из ничего, а потом почему-то внезапно тонут. Наверное потому что невозможно постонно делать деньги из воздуха и не нагнуть при это экономику. Если деньги массово получаются методом (продажи) копипасты - они, очевидно, снижаются по цене вплоть до уровня бумаги на которой они печатаются. И экономике настает каюк. Из-за совершенно дикой инфляции, спровоцированной таким обесцениванием денег.

     
  • 2.14, eugenyn (ok), 07:33, 21/06/2011 [^] [^^] [^^^] [ответить]  
  • +/
    > С каждой новой компанией, вступившей в ряды Linux Foundation, сообщество и объем изученных знаний, становится все сильнее

    Не в данном случае.

    Это решение ИЛИ опирается всего на 2 известные библиотеки (реализации стандартов MPI и OpenMP), ИЛИ представляет собой что-то самописное, не следующее мировым стандартам в этой области разработок.

    В данном случае интерес представляет конечное решение, где уже логирование, security и др. полезные вещи.

    Само по себе открытие кода тут ценности не имеет. Есть отраслевые стандарты, широко применяющиеся, в частности, во многих крупных российских ВУЗах, где стоят суперкомпьютеры.

    Сейчас современные российские студенты физико-математических специальностей вовсю там пишут свои программки, используя эти самые MPI и OpenMP. Если в двух словах, то в обычный С/С++ или Fortran-код - добавляются конструкции pragma или вида MPI_blablabla.

    Есть кластерные решения от Oracle, Microsoft и т.д., где применяются эти же самые стандарты.

    Поэтому тут... конечное решение... Я только не понял - оно платное, включая IDE, или нет.


    P.S. С позиции "хорошо, чтобы и просто было переведено на опенсорс, и другим пример, тенденции и все такое" - это да, какие-то такие моменты есть.

     
  • 2.31, anonimus (?), 10:45, 24/06/2011 [^] [^^] [^^^] [ответить]  
  • +/
    Уже два дня прошло а исходники так и не выложили
    Binary and source code downloads are coming soon и все..
    Может не туда анонимус смотрел конечно...
     
     
  • 3.32, Аноним (-), 16:37, 24/06/2011 [^] [^^] [^^^] [ответить]  
  • +/
    > Уже два дня прошло а исходники так и не выложили
    > Binary and source code downloads are coming soon и все..
    > Может не туда анонимус смотрел конечно...

    Они обещали через несколько недель выложить.

     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Спонсоры:
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2020 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру