Корень / Программы для администратора / Clusters / Вычислительные кластеры

MOSIX - ПО для создания вычислительного Linux кластера (много машин - как одна большая SMP система) (Версия: 3.4.0.12 от 2014-04-01) [+] [есть мнение]   Русская документация по Mosix кластеру. (Версия: 3.4.0.12 от 2014-04-02) [+] [обсудить]   Hadoop - framework for running applications on large clusters [+] [обсудить]   Фреймворк на Java для организации распределенных вычислений с использованием парадигмы map/reduce, когда задача делится на множество более мелких обособленных фрагментов, каждый из которых может быть запущен на отдельном узле кластера. В состав Hadoop входит также реализация распределенной файловой системы Hadoop Distributed Filesystem (HDFS), автоматически обеспечивающей резервирование данных и оптимизированной для работы "MapReduse" приложений. Система создана как субпроект поискового механизма Apache Lucene и апробировалась в кластере с 600 узлами.   DPPEJ - Distributed Parallel Programming Environment for Java [+] [обсудить]   Набор средств для создания распределенных приложений на Java. Основной компонент DThread, - параллельно работающие нити, выполнение которых, распределено на несколько JVM машин. API для обмена сообщениями похож на MPI.   PVM - Parallel Virtual Machine (Версия: 3.4.5 от 2004-11-10) [+] [обсудить]   Многоплатформенное программное обеспечения для превращения разнородных машин в локальной сети в один большой виртуальный суперкомпьютер пригодный для выполнения вычислительных задач.   LAM/MPI - implementation of the Message Passing Interface (MPI-1.2, MPI-2) (Версия: 7.1.1 от 2004-10-27) [+] [обсудить]   Open Source реализация промышленного стандарта MPI-1.2 (частично MPI-2) определяющего интерфейс обмена сообщениями между нодами кластера для обеспечения работы параллельных программ. В комплект входит API для создания программ, сервер обмена сообщениями, средства отладки и мониторинга. MPICH-A - Portable Implementation of MPI (альтернативная реализация); Lam-mpi Cluster on FreeBSD HOWTO PVM - Parallel Virtual Machine   OpenSSI - Single System Image Clusters for Linux (SSI) (доп. ссылка 1) (Версия: 1.2.0 от 2004-12-27) [+] [обсудить]   Набор средств для создания единой операционной среды прозрачно работающей на нескольких нодах кластера. В SSI окружении используется одна файловая система (CFS), единое пространство мигрирующих между нодами процессов и устройств. Готовые пакеты доступны для Linux дистрибутивов debian, Red Hat, Fedora Core, Knoppix.   openMosix - Linux kernel extension for single-system image clustering (Версия: 2.4.26-1 от 2004-12-17) [+] [есть мнение]   Патчи для Linux ядра превращающие группу машин в сети в SSI (Single System Image) кластер, один большой виртуальный суперкомпьютер (выглядит как SMP система). Позволяет организовать распределенное выполнение программы (миграцию процессов) без использования дополнительных библиотек и модификации кода. "Auto Discovery" протокол позволяет подключаться нодам к кластеру без дополнительного конфигурирования. www.openmosix.org.ru - русскоязычная версия сайта openMosix На странице Дмитрия Кацубо и Юрия Прушинского доступен перевод на русский язык openMosix HOWTO и другой документации. Qps - Visual Process Manager - утилита для мониторинга работы кластера. openMosixview - GUI для управления и мониторинга за работой OpenMosix кластера. kerrighed - альтернативный SSI набор патчей к Linux ядру   ClusterKnoppix - OpenMosix + Knoppix (Версия: 3.4-2004-05-10-en-cl1 от 2004-05-17) [+] [обсудить]   Проект по использованию однодискового дистрибутива Knoppix в качестве основы для построения вычислительного кластера (используется openMosix и предустановленные утилиты для мониторинга и управления). Ноды кластера грузятся по сети или через CD-ROM. Благодаря openMosix autodiscovery, они подключаются к кластеру автоматически, без дополнительного конфигурирования. Похожий продукт: ParallelKnoppix (основной "master" сервер загружается с CD-ROM, остальные подчиненные "slave" ноды автоматически загружаются и конфигурируются по сети). Имеется поддержка openMPI, LAM-MPI или MPICH   OSCAR - snapshot of the best known methods for building, programming, and using clusters. (Версия: 4.0 от 2004-12-31) [+] [обсудить]   Коллекция приложений для автоматизации процесса формирования кластера, установки типовых программ и последующего обслуживания машин входящих в Linux кластер. Набор open source программ "все в одном" для быстрого и безболезненного формирования кластера (кластер из коробки).   Spread Toolkit - messaging service to create нighly available distributed applications (Версия: 4.3.0 от 2013-06-19) [+] [обсудить]   Многоплатформенный набор программ (демон для обмена multicast сообщениями, контроля достижимости членов кластера) и библиотек для написания программ, которые будут использоваться в рамках высоконадежного и высокопроизводительного кластера приложений с разделением данных и обработчиками распределенными по сети. API доступно для языков C/C++, Java, Perl и Ruby. Прекрасно подходит для создания систем балансирования нагрузки между серверами, организации кластеров, репликации баз данных ("replication"), разделения данных между группами, создания высоконадежных продублированных серверов, Distributed Shared Memory (DSM).   Beowulf - high-performance massively parallel computer built primarily out of commodity hardware components (Версия: 29cz-3 от 2004-10-03) [+] [обсудить]   Grid Engine - Distributed Resource Management (DRM) software (Версия: 1 от 2003-11-01) [+] [обсудить]   ПО для создания распределенной вычислительной сети, т.е. использование простоя процессорного времени машин в сети для решения ресурсоемких вычислительных задач.