К сожалению, люстра и бсд несовместимы.
Вообще, был отличный отзыв о продакшн использовании именно в веб-проекте, под статику (несколько десятков нодов)
Советую самостоятельно оттестироватьа GFarm говорит так:
The major difference from the
Grid Datafarm architecture is that Lustre separates file sys-
tem nodes from clients (or compute nodes). This reflects
the fact that Lustre assumes an operating environment of
large clusters and intra-enterprise high bandwidth connec-
tivity, where moving data to computation makes sense, in
contrast to Gfarm where data may reside distributedly in
wide area, making exploitation of local high bandwidth by
moving computation to data essential.
то бишь gfarm изначально позиционирует себя для таковой модели использования:
есть много данных, распределенных по нодам,
нужно их все параллельно обработать. В случае люстры и подобных - compute node сначала фетчит себе данные из кластерной фс, обрабатывает и возвращает обратно (отсюда требования к пропускной способности и латентности)
В случае gfarm - задание по обработке для compute нода попадает благодаря gfarm именно на тот нод, где локально лежит одна из реплик требуемых данных. Соответственно по сети происходит трансфер задания на обработку данных , а не самих данных. (например, http://datafarm.apgrid.org/pdf/GCA3059-xiaohui.pdf, да и вообще тут- http://datafarm.apgrid.org/paper.en.html большинство тем именно parallel computing, а не distributed fs )
Касательно статики и веб-использования - там обработки нет никакой, нужно именно фетчить. То есть не та задача, под которую проектировался gfarm (хотя вполне вероятно, что подходит =).
Относительно люстры - она рассчитана именно на такое использование, там несколько релизов назад сделали оптимизацию под "много маленьких файлов" (трабл многих распределенных фс), живет она в кернеле и основана на ext3. Думаю, стоит попробовать =)
