https://www.opennet.ru/openforum/vsluhforumID3/115274.html Facebook перевёл (https://logdevice.io/blog/2018/09/12/open-sourcing-announcement.html) в разряд отрытых продуктов LogDevice (https://logdevice.io/), распределённую систему хранения последовательно поступающих наборов данных, таких как логи, данные мониторинга, сведения об изменении конфигурации и потоки информации о событиях. Система ориентирована на надёжное и отказоустойчивое хранение логов, обеспечивает сохранение порядка поступления записей и может масштабироваться для обработки миллионов разных логов в одном кластере хранения с интенсивностью поступления данных в несколько гигабайт в секунду. Код написан на языке С++ и опубликован (https://github.com/facebookincubator/LogDevice) под лицензией BSD.<br><br><br><br>LogDevice может адаптироваться для различных видов нагрузки. Например, может использоваться для сохранения потоков событий от особо важных подсистем, гарантируя целостность всей поступающей информации и минимальные задержки на обработку данных, или применяться для принятия больших объёмов данных для конт https://www.opennet.ru/openforum/vsluhforumID3/115274.html#65 Thu, 27 Sep 2018 15:35:42 GMT &gt; он у вас не шардится, не параллелится, и производительность под вопросом.<br><br>Как не параллелится? Запустил копирование туда всех файлов на 10 компьютерах, работают все 10 параллельно.<br> https://www.opennet.ru/openforum/vsluhforumID3/115274.html#64 Thu, 27 Sep 2018 15:32:51 GMT &gt; Почему на C++ написано а не на Python/Django?<br><br>Потому что:<br>&gt; с интенсивностью поступления данных в несколько гигабайт в секунду<br><br>А попробуй так на питоне данные пожевать, узнаешь много нового как там и что не тормозит :)<br> https://www.opennet.ru/openforum/vsluhforumID3/115274.html#63 Sat, 15 Sep 2018 01:37:41 GMT А бюджет IT отдела под что выбивать? Как объяснить что новый датацентр ежемесячно не нужен?<br> https://www.opennet.ru/openforum/vsluhforumID3/115274.html#62 Sat, 15 Sep 2018 01:35:55 GMT C/C++ по факту еще и самый интероперабельный язык, на уровне прямых библиотечных вызовов (не модных вебсервисов для любой мелочи).<br> https://www.opennet.ru/openforum/vsluhforumID3/115274.html#61 Fri, 14 Sep 2018 19:37:18 GMT Это выброс. Очевидно же.<br> https://www.opennet.ru/openforum/vsluhforumID3/115274.html#60 Fri, 14 Sep 2018 12:04:06 GMT exect once не поддерживает точно <br> https://www.opennet.ru/openforum/vsluhforumID3/115274.html#59 Fri, 14 Sep 2018 10:54:36 GMT &gt;&gt; Сравниваем с tmpfs, чешем репу.<br>&gt; в смысле, на тему нахрена мы это ненужное ненужно сделали и что <br>&gt; делать с этим результатом?<br><br>В смысле, на тему разницы и "порядков величин", когда оно не упирается в IO ноутбучного диска.<br><br>&gt;&gt; То, что оно на харде вполне может быть сопоставимо с нативом, никто не спорит <br>&gt; да? То есть то что все эти танцы с бубном вокруг vfs <br>&gt; да еще и двойной контекст-свитчинг на каждой операции остаются сопоставимы с <br>&gt; native, а не оказываются раз в десять тормознее, это, типа, нормально,<br><br>Да? Оно уже не жрет на это дело в десять раз больше CPU, чтобы дать "дать тот же порядок величины"? Ну оок.<br><br>&gt;&gt; 25 MB/s - очешуительная скорость, ага.<br>&gt; оно больше не шмагло - уперлось в ядре. <br>&gt; ...<br>&gt; ource умел от 18 до 40 (поскольку странен) <br>&gt; ...<br>&gt; fuse, причем в неродной для той системе через еще один местный <br>&gt; костылик. Если бы все было как надо, оно бы уперлось в <br>&gt; user cpu. Вот с davfs2 - у меня все как надо, <br>&gt; ага. Причем в ядре без антипатчей производительности.<br><br>Из https://www.opennet.ru/openforum/vsluhforumID3/115274.html#58 Fri, 14 Sep 2018 09:08:18 GMT а можно вместо этого саму идею oom в ее линуксной реализации вынести? <br> https://www.opennet.ru/openforum/vsluhforumID3/115274.html#57 Fri, 14 Sep 2018 09:06:58 GMT он у вас не шардится, не параллелится, и производительность под вопросом.<br><br>