- Посоветуйте решение для поиска по большому объёму данных, ыы, 20:22 , 04-Дек-19 (1)
- Посоветуйте решение для поиска по большому объёму данных, Licha Morada, 23:31 , 04-Дек-19 (3)
- Посоветуйте решение для поиска по большому объёму данных, Аноним, 10:35 , 05-Дек-19 (4) +1
- Посоветуйте решение для поиска по большому объёму данных, datahub.1, 02:14 , 06-Дек-19 (5)
- Посоветуйте решение для поиска по большому объёму данных, ACCA, 04:02 , 06-Дек-19 (7)
- Посоветуйте решение для поиска по большому объёму данных, Pahanivo, 11:14 , 06-Дек-19 (8)
- Посоветуйте решение для поиска по большому объёму данных, fantom, 12:20 , 06-Дек-19 (9)
>[оверквотинг удален] > 1 Возможность запустить это всё на как можно более дешёвом и досутпном > железе - это критично т.к. бюджет на инфраструктуту ограничен > 2 Скорость поиска > 3 Надёжность и отказоустойчивость > 4 Лёгкость масштабирования > Самостоятельно почитал про Эластик, Монго, Постгр, Касандру и от этого ещё больше > запутался. > Если у кого-то есть опыт в схожих задачах поделитесь идеей при помощи > каких технологий это можно было бы реализовать. > Спасибо заранее всем откликнувшимся Ну вот вам как вариант идеи: https://www.tsgrp.com/2015/03/10/hadoop-for-enterprise-conte.../ Hadoop - как масштабируемое распределенное хранилище, Solr/Lucene to allow for full text and attribute searching как поиск, НО!!! при любом подходе у вас минимум 1 из 2-х проблем: Либо для быстрого поиска потребуется дополнительно куча места для индексов и дополнительных данных ..... Либо поиск будет мало, что медленным, так еще и малопредсказуемым по времени ожидания результатов.
- Посоветуйте решение для поиска по большому объёму данных, fantom, 12:36 , 06-Дек-19 (10)
>[оверквотинг удален] > Hadoop - как масштабируемое распределенное хранилище, > Solr/Lucene to allow for full text and attribute searching > как поиск, > НО!!! > при любом подходе у вас минимум 1 из 2-х проблем: > Либо для быстрого поиска потребуется дополнительно куча места для индексов и дополнительных > данных > ..... > Либо поиск будет мало, что медленным, так еще и малопредсказуемым по времени > ожидания результатов.10 шт. вот таких 8тб интелов, + которочку к ним соотв. и вполне может получиться чуть-ли не shell скриптами, самое узкое место в таких поисках -> ввод/вывод с диска данных, Вполне может оказаться, что решение из горы дешевых железяк может вылиться даже дороже. https://www.amazon.com/dp/B0782Q4CV9?ascsubtag=s157562429393...
- Посоветуйте решение для поиска по большому объёму данных, Pahanivo, 13:29 , 06-Дек-19 (11)
- Посоветуйте решение для поиска по большому объёму данных, Pahanivo, 13:30 , 06-Дек-19 (12)
- Посоветуйте решение для поиска по большому объёму данных, fantom, 14:15 , 06-Дек-19 (13)
>> 10 шт. вот таких 8тб интелов, + которочку к ним соотв. и >> вполне может получиться чуть-ли не shell скриптами, самое узкое место в >> таких поисках -> ввод/вывод с диска данных, > прямым поиском скриптами??? > Даже если эти диски дадут реальные 3200mb/s последовательного чтения, даже если предположить > что страйп > из десятка дисков даст кратное увеличение скорость до 32gb/s последовательнго чтения - > то 50tb будут читаться прямым поиском минимум полчаса. Те в реальности > один запрос в час.Так я и не спорю, для такого поиска на "дешевом железе" аналогичным подходом ждать результата неделю придется :)
- Посоветуйте решение для поиска по большому объёму данных, cool29, 02:22 , 07-Дек-19 (15)
- Посоветуйте решение для поиска по большому объёму данных, Миха, 18:24 , 11-Дек-19 (24)
|