The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]



Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Режим отображения отдельной подветви беседы [ Отслеживать ]

Оглавление

Доступна отказоустойчивая СУБД CockroachDB 1.1, opennews (ok), 14-Окт-17, (0) [смотреть все]

Сообщения [Сортировка по времени | RSS]


27. "Доступна отказоустойчивая СУБД CockroachDB 1.1"  +/
Сообщение от all_glory_to_the_hypnotoad (ok), 14-Окт-17, 22:26 
Один поисковик сожрёт минимум несколько петабайт для хранения копий интерента на дискетке.
Ответить | Правка | К родителю #4 | Наверх | Cообщить модератору

31. "Доступна отказоустойчивая СУБД CockroachDB 1.1"  +/
Сообщение от пох (?), 14-Окт-17, 23:46 
> Один поисковик сожрёт минимум несколько петабайт для хранения копий интерента на
> дискетке.

только эта база явно не для хранения копий интернета (им совершенно не нужна суперотказоустойчивость, потеряется - скачает заново, да и обращений к этим копиям крайне мало. sql тут не нужен совсем).
И не для информации о рекламных кликах - там слишком много insert/s, а тут явно сказано что они не для этого.
Какие-то детали поисковой системы могут, конечно, но как в них искать-то, полнотекстового поиска в этой штуке не заявлено, значит он у байды отдельно в чем-то другом живет.

так что скорее всего, что-то совсем другое. Например, данные user accounts (оно же умеет "поиск станет лучше, если вы загрузите в поисковую систему свой паспорт и отпечатки пальцев"? )

Ответить | Правка | Наверх | Cообщить модератору

42. "Доступна отказоустойчивая СУБД CockroachDB 1.1"  –1 +/
Сообщение от all_glory_to_the_hypnotoad (ok), 15-Окт-17, 01:33 
Ошибаешься по всем пунктам...

> только эта база явно не для хранения копий интернета (им совершенно не нужна суперотказоустойчивость, потеряется - скачает заново,  )

По таким базам строят поисковые индексы и если из БД что-то пропадает, то однажды в индекс может не попасть какой-то топовый сайт. Поисковикам подобные фейлы наносят большой репутационный ущерб. Ну и "гарантии" СУБД существенно влияют на частотность обновления индексов.

> ... sql тут не нужен совсем ...

Для работы с СУБД всё равно нужен какой-то язык и SQL в качестве одного из ~ вполне подходит. Это в принципе ни к чему не обязывает, в частности под подмножеством SQL и кастомными расширениями можно спрятать даже совсем нереляционные СУБД и так делают везде.

> И не для информации о рекламных кликах - там слишком много insert/s, а тут явно сказано что они не для этого.

Как раз сказано обратное, т.е. СУБД отдельно поддерживает большие очереди. Вообше эта СУБД имеет большой throughput по записи хотя бы из-за распределённости.

> Какие-то детали поисковой системы могут, конечно, но как в них искать-то, полнотекстового поиска в этой штуке не заявлено, значит он у байды отдельно в чем-то другом живет.

Ты что, совсем тугой? Если бы было можно взять СУБД и сделать на основе FTS поиск по вебу, то сейчас имели бы дохерища поисковиков, но этого нет. Построение поискового индекса это довольно сложный, алгоритмоёмкий и многостадийный процесс...

> да и обращений к этим копиям крайне мало.

... и трогают все страницы в базе. Какие-то чаще, какие-то реже - всё зависит от  популярности ресурса и вычислительных возможностей.

> так что скорее всего, что-то совсем другое. Например, данные user accounts ...

И другое наверняка тоже, поддерживать несколько СУБД для разных целей накладно.

Ответить | Правка | Наверх | Cообщить модератору

64. "Доступна отказоустойчивая СУБД CockroachDB 1.1"  –2 +/
Сообщение от пох (?), 15-Окт-17, 23:27 
> Ошибаешься по всем пунктам...

много поисковых систем-то видел вживую?

> По таким базам строят поисковые индексы

по каким "таким"? По "базе" копий всего интернета - никаких индексов обычно не строят. Она предназначена для кнопки "посмотреть сохраненную копию", и для внутренних проверок/ловли блох, а больше ни для чего. Потому что всегда есть оригинал, а если он изменился - то и тем более надо его использовать. Кнопку эту нажимают исключительно редко, обращений к этим архивам около нуля.
Даже clue snippets добываются, вероятнее всего, не оттуда, слишком долго и нудно, а лежат где-то отдельно, поближе к поисковому индексу.

> Для работы с СУБД всё равно нужен какой-то язык и SQL в качестве одного из ~ вполне
> подходит.

язык в котором нет нечеткого поиска - не считая специфических расширений - нафига он там нужен?

> Это в принципе ни к чему не обязывает,

не обязывает, но в тараканьей системе никакого другого языка нет. Что говорит нам о том, что байда использует ее где-то, где есть банальные табличные формы и удобны обычные sql-запросы. А судя по прослойкам совместимости - можно предположить, что для чего бы ее не использовали, но раньше ЭТО хранилось в postgres ;-) Это уж точно не поисковая база.

> Если бы было можно взять СУБД и сделать на основе FTS поиск по вебу

оно в первом приближении примерно так и сделано. Сюрпрайз, ага. (хотя скорее современные fts сделаны по мотивам, с опозданием на десять лет, а не наоборот)
Правда то что тебе, видимо, представляется при слове "субд", немножко непохоже на то, что там навернуто у тех, о ком кое-что мне известно. Но безусловно, это хоть и странная, но все ж таки база данных, и у нее есть management system.
Поверх этого есть алгоритмы ранжирования и фильтрации, но они именно поверх.

дохренища поисковиков мы не поимели (собственно, поимели, в далекие годы доткомов, только долго они не жили) потому что эта хреновина адово дорогая, и прокормить ее на свои деньги невозможно, а на деньги спекулянтов - сложно (потому что первое, о чем тебя спросят - а зачем давать деньги твоему ненадежному стартапу, когда можно просто прикупить акций гугля).
Ничего волшебного в поисковых системах нет. Поиск Рамблера написал один человек, без денег и ресурсов, злоупотребляя рабочим временем, просто потому что ему было интересно (потом уволился, и написал с нуля уже полноценно-морфологический, снова один. Потом, правда, умер.)

Ответить | Правка | Наверх | Cообщить модератору

67. "Доступна отказоустойчивая СУБД CockroachDB 1.1"  +/
Сообщение от all_glory_to_the_hypnotoad (ok), 16-Окт-17, 03:05 
> много поисковых систем-то видел вживую?

Некоторое колв-о отличное от нуля.

> По "базе" копий всего интернета - никаких индексов обычно не строят.

Не неси чуши. Ну ладно, сверкни интеллектом и расскажи откуда берут данные для построения индексов.

> язык в котором нет нечеткого поиска - не считая специфических расширений - нафига он там нужен?

В SQL есть только одна неустранимая штука - декларативность. Всё остальное к нему прикручивается без проблем если нужно. Можешь посмотреть в том же Postgres как это делают.

> не обязывает, но в тараканьей системе никакого другого языка нет. Что говорит нам о том, что байда использует ее где-то, где есть банальные табличные формы и удобны обычные sql-запросы.

Ты не знаешь что там есть внутри байды, а видишь только некий продукт который они дают и продают конечному потребителю. Внутри могут быть какие угодно расширения или вариации  этой СУБД. В любом случае все твои бредни на счсёт сценария использования SQL это всего лишь бредни.

> оно в первом приближении примерно так и сделано.

Оно даже в первом приближении так не сделано. Цели у FTS и у веб поиска в принципе разные.

> Ничего волшебного в поисковых системах нет. Поиск Рамблера написал один человек...

И от чего же Рамблер в итоге оказался в заднице? Наверняка же сглазили, а не потому, что не потянул гонку RnD для поиска и его инфраструктуры.

Ответить | Правка | Наверх | Cообщить модератору

71. "Доступна отказоустойчивая СУБД CockroachDB 1.1"  –2 +/
Сообщение от пох (?), 16-Окт-17, 13:19 
> В SQL есть только одна неустранимая штука - декларативность. Всё остальное к
> нему прикручивается без проблем если нужно. Можешь посмотреть в том же

только сам sql для такой задачи - не нужен. Совсем. Спрашивается - ну и из какого пальца ты сделал выводы, что представленная хрень используется для поискового индекса, только вот злые китайцы не показали тебе самое главное?

> Ты не знаешь что там есть внутри байды, а видишь только некий

не знаю, но не вижу смысла придумывать что продукт, очевидно не пересекающийся по назначению с поиском, внезапно, именно для него используется.

> Оно даже в первом приближении так не сделано. Цели у FTS и
> у веб поиска в принципе разные.

ну же, ну же, в чем этот принцип?

>> Ничего волшебного в поисковых системах нет. Поиск Рамблера написал один человек...
> И от чего же Рамблер в итоге оказался в заднице? Наверняка же

Ровно от того же, от чего, если корову меньше кормить и больше доить, она рано или поздно дохнет.
То есть "благодаря" тем милым людям, которые у нас называются "инвесторы", и ничерта не понимают в том, во что инвестируют. Поэтому все портят. Забавно, что вы не в курсе истории, получившей изрядную известность в этих ваших интернетах, поскольку было кому рассказывать.
В Яндексе не было гениального программиста, те кто создавали раннюю версию с морфологией, довольно быстро вообще ушли в туман, зато был гениальный менеджер, который умел добывать деньги для проекта, не отдавая управления, и сам хорошо понимал, как устроено то, чем он управляет - поэтому и умел выкарабкиваться после системных ошибок (их было). Рамблеру с подобным человеком не повезло.

Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру