https://opennet.me/openforum/vsluhforumID3/78306.html Объявлено (http://www.scidb.org/news/20110615.php) о выходе SciDB 11.06 (http://www.scidb.org/), первого стабильного релиза проекта по созданию свободной СУБД для использования в области обработки научных данных, полученных в результате экспериментов и наблюдений. В качестве примеров областей, в которых может использоваться СУБД, называется (http://www.scidb.org/use/) хранение и анализ наблюдений в оптической и радио астрономии, сейсмологии, генетике, океанографии, геологии, климатических и экологических наблюдений. Кроме научного применения SciDB может использоваться для обработки статистики работы различных сенсоров в нефтедобывающей отрасли и медицинских учреждениях, выполнения финансовой аналитики. СУБД спроектирована для анализа огромных массивов данных (тысячи петабайт) и изначально поддерживает кластеризацию, масштабируясь от одного сервера до десятков тысяч узлов. Код SciDB распространяется в рамках лицензии GPLv3.<br><br><br><br><br>Примечательно, что инициатором проекта SciDB выступил ...<br><br>URL: http://www.sci https://opennet.me/openforum/vsluhforumID3/78306.html#19 Wed, 29 Jun 2011 07:00:48 GMT Проблемы были десять лет назад. Сейчас вообще проблем нет с PostgreSQL, но сейчас и SciDB есть ей на замену :)<br> https://opennet.me/openforum/vsluhforumID3/78306.html#18 Tue, 28 Jun 2011 17:55:39 GMT У PG это почти штатная фича, большинство типов данных передаются в бинарном представлении. Не нужно за это 'платить'<br> https://opennet.me/openforum/vsluhforumID3/78306.html#17 Tue, 28 Jun 2011 14:53:08 GMT Программный интерфейс не был стабилен.<br> https://opennet.me/openforum/vsluhforumID3/78306.html#16 Tue, 28 Jun 2011 11:10:56 GMT &gt; libpq и используется. Она же и портирована на VAX.<br><br>Там же есть бинарные данные.<br> https://opennet.me/openforum/vsluhforumID3/78306.html#15 Tue, 28 Jun 2011 08:00:02 GMT &gt; Передача результата назад это во многих случаях исключительно бинарные форматы данных. <br><br>У PostgreSQL есть возможность передавать данные через бинарный формат. Есть возможность и класть сразу blobы. Но за всё надо платить.<br><br><br> https://opennet.me/openforum/vsluhforumID3/78306.html#14 Tue, 28 Jun 2011 07:57:05 GMT libpq и используется. Она же и портирована на VAX.<br> https://opennet.me/openforum/vsluhforumID3/78306.html#13 Mon, 27 Jun 2011 14:24:08 GMT Что за ерунда. Посмотрите как во многих БД реализованы протоколы передачи данных между СУБД и клиентом. Полный SQL текст всегда работает только для пользовательского интерфейса, однако для некоторых программных реализаций передача идёт бинарно через prepared queries + список аргументов.<br><br>Передача результата назад это во многих случаях исключительно бинарные форматы данных.<br> https://opennet.me/openforum/vsluhforumID3/78306.html#12 Mon, 27 Jun 2011 09:37:19 GMT &gt; SQL -- это текст, соответственно запрос идёт в текстовом виде в том <br>&gt; числе и на вставку и результаты вычитываются тоже как текст...<br><br>Это понятно. Но можно использовать родную библиотеку постгреса libpq, которая работает несколько на другом уровне. Работает очень хорошо и быстро. Проверено. Есть и плюсовая версия. Это для специализированного софта, на мой взгляд, идеальный вариант.<br> https://opennet.me/openforum/vsluhforumID3/78306.html#11 Mon, 27 Jun 2011 08:49:06 GMT &gt; А можно подробнее - имеется в виду, что данные приходится в некоторых случаях преобразовывать в SQL-текст?<br><br>SQL -- это текст, соответственно запрос идёт в текстовом виде в том числе и на вставку и результаты вычитываются тоже как текст. Это гарантирует безпроблемную переносимость. Страшно сказать у нас до сих пор работает VAX под VAX/VMS -- с него тоже надо к БД доступаться. В принципе жить можно, но если объём данных относительно большой, то возникают значительные задержки чисто из-за объёма передаваемых данных, а на VAX и сама процедура перевода из числа в строку или обратно занимает значимое время, так как слабенький он. <br><br>Всё это относится не к сырым данным эксперимента (там никакой БД бы не хватило, кроме разве что SciDB), а калибровочные константы и медленный контроль. Размер массивов колеблется от десятков до десятков тысяч значений. При реконструкции экспериментальных данных считывается около сотни различных массивов констант для конкретного интервала времени.<br>