The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

Открыты исходные тексты СУБД TrailDB

25.05.2016 10:20

Рекламная сеть AdRoll объявила об открытии исходных текстов встраиваемой СУБД TrailDB, ориентированной на эффективное сохранение и обработку данных о наступающих событиях. Основу TrailDB составляет библиотека с реализацией функциональности СУБД, связываемая с приложениями. Для управления предлагается интерактивная оболочка tdb, работающая в режиме командной строки. Код TrailDB написан на языке Си и распространяется под лицензией MIT.

Модель хранения данных в TrailDB предоставляет возможность сохранения в БД произвольного набора групп (trail), к которым привязываются наступающие события. Каждая группа идентифицируется 128-разрядным UUID и включает упорядоченную информацию о последовательности событий и времени их наступления. Каждое событие включает в себя UUID группы, время наступления и предопределённый набор полей (формат схемы полей задаётся заранее). Предоставляются операции слияния разных БД, шардинга и перестроения групп, а также очень быстрые операции с курсором и средства для фильтрации событий (например, "action=page_view AND (page=pricing OR page=about)").

Из задач, которые легко решаются в TrailDB, но слишком усложнены для реляционных СУБД, отмечается отслеживание цепочек действий и предпочтений пользователя. Например, имеются данные, что пользователь зашёл на сайт, посмотрел страницу о продукте, после чего открыл прайс и спустя час после первого события зарегистрировался в сервисе. При помощи TrailDB не составит труда проанализировать число пользователей, которые зарегистрировались менее, чем за час после первого входа.

Другие особенности:

  • Высокая производительность и надёжность. На одном процессорном ядре могут обрабатываться миллионы событий в секунду. С 2014 года в сети AdRoll при помощи TrailDB сохранено и обработано более 20 триллионов событий. Покрытие автоматизированным тестовым набором составляет более 90%;
  • Основные области применения: вычисление метрик (например, интенсивность отказов), анализ моделей использования, визуализация статистики, выявление аномалий, обобщение данных о предпочтениях и прогнозирование поведения пользователя;
  • Простой API. Наличие биндингов для языков C++, Python, R, D, Go и Haskell;
  • Возможность хранения данных в сжатом виде. При этом обеспечена поддержка прямых запросов сжатых данных с распаковыванием только необходимых частей;


  1. Главная ссылка к новости (http://tech.adroll.com/blog/da...)
  2. OpenNews: Представлена СУБД ArangoDB 2.4
  3. OpenNews: Компания Google открыла исходные тексты БД LevelDB
  4. OpenNews: Открыты исходные тексты СУБД CitusDB
  5. OpenNews: Открыт код шифрованной СУБД ZeroDB
  6. OpenNews: Новая СУБД ScyllaDB, полностью совместимая с Cassandra, но в 10 раз быстрее
Лицензия: CC BY 3.0
Короткая ссылка: https://opennet.ru/44487-traildb
Ключевые слова: traildb, database
При перепечатке указание ссылки на opennet.ru обязательно


Обсуждение (12) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.5, MPEG LA (ok), 14:46, 25/05/2016 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    >Наличие биндингов для языков C++, Python, R, D, Go и Haskell;

    да, конечно же, вы можете использовать TrailDB в JavaScript: https://github.com/poynt/traildb-node

     
  • 1.6, Crazy Alex (ok), 14:59, 25/05/2016 [ответить] [﹢﹢﹢] [ · · · ]  
  • –3 +/
    Набор биндингов тот ещё, конечно
     
     
  • 2.13, angra (ok), 19:43, 25/05/2016 [^] [^^] [^^^] [ответить]  
  • +/
    Какие языки использовали с этой БД, такой набор и выложили. Все желающие могут написать биндинг для своего любимого языка. А что именно тебе в этом наборе не нравится?
     
     
  • 3.14, Crazy Alex (ok), 21:02, 25/05/2016 [^] [^^] [^^^] [ответить]  
  • +/
    В смысле - не нравится? Просто довольно забавный набор. Мой любимец D вместе с Haskell - уже занятное сочетание. да и биндинги к R не часто встретишь.
     
     
  • 4.16, Аноним (16), 22:49, 25/05/2016 [^] [^^] [^^^] [ответить]  
  • +2 +/
    А что, они, небось, кучу статистики по этим событиям делают, вот тебе и R
     

  • 1.7, DmA (??), 16:34, 25/05/2016 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    теперь каждый может следить за всем миром и создавать свои рекламные компании? Кто-то хочет обрушить рынок интернет рекламы?
     
     
  • 2.8, anonymous (??), 17:09, 25/05/2016 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Искренне Ваш, сторонник теории всемирного заговора
     
     
  • 3.17, DmA (??), 13:17, 26/05/2016 [^] [^^] [^^^] [ответить]  
  • –1 +/
    ну а что поделаешь, если эти заговоры никто не скрывает и в каждой версии браузеров добавляют что-то новое и полезное для слежки? Я то тут причём ?
    Из описания вакансии   Java разработчика для компании Яндекс https://yandex.ru/jobs/vacancies/dev/develop_java
    "Присоединившись к нашей команде, вы будете разрабатывать сервисы и приложения для миллионов пользователей. Вы сможете обучать Крипту видеть людей насквозь,"

    Из описания Крипты на сайте Яндекса Технология Крипта https://yandex.ru/company/technologies/crypta :
    Ежедневно рекламу на сервисах Яндекса видят миллионы пользователей. Рекламодатели могут показывать свои предложения только тем из них, на кого они рассчитаны — например, людям определенного возраста или привычек. Для выделения разных аудиторий Яндекс разработал технологию Крипта. Она умеет находить группы пользователей по их поведению в интернете. Главное, чтобы их поведение чем-то отличалось.
    Как это работает
    Крипта основана на методе машинного обучения Матрикснет. Она учится определять аудиторию, исследуя поведение в интернете её типичных представителей. Для успешного обучения ей нужно проанализировать поведение как минимум 30 тысяч пользователей. Как показывают эксперименты, этого количества уже достаточно для получения надёжного результата.
    Типичных представителей группы Яндекс ищет с помощью маркетинговых агентств. Они помогают найти людей с нужными социально-демографическими характеристиками: определенного пола, возраста, с необходимым уровнем дохода и образованием, привычками и интересами. Например, если Крипту нужно научить определять покупателей кормов для животных — таких людей можно найти в ходе опросов."

     

  • 1.9, www2 (??), 17:18, 25/05/2016 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Прикрутили бы её к Zabbix. А то сейчас одни слёзы - история, тенденции и события в реляционной СУБД.
     
     
  • 2.11, имя (?), 19:28, 25/05/2016 [^] [^^] [^^^] [ответить]  
  • +/
    Для сырых данных больше InfluxDB напрашивается. Ну или — хе-хе — RRD.
     
     
  • 3.15, Аноним (-), 21:33, 25/05/2016 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > InfluxDB напрашивается

    оно напрашивается в биореактор после отказа поддерживать по-человечески открытую версию

     
  • 2.12, angra (ok), 19:41, 25/05/2016 [^] [^^] [^^^] [ответить]  
  • +/
    Насколько я понял, оно вообще не предназначено для постоянного потока событий. Файл базы создается, данные записываются и происходит финализация, после чего он становится read only. А до финализации с ним нельзя ничего делать, кроме как писать туда данные.
     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Партнёры:
    PostgresPro
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2024 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру