The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]



"Релиз СУБД SQLite 3.25 с поддержкой оконных функций"
Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Изначальное сообщение [ Отслеживать ]

"Релиз СУБД SQLite 3.25 с поддержкой оконных функций"  +/
Сообщение от opennews (ok), 16-Сен-18, 10:20 
Представлен (https://www.mail-archive.com/sqlite-announce@sqlite.org...) релиз SQLite 3.25.0 (http://sqlite.org/), легковесной СУБД, оформленной в виде подключаемой библиотеки. Код SQLite распространяется как общественное достояние (public domain), т.е. может использоваться без ограничений и безвозмездно в любых целях. Финансовую поддержку разработчиков SQLite осуществляет специально созданный консорциум, в который входят такие компании, как Adobe, Oracle, Mozilla, Bentley и Bloomberg.

Основные изменения (https://sqlite.org/releaselog/3_25_0.html):


-  Добавлена поддержка оконных функций (https://sqlite.org/windowfunctions.html) (window-функции или аналитические функции), позволяющих для каждой строки запроса выполнить вычисления, используя другие строки.  В отличие от агрегатных функций, которые свёртывают сгруппированный набор строк в одну строку, оконные функции производят агрегирование на основе содержимого "окна", включающего одну или более строк из результирующего набора;

-  Добавлена поддержка переименования столбцов при помощи команды "ALTER TABLE table RENAME COLUMN oldname TO newname (https://sqlite.org/lang_altertable.html)";
-  При переименовании таблиц через "ALTER TABLE" реализовано автоматическое обновление всех ссылок на новое имя в триггерах и представлениях;
-  В состав включён новый модуль Geopoly (https://sqlite.org/geopoly.html) с реализацией альтернативного интерфейса к R-Tree, использующего для обмена данными формат GeoJSON;

-  Внесены улучшения в оптимизатор запросов: Исключены излишние чтения  столбцов в агрегатных запросах, если эти столбцы не упоминаются в агрегатных функциях и не используются в выражении "GROUP BY". Добавлена оптимизация "N-early-out", помогающая ускорить выполнение операции "IN" при наличии индексов, охватывающих несколько столбцов. Обеспечено раскрытие присвоения констант в блоке WHERE (например, "a=99 AND b=a" будет преобразовано в "a=99 AND b=99");

-  В VFS для UNIX-систем для каждой inode теперь применяется отдельный
мьютекс, вместо общей совместной блокировки для всех inode. Изменение позволяет поднять производительность при использовании SQLite в многопоточных программах;

-  В "PRAGMA integrity_check" улучшено выявление проблем, связанных с порчей списка свободных страниц в хранилище;
-  Для индикации бесконечных значений команда ".dump" теперь использует число 1e999;
-  Устранена ошибка (https://www.sqlite.org/src/info/9936b2fa443fec03ff25), которая при редком стечении обстоятельств могла привести к бесконечному зацикливанию в движке генерации байткода при выполнении оптимизации конструкции "ORDER BY LIMIT".


URL: https://www.mail-archive.com/sqlite-announce@sqlite.org...
Новость: https://www.opennet.ru/opennews/art.shtml?num=49282

Ответить | Правка | Cообщить модератору

Оглавление

Сообщения по теме [Сортировка по времени | RSS]


1. "Релиз СУБД SQLite 3.25 с поддержкой оконных функций"  –11 +/
Сообщение от timur.davletshin (ok), 16-Сен-18, 10:20 
Эх, всё бы было классно с этой sqlite, если бы она тормозить не начинала из-за фрагментации через какое-то время активного использования. А то VACUUM+REINDEX ломает запускать регулярно. На десктопе ещё ладно, это можно сделать, но они же его и на мобильные устройства запихивает во все места. Что с одной стороны оправдано, а с другой затрудняет обслуживание.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

2. "Релиз СУБД SQLite 3.25 с поддержкой оконных функций"  +1 +/
Сообщение от Аноним (2), 16-Сен-18, 10:48 
На мобильных устройствах в основном флэш, им фрагментация фиолетова.
Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

6. "Релиз СУБД SQLite 3.25 с поддержкой оконных функций"  –7 +/
Сообщение от timur.davletshin (ok), 16-Сен-18, 11:09 
И пухнущая DB c кучей  dead tuples тоже им фиолетова. Мне кажется, что такие люди, как ты, в этих случаях бегут покупать новый телефон, т.к. старый "после обновления вообще тупить стал". Зацепись в режиме разработчика через adb shell и посмотри на это позорище до VACUUM+REINDEX и после.
Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

16. "Релиз СУБД SQLite 3.25 с поддержкой оконных функций"  –3 +/
Сообщение от пох (?), 16-Сен-18, 11:26 
> И пухнущая DB c кучей  dead tuples тоже им фиолетова.

тоже.

во всяком случае, пока "куча" не превышает разумных размеров. Что будет, если пихать в нее картинки по 20 мегапикселей - я, правда, не знаю, у меня есть вполне себе нормальная lightroom, я не нуждаюсь в пионерских подделках.

Ответить | Правка | ^ к родителю #6 | Наверх | Cообщить модератору

17. "Релиз СУБД SQLite 3.25 с поддержкой оконных функций"  –6 +/
Сообщение от timur.davletshin (ok), 16-Сен-18, 11:30 
Ой да ладно, LR не тормозит у него. Басни тоже мне рассказываешь. Оно уже OpenCL научилось или всё продолжает камень насиловать?
Ответить | Правка | ^ к родителю #16 | Наверх | Cообщить модератору

20. "Релиз СУБД SQLite 3.25 с поддержкой оконных функций"  –1 +/
Сообщение от пох (?), 16-Сен-18, 11:41 
не знаю, у меня нет поддержки opencl на той системе, где я вожусь с lr.
при ее workflow все основное торможение происходит, когда все кнопки уже нажаты и я ушел от клавиатуры.

Ответить | Правка | ^ к родителю #17 | Наверх | Cообщить модератору

21. "Релиз СУБД SQLite 3.25 с поддержкой оконных функций"  –4 +/
Сообщение от timur.davletshin (ok), 16-Сен-18, 11:46 
Я вам искренне сочувствую, т.к. работать без ускорения на GPU — тратить в ~5 раз больше времени (лично у меня) на генерацию preview и экспорт файлов. А на современных камерах с 24+ MPx это вообще становится адом.
Ответить | Правка | ^ к родителю #20 | Наверх | Cообщить модератору

23. "Релиз СУБД SQLite 3.25 с поддержкой оконных функций"  +2 +/
Сообщение от пох (?), 16-Сен-18, 12:20 
машина - она железная. Флэшку засовываешь, идешь обедать - оно копируется и генерит свои превьюшки. export делается батчем, и идешь спать. Утром, наверное, сгенерит - но проверять мы это не будем, пора на работу.

а если надо долго возиться с конкретным снимком - все равно понадобится фотошоп. Который тормозит много где, и никакое gpu ему радикально не помогает - какие-то операции будут побыстрее, каким-то не поможет.

чтобы стало заметно быстрее - надо менять все железо по кругу, не только видео, ставить распоследние версии всего (которые уже не продаются а даются на время подержать двумя пальчкиками)... в общем, не будучи в этом профессионалом, не вижу смысла заморачиваться.

Ответить | Правка | ^ к родителю #21 | Наверх | Cообщить модератору

28. "Релиз СУБД SQLite 3.25 с поддержкой оконных функций"  –5 +/
Сообщение от timur.davletshin (ok), 16-Сен-18, 12:38 
Вы реально считаете, что для такого workflow нужен LR? Я бы рекомендовал вам открыть для себя всё-таки мощь GPU — на электричестве сэкономите, да и жужик, молотящий на всю слушать не особо приятно.
Ответить | Правка | ^ к родителю #23 | Наверх | Cообщить модератору

36. "Релиз СУБД SQLite 3.25 с поддержкой оконных функций"  –1 +/
Сообщение от пох (?), 16-Сен-18, 15:46 
да. он только под такой и заточен.
это средство массовой обработки по шаблону, а не детальной возни с каждым снимком.

Ответить | Правка | ^ к родителю #28 | Наверх | Cообщить модератору

38. "Релиз СУБД SQLite 3.25 с поддержкой оконных функций"  –3 +/
Сообщение от timur.davletshin (ok), 16-Сен-18, 16:06 
> да. он только под такой и заточен.
> это средство массовой обработки по шаблону, а не детальной возни с каждым
> снимком.

ORLY?! То-то я смотрю интернеты пестрят мануалами по детальной возне с со всеми этими движочками и по художественной обработке.

Ответить | Правка | ^ к родителю #36 | Наверх | Cообщить модератору

39. "Релиз СУБД SQLite 3.25 с поддержкой оконных функций"  –2 +/
Сообщение от пох (?), 16-Сен-18, 16:25 
де6илов - которым еще и нужны "мануалы в интернетах", ибо нормальную литературу осилить они не могут  - полно.

движки эти выставляют обычно один раз под серию снимков в примерно одинаковом свете - очень часто это вообще все, что делается в самом LR. Оно именно на такой подход и рассчитано.

если кому-то понадобилось сначала купить(недешево) профессиональный инструмент, а потом забивать им гвозди - адоба не возражает, продаваны cuda-capable видеокарт тоже. Кто-то этим лохам еще и, вот, инструкцию по удобному держанию микроскопа для забивания гвоздя продает.

Ответить | Правка | ^ к родителю #38 | Наверх | Cообщить модератору

43. "Релиз СУБД SQLite 3.25 с поддержкой оконных функций"  –3 +/
Сообщение от timur.davletshin (ok), 16-Сен-18, 17:08 
> де6илов - которым еще и нужны "мануалы в интернетах", ибо нормальную литературу
> осилить они не могут  - полно.
> движки эти выставляют обычно один раз под серию снимков в примерно одинаковом
> свете - очень часто это вообще все, что делается в самом
> LR. Оно именно на такой подход и рассчитано.
> если кому-то понадобилось сначала купить(недешево) профессиональный инструмент, а потом
> забивать им гвозди - адоба не возражает, продаваны cuda-capable видеокарт тоже.
> Кто-то этим лохам еще и, вот, инструкцию по удобному держанию микроскопа
> для забивания гвоздя продает.

Нормальная литература для таких инструментов быстро теряет актуальность, т.к. от написания книги, до её покупки читатателем проходит около года или больше.

Да не пыхти там, все так обрабатывают большие объёмы. Только индивидуально потом кроп, коррекция горизонта и прочие изыски вроде удаления пятен на объективе и пр.

Касательно иронии на предмет GPU: я так понял, что производительность тебя не интересует. Но это для твоего брата нормально.

Ответить | Правка | ^ к родителю #39 | Наверх | Cообщить модератору

53. "Релиз СУБД SQLite 3.25 с поддержкой оконных функций"  –1 +/
Сообщение от пох (?), 16-Сен-18, 19:49 
> Нормальная литература для таких инструментов быстро теряет актуальность

нормальная литература для таких инструментов написана хрен знает когда. Ничего с тех пор в фотографии глобально не изменилось, отдельные мелочи, мало влияющие на результат. Тем более что LR старательно воспроизводит работу с фотоматериалами, про которую книги написали еще в прошлом веке.

> Касательно иронии на предмет GPU: я так понял, что производительность тебя не интересует.

сферическая в вакууме - нет, не интересует, меня интересует производительность меня, а она от gpu мало увеличится. Ночь потом эта коробка будет батч переваривать или пол-ночи - совершенно пофигу, особенно за мои деньги.

Ответить | Правка | ^ к родителю #43 | Наверх | Cообщить модератору

54. "Релиз СУБД SQLite 3.25 с поддержкой оконных функций"  –3 +/
Сообщение от timur.davletshin (ok), 16-Сен-18, 20:06 
У меня складывается впечатление, что вам встроенного в камеру преобразования raw в JPG за глаза хватит, там тоже можно яркость/HDR/дисторсию править и пакетом всё преобразовывать. И, что самоё главное, там за секунды это делается.

"Lr старательно воспроизводит работу с фотоматериалами?" — да ладно, там уже есть профили "под плёнки Konica, AGFA" и прочее? У меня всё больше складывается мнение, что вы им плоховато владеете.

Ответить | Правка | ^ к родителю #53 | Наверх | Cообщить модератору

59. "Релиз СУБД SQLite 3.25 с поддержкой оконных функций"  –2 +/
Сообщение от пох (?), 16-Сен-18, 21:35 
у меня сложилось впечатление, что в фотографии вы полнейший дилетант.
поэтому не вижу смысла тратить на вас время.

Ответить | Правка | ^ к родителю #54 | Наверх | Cообщить модератору

62. "Релиз СУБД SQLite 3.25 с поддержкой оконных функций"  –2 +/
Сообщение от timur.davletshin (ok), 16-Сен-18, 22:06 
Ну пока что больше информации для выводов предоставил ты, а не я.
Ответить | Правка | ^ к родителю #59 | Наверх | Cообщить модератору

71. "Релиз СУБД SQLite 3.25 с поддержкой оконных функций"  –1 +/
Сообщение от x3who (?), 19-Сен-18, 00:27 
>  Ну пока что больше информации для выводов предоставил ты, а не я.

Ошибаетесь - в принципе очевидно, что вы не заморачивались обработкой фоточек.

Я только не понял зачем ваш оппонент использует какой-то лайтрум, когда есть нормальный rawtherapee.

Ответить | Правка | ^ к родителю #62 | Наверх | Cообщить модератору

72. "Релиз СУБД SQLite 3.25 с поддержкой оконных функций"  –1 +/
Сообщение от timur.davletshin (ok), 19-Сен-18, 05:36 
А в rawtherapee уже завезли маски и кисти, там можно хотя бы пятна на объективе/сенсоре убрать? Ну, специалист по фоточкам, ответишь? Я уже не говорю о его интерфейсе и отсутствии аппаратного ускорения и однопоточность многих модулей. Нет, я не говорю, что он плох, там есть ряд очень качественных с точки зрения качества кода модулей (поэтому их и юзают в сторонних проектах), но есть и ряд серьёзных просчётов.
Ответить | Правка | ^ к родителю #71 | Наверх | Cообщить модератору

73. "Релиз СУБД SQLite 3.25 с поддержкой оконных функций"  +/
Сообщение от пох (?), 19-Сен-18, 11:02 
дык, то же ж самое - rawtherapee, даже если абстрагироваться от ее болезней связанных с не самым лучшим парсингом собственно равов и не самыми хорошими алгоритмами поверх него - не очень удобна, когда надо разобрать пять сотен фоток из очередной поездки в теплые края - предположим даже, я буду использовать что-нибудь типа frv для удаления "снимок сделан при закрытой крышке" и сотни пробников экспозиции, все равно очень много возни.

а после применения lr _по_основному_назначению_ - у меня разобранная "коллекция", в которой не надо второй раз рыться - то что потом стоит медитации в фотошопе, помечено и покажется отдельно, то что не надо - убрано, остальное поконвертировано для веба в режиме "так сойдет" (но не факт что совпадающим с мнением автоматики, как именно "так")

а возиться с единичным снимком я потом могу и в acr - чтоб лишний раз туда-сюда не переключаться.

Ответить | Правка | ^ к родителю #71 | Наверх | Cообщить модератору

55. "Релиз СУБД SQLite 3.25 с поддержкой оконных функций"  –2 +/
Сообщение от timur.davletshin (ok), 16-Сен-18, 20:12 
Согласен, руководство администратора UNIX начала 2000 года не потеряло актуальности в своих ключевых моментрах касающихся архитектуры сетей и подходов в администрировании, но только с тех пор ушли в небытие почти или полностью половина из использовавшихся тогда ОС, уступили приоритетные позиции ключевые пакеты ПО на которых строится книга (sendmail, lpr, nis и пр.) и новичку начинать знакомство с тем, что он не сможет применить на практике или реализует это явно не лучшим образом, не стоит. Поэтому литературу стоит подбирать актуальную, особенно в таких "живых" темах как Lr.
Ответить | Правка | ^ к родителю #53 | Наверх | Cообщить модератору

64. "Релиз СУБД SQLite 3.25 с поддержкой оконных функций"  –3 +/
Сообщение от Crazy Alex (ok), 17-Сен-18, 01:43 
Угу. Ничего не изменилось. HDR нет, панорамы тоже не возникли, всякие режимы полуавтоматической коррекции (нынче - ещё и со всяким распознаванием нейросетками) тоже...
Ответить | Правка | ^ к родителю #53 | Наверх | Cообщить модератору

67. "Релиз СУБД SQLite 3.25 с поддержкой оконных функций"  +1 +/
Сообщение от пох (?), 17-Сен-18, 12:06 
если тебе это все нужно - в этом случае присоединяюсь к совету Тимура - не мучай лайтрум, тебе вообще ничего не надо кроме встроенной обработки в фотоаппарате. Он все это умеет, быстро, и для хипстаграмма сойдет. У новых-модных есть даже кнопочка "автоматически слить через ближайший wifi в хипстаграмчик".

жаль что в том нет кнопки "ничего автоматически слитого не показывать никогда".

Ответить | Правка | ^ к родителю #64 | Наверх | Cообщить модератору

12. "Релиз СУБД SQLite 3.25 с поддержкой оконных функций"  –3 +/
Сообщение от timur.davletshin (ok), 16-Сен-18, 11:24 
Попробуй как-нибудь на досуге в дождливый день сделать нижеприведённое и побенчмаркать до этого и после (сохранить в файл типа vacuum.sh, дать права доступа +х и ./vacuum.sh КАТАЛОГ_С_DB)

#!/bin/bash

find "$1" -type f -print0|while read -d $'\0' fname; do
    type=`file -b "$fname"`
    case "$type" in
    SQLite*)
        echo "$fname"
        sqlite3 "$fname" "VACUUM;" || exit $?
        ;;
    esac
done

Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

3. "Релиз СУБД SQLite 3.25 с поддержкой оконных функций"  +6 +/
Сообщение от Аноним (2), 16-Сен-18, 10:50 
Ну и если вы применяете SQLite3 для каких-то таких задач, в которых фрагментация начинает иметь серьёзное влияние - вы однозначно что-то делаете не то и не так.
Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

4. "Релиз СУБД SQLite 3.25 с поддержкой оконных функций"  –5 +/
Сообщение от timur.davletshin (ok), 16-Сен-18, 11:04 
Так это же функция БД, а простого разработчика, который просто её использует. Вот к примеру darktable хранит миниатюры (не знаю, кому эта светлая идея пришла) и настройки из всех sidecar файлов в sqlite базе данных. В моём случае это DB около 2 Gb, вроде бы и немного, но стоит сделать реэкспорт больше 1000 фоточек и лаги даже на SDD становятся заметными, предполагаю, что на HDD вообще кисло.
Ответить | Правка | ^ к родителю #3 | Наверх | Cообщить модератору

5. "Релиз СУБД SQLite 3.25 с поддержкой оконных функций"  –1 +/
Сообщение от timur.davletshin (ok), 16-Сен-18, 11:05 
<<не>> простого разработчика
Ответить | Правка | ^ к родителю #4 | Наверх | Cообщить модератору

9. "Релиз СУБД SQLite 3.25 с поддержкой оконных функций"  +8 +/
Сообщение от Аноним (9), 16-Сен-18, 11:16 
> Так это же функция БД, а простого разработчика

- Моя Ока не справляется с перевозкой 60 тонн угля.
- Что-то делаешь не так.
- Так это же функция транспортного средства, а не простого водителя.

Ответить | Правка | ^ к родителю #4 | Наверх | Cообщить модератору

10. "Релиз СУБД SQLite 3.25 с поддержкой оконных функций"  –1 +/
Сообщение от timur.davletshin (ok), 16-Сен-18, 11:20 
>> Так это же функция БД, а простого разработчика
> - Моя Ока не справляется с перевозкой 60 тонн угля.
> - Что-то делаешь не так.
> - Так это же функция транспортного средства, а не простого водителя.

Дельное замечание, адресуй его разработчикам приложений, вроде Firefox и Chrome. Это для начала, т.к. те ещё относительно по-божески его используют.

Ответить | Правка | ^ к родителю #9 | Наверх | Cообщить модератору

13. "Релиз СУБД SQLite 3.25 с поддержкой оконных функций"  –1 +/
Сообщение от пох (?), 16-Сен-18, 11:24 
у меня нет никаких проблем с файрфоксом и хромым, вызванных sqlite - что я делаю не так?

Ответить | Правка | ^ к родителю #10 | Наверх | Cообщить модератору

18. "Релиз СУБД SQLite 3.25 с поддержкой оконных функций"  –1 +/
Сообщение от timur.davletshin (ok), 16-Сен-18, 11:34 
Если бы проблемы не было, то разработчики FF не запилили бы аналогичную функцию в about:support :)

Это ты просто об этом не знаешь или у тебя хранение истории в браузере ограничено несколькими месяцами. Если сомневаешься, то можешь загуглить "firefox sqlite slow" там тебе и про замедленный автокомплит расскажут и про убермедленную чистку истории.

Ответить | Правка | ^ к родителю #13 | Наверх | Cообщить модератору

24. "Релиз СУБД SQLite 3.25 с поддержкой оконных функций"  –1 +/
Сообщение от пох (?), 16-Сен-18, 12:24 
функция называется "integrity check", что как бы намекает нам...

> Vacuum

Initial database size is 12960 KiB
+ The database has been vacuumed
Final database size is 12448 KiB
> Statistics

Database size is 12448 KiB

не вижу проблемы.

нет, я не храню историю от сотворения мира - все равно я уже не вспомню, что там было.

понятно что есть странные люди которые делают какие-то странные вещи, но ни файрфокс, ни sqlite в этом не виноваты, на всех не наоптимизируешься.

Ответить | Правка | ^ к родителю #18 | Наверх | Cообщить модератору

27. "Релиз СУБД SQLite 3.25 с поддержкой оконных функций"  –2 +/
Сообщение от timur.davletshin (ok), 16-Сен-18, 12:33 
Как я и сказал, ты или урезал срок хранения истории или не пользуешься им вовсе. У меня он ~70 Мб.
Ответить | Правка | ^ к родителю #24 | Наверх | Cообщить модератору

34. "Релиз СУБД SQLite 3.25 с поддержкой оконных функций"  –1 +/
Сообщение от НяшМяш (ok), 16-Сен-18, 15:05 
Если бы проблема была, то разработчики FF запилили бы эту функцию примерно поверх адресной строки. Типичный юзер в жизни не знает про about:support. На том же core 2 duo ноутбучном в связке с ssd история за год с базой 40 мегабайт не тормозит - там уже лаги по другим причинам возникают.
Ответить | Правка | ^ к родителю #18 | Наверх | Cообщить модератору

35. "Релиз СУБД SQLite 3.25 с поддержкой оконных функций"  –7 +/
Сообщение от timur.davletshin (ok), 16-Сен-18, 15:21 
> Если бы проблема была, то разработчики FF запилили бы эту функцию примерно
> поверх адресной строки. Типичный юзер в жизни не знает про about:support.
> На том же core 2 duo ноутбучном в связке с ssd
> история за год с базой 40 мегабайт не тормозит - там
> уже лаги по другим причинам возникают.

Озвучите причины? Ну просто для нас, для недалёких и сирых мещан в назидание.

Ответить | Правка | ^ к родителю #34 | Наверх | Cообщить модератору

11. "Релиз СУБД SQLite 3.25 с поддержкой оконных функций"  +4 +/
Сообщение от пох (?), 16-Сен-18, 11:24 
не переживай, innodb тоже тормозит, а про postgres и говорить не приходится (он еще и растет как на дрожжах при таком использовании).

и лечится точно так же.

причем дело не в фрагментации (не просто в фрагментации), на самом деле.

Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

14. "Релиз СУБД SQLite 3.25 с поддержкой оконных функций"  –3 +/
Сообщение от timur.davletshin (ok), 16-Сен-18, 11:25 
Да, я в курсе, нет в жизни счастья.
Ответить | Правка | ^ к родителю #11 | Наверх | Cообщить модератору

15. "Релиз СУБД SQLite 3.25 с поддержкой оконных функций"  +/
Сообщение от MBG (?), 16-Сен-18, 11:26 
Давно бредите вслух? Пора к доктору. По теме: покажите воспроизводимый тест, тогда обсудим. В принципе, можно добиться деградации производительности любой файловой системы или базы данных, если постараться, но проблема, как правило, решается чтением документации.
Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

19. "Релиз СУБД SQLite 3.25 с поддержкой оконных функций"  –3 +/
Сообщение от timur.davletshin (ok), 16-Сен-18, 11:41 
> Давно бредите вслух? Пора к доктору. По теме: покажите воспроизводимый тест, тогда
> обсудим. В принципе, можно добиться деградации производительности любой файловой системы
> или базы данных, если постараться, но проблема, как правило, решается чтением
> документации.

Мне тебя учить цепляться утилитой sqlite3 к локальному *.sqlite файлу учить? Берёшь рабочий places.sqlite и делаешь 1000 произвольный SELECT'ов c index'ами, без них, по строкам и делаешь после VACUUM. Ну и размер файла не забудь замерить.

Ответить | Правка | ^ к родителю #15 | Наверх | Cообщить модератору

29. "Релиз СУБД SQLite 3.25 с поддержкой оконных функций"  –1 +/
Сообщение от Аноним (2), 16-Сен-18, 14:11 
Ну и получаешь 0.02 сек вместо 0.01 сек. Да, аж на целых 100% производительность выросла, только вот кому оно интересно.
Ответить | Правка | ^ к родителю #19 | Наверх | Cообщить модератору

30. "Релиз СУБД SQLite 3.25 с поддержкой оконных функций"  +/
Сообщение от Аноним (2), 16-Сен-18, 14:11 
0.01 вместо 0.02, конечно же.
Ответить | Правка | ^ к родителю #29 | Наверх | Cообщить модератору

33. "Релиз СУБД SQLite 3.25 с поддержкой оконных функций"  –5 +/
Сообщение от timur.davletshin (ok), 16-Сен-18, 14:55 
Проходи мимо, оптимизации не для тебя, да и кремневый нож острее железного.
Ответить | Правка | ^ к родителю #29 | Наверх | Cообщить модератору

65. "Релиз СУБД SQLite 3.25 с поддержкой оконных функций"  +/
Сообщение от MBG (?), 17-Сен-18, 08:11 
У меня под рукой уйма SQLite баз размерами в десятки гигабайт и более - и все с ними отлично (реалтайм данные трафика с полмиллиона автомобилей или около того, порядка 10Гб данных ежечасно). Прежде чем пытаться меня учить, погугли мои патчи для оптимизации FTS в SQLite (сейчас сжатие индексов в апстриме), баг-репорты о некоторых проблемах на продакшен базах размером 5GB+ и проч. Так где тесты-то для заявленных проблем в SQLite?
Ответить | Правка | ^ к родителю #19 | Наверх | Cообщить модератору

66. "Релиз СУБД SQLite 3.25 с поддержкой оконных функций"  –4 +/
Сообщение от timur.davletshin (ok), 17-Сен-18, 09:21 
А... т.е. БД в 2 гигов не является уже Окой, везущей несколько тонн? Гуглить не буду, охотно верю заявлениям собеседника. Если вы всё умеете, то для вас не составит труда взять *.sqlite размером побольше, сдампить всё, потом восстановить и после побенчмаркать обе БД. Попробуйте, я гарантирую, что много нового узнаете для себя, с разработчиками всегда так. С нетерпением жду объяснений.
Ответить | Правка | ^ к родителю #65 | Наверх | Cообщить модератору

98. "Релиз СУБД SQLite 3.25 с поддержкой оконных функций"  +/
Сообщение от Аноним (98), 21-Сен-18, 17:50 
> Попробуйте, я гарантирую, что много нового узнаете для себя

Ник MBG лет 10 уже наверное занимается sqlite, я думаю он в курсе :-)

Ответить | Правка | ^ к родителю #66 | Наверх | Cообщить модератору

77. "Релиз СУБД SQLite 3.25 с поддержкой оконных функций"  +/
Сообщение от Кузя (?), 20-Сен-18, 17:34 
Ключевая характеристика это СУБД в самом её названии -- Lite. Она не рассчитана на сколь-либо серьёзную нагрузку, а просто представляет удобное хранилище с широко знакомой многим семантикой.
Не очень понимаю, как необходимость реиндексации, типичная для практически всех актуальных сейчас РСУБД, может затруднять обслуживание? Это как необходимость дышать воздухом затрудняет подводное плавание человека.
Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

7. "Релиз СУБД SQLite 3.25 с поддержкой оконных функций"  +2 +/
Сообщение от Аноним (7), 16-Сен-18, 11:09 
Вы все тут такие специалисты, а я вот сначала подумал, что решили добавить в базу данных графический сервер с поддержкой окон.
Точнее это было первой шальной мыслью.
Бред? Бред.
(Сообщение сформулировано согласно политике открытых мыслей)
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

8. "Релиз СУБД SQLite 3.25 с поддержкой оконных функций"  –1 +/
Сообщение от Аноним (7), 16-Сен-18, 11:14 
В движок конечно, но это и без уточнений понятно.
Ответить | Правка | ^ к родителю #7 | Наверх | Cообщить модератору

22. "Релиз СУБД SQLite 3.25 с поддержкой оконных функций"  –3 +/
Сообщение от timur.davletshin (ok), 16-Сен-18, 11:59 
Ы-ы-ы... ладно, здравой критики тут не понимают, поэтому ограничимся рандомным tips'ом на заданную тему.

Делаем совместную базу данных NSS (сертификаты и ключи) для Firefox и Evolution. Исходим из того, что у вас стабильные версии FF и не самая древняя libnss.

Делаем mkdir -p ~/.pki/nssdb && chmod 700 ~/.pki
Заходим в каталог профиля своего FF и делаем перемещаем cert9.db и key4.db в ~/.pki/nssdb
Далее из каталога профиля запускаем ln -s ~/.pki/nssdb/cert9.db . && ln -s ~/.pki/nssdb/key4.db .

Вуа-ля — у вас общая БД, можно сделать аналогичное и с Thunderbird. При желании можно замержить соответствующие файлы из двух прог при помощи certutil.

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

31. "Релиз СУБД SQLite 3.25 с поддержкой оконных функций"  +/
Сообщение от Аноним (2), 16-Сен-18, 14:13 
Потом один из них внезапно оказывается статически слинкованным с другой версией либы, и далее совет превращается в подобие вакууминга полуторакилобайтной базы sqlite3, только с более жёсткими последствиями.
Ответить | Правка | ^ к родителю #22 | Наверх | Cообщить модератору

32. "Релиз СУБД SQLite 3.25 с поддержкой оконных функций"  –2 +/
Сообщение от timur.davletshin (ok), 16-Сен-18, 14:52 
Почитайт для начала, почему циферка на единичку у этих файлов выросла и потом будешь "петь" про более жёсткие последствия.
Ответить | Правка | ^ к родителю #31 | Наверх | Cообщить модератору

81. "Релиз СУБД SQLite 3.25 с поддержкой оконных функций"  +/
Сообщение от Кузя (?), 20-Сен-18, 17:41 
Зачем? По-моему, вы не по назначению используете инструмент.
Ответить | Правка | ^ к родителю #22 | Наверх | Cообщить модератору

83. "Релиз СУБД SQLite 3.25 с поддержкой оконных функций"  +/
Сообщение от timur.davletshin (ok), 20-Сен-18, 17:51 
Ты о чём? О совместной базе для сертификатов вместо двух или трёх (LO тоже цепляет сертификаты для подписи документов)?
Ответить | Правка | ^ к родителю #81 | Наверх | Cообщить модератору

86. "Релиз СУБД SQLite 3.25 с поддержкой оконных функций"  +/
Сообщение от Кузя (?), 20-Сен-18, 18:01 
Да. Если нужно что-то совместное, то это не про SQLite. Вот и всё.
Ответить | Правка | ^ к родителю #83 | Наверх | Cообщить модератору

87. "Релиз СУБД SQLite 3.25 с поддержкой оконных функций"  +/
Сообщение от timur.davletshin (ok), 20-Сен-18, 18:04 
Это официальный способ его использовать, загугли NSS Shared DB.
Ответить | Правка | ^ к родителю #86 | Наверх | Cообщить модератору

88. "Релиз СУБД SQLite 3.25 с поддержкой оконных функций"  +/
Сообщение от Кузя (?), 20-Сен-18, 18:22 
Может и официальный, но толку-то.
Ответить | Правка | ^ к родителю #87 | Наверх | Cообщить модератору

89. "Релиз СУБД SQLite 3.25 с поддержкой оконных функций"  +/
Сообщение от timur.davletshin (ok), 20-Сен-18, 18:25 
Очевидно, ты просто не пользуешься сертификатами :)
Ответить | Правка | ^ к родителю #88 | Наверх | Cообщить модератору

90. "Релиз СУБД SQLite 3.25 с поддержкой оконных функций"  +/
Сообщение от Кузя (?), 20-Сен-18, 18:34 
Не, не пользуюсь. Но лайтом пользуюсь давно. Настолько, чтобы понять простую истину -- совместное использование и лайт это из разных песен.
Ответить | Правка | ^ к родителю #89 | Наверх | Cообщить модератору

91. "Релиз СУБД SQLite 3.25 с поддержкой оконных функций"  +/
Сообщение от timur.davletshin (ok), 20-Сен-18, 18:38 
> Не, не пользуюсь. Но лайтом пользуюсь давно. Настолько, чтобы понять простую истину
> -- совместное использование и лайт это из разных песен.

А теперь расскажи о своём мнении мозилловцам. А то людям надо же как-то узнать об этом безусловно очень ценном мнении.

Ответить | Правка | ^ к родителю #90 | Наверх | Cообщить модератору

92. "Релиз СУБД SQLite 3.25 с поддержкой оконных функций"  +/
Сообщение от Кузя (?), 20-Сен-18, 19:00 
Мозиловцы, не пользуйтесь лайтом так, как вы им пользуетесь, не смущайте людей, а то они вам верят.
Ответить | Правка | ^ к родителю #91 | Наверх | Cообщить модератору

93. "Релиз СУБД SQLite 3.25 с поддержкой оконных функций"  +/
Сообщение от timur.davletshin (ok), 20-Сен-18, 19:04 
А теперь к разрабам LO и Gnome.
Ответить | Правка | ^ к родителю #92 | Наверх | Cообщить модератору

94. "Релиз СУБД SQLite 3.25 с поддержкой оконных функций"  +/
Сообщение от Кузя (?), 20-Сен-18, 19:25 
Лайт это только хранилка. Что вы над ней накрутите -- ваше творчество. Лисонутые что-то не так, видимо, сделали. Бывает.
Ответить | Правка | ^ к родителю #93 | Наверх | Cообщить модератору

95. "Релиз СУБД SQLite 3.25 с поддержкой оконных функций"  +/
Сообщение от timur.davletshin (ok), 20-Сен-18, 19:40 
Так а что не так, я просто не понял. Или sqlite не поддерживает с каких-то пор уже multiple connections?
Ответить | Правка | ^ к родителю #94 | Наверх | Cообщить модератору

37. "Релиз СУБД SQLite 3.25 с поддержкой оконных функций"  –2 +/
Сообщение от пох (?), 16-Сен-18, 16:05 
так, ну ладно, а по теме - кто-нибудь может показать реальный пример применения 'OVER' ?

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

57. "Релиз СУБД SQLite 3.25 с поддержкой оконных функций"  +/
Сообщение от Аноним (57), 16-Сен-18, 20:28 
Можешь открыть доку в postgres по window functions и посмотреть.
Ответить | Правка | ^ к родителю #37 | Наверх | Cообщить модератору

60. "Релиз СУБД SQLite 3.25 с поддержкой оконных функций"  –1 +/
Сообщение от пох (?), 16-Сен-18, 21:36 
я спрашивал "реальный пример" - где именно в жизни на реальных задачах оно у вас работает.
Ответить | Правка | ^ к родителю #57 | Наверх | Cообщить модератору

68. "Релиз СУБД SQLite 3.25 с поддержкой оконных функций"  +2 +/
Сообщение от Envek (ok), 17-Сен-18, 21:28 
Обычно нужно редко, для генерации всяких аналитических отчётов или для миграции данных, когда именно, что хочется взять и посчитать что-то «эдакое» одним запросом, потому что тащить в приложение и считать в памяти долго и муторно.

Штука для понимания сложная, но когда овладеете этой отвёрткой, то охота забивать шурупы молотком отпадёт сама собой.

Хорошая статья с примерами использования: https://habr.com/post/268983/
Мой собственный очерк с примером миграции данных (очень меня оконные функции впечатлили): http://envek.name/ru/blog/2015/04/28/sql-window-functions
И целый интерактивный сайт-тренажёр оконных функций: https://www.windowfunctions.com/

P.S> Очень-очень рад тому, что поддержка оконных функций завезли в SQLite

Ответить | Правка | ^ к родителю #60 | Наверх | Cообщить модератору

74. "Релиз СУБД SQLite 3.25 с поддержкой оконных функций"  +/
Сообщение от пох (?), 19-Сен-18, 11:12 
спасибо огромное, а то когда на самом деле нужно - главное, в принципе сообразить что это шуруп, а не бракованный гвоздь - понимания чего "документация postgresql" по пользованию отверткой без живых примеров ни разу не даст.

Ответить | Правка | ^ к родителю #68 | Наверх | Cообщить модератору

80. "Релиз СУБД SQLite 3.25 с поддержкой оконных функций"  +/
Сообщение от Кузя (?), 20-Сен-18, 17:40 
Что там сложного-то?
Ответить | Правка | ^ к родителю #68 | Наверх | Cообщить модератору

84. "Релиз СУБД SQLite 3.25 с поддержкой оконных функций"  +/
Сообщение от Кузя (?), 20-Сен-18, 17:53 
Как раз таки нужно очень часто. Но это, да, синтаксическое упрощение, потому что и "обычными средствами" подобного результата можно достичь, но получится очень многословно.
Ответить | Правка | ^ к родителю #68 | Наверх | Cообщить модератору

78. "Релиз СУБД SQLite 3.25 с поддержкой оконных функций"  +/
Сообщение от Кузя (?), 20-Сен-18, 17:39 
На любых агрегатных функциях. Без необходимости агрегации через group by. Очень удобно. На функциях ранжирования. На всяких набегающих значениях (сумма, счётчик по какой-нибудь категории).
Ответить | Правка | ^ к родителю #37 | Наверх | Cообщить модератору

82. "Релиз СУБД SQLite 3.25 с поддержкой оконных функций"  +/
Сообщение от Кузя (?), 20-Сен-18, 17:50 
Ну например, есть у вас, скажем, система регистрации событий. Типичная "строка" будет содержать дату/время события, категорию событий и текст сообщения события. И вам нужно найти по каждой категории строки с самыми старыми событиями. Можно сделать традиционным group by, а потом join, а можно сразу залепить окно по категории события и выбрать те строки, для которых значение самой старой даты в окне совпадёт со значением даты в строке события.
Ответить | Правка | ^ к родителю #37 | Наверх | Cообщить модератору

58. "Релиз СУБД SQLite 3.25 с поддержкой оконных функций"  –1 +/
Сообщение от Аноним (58), 16-Сен-18, 21:16 
> При переименовании таблиц через "ALTER TABLE" реализовано автоматическое обновление всех ссылок на новое имя в триггерах и представлениях;

Отлично! Ещё бы для столбцов того же. Очень экономит время при разработке схемы БД.

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

61. "Релиз СУБД SQLite 3.25 с поддержкой оконных функций"  –4 +/
Сообщение от пох (?), 16-Сен-18, 21:39 
вы ЭТО называете разработкой? "мы тут уже насоздавали сложных таблиц и отношений (раз понадобились уже и триггеры), залили пару гигабайт данных (иначе rm *sqlite решает проблему) - а теперь давайте пяток переименуем туда-сюда, и столбцы подвигаем, до кучи".

где это такие разработчики, можно уточнить?

Ответить | Правка | ^ к родителю #58 | Наверх | Cообщить модератору

70. "Релиз СУБД SQLite 3.25 с поддержкой оконных функций"  +1 +/
Сообщение от Аноним (70), 18-Сен-18, 03:10 
Когда схему впервые проектируешь, удобнее делать это сразу в sqlite, а не на бумаге. Желая изменить имя чего-либо, приходится менять его везде вручную.
О базах с реальными данными речи не идёт (впрочем, как и с кучами тестовых).
Ответить | Правка | ^ к родителю #61 | Наверх | Cообщить модератору

75. "Релиз СУБД SQLite 3.25 с поддержкой оконных функций"  +/
Сообщение от нах (?), 20-Сен-18, 10:59 
странные у вас, право, идеи.
(sqlite шелл и tab-completion-то нормально научился меньше года назад, и по сей день, мягко говоря, является скорее средством восстановления или отладки, а не удобным инструментом работы с базой)

я вот проектирую не на бумаге, потому что ее неудобно потом скармливать тому же sqlite binary, а просто в текстовом редакторе - где хотя бы текстовая схема перед глазами, и ее не надо добывать противоестественным путем в форматировании для терминала. он же потом отправляется и в vcs.

какой смысл запихивать ее в бинарный формат, если данных для  нее пока еще все равно нет, и кода пока тоже нет - не понимаю.

и пока схема лежит в файле текстом - есть куда более простые и наглядные способы попереименовать в ней любые детали, нежели надеяться на еще толком недописанную автоматику внутри sqlite (на бумаге, заметьте, сильно неудобнее ;-)

А вот когда база уже на сотенку гигабайт, и внезапно выяснилось что 'термин "всякая фигня" не вполне точно отражает весь спектр товаров и услуг, предлагаемых нашей компанией' и надо в небольшое окно простоя поменять в ней "немножечко" структуру, желательно не перестраивая все индексы и уж тем более не делая store/load - вот тут alter table альтернативы и правда нет. То есть фича безусловно полезная, но для разработки ее применять ну очень странно.

Ответить | Правка | ^ к родителю #70 | Наверх | Cообщить модератору

69. "Релиз СУБД SQLite 3.25 с поддержкой оконных функций"  –2 +/
Сообщение от Аноним (69), 17-Сен-18, 21:57 
Когда уже будет sqlite в MySQL реализован как хранилище? Было бы удобно использовать по сети и несколькими пользователями. Может уже кто-то сделал?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

76. "Релиз СУБД SQLite 3.25 с поддержкой оконных функций"  +/
Сообщение от нах (?), 20-Сен-18, 11:05 
для посети и несколькимпользователям давным-давно выдуман sqlproxy, если вы так и не осилили серверный middleware, и каждый пользователь у вас по прежнему лазит напрямую в базу (привет, жаббикс).

а удобно будет, когда кто-нибудь сумеет совместить libsqlite3 с каким-то другим хранилищем, поскольку болячки локинга как раз в нем. (ничего не мешает сохранить его файловым, унеся локинг и journal management в пространство systemV, кроме, конечно же, интересов мурзилы, адоба и, возможно, блумберга)

Ответить | Правка | ^ к родителю #69 | Наверх | Cообщить модератору

85. "Релиз СУБД SQLite 3.25 с поддержкой оконных функций"  +/
Сообщение от Кузя (?), 20-Сен-18, 17:57 
Ё-маё, зачем? SQLite нужен исключительно как простая однопользовательская интегрируемая файловая хранилка, но использующая SQL. Всё. Больше она ни для чего не нужна, потому для прочего полно куда более адекватных СУБД.
Ответить | Правка | ^ к родителю #76 | Наверх | Cообщить модератору

96. "Релиз СУБД SQLite 3.25 с поддержкой оконных функций"  +/
Сообщение от пох (?), 20-Сен-18, 19:49 
> Ё-маё, зачем? SQLite нужен исключительно как простая однопользовательская интегрируемая
> файловая хранилка, но использующая SQL.
> Всё. Больше она ни для чего не нужна, потому для прочего полно куда более адекватных СУБД.

куда более неадекватных, в этом и дело. Давно вы на ora-0006 не напарывались, погляжу?

у sqlite в общем-то сейчас есть почти все, что есть у этих неадекватных, кроме разьве что навороченного plsql, который вполне можно оставить орацлу. А простые хранилки как-то до наших дней не дожили, кто еще помнит raima?
А никаких чудес у тех давно уже нет - все те же файлики все в той же файловой системе (ибо block devices тоже уже нигде нормальных нет), где чудо? - не вижу, уже очки два раза протирал. Авторизацию просохатили (в смысле - надежную, которую не требуется прикрывать от внешнего мира салфеточкой) даже у кого была, вся "многопользовательскость" у них только в том, что разные тредики кое-как умеют в синхронизацию, не требующую задействовать совершенно неэффективные posix locks на уровне фс. Ну так в posix есть не только fs локи, и "многопользовательскость" вполне реализуема и межпроцессная. tcp и unix sockets - не нужны, авторы "адекватных" все равно работают с ними омерзительно неэффективно, оставьте сетевые задачи прокси.

но вот тут да, ньюанс - под виндой работать не будет. А ентого мурзила не поймет-с.

Ответить | Правка | ^ к родителю #85 | Наверх | Cообщить модератору

99. "Релиз СУБД SQLite 3.25 с поддержкой оконных функций"  +/
Сообщение от Мудила (?), 22-Сен-18, 14:23 
Это из разряда, что Люксембург -- прекрасное государство, в нём есть всё. Кроме жителей и территории.
На 0006Х никогда не напарывался. Это не проблема оракла, а проблема проектирования схемы. Если всё спроектировано хотя бы с минимальным пониманием темы, то "дедлока" в оракле вы не увидите никогда.
Ответить | Правка | ^ к родителю #96 | Наверх | Cообщить модератору

79. "Релиз СУБД SQLite 3.25 с поддержкой оконных функций"  +/
Сообщение от Кузя (?), 20-Сен-18, 17:39 
Зачем? Дельфин вообще не нужен.
Ответить | Правка | ^ к родителю #69 | Наверх | Cообщить модератору

97. "Релиз СУБД SQLite 3.25 с поддержкой оконных функций"  +/
Сообщение от пох (?), 20-Сен-18, 19:52 
> Зачем? Дельфин вообще не нужен.

а как же мы будем данные с пехепе фронтенда снимать? А, ну да, есть же еще какая-то pinba-mq поделка... или недоделка?

а так да... sorting tmp table, 20 лет все те же грабли.

Ответить | Правка | ^ к родителю #79 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру