The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]



"Предложение по переводу системных логов lastlog, btmp, utmp и wtmp на использование SQLite"
Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Изначальное сообщение [ Отслеживать ]

"Предложение по переводу системных логов lastlog, btmp, utmp и wtmp на использование SQLite"  +/
Сообщение от opennews (??), 13-Мрт-26, 08:25 
В списке рассылки linux-api выставлено на обсуждение предложение (RFC) заменить устаревшие бинарные форматы системных журналов lastlog, btmp, utmp и wtmp на новые разделяемые библиотеки, использующие SQLite в качестве бэкенда. Инициатива направлена на решение накопившихся проблем, среди которых переполнение 32-разрядных счётчиков времени в 2038 году, отсутствие расширяемости, низкая производительность запросов и отсутствие атомарности при записи...

Подробнее: https://www.opennet.ru/opennews/art.shtml?num=64981

Ответить | Правка | Cообщить модератору

Оглавление

Сообщения [Сортировка по времени | RSS]


1. "Предложение по переводу системных логов lastlog, btmp, utmp ..."  +1 +/
Сообщение от Аноним (1), 13-Мрт-26, 08:25 
Чем metakit4 не угодил?
Ответить | Правка | Наверх | Cообщить модератору

15. "Предложение по переводу системных логов lastlog, btmp, utmp ..."  +/
Сообщение от Аноним (15), 13-Мрт-26, 08:42 
Написана на C++ - https://ru.wikipedia.org/wiki/MetaKit
Ответить | Правка | Наверх | Cообщить модератору

18. "Предложение по переводу системных логов lastlog, btmp, utmp ..."  +/
Сообщение от Жироватт (ok), 13-Мрт-26, 08:44 
Недостаточно стильно@модно@молодёжно и обновлялась не "в прошлом месяце"
Хотя я не удивлён был бы, если бы туда по решению платинового спонсора предложили запихнуть sql server 2026 localDB
Ответить | Правка | К родителю #1 | Наверх | Cообщить модератору

20. "Предложение по переводу системных логов lastlog, btmp, utmp ..."  +/
Сообщение от Аноним (15), 13-Мрт-26, 08:56 
Ну это уже перебор, хватит https://github.com/microsoft/FASTER
Ответить | Правка | Наверх | Cообщить модератору

32. "Предложение по переводу системных логов lastlog, btmp, utmp ..."  +2 +/
Сообщение от Жироватт (ok), 13-Мрт-26, 09:15 
Почему перебор? Самый раз. Полноценный движок баз, который потом можно будет смигрировать на

"
Три файла БД – для логов царственных демонов в системдишных шатрах,
Семь – для пользовательских профилей программ и гуртовщиков мыши,
Девять – для всеъ, облечённых в сисопские права,
Один движок запустит Владыка на облачном троне,
В ядре по имени linux, где уже распростёрся мрак.

Один ms sql server в системе покорит их, он соберет их,
скуль сервер притянет их и в чёрную цепь скуёт их
В ядре по имени linux, где уже распростёрся мрак.
"

Ответить | Правка | Наверх | Cообщить модератору

21. "Предложение по переводу системных логов lastlog, btmp, utmp ..."  +/
Сообщение от Аноним (21), 13-Мрт-26, 08:56 
- Для каждого типа журналов создаётся отдельная библиотека
- задействование индексов
- одновременно выполнять запись и в старый бинарный файл, и в новую SQLite-базу

Странная система логирования. Мы точно логи пишем?

Ответить | Правка | К родителю #18 | Наверх | Cообщить модератору

33. "Предложение по переводу системных логов lastlog, btmp, utmp ..."  +/
Сообщение от Жироватт (ok), 13-Мрт-26, 09:16 
Ну, для времени миграции с базы на базу - вполне.
Далее старый способ фиксации логов отключается, когда новый уже достаточно отлажен
Ответить | Правка | Наверх | Cообщить модератору

44. "Предложение по переводу системных логов lastlog, btmp, utmp ..."  +/
Сообщение от Аноним (21), 13-Мрт-26, 09:46 
Уточню проблему, если кто не понял:

- Для каждого типа журналов создаётся отдельная библиотека
- задействование индексов

Точно логи пишем?

Ответить | Правка | Наверх | Cообщить модератору

2. "Предложение по переводу системных логов lastlog, btmp, utmp ..."  +/
Сообщение от User (??), 13-Мрт-26, 08:25 
> Автор RFC предлагает полностью отказаться

Так вроде ж и отказались уже - в пользу journald?

Ответить | Правка | Наверх | Cообщить модератору

3. "Предложение по переводу системных логов lastlog, btmp, utmp ..."  +1 +/
Сообщение от Аноним (3), 13-Мрт-26, 08:28 
"Запись в бинарный файл не является атомарной операцией. При сбое запись может быть частично повреждена."

Так это и к journald относится, разве нет?

Ответить | Правка | Наверх | Cообщить модератору

16. "Предложение по переводу системных логов lastlog, btmp, utmp ..."  +1 +/
Сообщение от Олег (??), 13-Мрт-26, 08:42 
Да не слушай их. Программисты деградируют походу. Если записывать не больше страницы за раз, то вполне себе атомарная. А дальше уже работает журнал ФС. Sqlite хорошая штука, но зачем тащить её сюда,  не понятно.
Ответить | Правка | Наверх | Cообщить модератору

46. "Предложение по переводу системных логов lastlog, btmp, utmp ..."  +/
Сообщение от Аноним (21), 13-Мрт-26, 09:54 
> При сбое запись может быть частично повреждена

Дак это и к скуляйту относится. Что они подразумевают под сбоем? Железо гикнулось? Система в панике? Приложение кривое? Первым двум скуляйт не поможет. Остаётся приложение. Если приложение глюкнуло - мы в логах ничего не увидим. Скуляйт намекает, что сервера логирование теперь нету, а записью занимается непосредственно само приложение.

Ответить | Правка | К родителю #3 | Наверх | Cообщить модератору

6. "Предложение по переводу системных логов lastlog, btmp, utmp ..."  –2 +/
Сообщение от iCat (ok), 13-Мрт-26, 08:31 
Кому-то очень хочется внедрить нечитаемую систему протоколирования из мира Windows в мир GNU/Linux ?
А зачем?
Системды мало?
Ответить | Правка | Наверх | Cообщить модератору

9. "Предложение по переводу системных логов lastlog, btmp, utmp ..."  +2 +/
Сообщение от Аноним (9), 13-Мрт-26, 08:32 
Когда свободу на хлеб, остаются и без свободы и без хлеба.          
Ответить | Правка | Наверх | Cообщить модератору

11. "Предложение по переводу системных логов lastlog, btmp, utmp ..."  +2 +/
Сообщение от анон (?), 13-Мрт-26, 08:34 
Она и сейчас нечитаемая.
Ответить | Правка | К родителю #6 | Наверх | Cообщить модератору

28. "Предложение по переводу системных логов lastlog, btmp, utmp ..."  +/
Сообщение от Аноним (3), 13-Мрт-26, 09:12 
А это "год линукса на десктопе против серверного линукса" ака "функциональность против простоты"
И то, и другое имеет право на жизнь...
Ответить | Правка | К родителю #6 | Наверх | Cообщить модератору

36. "Предложение по переводу системных логов lastlog, btmp, utmp ..."  +/
Сообщение от aname (ok), 13-Мрт-26, 09:23 
Раст в ведро протащили, почему бы и не протащить SQLite
Ответить | Правка | К родителю #6 | Наверх | Cообщить модератору

7. "Предложение по переводу системных логов lastlog, btmp, utmp ..."  +1 +/
Сообщение от Аноним (9), 13-Мрт-26, 08:31 
Хранение логов в тормозлайт худшая идея, какую можно придумать. Ещё это завязывает на стороннего разработчика, который неизвестно что может сделать и с продуктом и со своим форматом. Если они такие любители прокладок пусть пишут новые либы для нового бинарного собственного и если надо расширяемого формата. А не превращают всю систему в один единый тормозящий скуль.
Ответить | Правка | Наверх | Cообщить модератору

13. "Предложение по переводу системных логов lastlog, btmp, utmp ..."  +/
Сообщение от Фонтимос (?), 13-Мрт-26, 08:37 
Подтверждаю, линукс станет тормозом. Хотя по мне, пучть внедряют, быстрее все слиняют на ФриБиЭсДи.
Ответить | Правка | Наверх | Cообщить модератору

30. "Предложение по переводу системных логов lastlog, btmp, utmp ..."  +/
Сообщение от gz (?), 13-Мрт-26, 09:14 
все ненадо, ато слиняют ведь и те внедрятели с чудесатыми предложениями сделать чтото во фряхе
Ответить | Правка | Наверх | Cообщить модератору

17. "Предложение по переводу системных логов lastlog, btmp, utmp ..."  +/
Сообщение от User (??), 13-Мрт-26, 08:43 
Ну, в доelastic'овскую пору - я вот вполне себе делал центральный rsyslog с хранением в mysql - вполне себе работало.
Ответить | Правка | К родителю #7 | Наверх | Cообщить модератору

29. "Предложение по переводу системных логов lastlog, btmp, utmp ..."  +/
Сообщение от Аноним (3), 13-Мрт-26, 09:13 
mysql и sqlite не сравнимы по скорости
Ответить | Правка | Наверх | Cообщить модератору

41. "Предложение по переводу системных логов lastlog, btmp, utmp ..."  +/
Сообщение от User (??), 13-Мрт-26, 09:39 
Ну да - sqlite в таких сценариях прям сильно быстрее будет.
Ответить | Правка | Наверх | Cообщить модератору

38. "Предложение по переводу системных логов lastlog, btmp, utmp ..."  +/
Сообщение от Аноним (38), 13-Мрт-26, 09:24 
> Хранение логов в тормозлайт

По сравнению с чем SQLite тормозной?

Ответить | Правка | К родителю #7 | Наверх | Cообщить модератору

39. "Предложение по переводу системных логов lastlog, btmp, utmp ..."  +/
Сообщение от letsmac (ok), 13-Мрт-26, 09:36 
1C в свое время такое уже пробовал. В итоге вернулись к бинарным журналам. Тормозило на больших файлах знатно.
Ответить | Правка | К родителю #7 | Наверх | Cообщить модератору

40. "Предложение по переводу системных логов lastlog, btmp, utmp ..."  +/
Сообщение от Аноним (38), 13-Мрт-26, 09:38 
> это завязывает на стороннего разработчика, который неизвестно что может сделать и с продуктом

Ничего он не может сделать после того, как конкретная версия опубликована.

> Если они такие любители прокладок пусть пишут новые либы для нового бинарного собственного и если надо расширяемого формата

Да вон уже понаписали велосапедов; список в новости. В пятый раз наступать на те же грабли изобретением пятого велосапеда, видимо, не хотят.

> А не превращают всю систему в один единый тормозящий скуль

Тем временем в новости:

"проблем, среди которых [...] низкая производительность запросов"

Но в пятом велосапеде обязательно получится быстро!

Ответить | Правка | К родителю #7 | Наверх | Cообщить модератору

8. "Предложение по переводу системных логов lastlog, btmp, utmp ..."  +/
Сообщение от Аноним (8), 13-Мрт-26, 08:31 
А в чём проблема писать условный protobuf? Быстро, дёшево, достаточно атомарно
Ответить | Правка | Наверх | Cообщить модератору

12. "Предложение по переводу системных логов lastlog, btmp, utmp ..."  +/
Сообщение от Аноним (12), 13-Мрт-26, 08:35 
т.е. если все равно переписывать, то они предлагают переписать так, чтобы сразу отсечь кору дуба и embedded системы, вместо того чтобы решить проблему создать новую
Ответить | Правка | Наверх | Cообщить модератору

19. "Предложение по переводу системных логов lastlog, btmp, utmp ..."  –3 +/
Сообщение от Duck Fiemail (?), 13-Мрт-26, 08:45 
Идея неплохая, но мб пора задуматься и унифицировать не только это ?
Почти каждый файл конфигурации и данных имеет свой формат.
Например /etc/passwd,  мб что то по типу yaml применять.
И обязательно сохранить текстовый формат, можно потерпеть скорость, потому что тут она не на что не влияет.
Ответить | Правка | Наверх | Cообщить модератору

22. "Предложение по переводу системных логов lastlog, btmp, utmp ..."  +3 +/
Сообщение от User (??), 13-Мрт-26, 09:00 
Да сделали бы сразу "реестр linux - можно поверх sqlite'а", что ли - чего стесняться-то?
Ответить | Правка | Наверх | Cообщить модератору

25. "Предложение по переводу системных логов lastlog, btmp, utmp ..."  +/
Сообщение от Аноним (21), 13-Мрт-26, 09:03 
> можно поверх sqlite'а

sqlite'а обязательно в контейнере

Ответить | Правка | Наверх | Cообщить модератору

34. "Предложение по переводу системных логов lastlog, btmp, utmp ..."  +/
Сообщение от Жироватт (ok), 13-Мрт-26, 09:21 
Внутри особой виртуальной машины
Ответить | Правка | Наверх | Cообщить модератору

31. "Предложение по переводу системных логов lastlog, btmp, utmp ..."  +/
Сообщение от Аноним (31), 13-Мрт-26, 09:15 
Было бы неплохо, если одним методом/способом модно было управлять настройками всего софта, как на системном, так и на пользовательском уровне. Вроде были попытки /etc в xml/json записать. Но это надо от религии отказаться. Потому что как и во всякой религии наибольшее сопротивление любому (даже самому здравому изменению) будет от упоротых фундамендалистов.
Хотите чтобы все было как 20 лет назад? В чем проблема - скачайте из архива линукс 20 летней давности и пользуйте.

Проблема виндового реестра в бинарности и монолитности, что легко решаемо технически. Но В еще большей мере в отсутствии документации, и зоопарком подходов чего и зачем там хранить.  

Ответить | Правка | К родителю #22 | Наверх | Cообщить модератору

35. "Предложение по переводу системных логов lastlog, btmp, utmp ..."  +/
Сообщение от Duck Fiemail (?), 13-Мрт-26, 09:21 
Спасибо, а то я уже думал что меня не поняли.
Ответить | Правка | Наверх | Cообщить модератору

42. "Предложение по переводу системных логов lastlog, btmp, utmp ..."  +/
Сообщение от Аноним (31), 13-Мрт-26, 09:45 
Это понимает любой, кому приходится часто лезть в потроха линуксовых систем. Ну а школота на то и школота - ей, как собачке, главное заявить о своем присутствии опИсав самый высокий столб/дерево/забор что они нашли в пределах своей видимости.
Ответить | Правка | Наверх | Cообщить модератору

43. "Предложение по переводу системных логов lastlog, btmp, utmp ..."  +/
Сообщение от User (??), 13-Мрт-26, 09:46 
А не нужно уже. Проблема "в общем" решена дополнительными уровнями абстракции в виде terraform+(ansible|salt|черт-в-ступе) - _ты_ управляешь состоянием системы плюс-минус декларативно, описывая его да-да, вот этими вот yaml'ями плюс-минус в одном месте - а то, что "под капотом" там ошмётки потрохов с 70х еще годов... Ну вот у связистов еще с 40х наследие не разгребли до конца, а у энергетиков - так и вовсе девятнаха местами, и чО? Не переделывать же, право-слово.
Ответить | Правка | К родителю #31 | Наверх | Cообщить модератору

48. Скрыто модератором  +/
Сообщение от Аноним (3), 13-Мрт-26, 10:05 
Ответить | Правка | К родителю #22 | Наверх | Cообщить модератору

23. "Предложение по переводу системных логов lastlog, btmp, utmp ..."  +/
Сообщение от Аноним (23), 13-Мрт-26, 09:01 
Короче, нельзя поменять то, нельзя поменять сё, потому что совместимость. Тогда давайте все на sqlite переведем, ведь он остается совместимым с тем что было до него.
Ответить | Правка | Наверх | Cообщить модератору

49. "Предложение по переводу системных логов lastlog, btmp, utmp ..."  +/
Сообщение от Аноним (21), 13-Мрт-26, 10:05 
> все на sqlite переведем

Надо не забыть структуру полей лога тоже хранить в таблице скуляйт для переносимости и совместимости, и формат структуры тоже в таблице, и таблицу тоже в таблице.

Ответить | Правка | Наверх | Cообщить модератору

24. "Предложение по переводу системных логов lastlog, btmp, utmp ..."  –1 +/
Сообщение от Аноним (21), 13-Мрт-26, 09:02 
> Фиксированный размер записей не позволяет добавлять новые поля

А текстовый формат всё позволял.

Ответить | Правка | Наверх | Cообщить модератору

37. "Предложение по переводу системных логов lastlog, btmp, utmp ..."  +/
Сообщение от Жироватт (ok), 13-Мрт-26, 09:24 
Это не стильно, не модно, нужно знать grep+awk и иметь квалификацию повыше, чем one-button-monkey.
Ответить | Правка | Наверх | Cообщить модератору

50. "Предложение по переводу системных логов lastlog, btmp, utmp ..."  +/
Сообщение от Аноним (21), 13-Мрт-26, 10:06 
Для чтения бинарников или скуляйта что надо знать? :)
Ответить | Правка | Наверх | Cообщить модератору

26. "Предложение по переводу системных логов lastlog, btmp, utmp ..."  +/
Сообщение от Аноним (23), 13-Мрт-26, 09:08 
> Предоставление fallback-бэкенда, хранящего журналы в упрощённом бинарном формате, для систем, на которых SQLite может оказаться избыточным (например, встраиваемые устройства с жёсткими ограничениями по памяти).

А там что с изначальными ограничениями будет? Если их нет, то почему тогда этот fallback и не использовать везде вместо sqlite?

Ответить | Правка | Наверх | Cообщить модератору

27. "Предложение по переводу системных логов lastlog, btmp, utmp ..."  +1 +/
Сообщение от Аноним (21), 13-Мрт-26, 09:10 
> не позволяет добавлять новые поля (например, идентификатор контейнера, имя сервиса, IP-адрес)
> liblastlog2, libbtmp2, libutmp2 и libwtmp2... возможность добавления новых полей ... (через ALTER TABLE)

Надо так: liblastlog2containerid liblastlog2servicename liblastlog2ipaddress libbtmp2containerid libbtmp2servicename  libbtmp2ipaddress libutmp2containerid libutmp2servicename  libutmp2ipaddress libwtmp2containerid libwtmp2servicename libwtmp2ipaddress

Ответить | Правка | Наверх | Cообщить модератору

45. "Предложение по переводу системных логов lastlog, btmp, utmp ..."  +/
Сообщение от мяв (?), 13-Мрт-26, 09:51 
хорошая идея, надеюсь линус прочтет меня на опеннет.ру
Ответить | Правка | Наверх | Cообщить модератору

47. "Предложение по переводу системных логов lastlog, btmp, utmp ..."  +/
Сообщение от Диды (ok), 13-Мрт-26, 10:04 
>Для исключения конфликтов при одновременной записи в журтал несколькими процессами (например, sshd и login) ....

Чёт не понятно, как тут sqlite поможет

Ответить | Правка | Наверх | Cообщить модератору

51. "Предложение по переводу системных логов lastlog, btmp, utmp ..."  +/
Сообщение от Аноним (3), 13-Мрт-26, 10:06 
Механизм блокировки
Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2026 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру