URL: https://www.opennet.ru/cgi-bin/openforum/vsluhboard.cgi
Форум: vsluhforumID3
Нить номер: 117362
[ Назад ]

Исходное сообщение
"Итоги полугода работы проекта Repology, анализирующего инфор..."

Отправлено opennews , 15-Май-19 09:32 
Прошли очередные полгода и проект Repology (https://repology.org/), в рамках которого регулярно собирается и сравнивается информация о версиях пакетов во множестве репозиториев, публикует очередной отчёт.


-     Число поддерживаемых репозиториев превысило 230. Добавлена поддержка BunsenLabs, Pisi, Salix, Solus, T2 SDE, Void Linux, ELRepo, Mer Project, репозиториев EMacs пакетов GNU Elpa и MELPA, MSYS2 (msys2, mingw), набора расширенных репозиториев OpenSUSE. Удалён прекративший развитие репозиторий Rudix.-     Ускорено обновление репозиториев-     Переработана система проверки доступности ссылок (т.е. URL указаных в пакетах как домашние страницы проектов или ссылки на дистрибутивы) - вынесено в отдельный проект (https://github.com/repology/repology-linkchecker), добавлена поддержка проверки доступности по IPv6, отображение подробного статуса (пример (https://repology.org/link/https://www.opennet.ru/dev/fsbacku...)), улучшена диагностика проблем с DNS и SSL.-     В отдельный проект также оформлен широко применяющийся внутри проекта Python модуль (https://pypi.org/project/jsonslicer/) для быстрого поточного парсинга больших JSON файлов, без загрузки их в память целиком.

Общая статистика:

-     232 репозиторев-     175 тысяч проектов-     2.03 миллиона отдельных пакетов-     32 тысячи мейнтейнеров-     49 тысяч зафиксированных релизов за последние полгода-     13% проектов выпустили за прошедшие полгода как минимум одну новую версию


Топ репозиториев (https://repology.org/repositories/statistics/total) по общему количеству пакетов:

-     AUR (46938)-     nix (45274)-     Debian и производные (32629) (лидирует Raspbian)-     FreeBSD (26893)-     Fedora (22194)


Топ репозиториев по количеству неуникальных пакетов (т.е. пакетов, присутствующих также в других дистрибутивах):

-     nix (39594)-     Debian и производные (23715) (лидирует Raspbian)-     FreeBSD (21507)-     AUR (20647)-     Fedora (18844)

Топ репозиториев (https://repology.org/repositories/statistics/newest) по количеству свежих пакетов:

-     nix (21835)-     FreeBSD (16260)-     Debian и производные (15012) (лидирует Raspbian)-     Fedora (13612)-     AUR (11586)

Топ репозиториев (https://repology.org/repositories/statistics/pnewest) по процентному соотношению свежих пакетов (только для репозиториев с 1000 и более пакетами и не считая upstream коллекций модулей типа CPAN, Hackage, PyPi):

-     Ravenports (98.76%)-     nix (85.02%)-     Arch и производные (84.91%)-     Void (83.45%)-     Adélie (82.88%)

URL: https://repology.org
Новость: https://www.opennet.ru/opennews/art.shtml?num=50685


Содержание

Сообщения в этом обсуждении
"Итоги полугода работы проекта Repology, анализирующего инфор..."
Отправлено Аноним , 15-Май-19 09:32 
А где же, где же нескучный guix в топах? Посмотрел их пакеты - оформляются они на языке scheme. Идея так себе, особенно идея вместо применения патчей делать программно какие-то find/replace по сорцам в едином гигантском scm-файле.

"Итоги полугода работы проекта Repology, анализирующего инфор..."
Отправлено Andrey Mitrofanov , 15-Май-19 10:11 
> А где же, где же нескучный guix в топах? Посмотрел их пакеты
> - оформляются они на языке scheme. Идея так себе, особенно идея
> вместо применения патчей делать программно какие-то find/replace по сорцам в едином
> гигантском scm-файле.

Деситтна.  Твои идеи лучше, Анон.  Твои нескучные - в топтопах.

Пойду на почтампт отобью телеграмку в GNU - всё, пасаны, опеннет сказла -- закрыйвайтеся.  </это всё меняет> </агащаз>


"Итоги полугода работы проекта Repology, анализирующего инфор..."
Отправлено Аноним , 15-Май-19 13:13 
За такие шутки неплохо бы не модерить, а банить на недельку.

"Итоги полугода работы проекта Repology, анализирующего инфор..."
Отправлено Аноним , 15-Май-19 16:17 
> А где же, где же нескучный guix в топах?

Там где ему и место.

> Идея так себе, особенно идея

"Так себе"? Всё что связано с lisp - неудачная шутка от языков программирования, это идея просто кошмарная.

> вместо применения патчей делать программно какие-то find/replace по сорцам в едином гигантском scm-файле.

Это, в общем, нормально и много где используется в виде вызова sed'а. Главное не мешать sed и патчи и чётко понимать когда что применимо.


"Итоги полугода работы проекта Repology, анализирующего инфор..."
Отправлено Попугай Кеша , 16-Май-19 12:34 
"Так себе"? Всё что связано с lisp - неудачная шутка от языков программирования, это идея просто кошмарная.

Нет, товарищ. Шутка - это ты.


"Итоги полугода работы проекта Repology, анализирующего инфор..."
Отправлено Урри , 16-Май-19 16:17 
Лисп был серьезнейшим языком программирования, когда тебя еще даже в планах не было, анан. А возможно, даже твоего отца.

И этот язык не только не умер, но и вполне себе развивается.


"Итоги полугода работы проекта Repology, анализирующего инфор..."
Отправлено Аноним , 06-Июн-19 02:58 
Ага, а перфокарты в то же примерно время были серьёзнейшим носителем. Они с лиспом отлично дополняют друг друга.

"Итоги полугода работы проекта Repology, анализирующего инфор..."
Отправлено Аноним , 15-Май-19 10:59 
А никс-то во всем параметрам впереди

"Итоги полугода работы проекта Repology, анализирующего инфор..."
Отправлено Аноним , 15-Май-19 16:13 
В прошлый раз уже писали, он впереди только потому что автоматически импортирует 100500 пакетов R.

"Итоги полугода работы проекта Repology, анализирующего инфор..."
Отправлено Michael Shigorin , 15-Май-19 16:22 
> В прошлый раз уже писали, он впереди только потому что автоматически
> импортирует 100500 пакетов R.

Гм, предложить ребятам http://altlinux.org/autoimports к рассмотрению, что ли -- туда в т.ч. подмножество CPAN импортируется. :}

(тем более раз уж у них всякие AUR есть)


"Итоги полугода работы проекта Repology, анализирующего инфор..."
Отправлено Аноним , 15-Май-19 16:42 
Не нужно. И автоимпорты nix из статистики нужно выкинуть. Из этих метрик можно делать косвенные выводы о качестве работы мантейнеров, а следовательно о вероятности столкнуться с проблемами и скорости их исправления при их наличии, а автоимпорты статистику ломают, не гарантируя качества, и проблемы там исправлять никто не будет. Переклеить шильдики и получить 100500 неработающих пакетов может любой школьник, не надо ставить это в один ряд с полноценной поддержкой, тестированем и интеграцией, которой занимаются мантейнеры пакетов.

"Итоги полугода работы проекта Repology, анализирующего инфор..."
Отправлено Michael Shigorin , 15-Май-19 16:48 
> Не нужно. И автоимпорты nix из статистики нужно выкинуть.

Субъективно скорее отнести в другую категорию -- поскольку это по факту доступные пакеты, но метод сопровождения в корне отличается.

> Переклеить шильдики и получить 100500 неработающих пакетов может
> любой школьник

Вообще-то не любой д.м.н., как показывает практика.

> не надо ставить это в один ряд с полноценной поддержкой, тестированем
> и интеграцией, которой занимаются мантейнеры пакетов.

Если кому интересно _всерьёз_ -- могу предложить к вдумчивому просмотру и чтению доклады viy@altlinux: http://0x1.tv/Категория:Игорь_Власенко


"Итоги полугода работы проекта Repology, анализирующего инфор..."
Отправлено rshadow , 15-Май-19 11:35 
> Топ репозиториев по количеству свежих пакетов:

Я правильно понимаю что в Debian софт поновее чем в Fedora?
Летс зе срач бегин.


"Итоги полугода работы проекта Repology, анализирующего инфор..."
Отправлено Аноним , 15-Май-19 12:15 
В ветке experimental - запросто.

"Итоги полугода работы проекта Repology, анализирующего инфор..."
Отправлено Аноним , 15-Май-19 12:36 
Ну вы же понимаете, что в Debian'е тоже разные репы бывают?..

"Итоги полугода работы проекта Repology, анализирующего инфор..."
Отправлено Аноним , 15-Май-19 16:29 
> Я правильно понимаю что в Debian софт поновее чем в Fedora?

Определение "поновее" у каждого своё.

> Летс зе срач бегин.

Сраться не о чем когда есть конкретная статистика. Если вам лень ходить по ссылке в новости:

- по абсолютном числу свежих пакетов debian unstable и testing > fedora > debian stable
- по процентному соотношению свежих пакетов fedora > debian
- freebsd делает их обеих по обеим метрикам


"Итоги полугода работы проекта Repology, анализирующего инфор..."
Отправлено Аноним , 15-Май-19 12:20 
я так понимаю nix так неплохо подрос из за гидры ?

"Итоги полугода работы проекта Repology, анализирующего инфор..."
Отправлено Аноним , 15-Май-19 16:43 
Что такое гидра? Там автоматический импорт сотен пакетов R и Haskell, тупо накручивающий циферки.

"Итоги полугода работы проекта Repology, анализирующего инфор..."
Отправлено Аноним , 15-Май-19 17:10 
а сколько без них ?

"Итоги полугода работы проекта Repology, анализирующего инфор..."
Отправлено Аноним , 15-Май-19 12:23 
А где же gentoo? Какие-то топы у них не правильные!

"Итоги полугода работы проекта Repology, анализирующего инфор..."
Отправлено ig0r , 15-Май-19 13:30 
https://repology.org/repository/gentoo

"Итоги полугода работы проекта Repology, анализирующего инфор..."
Отправлено Аноним , 15-Май-19 23:53 
Хм, и почему при количестве пакетов 36019 они не в топе?
Мне как гентушнику интересно...

"Итоги полугода работы проекта Repology, анализирующего инфор..."
Отправлено Аноним , 16-Май-19 00:32 
Потому что пакеты это не проекты.

"Итоги полугода работы проекта Repology, анализирующего инфор..."
Отправлено Аноним , 15-Май-19 14:08 
32 тысячи мейнтейнеров - впечатляет.

"Итоги полугода работы проекта Repology, анализирующего инфор..."
Отправлено Michael Shigorin , 15-Май-19 15:50 
Отличный и весьма полезный проект, спасибо занимающимся.

"Итоги полугода работы проекта Repology, анализирующего инфор..."
Отправлено Аноним , 15-Май-19 21:02 
Миш, а как с альтами быть? Вам ведь не хватает ментейнеров. Как вы эту проблему решаете? Все время использовать роботов для сборки тоже не выход. Или у вас есть нейронная сеть, чтобы делать нормальные пакеты?

"Итоги полугода работы проекта Repology, анализирующего инфор..."
Отправлено Michael Shigorin , 16-Май-19 11:28 
> Миш, а как с альтами быть? Вам ведь не хватает ментейнеров.

Всем крупным дистрибутивным линуксовым проектам не хватает майнтейнеров, насколько мне известно.

> Как вы эту проблему решаете?

Как и все -- способствуем привлекательности проекта для участия в нём (как отдельных людей, так и сотрудников технологических партнёров), на тяжёлые и нудные задачи обеспечиваем время и силы штатных сотрудников -- ну и да, продолжаем совершенствовать автоматизацию.

> Все время использовать роботов для сборки тоже не выход.

Ну роботы условные -- как комбайн с комбайнёром, т.е. всегда под присмотром человека.

> Или у вас есть нейронная сеть, чтобы делать нормальные пакеты?

Таким пока никто не занимался, ну и доверие результат у меня лично вряд ли вызовет -- человека хоть спросить можно, "почему ты решил так сделать", а нейросетку и забэкапить толком не получится, насколько понимаю.


"Итоги полугода работы проекта Repology, анализирующего инфор..."
Отправлено JL2001 , 19-Май-19 10:16 
>> Миш, а как с альтами быть? Вам ведь не хватает ментейнеров.
> Всем крупным дистрибутивным линуксовым проектам не хватает майнтейнеров, насколько мне известно

почему дистрибутивы не запилили ещё единое хранилище пакетов с доппакетами нужных отдельным дистрибам патчей и "флагами" - вариантами сборки с зависимостями?
видь протестиповать весь пакет всей толпой и потом отдельно в одиночку работу своих патчей проще чем всем в одиночку весь пакет со своими патчами сразу


"Итоги полугода работы проекта Repology, анализирующего инфор..."
Отправлено antonkachsheev , 16-Май-19 00:26 
Еее. Void добавили. Вполне неплохо, что хоть в одном он топе оказался.

"Итоги полугода работы проекта Repology, анализирующего инфор..."
Отправлено Аноним , 16-Май-19 01:30 
> быстрого поточного парсинга больших JSON файлов

yajl переизобрели что-ли?


"Итоги полугода работы проекта Repology, анализирующего инфор..."
Отправлено Аноним , 16-Май-19 03:54 
Нет. YAJL генерирует низкоуровневые события типа "начало массива", "конец словаря", "скаляр" и т.д. из которых нужно собирать объект, а JsonSlicer отдаёт уже готовые объекты. Т.е. если у вас многогигабайтный JSON список (или словарь) чего-то (в случае Repology описаний пакетов), JsonSlicer позволяет одной строкой по этим чевотам проитерироваться, не занимая памяти больше размера одного объекта и со скоростью не уступающей штатному json.

"Итоги полугода работы проекта Repology, анализирующего инфор..."
Отправлено Аноним , 20-Май-19 07:33 
Странный проект. В том же репозитории Астры около 13 тысяч пакетов, а Репология упорно показывает только 4 тысячи. Ну как верить потом этим данным, если даже число пакетов посчитать не могут нормально.

"Итоги полугода работы проекта Repology, анализирующего инфор..."
Отправлено Аноним , 06-Июн-19 02:54 
Вы наверное про это?

% curl --silent https://dl.astralinux.ru/astra/stable/orel/repository/dists/... | gunzip | grep Package: | wc -l
   13256

Только это - ничего не значащая цифра которая показывает разве что насколько мелко шинкуются бинарные пакеты в конкретном дистрибутиве (а в deb мире принято шинковать их действительно мелко - один boost, например, это почти сотня пакетов).  

А вот source пакеты, из которых оные делаются:

% curl --silent https://dl.astralinux.ru/astra/stable/orel/repository/dists/... | gunzip | grep Package: | wc -l                                
    4256
% curl --silent https://dl.astralinux.ru/astra/stable/orel/repository/dists/... | gunzip | grep Package: | wc -l
      10
% curl --silent https://dl.astralinux.ru/astra/stable/orel/repository/dists/... | gunzip | grep Package: | wc -l
       3

Repology же считает даже не их, а индивидуальные проекты опакеченные в дистрибутиве (и их в Astra ещё меньше), и вот эта цифра уже имеет смысл, и её можно сравнивать между разными дистрибутивами. Так что ничего странного.