Исходное сообщение
"Отчёт о развитии FreeBSD за первый квартал 2020 года" Отправлено Аноним, 16-Апр-20 21:40
Ради интереса передал фильтр через временный файл, jq всё равно фейлится, если он больше 70кб. В общем, смысла трогать не было, это не юзабельно в таком виде, хоть и быстрее. Ладно, если ты видишь проблему, ты можешь её решить. Пока что разбил на блоки по 50кб. Посмотрим, зато добавил какую-никакую недостающую логику обработки фейла и сохранения данных вокруг jq. Это 15мб повторяющихся данных блоками по 50кб (обновляет 17кб данных можно посчитать сколько раз), интересно было бы сравнить эффективность, если скормить одним фильтром, но не очень. Я так прикинул, собственно на вызов jq тут ушло 23 секунды из 7 минут. Лучше, видимо, не получится: gcc (пго старый под строки 100байт) real    7m45.175s user    7m20.088s sys     0m3.645s gcc (O2 lto) real    7m45.812s user    7m21.456s sys     0m3.542s gcc (O2 pgo+lto) real    7m22.190s user    7m6.515s sys     0m3.059s clang (O2 lto=thin, без харденед фишечек) real    7m9.484s user    6m44.182s sys     0m3.512s clang (O3 lto-full, максимально близко к gcc версии, минус stack-clash-protection) real    7m8.272s user    6m45.443s sys     0m3.455s ПС. Компилять гораздо веселее, чем костылять баш.