URL: https://www.opennet.ru/cgi-bin/openforum/vsluhboard.cgi
Форум: vsluhforumID3
Нить номер: 126597
[ Назад ]

Исходное сообщение
" Выпуск генератора лексических анализаторов re2c 3.0"

Отправлено opennews , 28-Янв-22 09:19 
Состоялся релиз re2c 3.0, свободного генератора лексических анализаторов для языков C, C++, Go и добавленного в этом релизе языка Rust. Для поддержки Rust пришлось использовать другую модель кодогенерации, где конечный автомат представлен в виде цикла и переменной-состояния, а не в виде меток и переходов (поскольку в Rust нет goto, в отличие от С, С++ и Go)...

Подробнее: https://www.opennet.ru/opennews/art.shtml?num=56596


Содержание

Сообщения в этом обсуждении
" Выпуск генератора лексических анализаторов re2c 3.0"
Отправлено Аноним , 28-Янв-22 09:19 
> в Rust нет goto, в отличие от С

При адекватной технике кодирования можно считать, что в C тоже нет goto.


" Выпуск генератора лексических анализаторов re2c 3.0"
Отправлено Ононимус , 28-Янв-22 09:26 
В умелых руках, goto безареден. Да и сшенерированный код прежде всего должен работать, а не быть суперчитаемым

" Выпуск генератора лексических анализаторов re2c 3.0"
Отправлено myhand , 28-Янв-22 09:33 
> Да и сшенерированный код прежде всего должен работать, а не быть суперчитаемым

Это тебе до первого использования отладчика так кажется...


" Выпуск генератора лексических анализаторов re2c 3.0"
Отправлено Аноним , 28-Янв-22 12:33 
> Это тебе до первого использования отладчика так кажется...

при "цивилизованной" отладке по коду его читаемость тебе мало поможет.
а при отладке по ассемблерным листингам она вообще никакого значения не имеет.

читаемость нужна только для эффективного освоения логики программы.
потому что освоение проводится глазами.
поэтому, если логика кода сгенерированного анализатора тебе уже знакома, сниженная читаемость будет не особо важна.


" Выпуск генератора лексических анализаторов re2c 3.0"
Отправлено myhand , 29-Янв-22 05:59 
Для отладки "освоения логики программы" нинада.  Панятна.

Спасибо, что объяснил.


" Выпуск генератора лексических анализаторов re2c 3.0"
Отправлено Аноним , 28-Янв-22 09:49 
В умелых руках goto, как правило, не нужен. Аккуратный структурный код, как правило, не требует goto. Если вы применяете goto, значит скорее всего вы говнокодер. Оператор goto применяется 1 раз в тысячу лет.

" Выпуск генератора лексических анализаторов re2c 3.0"
Отправлено Аноним , 28-Янв-22 09:50 
Ты еще скажи в ассемблере jmp aka goto не нужен.  

" Выпуск генератора лексических анализаторов re2c 3.0"
Отправлено Аноним , 28-Янв-22 09:54 
>Ты еще скажи в ассемблере jmp aka goto не нужен.  

Нет. Не скажу, потому-что ассемблер мнемонический язык низкого уровня, где 1 мнемоника соотвествует машинной команде. А в языках высокого уровня прыжок-Jump можно реализовать и без оператора goto.


" Выпуск генератора лексических анализаторов re2c 3.0"
Отправлено Анониим , 28-Янв-22 10:10 
Ты забыл упомянуть что можно реализовать при помощи оверхеда в том числе оверхеда на «безопасность». Тогда да.  

" Выпуск генератора лексических анализаторов re2c 3.0"
Отправлено Аноним , 28-Янв-22 19:42 
> Ты забыл упомянуть что можно реализовать при помощи оверхеда в том числе оверхеда на «безопасность». Тогда да.

Ты забыл еще раз, ни к селу ни к городу, приплести ассемблер.
Расскажи поподробнее за оверхед gccшного cleanup аттрибута (сарказм). Он все верно сказал, языковые фичи с 0 оверхедом для этого давно есть - scope guards в D, defer в Zig и т.д. Компилятор сгенерирует точно такие же прыжкы по адресам, как и в "ручном режиме" с goto, только вот читаться оно будет куда лучше, а заделать очередной "goto fail" будет сложнее.



" Выпуск генератора лексических анализаторов re2c 3.0"
Отправлено Crazy Alex , 28-Янв-22 13:51 
Это если бы в си были исключения с блоками finally или деструкторы. А так - последовательный клинап в конце функции с несколькими метками и выходы через goto в нужные точки - самый чистый вариант, который я с си видел.

" Выпуск генератора лексических анализаторов re2c 3.0"
Отправлено Аноним , 28-Янв-22 14:00 
>то если бы в си были исключения с блоками finally или деструкторы.

Не дай бог. Убъёте дух сишки. Высокоуровневые сахара сишке не нужны.


" Выпуск генератора лексических анализаторов re2c 3.0"
Отправлено Ordu , 28-Янв-22 14:24 
> Если вы применяете goto, значит скорее всего вы говнокодер. Оператор goto применяется 1 раз в тысячу лет.

Ядро linux с тобой не согласно. Там goto используется в хвост и в гриву, например, как замена RAII: чтобы подчищать ресурсы при аварийном выходе из функции. Необходимость завершиться с ошибкой может быть детектирована в любой момент, и структурно следить за тем, чтобы освободить те ресурсы, которые были уже выделены и не освобождать те ресурсы, которые ещё не были -- это жуть. Груды дублирования кода, рантайм проверок типа if(ptr) free(ptr); и в целом код превращается в болото, в котором любой неосторожный шаг приведёт либо к use-after-free, либо к memleak, либо к double-free, либо ещё к чему-нибудь поэкзотичнее.

Когда же у тебя в конце функции что-то типа:

...
return SUCCESS;

cleanup1:
   free(ptr);
cleanup2:
   close(fd);
cleanup3:
   do_something_else();
   return FAILURE;

А внутри:

fd = open(...);
if(fd < 0) {
    goto cleanup3;
}
ptr = malloc(...);
if(ptr == NULL) {
    goto cleanup2;
}
if(something_else_went_bad()) {
    goto cleanup1;
}
то всё видно, _структурированно_, няшно и управляемо. Ещё и коды ошибок можно прокидывать туда через переменную int ret, объявленную в начале функции.


" Выпуск генератора лексических анализаторов re2c 3.0"
Отправлено Аноним , 29-Янв-22 09:47 
Тонко потроллить решил? Хорошо, отвественным ядрописателям goto разрешаю. Остальным говнокодерам не советую.

" Выпуск генератора лексических анализаторов re2c 3.0"
Отправлено Ordu , 29-Янв-22 11:15 
> Тонко потроллить решил? Хорошо, отвественным ядрописателям goto разрешаю. Остальным говнокодерам
> не советую.

А я советую любому открыть сорцы ядра и почитать. Учиться писать код надо ориентируясь на самые крутые образцы, а не на тот отстой, который пишут в учебниках.


" Выпуск генератора лексических анализаторов re2c 3.0"
Отправлено nvidiaamd , 29-Янв-22 12:32 
Видали хозяин пришел  и нпм разрешил. Хуух.

" Выпуск генератора лексических анализаторов re2c 3.0"
Отправлено Анончик , 28-Янв-22 23:51 
Я правильно понимаю что goto: 6,069 code results in freebsd/freebsd-src
Указывает на то что разработчики фряхи те еще гавнокодеры?

" Выпуск генератора лексических анализаторов re2c 3.0"
Отправлено Аноним , 28-Янв-22 09:56 
Код должен быть прежде всего читабельным, и желательно суперөчитабельным. Это одно из основных правил программирования.

" Выпуск генератора лексических анализаторов re2c 3.0"
Отправлено Анониим , 28-Янв-22 10:12 
Goto отлично ложится на концепцию блок схем.  Итого для кодогенерации отличное решение.  

" Выпуск генератора лексических анализаторов re2c 3.0"
Отправлено Аноним , 28-Янв-22 11:00 
В теории всё хорошо. В эпоху расцвета процедурных языков 1960-80 гг., на практике, подавляющая часть программистов использовала опреатор goto как попало, и в те времена читать исходники было больно. Поэтому программисты тех времён - Вирт, Дейкстра, Хоар имеют стойкую неприязнь к goto.

>Итого для кодогенерации отличное решение.

Нет, на практике goto плохое решение.


" Выпуск генератора лексических анализаторов re2c 3.0"
Отправлено wyry , 31-Янв-22 03:30 
> Код должен быть прежде всего читабельным, и желательно суперөчитабельным. Это одно
> из основных правил программирования.

Ага, и поэтому все придумали кучу инструментов, чтобы этот код усложнить). Любой современный мейнстримный проект - тонны классов во множестве файлов, при этом все хитрым образом между собой связаны сообщениями, коллбеками, объекты в одной структуре данных будет "безопасно" создаваться в другом классе, ч-читабельность))). Мне всерьёз в 2022 проще читать проекты на C, чем проекты на Java, хотя ВОЗМОЖНО (только возможно), проекты на Java проще в итоге использовать при разработке нового ПО. В современном мире, честное слово, проще распутать goto, чем весь клубок из вызовов.


" Выпуск генератора лексических анализаторов re2c 3.0"
Отправлено Урри , 02-Фев-22 12:53 
Просто работающие проекты на С могут писать только осиляторы-профессионалы, а на джаве все кому не лень. Тут вот раст еще подъехал, так теперь (судя по комментариях на опеннете) кодить могут даже те, кто с одной извилиной. С соответствующей читабельностью, само собой.

" Выпуск генератора лексических анализаторов re2c 3.0"
Отправлено wyry , 02-Фев-22 13:01 
> Просто работающие проекты на С могут писать только осиляторы-профессионалы, а на джаве
> все кому не лень. Тут вот раст еще подъехал, так теперь
> (судя по комментариях на опеннете) кодить могут даже те, кто с
> одной извилиной. С соответствующей читабельностью, само собой.

Так в том и дело, что не все. На Java по крайней мере простые вещи делаются просто, чего нельзя сказать про Rust. +Java никто не отличалась "новомодностью", даже наоборот - это слишком консервативный инструмент, который развивается медленно и с сохранением обратной совместимости.
Rust - это язык, в котором простые вещи делаются сложно, а иногда и неочевидно (всё ради реализации "безопасной работы памяти без GC", результаты такие, что лучше бы они сделали GC...


" Выпуск генератора лексических анализаторов re2c 3.0"
Отправлено Урри , 02-Фев-22 13:12 
Пожалуй, я просто соглашусь.

" Выпуск генератора лексических анализаторов re2c 3.0"
Отправлено Умпа , 28-Янв-22 12:27 
Прежде всего, должен быть суперчитаемым.

Когда тебя вытурят взашей, твоя замена должна моментально твой код освоить.


" Выпуск генератора лексических анализаторов re2c 3.0"
Отправлено Аноним , 28-Янв-22 22:44 
А зачем облегчать жизнь работодателю?

" Выпуск генератора лексических анализаторов re2c 3.0"
Отправлено Аноним , 30-Янв-22 11:25 
Люто бешено плюсую! Да! Пусть работодатель стардает!

" Выпуск генератора лексических анализаторов re2c 3.0"
Отправлено Shatur , 28-Янв-22 11:09 
В С goto часто применяется чтобы очистить память перед выходом из функции: https://github.com/neovim/neovim/blob/530c65b17ade3f5db70af5...

" Выпуск генератора лексических анализаторов re2c 3.0"
Отправлено Аноним , 28-Янв-22 13:53 
Вроде это называется велосипед.  

" Выпуск генератора лексических анализаторов re2c 3.0"
Отправлено Аноним , 28-Янв-22 14:21 
Твоё решение ? В каждый чек повставлять не надо предлагать

" Выпуск генератора лексических анализаторов re2c 3.0"
Отправлено Аноним , 29-Янв-22 10:48 
Встречалось применение goto в проектах на С только (!) в случаях, если алгоритмы были переведены (как правило, автоматически) с Фортрана. Это было вызвано нехваткой времени и специалистов на нормальное переписывание алгоритмов.

" Выпуск генератора лексических анализаторов re2c 3.0"
Отправлено Shatur , 29-Янв-22 12:14 
Я выше скинул пример который изначально писался на С. Я лично постоянно вижу такое в популярных проектах и это нормально. Вот вам пример с SDL еще: https://github.com/libsdl-org/SDL/blob/8b139e26a3d40b3590220...
Это удобней чем дублировать одни и те же строки на случай ошибки или делать отдельные функции обработки ошибок для каждой функции. В С же нет defer или умных указателей.

" Выпуск генератора лексических анализаторов re2c 3.0"
Отправлено Аноним , 29-Янв-22 16:04 
Посмотрел. Не могу одобрить вход в конструкцию помимо заголовка. Это некрасиво, а значит - противно С. С - прежде всего эстетика.

" Выпуск генератора лексических анализаторов re2c 3.0"
Отправлено Аноним , 30-Янв-22 09:12 
Код ужасен. Авторы хоть один учебник по программированию видели?

" Выпуск генератора лексических анализаторов re2c 3.0"
Отправлено wyry , 31-Янв-22 03:35 
> Код ужасен. Авторы хоть один учебник по программированию видели?

Кстати в большинстве "учебников" код либо простой и неэффективный (что ещё в принципе нормально и так и должно быть поначалу), либо НА САМОМ ДЕЛЕ уродливый. Более эффективные конструкции, на основе указателей, их арифметике и взаимодействий скорее придётся изучать самостоятельно. При этом практически в любой библиотеке или ПО, где требуется прямая работа с памятью, необходимо, всё это знать. Rust'оманам не понять, у них "безопасные утечки".


" Выпуск генератора лексических анализаторов re2c 3.0"
Отправлено Аноним , 28-Янв-22 23:45 
Её используют и профессионалы - например в Brotli ( https://www.opennet.ru/opennews/art.shtml?num=43006 ) от Google
https://github.com/google/brotli/blob/4ec67035c0d97c270c1c73...

" Выпуск генератора лексических анализаторов re2c 3.0"
Отправлено Аноним , 29-Янв-22 12:26 
Вы, похоже, писали всю жизнь на JS или расте, если не в курсе про то, что работа с ресурсами адекватнее всего делается именно на goto.

" Выпуск генератора лексических анализаторов re2c 3.0"
Отправлено Аноним , 29-Янв-22 16:07 
Не правы. Когда я начинал с С, упомянутые Вами еще не были изобретены.

" Выпуск генератора лексических анализаторов re2c 3.0"
Отправлено Аноним , 28-Янв-22 09:39 
Это шутка типа рагеля? Им можно парсер http протокола замутить?

" Выпуск генератора лексических анализаторов re2c 3.0"
Отправлено Аноним , 28-Янв-22 10:15 
Лексер можно, парсер придется писать или генерить чем-то другим

" Выпуск генератора лексических анализаторов re2c 3.0"
Отправлено skvadrik , 28-Янв-22 10:37 
Вот есть пример: https://re2c.org/examples/c/submatch/example_http_rfc7230.html. Это в оригинале бенчмарк для тэгов, но можно подпилить (сделан по RFC). Парсить можно в смысле выделения подстрок (в примере для этого используются тэги: https://re2c.org/manual/manual_c.html#submatch-extraction).

В целом да, re2c и ragel очень похожи. Из серьёзных отличий, re2с основана на TDFA, который разрешает конфликты и неоднозначности между тэгами, а в ragel приходится вручную подгонять операторы приоритета (и это не всегла в принципе возможно сделать). При этом скорость выделения подстрок примерно одинаковая у обоих (вот бенчмарки: https://re2c.org/benchmarks/benchmarks.html#submatch-lexer-g...).


" Выпуск генератора лексических анализаторов re2c 3.0"
Отправлено Аноним , 28-Янв-22 11:00 
Спасибо. Думаю, посмотрю на проект, т.к. рагель в стагнации, а эта штука развивается.

" Выпуск генератора лексических анализаторов re2c 3.0"
Отправлено Аноним , 28-Янв-22 12:25 
Если что тесты от производителя всегда дутое фуфло. Надо или смотреть «независимых» оценщиков или делать тесты самому на своих задачах.  

" Выпуск генератора лексических анализаторов re2c 3.0"
Отправлено Аноним , 28-Янв-22 09:46 
Топикстартер, ты не можешь на ЛОР заглянуть? Там твою новость ошибочно удалили, приняв за копипасту с опеннета, сильно извиняются и просят пойти навстречу.

" Выпуск генератора лексических анализаторов re2c 3.0"
Отправлено Аноним , 28-Янв-22 09:49 
Никогда нельзя идти на встречу дуракам. Это провоцирует дураков оставаться дураками.  

" Выпуск генератора лексических анализаторов re2c 3.0"
Отправлено Аноним , 28-Янв-22 10:01 
Так на ЛОРе исторически копировали новости с опеннета. Сейчас, что не так?

" Выпуск генератора лексических анализаторов re2c 3.0"
Отправлено skvadrik , 28-Янв-22 10:20 
Спасибо! Вежиливые люди на ЛОРе.

" Выпуск генератора лексических анализаторов re2c 3.0"
Отправлено самокатофил , 28-Янв-22 11:47 
>The new approach is different enough to require multiple changes in code generation. In loop-switch mode it is impossible to jump into the middle of a state bypassing the skip statement, so the --eager-skip option is enforced, which moves skip statements to transitions. With conditions it is impossible to jump between different blocks, so DFAs for all conditions are merged into one switch, and condition numbers are the indices of the initial DFA states. In storable state mode it is impossible to jump from the YYGETSTATE switch to a DFA state, therefore a separate getstate:re2c detached from the lexer block is not supported.

Ох лол, внесли новых багов в кодогенератор, а плюсов никаких, одни ограничения. При этотм, мамкины растаманы рассуждают как вреден goto. :-D


" Выпуск генератора лексических анализаторов re2c 3.0"
Отправлено Ordu , 28-Янв-22 14:31 
Это не растоманы внесли. У растоманов есть rust-peg, есть pest, есть nom... зачем нам нужен re2c, перемешивающий декларации грамматики с кодом, который работает с грамматикой? Да ещё и не средствами языка, а комментами?

Этот re2c -- классическая работа сишников, просто на этот раз они поработали с rust'ом.


" Выпуск генератора лексических анализаторов re2c 3.0"
Отправлено самокатофил , 28-Янв-22 15:03 
> Это не растоманы внесли.

уболтали авторов а сами в закат? :)

> У растоманов есть rust-peg, есть pest, есть nom...
> зачем нам нужен re2c, перемешивающий декларации грамматики с кодом, который работает
> с грамматикой? Да ещё и не средствами языка, а комментами?

Для spamassassin'a, пыха, ну и т.д. и т.п. Для работы кароч. Растаманам не понять. ;)



" Выпуск генератора лексических анализаторов re2c 3.0"
Отправлено Ordu , 28-Янв-22 15:27 
> уболтали авторов а сами в закат? :)

Возможно. Эдакий троллинг RiiR'ом.

> Для работы кароч. Растаманам не понять. ;)

Да, я знаю. Даже не пытаюсь понимать, последнее время.


" Выпуск генератора лексических анализаторов re2c 3.0"
Отправлено skvadrik , 28-Янв-22 15:08 
За старый кодогенератор можно не переживать, он как был так и остался (включен по умолчанию для C, С++ и Go). Просто есть новая опция теперь.

" Выпуск генератора лексических анализаторов re2c 3.0"
Отправлено Аноним , 28-Янв-22 18:41 
при генерации на раст обеспечивается безопасность методом unsafe?

" Выпуск генератора лексических анализаторов re2c 3.0"
Отправлено skvadrik , 28-Янв-22 19:19 
По умолчанию только операция чтения символа подразумевает unsafe, поскольку ей надо отключать проверку на выход за границы (лексер эти проверки делает сам и более эффективным способом). Но это необязательно, можно отключить опцией `--no-unsafe` или конфигурацией `re2c:unsafe` и будет всё safe. Можно и наоборот, другие базовые операции обернуть в unsafe.

" Выпуск генератора лексических анализаторов re2c 3.0"
Отправлено adolfus , 31-Янв-22 00:51 
"конечный автомат представлен в виде цикла и переменной-состояния"
Полный абсурд.
Вот почему я люто ненавижу Вирта -- эта сволочь сагитировала стадо мудаков не только против множественных точек входа в процедуры и безусловных переходов, но и против сопрограмм.
Тут налицо техническое противоречие -- если использовать entry, вычисляемые переходы, goto, coroutines, требования к навыкам программиста и время разработки сильно возрастают, что для бизнеса плохо, зато  возрастают производительность и прочая эффективность программ, что хорошо для пользователей. И наоборот.
Такого рода противоречия решаются бескомпромисно -- выбирается одна сторона (основная) и абсолютизируется. Другая сторона, вторичная, представляет проблему и ее решают, не сдвигая рамок основной. Вирт это стопроцентно знал, как инженер, и выбрал ту сторону, которую выбрал. Ему, как преподавателю университета, это нужно было, чтобы за полгода "научить студентов программированию".
В результате, чем быстрее процессоры, тем программы работают медленней, чем у системы больше памяти, тем больше ее программам не хватает. Зато программистов развелось, как собак не резанных. Ну и бобики периодически падают. Завтра все вообще начнет ломаться и портиться -- в автокад питон завезли на замену автолиспа, чтобы студентов вместо конструкторов на работу брать.



" Выпуск генератора лексических анализаторов re2c 3.0"
Отправлено Аноним , 31-Янв-22 02:37 
>в автокад ЯП завезли на замену скобочного говна

/thread


" Выпуск генератора лексических анализаторов re2c 3.0"
Отправлено adolfus , 02-Фев-22 22:42 
>>в автокад ЯП завезли на замену скобочного говна
> /thread

Программы. написанные на этом скобочном говне обладают математически доказуемыми свойствами в отличие от безскобочного неговна. В этом отношении с ним сравниться может только АДА. Но АДА  процедурный язык, а для автоматизации конструкторских дел процедурная особо парадигма не катит, мало того, ADA слишком сложна, чтобы конструктор мог ее использовать в функциональном режиме. ОО в любой реализации в той же жопе. Зато функциональная зело подходит и лисп полсотни лет, как тот самый язык. Крайне консервативный и обспечивающий перманетную беспроблемную обратную совместимость. Этим свойством обладают только функциональные языки.
Автопарта выбрала в свое время именно лисп так же потому, что в те честные времена факт наличия под рукой  или вообще в текущей доступности программистов, владеющих тем или иным языком или технгологией, имел вес ноль -- язык программирования выбирался с точки зрения наиболее подходящего для решения конкретной задачи, типа как если бы за воротами стояли миллионы специалистов с любым языком на выбор и с максимальными компетенциями. Именно поэтому автопарта стала автопартой, как и многие конторы в те времена. Обучить сотню программистов языку, причем не просто обучить, а в его парадигме заточить мозги и наработать навыки -- это было вторым этапом после выбора языка. При этом не набирали гастеров со стороны, а учили своих. С нуля, если это требовалось.
Нормальный конструктор. понимающий в своем деле, гораздо быстрее осваивает именно автолисп ради своей автоматизации, нежели питон. Причина -- ОО мышление слишком абстрактно и ломает абсолютно конкретное, приземленое на задачу мышление конструктора. Вторая -- конструктор мыслит не процедурно, а функционально -- именно это и явилось причиной выбора лиспа автопартой.
...
Как говорится, ждем новых Фукусим, падений Боингов-макс и более впечатляющих просеров.
Просто потому, что какому-то эффективному мудаку захотелось сэкономить пару миллионов баксов ради годовой премии. Капитализм, хуле.



" Выпуск генератора лексических анализаторов re2c 3.0"
Отправлено Аноним , 31-Янв-22 01:55 
> Rust ... конечный автомат представлен в виде цикла и переменной-состояния

Какое убожество...


" Выпуск генератора лексических анализаторов re2c 3.0"
Отправлено Аноним , 31-Янв-22 02:35 
Какое же дерьмо этот re2c... Ни AST не строит, ни грамматику нормально не представляет.