https://opennet.ru/openforum/vsluhforumID3/108541.html После нескольких месяцев разработки увидел свет первый релиз (https://github.com/lexborisov/myhtml/releases/tag/v1.0.1) быстрого HTML парсера MyHTML (https://github.com/lexborisov/myhtml/). Код написан на языке Си и распространяется под лицензией LGPL v2.1.<br><br><br>Особенности MyHTML:<br><br><br>- Высокая производительность;<br>- Асинхронная обработка токенов и построение дерева<br>- Полная поддержка спецификаций HTML 5 (https://html.spec.whatwg.org/multipage/), по состоянию на 19.06.2016;<br>- Возможность манипулировать элементами и их атрибутами: добавлять, удалять, изменять<br>- Поддерживает 39 кодировок на входе. На выходе только UTF-8, вся работа внутри только в UTF-8<br>- Автоматическое определение кодировки текста. Сейчас доступны unicode: UTF-8, UTF-16LE, UTF-16BE (+ определение по BOM) и русские: windows-1251, koi8-r, iso-8859-5, x-mac-cyrillic, ibm866<br>- Может работать в Single Mode &#8212; без тредов. Так же может быть собран без потоков.<br>- Возможность парсить фрагменты HTML или парсить кусками (chunks);<br>- https://opennet.ru/openforum/vsluhforumID3/108541.html#166 Sat, 06 Aug 2016 17:08:48 GMT &gt; То что ты наблюдал в кабинете информатики своего ПТУ это конечно важные <br>&gt; наблюдения, но реальность "немножко" другая. Стыдно не знать что к питону <br>&gt; подключаются всякие сишные библиотечки, совмещая скорость Си и простоту питона. К <br>&gt; примеру есть вполне себе массовый и шустрый питоновский парсер grab, который <br>&gt; написан вокруг обвязки сишной библиотеки lxml. Работает и шустро и просто. <br>&gt; Больно, да?<br><br>Солнышко, ты хоть усрись, но конечный продюкт, транслируемый в машинный код всякие парсеры-херарсеры не превзойдут. Все равно что сказать: наша картонная мороженка круче Вашей нативной из молока! Всегой-то надо отшелушить десяток слоёв картона. А там - тот самый пломбир.<br> https://opennet.ru/openforum/vsluhforumID3/108541.html#165 Sat, 16 Jul 2016 01:18:19 GMT &gt; Вообще-то один из простых способов получить скорость и компактность - не давать <br>&gt; страницам делать лишнего.<br><br>Во-первых, сейчас сами браузеры пытаются делать много лишнего, от борьбы с фишингом до телеметрии внаглую.<br><br>Во-вторых, без разрешения этого лишнего - сайты часто работать перестают. Для понимания, посмотри на twitter bootstrap. Без js половина оформления отваливается, хотя формально js опционален. А оно популярное и на этом каждый второй сайт сделан.<br> https://opennet.ru/openforum/vsluhforumID3/108541.html#163 Fri, 15 Jul 2016 19:19:59 GMT &gt; Это какая ошибка, ведь Rust самый лучший язык, у servo самые лучшие <br>&gt; разработчики на самом лучшем языке, Mozilla Foundation самая прогрессивная опен-сорс компания, <br>&gt; а поезд Си давно ушел!<br><br>Разработчики из мозиллы свалили а у менеджеров всегда все самое лучшее. Но, к сожалению, только в маркетинговых буклетиках.<br> https://opennet.ru/openforum/vsluhforumID3/108541.html#162 Fri, 15 Jul 2016 18:29:39 GMT &gt; На хабре (https://habrahabr.ru/post/277031) я описывал что за проект и к чему стремлюсь. <br>&gt; Возможно скоро я буду делать его не один.<br><br>А что, набор технологий ничего так, симпатично и со вкeсом. Никакой хипстерской фигни и решения всех мировых проблем, все по делу. Автор крут.<br> https://opennet.ru/openforum/vsluhforumID3/108541.html#161 Fri, 15 Jul 2016 18:22:58 GMT &gt; Конечно. Аппликативный код распараллеливается лучше итеративного. При словах "многопоточного <br>&gt; HTML-парсера" у меня первая мысль была об erlang-е, но я подумал <br>&gt; и всё-таки написал про haskell.<br><br>Если он будет такой же как ejabberd - спасибо, но оставьте это себе.<br> https://opennet.ru/openforum/vsluhforumID3/108541.html#160 Fri, 15 Jul 2016 18:21:17 GMT &gt; Вот было бы на haskell-е, тогда бы была бы действительно круть...<br><br>Куда это потом девать? Пофапать и выбросить? На сях то оно куда угодно прикручивается при должном желании.<br> https://opennet.ru/openforum/vsluhforumID3/108541.html#159 Fri, 15 Jul 2016 15:13:13 GMT Спасибо!<br><br>Если перейдете на MyHTML то дайте знать, интересно кто использует у себя и как.<br> https://opennet.ru/openforum/vsluhforumID3/108541.html#158 Fri, 15 Jul 2016 09:59:23 GMT Тогда надо было написать "поддерживает ООП" или что-нибудь "визуальное". Школота это понимает.<br> https://opennet.ru/openforum/vsluhforumID3/108541.html#157 Fri, 15 Jul 2016 09:07:49 GMT Очень интересный набор фич и производительность, спасибо за работу! <br><br>Жалко, что проекта не было, когда я искал подходящий (как минимум, по скорости) парсер html для своего rspamd - пришлось написать собственный велосипед, заточенный только под фильтрацию спама. Впрочем, возможно, будет иметь смысл перейти на ваше решение в будущем.<br><br>