Представлен новый выпуск Kaitai Struct 0.9, декларативного языка разметки для описания различных бинарных структур данных — бинарных форматов файлов, архивов, сетевых пакетов, файловых систем, изображений, видео и т.п. Код компилятора Kaitai Struct  распространяется под лицензией GPLv3, а библиотек под лицензиями MIT и Apache 2.0...

Подробнее: https://www.opennet.ru/opennews/art.shtml?num=53912

• Выпуск языка описания бинарных форматов Kaitai Struct 0.9,uis, 10:01 , 19-Окт-20
  • Выпуск языка описания бинарных форматов Kaitai Struct 0.9,EndrII, 10:03 , 19-Окт-20
    • Выпуск языка описания бинарных форматов Kaitai Struct 0.9,JL2001, 15:00 , 19-Окт-20
  • Выпуск языка описания бинарных форматов Kaitai Struct 0.9,Анан, 10:05 , 19-Окт-20
    • Выпуск языка описания бинарных форматов Kaitai Struct 0.9,uis, 10:14 , 19-Окт-20
    • Выпуск языка описания бинарных форматов Kaitai Struct 0.9,anonymous, 10:48 , 19-Окт-20
      • Выпуск языка описания бинарных форматов Kaitai Struct 0.9,Аноним, 14:22 , 19-Окт-20
        • Выпуск языка описания бинарных форматов Kaitai Struct 0.9,Аноним, 22:35 , 19-Окт-20
    • Выпуск языка описания бинарных форматов Kaitai Struct 0.9,Lex, 10:50 , 19-Окт-20
      • Выпуск языка описания бинарных форматов Kaitai Struct 0.9,JL2001, 15:03 , 19-Окт-20
      • Выпуск языка описания бинарных форматов Kaitai Struct 0.9,JL2001, 15:05 , 19-Окт-20
• Выпуск языка описания бинарных форматов Kaitai Struct 0.9,Аноним, 10:07 , 19-Окт-20
  • Выпуск языка описания бинарных форматов Kaitai Struct 0.9,Аноним, 10:10 , 19-Окт-20
    • Выпуск языка описания бинарных форматов Kaitai Struct 0.9,Аноним, 10:20 , 19-Окт-20
      • Выпуск языка описания бинарных форматов Kaitai Struct 0.9,Аноним, 10:25 , 19-Окт-20
      • Выпуск языка описания бинарных форматов Kaitai Struct 0.9,Аноним, 10:26 , 19-Окт-20
      • Выпуск языка описания бинарных форматов Kaitai Struct 0.9,Аноним, 10:43 , 19-Окт-20
        • Выпуск языка описания бинарных форматов Kaitai Struct 0.9,Lex, 10:49 , 19-Окт-20
          • Выпуск языка описания бинарных форматов Kaitai Struct 0.9,Аноним, 11:14 , 19-Окт-20
          • Выпуск языка описания бинарных форматов Kaitai Struct 0.9,Аноним, 14:24 , 19-Окт-20
        • Выпуск языка описания бинарных форматов Kaitai Struct 0.9,Аноним, 10:49 , 19-Окт-20
  • Выпуск языка описания бинарных форматов Kaitai Struct 0.9,Аноним, 10:31 , 19-Окт-20
• Выпуск языка описания бинарных форматов Kaitai Struct 0.9,Аноним, 11:01 , 19-Окт-20
• Выпуск языка описания бинарных форматов Kaitai Struct 0.9,nomad__, 11:05 , 19-Окт-20
• Выпуск языка описания бинарных форматов Kaitai Struct 0.9,Аноним, 12:05 , 19-Окт-20
  • Выпуск языка описания бинарных форматов Kaitai Struct 0.9,Аноним, 19:48 , 20-Окт-20
• Выпуск языка описания бинарных форматов Kaitai Struct 0.9,Иваня, 13:58 , 19-Окт-20
• Выпуск языка описания бинарных форматов Kaitai Struct 0.9,Lemko, 19:09 , 19-Окт-20
  • Выпуск языка описания бинарных форматов Kaitai Struct 0.9,Аноним, 22:50 , 19-Окт-20
• Выпуск языка описания бинарных форматов Kaitai Struct 0.9,Аноним, 06:39 , 20-Окт-20
• Выпуск языка описания бинарных форматов Kaitai Struct 0.9,Додо, 07:56 , 20-Окт-20
  • Выпуск языка описания бинарных форматов Kaitai Struct 0.9,Аноним, 10:08 , 20-Окт-20
• Выпуск языка описания бинарных форматов Kaitai Struct 0.9,мяя, 13:32 , 20-Окт-20
  • Выпуск языка описания бинарных форматов Kaitai Struct 0.9,Аноним, 18:43 , 20-Окт-20
  • Выпуск языка описания бинарных форматов Kaitai Struct 0.9,Аноним, 23:43 , 20-Окт-20
• Выпуск языка описания бинарных форматов Kaitai Struct 0.9,Аноним, 15:43 , 28-Фев-21

Интересный проект. Тыкал кто?

дно, мне не зашло

> дно, мне не зашло

больше подробностей в студию

использовал для распаковки архива ресурсов от игры, нормально

Реверсил формат?

Kaitai может только распаковку, обратную упаковку не умеет, для меня это была критическая проблема. Использую Construct, у которого нет проблем с сериализацией/десериализацией.

А что за Construct?

Прямо в тексте новости же написано:

>Поддержка новых целей:
>    Python с библиотекой Construct.

для этого же есть штуки вроде Dragon Unpacker..

> для этого же есть штуки вроде Dragon Unpacker..

ipf (от tos) мне распакует?

> для этого же есть штуки вроде Dragon Unpacker..

grf от ragnarok понимает? и формат моделей карт?

Чем лучше/хуже protobuf?

теплое vs мягкое

Объясните, для тупых, плз. А то я и там и там вижу свой ЯП для задания структур данных, сериализацию и т.п.

в протобуфе фиксированный стандартный формат (пусть и в каждой версии свой). сабж - позволяет описать любой формат (собственно, для этого он и сделан)

тогда и надо спрашивать про разницу, а не "хуже" "лучше"

Protocol Buffers - для обмена сообщениями между программами с экономией места на сериализации и версионированием API.
Kaitai Struct - это когда тебе в твоём языке позарез нужно распарсить какой-то формат, а готовой библиотеки нет. Можно долго нудно вручную писать и отлаживать парсер. А можно взять и специфицировать его на Kaitai Struct. После этого компилятор парсер сгенерирует сам. Потом ты решишь, что питон оказался слишком медленным и что надо переписать на rust. Парсер тебе переписывать не придётся - просто перетранспилируешь на раст.

А ещё у нас есть библиотека готовых форматов, так что в некоторых случаях и писать спеку не придётся.

Ответ норм, но ИМХО, что-то более-менее серьезное( особенно когда речь о данных, которые могут быть либо битыми, либо - заведомо-некорректно сформированными, т.е практически любые, приходящие со стороны пользователя ) этой штукой рискованно генерировать.
Такого нагенерирует, что на написание всевозможных тестов и проч, скорее всего, не меньше времени уйдет, чем на написание норм парсера.

Это как раз одно из достоинств - с битыми форматами эта штука справляется автоматически. Человек может забыть написать проверку, а тут проверки встроены в рантайм. Правда есть у kaitai ии минусы
1. теряется производительность
2. жор памяти
3. раскладка структур по сырой памяти (такой как отображённый в память файл) пока не реализована
4. опасаюсь целочисленных переполнений. Правда в написанных руками парсерах тоже редко где такое проверяется.

> Такого нагенерирует, что на написание всевозможных тестов и проч, скорее всего, не меньше времени уйдет, чем на написание норм парсера.
>> Обеспечена генерация тестов из KST-спецификаций, одних и тех же для всех языков.

Спасибо за развёрнутый ответ.

Вообще разные назначения же.

Мне почему то захотелось написать свой велосипед на тему проекта

Интересно, интересно... Сайт проекта - в закладки, авось пригодится когда.

Катай Структуры

Катай структуры не отходя от кассы!

Чот забыл про него, когда-то добавил его в закладки, над попробовать, спасиб, что напомнили

Может у Вас у библиотеке форматов modbus есть. Был бы примного благодарен.

Нет у нас в библиотеке. Но в инете есть пост в блоге, что у кого-то есть. Свяжись с ними и попроси поделиться спекой.

Недавно использовал его, и как раз думал, что что-то давно о нём не было новостей на опеннете. Продолжайте, успехов вам.

Отличная штука для парсинга файлов. Есть куча готовых описаний форматов.
Из минусов:
- сложно читать код формата, если он довольно объемный (модульность какую-то прикрутили бы, что ли? хотя пользовался давно, может уже и есть, не в курсе);
- описания местами получаются избыточными, но это минус небольшой и зависит от формата файла.
По поводу того, что он не умеет в сериализацию, так она не всегда и нужна.

>модульность какую-то прикрутили бы, что ли? хотя пользовался давно, может уже и есть, не в курсе);

Есть модульность.

Далеко там в планах обратная запаковка?

Самый важный вопрос!

Пока не напишешь - не будет. Некие зачатки уже есть, для полноценной реализации нужен символический решатель на основе SMT-решателя. Читай соответствующyю issue. Без питона это вряд ли будет, потому что Scala - это ужас-ужас-ужас.

А дельфи-паскаль структуру данных можно им разобрать?