The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]

Представлен полностью открытый стек для камер с интерфейсом MIPI

05.02.2024 18:20

Ганс Де Гоеде (Hans de Goede), разработчик Fedora Linux, работающий в компании Red Hat, представил на конференции FOSDEM 2024 открытый стек для камер, подключаемых при помощи интерфейса MIPI (Mobile Industry Processor Interface). Подготовленный открытый стек пока не принят в состав ядра Linux и проекта libcamera, но отмечен как достигший состояния, пригодного для тестирования широким кругом энтузиастов. Работа стека проверена с MIPI-камерами на базе сенсоров ov2740, ov01a1s и hi556, задействованных в таких ноутбуках, как Lenovo ThinkPad X1 yoga gen 8, Dell Latitude 9420 и HP Spectre x360 13.5 2023.

Интерфейс MIPI применяется во многих новых моделях ноутбуков вместо ранее используемой потоковой передачи видео по шине USB от устройств, поддерживающих стандарт UVC (USB Video Class). MIPI предоставляет доступ к сенсору камеры, используя CSI-ресивер (Camera Serial Interface) и интегрированный в CPU процессор обработки изображений (ISP, Image Signal Processor), обеспечивающий формирования изображения на основе сырых (raw) данных, поступающих от сенсора. Компания Intel предоставляет набор проприетарных драйверов для работы с MIPI-камерами в Linux через IPU6 (Imaging Processing Unit) в процессорах Intel Tiger Lake, Alder Lake, Raptor Lake и Meteor Lake.

Главная сложность в разработке открытых драйверов для MIPI-камер связана с тем, что аппаратный интерфейс ISP-процессора и реализуемые в нём алгоритмы обработки изображений обычно не раскрываются производителями CPU и представляют собой коммерческую тайну. Для решения возникшей проблемы компании Linaro и Red Hat разработали программную реализацию процессора обработки изображений - SoftISP, которая позволяет работать с MIPI-камерами без использования проприетарных компонентов (SoftISP может использоваться как замена IPU6 ISP).

Реализация SoftISP передана для включения в состав проекта libcamera, предлагающего программный стек для работы с видеокамерами, фотокамерами и TV-тюнерами в Linux, Android и ChromeOS. Помимо SoftISP стек для работы с MIPI-камерами включает работающий на уровне ядра драйвер для сенсоров ov2740 и код для поддержки в ядре Linux CSI-ресивера, являющегося частью IPU6 процессоров Intel.

Пакеты с ядром Linux и libcamera, включающие подготовленные проектом изменения, доступны в репозитории COPR для установки в Fedora Linux 39. Для захвата видео с MIPI-камер может использоваться мультимедийный сервер Pipewire. Поддержка работы с камерами через Pipewire уже принята в библиотеку libwebrtc. В Firefox возможность работы с камерами через Pipewire приведена к состоянию, пригодному для использования с WebRTC, начиная с выпуска 122. По умолчанию работа с камерами через Pipewire в Firefox отключена и требует активации в about:config параметра "media.webrtc.camera.allow-pipewire".

  1. Главная ссылка к новости (https://hansdegoede.dreamwidth...)
  2. OpenNews: Релиз OpenIPC 2.3, альтернативной прошивки для камер видеонаблюдения
  3. OpenNews: Первый выпуск libcamera, стека для поддержки камер в Linux
  4. OpenNews: Техника определения скрытых камер при помощи ToF-датчика смартфона
  5. OpenNews: В рамках проекта libusbx создан форк библиотеки libusb
  6. OpenNews: Проект по избавлению GNOME от ошибок и недоработок, проявляющихся при работе поверх Wayland
Лицензия: CC BY 3.0
Короткая ссылка: https://opennet.ru/60517-mipi
Ключевые слова: mipi, webcam, softisp, libcamera, intel
При перепечатке указание ссылки на opennet.ru обязательно


Обсуждение (86) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.1, Аноним (1), 19:15, 05/02/2024 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Не вижу лицензии на код.
     
     
  • 2.8, Анон из села Кукуево (?), 19:32, 05/02/2024 [^] [^^] [^^^] [ответить]  
  • +9 +/
    А как ты думаешь под какими лицензиями патчи к ядру Linux? Угадай с одной попытки
    На GNU начинается, на GPLv2 заканчивается

    А патчи к libcamera под той под которой сама библиотека
    Прикинь
    Патчи не имеют своих лицензий, их представили для вливания в мэйнстрим продуктов

     
     
  • 3.9, Аноним (1), 19:40, 05/02/2024 [^] [^^] [^^^] [ответить]  
  • +/
    > А как ты думаешь под какими лицензиями патчи к ядру Linux?

    Погрепай спидикс в ядре на предмет биэсди - удивишься.

     
     
  • 4.10, Аноним (-), 19:51, 05/02/2024 Скрыто ботом-модератором     [к модератору]
  • –2 +/
     
  • 4.17, Анон из села Кукуево (?), 20:24, 05/02/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Ты сейчас еще больше удивишься, но BSD в одну сторону совместима с GPLv2, можно взять BSDшный код и перелицензировать под GNU GPLv2 при сохранении копирайтов и всех упоминаний
    В обратную сторону они не совместимы

    Так что весь код в ядре который ты там нагрепал это код который изначально был под BSD и который вошел в ядро под GPLv2

     
     
  • 5.18, Аноним (1), 20:26, 05/02/2024 [^] [^^] [^^^] [ответить]  
  • +1 +/
    это убер чушь, изменять лицензию нельзя никому крмое копирайт холдера, и бред типа "изначально был под БЗД а вошёл как ГПЛ2" уноси отсюда, а то санитаров позову
     
     
  • 6.33, Аноним (33), 00:14, 06/02/2024 [^] [^^] [^^^] [ответить]  
  • +3 +/
    Ага, расскажи это проприерастам, которые доят бздунов на код для своих закрытых продуктов.
     
     
  • 7.43, 128557 (?), 06:45, 06/02/2024 [^] [^^] [^^^] [ответить]  
  • +3 +/
    Уважаемый скоморох, включение кода BSD в свой продукт не отменяет действие лицензии на этот код.
    Смешите нас дальше своими чудачествами.
     
     
  • 8.74, Аноним (-), 13:42, 06/02/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Ну так это не запрещает донавесить сверху что GPL, что EULA - и на код в целом т... текст свёрнут, показать
     
  • 7.66, Аноним (66), 11:53, 06/02/2024 [^] [^^] [^^^] [ответить]  
  • +/
    >> Компания Intel предоставляет набор проприетарных драйверов для работы с MIPI-камерами в Linux  
    > доят бздунов на код для своих закрытых продуктов.

    Это ты так намекаешь, что твой код есть в ядре линух?
    Или что проприерасты берут код под BSD, перелицензируют его под GPLv2 и "доют бздунов"?

    О-опеннетный Экспердизъм, аз из.

     
     
  • 8.76, Аноним (-), 14:25, 06/02/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Странные какие-то проприерасты с GPLем то Вот бы они все так проприерасили, тог... текст свёрнут, показать
     
     
  • 9.89, Аноним (66), 17:50, 06/02/2024 [^] [^^] [^^^] [ответить]  
  • +/
    У опеннетных Экспердов и не такое еще бывает Правда, совместимость с реальн... текст свёрнут, показать
     
  • 6.46, Анон из села Кукуево (?), 07:32, 06/02/2024 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Можно, чувак
    Если лицензия у кода говорит «Делайте что хотите» и позволяет его закрывать(как BSD и Public Domain), то это автоматом позволяет и говорить, что в данном месте этот код под другой лицензией
    Там где он был изначально он остается под BSD, а в ядре он под GPLv2

    Свою дичь про якобы незнание адресуй не мне, а юристам FSF, чье это объяснение
    Ну или моим преподам в универе, которое это подтверждали

     
  • 6.49, Бывалый смузихлёб (?), 08:29, 06/02/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Единственное что нельзя изменить - это авторство
    А вот права на код или продукт
    Равно как лицензии - это смотря что в лицензии говорится
     
  • 5.23, Аноним (23), 21:53, 05/02/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Код который был под BSD так и остается под BSD.
    Поэтому я могу взять кусок ядра, посмотреть построчно кто это писал и под какой лицензией и взять в свой проект.
    Слава богу гнурак не распространяется на чужой код.

    Вообще познание гнутиков в лицензиях радует как всегда))

     
     
  • 6.34, Аноним (33), 00:17, 06/02/2024 [^] [^^] [^^^] [ответить]  
  • +1 +/
    А сверху может быть принят в ядро патч под исключительно GPLv2. И вот можешь нарваться на чать такого патча и поиметь дело с SFLC.
     
     
  • 7.68, Аноним (-), 12:11, 06/02/2024 [^] [^^] [^^^] [ответить]  
  • +/
    > посмотреть построчно кто это писал и под какой лицензией

    ну не просто же так написал именно в такой формулировке!
    Поверх этого кода может быть другие лицензии.
    Выкидываешь рако-патчи, переписываешь на свободную лицензию.

     
     
  • 8.77, Аноним (-), 14:26, 06/02/2024 [^] [^^] [^^^] [ответить]  
  • +/
    а если облажаешься то знакомишься с SFLC При том васянам то пофиг а вон ... текст свёрнут, показать
     

  • 1.2, Аноним (2), 19:17, 05/02/2024 [ответить] [﹢﹢﹢] [ · · · ]  
  • +3 +/
    При чём тут MIPI вообще, там про софтовую замену ISP - это DSP обрабатывает сырые данные (bayer) с камеры
     
     
  • 2.5, Аноним (5), 19:21, 05/02/2024 [^] [^^] [^^^] [ответить]  
  • +/
    При том, что кроме SoftISP там драйверы для сенсоров и CSI reciver-а.

     
     
  • 3.6, Аноним (2), 19:30, 05/02/2024 [^] [^^] [^^^] [ответить]  
  • +/
    > кроме SoftISP там драйверы для сенсоров и CSI reciver-а

    ух ты, а раньше их не было чтоли ?

    https://git.kernel.org/pub/scm/linux/kernel/git/stable/linux.git/tree/drivers/

    https://git.kernel.org/pub/scm/linux/kernel/git/stable/linux.git/tree/drivers/

    открою тебе секрет mipi это просто интерфейс как pcie или hdmi

     
     
  • 4.16, Аноним (5), 20:21, 05/02/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Речь про драйвер ipu6, который ещё не приняли в состав ядра

    в https://git.kernel.org/pub/scm/linux/kernel/git/stable/linux.git/tree/drivers/ пока только драйвер для ipu3.

     
     
  • 5.19, Аноним (2), 20:38, 05/02/2024 [^] [^^] [^^^] [ответить]  
  • +3 +/
    На arm soc давно есть драйверы в апстриме для интерфейсов для захвата видео с камер и даже некоторые ISP, IPU6 это интеловский IP - просто драйвер для него слепили а толку от него без драйвера ISP ноль вот и засуетились. Открывать код для ISP интел похоже не намерен вот и написали костыль софтовый softisp. Вобщем это околоинтеловская мышиная возьня. Мне просто интересно - не поплохеет какому нибуть арм-у хотя бы 1080p софтово обрабатывать.
     
     
  • 6.26, Анонимусас (?), 22:05, 05/02/2024 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Интел бы рад открыть, но там скорее всего third party IP и он не может, чтобы не нарваться на иски и доп платежи. Интел для своих девайсов всегда открывает, если не топ сикрет
     
     
  • 7.44, n00by (ok), 07:17, 06/02/2024 [^] [^^] [^^^] [ответить]  
  • –3 +/
    Например, Интел открыла код для atomisp 10 лет назад, а Ганс его до сих пор допиливает, что бы заработало. https://github.com/jwrdegoede/linux-sunxi/commits/main/
     
     
  • 8.80, Аноним (80), 14:41, 06/02/2024 [^] [^^] [^^^] [ответить]  
  • +/
    У вас там точно все дома, сэр В ладоши ничего не хлопает Linux-Sunxi к интелу ... текст свёрнут, показать
     
     
  • 9.91, n00by (ok), 18:22, 06/02/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Я понимаю, что пойти по ссылке и посмотреть -- это для местных экспертов непосил... текст свёрнут, показать
     
     
  • 10.95, Аноним (-), 15:22, 07/02/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Тратить свое время на чтение НЕРЕЛЕВАНТНОГО МУСОРА чтобы попытаться уловить раци... большой текст свёрнут, показать
     
     
  • 11.100, n00by (ok), 08:34, 08/02/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Понимаю, ведь эксперту важнее успеть ПООРАТЬ В СЕТИ и поставить диагноз по фотог... текст свёрнут, показать
     
  • 7.51, Анании.orig (?), 08:42, 06/02/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Лукавые отмазки - получается встроить в свой же проц чужие технологии можно, а открыть дрова на них сцыкатно.
    Больше попахивает двойным назначением всей этой хрени.
     
  • 7.79, Аноним (-), 14:35, 06/02/2024 [^] [^^] [^^^] [ответить]  
  • +/
    > Интел бы рад открыть, но там скорее всего third party IP и
    > он не может, чтобы не нарваться на иски и доп платежи.
    > Интел для своих девайсов всегда открывает, если не топ сикрет

    Значит пусть учатся договариваться с своими контракторами на более нормальных условиях, имхо. С хрена ли их проблемы должны становиться проблемами линуха?

    И да, горбизна их ISP - это их проблемы. Впрочем, +1 гвоздь в крышку гроба таблетПЦ-а совсем не лишний в общем то, и да, остальным SoC проблемы интелского ISP ортогональны.

    Тем не менее стоит сказать что MIPI это вообще в целом жлобская пропреитарская штука. Попробуйте например спеки MIPI скачать, и чтоб еще легально. А, это дорого и гиморно?! Ну вот то то и оно.

     
  • 2.31, dannyD (?), 23:39, 05/02/2024 [^] [^^] [^^^] [ответить]  
  • +/
    >>это DSP обрабатывает сырые данные (bayer) с камеры

    это делаеся софтверно??? всегда делал на фпга "аппатно".

    и вооще, мне кажется, басня о том что сенсору по i2c наливают.
    с этим действительно трудности, а дебаеринг - наливай да пей.

     
     
  • 3.37, Аноним (2), 00:48, 06/02/2024 [^] [^^] [^^^] [ответить]  
  • +/
    > это делаеся софтверно??? всегда делал на фпга "аппатно"

    там может быть программируемое DSP ядро

    https://en.wikipedia.org/wiki/Image_processor

    и уж точно не fpga если уже готовый ASIC

     
     
  • 4.38, dannyD (?), 01:10, 06/02/2024 [^] [^^] [^^^] [ответить]  
  • +/
    сути смысла это не менеяет, ключевое слово "аппаратно",

    а там что это будет DSP, ASIC или FPGA - не важно,

    понятно что в массовых моделях FPGA быть не может.

    непонятно зачем это засовывать в CPU:
    >>набор проприетарных драйверов для работы с MIPI-камерами в Linux через IPU6 (Imaging Processing Unit) в процессорах Intel Tiger Lake, Alder Lake, Raptor Lake и Meteor Lake.

    и что туда (в цпу) засунуто? мипи интерфейс? стек? дебаеринг? или математика для дебаеринга?

    а если и засунуто, то какая точность? какая глубина цвета? какой из алгоритмов дебаера? какие дополнительные обработки?

    как человек реализовавший это аппаратно, могу задать миллион вопросов.

     
     
  • 5.39, Аноним (2), 01:21, 06/02/2024 [^] [^^] [^^^] [ответить]  
  • +/
    > непонятно зачем это засовывать в CPU

    написано же - нет исходников драйвера ISP от интелей да и большинства армов тоже, байер приняли по MIPI и чего с ним делать ? понятно что костыль но без него вообще не будет картинки, я не смотрел - может там и для GPU через opencv есть варианты обработки.

     
     
  • 6.40, dannyD (?), 01:39, 06/02/2024 [^] [^^] [^^^] [ответить]  
  • +1 +/
    >>байер приняли по MIPI и чего с ним делать ?

    если вы сумели "принять MIPI", то уж чо с ним делать дальше вы точно знаете.
    перевернули страницу доки и там всё написано )))

    это простое занятие, в отличии от вычислительной фотографии, дорисовки луны, или искусственного повышения разрешения.

     
     
  • 7.62, Аноним (2), 10:56, 06/02/2024 [^] [^^] [^^^] [ответить]  
  • +/
    > если вы сумели "принять MIPI", то уж чо с ним делать дальше вы точно знаете

    так это вы спрашивали зачем там софтовый ISP. MIPI с CSI отношение к ISP имеют примерно никакого - CSI паралельный или поледовательный это просто интерфейс DMA чтобы принять данные от камеры в известном формате который устанавливается через i2c и положить в буфер памяти, а вот что потом делать с сырыми данными если в камере нет DSP обработки задача совсем другого уровня.

     
  • 6.52, Бывалый смузихлёб (?), 08:42, 06/02/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Как ты его примешь если у конкретного проца нет конкретной аппаратной реализации CSI на нужное количество линий ?
    И вот тут самая соль, ведь доки по протоколу закрыты

    Был какой-то энтузиаст, пытался расковырять это дело. Что-то даже работало( на ПЛИС )
    Но он вроде бы с DSI возился( т.е вывод на экран )

     
     
  • 7.53, Анании.orig (?), 08:58, 06/02/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Линий где? Внутри проца или по всей материлке с новой шиной?
    Если первое, то аппаратное или програмное не особо роли играет - там уже столько этих юнитов, что свалить эту работу на какой либо из них вполне возможно и без потери производительности.
    Если то что он делает соответствует заявленному.
     
     
  • 8.59, Бывалый смузихлёб (?), 10:39, 06/02/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Камеру как к процу подключать собрался Там ведь недостаточно простых линий вво... текст свёрнут, показать
     
     
  • 9.75, Аноним (2), 13:47, 06/02/2024 [^] [^^] [^^^] [ответить]  
  • +/
    и у каких бюджетных смартфонов видео пишется с полными 40 мегапикселей фигню н... текст свёрнут, показать
     
  • 9.81, Аноним (80), 14:48, 06/02/2024 [^] [^^] [^^^] [ответить]  
  • +/
    На самом деле в основном зависит от интерфейса и числа lanes Ну то-есть если вы... большой текст свёрнут, показать
     
  • 6.86, Аноним (-), 15:02, 06/02/2024 [^] [^^] [^^^] [ответить]  
  • +/
    > написано же - нет исходников драйвера ISP от интелей да и большинства армов тоже,

    У большинства ARMов MIPI прицеплен к системному процу и если драйвер контроллера есть то это не такая уж и проблема.

    > байер приняли по MIPI и чего с ним делать

    Отдать софту, разумеется. Да и не факт что байер - там разные варианты есть. И некий базовый процессинг чип матрицы сам умеет, у него настроек чертова куча - по i2c крутятся.

     
     
  • 7.87, Аноним (2), 15:39, 06/02/2024 [^] [^^] [^^^] [ответить]  
  • +/
    > Да и не факт что байер - там разные варианты есть. И некий базовый процессинг чип матрицы сам умеет, у него настроек чертова куча - по i2c крутятся.

    так было лет 10 назад, сейчас практически все камеры только raw bayer передают

     
     
  • 8.96, Аноним (-), 15:29, 07/02/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Да где как Даташиты на матрицы читайте, там все есть Большую часть оных даже -... большой текст свёрнут, показать
     
     
  • 9.99, Аноним (2), 00:22, 08/02/2024 [^] [^^] [^^^] [ответить]  
  • +/
    есть просто старые камеры со своим процессором и они всё ещё производятся для вс... текст свёрнут, показать
     
  • 3.61, Аноним (61), 10:47, 06/02/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Я страшную тайну открою: всё делается софтверно.
     
     
  • 4.82, Аноним (80), 14:49, 06/02/2024 [^] [^^] [^^^] [ответить]  
  • +/
    > Я страшную тайну открою: всё делается софтверно.

    Кто это тебе сказал? Попробуй хотя-бы 4K в H.264 софтварно кодить. И как, нравится? :)

     

  • 1.21, Аноним (-), 21:05, 05/02/2024 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    Прикольный способ превратить нормальную вебку в недоразумение с качеством, как у вебки 640х480 из двухтысячных.
    Зато открыто, да))
     
     
  • 2.24, Oe (?), 21:56, 05/02/2024 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Кушай свои смартфоновкие 999 мегапикселей, проприетарное настоящее качество не имеющее аналогов в мире
     
     
  • 3.29, Аноним (-), 23:00, 05/02/2024 Скрыто ботом-модератором     [к модератору]
  • +/
     
     
  • 4.30, Аноним (30), 23:14, 05/02/2024 Скрыто ботом-модератором     [к модератору]
  • +/
     
  • 2.25, Аноним (25), 21:59, 05/02/2024 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Зато переносимо, вот это да. Доступно для изучения и адаптации к своей, никому не известной платформе (ну разве что с поправкой на лицензию там, это понятно). А вся переносимость и модифицируемость - это следствие "открыто". Сама по себе открытость хороша, но это не не самоцель же, ну или не всегда самоцель.
     
  • 2.54, КО (?), 09:18, 06/02/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Традиционный линукс вэй
     
     
  • 3.56, Анании.orig (?), 09:30, 06/02/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Не-не.
    Со времен вин-принтеров и вин-модемов - это как раз ваш подход.
    Просто в эпоху (во сказанул то!) коро...нованых особ, борьба за их здоровье ...
    должна идти из аппарата.
    А не програмно.

    Придумали тоже в компьютере программировать.

     
  • 2.55, Анании.orig (?), 09:18, 06/02/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Угу. В сабже прям какой-то новый мета-квантово-магический новый юнит жеж.
    А не еще один набор регистров и команд, как у всех соседних.
    MMX 21 века не иначе.

    Зыж
    По паре виртуалок у каждого (Ну хорошо, через одного) на ноуте не тормозит, а веб-камера - ужас, караул - будет обрабатываться не этим суперюнитом, а авх,симд и РОНами.
    Апокалипсис же, не иначе.

     
     
  • 3.90, Аноним (90), 17:52, 06/02/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Включил вебку — вентилляторы вышли на режим. И правда, зачем нужна энергоэффективность каким-то там SoCам, запитанными от полудохлой батареи и загаженной птицами солнечной панели. Любителям и так сойдёт.
     
  • 2.94, fidoman (ok), 18:44, 06/02/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Вот прям USB-шных 0,3мп камер в ноутах мало, причём с таким сжатием, что штрих-код не отсканишь.
     

  • 1.32, Аноним (32), 00:02, 06/02/2024 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    >Главная сложность в разработке открытых драйверов для MIPI-камер связана с тем, что аппаратный интерфейс ISP-процессора и реализуемые в нём алгоритмы обработки изображений обычно не раскрываются производителями CPU и представляют собой коммерческую тайну.

    Неужели вся передача по шине зашифрована и не реверсится?

     
     
  • 2.35, Аноним (33), 00:19, 06/02/2024 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Так по шине MIPI только сырые данные с камеры сливаются. А алгоритмы обработки по ней не идут.
     
     
  • 3.36, Аноним (32), 00:31, 06/02/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Так нам полные сырые данные и полный доступ к управлению аппартурой и нужны. Возиться с этим зоопарком проприетарных недокументированных процессоров конечно интересно, но кому нужен поскорее работоспособный результат — тем дешевле от них избавиться и считать на чём-нибудь, чья поддержка есть в LLVM. А уже потом долго и труднр завозить поддержку этих асиков в LLVM.
     
  • 3.41, dannyD (?), 01:47, 06/02/2024 [^] [^^] [^^^] [ответить]  
  • +/
    >>А алгоритмы обработки по ней не идут.

    для обработки нужно знать только тип матрицы
    https://en.wikipedia.org/wiki/Color_filter_array#List_of_color_filter_arrays

     
     
  • 4.42, Аноним (42), 04:16, 06/02/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Так по MIPI, видимо, идут не данные Color filter array, а неведомая хрень (скорее всего, зашифрованная неким публичным ключом), которую нужно as-is запихнуть в IPU, и он что-то там посчитает (расшфрует секретным ключом), и выдаст уже color filter array.
     
     
  • 5.47, dannyD (?), 08:15, 06/02/2024 [^] [^^] [^^^] [ответить]  
  • –1 +/
    >>Так по MIPI, видимо, идут не данные Color filter array, а неведомая хрень...

    пирамиды построили инопланетяне, нами правят рептилоиды ну и все мы спим в матрице.

     
     
  • 6.58, Аноним (42), 10:19, 06/02/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Блин, мужик, да ты чего.

    Впервые слышишь про коммерческую тайну и запрет на публикацию? Про то, что secureboot подписывают в Microsoft даже linux-бутлоадеры ты тоже не слышал? И что этот ключ для подписи, естественно, секретен, ты не знаешь?

     
     
  • 7.64, dannyD (?), 11:15, 06/02/2024 [^] [^^] [^^^] [ответить]  
  • –1 +/
    >> Про то, что secureboot

    путаем тёплое с мягким?

     
  • 6.85, Аноним (-), 14:59, 06/02/2024 [^] [^^] [^^^] [ответить]  
  • +/
    >>>Так по MIPI, видимо, идут не данные Color filter array, а неведомая хрень...
    > пирамиды построили инопланетяне, нами правят рептилоиды ну и все мы спим в матрице.

    Ах, вот оно что, dannyD - это Даниэль Джексон походу шифруется?

     
  • 5.50, Бывалый смузихлёб (?), 08:37, 06/02/2024 [^] [^^] [^^^] [ответить]  
  • +/
    MIPI-CSI идёт с закрытой аппаратной реализацией. Все доки по ней - тоже закрытые
    Чтобы хотя бы их получить - уже надо членство в энном альянсе и пачку зелени занести

    Хоть тресни со своими дровами, но без реализации физического CSI на нужное число линий хотя бы средствами ПЛИС, камеры являет собой тыкву, которую даже по юсб не подключить

     
     
  • 6.65, dannyD (?), 11:16, 06/02/2024 [^] [^^] [^^^] [ответить]  
  • –2 +/
    я в 2017 году нашел.
     
  • 5.70, Аноним (70), 12:57, 06/02/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Глупость несёшь. Если прямо на матрице есть криптопроцессор, шифрующий сырые данные, то может лучше прямо на матрицу поместить процессор для обработки и не извращаться с отдельным чипом?
     
  • 2.83, Аноним (83), 14:51, 06/02/2024 [^] [^^] [^^^] [ответить]  
  • +/
    >> Главная сложность в разработке открытых драйверов для MIPI-камер связана с тем,
    >> что аппаратный интерфейс ISP-процессора и реализуемые в нём алгоритмы обработки
    >> изображений обычно не раскрываются производителями CPU и представляют
    >> собой коммерческую тайну.
    > Неужели вся передача по шине зашифрована и не реверсится?

    Скорее поди фирмварь ISP - проприетарная и не редистрибутабельная. А без нее - ты получишь дырку от бублика вместо картинки, ибо MIPI ифейс у интеля походу прицеплен - к вот этому мелкому гаденышу с фирмварой.

     

  • 1.45, Аноним (45), 07:25, 06/02/2024 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    > стек для работы с MIPI-камерами включает работающий на уровне ядра драйвер для сенсоров ov2740

    Вопрос к знатокам! А что тогда это, доступное уже несколько лет: https://github.com/torvalds/linux/blob/master/drivers/media/i2c/ov2740.c

    Не срача ради, просто понять хочу.

     
     
  • 2.48, dannyD (?), 08:19, 06/02/2024 [^] [^^] [^^^] [ответить]  
  • –4 +/
    >>А что тогда это

    это данные которые надо запхнуть в сенсор по i2c для инициализации матрицы.

    обычно сняты снифом по шине, неполные, но достаточные для настройки некоторых режимов.

     
     
  • 3.57, просто спрашиваю (?), 09:32, 06/02/2024 [^] [^^] [^^^] [ответить]  
  • +/
    > обычно сняты снифом по шине

    Не по даташиту? Если говорить конкретно про OV2740, конечно (понимаю, что у других камер может не быть доступной документации).

    https://datasheetspdf.com/pdf-file/1501209/OmniVision/OV2740/1

     
     
  • 4.60, Бывалый смузихлёб (?), 10:46, 06/02/2024 [^] [^^] [^^^] [ответить]  
  • +1 +/
    То что на конкретный иодуль есть документация - это скорее большое исключение
     
  • 4.63, dannyD (?), 11:14, 06/02/2024 [^] [^^] [^^^] [ответить]  
  • –4 +/
    ну попробуйте "просто по даташиту", может получится )))
     
     
  • 5.67, Аноним (67), 12:06, 06/02/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Вы не поверите. Но при наличии должной документации, вполне возможно написать драйвер для работы с устройством.

    Зачем мучаться с логическим анализатором, если есть даташит? (повторю специально для троллей вроде вас: при НАЛИЧИИ документации; не утверждая что она есть для всех устройств, что уже рассматривается как отдельный случай)

     
     
  • 6.71, anonymous (??), 13:32, 06/02/2024 [^] [^^] [^^^] [ответить]  
  • –2 +/
    Даташит запросто может быть неполным и неточным.
     
     
  • 7.72, dannyD (?), 13:40, 06/02/2024 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Даташит и полный и точный, как списов всех деталей автомобиля с партнамберами.

    Только без сборочного чертежа каждого узла - увы бесполезный.

    Зная все комманды сенсора, но не зная последовательности и некоторых мелочей - ничего не заведётся.

     
  • 6.73, dannyD (?), 13:41, 06/02/2024 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Вы попробуйте, а потом теоретизируйте.
     
     
  • 7.78, Аноним (78), 14:31, 06/02/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Пока ты ты там "синфишь на шине", мы используем компоненты от нормальных производителей, и от них же имеем всю необходимую документацию. Если ты там сидишь под санкциями и не имеешь доступа к документации, либо по той же причине ешь китайские кактусы – это всё твои проблемы. Но ты продолжаю, теоретизируй впустую дальше сколько угодно. А тем временем успешно продаются наши девайсы, для которых я разрабатываю прошивки.
     
     
  • 8.92, Аноним (2), 18:22, 06/02/2024 [^] [^^] [^^^] [ответить]  
  • +/
    ну это лапша конечно, далеко не всё доступно бесплатно для публичного доступа та... текст свёрнут, показать
     
  • 8.93, dannyD (?), 18:43, 06/02/2024 [^] [^^] [^^^] [ответить]  
  • +/
    мучаешь фуллГД на сенсорах от малины, нормалный мир уже начинает забывать что та... текст свёрнут, показать
     
     
  • 9.98, Аноним (98), 15:37, 07/02/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Так у тебя монитор то такой хотя-бы есть Или ты как лох, с голым задом ... текст свёрнут, показать
     
  • 2.84, Аноним (-), 14:55, 06/02/2024 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > Вопрос к знатокам! А что тогда это, доступное уже несколько лет:
    > https://github.com/torvalds/linux/blob/master/drivers/media/i2c/ov2740.c
    > Не срача ради, просто понять хочу.

    Это код конфигурации сенсора камеры ov2740 (OmniVision) через i2c. У камер для конфигурации отдельный неспешный интерфейс i2c, через который оно настраивается. Однако потом вы наверное захотите получить с камеры картинку? И наверное все же не через i2c? А если у интеля "основной" линк прицеплен к ISP - ну, вот, попробуйте теперь картинку выцепить оттуда, даже если и сконфигурили камеру... интел как всегда легких путей не ищет.

     
     
  • 3.88, Аноним (2), 17:48, 06/02/2024 [^] [^^] [^^^] [ответить]  
  • +/
    > А если у интеля "основной" линк прицеплен к ISP - ну, вот, попробуйте теперь картинку выцепить оттуда

    он как у всех напрямую в память пишет может там и есть fast path через двухпортовый буфер sram напрямую к аппаратному isp это неважно - у cpu есть доступ к данным

     
     
  • 4.97, Аноним (98), 15:36, 07/02/2024 [^] [^^] [^^^] [ответить]  
  • +/
    > он как у всех напрямую в память пишет может там и есть
    > fast path через двухпортовый буфер sram напрямую к аппаратному isp это
    > неважно - у cpu есть доступ к данным

    Ага, только чтобы это все появилось - у интеля поди надо в ISP влить какой-нить немеряный фирмвар, который они поди еще и дать как редистрибутабл забыли, и каких-нить команд с хоста в ISP запульнуть, рассказывающих чего и где хост хотел в этом самом. А до того момента ISP чего доброго будет отвисать в какомнить bootROM-loader, и фирмвар ждать в состоянии овоща. И вот удачи с него картинку при этом получить. Ибо bootROM этой шляпы ничего про MIPI и вон то скорее всего не знает - и умеет - вот - "свою" фимвару ловить когда драйвер ее льет при инициализации железки.

     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Партнёры:
    PostgresPro
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2024 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру