The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]

Корпорации профинансируют обеспечение повторяемых сборок пакетов в дистрибутивах

16.11.2016 08:16

Учреждённый под эгидой организации Linux Foundation фонд Core Infrastructure Initiative (CII), в рамках которого ведущие корпорации объединили свои усилия по поддержке открытых проектов, задействованных в ключевых областях компьютерной индустрии, объявил о предоставлении дополнительного финансирования для проекта, занимающегося обеспечением повторяемых сборок пакетов. В дополнение к прошлогоднему гранту в размере 200 тысяч долларов, Фонд профинансирует работу над повторяемыми сборками пяти разработчиков Debian (Chris Lamb, Mattia Rizzolo, Ximin Luo, Vagrant Cascadian, Holger Levsen) и одного разработчика FreeBSD (Ed Maste).

Повторяемые сборки пакетов дадут пользователю возможность подтвердить, что исполняемый файл собран именно из заявленных исходных текстов и не содержит посторонних закладок, которые, например, могут быть интегрированы в результате использования поражённого в результате атаки компилятора или сборочного инструментария. Главным образом, различия при сборке одного и того же кода на разных системах вызваны непостоянством состава сборочного окружения и добавлением в файл меняющейся во времени служебной информации, такой как данные о дате сборки.

Для обеспечения повторяемости необходимо полностью воссоздать эталонное сборочное окружение, использовать те же версии сборочного инструментария, идентичный набор опций и настроек по умолчанию, применять те же методы сортировки списков файлов. Несмотря на то, что проект развивается для Debian, к его разработке привлечены представители различных дистрибутивов и операционных систем, включая FreeBSD, NetBSD, Fedora, Ubuntu, OpenWrt, openSUSE и Arch Linux.

  1. Главная ссылка к новости (https://www.coreinfrastructure...)
  2. OpenNews: Ведущие корпорации профинансируют создание повторяемых сборок Debian и средства выявления ошибок в СПО
  3. OpenNews: Проект по обеспечению повторяемости сборки пакетов для Fedora Linux
  4. OpenNews: Проблема проверки тождественности исходных текстов и бинарных сборок
  5. OpenNews: Проект по продвижению в ядро Linux новых технологий активной защиты
  6. OpenNews: Для 83% пакетов в основном репозитории Debian доказана тождественность сборок исходным текстам
Лицензия: CC-BY
Тип: К сведению
Короткая ссылка: https://opennet.ru/45502-reproducible
Ключевые слова: reproducible, build
При перепечатке указание ссылки на opennet.ru обязательно
Обсуждение (37) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.1, Аноним (-), 08:20, 16/11/2016 [ответить] [﹢﹢﹢] [ · · · ]  
  • –7 +/
    redhat не допустит к компилятору
     
     
  • 2.49, Аноним (-), 03:06, 17/11/2016 [^] [^^] [^^^] [ответить]  
  • +/
    Это слишком жирно получилось, не прокатило. Попробуй еще раз.
     

  • 1.2, Аноним (-), 08:45, 16/11/2016 [ответить] [﹢﹢﹢] [ · · · ]  
  • –6 +/
    ага, парадом командовать станет он один, зимой одна щель в окне лучше чем много
     
  • 1.3, Аноним (-), 09:26, 16/11/2016 [ответить] [﹢﹢﹢] [ · · · ]  
  • –7 +/
    То есть, они хотят всех в одно прокрустово ложе загнать, даже эмбеддовку? Фейл эпичнейший предвижу я. Вдобавок протухать это будет моментально, участие дебианщиков на это кaкбэ намекает.
     
     
  • 2.4, Аноним (-), 10:15, 16/11/2016 [^] [^^] [^^^] [ответить]  
  • –3 +/
    > представители различных дистрибутивов и операционных систем, включая FreeBSD, NetBSD

    я уже знаю кого они сделают виновными
    а может быть их научат как делать

     
  • 2.8, Аноним (-), 12:00, 16/11/2016 [^] [^^] [^^^] [ответить]  
  • +3 +/
    > То есть, они хотят всех в одно прокрустово ложе загнать, даже эмбеддовку?

    То есть, они хотят создать рабочий инструмент для подтверждения того, что предоставленный двоичный исполняемый файл собран именно из предоставленных исходников. Для использования вне "прокрустова ложа" из этих исходников Вы (точно так же, как и раньше) можете собрать исполняемые файлы так как Вам нужно и, более того, Вы можете, используя предоставленный инструмент, дать возможность Вашим клиентам контролировать то, что предоставленный (теперь уже) Вами двоичный исполняемый код собран именно из предоставленных Вами исходников именно с заявленными условиями сборки (среда, ключи etc).

     

  • 1.5, noxa (ok), 10:16, 16/11/2016 [ответить] [﹢﹢﹢] [ · · · ]  
  • –2 +/
    BSD? Вот это номер. Ладно еще дистибутивы линукса, разные валлпаперы не влияют на сборку. Рад за этот шаг, Ed Maste отличный разработчик, знаю его не только как участника FreeBSD проекта
     
  • 1.6, Аноним (-), 11:35, 16/11/2016 [ответить] [﹢﹢﹢] [ · · · ]  
  • –4 +/
    так много специалистов по проблеме повторяемых сборок пакетов в дистрибутивах собралось в этом треде, прям персональная боль у каждого.
     
     
  • 2.7, Аноним (-), 11:54, 16/11/2016 [^] [^^] [^^^] [ответить]  
  • +3 +/
    Я одного только насчитал)
     

  • 1.11, DmA (??), 12:41, 16/11/2016 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Пусть выпустят лучше инструкцию(а лучше скрипт) по пересборке дистрибутива со своими логотипами из исходных текстов  и Дебиан и Центос и Базальт :) Как в Linux From Scratch.
    А то кто знает, чего они там в бинарники добавляют кроме  своих логотипов.
    Чтобы любой мог взять мощный сервак и потратив несколько недель собрал свои бинарные ISO из исходных текстов.
     
     
  • 2.14, Аноним (-), 13:07, 16/11/2016 [^] [^^] [^^^] [ответить]  
  • +/
    Gentoo жи есть.
     
     
  • 3.16, DmA (??), 13:41, 16/11/2016 [^] [^^] [^^^] [ответить]  
  • –1 +/
    > Gentoo жи есть.

    Но если дистрибутив открытый, то почему нет инструкции по его сборке-то? Получается сам процесс сборки суперзакрыт и кто его знает, что там  происходит. В Gentoo та же самая проблема курицы и яйца, скачиваешь бинарный дистрибутив непонятно кем  и как собранный и потом  устанавливаешь-перекомпилируешь через эту тёмную сборку. Можно ли доверять такой ОС на твоём компьютере, если нет даже ISOшнику доверия, ни сайту с какого он скачан?...
    Можно ли доверять винде, если ставишь её из исошника? Да тоже нет доверия, даже если исошник ты скачал с сайта микрософт, то где гарантия, что ты вообще когда-нибудь бывал на сайте микрософт :) ( а не на подменёном мвд-фсб сайте через днс ответы твоего провайдера). Где гарантия, что ты проверил контрольную сумму этого исошника правильной программой? DNSSEС и то в на на сайтах российских банков не используют... Где гарантия, что вы были на сайте сбербанка, когда проводили платёж сейчас за ЖКХ? :)
    А  даже если вы используете dnssec, то где гарантия что  в хранилище открытых ключей вашего браузера хранятся ключи настоящих удостоверяющих центров, а не ключи сгенерированные фсб или ростелекомом и давно вшитый в какой-нибудь ZverCD сборку? Там сотни этих удостоверяющих центров в вашем хранилище сертификатов и кто его знает, где они все эти центры находятся ,кто их контролирует, а ведь ваш браузер автоматически доверяет всем сертификатам, которые выдали эти сотни удостоверяющих центров...

    Проблема построения доверительной среды на компьютере мне кажется до пор нерешённая, но суперважная.
    Скрипты и инструкции по сборке открытых дистрибутивов конечно не решат вопроса курицы и яйца, всё равно придётся собирать уже кем-то скомпилированным компилятором, но сделает этот процесс гораздо прозрачнее!

     
     
  • 4.23, Аноним (-), 15:31, 16/11/2016 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > где гарантия, что ты вообще когда-нибудь бывал на сайте микрософт :) ( а не на подменёном мвд-фсб сайте через днс ответы твоего провайдера)

    Ты увяз в Матрице вместе с мвд-фсб.
    Вставай, Нео!
    Начни священный бой.
    С бекдорами огомными
    Троянской конницей!

     
     
  • 5.28, DmA (??), 16:35, 16/11/2016 [^] [^^] [^^^] [ответить]  
  • +/
    >> где гарантия, что ты вообще когда-нибудь бывал на сайте микрософт :) ( а не на подменёном мвд-фсб сайте через днс ответы твоего провайдера)
    > Ты увяз в Матрице вместе с мвд-фсб.
    > Вставай, Нео!
    > Начни священный бой.
    > С бекдорами огомными
    > Троянской конницей!

    Так в Матрице как раз не я сижу, и пускаю слюни на хлебные крошки думая,что я в ресторане деликатесы пожираю :)
    Вот  Вы даёте голову на отсечение, что сейчас на opennete сидите, который принадлежит  Максиму Чиркову, а не на сайте-копии? Скорей всего нет? А ведь тут даже https не используется... Но и https не решит вопроса доверия в Интернете и даже dnssec.
    Просто если не будет людей, которые хотят добиться такого доверия в Интернете и  не будет разрабатываться технологий, которые позволяют построить доверительную среду, то мы сами дадим возможность запихать себя в матрицу кому угодно!!!

     
     
  • 6.30, Аноним (-), 16:41, 16/11/2016 [^] [^^] [^^^] [ответить]  
  • +3 +/
    >А ведь тут даже https не используется...

    https://www.opennet.ru/

     
     
  • 7.32, DmA (??), 17:04, 16/11/2016 [^] [^^] [^^^] [ответить]  
  • –2 +/
    >>А ведь тут даже https не используется...
    > https://www.opennet.ru/

    странно, не знал, а что же редиректа нет с 80 на 443?

     
  • 6.48, Аноним (-), 00:31, 17/11/2016 [^] [^^] [^^^] [ответить]  
  • +/
    > Так в Матрице как раз не я сижу

    Сидишь. Ведь ты же видишь мои сообщения...
    > Вот  Вы даёте голову на отсечение, что сейчас на opennete сидите, который принадлежит  Максиму Чиркову, а не на сайте-копии?

    Давать голову на отсечения в надежде на то что не произойдёт дежавю(смена программы матрицы)? Да вы шутник.

     
  • 6.61, Аноним (-), 16:32, 22/11/2016 [^] [^^] [^^^] [ответить]  
  • +/
    > тут даже https не используется

    lolwut?
    https://www.eff.org/https-everywhere

     
  • 5.29, Аноним (-), 16:39, 16/11/2016 [^] [^^] [^^^] [ответить]  
  • +/
    >Ты увяз в Матрице

    Вы в курсе что два брата режиссёра этого фильма уже стали сёстрами (в буквальном смысле). В свете этого основной посыл этого фильма - о том что "увязшие в матрице" безнадёжно зависимы от неё и будут изо всех сил защищать её и поддерживать её сохранность, предстаёт в несколько ином свете. А именно, что матрицей они считают наш мир в котором действуют законы нравственности, морали, порядочности и т.п., а нас они считают за "увязших" в ней, которые изо всех сил сопротивляются "свободе".

     
     
  • 6.33, DmA (??), 17:05, 16/11/2016 [^] [^^] [^^^] [ответить]  
  • +/
    >>Ты увяз в Матрице
    > Вы в курсе что два брата режиссёра этого фильма уже стали сёстрами
    > (в буквальном смысле). В свете этого основной посыл этого фильма -
    > о том что "увязшие в матрице" безнадёжно зависимы от неё и
    > будут изо всех сил защищать её и поддерживать её сохранность, предстаёт
    > в несколько ином свете. А именно, что матрицей они считают наш
    > мир в котором действуют законы нравственности, морали, порядочности и т.п., а
    > нас они считают за "увязших" в ней, которые изо всех сил
    > сопротивляются "свободе".

    Им там в бочке тепло и уютно...


     
  • 6.35, Аноним (-), 18:07, 16/11/2016 [^] [^^] [^^^] [ответить]  
  • +2 +/
    > А именно, что матрицей они считают наш
    > мир в котором действуют законы нравственности, морали, порядочности и т.п., а

    А еще есть сектанты, которых хлебом не корми, но дай поискать скрытый^W "изначальный" смысл и поразглагольствовать о нравственности и морали. Как раз после забивания камнями очередной "неверной жены", доведения до суицида "залетевшей" девушки и травли "байстрюков".


     
     
  • 7.38, Аноним2 (?), 19:34, 16/11/2016 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Кто такие байстюки?
     
     
  • 8.39, Аноним (-), 19:43, 16/11/2016 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Что, в гугле забанили, да http dic academic ru dic nsf efremova 139696 Байстр... текст свёрнут, показать
     
  • 7.47, Аноним (-), 00:29, 17/11/2016 [^] [^^] [^^^] [ответить]  
  • +/
    В том то и дело что они и сами таким занимаются. А если и не занимаются, то способны выжигать мозги тем кто ещё умеет думать.
     
  • 6.46, Аноним (-), 00:27, 17/11/2016 [^] [^^] [^^^] [ответить]  
  • +/
    Я уже не смотрю 3D вещи. И за теми кто их делают не наблюдаю. Не интересно.
     
  • 2.15, Michael Shigorin (ok), 13:32, 16/11/2016 [^] [^^] [^^^] [ответить]  
  • +/
    > Пусть выпустят лучше инструкцию(а лучше скрипт) по пересборке дистрибутива
    > со своими логотипами из исходных текстов  и Дебиан и Центос и Базальт :)

    Так выпустите.  За дебиан с центосом не скажу, а по альту вот здесь есть люди с таким опытом: http://forum.russ2.com/index.php?showforum=203

    PS: по собственно теме: http://altlinux.org/reproducible
    PPS (чтоб два раза не вставать): не обращайте внимания на болезного фкука, его зачистят и так -- написать и не нарушить правила форума оно, похоже, не в состоянии.

     
     
  • 3.19, DmA (??), 14:20, 16/11/2016 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Ух ты, кто-то собирает Альтернативный АльтЛинукс Не слышал о таких даже Внизу ... большой текст свёрнут, показать
     
     
  • 4.20, Michael Shigorin (ok), 14:44, 16/11/2016 [^] [^^] [^^^] [ответить]  
  • +/
    > Ух ты, кто-то собирает Альтернативный АльтЛинукс? Не слышал о таких даже!

    Так спросили бы :)

    > По альту инструкция уже наверно устарела -2014 год.

    Не-а.  Кстати, написана она была по мотивам одной из схожих новостей на опеннете: https://www.opennet.ru/openforum/vsluhforumID3/101495.html#133

    PS: не 2014, а февраль 2015, строго говоря.

    > Сколько интересно  времени вообще занимает сборка  дистрибутива (например
    > состоящего всего из одного DVD, а не из нескольких как у Дебиана)

    Вот, например, по сборке сегодняшнего комплекта altlinux.org/regular: http://pastebin.com/HtR2nQUZ (в среднем пять минут для 64-битных и шесть -- для i586, где mksquashfs заметно медленней работает).  Рабочая станция собирается минут десять.

    > и  какое железо для этого используется?

    2x X5570, 24 Гб памяти, RAID10 (в целом относительно скромно)

    > Или всё это по частям собирается. Должны же быть какие-то скрипты, перегенерирующие
    > исошники в случае обнаружения ошибки в исошниках, исправил какой-нибудь исходник
    > и запустил перекомпиляцию на ферме серверов.

    Пересборка исошки эквивалентна просто сборке, насколько понимаю, везде, где используется монолитный squashfs.

    В принципе на базе альтовского mkimage можно сделать кэширование неизменившихся кусочков по критерию неизменности пакетной базы (там уже много для этого проделано) -- но на имеющихся нагрузках мороки больше, чем выигрыша...

    > В Линукс дистрибутивах я не слышал о  таких возможностях, а отдельные
    > пакеты пересобирать - это не дело.

    Почему, если этим занимается автоматика?  Например, при создании сертифицированных дистрибутивов подготовка сборочной среды, как раз и занимающейся пересборкой всего, входящего в исошку -- штатная часть процедуры (по крайней мере у нас, не знаю, как где).

     
     
  • 5.24, DmA (??), 16:01, 16/11/2016 [^] [^^] [^^^] [ответить]  
  • +/
    >> и  какое железо для этого используется?
    > 2x X5570, 24 Гб памяти, RAID10 (в целом относительно скромно)

    16 потоковый 3 ггц процессор, и памяти  относительно немного. Ну да, по современным меркам доступное для серверных железо. Кто-то может  и на рабочей станции такое имеет.
    Но неужели даже   iso с жирным kde5  и то занял 6.55 ? Как-то не верится. Пусть Дебиан будет в 20 раз больше  и во столько же раз дольше собирается, то получается меньше суток сборка его занимает. Надо будет как-нибудь по какой-нибудь инструкции проделать какой-нибудь дистрибутив собрать. Железо то оказывается потихоньку доросло до пересборки дистрибутивов. А я думал всё сутками как и прежде исчисляется. Всё таки похоже ПО набирает жирность( термин согласно Вирту)медленнее, чем растёт прогресс в железе и в первую очередь наверно за счёт   многопроцессорности.
    Чёткие инструкции и скрипты по пересборке обязательно должны быть для всех дистрибутивов. Чтобы можно было как во FreeBSD указав опции к компилятору полностью пересобрать всю систему и/или пересобрать iso под свой компьютер и переустановить уже оптимизированный  под себя дистрибутив. Потом ещё неплохо бы скрипты иметь, которые обновления к этому дистрибутиву тоже пересобирают с учётом собственных опций к компилятору, а не качают бинарный пакет. Да и качать мало придётся, если вытаскивать только патчи какие-нибудь или через тот же git

     
     
  • 6.26, Michael Shigorin (ok), 16:19, 16/11/2016 [^] [^^] [^^^] [ответить]  
  • +/
    > Но неужели даже iso с жирным kde5 и то занял 6.55? Как-то не верится.

    Ну так проверьте: http://www.altlinux.org/Mkimage/Profiles/m-p/howto (там по умолчанию загрузка пакетов с ftp.altlinux.org, который последнее время изрядно нагружен -- может и час-два собираться, думаю).  На сборочнице-то зеркало локальное.

    > Пусть Дебиан будет в 20 раз больше  и во столько же раз дольше собирается, то
    > получается меньше суток сборка его занимает.

    Видимо, да.  Собственно, засовывать пакеты в iso не так уж и сложно, это squashfs довольно времяёмкие выходят.

    > Железо то оказывается потихоньку доросло до пересборки дистрибутивов.
    > А я думал всё сутками как и прежде исчисляется.

    Помнится, два-три часа собирались образы второго альта на 2x PIII со сказями и уж не помню каким объёмом памяти (до гига или всё-таки целых два?)...

    > Чёткие инструкции и скрипты по пересборке обязательно должны быть
    > для всех дистрибутивов.

    Создавайте, публикуйте :)

    > Потом ещё неплохо бы скрипты иметь, которые обновления к этому дистрибутиву тоже
    > пересобирают с учётом собственных опций к компилятору, а не качают бинарный пакет.

    Это аккурат в противоположном направлении относительно темы (помните тему?), если что.

     
  • 4.22, Crazy Alex (ok), 15:16, 16/11/2016 [^] [^^] [^^^] [ответить]  
  • +/
    >В том же FreeBSD раньше можно было указать опции к компилятору и сделать make world и пересобрать всю систему из исходников с учётом оптимизирующих опций компилятора(под свой процессор например).
    >В Линукс дистрибутивах я не слышал о  таких возможностях, а отдельные пакеты пересобирать - это не дело.   Хотелось бы, чтобы такая фича была, чем Линукс хуже чем FreeBSD :) Не призываю к холивару :) Или может такая фича есть, а я просто не знаю.

    Арч/Гента именно это и позволяют. Гента - ещё и глобальное задание более общей конфигурации - например, "собирать с поддержкой IPv6 всё, что его умеет", используя USE-флаги.

     
     
  • 5.25, DmA (??), 16:04, 16/11/2016 [^] [^^] [^^^] [ответить]  
  • +1 +/
    >>В том же FreeBSD раньше можно было указать опции к компилятору и сделать make world и пересобрать всю систему из исходников с учётом оптимизирующих опций компилятора(под свой процессор например).
    >>В Линукс дистрибутивах я не слышал о  таких возможностях, а отдельные пакеты пересобирать - это не дело.   Хотелось бы, чтобы такая фича была, чем Линукс хуже чем FreeBSD :) Не призываю к холивару :) Или может такая фича есть, а я просто не знаю.
    > Арч/Гента именно это и позволяют. Гента - ещё и глобальное задание более
    > общей конфигурации - например, "собирать с поддержкой IPv6 всё, что его
    > умеет", используя USE-флаги.

    Все  открытые дистрибутивы должны так уметь( если все пакеты к ним открыты полностью)! А не только Gentoo!  и  тут как бы речь идёт и о пересборке мира и может быть одновременной сборке из этих пересобранных  пакетов собственного исошника. Gentoo ведь не позволяет собрать свой isoшник со stage ?!

     

  • 1.17, Кармер (?), 13:57, 16/11/2016 [ответить] [﹢﹢﹢] [ · · · ]  
  • –2 +/
    Давайте просто перейдем к Gento
     
     
  • 2.18, Michael Shigorin (ok), 14:09, 16/11/2016 [^] [^^] [^^^] [ответить]  
  • +/
    > Давайте просто перейдем к Gento

    Не факт, что "просто": http://lipsum.eu/BRB/rb_workflow.html -- ну и главное: зачем?

     

  • 1.27, manster (ok), 16:22, 16/11/2016 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Это просто подарок любителям зондов.

    Мало того что это положительно отразится на здоровости инфраструктуры, так еще и при наличии соответствующей заявленной возможности можно легко выверять порог доверия.

    Отличная инициатива. Список корпораций в студию!

    Появилась потенциальная возможность задействовать USE-флаги и выпиливать systemd.

     
  • 1.43, Аноним (-), 22:46, 16/11/2016 [ответить] [﹢﹢﹢] [ · · · ]  
  • –1 +/
    Главную проблему это не решает. Главное проблема это доверие.
    Могу ли я вообще доверять тому человеку?

    Увы, любое решение техническими средствами вопроса доверия уже в своей сути подрывает суть доверия. Поверив тех.решению вы просто поверили другого человеку, автору этого тех. решения.

    В любом случае рад, что кому-то выпала честь решать эту задачу. Я бы порешал бы за бабло ее тоже :)

     
     
  • 2.51, DmA (??), 09:41, 17/11/2016 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Философский подход Но тут как бы предполагается, что технические средств наст... большой текст свёрнут, показать
     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Спонсоры:
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2020 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру