The OpenNET Project / Index page

[ новости/++ | форум | wiki | теги | ]

22.11.2017 10:38  Проблемы с BCache в ядре Linux 4.14 могут привести к повреждению данных

Пользователи дистрибутива Gentoo обратили внимание на регрессивное изменение в ядре Linux 4.14, которое может привести к повреждению содержимого файловой системы при использовании механизма BCache для кэширования доступа к медленным жестким дискам на быстрых SSD-накопителях. Исправление уже предложено для ядра Linux и будет включено в выпуск 4.14.2.

Суть проблемы в том, что в ядре 4.14 в системе блочного ввода/вывода (bio) для указания информации о разделах было представлено новое поле bi_partno, вместо того чтобы использовать уже применяемый метод кодирования сведений в поле bi_bdev в структуре bdev->bd_contains. Функция __bio_clone_fast была адаптирована для копирования информации о диске, но некорректно обрабатывала информацию о разделах на нём, что могло привести к повреждению содержимого при использовании BCache.

В зависимости от настроек проблема проявляется выдачей некорректных данных при чтении из раздела BСache, но также отмечаются и случаи невосстановимых повреждений базового раздела после его монтирования в составе BCache. Не исключено, что проблема может проявляться и для других блочных подсистем ядра, использующих вызов __bio_clone_fast.

  1. Главная ссылка к новости (https://news.ycombinator.com/i...)
  2. OpenNews: В реализации программного RAID для Linux обнаружена ошибка, которая может привести к повреждению мета-данных
  3. OpenNews: Уязвимость в NAND Flash может привести к повреждению чужих данных на SSD-накопителях
  4. OpenNews: Выпущен патч для исправления ошибки в ext4, которая могла привести к повреждению ФС
  5. OpenNews: Содержимое ячеек DRAM может быть повреждено в результате цикличного чтения
  6. OpenNews: Проблема с повреждением разделов Ext4 оказалась в md-raid0
Лицензия: CC-BY
Тип: К сведению
Ключевые слова: bcache, kernel, linux
При перепечатке указание ссылки на opennet.ru обязательно
Обсуждение Ajax/Линейный | Раскрыть все сообщения | RSS
 
  • 1.3, Аноним (-), 11:02, 22/11/2017 [ответить] [показать ветку] [···]    [к модератору]
  • +4 +/
    Торвальд не юзает BCache, Kent Overstreet набыдлoкoдил и протолкнул как бывший сотрудник гугла.
     
     
  • 2.30, Аноним (-), 12:51, 22/11/2017 [^] [ответить]     [к модератору]
  • +2 +/
    И причём здесь Кент Он код отдал, попрощался и уже давно занимается разработкой... весь текст скрыт [показать]
     
  • 2.51, Аноним (-), 23:55, 22/11/2017 [^] [ответить]    [к модератору]  
  • +7 +/
    "Торвальд" писал в одном из первых rc, что зря они заранее объявили, что 4.14 будет lts. Из-за этого все постарались запихнуть в этот релиз как можно больше функционала, пожертвовав его качеством и ссылаясь на то, что "lts же, не замержим - придётся ждать следующего, так как солидные люди сидят на lts" и "lts же, давайте закоммитим, а поправим ПОТОМ".
     
  • 2.91, фтопку (?), 14:18, 28/11/2017 [^] [ответить]     [к модератору]  
  • +1 +/
    торвальд не юзает линукс, его всё - миникс, который он с л и адаптировал для тр... весь текст скрыт [показать]
     
  • 1.4, Аноним (-), 11:07, 22/11/2017 [ответить] [показать ветку] [···]    [к модератору]  
  • –10 +/
    OpenZFS нужно было использовать там все уже из-коробки протестировано за многие годы.
     
     
  • 2.5, upyr (?), 11:13, 22/11/2017 [^] [ответить]    [к модератору]  
  • +2 +/
    CDDL and GPL legal incompatibility
     
     
  • 3.28, Аноним (-), 12:49, 22/11/2017 [^] [ответить]    [к модератору]  
  • –11 +/
    Да плевать с высокой колокольни, ни кто не узнает и не проконтролирует. Бери и пользуйся.
     
     
  • 4.29, Аноним (-), 12:51, 22/11/2017 [^] [ответить]    [к модератору]  
  • +1 +/
    github так и делает
     
     
  • 5.33, Аноним (-), 14:17, 22/11/2017 [^] [ответить]     [к модератору]  
  • –6 +/
    И правильно делает, что способствует его процветанию И плевать ему на рейтинги-... весь текст скрыт [показать]
     
     
  • 6.40, Crazy Alex (ok), 16:37, 22/11/2017 [^] [ответить]    [к модератору]  
  • –2 +/
    https://en.wikipedia.org/wiki/Tragedy_of_the_commons почитайте для общего развития
     
     
  • 7.47, Elhana (ok), 19:33, 22/11/2017 [^] [ответить]    [к модератору]  
  • +6 +/
    Вы как большинство копирастов считаете интеллектуальную собственность исчерпаемым ресурсом чтоли?
    Трагедия общин о том, что если все пользуют общий ресурс по полной, то всем станет хуже.

    Тут же все скорее наоборот - вместо того, чтобы пользоваться готовым и развивать, переизобретают велосипеды в виде совместимого btrfs - ресурсы потрачены нерационально.

    zfs же не блоб закрытый, а вполне себе под открытой лицензией код. Это проблема gpl, что она вирусная.

     
     
  • 8.79, XoRe (ok), 18:46, 24/11/2017 [^] [ответить]     [к модератору]  
  • +/
    Боюсь, вы не поняли сути трагедии общин Если все положат болт на лицензии, то... весь текст скрыт [показать]
     
     
  • 9.92, Кузнец (?), 17:31, 30/11/2017 [^] [ответить]    [к модератору]  
  • +/
    А вот это "науке неизвестно", к слову.
     
     
  • 10.93, Andrey Mitrofanov (?), 12:13, 01/12/2017 [^] [ответить]     [к модератору]  
  • +/
    Если все положат болт на лицензии, то в конце концов пострадают тоже все ... весь текст скрыт [показать]
     
  • 8.88, фтопку (?), 07:36, 28/11/2017 [^] [ответить]    [к модератору]  
  • +/
    эти уроды из оракакеля похоронили сначала солярис а потом и зфс
    при этом развивают свою недофс под названием бтрфс, пародия блин.
     
  • 6.42, _ (??), 17:37, 22/11/2017 [^] [ответить]    [к модератору]  
  • +/
    Тебя посодюьЪ. А ты не воруй! (С) :)
     
  • 4.64, Аноним (-), 07:10, 24/11/2017 [^] [ответить]     [к модератору]  
  • +/
    И потестируй на себе, как оно там теряет или не теряет данные Потому что крупня... весь текст скрыт [показать]
     
  • 1.6, Аноним (-), 11:16, 22/11/2017 [ответить] [показать ветку] [···]    [к модератору]  
  • –7 +/
    Кэширование на SSD - костыль. Толком ничего не ускоряется.
     
     
  • 2.7, Аноним (-), 11:17, 22/11/2017 [^] [ответить]    [к модератору]  
  • +2 +/
    И SLC под кэш выйдет дороже, чем TLC нужного размера.
     
     
  • 3.31, none_first_ (?), 13:51, 22/11/2017 [^] [ответить]     [к модератору]  
  • +1 +/
    это если общий объем данных туда можно впихнуть а когда полка с терабайтами ... весь текст скрыт [показать]
     
  • 2.19, Anonim (??), 11:52, 22/11/2017 [^] [ответить]    [к модератору]  
  • –2 +/
    > Кэширование на SSD - костыль. Толком ничего не ускоряется.

    При раздаче видео - не ускоряется, а при раздаче кучи мелких файлов (картинки, css, жабоскрипт) очень существенное ускорение.

     
     
  • 3.22, Аноним (-), 12:00, 22/11/2017 [^] [ответить]    [к модератору]  
  • +6 +/
    В лине есть дисковый кэш, он кэширует чтение и использует всю свободную оперативную память. Если говорить про "кучи мелких файлов", то современный пк с 4-8 гб может закэшировать миллионы таких  файлов. И для этого не нужно покупать и насиловать SLC SSD, ресурс которой всетаки ограничен. SSD используется именно для кэширования записи, т.к. информация не теряется при непредвиденном выключении питания.
     
     
  • 4.36, Аноним (-), 15:24, 22/11/2017 [^] [ответить]    [к модератору]  
  • –1 +/
    кешировал, пока редхет чото в своём ядре не поломал
     
     
  • 5.49, Аноним (-), 20:09, 22/11/2017 [^] [ответить]    [к модератору]  
  • –1 +/
    У меня что в лине, что в винде, к дисковому кэшу вообще никаких нареканий никогда не было. Кажется это одна из самых отточенных систем.
     
  • 4.90, фтопку (?), 13:52, 28/11/2017 [^] [ответить]     [к модератору]  
  • +/
    современный ПК это линукс с 64 гиббонами оперативки, в котором базовая система з... весь текст скрыт [показать]
     
  • 3.57, bOOster (ok), 11:22, 23/11/2017 [^] [ответить]    [к модератору]  
  • –1 +/
    ZFS весьма эффективно PCIe M.2 диски как кэш пула использует. Практически весь пул со скоростью данного SSD работает. На FREEBSD
     
     
  • 4.58, Нониус (?), 12:17, 23/11/2017 [^] [ответить]     [к модератору]  
  • –1 +/
    зфс тормозной, l2arc забывает контент при перезагрузках, в отличии от bcache ro... весь текст скрыт [показать]
     
     
  • 5.62, bOOster (ok), 04:10, 24/11/2017 [^] [ответить]     [к модератору]  
  • –2 +/
    l2arc забывает контент при перезагрузках, в отличии от bcache - оно и не надо... весь текст скрыт [показать]
     
     
  • 6.63, Аноним (-), 06:55, 24/11/2017 [^] [ответить]     [к модератору]  
  • +/
    вы сколько угодно можете таскасть морду лица туда-сюда демонстрируя фасепальмы ... весь текст скрыт [показать]
     
     
  • 7.65, Аноним (-), 07:12, 24/11/2017 [^] [ответить]    [к модератору]  
  • +/
    А где ты хостишься? Это особо укрепленный бункер, в здании абузоустойчивого хостинга? На случай визита копирасов :)
     
     
  • 8.69, Аноним (-), 08:12, 24/11/2017 [^] [ответить]     [к модератору]  
  • +/
    это особо укреплённый локалхост, в шахте 758 метров под землёй, собственная элек... весь текст скрыт [показать]
     
  • 6.67, Аноним (-), 07:31, 24/11/2017 [^] [ответить]     [к модератору]  
  • +/
    вы почитайте ту-ду и там в планах сделать l2arc персистентным внезапно мой юны... весь текст скрыт [показать]
     
     
  • 7.74, bOOster (ok), 13:19, 24/11/2017 [^] [ответить]    [к модератору]  
  • +/
    А ноги откуда растут? Опять из стада Linux? Внезапно….
     
     
  • 8.75, Аноним (-), 14:17, 24/11/2017 [^] [ответить]    [к модератору]  
  • +1 +/
    ноги растут из тела, как принято у нормальных, не альтернативных человеков.
     
  • 6.68, Аноним (-), 07:57, 24/11/2017 [^] [ответить]    [к модератору]  
  • +/
    > "l2arc забывает контент при перезагрузках, в отличии от bcache." - оно и
    > не надо никому. Кэш таскать через перезагрузки (facepalm).

    "разогрев кэша" вам не знаком, мой юный друг.

     
  • 6.83, anonymous (??), 16:01, 25/11/2017 [^] [ответить]    [к модератору]  
  • +/
    Вообще-то, сейчас это молится: https://wiki.illumos.org/display/illumos/Persistent+L2ARC
     
     
  • 7.89, фтопку (?), 07:43, 28/11/2017 [^] [ответить]    [к модератору]  
  • +/
    > Вообще-то, сейчас это молится: https://wiki.illumos.org/display/illumos/Persistent+L2ARC

    во.

     
  • 2.41, Гентушник (ok), 17:07, 22/11/2017 [^] [ответить]     [к модератору]  
  • +/
    Зависит от сценария использования Я на рабочем компе использую LVM-cache для LV... весь текст скрыт [показать]
     
  • 2.80, XoRe (ok), 18:49, 24/11/2017 [^] [ответить]    [к модератору]  
  • +/
    > Кэширование на SSD - костыль. Толком ничего не ускоряется.

    Внимание, альфачи хайлоада в треде!

     
     ....нить скрыта, показать (21)

  • 1.12, Аноним (-), 11:39, 22/11/2017 [ответить] [показать ветку] [···]    [к модератору]  
  • +/
    Вот и результат релизов каждые 2 месяца.. не протестируешь ничего.
    Зато релизы быстро пекутся.
     
     
  • 2.18, Аноним (-), 11:51, 22/11/2017 [^] [ответить]    [к модератору]  
  • +3 +/
    Этот BCache для энтузиастов. В реальной работе его никто не использует, т.к. дорого и не эффективно. А все нужные вещи в ядре вполне достаточно тестируются.
     
     
  • 3.24, Anonim (??), 12:03, 22/11/2017 [^] [ответить]     [к модератору]  
  • –1 +/
    Ну конечно Что дорого и что неэффективно При нескольких терабайтах картинок - ... весь текст скрыт [показать]
     
     
  • 4.25, Аноним (-), 12:05, 22/11/2017 [^] [ответить]     [к модератору]  
  • +4 +/
    У вас эти терабайты постоянно записываются или считываются BCache используется ... весь текст скрыт [показать]
     
     
  • 5.32, Crazy Alex (ok), 14:10, 22/11/2017 [^] [ответить]     [к модератору]  
  • +1 +/
    То ты больших объёмов не видел Если у тебя мелкий сайтик - то что угодно справи... весь текст скрыт [показать]
     
     
  • 6.50, Аноним (-), 20:12, 22/11/2017 [^] [ответить]    [к модератору]  
  • +1 +/
    А всё и не надо пихать. Там сьюминутно нужно 2-5% контента. Оперативка покрывает 90% запросов чтения. Ну а остальное и hdd потянет.
     
     
  • 7.59, none_first_ (?), 12:35, 23/11/2017 [^] [ответить]    [к модератору]  
  • +/
    чтение в память измененных данных как будет проходить? ;)
    Кэш чтения зависит от кэша записи, в массе кейсов
     
     
  • 8.60, Аноним (-), 19:57, 23/11/2017 [^] [ответить]    [к модератору]  
  • +/
    Данные попадают в кэш как при чтении, так и при записи. Только что записанный файл будет в кэше.
     
  • 8.61, Аноним (-), 19:59, 23/11/2017 [^] [ответить]    [к модератору]  
  • –3 +/
    Кэша записи в оперативке фактически не существует, т.к. по умолчанию для всех задач подразумевается требование незамедлительного сохранения данных.
     
     
  • 9.71, Аноним (-), 08:59, 24/11/2017 [^] [ответить]     [к модератору]  
  • –1 +/
    где вас берут таких в огороде с капустой почему я наблюдаю дисковую активность ... весь текст скрыт [показать]
     
  • 9.78, Аноним84701 (ok), 18:09, 24/11/2017 [^] [ответить]     [к модератору]  
  • +/
    dirty cache pages https kernelnewbies org Linux_2_6_32 head-72c3f91947738f1... весь текст скрыт [показать]
     
  • 5.70, Аноним (-), 08:42, 24/11/2017 [^] [ответить]     [к модератору]  
  • –1 +/
    вы это своей бабушке рассказывайте отдача торрентов, чисто чтение, 25 bcache Ч... весь текст скрыт [показать]
     
  • 5.73, Аноним (-), 12:40, 24/11/2017 [^] [ответить]     [к модератору]  
  • +/
    особо одарённые личности утверждают, не имея опыта bcache Абсурд это ваше сущест... весь текст скрыт [показать]
     
  • 3.77, Аноним (-), 14:45, 24/11/2017 [^] [ответить]     [к модератору]  
  • +/
    в ведре пространства много, можно сблевануть не вызывая проблем вы не имеете оп... весь текст скрыт [показать]
     
  • 3.81, XoRe (ok), 18:54, 24/11/2017 [^] [ответить]     [к модератору]  
  • +2 +/
    Откуда вы только повылазили ... весь текст скрыт [показать]
     
  • 2.23, Led (ok), 12:01, 22/11/2017 [^] [ответить]    [к модератору]  
  • –1 +/
    ... а "ЫнтырпрайзЭ на гентах и арчиках страдает...
     
     
  • 3.27, user (??), 12:33, 22/11/2017 [^] [ответить]    [к модератору]  
  • +/
    В арче кстати 4.14 еще в тестинг. Хочу посмотреть на человека держащего ынтырпрайз на тестинг
     
     
  • 4.44, _ (??), 17:45, 22/11/2017 [^] [ответить]    [к модератору]  
  • +3 +/
    АлавердЫ! Хочу посмотреть на человека держащего ынтырпрайз на раче 8-)
     
     
  • 5.48, Аноним (-), 19:59, 22/11/2017 [^] [ответить]    [к модератору]  
  • +2 +/
    > АлавердЫ! Хочу посмотреть на человека держащего ынтырпрайз на раче 8-)

    Антресольный или поддиванный ынтырпрайз cети 127.0.0.0/8?


     
  • 5.72, Аноним (-), 11:24, 24/11/2017 [^] [ответить]     [к модератору]  
  • +/
    гламурно-кошерный ынтерпрайз делается не в каком то там каноникал, а на коленке ... весь текст скрыт [показать]
     
  • 4.66, Аноним (-), 07:15, 24/11/2017 [^] [ответить]     [к модератору]  
  • –1 +/
    интерпрайз в работе, арч вылез как абортыш из CRUX, ядро последнее, считайте L... весь текст скрыт [показать]
     
     ....нить скрыта, показать (20)

  • 1.26, anonymous (??), 12:10, 22/11/2017 [ответить] [показать ветку] [···]     [к модератору]  
  • –3 +/
    а теперь смотрим на фикс https git kernel org pub scm linux kernel git stable ... весь текст скрыт [показать]
     
  • 1.39, Аноним (-), 16:32, 22/11/2017 [ответить] [показать ветку] [···]    [к модератору]  
  • +1 +/
    https://www.opennet.ru/openforum/vsluhforumID3/112742.html#13
     
     
  • 2.45, Аноним (-), 18:15, 22/11/2017 [^] [ответить]    [к модератору]  
  • –1 +/
    Да там все ядро таких подпорок. Херак, херак и в продакшн.
     
  • 1.43, Адекват (ok), 17:43, 22/11/2017 [ответить] [показать ветку] [···]    [к модератору]  
  • –2 +/
    >но также отмечаются и случаи невосстановимых повреждений базового раздела после его монтирования в составе  BCache.

    Очень надеюсь, что это будет случаться как можно чаще.
    Может хоть у кого-то глаза откроются.

     
  • 1.54, metakeks (?), 09:18, 23/11/2017 [ответить] [показать ветку] [···]    [к модератору]  
  • +/
    Понятно, почему Товальдс хамит и кроет матом. Потому что и сюда рукожопы дорвались.
     
     
  • 2.55, Andrey Mitrofanov (?), 09:38, 23/11/2017 [^] [ответить]     [к модератору]  
  • +1 +/
    Тащит в свою блоатварь всё, что блестит, как ворона, заралы богайств битротят ... весь текст скрыт [показать]
     
     
  • 3.76, Аноним (-), 14:26, 24/11/2017 [^] [ответить]     [к модератору]  
  • +/
    зачем было интель пускать... весь текст скрыт [показать]
     
  • 1.82, pavlinux (ok), 23:55, 24/11/2017 [ответить] [показать ветку] [···]    [к модератору]  
  • +/
    Ой, а можно мне ещё рассказать про bcache + samba?
    Там тоже весело, вплоть до смерти диска на котором дышит самба.
     
     
  • 2.87, Аноним (-), 07:19, 27/11/2017 [^] [ответить]     [к модератору]  
  • +/
    криворучки, кривые настроечки и ага ты размер блока какой указал при создании ... весь текст скрыт [показать]
     

     Добавить комментарий
    Имя:
    E-Mail:
    Заголовок:
    Текст:


      Закладки на сайте
      Проследить за страницей
    Created 1996-2018 by Maxim Chirkov  
    ДобавитьПоддержатьВебмастеруГИД  
    Hosting by Ihor