The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]



Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Режим отображения отдельной подветви беседы [ Отслеживать ]

Оглавление

Оценка методов противостояния потере данных в ФС при крахе с..., opennews (??), 15-Дек-15, (0) [смотреть все]

Сообщения [Сортировка по времени | RSS]


65. "Оценка методов противостояния потере данных в ФС при крахе с..."  +/
Сообщение от Аноним (-), 15-Дек-15, 19:45 
Все помешались на этой надежности. Есть дофига задач, в которых потеря данных даже за целый час незначительна. Но при этом ни в одной фс впринципе не предусмотрено кэширование записи, всё обязательно пишем здесь и сейчас. И плевать что это создает излишние тормоза для пользователя и быстро изнашивает ssd.
Ответить | Правка | Наверх | Cообщить модератору

68. "Оценка методов противостояния потере данных в ФС при крахе с..."  +/
Сообщение от Чаёвник (?), 15-Дек-15, 19:48 
> Все помешались на этой надежности. Есть дофига задач, в которых потеря данных
> даже за целый час незначительна. Но при этом ни в одной
> фс впринципе не предусмотрено кэширование записи, всё обязательно пишем здесь и
> сейчас. И плевать что это создает излишние тормоза для пользователя и
> быстро изнашивает ssd.

Кеширование в нормальных ФС вполне себе предусмотрено. Если в ваших задачах не критична потеря данных за последний час - хватит качать порнуху. В продакшене за час работы организации вам съедят мозг чайной ложечкой, регулярно помешивая и звонко постукивая об край черепной коробки

Ответить | Правка | Наверх | Cообщить модератору

80. "Оценка методов противостояния потере данных в ФС при крахе с..."  +/
Сообщение от angra (ok), 15-Дек-15, 22:30 
Ну вот тебе сходу две очень даже продакшеновые задачи: запись логов и бекапы. Поведай нам жуткие подробности поедания мозга на их примере.
Ответить | Правка | Наверх | Cообщить модератору

93. "Оценка методов противостояния потере данных в ФС при крахе с..."  –1 +/
Сообщение от Аноним (-), 15-Дек-15, 23:15 
> Ну вот тебе сходу две очень даже продакшеновые задачи: запись логов и
> бекапы. Поведай нам жуткие подробности поедания мозга на их примере.

За потерю нужных логов на проде поддержку/ИТ казнят лютой казнью. А как бекапы соотносятся с настройкой кеширования - не понятно, если только вы не каждую минуту бекапите систему.

Ответить | Правка | Наверх | Cообщить модератору

111. "Оценка методов противостояния потере данных в ФС при крахе с..."  +1 +/
Сообщение от angra (ok), 16-Дек-15, 02:34 
А за потерю логов, которые не понадобились? А это 99% логов.

Причем здесь каждую минуту? Может быть и раз в сутки, а может вообще быть непрерывным. Суть в том, что потеря пары часов при создании бекапа вообще никого не волнует, если только ровно в это же время не случился факап и с основным сервером. А ведь бекап может идти и больше чем в одно место и на кратковременное падение одного из них вообще всем плевать.

Ответить | Правка | Наверх | Cообщить модератору

141. "Оценка методов противостояния потере данных в ФС при крахе с..."  –1 +/
Сообщение от Аноним (-), 16-Дек-15, 14:05 
> А за потерю логов, которые не понадобились? А это 99% логов.

Когда сервер падает, логи автоматически нужны. И именно в этом случае они теряются. Забавно, не находите?

> Причем здесь каждую минуту? Может быть и раз в сутки, а может
> вообще быть непрерывным. Суть в том, что потеря пары часов при
> создании бекапа вообще никого не волнует, если только ровно в это
> же время не случился факап и с основным сервером.

Если при создании бекапа результат никого не интересует, то неладно что-то в королевстве датском.

Ответить | Правка | Наверх | Cообщить модератору

101. "Оценка методов противостояния потере данных в ФС при крахе с..."  +/
Сообщение от Чаёвник (?), 15-Дек-15, 23:54 
> Ну вот тебе сходу две очень даже продакшеновые задачи: запись логов и
> бекапы. Поведай нам жуткие подробности поедания мозга на их примере.

Кэширование для бекапов? Серьёзно? У вас клёёёвый прод!
И да, если кто-то лезет за бекапом (очевидно потому что текущее файло битое) и не находит бекапа, то кто-то с кешированием "во все ненужные места" пойдёт искать работу =)

Логи... ну может быть... но может быть вам такие логи и не нужны?
И да, если сервер вдруг раз в час (или сколько вы там себе настроили на кеш) резко проседает под нагрузкой, это тоже как-то ну оооочень странно.

Ответить | Правка | К родителю #80 | Наверх | Cообщить модератору

113. "Оценка методов противостояния потере данных в ФС при крахе с..."  +2 +/
Сообщение от angra (ok), 16-Дек-15, 02:42 
> Кэширование для бекапов? Серьёзно? У вас клёёёвый прод!

Ну давай, поделись как надо.

> И да, если кто-то лезет за бекапом (очевидно потому что текущее файло
> битое) и не находит бекапа, то кто-то с кешированием "во все
> ненужные места" пойдёт искать работу =)

То есть сразу должен навернуться и бекап и продакшен. мягко говоря не очень частая ситуацияю А если бекап шел сразу на несколько отдельных серверов еще и географически разнесенных? Тоже все сразу навернутся?

> Логи... ну может быть... но может быть вам такие логи и не
> нужны?

Ты не поверишь, но логи не нужны в 99% случаев. Их ведут ради разбора факапов и иногда статистики. На небольшую потерю статистики обычно плевать, а факапы должны случаться достаточно редко. В противном случае проблема совсем не в кешировании.

> И да, если сервер вдруг раз в час (или сколько вы там
> себе настроили на кеш) резко проседает под нагрузкой, это тоже как-то
> ну оооочень странно.

Про запись данных раз в час тебе нашептали голоса в голове. Не слушай их, до добра не доведут.

Ответить | Правка | Наверх | Cообщить модератору

135. "Оценка методов противостояния потере данных в ФС при крахе с..."  –3 +/
Сообщение от Чаёвник (?), 16-Дек-15, 11:51 
> Ну давай, поделись как надо.

Не хочу, когда сами огребёте пару раз - научитесь научитесь, общепринятая практика хранения данных же вам не интересна, всё тлен, всё ненужно

> То есть сразу должен навернуться и бекап и продакшен. мягко говоря не очень частая ситуацияю А если бекап шел сразу на несколько отдельных серверов еще и географически разнесенных? Тоже все сразу навернутся?

Далеко не все сидят в облаках или имеют инфраструктуру размазанную по принципу "этот сервер будет работать тут, а вон оттого ННАДА чтобы респонсы тормозили посильнее, поэтому перевезём его на северный полюс, заодно сэкономим на охлаждении".
Довольно классическая ситуация: вся улица остаётся на несколько часов без света (например из-за пожара у кого-то в другом краю этой улицы). И тут вдруг оказывается, что к вашим костылям с кешированием надо дописывать ещё костыли, которые будут мониторить UPSы и быстренько синкать эти кеши на диск, а так же каждый квартал пачками менять АКБ которые без ваших понтовых костылей вполне бы ещё пару лет поработали, что тоже не самое безболезненное и не самое дешёвое мероприятие.

> логи не нужны в 99% случаев

Ну так не пишите их, раз они вам не нужны, нафиг вы нам мозг морочите?

> Про запись данных раз в час

Нашептали в соседнем посте этой же ветки этого же сабжа, дочитывайте всю ветку перед комментированием

Ответить | Правка | Наверх | Cообщить модератору

81. "Оценка методов противостояния потере данных в ФС при крахе с..."  +1 +/
Сообщение от Ytch (ok), 15-Дек-15, 22:42 
> В продакшене за час работы организации...

Не все сервисы "в продакшене" критически влияют на работоспособность организации. Или у вас там всё что только можно крутится на одном серваке с одним диском/массивом и одной файловой системой на всё?
И обычно есть вполне достаточно, например, внутренних сервисов, потеря данных на которых либо вообще легко и автоматически восполнима (а значит не то что за час, за сутки, за неделю можно без особого ущерба все терять), либо совершенно по-другому резервируется/дублируется/зеркалируется/... так что потерялось, да ну и х#@ с ним, постояли, восстановились, засинхронизировались с "выжившими" и поехали дальше... Неприятно? Конечно! Катастрофа? И рядом нет! Так, легкий дискомфорт...

Ответить | Правка | К родителю #68 | Наверх | Cообщить модератору

121. "Оценка методов противостояния потере данных в ФС при крахе с..."  –1 +/
Сообщение от Классический анонимуз (?), 16-Дек-15, 05:42 
Ну и бред. В одной небольшой конторе, где работаю, файловые шары бэкапятся раз в день (несколько терабайт). Попробуй организуй бэкап нескольких терабайт (размазанный по всей РФ) с периодичностью меньше часа (не критична потеря данных за последний час - хватит качать порнуху). И никто не плачет, в SLA написано 1 сутки, бабло дали на данную реализацию. А 1 час - это НАМНОГО дороже.
Ответить | Правка | К родителю #68 | Наверх | Cообщить модератору

136. "Оценка методов противостояния потере данных в ФС при крахе с..."  –1 +/
Сообщение от Чаёвник (?), 16-Дек-15, 12:03 
> Ну и бред. В одной небольшой конторе, где работаю, файловые шары бэкапятся
> раз в день (несколько терабайт). Попробуй организуй бэкап нескольких терабайт (размазанный
> по всей РФ) с периодичностью меньше часа (не критична потеря данных
> за последний час - хватит качать порнуху). И никто не плачет,
> в SLA написано 1 сутки, бабло дали на данную реализацию. А
> 1 час - это НАМНОГО дороже.

Это всё ещё про кеширование или уже просто про ненужность работы вашей конторы?
Очевидно ваша контора производит "нинужно" и у меня не хватает компетенций, чтобы с вами должно спорить на тему "как грамотно просрать рабочие сутки умноженные на ~180 человек + данные по платежам + бухгалтерия + данные по торговым складам".
Возможно Rsync и Ко позволят не тянуть то, что ненужно, чтобы не тягать несколько терабайт (которые у вас фиг менялись), а только дифы. Более того, если интересоваться данной темой, а не только балаболить, можно узнать что и целые ФС можно на лету удалённо реплицировать, что вообще сводит к нулю ваши стоны про несколько терабайт.

Ответить | Правка | Наверх | Cообщить модератору

149. "Оценка методов противостояния потере данных в ФС при крахе с..."  +1 +/
Сообщение от Аноним (-), 16-Дек-15, 15:54 
>   В одной небольшой конторе, где работаю, файловые шары бэкапятся
> раз в день (несколько терабайт).

Т.е. вы "производите" террабайты данных в сутки или  просто не в силах наладить сам процесс?

Ответить | Правка | К родителю #121 | Наверх | Cообщить модератору

69. "Оценка методов противостояния потере данных в ФС при крахе с..."  +3 +/
Сообщение от Аноним (-), 15-Дек-15, 19:57 
> Все помешались на этой надежности. Есть дофига задач, в которых потеря данных
> даже за целый час незначительна. Но при этом ни в одной
> фс впринципе не предусмотрено кэширование записи, всё обязательно пишем здесь и
> сейчас. И плевать что это создает излишние тормоза для пользователя и
> быстро изнашивает ssd.

Вообще-то кеширование есть и даже настраивается. А вам, судя по всему, нужен tmpfs.

Ответить | Правка | К родителю #65 | Наверх | Cообщить модератору

82. "Оценка методов противостояния потере данных в ФС при крахе с..."  –1 +/
Сообщение от Аноним (-), 15-Дек-15, 22:44 
Ну давайте, назовите флаг, который можно установить, чтобы данные записывались на винчестер раз в час..., ну или при заполнении буфера, допустим в 1 Гб. Фс любая из ядра.

> Если в ваших задачах не критична потеря данных за последний час - хватит качать порнуху

Порнуху уже давно никто не качает. Сейчас качают игры, 4k фильмы. Много программ создает кэш на винчестере, например браузеры, фотошоп.
Из серверной области - логи, статистика. Бывает очень большой поток данных. Т.к. вообще сбой системы ооочень редкое явление (у меня электричество вырубают максимум раз в год), а логи вещь второстепенная, то в насиловании жесткого диска не вижу смысла.

> А вам, судя по всему, нужен tmpfs.

Ага, лить в tmpfs, а из tmpfs на винч. Это ужаснейший костыль. Кэширование (любое, в т.ч. записи) на 100% входит в компетенцию файловой системы.

Ответить | Правка | Наверх | Cообщить модератору

91. "Оценка методов противостояния потере данных в ФС при крахе с..."  +/
Сообщение от Аноним (-), 15-Дек-15, 23:11 
> Ну давайте, назовите флаг, который можно установить, чтобы данные записывались на винчестер раз в час..., ну или при заполнении буфера, допустим в 1 Гб. Фс любая из ядра.

vm.dirty_expire_centisecs

https://lonesysadmin.net/2013/12/22/better-linux-disk-cachin.../

А вообще, гугл в помощь. Было бы желание проблему решить, а не в комментах потрындеть.

> Ага, лить в tmpfs, а из tmpfs на винч. Это ужаснейший костыль. Кэширование (любое, в т.ч. записи) на 100% входит в компетенцию файловой системы.

_Кеширование_ есть и работает вполне адекватно. А то, что вы описываете - по часу данные в памяти держать - это вы@б, нужный паре неадекватов в мире.

Кстати, можете погуглить на тему dm-cache/bcache - может, их можно настроить на использование tmpfs в качестве кеша. Сам я их не использовал, не знаю.

Ответить | Правка | Наверх | Cообщить модератору

103. "Оценка методов противостояния потере данных в ФС при крахе с..."  +/
Сообщение от Чаёвник (?), 15-Дек-15, 23:56 
> Порнуху уже давно никто не качает. Сейчас качают игры, 4k фильмы. Много
> программ создает кэш на винчестере, например браузеры, фотошоп.
> Из серверной области - логи, статистика. Бывает очень большой поток данных. Т.к.
> вообще сбой системы ооочень редкое явление (у меня электричество вырубают максимум
> раз в год), а логи вещь второстепенная, то в насиловании жесткого
> диска не вижу смысла.

У вас браузер и фотошоп на сервере, зачем вам смысл?


Ответить | Правка | К родителю #82 | Наверх | Cообщить модератору

105. "Оценка методов противостояния потере данных в ФС при крахе с..."  –2 +/
Сообщение от Чаёвник (?), 16-Дек-15, 00:05 
>> Порнуху уже давно никто не качает. Сейчас качают игры, 4k фильмы. Много
>> программ создает кэш на винчестере, например браузеры, фотошоп.
>> Из серверной области - логи, статистика. Бывает очень большой поток данных. Т.к.
>> вообще сбой системы ооочень редкое явление (у меня электричество вырубают максимум
>> раз в год), а логи вещь второстепенная, то в насиловании жесткого
>> диска не вижу смысла.
> У вас браузер и фотошоп на сервере, зачем вам смысл?

Ой, я попутал, у вас юзверь на SSD тормозит. Всё равно совершенно не ясно, каким боком линуксовые ФС к фотошопу и главное, как у вас всё это тормозит на SSD. Опять же хочется глянуть на вашу персональную статистику по вылету SSD из-за износа.
Я уже молчу про то что фотографам и прочим ребятам РЕАЛЬНО использующим проф. инструмент для обработки избражений будет весьма обидно потерять овердофига работы только потому, что кого-то достало что "все помешались на надёжности".
Я вам открою страшную тайну: задача файловой системы - ХРАНИТЬ данные

Ответить | Правка | Наверх | Cообщить модератору

78. "Оценка методов противостояния потере данных в ФС при крахе с..."  +/
Сообщение от all_glory_to_the_hypnotoad (ok), 15-Дек-15, 22:22 
> Но при этом ни в одной фс впринципе не предусмотрено кэширование записи, всё обязательно пишем здесь и сейчас.

что за бред несёшь, во многих, если не всех, юниксоподобных ОС запись идёт через кеш который настраивается.

Ответить | Правка | К родителю #65 | Наверх | Cообщить модератору

83. "Оценка методов противостояния потере данных в ФС при крахе с..."  –1 +/
Сообщение от Аноним (-), 15-Дек-15, 22:46 
Пруф в студию
Ответить | Правка | Наверх | Cообщить модератору

112. "Оценка методов противостояния потере данных в ФС при крахе с..."  +/
Сообщение от Аноним (-), 16-Дек-15, 02:37 
технически - он прав.
просто в разных ОС и что важнее - в разных ФС(и реализации оных под разные оные и билды оных, что важнее) - оно реализовано Иначе, порой.
Ответить | Правка | Наверх | Cообщить модератору

125. "Оценка методов противостояния потере данных в ФС при крахе с..."  +/
Сообщение от Аноним (-), 16-Дек-15, 09:18 
Так есть еще и кеш самой железки - так называемый буфер и writeback кеширование.
Ответить | Правка | К родителю #78 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру