OpenNews: EPRD - реализация RAM-диска, обеспечивающего постоянное хранение данных

05.04.2012 19:09 EPRD - реализация RAM-диска, обеспечивающего постоянное хранение данных

Марк Райтер (Mark Ruijter), автор работающей в пространстве пользователя файловой системы LessFS с автоматической дедупликацией, master/slave-репликацией, сжатием и шифрованием данных, представил свой новый проект - EPRD. В рамках проекта EPRD создана реализация RAM-диска, не теряющего данные за счёт их синхронизации на постоянный носитель. EPRD оформлен в виде модуля для ядра Linux (поддерживаются ядра начиная с 2.6.32). Код проекта распространяется в рамках лицензии GPL.

Как и классические RAM-диски, EPRD эмулирует блочное устройство с размещением данных в оперативной памяти, что позволяет достигнуть прекрасной производительности. Одновременно EPRD решает проблему с потерей содержимого RAM-диска после перезапуска благодаря поддержке синхронизации данных на диск. Для обеспечения непротиворечивости хранимых данных при сбросе буферов из ОЗУ на постоянный накопитель используется механизм "барьеров": при каждой операции sync() на диск сбрасываются все содержащие изменения буферы (интервал задаётся в настройках). Поддерживаются и более простые схемы синхронизации, такие как сброс данных на диск при завершении работы и чтение содержимого при запуске RAM-диска.

В качестве основной области применения проекта рассматривается создание различных дисковых кэшей, позволяющих достигнуть высокой скорости операций случайного доступа к данным на медленных дисках. Интересной особенностью является то, что сбрасываемые на диск данные сохраняются в файл, который имеет формат дискового образа, т.е. его можно примонтировать и использовать без EPRD. Вместо файла-образа можно обеспечить синхронизацию изменений на блочное устройство, что открывает возможность использования EPRD как дополнительной прозрачной прослойки для кэширования в ОЗУ транзитного ввода-вывода для определённых дисковых разделов. Например, выполнив команду "eprd_setup -f /dev/sdc -m 3 -p512M -b" будет создано новое блочное устройство /dev/eprda, ассоциированное с /dev/sdc, кэширующее запросы в буфере размером 512 Мб и сбрасывающие содержимое буферов каждые 3 секунды.

По словам автора EPRD, в настоящее время ведётся работа над созданием нового проекта, который объединит идеи, заложенные в EPRD и LessFS. В итоге будет представлено работающее на уровне ядра Linux (в LessFS используется FUSE) высокопроизводительное блочное устройство, поддерживающее автоматическое объединение дубликатов данных.

исправить +27 +/–

Лицензия: CC-BY

Тип: Программы

Ключевые слова: eprd, ramdisk, linux, kernel

При перепечатке указание ссылки на opennet.ru обязательно

Обсуждение

Линейный вид | Ajax | Показать все | RSS

1.2, sashka_ua, 19:33, 05/04/2012 [ответить] [смотреть все]	+3 +/–
Все гениальное просто. :)

2.76, dvfv, 09:58, 07/04/2012 [^] [ответить] [смотреть все] [показать ветку]	+/–
Я бы не сказал Сначала система загружается с диска в ОЗУ, потом загружается это... весь текст скрыт [показать] [показать ветку]

3.77, Andrey, 10:29, 07/04/2012 [^] [ответить] [смотреть все]	+1 +/–
для windows 2003 std это нормальное решение если хотите заюзать более 4гб... весь текст скрыт [показать]

4.80, Forth, 22:44, 07/04/2012 [^] [ответить] [смотреть все]	–2 +/–
PAE появился в pentium pro. Это было до W2003.

5.82, Аноним, 00:19, 08/04/2012 [^] [ответить] [смотреть все]	+/–
2003 Std плевать хотел на PAE

6.88, Forth, 16:29, 08/04/2012 [^] [ответить] [смотреть все]	+/–
У вас какой-то другой 2003 Std.

6.90, Forth, 16:33, 08/04/2012 [^] [ответить] [смотреть все]	+/–
Вы правы, я ошибся Действительно PAE есть только в Enterprise и Datacenter ... весь текст скрыт [показать]

1.3, chemtech, 19:34, 05/04/2012 [ответить] [смотреть все]	+/–
Надо обязательно протестировать!!

1.4, name, 19:56, 05/04/2012 [ответить] [смотреть все]	–2 +/–
два года ждал такую штуку

1.5, Нанобот, 19:57, 05/04/2012 [ответить] [смотреть все]	+/–
интересно, а можно такого же добиться, сделав raid1 из ram-диска и обычного?

2.7, Dm_R, 20:02, 05/04/2012 [^] [ответить] [смотреть все] [показать ветку]	+3 +/–
Элементарно, сделав "обычный" диск write-mostly.

1.9, Tav, 20:13, 05/04/2012 [ответить] [смотреть все]	+11 +/–
Так ведь и для "обычных" дисковых ФС данные кэшируются в оперативной памяти. И барьеры также используются. А если оперативной памяти достаточно, обращения к диску для чтения могут быть достаточно редкими (я это ясно ощутил, когда проапгрейдился с 2 до 6 GB). Так в чем все-таки соль этого EPRD?

2.11, Lain_13, 20:19, 05/04/2012 [^] [ответить] [смотреть все] [показать ветку]	+1 +/–
Некоторые туда профиль фокса пихают.

3.19, Tav, 21:51, 05/04/2012 [^] [ответить] [смотреть все]	+/–
Помогает Вроде, и так нормально горячий запуск меньше секунды как раз за счет... весь текст скрыт [показать]

4.35, Lain_13, 01:50, 06/04/2012 [^] [ответить] [смотреть все]	+/–
Ну у некоторых он до сих пор секунд по 20-40 запускается, а уж если с сотней таб... весь текст скрыт [показать]

2.13, Аноним, 21:11, 05/04/2012 [^] [ответить] [смотреть все] [показать ветку]	+/–
Наверно, в дополнительной гибкости Можно кэшировать отдельные файлы, а не весь ... весь текст скрыт [показать] [показать ветку]

3.18, Tav, 21:48, 05/04/2012 [^] [ответить] [смотреть все]	+1 +/–
Тогда следовало именно об этом и писать в новости.

2.14, grondek, 21:32, 05/04/2012 [^] [ответить] [смотреть все] [показать ветку]	+/–
Это вы про домашиний компьютер говорите Там увеличение оперативки решает пробле... весь текст скрыт [показать] [показать ветку]

3.17, Tav, 21:47, 05/04/2012 [^] [ответить] [смотреть все]	+/–
Про домашний. Но речь не о свопе, а именно о кэше ФС.

2.20, антоним, 22:13, 05/04/2012 [^] [ответить] [смотреть все] [показать ветку]	+/–
Соль, судя по всему, в том что под кэш фс отводится память по остаточному принци... весь текст скрыт [показать] [показать ветку]

2.38, тоже Аноним, 08:51, 06/04/2012 [^] [ответить] [смотреть все] [показать ветку]	+1 +/–
Я, например, живо представил, как использовать такой диск при компиляции на нег... весь текст скрыт [показать] [показать ветку]

2.91, Michael Shigorin, 16:50, 08/04/2012 [^] [ответить] [смотреть все] [показать ветку]	+/–
Из подуманного попробовать впихнуть место для сборочных чрутов вместо tmpfs, ес... весь текст скрыт [показать] [показать ветку]

3.97, Алексей Поляков, 13:51, 09/04/2012 [^] [ответить] [смотреть все]	+1 +/–
Даже не столько ФС тормозит, сколько в юзерспейсе исторически много вызовов sync... весь текст скрыт [показать]

1.21, антиантоним, 22:32, 05/04/2012 [ответить] [смотреть все]	+/–
Но тогда решение ещё проще: добавить в ядро параметр "размер фиксированного кэша" - и вопрос решён без EPRD.

2.92, Michael Shigorin, 16:51, 08/04/2012 [^] [ответить] [смотреть все] [показать ветку]	+/–
и получен древний опёнок, где размер кэша при сборке задавался ... весь текст скрыт [показать] [показать ветку]

1.22, Rico, 22:52, 05/04/2012 [ответить] [смотреть все]	+/–
Очень полезный функционал, базу данных полностью в оперативу и сброс на SSD винт раз в час + UPS - можно неплохо разогнать работу с базой.

2.26, Anonymouse, 23:55, 05/04/2012 [^] [ответить] [смотреть все] [показать ветку]	+/–
Ну разве MS-SQL какой Нормальные базы тюнятся на много-рамы-в-кэш и без это... весь текст скрыт [показать] [показать ветку]

3.47, an., 12:15, 06/04/2012 [^] [ответить] [смотреть все]	+1 +/–
и Я что-то упустил ... весь текст скрыт [показать]

4.73, Аноним, 23:48, 06/04/2012 [^] [ответить] [смотреть все]	+/–
Да Будут разрабатывать порт MS-SQL для линукс чтобы было для чего применять EPR... весь текст скрыт [показать]

5.85, Аноним, 00:39, 08/04/2012 [^] [ответить] [смотреть все]	+/–
Скорее, допил wine под запуск mssql ... весь текст скрыт [показать]

2.81, Forth, 22:48, 07/04/2012 [^] [ответить] [смотреть все] [показать ветку]	+/–
На PostgreSQL с fsync off можно получить тот же эффект не плодя лишних сущност... весь текст скрыт [показать] [показать ветку]

3.86, Аноним, 00:39, 08/04/2012 [^] [ответить] [смотреть все]	+/–
А раз в час оно синкаться будет ... весь текст скрыт [показать]

4.89, Forth, 16:31, 08/04/2012 [^] [ответить] [смотреть все]	+/–
А зачем У вас же по условию задачи UPS ... весь текст скрыт [показать]

....нить скрыта, показать (7)

1.23, добрый дядя, 23:20, 05/04/2012 [ответить] [смотреть все]	+4 +/–
но ведь обычные файловые операции щедро кэшируются в Linux-е - это заметили все у кого много рамы и так... и без этой EPRD будем жить, в оффтопике с этим дела гораздо хуже кстати но буду рад если кому-то EPRD принесет пользу!

2.30, Аноним, 00:26, 06/04/2012 [^] [ответить] [смотреть все] [показать ветку]	+1 +/–
Linux с кэшированием - это весч если только софт не тупорылый как, к примеру, v... весь текст скрыт [показать] [показать ветку]

3.32, Аноним, 00:29, 06/04/2012 [^] [ответить] [смотреть все]	+1 +/–
Оу, забыл добавить EPRD - тоже весч Я давно что-то подобное хотел, а тут все... весь текст скрыт [показать]

1.27, yohel, 00:03, 06/04/2012 [ответить] [смотреть все]	+/–
интересно, насколько в перспективе возможна установка дистрибутива линукса да еще и с частью хоума на подобный ram-drive-fs раздел?

2.36, Lain_13, 01:59, 06/04/2012 [^] [ответить] [смотреть все] [показать ветку]	+/–
Купи себе SSD, например Тогда в рам-драйв можно будет только home слить и держ... весь текст скрыт [показать] [показать ветку]

3.71, yohel, 22:23, 06/04/2012 [^] [ответить] [смотреть все]	+/–
ssd в мой ноут стоит дорого А вот 8 гиг оперативы, из которых 4 можно отвести п... весь текст скрыт [показать]

3.93, Michael Shigorin, 16:54, 08/04/2012 [^] [ответить] [смотреть все]	+/–
Да нормальные SSD и так не вызывают желания что-то ещё разгонять, чаще начинает ... весь текст скрыт [показать]

1.29, Аноним, 00:23, 06/04/2012 [ответить] [смотреть все]	+1 +/–
Хочу плату расширения чтобы можно было туда 256 планок памяти DDR3 можно было на... весь текст скрыт [показать]

2.31, кевин, 00:26, 06/04/2012 [^] [ответить] [смотреть все] [показать ветку]	+/–
данафейхоа? вон под заказ тебе ссдху на 40 ТБ вкорячат за бешенобабло.

2.33, Stax, 00:50, 06/04/2012 [^] [ответить] [смотреть все] [показать ветку]	+/–
Вы в своем уме Вы представляете, какой и сколько контроллер памяти нужен для ... весь текст скрыт [показать] [показать ветку]

2.34, Oleksiy Kovyrin, 01:36, 06/04/2012 [^] [ответить] [смотреть все] [показать ветку]	+/–
FusionIO?

2.39, ryoken, 09:03, 06/04/2012 [^] [ответить] [смотреть все] [показать ветку]	+1 +/–
Благородный дон представляет себе, СКОЛЬКО физически геометрически места сия куч... весь текст скрыт [показать] [показать ветку]

3.75, Аноним, 07:13, 07/04/2012 [^] [ответить] [смотреть все]	+/–
Ну, в здоровый четырехъюнитовый сервак с восемью процами серии Xeon E7 можно впи... весь текст скрыт [показать]

2.94, Michael Shigorin, 18:34, 08/04/2012 [^] [ответить] [смотреть все] [показать ветку]	+/–
Если попроще, то уже есть http www pcper com reviews Storage DDRdrive-hits-gr... весь текст скрыт [показать] [показать ветку]

1.40, Аноним, 09:21, 06/04/2012 [ответить] [смотреть все]	+/–
Интересная идея Кажется, я такую хочу Это ж нехило можно подпереть любую... весь текст скрыт [показать]

1.41, alex.h, 10:18, 06/04/2012 [ответить] [смотреть все]	+/–
Наверно для систем на флеш-дисках полезная вещь была бы, если монтировать через эту прослойку, то и флеш дольше проживёт и данные более-менее в сохранности. Вот только можно ли её использовать для /, /boot, /etc?

2.44, Ваня, 11:02, 06/04/2012 [^] [ответить] [смотреть все] [показать ветку]	–1 +/–
Глупость Запись - на диск - в ОП Чтение - из ОП С учётом того что скорость чт... весь текст скрыт [показать] [показать ветку]

3.49, тоже Аноним, 12:42, 06/04/2012 [^] [ответить] [смотреть все]	+2 +/–
Ваня, можно вас попросить вешайте, пожалуйста, такое предупреждение перед кажды... весь текст скрыт [показать]

4.50, Ваня, 12:46, 06/04/2012 [^] [ответить] [смотреть все]	–1 +/–
Запись на SSD случается также часто, как и запись на RAM-диск, чтение с диска не... весь текст скрыт [показать]

5.52, Аноним, 12:49, 06/04/2012 [^] [ответить] [смотреть все]	+1 +/–
Запись на накопитель в EPRD делается порциями, в зависимости от настроек по де... весь текст скрыт [показать]

5.95, Michael Shigorin, 18:40, 08/04/2012 [^] [ответить] [смотреть все]	+/–
У нас на линуксе это широко тюнится proc sys vm dirty_writeback_centisecs, pr... весь текст скрыт [показать]

6.99, Алексей Поляков, 14:03, 09/04/2012 [^] [ответить] [смотреть все]	+/–
commit 81600 тогда уж а вообще для скорости - это tune2fs -o journal_data_writeb... весь текст скрыт [показать]

7.100, Michael Shigorin, 00:12, 10/04/2012 [^] [ответить] [смотреть все]	+/–
Не-не, привёл для home -- для var ftp с локальным зеркалом сизифа совсем други... весь текст скрыт [показать]

2.78, Pilat, 13:07, 07/04/2012 [^] [ответить] [смотреть все] [показать ветку]	+1 +/–
скорее пользу можно ждать, используя прослойку между HDD и кэшем на SSD вместо о... весь текст скрыт [показать] [показать ветку]

....нить скрыта, показать (8)

1.68, SuseUser, 18:38, 06/04/2012 [ответить] [смотреть все]	+/–
Жаль раньше не знал про эту приблуду. Совсем недавно решал задачу с клиентскими компьютерами с флешками вместо ЖД: / на squashfs /etc и /home на nfs, ну а /tmp на tmpfs. Вот и ломал голову с /var, куда бы его деть

1.69, дядя, 19:21, 06/04/2012 [ответить] [смотреть все]	+/–
Тут основной вопрос - как оно восстанавливается после загрузки. Если полностью надо ждать чтения с диска, то фигня.

1.70, Аноним, 19:32, 06/04/2012 [ответить] [смотреть все]	+/–
Единственная более-менее понятная и обнадеживающая новость А смысл EPRD непонят... весь текст скрыт [показать]

1.72, Аноним, 23:13, 06/04/2012 [ответить] [смотреть все]	+/–
Давно ждал. Вот если grub еще научится ядро грузить из такого диска.

2.74, Aleks Revo, 02:16, 07/04/2012 [^] [ответить] [смотреть все] [показать ветку]	+/–
Вопрос зачем Не проще ли ядро читать с обычного раздела, если чтение при заг... весь текст скрыт [показать] [показать ветку]

2.84, Аноним, 00:37, 08/04/2012 [^] [ответить] [смотреть все] [показать ветку]	+/–
А в чем профит Лучше уж boot на ssd вынести ... весь текст скрыт [показать] [показать ветку]

1.79, Аноним, 21:00, 07/04/2012 [ответить] [смотреть все]	+/–
вопрос почти не втему существует ли, в Линуксе для десктопа ускорение подобно... весь текст скрыт [показать]

2.83, Аноним, 00:37, 08/04/2012 [^] [ответить] [смотреть все] [показать ветку]	+/–
Нет. Спасибо Adobe за это!

3.87, тоже Аноним, 14:17, 08/04/2012 [^] [ответить] [смотреть все]	+1 +/–
Вопрос был про другой флеш - про флешку, которую Винды научились использовать ка... весь текст скрыт [показать]

4.96, Michael Shigorin, 18:44, 08/04/2012 [^] [ответить] [смотреть все]	+/–
Intel TurboMemory 1 в линуксе до сих пор не поддерживается у меня под руками г... весь текст скрыт [показать]

2.98, Алексей Поляков, 13:55, 09/04/2012 [^] [ответить] [смотреть все] [показать ветку]	+1 +/–
Это по-моему и в винде новой уже выпилили в связи с неудачностью изначальной иде... весь текст скрыт [показать] [показать ветку]

Добавить комментарий