The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]



"Поиск возможных решений по хранению данных"
Вариант для распечатки  
Пред. тема | След. тема 
Форум Оптимизация и Промышленные системы (Разное)
Изначальное сообщение [ Отслеживать ]

"Поиск возможных решений по хранению данных"  +/
Сообщение от Проходил мимо (?), 11-Фев-19, 09:49 
Здравствуйте.

Подскажите пожалуйста, существуют ли какие-либо решения для организации вытесняющего хранения больших объемов данных, т.е. хранения, при котором старые и/или мало используемые данные автоматически вытесняются с быстрого хранилища на медленные и относительно дешевые средства хранения данных (в частности на ленточный накопитель)?

В идеале, на мой взгляд, схема выглядит примерно так: по прошествии какого-то времени не использования файл с быстрого хранилища автоматически перемещается на ленточку или в иное медленное но дешевое хранилище, при этом где-то должна оставаться информация о том, что этот файл переместился и где его теперь искать. При попытке же обратится к перемещенному файлу он должен прозрачно для пользователя либо переместиться обратно, либо стать доступным для пользователя каким-то иным способом.

Заранее спасибо.

Ответить | Правка | Cообщить модератору

Оглавление

Сообщения по теме [Сортировка по времени | RSS]


1. "Поиск возможных решений по хранению данных"  +/
Сообщение от anonymous (??), 12-Фев-19, 04:08 
>[оверквотинг удален]
> используемые данные автоматически вытесняются с быстрого хранилища на медленные и относительно
> дешевые средства хранения данных (в частности на ленточный накопитель)?
> В идеале, на мой взгляд, схема выглядит примерно так: по прошествии какого-то
> времени не использования файл с быстрого хранилища автоматически перемещается на ленточку
> или в иное медленное но дешевое хранилище, при этом где-то должна
> оставаться информация о том, что этот файл переместился и где его
> теперь искать. При попытке же обратится к перемещенному файлу он должен
> прозрачно для пользователя либо переместиться обратно, либо стать доступным для пользователя
> каким-то иным способом.
> Заранее спасибо.

cron, find, mv, ln. Ключи по вкусу.

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

2. "Поиск возможных решений по хранению данных"  +1 +/
Сообщение от ыы (?), 12-Фев-19, 12:52 
>[оверквотинг удален]
>> дешевые средства хранения данных (в частности на ленточный накопитель)?
>> В идеале, на мой взгляд, схема выглядит примерно так: по прошествии какого-то
>> времени не использования файл с быстрого хранилища автоматически перемещается на ленточку
>> или в иное медленное но дешевое хранилище, при этом где-то должна
>> оставаться информация о том, что этот файл переместился и где его
>> теперь искать. При попытке же обратится к перемещенному файлу он должен
>> прозрачно для пользователя либо переместиться обратно, либо стать доступным для пользователя
>> каким-то иным способом.
>> Заранее спасибо.
> cron, find, mv, ln. Ключи по вкусу.

очень интеесно. а как вы делаете линки на содержимое гдето внутри ленточки?

Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

3. "Поиск возможных решений по хранению данных"  +/
Сообщение от DeerFriend (?), 12-Фев-19, 13:53 
Вы цены на ленточные библиотеки когда последний раз видели? Кто вам сказал, что они дешевые?

Возможно поможет, у ceph/gluster есть tiering. Можно настроить для часто используемых файлов ssd, для остальных hdd. Можно даже разбить hdd на быстрые 10/15к, и медленные 7200/5400 оборотов.

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

4. "Поиск возможных решений по хранению данных"  +/
Сообщение от fantom (??), 15-Фев-19, 10:57 
>[оверквотинг удален]
> используемые данные автоматически вытесняются с быстрого хранилища на медленные и относительно
> дешевые средства хранения данных (в частности на ленточный накопитель)?
> В идеале, на мой взгляд, схема выглядит примерно так: по прошествии какого-то
> времени не использования файл с быстрого хранилища автоматически перемещается на ленточку
> или в иное медленное но дешевое хранилище, при этом где-то должна
> оставаться информация о том, что этот файл переместился и где его
> теперь искать. При попытке же обратится к перемещенному файлу он должен
> прозрачно для пользователя либо переместиться обратно, либо стать доступным для пользователя
> каким-то иным способом.
> Заранее спасибо.

В LVM cache можно сделать и к разделу "прицепить"

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема


  Закладки на сайте
  Проследить за страницей
Created 1996-2019 by Maxim Chirkov  
ДобавитьПоддержатьВебмастеруГИД  
Hosting by Ihor