The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]



Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Режим отображения отдельной подветви беседы [ Отслеживать ]

Оглавление

Релиз файлового менеджера Midnight Commander 4.8.4 с поддерж..., opennews (??), 19-Июл-12, (0) [смотреть все]

Сообщения [Сортировка по времени | RSS]


11. "Релиз файлового менеджера Midnight Commander 4.8.4 с поддерж..."  +/
Сообщение от бедный буратино (ok), 19-Июл-12, 14:52 
Увы, альтернативы нет. Если зеркалить несколько десятков гигабайт в нескольких тысячах файлов через rsync, когда различий мегабайт на 500-2000, rsync сначала проверяет идентичность каждого файла :(
Ответить | Правка | Наверх | Cообщить модератору

13. "Релиз файлового менеджера Midnight Commander 4.8.4 с поддерж..."  +1 +/
Сообщение от Andrey Mitrofanov (?), 19-Июл-12, 15:01 
>rsync сначала проверяет идентичность каждого файла :(

Ты ж ему сам злобно _не _даёте читать/писать время правки файлов. И виноват, конечно, rsync.

Ответить | Правка | Наверх | Cообщить модератору

14. "Релиз файлового менеджера Midnight Commander 4.8.4 с поддерж..."  +/
Сообщение от бедный буратино (ok), 19-Июл-12, 15:15 
> Ты ж ему сам злобно _не _даёте читать/писать время правки файлов. И виноват, конечно, rsync.

Я тут вообще причём? Да и чтение времени-правки - разве дело быстрое?

Впрочем, заявлением, полным снобизмом и пустым фактами, можно что угодно заявить. Оставлю эти аргументы на вашей совести. :)

Ответить | Правка | Наверх | Cообщить модератору

17. "Релиз файлового менеджера Midnight Commander 4.8.4 с поддерж..."  +/
Сообщение от Lain_13email (?), 19-Июл-12, 16:14 
> Я тут вообще причём? Да и чтение времени-правки - разве дело быстрое?

Зависит от количества файлов, но всяко значительно (на порядки) быстрее чем побайтовое сравнение.

Ответить | Правка | Наверх | Cообщить модератору

18. "Релиз файлового менеджера Midnight Commander 4.8.4 с поддерж..."  +/
Сообщение от Lain_13email (?), 19-Июл-12, 16:16 
И да, я так зеркалил 250 Гб видео и фотографий. Причём видео там было где-то на 100 Гб максимум (представь теперь сколько там фоточек).
Ответить | Правка | Наверх | Cообщить модератору

22. "Релиз файлового менеджера Midnight Commander 4.8.4 с поддерж..."  +1 +/
Сообщение от Пыщ Я Бетмен (?), 19-Июл-12, 16:31 
> там было где-то на 100 Гб максимум (представь теперь сколько там
> фоточек).

Месяца 3 средне активной съёмки в RAW ?

Ответить | Правка | Наверх | Cообщить модератору

205. "Релиз файлового менеджера Midnight Commander 4.8.4 с поддерж..."  +/
Сообщение от Аноним (-), 20-Июл-12, 19:34 
> И да, я так зеркалил 250 Гб видео и фотографий. Причём видео
> там было где-то на 100 Гб максимум (представь теперь сколько там
> фоточек).

У меня сейчас есть сервер 400ГБ, 7,7млн инодов, за сутки разница в дельте набегает в 5ГБ, синхрон идет 3-5 часов. Данные берутся с зеркала построенного на gmirror на сас-винтах.

Ответить | Правка | К родителю #18 | Наверх | Cообщить модератору

70. "Релиз файлового менеджера Midnight Commander 4.8.4 с поддерж..."  +1 +/
Сообщение от Andrey Mitrofanov (?), 19-Июл-12, 23:26 
**>>> Если зеркалить несколько десятков гигабайт в нескольких тысячах файлов через rsync, когда различий мегабайт на 500-2000,


>> Ты ж ему сам злобно _не _даёте читать/писать время правки файлов. И виноват, конечно, rsync.
> Я тут вообще причём? Да и чтение времени-правки - разве дело быстрое?

Мопед не твой? Аааааа.... Ну, извини, я ж не понял сразу-то.

У мну-то всё больше вот так:

$ time rsync -a --delete --progress dir /some/other/path/to/
sending incremental file list

sent 657426 bytes  received 3812 bytes  1322476.00 bytes/sec
total size is 9214704180  speedup is 13935.53

real    0m0.264s
user    0m0.196s
sys     0m0.232s
$ find dir -type f |wc -l
24302
$ _

> Впрочем, заявлением, полным снобизмом и пустым фактами, можно что угодно заявить. Оставлю эти аргументы на вашей совести. :)

Да ну!

Ответить | Правка | К родителю #14 | Наверх | Cообщить модератору

74. "Релиз файлового менеджера Midnight Commander 4.8.4 с поддерж..."  +/
Сообщение от Аноним (-), 20-Июл-12, 01:53 
> Я тут вообще причём? Да и чтение времени-правки - разве дело быстрое?

Конечное же FTP магическим образом или человек за монитором сделает это быстрее :) </sarcasm>

Ответить | Правка | К родителю #14 | Наверх | Cообщить модератору

15. "Релиз файлового менеджера Midnight Commander 4.8.4 с поддерж..."  +/
Сообщение от Crazy Alex (ok), 19-Июл-12, 15:35 
> Увы, альтернативы нет. Если зеркалить несколько десятков гигабайт в нескольких тысячах
> файлов через rsync, когда различий мегабайт на 500-2000, rsync сначала проверяет
> идентичность каждого файла :(

Хм, я б на такое дело что-то на inotify накостылил, чтобы писало список реальных изменений. Или может готовое есть... На каком-нибудь перле/питоне должно писаться за пару часов максимум.

Ответить | Правка | К родителю #11 | Наверх | Cообщить модератору

21. "Релиз файлового менеджера Midnight Commander 4.8.4 с поддерж..."  +/
Сообщение от Пыщ Я Бетмен (?), 19-Июл-12, 16:27 
Какая бредень... rsync при правильном наборе ключей сверяет список файлов по последнему времени правки и размерам, если что-то не сошлось (т.е. файл изменился) - начинает искать изменения в файлах, сверяя файлы не побайтно, а контрольные суммы отдельных кусков - минимум трафика при максимуме возможной скорости по сети. Правильнее чем rsync для кучи файлов только rsync со снапшота (т.е. не блокирующий дальнейшую работу с файлами). Или если на то пошло, зеркалить по сети весь девайс (iSCSI, ZFS или что там ещё в моде).
Ответить | Правка | Наверх | Cообщить модератору

34. "Релиз файлового менеджера Midnight Commander 4.8.4 с поддерж..."  +/
Сообщение от PnD (??), 19-Июл-12, 18:26 
  Насчет rsync я чего не догоняю: оно девайс в обычный файл может переливать? (Типовая задача при бэкапе стораджа с виртуалками).
  А то приходится ssh $host "cat $dev" > $file, но такая схема только нули пожмет по дороге, ну еще можно sparse на выходе через известный трюк с cp stdin.
Ответить | Правка | Наверх | Cообщить модератору

224. "Релиз файлового менеджера Midnight Commander 4.8.4 с поддерж..."  +/
Сообщение от Аноним (-), 21-Июл-12, 02:43 
>   Насчет rsync я чего не догоняю: оно девайс в обычный
> файл может переливать? (Типовая задача при бэкапе стораджа с виртуалками).
>   А то приходится ssh $host "cat $dev" > $file, но
> такая схема только нули пожмет по дороге, ну еще можно sparse
> на выходе через известный трюк с cp stdin.

а чего мешает cat $dev передать конвеером на gzip и уже погезипленный контент передавать по сети?

Ответить | Правка | Наверх | Cообщить модератору

237. "Релиз файлового менеджера Midnight Commander 4.8.4 с поддерж..."  +/
Сообщение от Michael Shigorinemail (ok), 21-Июл-12, 10:51 
>> Насчет rsync я чего не догоняю: оно девайс в обычный файл может переливать?

Насколько понимаю, нет -- либо как device file, либо skipping non-regular file.

>> (Типовая задача при бэкапе стораджа с виртуалками).

Если они на ФС лежат, а не блокдевайсами раздаются -- стоит посмотреть ту же bacula.  Вот если кучка блокдевайсов, то сходу не знаю...

> а чего мешает cat $dev передать конвеером на gzip

На всякий: это useless use of cat(1), т.к. достаточно gzip < $dev.

Ответить | Правка | Наверх | Cообщить модератору

247. "Релиз файлового менеджера Midnight Commander 4.8.4 с поддерж..."  +/
Сообщение от Аноним (-), 21-Июл-12, 18:06 
>> а чего мешает cat $dev передать конвеером на gzip
> На всякий: это useless use of cat(1), т.к. достаточно gzip < $dev.

кстати, да. верное замечание.

Ответить | Правка | Наверх | Cообщить модератору

270. "Релиз файлового менеджера Midnight Commander 4.8.4 с поддерж..."  +/
Сообщение от PavelR (ok), 22-Июл-12, 06:57 
>>> Насчет rsync я чего не догоняю: оно девайс в обычный файл может переливать?
> Насколько понимаю, нет -- либо как device file, либо skipping non-regular file.

Может, но надо патчить:  https://www.opennet.ru/openforum/vsluhforumID3/85637.html#269 (эта же тема)

Ответить | Правка | К родителю #237 | Наверх | Cообщить модератору

277. "Релиз файлового менеджера Midnight Commander 4.8.4 с поддерж..."  +/
Сообщение от Michael Shigorinemail (ok), 22-Июл-12, 18:19 
>>>> оно девайс в обычный файл может переливать?
>> Насколько понимаю, нет
> Может, но надо патчить:

В rsync-3.0.9.tar.gz не нашёл, но патчик про --copy-devices упоминается:
http://bugs.debian.org/cgi-bin/bugreport.cgi?bug=509335
http://lists.samba.org/archive/rsync/2010-June/025164.html

Спасибо, не знал.

Ответить | Правка | Наверх | Cообщить модератору

281. "Релиз файлового менеджера Midnight Commander 4.8.4 с поддерж..."  +/
Сообщение от PavelR (ok), 23-Июл-12, 08:16 

Да, возможно ошибся, давненько смотрел это дело. На оф. фтп лежит файлик rsync-patches, наверное они собрали (вынесли) патчи в него. Факт в том, что куча патчей собрана и распространяется с оф сайта сборкой, это здорово =)
Ответить | Правка | Наверх | Cообщить модератору

269. "Релиз файлового менеджера Midnight Commander 4.8.4 с поддерж..."  +/
Сообщение от PavelR (ok), 22-Июл-12, 06:56 
В исходниках рсинка есть каталог с патчами.
В нем есть патч, чтобы рсинкать девайс в файл. И много чего еще интересного.
Ответить | Правка | К родителю #34 | Наверх | Cообщить модератору

38. "Релиз файлового менеджера Midnight Commander 4.8.4 с поддерж..."  +/
Сообщение от Crazy Alex (ok), 19-Июл-12, 19:41 
Ну, на несколько тысяч - может и бредень. А вот если у вас, как у меня было, структура каталогов с парой миллионов файлов из которых модифицируется максимум пара десятков тысяч (но неизвестно, каких именно) - это резко становится не бредень. Там больше ресурсов на доступ к файлу идёт чем на всё остальное вместе взятое. Мониторить изменения в этом случае много выгоднее.
Ответить | Правка | К родителю #21 | Наверх | Cообщить модератору

39. "Релиз файлового менеджера Midnight Commander 4.8.4 с поддерж..."  +/
Сообщение от Аноним (-), 19-Июл-12, 19:49 
В давние времена на нетварьке был ресурс. Мало того что всё это тормозило дико из-за количества пользователей, так ещё иногда и ошибки сыпало. Ничем другим кроме рсинка оттуда данные, нормально, вытащить не удалось. Просто не доходило до копирования, либо при ошибке отваливалось. А так - за выходные скопировалось. А потом только изменения синкнул. И всё это оказалось на виндовой шаре.
Ответить | Правка | Наверх | Cообщить модератору

43. "Релиз файлового менеджера Midnight Commander 4.8.4 с поддерж..."  +/
Сообщение от Crazy Alex (ok), 19-Июл-12, 20:11 
Да я ж не спорю, что для собственно синхронизации штука хорошая. А вот что именно синхронизировать иногда есть смысл сказать ему явно. Именно так было сделано на одном большом проекте - но там прямо в коде, изменявшем файлы, писались логи для RSync (у него для этого свой формат есть), и по этим логам изменения разбрасывались на слейвы.
Ответить | Правка | Наверх | Cообщить модератору

225. "Релиз файлового менеджера Midnight Commander 4.8.4 с поддерж..."  +/
Сообщение от Аноним (-), 21-Июл-12, 02:46 
> Ну, на несколько тысяч - может и бредень. А вот если у
> вас, как у меня было, структура каталогов с парой миллионов файлов
> из которых модифицируется максимум пара десятков тысяч (но неизвестно, каких именно)
> - это резко становится не бредень. Там больше ресурсов на доступ
> к файлу идёт чем на всё остальное вместе взятое. Мониторить изменения
> в этом случае много выгоднее.

2млн - ерунда. https://www.opennet.ru/openforum/vsluhforumID3/85637.html#205

Ответить | Правка | К родителю #38 | Наверх | Cообщить модератору

73. "Релиз файлового менеджера Midnight Commander 4.8.4 с поддерж..."  +2 +/
Сообщение от Аноним (-), 20-Июл-12, 01:08 
> Увы, альтернативы нет. Если зеркалить несколько десятков гигабайт в нескольких тысячах
> файлов через rsync, когда различий мегабайт на 500-2000, rsync сначала проверяет
> идентичность каждого файла :(

man rsync не пробовал читать?

Ответить | Правка | К родителю #11 | Наверх | Cообщить модератору

75. "Релиз файлового менеджера Midnight Commander 4.8.4 с поддерж..."  +/
Сообщение от Аноним (-), 20-Июл-12, 01:54 
> man rsync не пробовал читать?

У него ник такой :)

Ответить | Правка | Наверх | Cообщить модератору

100. "Релиз файлового менеджера Midnight Commander 4.8.4 с поддерж..."  +/
Сообщение от Andrey Mitrofanov (?), 20-Июл-12, 07:54 
>> man rsync не пробовал читать?
> У него ник такой :)

Продал man, продал букварь. Ну, да они были ~полны снобизмом и пустым фактами, могли что угодно заявить~!

Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру