forum.opennet.ru - "FSBackup" (13)

форумы

помощь

поиск

регистрация

майллист

вход/выход

слежка

"FSBackup"

Форум Открытые системы на сервере (Резервное копирование / FreeBSD)
Вариант для распечатки		Пред. тема \| След. тема
Изначальное сообщение		[ Отслеживать ]

"FSBackup"	+/–
Сообщение от Yuna on 21-Янв-14, 12:55
Доброго времени суток. Не могу понять проблему с FSBackup: У меня есть папка /home/user/files/0 и тут куча папок куда складируются файлы. Проблема: у меня почему-то fsbackup бекапит всю папку, если в нее положили новый файл. Хотя по идее, должен-же бекапить только новые файлы из папок? __DATA__ /home/user/ /home/user/files/ [21.01.2014 11:50 root@server] /home/user/files/0 # ls total 7160 43737549 drwxrwxrwx 102 root user 1536 Jan 15 15:49 ./ 43644481 drwxr-xr-x 3 user user 512 Jan 18 12:36 ../ 43737566 drwxrwxrwx 2 root user 72704 Jan 21 09:29 0/ 43737567 drwxrwxrwx 2 root user 72192 Jan 21 09:30 1/ ... 43737564 drwxrwxrwx 2 root user 73216 Jan 21 09:26 98/ 43737565 drwxrwxrwx 2 root user 72704 Jan 21 09:27 99/ При этом файлы в папках датированы, даже за 2011-й год... [сообщение отредактировано модератором]
Ответить \| Правка \| Cообщить модератору

Оглавление

FSBackup, Farmut, 13:54 , 21-Янв-14, (1)

FSBackup, Yuna, 13:56 , 21-Янв-14, (2)

FSBackup, Farmut, 14:01 , 21-Янв-14, (3)

FSBackup, Yuna, 14:02 , 21-Янв-14, (4)

FSBackup, Farmut, 14:09 , 21-Янв-14, (5)

FSBackup, Yuna, 10:52 , 22-Янв-14, (9)

FSBackup, Maxim Chirkov, 19:08 , 21-Янв-14, (6)

FSBackup, Yuna, 19:17 , 21-Янв-14, (7)

FSBackup, Maxim Chirkov, 19:18 , 22-Янв-14, (11)

FSBackup, Yuna, 10:11 , 24-Янв-14, (12)

FSBackup, Maxim Chirkov, 14:14 , 24-Янв-14, (13)

FSBackup, Yuna, 14:27 , 24-Янв-14, (14)

FSBackup, Yuna, 12:29 , 22-Янв-14, (10)

Сообщения по теме [Сортировка по времени | RSS]

1. "FSBackup" +/–

Сообщение от Farmut on 21-Янв-14, 13:54

Если необходимо бекапить только одну папку и только изменяющиеся файлы, то имеет смысл использовать, что то попроще FSbackup. Например rsync: /usr/bin/rsync -acuq --delete /что/
/куда/ . Если же все несколько сложнее, то необходимо смотреть конфиг FSbackup, так как вывод ls ни о чем не говорит.

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

2. "FSBackup" +/–

Сообщение от Yuna on 21-Янв-14, 13:56

> Если необходимо бекапить только одну папку и только изменяющиеся файлы, то имеет
> смысл использовать, что то попроще FSbackup. Например rsync: /usr/bin/rsync -acuq --delete
> /что/
> /куда/ . Если же все несколько сложнее, то необходимо смотреть конфиг FSbackup,
> так как вывод ls ни о чем не говорит.
Просто пытаюсь понять: это баг FSBackup, что он бекапит всю папку т.к у нее изменилась дата из-за нового файла внутри или так и должно быть.
rsync - 600К мелких файлов = смерть =)

Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

3. "FSBackup" +/–

Сообщение от Farmut on 21-Янв-14, 14:01

600К файлов это ежедневное изменение?

Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

4. "FSBackup" +/–

Сообщение от Yuna on 21-Янв-14, 14:02

> 600К файлов это ежедневное изменение?
Нет, к счастью =)
Просто я делаю бекап не только этой папки.

Ответить | Правка | ^ к родителю #3 | Наверх | Cообщить модератору

5. "FSBackup" +/–

Сообщение от Farmut on 21-Янв-14, 14:09

Тогда не вижу проблем с rsync. Он сделает бекап общий 1 раз, а потом будет копировать только файлы которые подверглись изменению. Файлы которые не изменяются копироваться не будут 2й раз. Насколько я понял, вам подобный вариант и требуется. Можно и несколько папок скормить по очереди.

Ответить | Правка | ^ к родителю #4 | Наверх | Cообщить модератору

9. "FSBackup" +/–

Сообщение от Yuna on 22-Янв-14, 10:52

> Тогда не вижу проблем с rsync. Он сделает бекап общий 1 раз,
> а потом будет копировать только файлы которые подверглись изменению. Файлы которые
> не изменяются копироваться не будут 2й раз. Насколько я понял, вам
> подобный вариант и требуется. Можно и несколько папок скормить по очереди.
Я думал над этим, но во первых мне не нравится результат бекапа - не архив + инкременты, а папка синхронизированная.
Во вторых у меня сам по себе rsync via ssh не завелся. Потому не иду дальше.

Ответить | Правка | ^ к родителю #5 | Наверх | Cообщить модератору

6. "FSBackup" +/–

Сообщение от Maxim Chirkov (ok) on 21-Янв-14, 19:08

Наиболее вероятно не создана директория с кэшем для сохранения индексных .db-файлов, поэтому так как данные о прошлом состоянии не сохраняются, каждый раз архив создаётся с нуля. Или в файле конфигурации что-то не так настроено, например число итераций.
В каком режиме делается бэкап (локальный, удалённый, синхронизация) ?

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

7. "FSBackup" +/–

Сообщение от Yuna on 21-Янв-14, 19:17

> Наиболее вероятно не создана директория с кэшем для сохранения индексных .db-файлов, поэтому
> так как данные о прошлом состоянии не сохраняются, каждый раз архив
> создаётся с нуля. Или в файле конфигурации что-то не так настроено,
> например число итераций.
> В каком режиме делается бэкап (локальный, удалённый, синхронизация) ?
В том и дело - что не с нуля каждый раз.
Все остальные папки бекапятся как положено в инкременте.
Дело именно в этой папке (files).

Ответить | Правка | ^ к родителю #6 | Наверх | Cообщить модератору

11. "FSBackup" +/–

Сообщение от Maxim Chirkov (ok) on 22-Янв-14, 19:18

> Все остальные папки бекапятся как положено в инкременте.
> Дело именно в этой папке (files).
Т.е. есть куча директорий, в том числе /home/user/files/
если изменить один файл в  /home/user/files/123, то в бэкап копируется всё содержимое /home/user/files/123 ? Время модификации остальных файлов в этой директории точно не меняется ? В генерируемом для каждого бэкапа list-файле перечисляются все файлы или только имя директории ?
Покажите полный конфиг, вырезав от туда параметры доступа.
В вашем примере указано:
__DATA__
/home/user/
/home/user/files/
Если оставить
__DATA__
/home/user/
ситуация изменится ?

Ответить | Правка | ^ к родителю #7 | Наверх | Cообщить модератору

12. "FSBackup" +/–

Сообщение от Yuna on 24-Янв-14, 10:11

>[оверквотинг удален]
> Покажите полный конфиг, вырезав от туда параметры доступа.
> В вашем примере указано:
> __DATA__
> /home/user/
> /home/user/files/
> Если оставить
> __DATA__
> /home/user/
> ситуация изменится ?
> В генерируемом для каждого бэкапа list-файле перечисляются все файлы или только имя директории ?
Все файлы что попадают в бекап туда и пишут в т.ч и длиннющий список из /files
>Время модификации остальных файлов в этой директории точно не меняется?
Да точно. Проверял.
Полный конфиг:
http://pastebin.com/vspJF8NH
Нет, ситуация не менялась.
Я даже пробовал !/home/folder/files
Ситуацию меняло замена timesize на md5, но это накладно!

Ответить | Правка | ^ к родителю #11 | Наверх | Cообщить модератору

13. "FSBackup" +/–

Сообщение от Maxim Chirkov (ok) on 24-Янв-14, 14:14

> Нет, ситуация не менялась.
> Я даже пробовал !/home/folder/files
Т.е. после  !/home/folder/files  в бэкап продолжали попадать файлы из /home/folder/files
/home/folder/files и /home/folder в локальной ФС или что-то смонтированное с другого хоста Какая файловая система используется и ОС ?

Ответить | Правка | ^ к родителю #12 | Наверх | Cообщить модератору

14. "FSBackup" +/–

Сообщение от Yuna on 24-Янв-14, 14:27

>> Нет, ситуация не менялась.
>> Я даже пробовал !/home/folder/files
> Т.е. после  !/home/folder/files  в бэкап продолжали попадать файлы из /home/folder/files
Угу
> /home/folder/files и /home/folder в локальной ФС или что-то смонтированное с другого хоста
> Какая файловая система используется и ОС ?
FreeBSD colocation 8.3-RELEASE FreeBSD 8.3-RELEASE #0: Mon Apr  9 21:23:18 UTC 2012     root@mason.cse.buffalo.edu:/usr/obj/usr/src/sys/GENERIC  amd64
/dev/ad6s1a on / (ufs, local)
devfs on /dev (devfs, local, multilabel)
/dev/ad6s1e on /tmp (ufs, local, noatime, soft-updates)
/dev/ad6s1f on /usr (ufs, local, noatime, soft-updates)
/dev/ad6s1d on /var (ufs, local, noatime, soft-updates)
linprocfs on /usr/compat/linux/proc (linprocfs, local)

Ответить | Правка | ^ к родителю #13 | Наверх | Cообщить модератору

10. "FSBackup" +/–

Сообщение от Yuna on 22-Янв-14, 12:29

> В каком режиме делается бэкап (локальный, удалённый, синхронизация) ?
Удалённый, FTP

Ответить | Правка | ^ к родителю #6 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема

Партнёры:

Хостинг:

Закладки на сайте
Проследить за страницей

Created 1996-2025 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру

1. "FSBackup"	+/–
Сообщение от Farmut on 21-Янв-14, 13:54
Если необходимо бекапить только одну папку и только изменяющиеся файлы, то имеет смысл использовать, что то попроще FSbackup. Например rsync: /usr/bin/rsync -acuq --delete /что/ /куда/ . Если же все несколько сложнее, то необходимо смотреть конфиг FSbackup, так как вывод ls ни о чем не говорит.
Ответить \| Правка \| ^ к родителю #0 \| Наверх \| Cообщить модератору


	2. "FSBackup"	+/–
	Сообщение от Yuna on 21-Янв-14, 13:56
	> Если необходимо бекапить только одну папку и только изменяющиеся файлы, то имеет > смысл использовать, что то попроще FSbackup. Например rsync: /usr/bin/rsync -acuq --delete > /что/ > /куда/ . Если же все несколько сложнее, то необходимо смотреть конфиг FSbackup, > так как вывод ls ни о чем не говорит. Просто пытаюсь понять: это баг FSBackup, что он бекапит всю папку т.к у нее изменилась дата из-за нового файла внутри или так и должно быть. rsync - 600К мелких файлов = смерть =)
	Ответить \| Правка \| ^ к родителю #1 \| Наверх \| Cообщить модератору


	3. "FSBackup"	+/–
	Сообщение от Farmut on 21-Янв-14, 14:01
	600К файлов это ежедневное изменение?
	Ответить \| Правка \| ^ к родителю #2 \| Наверх \| Cообщить модератору


	4. "FSBackup"	+/–
	Сообщение от Yuna on 21-Янв-14, 14:02
	> 600К файлов это ежедневное изменение? Нет, к счастью =) Просто я делаю бекап не только этой папки.
	Ответить \| Правка \| ^ к родителю #3 \| Наверх \| Cообщить модератору


	5. "FSBackup"	+/–
	Сообщение от Farmut on 21-Янв-14, 14:09
	Тогда не вижу проблем с rsync. Он сделает бекап общий 1 раз, а потом будет копировать только файлы которые подверглись изменению. Файлы которые не изменяются копироваться не будут 2й раз. Насколько я понял, вам подобный вариант и требуется. Можно и несколько папок скормить по очереди.
	Ответить \| Правка \| ^ к родителю #4 \| Наверх \| Cообщить модератору


	9. "FSBackup"	+/–
	Сообщение от Yuna on 22-Янв-14, 10:52
	> Тогда не вижу проблем с rsync. Он сделает бекап общий 1 раз, > а потом будет копировать только файлы которые подверглись изменению. Файлы которые > не изменяются копироваться не будут 2й раз. Насколько я понял, вам > подобный вариант и требуется. Можно и несколько папок скормить по очереди. Я думал над этим, но во первых мне не нравится результат бекапа - не архив + инкременты, а папка синхронизированная. Во вторых у меня сам по себе rsync via ssh не завелся. Потому не иду дальше.
	Ответить \| Правка \| ^ к родителю #5 \| Наверх \| Cообщить модератору

6. "FSBackup"	+/–
Сообщение от Maxim Chirkov (ok) on 21-Янв-14, 19:08
Наиболее вероятно не создана директория с кэшем для сохранения индексных .db-файлов, поэтому так как данные о прошлом состоянии не сохраняются, каждый раз архив создаётся с нуля. Или в файле конфигурации что-то не так настроено, например число итераций. В каком режиме делается бэкап (локальный, удалённый, синхронизация) ?
Ответить \| Правка \| ^ к родителю #0 \| Наверх \| Cообщить модератору


	7. "FSBackup"	+/–
	Сообщение от Yuna on 21-Янв-14, 19:17
	> Наиболее вероятно не создана директория с кэшем для сохранения индексных .db-файлов, поэтому > так как данные о прошлом состоянии не сохраняются, каждый раз архив > создаётся с нуля. Или в файле конфигурации что-то не так настроено, > например число итераций. > В каком режиме делается бэкап (локальный, удалённый, синхронизация) ? В том и дело - что не с нуля каждый раз. Все остальные папки бекапятся как положено в инкременте. Дело именно в этой папке (files).
	Ответить \| Правка \| ^ к родителю #6 \| Наверх \| Cообщить модератору


	11. "FSBackup"	+/–
	Сообщение от Maxim Chirkov (ok) on 22-Янв-14, 19:18
	> Все остальные папки бекапятся как положено в инкременте. > Дело именно в этой папке (files). Т.е. есть куча директорий, в том числе /home/user/files/ если изменить один файл в /home/user/files/123, то в бэкап копируется всё содержимое /home/user/files/123 ? Время модификации остальных файлов в этой директории точно не меняется ? В генерируемом для каждого бэкапа list-файле перечисляются все файлы или только имя директории ? Покажите полный конфиг, вырезав от туда параметры доступа. В вашем примере указано: __DATA__ /home/user/ /home/user/files/ Если оставить __DATA__ /home/user/ ситуация изменится ?
	Ответить \| Правка \| ^ к родителю #7 \| Наверх \| Cообщить модератору


	12. "FSBackup"	+/–
	Сообщение от Yuna on 24-Янв-14, 10:11
	>[оверквотинг удален] > Покажите полный конфиг, вырезав от туда параметры доступа. > В вашем примере указано: > __DATA__ > /home/user/ > /home/user/files/ > Если оставить > __DATA__ > /home/user/ > ситуация изменится ? > В генерируемом для каждого бэкапа list-файле перечисляются все файлы или только имя директории ? Все файлы что попадают в бекап туда и пишут в т.ч и длиннющий список из /files >Время модификации остальных файлов в этой директории точно не меняется? Да точно. Проверял. Полный конфиг: http://pastebin.com/vspJF8NH Нет, ситуация не менялась. Я даже пробовал !/home/folder/files Ситуацию меняло замена timesize на md5, но это накладно!
	Ответить \| Правка \| ^ к родителю #11 \| Наверх \| Cообщить модератору


	13. "FSBackup"	+/–
	Сообщение от Maxim Chirkov (ok) on 24-Янв-14, 14:14
	> Нет, ситуация не менялась. > Я даже пробовал !/home/folder/files Т.е. после !/home/folder/files в бэкап продолжали попадать файлы из /home/folder/files /home/folder/files и /home/folder в локальной ФС или что-то смонтированное с другого хоста Какая файловая система используется и ОС ?
	Ответить \| Правка \| ^ к родителю #12 \| Наверх \| Cообщить модератору


	14. "FSBackup"	+/–
	Сообщение от Yuna on 24-Янв-14, 14:27
	>> Нет, ситуация не менялась. >> Я даже пробовал !/home/folder/files > Т.е. после !/home/folder/files в бэкап продолжали попадать файлы из /home/folder/files Угу > /home/folder/files и /home/folder в локальной ФС или что-то смонтированное с другого хоста > Какая файловая система используется и ОС ? FreeBSD colocation 8.3-RELEASE FreeBSD 8.3-RELEASE #0: Mon Apr 9 21:23:18 UTC 2012 root@mason.cse.buffalo.edu:/usr/obj/usr/src/sys/GENERIC amd64 /dev/ad6s1a on / (ufs, local) devfs on /dev (devfs, local, multilabel) /dev/ad6s1e on /tmp (ufs, local, noatime, soft-updates) /dev/ad6s1f on /usr (ufs, local, noatime, soft-updates) /dev/ad6s1d on /var (ufs, local, noatime, soft-updates) linprocfs on /usr/compat/linux/proc (linprocfs, local)
	Ответить \| Правка \| ^ к родителю #13 \| Наверх \| Cообщить модератору


	10. "FSBackup"	+/–
	Сообщение от Yuna on 22-Янв-14, 12:29
	> В каком режиме делается бэкап (локальный, удалённый, синхронизация) ? Удалённый, FTP
	Ответить \| Правка \| ^ к родителю #6 \| Наверх \| Cообщить модератору