forum.opennet.ru - "Не получается скопировать большой файл по сети" (11)

форумы

помощь

поиск

регистрация

майллист

вход/выход

слежка

"Не получается скопировать большой файл по сети"

Форумы Открытые системы на рабочей станции (Разное / Linux)
Вариант для распечатки		Пред. тема \| След. тема
Изначальное сообщение		[ Отслеживать ]

"Не получается скопировать большой файл по сети"		+/–
Сообщение от Lupin (ok) on 21-Июн-09, 08:12
Здравствуйте. Нужно это все мне для холодного backup базы oracle. Копирую через mc. С удаленной машиной соединяюсь через shell. Файл до 1Гб копируются без проблем. При попытке копировать файл 2,2Гб копируется до 1,9Гб затем выдается ошибка (Невозможно закрыть целевой файл Broken pipe (32)). C файлом 7Гб аналогичная ситуация, но копируется до 3ГБ. Формат файла dbf Oracle остановлен Локальная сеть 100Мб Операционная система Linux Red Hat PS. Еще подозрительная скорость копирования 1Гб копируется за час. Заранее всем спасибо за ответы
Высказать мнение \| Ответить \| Правка \| Cообщить модератору

Оглавление

Не получается скопировать большой файл по сети, QuAzI, 10:39 , 21-Июн-09, (1)

Не получается скопировать большой файл по сети, Lupin, 11:57 , 21-Июн-09, (2)

Не получается скопировать большой файл по сети, lukLos, 12:22 , 21-Июн-09, (3)

Не получается скопировать большой файл по сети, Lupin, 12:32 , 21-Июн-09, (4)

Не получается скопировать большой файл по сети, ллл, 20:36 , 21-Июн-09, (5)
Не получается скопировать большой файл по сети, помощник, 16:00 , 21-Фев-10, (6)

Не получается скопировать большой файл по сети, Sifon, 17:04 , 11-Май-10, (7)
Не получается скопировать большой файл по сети, сабакка, 14:12 , 12-Май-10, (8)

Не получается скопировать большой файл по сети, Lupin, 14:33 , 13-Май-10, (9)

Не получается скопировать большой файл по сети, sdog, 21:58 , 13-Май-10, (10)

Не получается скопировать большой файл по сети, Lupin, 08:33 , 15-Май-10, (11)

Сообщения по теме [Сортировка по времени | RSS]

1. "Не получается скопировать большой файл по сети" +/–

Сообщение от QuAzI (??) on 21-Июн-09, 10:39

scp ? rsync ? nfs ?

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

2. "Не получается скопировать большой файл по сети" +/–

Сообщение от Lupin (ok) on 21-Июн-09, 11:57

>scp ? rsync ? nfs ?
К сожалению в протоколах не силен. Могу сказать что копирую через Midnight Commander
Там выбираю F9/Правая панель/Shell соединение... далее пишу ip. Все я на удаленной машине. Затем как обычно F5 и вперед. Ну остальное в теме

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

3. "Не получается скопировать большой файл по сети" +/–

Сообщение от lukLos on 21-Июн-09, 12:22

Был аналогичный случай. Делали дамп базы Oracle с raw устройств а целевая файловая система для дампа не поодерживала фалй размером больше 2Gb. Выверлулись путём использования конвеера. Т.е. дамп сразу сжимали gzipom.
По вашему случаю
- уточните максимальный размер файла
- используйте стандартные средства системы для копирования cp, scp, tar, rsync.
документации по ним вс сети полно.

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

4. "Не получается скопировать большой файл по сети" +/–

Сообщение от Lupin (ok) on 21-Июн-09, 12:32

>Был аналогичный случай. Делали дамп базы Oracle с raw устройств а целевая
>файловая система для дампа не поодерживала фалй размером больше 2Gb. Выверлулись
>путём использования конвеера. Т.е. дамп сразу сжимали gzipom.
>
>По вашему случаю
>- уточните максимальный размер файла
>- используйте стандартные средства системы для копирования cp, scp, tar, rsync.
>документации по ним вс сети полно.
lukLos, спасибо за варианты, попробую. Хотя хочу сказать, что проблема скорее всего не с максимальным размером файла. Поскольку исходя из этого
>При попытке копировать файл 2,2Гб копируется до 1,9Гб затем выдается ошибка (Невозможно >закрыть целевой файл Broken pipe (32)). C файлом 7Гб аналогичная ситуация, но копируется >до 3ГБ.
нет закономерности. Обрывается именно соединение. О чем свидетельствует и ошибка Broken pipe
Еще хочу добавить. Пробовал копировать через протокол scp программой Winscp. Соединение в этом случае обрывалось намного быстрее и скорость была еще ниже, но компьютеры были в разной сети. Сейчас ввел их в одну сеть.

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

5. "Не получается скопировать большой файл по сети" +/–

Сообщение от ллл on 21-Июн-09, 20:36

>[оверквотинг удален]
>(32)). C файлом 7Гб аналогичная ситуация, но копируется до 3ГБ.
>
>Формат файла dbf
>Oracle остановлен
>Локальная сеть 100Мб
>Операционная система Linux Red Hat
>
>PS. Еще подозрительная скорость копирования 1Гб копируется за час.
>
>Заранее всем спасибо за ответы
Буквально пару недель назад столкнулся с аналогичной проблемой на древнем Linux RH 7.2. Проблемы две:
- во-первых, как я понял из гугла, mc не умеет работать с файлами размером более 2Gb
- во-вторых, старые версии ядра 2.4 не имеют (или имеют ограниченную поддержку LFS)
В моем случае, модуль smbfs из дефолтного ядра, которое идет с RH 7.2 не поддерживает LFS и передает по smb файлы только >=2Gb. Поскольку на локальной файловой системе бэкап-архив размером более 2Gb успешно создается, для передачи по сети мы режем его split'ом. И на бэкап-сервер файл заливаем двумя кусками.

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

6. "Не получается скопировать большой файл по сети" +/–

Сообщение от помощник on 21-Фев-10, 16:00

>[оверквотинг удален]
>(32)). C файлом 7Гб аналогичная ситуация, но копируется до 3ГБ.
>
>Формат файла dbf
>Oracle остановлен
>Локальная сеть 100Мб
>Операционная система Linux Red Hat
>
>PS. Еще подозрительная скорость копирования 1Гб копируется за час.
>
>Заранее всем спасибо за ответы
В общем слушай была у меня такая проблема
решил таким способом береш программу торрент на одном компе создаеш торрент любого размера, хоть 100 гб, а на другом соответственно добавляешь торрент и все скорость передачи 4-5 мегабит в секунду
куришь и ждешь отправка осуществляется хоть одним файлом, хоть папкой
при этом размер файла не имеет значения

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

7. "Не получается скопировать большой файл по сети" +/–

Сообщение от Sifon on 11-Май-10, 17:04

>[оверквотинг удален]
>>PS. Еще подозрительная скорость копирования 1Гб копируется за час.
>>
>>Заранее всем спасибо за ответы
>
>В общем слушай была у меня такая проблема
>решил таким способом береш программу торрент на одном компе создаеш торрент любого
>размера, хоть 100 гб, а на другом соответственно добавляешь торрент и
>все скорость передачи 4-5 мегабит в секунду
>куришь и ждешь отправка осуществляется хоть одним файлом, хоть папкой
>при этом размер файла не имеет значения
Ну с торентом по локалке это реальный изврат.
Нет бы использовать FTP, Samba и т.д.

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

8. "Не получается скопировать большой файл по сети" +/–

Сообщение от сабакка on 12-Май-10, 14:12

ндаааа ....
ничего проще придумать нельзя было?

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

9. "Не получается скопировать большой файл по сети" +/–

Сообщение от Lupin (ok) on 13-Май-10, 14:33

>ндаааа ....
>ничего проще придумать нельзя было?
На момент составления топика знания о unix были минимальные, и в конечном итоги с помощью утилиты scp все решилось. А баг mc имеет место быть. Так подскажи мне уважаемый, саббака (и себе вопрос задай), какой толк от твоего сообщения здесь, чем ты помог? Люди отвечают, помогают... а кто то только гадит....!!!!

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

10. "Не получается скопировать большой файл по сети" +/–

Сообщение от sdog (ok) on 13-Май-10, 21:58

>>ндаааа ....
>>ничего проще придумать нельзя было?
>
>На момент составления топика знания о unix были минимальные, и в конечном
>итоги с помощью утилиты scp все решилось. А баг mc имеет
>место быть. Так подскажи мне уважаемый, саббака (и себе вопрос задай),
>какой толк от твоего сообщения здесь, чем ты помог? Люди отвечают,
>помогают... а кто то только гадит....!!!!
я поинтересовался из-за чего было выбрано такое экзотическое, на мой взгляд, решение, первая часть послания всё объяснила, не понимаю, с чего ты так завёлся?

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

11. "Не получается скопировать большой файл по сети" +/–

Сообщение от Lupin (ok) on 15-Май-10, 08:33

>[оверквотинг удален]
>>
>>На момент составления топика знания о unix были минимальные, и в конечном
>>итоги с помощью утилиты scp все решилось. А баг mc имеет
>>место быть. Так подскажи мне уважаемый, саббака (и себе вопрос задай),
>>какой толк от твоего сообщения здесь, чем ты помог? Люди отвечают,
>>помогают... а кто то только гадит....!!!!
>
>я поинтересовался из-за чего было выбрано такое экзотическое, на мой взгляд, решение,
>первая часть послания всё объяснила, не понимаю, с чего ты так
>завёлся?
Извини если обидел, день вчера трудный был, магнитные бури :)

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема

Партнёры:

Хостинг:

Закладки на сайте
Проследить за страницей

Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру

1. "Не получается скопировать большой файл по сети"		+/–
Сообщение от QuAzI (??) on 21-Июн-09, 10:39
scp ? rsync ? nfs ?
Высказать мнение \| Ответить \| Правка \| ^ \| Наверх \| Cообщить модератору


	2. "Не получается скопировать большой файл по сети"		+/–
	Сообщение от Lupin (ok) on 21-Июн-09, 11:57
	>scp ? rsync ? nfs ? К сожалению в протоколах не силен. Могу сказать что копирую через Midnight Commander Там выбираю F9/Правая панель/Shell соединение... далее пишу ip. Все я на удаленной машине. Затем как обычно F5 и вперед. Ну остальное в теме
	Высказать мнение \| Ответить \| Правка \| ^ \| Наверх \| Cообщить модератору

3. "Не получается скопировать большой файл по сети"		+/–
Сообщение от lukLos on 21-Июн-09, 12:22
Был аналогичный случай. Делали дамп базы Oracle с raw устройств а целевая файловая система для дампа не поодерживала фалй размером больше 2Gb. Выверлулись путём использования конвеера. Т.е. дамп сразу сжимали gzipom. По вашему случаю - уточните максимальный размер файла - используйте стандартные средства системы для копирования cp, scp, tar, rsync. документации по ним вс сети полно.
Высказать мнение \| Ответить \| Правка \| ^ \| Наверх \| Cообщить модератору


	4. "Не получается скопировать большой файл по сети"		+/–
	Сообщение от Lupin (ok) on 21-Июн-09, 12:32
	>Был аналогичный случай. Делали дамп базы Oracle с raw устройств а целевая >файловая система для дампа не поодерживала фалй размером больше 2Gb. Выверлулись >путём использования конвеера. Т.е. дамп сразу сжимали gzipom. > >По вашему случаю >- уточните максимальный размер файла >- используйте стандартные средства системы для копирования cp, scp, tar, rsync. >документации по ним вс сети полно. lukLos, спасибо за варианты, попробую. Хотя хочу сказать, что проблема скорее всего не с максимальным размером файла. Поскольку исходя из этого >При попытке копировать файл 2,2Гб копируется до 1,9Гб затем выдается ошибка (Невозможно >закрыть целевой файл Broken pipe (32)). C файлом 7Гб аналогичная ситуация, но копируется >до 3ГБ. нет закономерности. Обрывается именно соединение. О чем свидетельствует и ошибка Broken pipe Еще хочу добавить. Пробовал копировать через протокол scp программой Winscp. Соединение в этом случае обрывалось намного быстрее и скорость была еще ниже, но компьютеры были в разной сети. Сейчас ввел их в одну сеть.
	Высказать мнение \| Ответить \| Правка \| ^ \| Наверх \| Cообщить модератору

5. "Не получается скопировать большой файл по сети"		+/–
Сообщение от ллл on 21-Июн-09, 20:36
>[оверквотинг удален] >(32)). C файлом 7Гб аналогичная ситуация, но копируется до 3ГБ. > >Формат файла dbf >Oracle остановлен >Локальная сеть 100Мб >Операционная система Linux Red Hat > >PS. Еще подозрительная скорость копирования 1Гб копируется за час. > >Заранее всем спасибо за ответы Буквально пару недель назад столкнулся с аналогичной проблемой на древнем Linux RH 7.2. Проблемы две: - во-первых, как я понял из гугла, mc не умеет работать с файлами размером более 2Gb - во-вторых, старые версии ядра 2.4 не имеют (или имеют ограниченную поддержку LFS) В моем случае, модуль smbfs из дефолтного ядра, которое идет с RH 7.2 не поддерживает LFS и передает по smb файлы только >=2Gb. Поскольку на локальной файловой системе бэкап-архив размером более 2Gb успешно создается, для передачи по сети мы режем его split'ом. И на бэкап-сервер файл заливаем двумя кусками.
Высказать мнение \| Ответить \| Правка \| ^ \| Наверх \| Cообщить модератору

6. "Не получается скопировать большой файл по сети"		+/–
Сообщение от помощник on 21-Фев-10, 16:00
>[оверквотинг удален] >(32)). C файлом 7Гб аналогичная ситуация, но копируется до 3ГБ. > >Формат файла dbf >Oracle остановлен >Локальная сеть 100Мб >Операционная система Linux Red Hat > >PS. Еще подозрительная скорость копирования 1Гб копируется за час. > >Заранее всем спасибо за ответы В общем слушай была у меня такая проблема решил таким способом береш программу торрент на одном компе создаеш торрент любого размера, хоть 100 гб, а на другом соответственно добавляешь торрент и все скорость передачи 4-5 мегабит в секунду куришь и ждешь отправка осуществляется хоть одним файлом, хоть папкой при этом размер файла не имеет значения
Высказать мнение \| Ответить \| Правка \| ^ \| Наверх \| Cообщить модератору


	7. "Не получается скопировать большой файл по сети"		+/–
	Сообщение от Sifon on 11-Май-10, 17:04
	>[оверквотинг удален] >>PS. Еще подозрительная скорость копирования 1Гб копируется за час. >> >>Заранее всем спасибо за ответы > >В общем слушай была у меня такая проблема >решил таким способом береш программу торрент на одном компе создаеш торрент любого >размера, хоть 100 гб, а на другом соответственно добавляешь торрент и >все скорость передачи 4-5 мегабит в секунду >куришь и ждешь отправка осуществляется хоть одним файлом, хоть папкой >при этом размер файла не имеет значения Ну с торентом по локалке это реальный изврат. Нет бы использовать FTP, Samba и т.д.
	Высказать мнение \| Ответить \| Правка \| ^ \| Наверх \| Cообщить модератору


	8. "Не получается скопировать большой файл по сети"		+/–
	Сообщение от сабакка on 12-Май-10, 14:12
	ндаааа .... ничего проще придумать нельзя было?
	Высказать мнение \| Ответить \| Правка \| ^ \| Наверх \| Cообщить модератору


	9. "Не получается скопировать большой файл по сети"		+/–
	Сообщение от Lupin (ok) on 13-Май-10, 14:33
	>ндаааа .... >ничего проще придумать нельзя было? На момент составления топика знания о unix были минимальные, и в конечном итоги с помощью утилиты scp все решилось. А баг mc имеет место быть. Так подскажи мне уважаемый, саббака (и себе вопрос задай), какой толк от твоего сообщения здесь, чем ты помог? Люди отвечают, помогают... а кто то только гадит....!!!!
	Высказать мнение \| Ответить \| Правка \| ^ \| Наверх \| Cообщить модератору


	10. "Не получается скопировать большой файл по сети"		+/–
	Сообщение от sdog (ok) on 13-Май-10, 21:58
	>>ндаааа .... >>ничего проще придумать нельзя было? > >На момент составления топика знания о unix были минимальные, и в конечном >итоги с помощью утилиты scp все решилось. А баг mc имеет >место быть. Так подскажи мне уважаемый, саббака (и себе вопрос задай), >какой толк от твоего сообщения здесь, чем ты помог? Люди отвечают, >помогают... а кто то только гадит....!!!! я поинтересовался из-за чего было выбрано такое экзотическое, на мой взгляд, решение, первая часть послания всё объяснила, не понимаю, с чего ты так завёлся?
	Высказать мнение \| Ответить \| Правка \| ^ \| Наверх \| Cообщить модератору


	11. "Не получается скопировать большой файл по сети"		+/–
	Сообщение от Lupin (ok) on 15-Май-10, 08:33
	>[оверквотинг удален] >> >>На момент составления топика знания о unix были минимальные, и в конечном >>итоги с помощью утилиты scp все решилось. А баг mc имеет >>место быть. Так подскажи мне уважаемый, саббака (и себе вопрос задай), >>какой толк от твоего сообщения здесь, чем ты помог? Люди отвечают, >>помогают... а кто то только гадит....!!!! > >я поинтересовался из-за чего было выбрано такое экзотическое, на мой взгляд, решение, >первая часть послания всё объяснила, не понимаю, с чего ты так >завёлся? Извини если обидел, день вчера трудный был, магнитные бури :)
	Высказать мнение \| Ответить \| Правка \| ^ \| Наверх \| Cообщить модератору