Большущее не за что -- главное было тему поднять :)Вот ещё кусок, пусть будет до кучи...
> Наконец-то Михаил Шигорин написал что-то по делу.
Посмотрел "Michael Shigorin site:tigro.info" -- буду признателен за ссылку, когда я здесь написал что-то не по делу.
Наверное, стоит добавить, что времени на тех, по кому видно, что дела не будет -- стараюсь просто не тратить. Исключение -- случай "для архива", когда сказана грубая ложь по небезразличному мне вопросу и решаю показать именно факт лжи, и заскоки (тоже ж человек).
Так что предлагаю конструктивную критику считать комплиментом -- естественно, на полностью симметричных условиях: я уже считаю.
----------------------------------------------
> обвинений
Аркадий, да какие обвинения :-) Я лично благодарен Вам лично и Яндексу как лавке, что такой ресурс есть. Вон ASP12 от вас зеркалил по совету Лёни, поскольку ихний ftp ближе к лежал тогда.
> за много лет, я от ALT Linux тоже ждал большего!
Я тоже; да и сейчас жду, но до чего дотягиваюсь -- то делаю сам. Отличие от ASP, по крайней мере -- получается сразу добавлять в unstable и из него (или бэкпортами) -- в дистрибутивы, а не жить левым репозиторием, как бедный родственник, со всеми вытекающими проблемами.
> Вообще я хотел написать статейку про финты с rsync
А, вот оно как. Это получилось -- мне тоже именно про rsync нашлось что почерпнуть :)
> Про это дело практически ничего Вы и не сказали
Потому что оно и было изложено наиболее компетентно. Собственно, перечитывая перед постингом -- смягчил там некоторые "наезды", поскольку вспомнил, что Вы ж описывали зацепление за ls-lR и другие "маячки", чтоб те каждые две минуты не дерево бросаться сканировать, а один файлик (но замечание про достаточность часа остаётся в силе, коннекты тоже не бесплатные для той стороны).
> Да у нас был 5-й рейд и XFS. 5-й рейд не подошёл
Угу, он быстрее проседает под записью.
> а до 10-ки мы решили не доходить.
Слишком большая потеря пространства?
Кстати, когда будете заменять вылетевшие одиночные диски -- хорошо бы по возможности не забывать сперва восстанавливать на них подзеркала в точности так, как были на момент отказа, и только потом --bind или там правами давать их тащить дальше.
Альтам (и мне заодно) как-то вдвигали фитиль за то, что они без предупреждения убрали с ftp апдейты для 2.2 (который был уже древний и неподдерживаемый, но тем не менее), у меня они успели удалиться rsync'ом, а потом залили назад из загашника как раз вот pilot@. До сих пор лежат, и до сих пор мне rsync (ну, crond) каждую ночь письма шлёт, что permission на удаление denied, а что-либо делать -- лень. :)
> Почему заменили XFS на ReiserFS? Не могу сказать, интуиция.
Можете поверить, можете проверить, но от моей интуиции Вашей привет...
Проверять (подкреплять, воспитывать, нужное, подчеркнуть) интуицию помогают bonnie++ с возрастающим числом потоков и тест вида "десять читают, один пишет" (как для зеркала).
> К тому же о наличии или отсутствии рейда решения принимали много людей
Так и предполагал, но советы-то давали Вы. Собственно, существенная часть иронического или отрицательного отношения в комментарии -- именно поэтому. Если хотите, можете его пересмотреть в таком свете: поправки ли это к советам? Делают ли они его таким, за какой не стыдно?
Мне, понимаете, бывает стыдно за свои советы -- поэтому очень хочется, чтобы тем людям, с которыми так вот сталкиваемся, стыдно за уже пройденные глупости или недодуманности бывало пореже. Особенно если они или хорошие дела делают, или хотя бы большую половину всё правильно сказали.
> Файлопомойкой я называю структуру зеркала.
Стораджа или зеркала? Впрочем, неважно -- плоская структура как раз и есть классика файлопомойки.
> Я отказался от подобных принципов в угоду пользователю.
А, т.е. все дураки, один я дартаньян? Поймите, и на ibiblio, и на heanet сидят не совсем лохи. Просто они уже проходили тот этап, когда "всем хватит корня диска C:".
> Так что я считаю свой подход верным, да и мы не
> зеркалируем все подряд.
Мы разделили сторадж (ну, ftp/http/rsync) и "морду" к нему:
ftp://ftp.linux.kiev.ua/pub/
http://www.linux.kiev.ua/ru/download/ (тж. en, ua)
При этом на морде есть ссылки на другие серверы в округе, список "основных" подзеркал (с одной стороны, он первый кандидат в протухание -- с другой, тут же ссылки на источник), а также поиск по индексу и лента новостей по категории "FTP" (с RSS).
Не настаиваю, что это лучший вариант -- он делался хоть и с некоторым продумыванием, но без особого планирования. Но надеюсь, что может пригодиться другим организаторам зеркал, особенно по регионам около LUG'ов.
> По поводу кешей, частей. Если держать, то все.
Что ж, тоже выбор.
> И финтить только если мы не справляемся.
Думаю, heanet тоже справлялись и возможности у них ну никак не меньше. Просто они -- куда мощнее зеркало и популярнее. Вот и кэши.
> Мы справляемся, до этого финтили.
Мы финтим не только потому, что диски покупаются на деньги из задних карманов джинсов пары-тройки человек, а и потому, что не видим смысла зеркалить всякий ненужный древний хлам, который апстрим считает нужным держать на ftp.
Есть и обратный пример -- зеркало ALT исторически у нас местами даже полнее оригинала. Это тоже выбор, в данном разе мой.
В остальном же для нас лучше работает, когда подзеркалами занимаются те, кто заметит проблемы с ними в силу того, что сами же и пользуются (протухло/не обновляется/рассыпалось, да что угодно бывало). Люди меняются, поддерживаемость подзеркал -- тоже, но в общем мне кажется, что такая модель более живучая на выходе, поскольку кому надо, те и делают. Хотя баланс меняется со временем и железом, конечно.
Исошки разве что зачастую сам таскаю, благо несложно.
Сумма: вспомните это, когда диски начнут помирать. Я ж такой въедливый ровно потому, что "плавали, знаем" (правда, помирать не давали). Подход "а мы и так справимся" стоит на данный момент пары десятков гигабайт оперативки и SCSI/SAS/FC-массива, бишь изрядно большей грубой силы на тот же результат на выходе.
> noatime – ага используем, но об это я и не писал.
Очень зря не писали, это ж мегахинт :-)
> думаю, что и с Apache мы бы сейчас потянули, но проверять сейчас не хочется.
Ещё бы... такого и не советовал.
> -W – это спорный вопрос
Да, конечно. Просто было бы здорово сразу такие метить -- "мы подумали и решили". И если выбор был сложен, может иметь смысл озвучить обдуманную альтернативу, раз она настолько неплоха.
(NB: это не _требование_, а опять же пожелание/предложение)
> Это все придирки не по делу.
(пожав плечами) Ну как хотите.
> Пределы на количество соединений? Сейчас unlimit!
Завалить, что ли, в порядке лабораторной... :) Что, и предел на LA не стоит? Соточку хотите? :)
(начинать бороться с [невольным] DoS стоит с лимита соединений с одного IP, ну и помогает readahead, см. /sys/block и hdparm)
> mirror.yandex.ua? Мы и так полу Украина.
Эт была провокация :) хотя в общем-то небезосновательная, но это отдельный вопрос.
> В общем спасибо за обсуждение! Я думаю мы оба чему-то научились.
И Вам спасибо; мне тоже так кажется.
Опять же отличный повод вышел свои соображения из головы вытряхнуть на клавиатуру -- мож и мне где расскажут, что к чему и где будут проблемы, которые я ещё не вижу. Толку-то с них в голове.
Давайте мож через полгода-год провентилируем тему ещё раз да набросаем какое неформальное Mirror-Setup HOWTO с оглядкой на свою конкретику? Есть мнение, что в России вопросы трансконтинентальной связи будут закрываться дольше, чем в Украине (масштабы другие), а вот востребованность линукса вне уже накрытых мегаполисов -- будет расти уже быстрей.
