forum.opennet.ru

"Раздел полезных советов: Решение проблем с удалением файлов ..."

Форум Разговоры, обсуждение новостей
Версия для распечатки	Пред. тема \| След. тема

Исходное сообщение

[ Отслеживать ]

Подсказка: Доступны два режима работы форума: "Раскрыть нити" и "Свернуть нити".

. "Решение проблем с удалением файлов гигантского размера в Lin..."	+/–
Сообщение от Админ Веня (?), 02-Сен-09, 09:23
Разрабатывали систему, меньшего масштаба, для "мобильных "электростанций. При условий что датчиков от 50 до 500, при постоянной работе двигателей, и без усреднения данных(т.е. данные пишутся примерно от 10000 в секунду), база занимала за 3 месяца около 40 гиг. база мускул (ембедед), 2гига память. решение используется уже на нескольких десятках объектов в течении 4х лет
Ответить \| Правка \| Наверх \| Cообщить модератору

Оглавление

Раздел полезных советов: Решение проблем с удалением файлов ..., auto_tips, 01-Сен-09, 13:54 [смотреть все]

Все гениальное просто, anonymous, 01-Сен-09, 13:54 (1) //
- Тем не менее, удаление файла 30 секунд XFSом я видел P Всего-то 4Gb торент сд, User294, 03-Сен-09, 22:37 (76)
Понимаю, что это флуд Но что может занимать столько места одним файлом Делаю п, abigor, 01-Сен-09, 14:35 (2) //
- база данных например, svn, 01-Сен-09, 14:53 (4) //
  - На 7ТБ база данных чего , cvsup, 01-Сен-09, 15:25 (7) //
    - http community livejournal com ru_linux 2289534 html, pavlinux, 01-Сен-09, 16:40 (15)
      - фигасе, и это все дело одним файлом в принципе, объясняет многое уровень русско, Karbofos, 02-Сен-09, 01:03 (28)
        
        Уровень русского языка ничего не объясняет, он же не поэт и не писатель Объясняе, Анонумоис, 02-Сен-09, 01:44 (33)
        
        основная проблема это Некий java софт проверить, не так уж и сложно, эксперим, Karbofos, 02-Сен-09, 01:57 (34)
        Это если данные от датчиков поступают в бинарном виде Если это лог, то сжимать , Анонумоис, 02-Сен-09, 01:57 (35)
        
        Полный звездец Значит база легко может весить 200-400Гб сама по себе А если пр, Анонумоис, 02-Сен-09, 02:05 (36)
        Разрабатывали систему, меньшего масштаба, для мобильных электростанций При ус , Админ Веня, 02-Сен-09, 09:23 (39)
        
        MySQL - база данных специально для критически важных объектов, а вот 5 формул из, Анонумоис, 02-Сен-09, 12:53 (44)
        
        Таки нет, цифры разные при старте двигателей и во время работы оного не синхрон, Админ Веня, 05-Сен-09, 23:09 (104)
        
        Дык и на интербейз посмотреть можно и на sqliteи даж свое ченить на коленке слаб, aborland, 05-Сен-09, 23:52 (106)
        
        _СТАВИТЬ_ сервер баз данных для этого у нас мускул ембедед , Админ Веня, 06-Сен-09, 12:57 (107)
        
        часто показывает на уровень образования к примеру, мне тут один птушник пыталя , Karbofos, 02-Сен-09, 02:17 (37)
        
        Правильное владение русским языком очень важно Наприимер, сколько Ваших, Karbof, Pilat, 02-Сен-09, 02:22 (38)
        
        если бы я конкретно пощупал систему, на которой этот гемор происходит, где допус, Karbofos, 02-Сен-09, 10:08 (42)
        
        Вы об каких логических операциях говорите, в формальной логике или в математичес, pavlinux, 03-Сен-09, 02:48 (67)
        
        он утверждал, что boolTest1 boolTest2 boolTest1, boolTest2 are boolодно и, Karbofos, 03-Сен-09, 17:35 (74)
        
        Чо Газохранилище генерирует картинки фотографии газа - и сохраняет их в , Iv945n, 02-Сен-09, 18:25 (52)
        
        Да, Karbofos оказался прав А меня учили базы данных хранить в RAW разделах В чем, Анонумоис, 02-Сен-09, 20:41 (54)
        
        Оффтопик, речь о файловых системах И что мешает завести под блобы отдельный раз, Iv945n, 02-Сен-09, 21:11 (56)
        
        Честно говоря, я совсем не понял о чем речь в данной статье Какие-то mysql базы, Анонумоис, 04-Сен-09, 05:05 (94)
        
        Заблуждение Невозможно много читать и не знать языка Плохой русский - мало чит, нер, 05-Сен-09, 15:48 (102)
        
        А что не так с русским языком у автора того топика на ЖЖ , lora, 02-Сен-09, 12:02 (43)
ха, а решить задачу на ext4 слабо , timon, 01-Сен-09, 14:49 (3) //
- unlink BIGFILE sqlне mount -o remount,barrier 0 dev superraidне , pavlinux, 01-Сен-09, 15:55 (10) //
  - дайте массив на 10ТБ, проверю , Timon, 02-Сен-09, 23:34 (61)
Однако, решение никак не коррелирует с заголовком статьи Если уже есть файл, , Serg, 01-Сен-09, 14:53 (5) //
- А Линус кого нибудь не придушит D Помню, предыдущие явные баги в емаксах, ж, Анонумоис, 01-Сен-09, 16:07 (12) //
  - Прям как злые тролли в России Которые тоже не понимают очевидность бага и отвеч, Zenitur, 02-Сен-09, 00:19 (27)
- Это не явный и не баг, это давно известная проблема ext2-3 , Pilat, 01-Сен-09, 20:52 (22)
echo 0 bigfile dbrm bigfile db , terminus, 01-Сен-09, 15:39 (9) //
- нетtime echo 1 big0real 0m2 705suser 0m0 000ssys 0m0 367stime rm -f , mmm62, 09-Сен-09, 11:14 (113)
А тот же експеремент с jfs как , makiavelli, 01-Сен-09, 15:59 (11)
Use ZFS, Luke , iZEN, 01-Сен-09, 16:20 (13) //
- И, конечно, это панацея и всем станет хорошо А вы, к слову, проверяли ее под, User294, 03-Сен-09, 22:40 (77) //
  - В общем, да c ПарацельсЗачем спрашивать Нет ещё Вот и мне тоже Любопытно , iZEN, 03-Сен-09, 23:46 (83)
пробил колесо на машине, при попытке ехать с пробитым колесом машину тянет в сто, MoHaX, 01-Сен-09, 17:12 (16) //
- Не эквивалентное сравнение, уместнее было бы сравнивать с дорогой по которой езд, pavlinux, 01-Сен-09, 17:27 (17)
Тем кто тут умничал - В САД У парня производство а не ваши домашние суперкластер, Warhead Wardick, 01-Сен-09, 18:33 (19) //
- Не надо обобщать Я к примеру, не имею такой роскоши как не вернуть всё в вин, pavlinux, 01-Сен-09, 19:45 (20) //
  - причём сразу, а не после того как проблема появилась да ещё и на lvm, ij, снепш, vitek, 02-Сен-09, 14:04 (45) //
    - rhel, sles - неа, а вот Убунта идет , pavlinux, 02-Сен-09, 16:59 (48)
      - lts врядли, vitek, 03-Сен-09, 01:05 (66)
      - Она там пока идет как не-дефолтная ФС В таком виде она и остальных есть - ядро , User294, 03-Сен-09, 22:44 (78)
- как-бы приходится работать с протоколированием работы буровых островов разверну, Karbofos, 02-Сен-09, 01:15 (29)
exFat поддерживает до 2х ексабайт - разделы - кажется так они хвастались П, Filosof, 01-Сен-09, 20:01 (21) //
- как раз раскрыта, решение найдено В коментах другого проверенного нет , Pilat, 01-Сен-09, 20:54 (23) //
  - Ни куя не раскрыто http i007 radikal ru 0909 30 86b5c9a798b6 png80Gb за 3 сек , pavlinux, 01-Сен-09, 23:50 (24) //
    - 7 терабайт фигурирует в сообщении, а не 7 гигабайт и не 70 гигабайт, это соверше, Pilat, 02-Сен-09, 00:18 (26)
      - Да ну Доказательства в студию Скорость винта Щаз При 5400 это примерно dd, pavlinux, 02-Сен-09, 01:28 (30)
        
        Человек привёл доказательство в первом же посте Можно ему верить, можно не вери, Pilat, 02-Сен-09, 01:32 (31)
        
        Я ему верю, в том что них я не работает, но не в том, что виновата ext4Он это в, pavlinux, 02-Сен-09, 17:05 (49)
        
        да можно даже создать табличку зависимостей скорости удаления от размера файла , Karbofos, 02-Сен-09, 01:37 (32)
        50МБ сек на ноутбучном Western Digital серии Scorpio Blue WD3200BEVT, 320 ГБ S, iZEN, 02-Сен-09, 09:34 (41)
        1 Как минимум, странно мерить скорость винта, читая из медленного dev urandom, John Lepikhin, 03-Сен-09, 08:23 (69)
- Готов лично протестировать массив на 10ТБ с ZFSv13 при условии предоставления жё, iZEN, 02-Сен-09, 09:28 (40) //
  - Купи, потесть, и расскажи другим , pavlinux, 02-Сен-09, 17:17 (50)
лоол И как это добавили И сколько времени это стирается на XFS Минута Секунд, Zenitur, 02-Сен-09, 00:18 (25) //
- В блоге написали Народ, попробовав xfs все поехало как надо, стирание не более , Aleksey, 02-Сен-09, 16:57 (47)
Капец Это называется форум администраторов У человека возникла проблема с удал, Aleksey, 02-Сен-09, 15:58 (46) //
- 1 это не только форум админов2 решение проблемы подразумевает также объяснение, Karbofos, 02-Сен-09, 20:57 (55) //
  - Объяснения были даны ext и reiser из рук вон плохо работают с большими файлами , lora, 02-Сен-09, 22:17 (58)
  - пионеры налабали Вам хоть раз доверяли делать софт такого уровня И заметьт, Pilat, 02-Сен-09, 23:47 (63) //
    - угу, он же там прямо пишет, что и раньше 7Тб не редкость было, просто набиралось, lora, 02-Сен-09, 23:50 (64)
    - то есть ты сейчас начинаешь рассуждать о материях, в которых даже не разбираешьс, Developer, 03-Сен-09, 14:24 (72)
    - люди на запорожцах тоже катаются они же передвигаются, задача решена значит эт, Karbofos, 03-Сен-09, 23:38 (80)
  - Странно, файловую систему менять нельзя, а программный комплекс переписывать зна, Aleksey, 03-Сен-09, 00:33 (65) //
    - вы путаете божий дар с яичницей нарочно скорее всего - да ибо вам выгораживат, Developer, 03-Сен-09, 17:28 (73)
      - угу и начинать тестирование с 0 ибо потом окажется что запись в log вызвала сви, _umka_, 03-Сен-09, 18:19 (75)
        
        да, знаю не по наслышке мне вот предстоит переписать симулятор, который заменя, Karbofos, 03-Сен-09, 23:56 (85)
        
        извиняюсь, не ко мне было адресовано , Karbofos, 04-Сен-09, 00:22 (88)
      - Проще, только самое сложное - найти идиота, который подпишется под приказом пере, Pilat, 03-Сен-09, 22:59 (79)
        
        для этого существует тестирование вообще-то тестирование поризводится в условия, Karbofos, 03-Сен-09, 23:43 (81)
        
        Как-то я читал воспоминания одного научного сотрудника Он работал в институте, , Pilat, 03-Сен-09, 23:46 (82)
        Я представляю начальника, к которому приходит администратор с предложением остан, Pilat, 03-Сен-09, 23:50 (84)
        
        эти предложения должны обосновано делать программисты-инженеры, с расчетом затра, Karbofos, 04-Сен-09, 00:04 (86)
        Тестовая конфигурация не так уж дорого стоит 8 винчестеров по 1ТБ 5000 руб 8, iZEN, 04-Сен-09, 00:16 (87)
        
        точно также может обстоять дело с человекочасами и может оказаться, чтобы сим, Karbofos, 04-Сен-09, 00:37 (89)
        
        А когда реальное оборудование откажется эмулировать поведение скриптика , Pilat, 04-Сен-09, 01:01 (90)
        
        вы просто даже не в курсе не больно стоять на своем , Karbofos, 04-Сен-09, 01:22 (92)
        
        Как-то я читал про отличие ученика из школы для отсталых от ученика обычной школ, Pilat, 04-Сен-09, 02:39 (93)
        нет, вы элементарно не смогли объяснить причину так называемого косяка ext4 кро, Karbofos, 04-Сен-09, 09:48 (95)
        А у вас есть мнение относительно такого поведения ext4 на большом файле Озвучте, lora, 04-Сен-09, 12:55 (98)
        во-первых, я такие дурацкие трудности не преодолевал, даже когда работал в отдел, Karbofos, 06-Сен-09, 23:43 (110)
        опечатка 5400 оборотов в минуту, Karbofos, 06-Сен-09, 23:48 (111)
        
        Гениально , Pilat, 04-Сен-09, 01:02 (91)
        
        Вот тачка http www 3dnews ru news kak_sozdat_petabaitnii_klaster_za_117_tis Р, iZEN, 15-Сен-09, 21:20 (115)
        
        2 диска для системыУ автора того топика большой раид был сделан софтово полнос, lora, 04-Сен-09, 12:52 (97)
        
        Я высказался про альтернативу Ведь Linux не может предложить ничего более вменя, iZEN, 05-Сен-09, 23:34 (105)
        
        Вы туда набейте винтов, и поглядите сколько будет стоить , lora, 06-Сен-09, 13:15 (108)
        
        gt оверквотинг удален А мне не нужно ТУДА набивать винтов Я предложил АЛЬТЕРН, iZEN, 06-Сен-09, 20:41 (109)
Эм, а ничего что ext3 файлы на 7 ТБ не поддерживает http www nixp ru articles , Аноним, 02-Сен-09, 18:24 (51) //
- А ничего что ext4 , Pilat, 02-Сен-09, 18:27 (53) //
  - тут недавно в ext4 всплывали проблемы с девайсами объемом больше 8Т - где-то упи, _umka_, 03-Сен-09, 09:26 (70) //
    - gt оверквотинг удален в догонку посмотрев репорты в убунте https bugs laun, _umka_, 03-Сен-09, 09:40 (71)
а вот например 2 BIGFILE тоже не сработало бы , i, 02-Сен-09, 22:09 (57) //
- имелось ввиду FILE , vvs, 05-Сен-09, 16:34 (103)
А с именованными пайпами поиграться не пробовали Типа, создать пайпу с таким же , Slavaz, 04-Сен-09, 19:02 (101)
хм, а у меня недавно XFS на руках умерла Всего-то было около 450 Гб Благо ни, eplumber, 08-Сен-09, 16:43 (112) //
- reiserfs тоже не без огрешек но если вывал будет, всю партицию сложно будет вос, Karbofos, 12-Сен-09, 23:25 (114)
в свое время лет 6 назад, читал про файловые системы чтоб под базу выбрать, тоже, Игорь, 22-Сен-09, 17:08 (116)

Форумы | Темы | Пред. тема | След. тема

Партнёры:

Хостинг:

Закладки на сайте
Проследить за страницей

Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру