Исходное сообщение
"Раздел полезных советов: Быстрй перенос лог-файлов в MySQL" Отправлено auto_tips, 18-Мрт-08 09:11
Наверняка, каждый сталкивался с задачей переноса лог-файлов из текстовых файлов в различные БД. И, наверняка, каждый столкнувшийся начинал писать собственные скрипты под это дело. Причем большинство виденных мной скриптов основывались на построчном чтении/переносе данных. Данный способ, конечно, хорош и имеет право на существование, но, к сожалению не очень быстр. Но в MySQL существует способ перенести данные из обычных текстовых файлов в БД очень и очень быстро при помощи директивы LOAD DATA INFILE Пример такого скрипта: #!/bin/bash nld='/var/log/squid3'    # Путь к лог-файлам nbd='/opt/backup/squid3' # Путь к папке резервного хранения лог-файлов nrc=`squid3 -k rotate`   # Команда ротации лог-файлов для данного сервиса nlf='/var/log/logs2mysql/squid.log' # На всякий случай пишем что и когда делали mh='localhost' # Mysql host mu='root'      # Пользователь mysql mp='secret'    # Его пароль mb='logs'      # База данных mt='squid'     # Таблица echo `date +"%F %T"` "Начало выгрузки" >> $nlf && \ $nrc && \ for i in `ls $nld | grep access.log.`; do     year=`date +"%Y"`     month=`date +"%m"`     day=`date +"%d"`     prefix=`date +"%F-%H"`     test -d $nbd/$year/$month/$day || mkdir -p $nbd/$year/$month/$day && \     cat $nld/$i | sed -e 's/\"/\\\"/g' | sed -e "s/\'/\\\'/g" | \       awk ' {print strftime("%F",$1),strftime("%T",$1),$1,$2,$3,$4,$5,$6,$7,$8,$9,$10,$11,$1 $2 $3 $4 $5 $6 $7 $8 $9 $10 $11} ' | \       sed -e "s/ /\t/g" > $nld/prepare.log && \     chmod 0777 $nld/prepare.log && \     mysql -h $mh -u $mu -p$mp -e "LOAD DATA INFILE \"$nld/prepare.log\" REPLACE INTO TABLE $mb.$mt;" && \     cat $nld/$i >> $nbd/$year/$month/$day/$prefix.log && rm $nld/$i && rm $nld/prepare.log done echo `date +"%F %T"` "Конец выгрузки" >> $nlf Поля для таблицы ('Поле'-тип) 'date'-date 'time'-time 'timestamp'-varchar(16)(разные сервисы пишут по разному.Кто-то с милисекундами, кто-то без) 'elapsed'-int(20) 'ip'-varchar(15) 'code'-varchar(20) 'size'-int(20) 'method'-varchar(10) 'url'-varchar(255) 'user'-varchar(255) 'direct'-varchar(25) 'mime'-varchar(25) 'hash'-varchar(255)unique C небольшими изменениями данный скрипт можно приспособить для обработки лог-файлов не только squid, но и других сервисов. Необходимое условие: четкое разграничение полей (можно, поиграться с указанием разграничителей полей в директиве LOAD DATA INFILE). К преимуществам данного скрипта можно отнести огромное быстродействие (п4-3,2 1024Мб ОЗУ 4млн. строк за 10-12 сек.).Также по последнему полю "hash" мы можем уникальным образом идентифицировать строку (при анализе логов за год по squid и net-acct я не обнаружил одинаковых строк).А также гарантированное попадание всех строк в БД (т.к. данные не удаляются при сбое mysql). URL: Обсуждается: https://www.opennet.ru/tips/info/1610.shtml