Наверняка, каждый сталкивался с задачей переноса лог-файлов из текстовых файлов в различные БД.
И, наверняка, каждый столкнувшийся начинал писать собственные скрипты под это дело.
Причем большинство виденных мной скриптов основывались на построчном чтении/переносе данных.
Данный способ, конечно, хорош и имеет право на существование, но, к сожалению не очень быстр.
Но в MySQL существует способ перенести данные из обычных текстовых файлов в БД
очень и очень быстро при помощи директивы LOAD DATA INFILE

Пример такого скрипта:

#!/bin/bash
nld='/var/log/squid3'    # Путь к лог-файлам
nbd='/opt/backup/squid3' # Путь к папке резервного хранения лог-файлов
nrc=`squid3 -k rotate`   # Команда ротации лог-файлов для данного сервиса
nlf='/var/log/logs2mysql/squid.log' # На всякий случай пишем что и когда делали

mh='localhost' # Mysql host
mu='root'      # Пользователь mysql
mp='secret'    # Его пароль
mb='logs'      # База данных
mt='squid'     # Таблица

echo `date +"%F %T"` "Начало выгрузки" >> $nlf && \

$nrc && \
for i in `ls $nld | grep access.log.`;
do
    year=`date +"%Y"`
    month=`date +"%m"`
    day=`date +"%d"`
    prefix=`date +"%F-%H"`
    test -d $nbd/$year/$month/$day || mkdir -p $nbd/$year/$month/$day && \
    cat $nld/$i | sed -e 's/\"/\\\"/g' | sed -e "s/\'/\\\'/g" | \
      awk ' {print strftime("%F",$1),strftime("%T",$1),$1,$2,$3,$4,$5,$6,$7,$8,$9,$10,$11,$1 $2 $3 $4 $5 $6 $7 $8 $9 $10 $11} ' | \
      sed -e "s/ /\t/g" > $nld/prepare.log && \
    chmod 0777 $nld/prepare.log && \
    mysql -h $mh -u $mu -p$mp -e "LOAD DATA INFILE \"$nld/prepare.log\" REPLACE INTO TABLE $mb.$mt;" && \
    cat $nld/$i >> $nbd/$year/$month/$day/$prefix.log && rm $nld/$i && rm $nld/prepare.log
done
echo `date +"%F %T"` "Конец выгрузки" >> $nlf

Поля для таблицы ('Поле'-тип)

'date'-date
'time'-time
'timestamp'-varchar(16)(разные сервисы пишут по разному.Кто-то с милисекундами, кто-то без)
'elapsed'-int(20)
'ip'-varchar(15)
'code'-varchar(20)
'size'-int(20)
'method'-varchar(10)
'url'-varchar(255)
'user'-varchar(255)
'direct'-varchar(25)
'mime'-varchar(25)
'hash'-varchar(255)unique

C небольшими изменениями данный скрипт можно приспособить для обработки
лог-файлов не только squid, но и других сервисов. Необходимое условие:
четкое разграничение полей (можно, поиграться с указанием разграничителей полей
в директиве LOAD DATA INFILE).
К преимуществам данного скрипта можно отнести огромное быстродействие
(п4-3,2 1024Мб ОЗУ 4млн. строк за 10-12 сек.).Также по последнему полю "hash" мы можем уникальным
образом идентифицировать строку (при анализе логов за год по squid и net-acct я не обнаружил
одинаковых строк).А также гарантированное попадание всех строк в БД
(т.к. данные не удаляются при сбое mysql).

URL:
Обсуждается: https://www.opennet.ru/tips/info/1610.shtml