logga. Парсер аццесс-логов.

bash, perl, python и прочие интерпретируемые скрипты

Модератор: Gen1us2k

Ответить
Аватара пользователя
Gen1us2k
Модератор
Модератор
Сообщения: 771
Зарегистрирован: 02 мар 2010, 16:13

logga. Парсер аццесс-логов.

Сообщение Gen1us2k » 29 мар 2012, 14:50

Понадобился инструмент, для того, чтобы парсил аццесс-логи и складывал куда-нибудь. Решений не нашел готовых, посему закодил.

1. Забирает логи в формате access-%Y_%m_%d.log по ссх с серваков
2. парсит логи, которые складываются логротейтом в определенную директорию
3. парсит как gzip, так и raw_text логи(скорость для gzip 200 Кб/с, raw 2Мб/с)
4. что спарсил ложит в базу.

Установка:
копировать файл conf/conflg.conf в /etc/logga.conf
запускать по крону раз в сутки.

Пока-что думаю, как повысить скорость парсинга
http://github.com/gen1us2k/logga
Изображение
Home: Windows Heaven
Home: Debian 6
For Servers: Debian || RHEL Based || Gentoo || FreeBSD
Аватара пользователя
Infernal Flame
Злой Модер
Сообщения: 1796
Зарегистрирован: 03 мар 2010, 11:25
ОС: Centos 7
Контактная информация:

Re: logga. Парсер аццесс-логов.

Сообщение Infernal Flame » 29 мар 2012, 19:21

гламурно однако :) зачот
Изображение
Изображение
Work: Centos 7 х 'all Servers'
Ответить

Вернуться в «Скрипты»