logga. Парсер аццесс-логов.

bash, perl, python и прочие интерпретируемые скрипты

Moderator: Gen1us2k

Post Reply
User avatar
Gen1us2k
Модератор
Модератор
Posts: 771
Joined: 02 Mar 2010, 16:13

logga. Парсер аццесс-логов.

Post by Gen1us2k » 29 Mar 2012, 14:50

Понадобился инструмент, для того, чтобы парсил аццесс-логи и складывал куда-нибудь. Решений не нашел готовых, посему закодил.

1. Забирает логи в формате access-%Y_%m_%d.log по ссх с серваков
2. парсит логи, которые складываются логротейтом в определенную директорию
3. парсит как gzip, так и raw_text логи(скорость для gzip 200 Кб/с, raw 2Мб/с)
4. что спарсил ложит в базу.

Установка:
копировать файл conf/conflg.conf в /etc/logga.conf
запускать по крону раз в сутки.

Пока-что думаю, как повысить скорость парсинга
http://github.com/gen1us2k/logga
Image
Home: Windows Heaven
Home: Debian 6
For Servers: Debian || RHEL Based || Gentoo || FreeBSD
User avatar
Infernal Flame
Злой Модер
Posts: 1796
Joined: 03 Mar 2010, 11:25
ОС: Centos 7
Contact:

Re: logga. Парсер аццесс-логов.

Post by Infernal Flame » 29 Mar 2012, 19:21

гламурно однако :) зачот
Image
Image
Work: Centos 7 х 'all Servers'
Post Reply