「logstash」の版間の差分

2015年9月27日 (日) 13:36時点における版

logstash とは、プロセスのログやいろいろなシステムからのイベントログのデータパイプラインです。

読み方

logstash

ろぐ すたっしゅ

概要

logstashは、

• input プラグイン
• filter プラグイン
• output プラグイン
• codec プラグイン

のプラグインを実装して、いろいろなイベントや出力先に対応できます。

出力先として elasticsearch を指定できます。

logstash , elasticsearch, kibana を利用して、簡単にログを可視化できます。たとえば、ApacheのアクセスログをウェブUIで簡単に見れます。

インストール

pkgコマンドでインストールする場合

sudo pkg install logstash

apacheのログを取り込む

logstash-apache.conf

input {
        file {
                path => "/var/log/access.log"
                start_position => "beginning"
        }
}
 
filter {
        if [path] =~ "access" {
                mutate { replace => { "type" => "apache_access" } }
                grok {
                        match => { "message" => "%{COMBINEDAPACHELOG}" }
                }
        }
        date {
                match => [ "timestamp" , "dd/MMM/yyyy:HH:mm:ss Z" ]
        }
}
 
output {
        elasticsearch {
                host => localhost
        }
        stdout { codec => rubydebug }
}

ログの取り込み

/usr/local/logstash/bin/logstash -f logstash-apache.conf

設定ファイルのテスト

設定ファイルは、--configtest オプションでテストできます。

 $ /usr/local/logstash/bin/logstash --configtest -f logstash-apache.conf
'[DEPRECATED] use `require 'concurrent'` instead of `require 'concurrent_ruby'`
Configuration OK

関連項目

• kibana
• elasticsearch
• Apacheのログをfluentd elasticsearch kibanaで見る