CentOS6でelasticsearch + kibana3 + fluentdの環境作成手順
2014年10月19日 20時49分
ビッグなデータは全く持ってないのですが、phpカンファレンスでelasticsearch + kibana3 + fluentdという環境でログを可視化しようぜというセッションを見たので折角だから自分のサーバにも環境を作ってみた。
その手順のメモ。
elasticsearch
全文検索エンジン。
参考リンク
http://www.elasticsearch.org/guide/en/elasticsearch/reference/current/setup-repositories.html
|
1 2 3 4 5 6 7 8 9 10 |
$ rpm --import http://packages.elasticsearch.org/GPG-KEY-elasticsearch $ vi /var/yum.repos.d/elasticsearch.repo [elasticsearch-1.3] name=Elasticsearch repository for 1.3.x packages baseurl=http://packages.elasticsearch.org/elasticsearch/1.3/centos gpgcheck=1 gpgkey=http://packages.elasticsearch.org/GPG-KEY-elasticsearch enabled=0 $ yum install elasticsearch --enablerepo=elasticsearch-1.3 |
fluentd
ログを運ぶ鳥。
参考リンク
http://docs.fluentd.org/articles/install-by-rpm
— v1.x
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 |
$ vi /etc/yum.repos.d/treasuredata.repo [treasuredata] name=TreasureData baseurl=http://packages.treasuredata.com/2/redhat/\$releasever/\$basearch gpgkey=http://packages.treasuredata.com/GPG-KEY-td-agent gpgcheck=1 enable=0 $ yum --enablerepo=treasuredata td-agent $ service td-agent start $ chkconfig td-agent on # fluentdのelasticsearchプラグインをインストール /usr/lib64/fluent/ruby/bin/gem install fluent-plugin-elasticsearch |
— v2.x
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 |
$ rpm --import http://packages.treasuredata.com/GPG-KEY-td-agent $ vi /etc/yum.repos.d/treasuredata.repo [treasuredata] name=TreasureData baseurl=http://packages.treasuredata.com/2/redhat/\$releasever/\$basearch gpgcheck=1 gpgkey=http://packages.treasuredata.com/GPG-KEY-td-agent enable=0 $ yum install --enablerepo=treasuredata td-agent $ td-agent-gem install fluent-plugin-elasticsearch $ vi /etc/td-agent/td-agent.conf # 設定を追記する（http://docs.fluentd.org/articles/config-file） $ /etc/init.d/td-agent configtest $ /etc/init.d/td-agent start |
kibana(v3)
elasticsearchのGUI。JavaScript製のSPA。
参考リンク
https://github.com/elasticsearch/kibana
v4のbeta1が出たらしいがとりあえずstableの最新版を使用することにしました。
|
1 2 |
$ git clone https://github.com/elasticsearch/kibana.git $ git checkout -b 3.1.1 refs/tags/v3.1.1 |
apacheなどの設定でチェックアウトしたプロジェクトのsrcにパスを通す。
カンファレンスで見たような画面が出た！
とりあえずapacheのアクセスログを可視化しただけだけど、エラーログ案外出ててWordpressの設定を見直すということをやった時点で可視化の価値はあった。
手軽に見えるってのはとても重要。
あとはアクセス解析したいようなサービス作って何を見たいかってのを考えて、fluentdでタグ付けしていくと楽しくなりそうな感じ。