JJUG ナイトセミナー 「Elasticsearch特集」

参加しました

1. Elastic Stackで始めるJavaアプリのパフォーマンス監視

  • データを表示：Kibana
  • データを貯める：ElasticSearch
  • データを集める層：Beats/Logstash/Kafka/Redis

Beats: データを集めるエージェント
　データを集めて後ろに投げる：データしっパー
　　ログの文字列を集めて編集、といったことはしない。投げるだけ。
　　投げたい内容をGoで書くこともできる

Beats family
　Packetbeat：キャプチャ、構造化（項目ごとに集める）投げる
　Metricbeat：Top相当の情報を取り出して、投げる（昔はTopbeatと読んでいた）。Apacheのスタッツ情報を集めて投げる。
　Winlogbeat：Windowsのイベントログを扱う
　Auditbeat：auditd.logなどを扱う
　Filebeat：ログをTail1行を1ファイルにして投げる。設定で複数行になるパターンにすることもできる。今読んでいる行へのポインタを把握できる。
　Heartbeat：死活監視

Logstash
　データ加工パイプライン
　何かからデータをとってくる。処理を噛ませる（正規表現を使って構造化するなど）。

elasticsearch
　レシピ検索用の検索エンジンのためのものだった（全文検索エンジン）
　Kibanaなどを入れるとログの可視化ができる
　Apache Solrが似ている

Kibana
　可視化と分析
　elasticsearchに入れたデータを可視化

2. はじめてのElasticsearchクラスタ