#author(“2018-03-20T06:36:31+00:00”,“default:kazuma”,“kazuma”) fish bobthefish [#e80502cf] 右側のプロンプトから日付や時間を非表示にする [#n4917c68] /.config/fish/config.fish に下記を追記する set -U theme_display_date no set -U theme_display_cmd_duration no

#author(“2018-03-26T09:09:17+00:00”,“default:kazuma”,“kazuma”) fish for [#e8510e70] for i in 1 2 3 4 5; echo $i;end for i in (command); echo $i;end while [#e29d8e1e] while true; COMMAND;end

#author(“2017-12-01T03:37:55+00:00”,“default:kazuma”,“kazuma”) トップページ 基本 [#s4be81b7] -fluentdを1台でテストしてみる -fluentdでログを転送してみる -fluentdでプラグインをインストールする -fluentdの各種オプション メール [#yc802802] -fluentdでメールログを転送 mongodb [#ic2c52a8] -fluentdとmongodbの連携

fluentd 環境 [#fe1e1b4b] # yum list installed |grep td-agent td-agent.x86_64 2.2.1-0.el6 @treasuredata 検索 [#ad90269f] # td-agent-gem search -r fluent-plugin インストール [#o857c0cb] # td-agent-gem install fluent-plugin-tail-asis

fluentd 前提条件 [#s2300a26] OSはCentOS6系 fluentdのインストールが完了している状態 事前準備1:プラグインのインストール [#cfa762df] 事前に下記プラグインをクライントへインストールしておく必要があります。

td-agent-gem install fluent-plugin-multi-format-parser 事前準備2:td-agentが読み取れるようにログローテーションを設定する [#qc684cca] # cd /etc/logrotate.d/ # vim maillog — postrotate chmod 644 /var/log/maillog <–追記 endscript — # cd /var/log # chmod 644 maillog クライアント [#v462a17e] # cd /etc/td-agent # cp -p td-agent.conf td-agent.conf.date +%Y%m%d # vim /etc/td-agent/td-agent.conf — <source> type tail path /var/log/maillog pos_file /var/log/td-agent/maillog.pos tag maillog format multi_format <pattern> format /^(?<time>[^ ]* [^ ]* [^ ]*) (?<host>[^ ]+) (?

fluentd 環境 [#q307c0b2] Vagrant2台。ただし、CentOS6系であればなんでもOK。また、yum(公式インストール)にて2.2.1のtd-agentが2台へインストールされているものとする。 設定 [#v9888d40] 送信元 [#ke1a784d] IPアドレス:192.168.33.10 # cp -p /etc/td-agent/td-agent.conf /etc/td-agent/td-agent.conf.date +%Y%m%d <–バックアップ # vi /etc/td-agent/td-agent.conf — <source> type tail path /var/log/httpd/access_log pos_file /var/log/td-agent/access_log.pos tag httpd.access format apache2 </source> <match httpd.> type forward <–マッチしたソースのログをどうするか。ローカルに残す場合copyとか。今回は転送なのでforward <server> host 192.168.33.11 <–転送先 </server> </match> — # service td-agent configtest <–エラーが出ないことを確認 # service td-agent resart # service td-agent status <–稼働していることを確認 受信側 [#m54a7d8f] IPアドレス:192.168.33.11 # cp -p /etc/td-agent/td-agent.conf /etc/td-agent/td-agent.conf.date +%Y%m%d <–バックアップ # vi /etc/td-agent/td-agent.

fluentd 環境 [#c0e2e919] -CentOS6.7 -nginx 1.0.15 -mongod 2.6.11 -td-agent 2.3.0 fluentd側設定 [#lc8ef0aa] nginxの場合 [#o650eb81] <source> type tail path /var/log/nginx/access.log pos_file /var/log/td-agent/access.pos tag nginx.access #format nginx format /^(?<remote>[^ ]) (?<host>[^ ]) (?<user>[^ ]) [(?<time>[^]])] "(?<method>\S+)(?: +(?<path>[^ ]) +\S)?" (?<code>[^ ]) (?<size>[^ ])(?: "(?<referer>[^&#34;])" "(?<agent>[^&#34;])" "(?<forwarder>[^&#34;]*)")?/ time_format %d/%b/%Y:%H:%M:%S %z </source> <match nginx.access> type copy <store> type mongo host localhost port 27017 database fluentd collection test capped capped_size 1024m flush_interval 10s </store> </match> ※mongodbのデフォルト待受ポートが27017 ※特にDBなどは作成しなくてもOK 確認手順 [#qa6ac30b] # mongo > show dbs admin (empty) fluentd 2.

fluentd 転送する場合に設定変更するfluentdオプション [#v2eb2206] <match messages> type forward send_timeout 60s <–デフォルト recover_wait 10s <–デフォルト heartbeat_interval 1s <–デフォルト phi_threshold 8 <–デフォルト hard_timeout 60s <–デフォルト <server># <= 送信先サーバーの指定 name server1 host 192.168.1.1 port 24224 </server> </match> send_timeout [#fc00fbf1] データを転送する際に相手が反応しなかった場合、どのくらいの時間でタイムアウトするかを設定します。 デフォルトは60秒です。 recover_wait [#z3dfaac0] 送信に失敗した際に、復旧までどれくらい待つかを設定します。 デフォルトは10秒です heartbeat_interval [#n6307237] fluentdはデータの送信先が生きているかをチェックします。 このオプションではその死活監視の間隔を指定します。 デフォルトは1秒です。 ※死活監視はUDPで行われます。FW設定等の理由でTCPを使いたい場合は「heartbeat_type tcp」という行を追加してください。 phi_threshold [#kf153ac4] 送信が失敗したと判断するしきい値です。 内部で死活を判断する計算で使われるphiという値のしきい値であり、特にいじる必要はありません。 デフォルトは8です。 hard_timeout [#da7a1984] リモートのサーバー接続に失敗したと判断する時間です。 デフォルトはsend_timeoutと同じ値になります。 参考URL：http://tech-sketch.jp/2013/05/fluentd-buffer.html

fluentd Fluentdインストール（１台のみでApacheのログでテスト） [#d26a1ed6] # yum install sudo -y # curl -L https://toolbelt.treasuredata.com/sh/install-redhat-td-agent2.sh | sh →公式インストール手順。リポジトリを引っ張ってインストール。 # cd /etc/td-agent # cp -p td-agent.conf td-agent.conf.org # vim td-agent.conf Apacheの場合ここから [#z06851ed] <source> type tail path /var/log/httpd/access_log pos_file /tmp/access_log.pos format apache2 tag apache2.access_log </source> <match apache2.access_log> type file path /var/log/td-agent/copy-access_log </match> nginxの場合ここから [#qdcca822] <source> type tail path /var/log/nginx/access.log pos_file /var/lib/fluent/access.pos tag nginx.access format /^(?<remote>[^ ]) (?<host>[^ ]) (?<user>[^ ]) [(?<time>[^]])] "(?<method>\S+)(?: +(?<path>[^&#34;]) +\S*)?" (?<code>[^ ]*) (?

#freeze #nofollow #norelated テキスト整形のルール [#oca54177] 通常は入力した文章がそのまま出力されます。 HTMLのタグは効果がありません。書かれた文章はそのまま(「text」といった形のまま)表示されます 段落と段落の区切りには空行をはさんで下さい。空行をはさまず、連続している複数の行は同じ段落と解釈されます (連結して表示されます) これに加えて、特定のルールによるテキスト整形を行うことができます。以下では、プラグインについてはよく使われるものだけを簡略に説明しています。プラグインのオプションなど詳細な説明については PukiWiki/1.4/Manual/Plugin を参照してください。 #contents ブロック要素 [#vd593893] ブロック要素は、インライン要素と他のブロック要素を子要素にすることができます。ただし、段落、見出し、水平線、#から始まるブロック要素は他のブロック要素を子要素にすることはできません。 空行はトップレベルのブロック要素の区切りになります。空行が現われると、すべてのブロック要素は終了します。 ブロック要素は、他のブロック要素の子要素になることができます。 – リスト構造と引用文は他のブロック要素を子要素にすることができます。子要素のブロック要素は親要素のレベルに従ってインデントされて表示されます。空行が現われるとブロック要素は終了します。 – リスト構造と引用文のネストには3段階のレベルがありますが、リスト構造のレベルと引用文のレベルは独立しています。従って、リスト構造を引用文の子要素にする場合や引用文をリスト構造の子要素にする場合は、レベルを1段階増やさずに記述します。リスト構造を他のリスト構造の子要素にする場合や引用文を他の引用文の子要素にする場合は、レベルを1段階増やして記述します。 – 他のブロック要素の子要素となっている引用文から脱出するとき、親のブロック要素を継続したい場合は行頭に<、«、«<を記述します。<で第1レベルの引用文から、«で第2レベルの引用文から、«<で第3レベルの引用文から脱出します。空行を記述すると引用文だけでなく親のブロック要素からも脱出します。 ブロック要素となるプラグインは#～の形式になっています。((インライン要素となるプラグインやユーザ定義とは異なり、ブロック要素となるプラグインでは終端に;を付加する必要はありません。プラグインによっては正常に動作しなくなる場合があります。)) 段落 [#n6691793] インライン要素 他のブロック要素を明示しない限り、段落となります。 インライン要素 行頭で を指定した場合も段落になります。行頭書式の文字( 、-、+、:、>、|、#、//)を通常の文字として段落の先頭に書きたい場合は、行頭に を記述して書くことができます。 段落の先頭は1文字分字下げされます。但し、番号なしリスト構造、番号付きリスト構造、引用文内の段落では字下げされません。定義リスト内の段落の先頭は1文字分字下げされます。 段落は、新たなブロック要素が現われるまで継続します。 段落は、他のブロック要素の子要素になることができます。 段落は、他のブロック要素を子要素にすることはできません。 引用文 [#af1781b1] > インライン要素 行頭で > を指定すると、引用文になります。引用文は >、»、»> の3レベルあります。 引用文の中は、ブロック要素を明示しない限り、段落となります。 引用文は、空行が現われるまで継続します。 引用文内の段落は、新たな引用文またはブロック要素が現われるまで継続します。 引用文は、他のブロック要素の子要素になることができます。他の引用文の子要素にする場合は、レベルを1段増やして記述します。リスト構造の子要素にする場合はレベルを1段増やさずに記述します。 引用文は、他のブロック要素を子要素にすることができます。引用文の子要素となるリスト構造はレベルを1段増やさずに記述します。 リスト構造内の引用文から脱出する場合で、リスト構造を継続する場合は、<、«、«<を行頭に記述します。 リスト構造 [#q8abd9a8] - インライン要素 行頭で - を指定すると、番号なしリストになります。番号なしリストは -、–、— の3レベルあります。 番号なしリストは、他のブロック要素の子要素になることができます。他のリスト構造の子要素にする場合は、レベルを1段増やして記述します。引用文の子要素にする場合は、レベルを増やさずに記述します。 -の直後に を記述すると段落を子要素にすることができます。 -番号なしリストは、‘‘リストの先頭がインライン要素または段落である場合に限り’’、リストの次の行に他のブロック要素を記述することで、他のブロック要素を子要素にすることができます。 + インライン要素 行頭で + を指定すると、番号付きリストになります。番号付きリストは +、++、+++ の3レベルあります。