FluentdでログをS3に保存

0
    amazon 3sにアクセスログを転送してみた。
    もちろん、手順はあやしい。

    • インストール
       ruby1.9くらいがが必要なので、いれてみる。

       #rbenv install 1.9.2-p290
       #rbenv rehash
       #gem install fluent-plugin-s3


       で、ようやくインストール
       #gem install fluentd
       エラーで、はいらない。
    libxslt-develが必要らしい。
       #yum install libxslt-devel

       で、再度gem installでなんとか、入りました。

    • 続いて、fluentd.confの設定

       #fluentd -s /etc/fluentd

       fluent.confとpluginのディレクトリができる。

       fluentd.confに下記のように追加
             -----------------------------------------------------------------------

             <source>
               type tail
               format apache
               path /var/log/httpd/access_log
               tag apache.access
             </source>

             <match apache.access>
             type s3

             aws_key_id hogehoge
             aws_sec_key mogemoge
             s3_bucket stsmania-buckets
             s3_endpoint s3-ap-northeast-1.amazonaws.com
             path logs/
             buffer_path /var/log/fluentd_s3.log

             time_slice_format %Y%m%d-%H
             time_slice_wait 10m
             utc
             </match>

             -----------------------------------------------------------------------

    • 起動
       #fluentd -c /etc/fluentd/fluent.conf -v    


    で、以前にテストで作成したうんこスクリプトで、s3の中をのぞいてみると
    # perl test.pl

    logs/20121012-06_0.gz

    無事にできているようですね。

    fluentdの設定は、 こちらを拝見させていただきましたよ。





    コメント
    • 竹内結
    • 2012/10/12 7:57 PM
    td-agentは、後日やる予定でしたよ
    しかし、竹内さんからコメントいただけるなんて。。。
    • やる気ありお
    • 2012/10/12 10:58 PM
    コメントする








       
    この記事のトラックバックURL
    トラックバック

    calendar

    S M T W T F S
      12345
    6789101112
    13141516171819
    20212223242526
    2728293031  
    << August 2017 >>

    selected entries

    archives

    recent comment

    recent trackback

    recommend

    links

    profile

    書いた記事数:202 最後に更新した日:2017/06/16

    search this site.

    others

    mobile

    qrcode

    powered

    無料ブログ作成サービス JUGEM