かわろぐ

技術、セキュリティ、その他もろもろ

MENU

Wowhonyepot のログを StackDriver Logging から GCS に保存する

前回の記事では、Wowhoneypot のログを StackDriver Logging へ出力できる様に設定しました。 しかし、それだけではログは長期間保存されません。公式ドキュメントによると30日しか保持されないようです。 長期保存するためにはGoogle Cloud Strage(以下 GCS)へ転送する必要があるようです。

StackDriver Logging から GCS に転送する方法

エクスポートを作成で簡単に転送できる。タグで wowhoneypot とつけてあるので、それを選択して設定すれば syslog などと混ざることなく wowhoneypot のログだけを GCS へ転送できます。

f:id:kawa_xxx:20181006215856p:plain

GCSから見えるログ

StackDriver Logging から転送されたログは、JSON形式で1時間毎のファイルに分けられて保存されていきます。

f:id:kawa_xxx:20181006215859p:plain

さて、これでログも長期間保存されるようになったので、あとは BigQuery か ElasticSearch などに突っ込んで分析するだけですね!

Google Cloud Platform エンタープライズ設計ガイド

Google Cloud Platform エンタープライズ設計ガイド

Stackdriver Logging に Wowhoneypot のログを吐き出す

前の記事では、サーバーのディスクが溢れない様にログをローテートするところまで作業しました。今回はハニーポットのマシンの外にログを保管する部分をやっていきます。

ハニーポットのログを集めたい

個人の趣味の時間でやっているので、syslog サーバのメンテナンスなんてしたくて、最もやりたいログの分析の部分にフォーカスしたいんですよね。そこで、Google Cloud Platform にロックインされますが、GCP上のサービスを使ってお金で手間を解決したいと思います。

お金でと言っても殆ど、無料枠に収まってしまいほぼ無料ですけどね。。

StackDriver Loggingにログを出す

これはStackDriver のエージェントが Google から提供されているので、ドキュメントを見て以下のコマンドを叩くだけです。

curl -sSO "https://dl.google.com/cloudagents/install-logging-agent.sh"
sudo bash install-logging-agent.sh

エージェントと言っても独自のものではなくて fluentd のカスタマイズ版のようですね。

完了したらStackdriver のエージェントにwowhoneypot のログを拾わせる様に設定しましょう。こちらも設定方法のドキュメントがあるのでそれを見ながらやりました。

/etc/google-fluentd/conf.d/wowhoneypot.conf

<source>
  @type tail
  format none
  path /home/wow/wowhoneypot/log/access_log
  pos_file /var/lib/google-fluentd/pos/wowhoney-access_log
  read_from_head true
  tag wowhoneypot
</source>

上記の設定ファイルを作ったらエージェントを再起動します。

sudo service google-fluentd restart

これで、Wowhoneypot のログが StackDriver Logging へ転送されるようになりました。GCPの画面で見るとこんな感じですね。

f:id:kawa_xxx:20180930080411p:plain

エージェントの設定ファルを作成したフォルダにはデフォルトで syslog など他のサービスのログを転送する設定も多数入っています。もし、ログ量を心配するならば、これらを削除なり拡張子の変更をしておくと良いかもしれません。

プログラマのためのGoogle Cloud Platform入門 サービスの全体像からクラウドネイティブアプリケーション構築まで

プログラマのためのGoogle Cloud Platform入門 サービスの全体像からクラウドネイティブアプリケーション構築まで

今更 Scrapbox を使いだしてみた

今更ながら Scrapbox を使いだしてみました。まだ public には殆どなにもないですが、私の Scrapbox を貼っておきますね。

f:id:kawa_xxx:20180919095151p:plain

Scrapbox って?

公式や、すでにいろいろな方が言及されていますが、簡単に言ってしまえば Wiki です。ただし、単なる Wiki ではなく、リンク機能が強力で同時編集もできる代物となっています。

なぜ使おうと思ったのか

エンジニアの知的生産術の著者の Scrapbox にたまたまたどり着いて、むむ!と思い、他のユーザの Scrapbox を見ていて、Link で関連するものがつながっていてしかも手軽にかけ、お、これは面白そうと思ったのがきっかけです。

Evernote との棲み分けって?

まだ使いだして数日ですが、おそらく書籍から得た知識や調べた知識をまとめておく用途に限定されるんだろうなと思っています。要はPCの前にしっかりいてできる作業に限定される感じです。

出先などで取る雑多なメモ類はおそらく Evernote に放り込むことになりそうです。理由は簡単で、スマホアプリがないことですね。スマホでブラウザとか殆ど開きたくないので。。。

しばらく使ってみて、なにか変化があったらまたブログに書こうと思います。

Scrapbox情報整理術

Scrapbox情報整理術

書評:GTD with Things3 を読んだ

なぜ読もうと思ったのか?

Things3 を常用しているがイマイチ使いこなせていない気がしており、もっと利用の深化をしたいなと思い手に取りました。加えて、GTDは昔やったことがありますが、かなり中途半端な感じだったので再入門したかったからです。あと純粋に英語にふれる機会を増やそうと思ってです。

GTD with Things 3 (English Edition)

GTD with Things 3 (English Edition)

Things3 と Evernote

Things3 だけではなく Evernote や Bear などのノートアプリと連携して使用することをおすすめしています。Things3 自体が情報を蓄積するものではないから当然ですよね。Evernote と Bear は URL を発行できるからその URL を Things3 に貼っておくとよいと書かれています。 Things3 はあくまでもタスク管理のみで余計な文章や資料は Evernote など他のアプリに任せようということです。

GTD

まず、始める前の準備としてエリアを作成して、タスクをどんどん書き出していき、分類、整理し、レビューし、実行する。そんな感じです。 詳しく知りたい人は GTDのWebサイトこのへんを読んでみると良いとおもいます。

この本に置いても、タスクを洗い出す部分についてかなり文面を割いてThingsに以下にいろいろな方法でタスクを投げ込むように環境を整備するかについて書かれています。

おわりに

改めて Things3 の設定や機能を見直したので、もうちょっとGTDに沿ってガッツリ活用して行こうと思います。

新しいボルダリング用ブログを立ち上げました

これまでこのブログはセキュリティだったり、ボルダリングだったり雑多なブログでした。

ボルダリング関連の記事も増えてきたので、今後はかべろぐの方に順次ボルダリングの記事を切り出して行こうと思います。

すでにこちらで公開済みの記事は残しておきますが、かべろぐの方に移す際に内容の加筆修正を行っていきます。

こちらのかわろぐはプログラミングやセキュリティ、書評などに記事の内容を集中させます。

新しいブログ かべろぐもこちらのかわろぐも引き続きどうぞよろしくお願い致します。

ブログ名が一文字しか違わない… ^^;