GKEログ収集基盤構築メモ

実装例: メルペイ

• 僕たちはどうマイクロサービスのログを収集するのか | メルカリエンジニアリング

[App] -> [Cloud Pub/Sub] -> [Cloud DataFlow] -> [Cloud Pub/Sub] -> [BigQuery/Cloud Storage]

構造化ログ

• GKE上RailsのアプリケーションログをStackdriver Loggingで運用する方法 | by Riki Shimma | Medium

• 標準出力
• JSON型式

Stackdriver Logging 側では特定の予約キー名のJSONを受け取ると取り込む機能があり、その一つが severity になっています

検討

案1

[App] -> [STDOUT] -> [Cloud Logging] ->  [BigQuery/Cloud Storage]

案2

[App] -> [fluetd-bit] ->  [BigQuery]/[Cloud Storage]

参考資料

• GKEのログ収集の仕組み - Speaker Deck
• 行動ログをRailsからBigQueryに流す仕組みの導入 - Zeals TECH BLOG
• GKEによる無限ステージング基盤の構築 — ALL-IN Tech Blog
• GCP のログ大全2019. GCPのログについてまとめました | by Toru Kaneko | google-cloud-jp | Medium
• 【k8s合宿】 Kubernetesのログ分析環境を作る - Uzabase Tech Blog
• 僕たちはどうマイクロサービスのログを収集するのか | メルカリエンジニアリング
• ログの収集基盤をサーバレス化した話 │ Aiming 開発者ブログ
• GKEとBigQueryを使って月1万円でデータ収集＆解析 - GAミント至上主義
• GKE上RailsのアプリケーションログをStackdriver Loggingで運用する方法 | by Riki Shimma | Medium
• 構造化ロギング  |  Cloud Logging  |  Google Cloud
• LogEntry  |  Cloud Logging  |  Google Cloud