ログ集約の定義

ログ集約は、データを相関付けおよび分析するために、さまざまなソースのログをキャプチャおよび正規化し、一元化されたプラットフォームに統合するメカニズムです。この集約されたデータは、アプリケーションのパフォーマンスの問題やエラーのトラブルシューティング、インフラストラクチャのボトルネックの特定、サイバー攻撃の根本原因の検出など、さまざまなユースケースに対応した唯一の情報源となります。

この記事では、ログ集約の必要性、ログ集約に必要な手順、収集する必要があるログのタイプについて説明します。ログ集約および管理プラットフォームを選択する際に確認する必要がある機能についても考察します。

ログ集約を使用する理由

ログの解析

ログを使用して意味のあるインサイトを導出するには、ログを解析する必要があります。解析は、ログに記録された各イベントから重要な情報を抽出して共通の形式にするプロセスです。これらの値は、後で分析するために保存されます。ログは非常に大きく、多くの不要なデータが含まれている可能性があります。解析を行うと、関連するデータのみが抽出され、残りのデータは破棄されます。

解析の一例として、元のタイムスタンプを単一のタイムゾーンの値にマッピングすることが挙げられます。タイムスタンプはイベントに関連する重要なメタデータとなり、ログソースに応じてログのタイムスタンプが異なる場合があります。

パーサーは、ユーザー名、ソースおよび宛先IPアドレス、使用されているネットワークプロトコル、ログの実際のメッセージなど、その他の重要な情報を抽出できます。例えば、解析により、ERRORおよびWARNINGタイプのイベントのみ保持して、重大度の低いデータを除外するようにデータをフィルタリングできます。

ログの処理

解析後、ログ集約により、入力の処理時に他のいくつかのアクションを実行できます。

インデックス付けでは、データベースインデックスと同様に、列に基づいて解析および保存されたデータのマップを構築します。インデックス付けによりログのクエリが簡単かつ迅速になります。また、一意のインデックスにより、重複するログデータが排除されます。

データエンリッチメントもログからのインサイトの取得に非常に役立ちます。データエンリッチメントの例には、次のようなものがあります。

• IPアドレスから位置情報をログデータに追加します。
• 実際のメッセージでHTTPステータスコードを置き換えます。
• オペレーティングシステムとWebブラウザの詳細を含めます。

マスキングでは、ログに記録されたメッセージで、暗号化キー、個人情報、認証トークン、認証情報などの機密データを非表示にします。

ログの保存

ほとんどのログ管理プラットフォームでは、解析、インデックス付け、およびエンリッチされたログを圧縮してから保存します。圧縮により、ログのネットワーク帯域幅とストレージコストが削減されます。通常、圧縮では独自の形式が使用されます。

ログを集約する際に、保持ポリシーも設定する必要があります。保持ポリシーでは、ログを保存する期間を定義します。これは、使用可能なストレージ容量、業界の要件、組織のポリシーなどの複数の要因に応じて定義できます。さらに、ログのタイプごとに保持要件が異なる場合があります。指定した時間が経過した後、古いログをシステムから削除するか、レイテンシーが長い安価なストレージにアーカイブできます。ログの削除とアーカイブにより、ホットデータのサイズが削減されるため、クエリパフォーマンスを高めることができます。また、このことは監査にも役立ちます。

どのようなタイプのログを集約するか

次世代SIEMおよびログ管理のための世界をリードするAIネイティブプラットフォームをお試しください

SIEMとログ管理のための最高水準のAIネイティブプラットフォーム、CrowdStrike Falcon^®プラットフォームでサイバーセキュリティを強化しましょう。ペタバイト規模でのセキュリティログを体験してみてください。クラウドネイティブ型または自己ホスト型での展開が可能です。ボトルネックの生じない、強力でインデックスフリーのアーキテクチャを利用してデータをロギングすれば、1日あたり1PB以上のデータを取り込んで脅威ハンティングに役立てることができます。リアルタイムの検索機能により攻撃者をしのぐスピードで対策を実施できます。複雑なクエリを実行しても、そのレイテンシーは1秒未満です。360度の可視性によりデータを統合してサイロ化を解消し、セキュリティ、IT、DevOpsチームがシームレスに脅威のハンティング、パフォーマンスのモニタリング、コンプライアンスの確保を行うことができます。30億件ものイベントにわたる作業でも1秒未満で実施できます。