サーバー、アプリケーション、ネットワークデバイスなど、IT環境のほとんどすべてのコンポーネントは、ログを生成します。これらのログファイルには、単純なステータス情報から重大なエラーに至るまで、システムの内部または外部のイベントに関する情報が含まれます。ITチームは、これらのログを使用して、コードのデバッグ、障害やパフォーマンス問題のトラブルシューティング、セキュリティ侵害の調査、顧客の振る舞いの分析を行います。

ほとんどの企業は、ログ管理ソリューションを使用してログの取り込み、保存、分析を行います。ログは多くの異なるソースから取得されるため、そのタイプや形式も多種多様です。

ログの解析は、ログデータを一般的な形式に変換して機械が判読できるようにするプロセスです。いくつかの異なる形式にまたがる取り込み済みログから始めることができますが、ログの解析後は、ログ管理システムを使用してイベントを1つの単位として検索および分析できます。

この記事では、ログの解析とその仕組み、最も便利なログの解析機能について詳しく説明します。最新のログ管理システムであるクラウドストライクのFalcon LogScaleも紹介します。

ログの解析とは

ログ管理システムでは、まずファイルを解析して、ログから意味のある情報を抽出する必要があります。ログの解析により、ログ管理システムがデータの読み取り、インデックス付け、保存を行うことができるように構造化または非構造化ログファイルが変換されます。このように、キーと値の情報を簡単にフィルタリング、分析、操作できます。

次にいくつかの一般的な形式を示します。

• JSON
• CSV
• Windowsイベントログ
• 共通イベント形式 (CEF)
• NCSA Common Log Format
• 拡張ログ形式 (ELF)
• W3C

最も一般的に使用される構造化データ形式の1つはJSONです。Unicodeエンコードにより、人間も機械も汎用的にアクセスおよび読み取りできるため、多くのアプリケーション開発者が最初に選択する形式です。次のスニペットは、要素としてキーと値のペアを持つ単純なJSONドキュメントを示しています。

{
"userAccess":  {
"timestamp":  "2022-01-31 17:55.50”,
"client_ip": "10.2.31.21",
"username": "bob",
"status": "Error",
"message": "File not found"
}
}

JSONは広範なコミュニティでサポートされているため、ほとんどのログ管理ソリューションはデフォルトでJSON解析オプションを提供しています。

ログパーサーの仕組み

通常、ログパーサーはログ管理ソフトウェアのエンジンに組み込まれています。つまり、ログマネージャーごとに独自の方法でログが解析されます。

ほとんどのログ管理ソリューションには、Windows、イベントログ、JSON、CSV、W3Cなどの一般的なデータタイプに対応したパーサーが組み込まれています。パーサーは、ソースデータ構造とファイル拡張子に基づいて、これらのログタイプを認識するように設定されます。

ログファイルが取り込まれると、パーサーはその組み込みルールを適用して有用なフィールド名とその値を抽出します。抽出したデータを階層構造で保存することもあります。このアプローチでは、ユーザーはフィールドを検索し、返された結果セットをドリルダウンしてクエリを微調整できます。

非標準ログタイプの場合、ユーザーはカスタムログ解析ルールを指定できます。通常、これには正規表現またはロギングソリューション独自の言語が使用されます。一部のログ管理ソリューションでは、ユーザーがグラフィカルインターフェースから解析ルールを構築することで、これをさらに簡単に行うことができます。ユーザーは、関心のあるフィールド名を強調表示できます。一方、ログ管理ソリューションはバックグラウンドで解析ルールを構築します。

ログが解析されると、ロギングシステムにデータが取り込まれ、ユーザーがクエリ、分析、可視化できるようになります。

次のスニペットの非標準ログエントリについて考えてみましょう。

2022-05-15T12:51:40+00:00 [WARN] "This is a warning" id=123 user=jbloggs
2022-05-15T12:52:42+00:00 [ERROR] "This is an error" id=124 user=unknown
...

このログを解析するには、次の正規表現を使用して、タイムスタンプ、ログレベル、メッセージ、ID、ユーザーフィールドをエントリから抽出できます。

(?d{4}-d{2}-d{2}Td{2}:d{2})
[(?.+)]
s"(?.+)"s
id=(?d+)
user=(?w+)

クラウドストライクでは、クラウドストライク言語を使用して、同じログファイルを解析し、タイムスタンプを抽出できます。

/^(?S+)/ |
parseTimestamp("yyyy-MM-dd'T'HH:mm:ss[.SSS]XXX", field=ts)

求められるログの解析機能

ログの解析機能は、ログ管理ソリューションを評価する際に考慮すべき重要な領域の1つです。分析により多くの時間を割くことができるように、ログの取り込みと解析をできるだけ迅速かつ容易に行うことが重要です。

自動化

選択したツールに、最も一般的なログ形式に対応した自動パーサーが付属していることを確認してください。カスタムログについては、カスタム解析ルールを作成する前に、生データに対して全文検索を実行できる必要があります。

カスタマイズ

ログには非常に多くの形式があるため、ログ管理システムがデフォルトでそれらのすべてをサポートするのは不可能です。解析設定の作成が容易かつ直感的である必要があるのはそのためです。一部のロギングツールは、カスタム解析設定を作成するためのGUIを提供しています。カスタム解析ルールを作成するエディタを提供するロギングツールもあります。

可視化

解析設定に誤りがあると、誤ったデータ値が示されたり、分析が不正確になる可能性があります。優れたログ管理ソリューションでは、保存前にサンプルデータセットからキーと値のペアをプレビューして、解析ルールの「ドライラン」を実行できます。解析設定を作成および更新するための視覚的補助も提供されます。これには、一致しないフィールドまたはエラーの色分けや強調表示などがあります。

次世代SIEMおよびログ管理のための世界をリードするAIネイティブプラットフォームをお試しください

SIEMとログ管理のための最高水準のAIネイティブプラットフォーム、CrowdStrike Falcon^®プラットフォームでサイバーセキュリティを強化しましょう。ペタバイト規模でのセキュリティログを体験してみてください。クラウドネイティブ型または自己ホスト型での展開が可能です。ボトルネックの生じない、強力でインデックスフリーのアーキテクチャを利用してデータをロギングすれば、1日あたり1PB以上のデータを取り込んで脅威ハンティングに役立てることができます。リアルタイムの検索機能により攻撃者をしのぐスピードで対策を実施できます。複雑なクエリを実行しても、そのレイテンシーは1秒未満です。360度の可視性によりデータを統合してサイロ化を解消し、セキュリティ、IT、DevOpsチームがシームレスに脅威のハンティング、パフォーマンスのモニタリング、コンプライアンスの確保を行うことができます。30億件ものイベントにわたる作業でも1秒未満で実施できます。

クラウドストライク解析標準 (CPS) の詳細については、https://library.humio.com/integrations/packages-pasta.htmlを参照してください。