ログパターンは、検索せずにログデータの価値を発見する最速の方法です。
ログデータは大量のテレメトリであり、個々のレコードあたりの価値は低い。検索すれば、根本的な原因を説明するログをすぐに見つけることができますが、ほとんどのデータは反復的で、閲覧時に文脈を理解するのは困難です。パターンは、価値の低いデータを読むのに多くの時間を費やすことなく、ログデータを発見できるようにします。
one.newrelic.com > All capabilities > Logs > Patterns: ログパターン を使用すると、余分な時間をかけて検索することなく、ログメッセージの不審な急増や急減を見つけることができます。
技術概要
ログパターン機能は、機械学習を応用して、フォーマットは一貫しているが内容にばらつきがあるログメッセージを正規化してグループ化します。グループ化されたメッセージはソートされ、環境内で最も頻繁に発生するログや最も稀なログのセットを簡単に見つけることができます。
パターンを利用して、重要なデータの頻度が変化したときに警告を発したり、不要な繰り返しデータを削除するドロップルールを設定したりすることができます。
ログパターンは、高度なクラスタリングアルゴリズムを使用して、類似したログメッセージを自動的にグループ化します。パターンを使用すると、以下のことが可能になります。
- 数百万件のログをより早く解析することができます。
- ログエステートの異常な動作を発見するまでの時間を短縮します。
- 既知のパターンの頻度を長期的にモニタリングし、重要なものにエネルギーを集中させ、無関係なものを除外する。
入手方法
ログ UI にPatterns are turned offが表示される場合は、 Configure patternsをクリックして有効にします。 機能を有効にしてから 30 分以内にパターンが表示されない場合は、システムがパターンを作成するためのメッセージ属性を持つデータが不足している可能性があります。
ログパターン | 限界と検討事項 |
|---|---|
価格 | ログパターンには個別の価格設定はありません。唯一のコストは、生成された追加データがログ記録に追加された場合です。 パターン属性は、パターンにマッチするすべてのログに追加されます。また、GUID、IPアドレス、URL、電子メールアドレスなどの共通の値が見つかった場合にも、属性が追加されることがあります。これらの属性は、パターン処理の一環として、ログメッセージから自動的に抽出されます。 |
ヒットラスト・アカウント | ログパターン機能はFedRAMPに準拠していません。FedRAMPまたは他のHITRUSTアカウントはパターンを使用することができません。 |
ログのパターンマッチングの制限 | ログをパターンに照合する際に、メモリやCPUのリソースに安全制限を設ける仕組みがあります。これらのマッチング制限は、ログパターンにグループ化できるログの割合に影響を与えます。しかし、ログ パターン マッチングは"ベストエフォート" プロセスです。すべてのログがパターンによってグループ化される機会がなくてもエラーではありません。リソースの制限内で行うことができるグループ化からも価値を得ることができます。 |
始めましょう
パターンの検討を始めるために
one.newrelic.com > All capabilities > Logs
に移動し、アカウント ピッカーのドロップダウンを使用して、パターンを調査するターゲット アカウントを選択します。
ログ UI の左側のナビゲーションで、
Patterns
をクリックします。
メインログUIが変更され、クエリバーのクエリに一致するパターンが表示されます。特定の期間のログを表示するには、チャート上のそのポイントをクリックする（または領域をクリックしてドラッグする）か、タイムピッカーを使用します。
ログパターンの探索
デフォルトでは、ログパターンUI最初に最も頻繁に発生するパターンが表示されます。 最も珍しいパターンを最初に表示するように並べ替えるには、 Count列をクリックします。 クエリ バーまたは属性バーを使用して、ログパターンをフィルター処理することもできます。
あなたがしたい場合は... | これを行う... |
|---|---|
パターンの変化率を理解する | 折れ線グラフを見てください。 色分けされたパターンは、表のplot列に対応しています。 個々のplotパターンを切り替えて焦点を絞り込むことができます。 |
各パターンにマッチする個々のログメッセージを見る | patternをクリックすると行が展開され、個々のログ レコードのテーブルが表示されます。
|
パターンの属性によるグループ化とフィルタリング | クエリバーとタイムピッカーを使用します。異なるフィルターや時間帯を適用すると、ログのパターンが新しいターゲットデータに合わせて調整されます。 |
パターンからアラートを作成 | クエリ バーにパターンを追加し、クエリを実行します。 次に、左側のナビゲーションでCreate alert conditionをクリックします。 |
パターン化されていないログメッセージのトラブルシューティング | Log patterns UI のLogs with no patternタブを使用します。 |
特定のログ メッセージをクリックすると、ログ UI で使い慣れたログ メッセージの詳細パネルが開きます。
パターンのないログの探索
Logs with no patternタブには、まだ既知のパターンにクラスター化されていない、アカウント内の最近のログメッセージがすべてグループ化されます。 これらのログメッセージは、システムの問題や欠陥を示すものではありません。機械学習システムで処理するには新しすぎるため、パターンがありません。 そのため、環境内で最近何が変わったかを理解したいときに、これらを調べることは有益です。
例えば：
- これらのログの中に、最近の問題に関連するものはありますか？これは、お使いの環境で初めて出現するユニークなログデータを発見するための簡単な方法です。
- あなたのログデータは新しいフォーマットになっていませんか？時には、ログが問題を表しているのではなく、アプリケーションに期待されているデータモデルから逸脱した新しいフォーマットのログデータであることがあります。
このようなログを早期にキャッチすることで、開発者にログ出力の逸脱を修正するよう求めることができます。ログデータの生成方法に一貫性があればあるほど、多様なチームでログを使用することが容易になります。
マスクされた属性とワイルドカード
パターン内のログメッセージの一部は変数として分類され、マスキングされた属性で置き換えられます。マスキングプロセスは、アルゴリズムが変化する詳細を無視し、反復的な構造に焦点を当てることを可能にすることで、クラスタリングフェーズをサポートし、改善します。
マスクされた属性は以下の通りです。
date_timeipurluuid
以下の例のように、マスクされたアトリビュートはハイライトされ、簡単に識別できます。
ログパターンは、マスクされた属性に属していない他のささいな変数を抽出します。これらの変数は、ワイルドカード*として示されます。
トラブルシューティング
パターンを有効にしているにもかかわらず、パターンデータが表示されない理由は以下の通りです。これらの項目に当てはまらないと思われる場合は、 support.newrelic.com までお問い合わせください。
- ご覧になっている時間帯にデータが届いていません。タイムピッカーで表示する時間帯を広げてみてください。
- アカウントでパターンが有効になってから24時間経っていません。つまり、このアカウントにはまだMLモデルが生成されていない可能性があります。
- 入ってくるデータには、
messageフィールドがありません。パターンは、ログレコードのmessageフィールドの値に対してのみ生成されます。ログにmessageが含まれていない場合、データはありません。
プラットフォームをパターンで活用する
パターンは、 newrelic.logPatternという名前の新しい属性として既存のログメッセージに追加される値です。ログを使用して実行できることはすべて、通常、次のようなログパターンを使用して実行できます。