ログコレクターのライフサイクルを管理する

概要

New Relic のログ コレクター ライフサイクル管理ソリューションを使用すると、さまざまな環境にわたるログ収集インフラストラクチャを管理できます。 このソリューションを使用すると、ログコレクターのライフサイクルを構成および監視できます。

ログ コレクターのライフサイクル全体を管理できるようになりました。 これには、ユーザーの健康状態の監視、必要に応じた設定またはデプロイの変更が含まれます。

このソリューションは、ログ コレクションのインフラストラクチャを可視化する必要があるDevOpsチーム、システム アドミニストレーター、IT 運用マネージャーに役立ちます。 監視機能を強化し、コンテナ化された環境とオンプレミス環境の両方でパフォーマンスを維持するツールにアクセスできます。

多様なニーズに応えるソリューション

• ログ コレクターの健全性監視: Fluent BitエンティティUI 、ログ コレクターの監視機能を提供します。

• トラブルシューティング: Fluent BitエンティティUIを使用して、ログ コレクターで設定の問題のトラブルシューティングと修正を行うことができます。これは、問題の特定と解決に役立ちます。

• 設定とリモートデプロイメント: New Relic Control を使用すると、 Fluent Bit設定を一元管理し、更新し、デプロイの変更をリモートで行うことができます。

  

クラスタ用の Fluent Bitコレクターを管理するKubernetes

ログ コレクター ライフサイクル管理ソリューションは現在、Kubernetes 環境をサポートしています。 これにより、次のことが可能になります。

• すべてのコンテナ化されたアプリケーションからログを収集して処理します。
• Kubernetes 関連のメタデータをログに追加します。
• Fluent Bit の軽量設計を使用して、大量のリソースを消費せずに大量のデータを処理します。

前提条件

New Relic でログを記録するために Fluent Bit をインストールして構成する前に、次の前提条件を満たしていることを確認してください。

• Kubernetesクラスタへのアクセス
• インストレーションや設定に必要なツールと権限
• New Relicエンドポイントとの通信を可能にするネットワーク設定とセキュリティポリシー
• New Relicアカウント

これらの要件の詳細については、 「ログを New Relic に転送する」を参照してください。
New Relic Control のセットアップの詳細については、 「New Relic Control の使用開始」を参照してください。

設定

クラスタに Fluent Bitエージェントをインストールするには:Kubernetes

• New Relic Kubernetesインテグレーションをインストールします。 この統合には、ログ用のKubernetesプラグインが含まれています。
• ガイド付きインストール 中に、 newrelic-logging リポジトリ で利用可能な設定オプションを使用します。

詳細については、 「ログ管理用に Kubernetes を有効にする」を参照してください。

Fleet ControlでFluent Bitをインストールする

Fleet Control を使い始める場合は、まずエージェント制御構成を設定します。このプロセスには、Fluent Bit エージェントおよびその他の重要なコンポーネントのインストールが含まれます。

で を使用するには、サンプル設定に示すように、 Fluent BitAgent Controlインストレーションの一部としてログ転送を有効にします。Agent Control

global:
cluster: "YOUR_CLUSTER_NAME"
licenseKey: "YOUR_LICENSE_KEY"
userKey: "YOUR_USER_KEY"

# Values related to the agent control's Helm chart release.
# `https://github.com/newrelic/helm-charts/blob/master/charts/agent-control/values.yaml`
agent-control-deployment:
  identityClientId: ""
  identityClientSecret: ""
  config:
      fleet_control:
      # Optional: Specify a fleet_id (entity guid) to automatically connect to an existing fleet.
      fleet_id: ""
      auth:
          # New Relic organization ID where agent will connect to.
          organizationId: "YOUR_ORGANIZATION_ID"
      
      # List of managed agents that will be deployed. The key represents the name of the agent and the value holds the configuration.
  subAgents:
    infrastructure:
      type: newrelic/com.newrelic.infrastructure:0.1.0
      content:
        # Ref: `https://github.com/newrelic/helm-charts/tree/master/charts/nri-bundle`
        # Recommended: check and define an explicit chart version (latest stable)
        chart_version: "*"   
        # chart_values:
        #   newrelic-infrastructure:
        #   enableProcessMetrics: true
    logs:
        type: newrelic/io.fluentbit:0.1.0
        content:
        # Ref: `https://github.com/newrelic/helm-charts/tree/master/charts/newrelic-logging`
        # Recommended: check and define an explicit chart version (latest stable)
        chart_version: "*"
        chart_values:
            newrelic-logging:
              sendMetrics: true
  agent-operator:
    type: com.newrelic.k8s_agent_operator:0.1.0
    content:
      chart_version: "*"

必要な設定のコメントを必ず解除し、 YOUR_CLUSTER_NAMEやYOUR_LICENSE_KEYなどのプレースホルダーを実際の値に置き換えてください。

Fleet Controlによる設定の管理とデプロイ

新しいFluent Bit設定を編集したりするには、 Fleet Controlを使用します。 設定を管理およびデプロイするための高レベルのタスクは次のとおりです。

コンフィギュレーションの作成

Fluent Bit設定を作成するには、次の手順に従います。

1. New Relic で、「すべての機能」に移動し、「New Relic Control」を検索して、横にピン留めします。
2. New Relic Control で、「設定」を開きます。
3. Create configuration [設定の作成]をクリックします。
4. 設定を最初から作成するには、ドロップダウン メニューでNew [新規]をクリックします。 既存のFluent Bit設定があり、それを活用する場合は、 Clone をクリックして複製します。
5. [設定の作成] ダイアログ ボックスで、環境としてKubernetesが選択されていることを確認し、エージェント タイプとしてFluent Bitを選択し、設定の名前を入力します。 次に、 Continue [続行]をクリックします。
6. 設定列で、設定テンプレートをコピーし、要件に応じてカスタマイズします。 詳細については、 「サポートされている問題」を参照してください。
7. 変更を保存します。設定ページの設定一覧に設定が追加されます。
8. 設定を編集するには、その横にある 3 つのドット (…) を選択し、 Edit configuration [設定の編集]をクリックして変更を加えます。次に、 Save [保存]をクリックします。

デプロイメントを作成する

1. New Relic Control で、 Fleetsを開きます。
2. Fluent Bit設定を作成する艦隊を選択します。
3. Create a deployment [デプロイメントの作成] をクリックします。
4. [新しいデプロイメント] ページで、デプロイメントの名前と説明を入力し、 Add a configuration [設定の追加] をクリックします。
5. エージェントタイプとしてFluent Bitを選択し、デプロイしたい設定を選択して、 Next[次へ]をクリックします。
6. 設定バージョンを選択します。

7. Add to deployment [デプロイメントに追加] をクリックします。

8. Start deployment [デプロイメントの開始] をクリックします。

艦隊を見る

「フリート」で、操作する特定のフリートを選択します。これにより、艦隊の詳細ページが開きます。[概要] タブには、艦隊の一部であるエンティティが表示されます。エージェントまたはデプロイメントの詳細を表示するには、エージェントまたはデプロイメント タブを使用します。

ログコレクターの健全性とパフォーマンスを監視します

Fluent Bit エージェントの効果的なパフォーマンス監視は、Kubernetes 環境内でのログ管理と最適化に不可欠です。 主要なメトリクスを追跡することで、潜在的な問題を特定し、トラブルシューティングを促進できます。

追跡すべき主要なパフォーマンスメトリクス

• ログ スループット レート:ログ フローの効率を測定し、中断を強調表示します。 全体的なスループット評価が含まれており、入力プラグインと出力プラグインごとにさらに細分化され、処理されたレコードとバイトのフローが表示されます。
• メモリ バッファの使用率:ログ処理に影響するリソース制約を特定するのに役立ちます。 これには、バッファ使用量、オーバーフローのインスタンス、キューの長さ、プロセスとコンテナの全体的なメモリ使用率が含まれます。
• コンテナ イベントとクラッシュ ループ バックオフ:エラー、レコードのドロップ、再試行など、ログ ポッドの異常な状態や障害に対するアラート。 これらのインサイトは、ログ処理を中断する可能性のある問題を特定して対処するのに役立ちます。

Fluent Bitエンティティ ダッシュ ボードで、 Fluent Bitの健全性とパフォーマンスを監視できます。 アクセス方法は次のとおりです:

統合とエージェント経由

1. Installed [インストール済み]タブを開きます。 現在インストールされているエージェントと統合のリストが表示されます。
2. 検索エンティティ フィールドまたはタイプ フィルターを使用して、リストを Fluent Bit エージェントに絞り込みます。
3. 確認するエージェントを選択します。

すべてのエンティティ経由

1. Fluent Bit - Kubernetesグループで監視するエージェントを見つけます。
2. エージェントを選択します。

フリート経由

1. New Relic Control で、 Fleetsを開きます。
2. Fluent Bit計装を持つ艦隊を識別して選択します。
3. 「エージェント」タブで、「 Fluent Bitエージェント」を選択します。

使用例: ログフローの効率

Kubernetesクラスタ内のログが通常の速度でNew Relicに到着しないと想像してください。 一般的なログ フローは 1 分あたり約 150,000 ログですが、現在の観察では顕著な減少が示唆されています。 New Relic Control と Fluent Bit の監視ツールを活用して問題を診断し、解決することで、この状況に対処する方法を説明します。

ステップ 1: モニターログ スループット

まず、ログが転送される速度を確認します。不一致は、ログ転送プロセスの中断を示している可能性があります。

ステップ 2: コンテナのメトリクスとイベントを分析する

Kubernetes の概要にアクセスして、ログ記録ポッド内の異常なイベントや再起動を特定します。クラッシュ ループ バックオフなどの頻繁な再起動や警告イベントにより、ログ パイプラインが中断され、根本的な問題が示される場合があります。

ステップ3: メモリ使用量を確認する

Fluent Bit エージェントのメモリ消費量を調べます。メモリの使用量が多い、または不安定な場合は、設定エラーやリソース制限があり、対処が必要であることを示している可能性があります。

ステップ4: トラブルシューティングにFleet Controlを活用する

Fleet Controlを使用して、最近の設定の変更を確認します。 不正なメモリ制限などの誤った設定を特定して修正すると、ボトルネックを解決し、ログのスループットを向上させることができます。

ステップ5: 再デプロイして検証する

Fleet Controlで必要な設定調整を行った後、新しいデプロイメントを開始して変更を適用します。 Fluent Bitエンティティ ビューを使用して、収益メトリクスを監視し、新しい設定の影響を観察します。 問題が解決されたことを示す、ログ スループットの回復とメモリ使用量の安定性を確認します。

Fluent Bit Agent をアップグレードする

最新の機能、パフォーマンスの向上、セキュリティ パッチを活用するには、Fluent Bit エージェントを定期的にアップグレードしてください。 新しいバージョンが利用可能になると、 New Relic UI から直接確認できます。

アップグレードする前に、現在の設定がバックアップされていることを確認してください。 新しい機能や変更点を理解するには、リリース ノートまたはドキュメントを確認してください。

最新かどうかを確認する手順

1. New Relicアカウントで、 Integrations & Agents [インテグレーション & エージェント]をクリックし、 Installed [インストール済み]タブを開きます。
   現在インストールされているエージェントと統合のリストが表示されます。
2. 検索エンティティ フィールドまたはタイプ フィルターを使用して、リストを Fluent Bit エージェントに絞り込みます。
3. アップグレードが必要なエージェントを特定します。
4. Update from vx.y.x to X.Y.Z [vx.yx から XYZ への更新]をクリックします。
5. スライドインするサイドパネルで、 View release notes[リリースノートの表示] をクリックします。
6. Fluent Bit リリース ノート ページで、最新の Helm チャート バージョンを確認してください。
7. New Relic に戻り、サイドパネルを閉じて、エージェントが含まれているフリートをクリックします。New Relic Control でフリートの概要が開きます。
8. Fluent Bit設定を選択します。
9. 先ほどメモしたチャート バージョンに従って設定ファイル内のチャート バージョンを更新し、変更を保存します。
10. 設定をテストします。

アップグレード後、ログの収集と処理を検証して、エージェントが期待どおりに動作することを確認します。 New Relic の監視ツールを使用して、すべてが実行されていることを確認します。