Kafka 監視は、 Apache Kafka クラスターへの可視性を提供して、信頼性の高いデータ ストリーミングを確保し、分散システムでのコストのかかるダウンタイムを防ぎます。 OpenTelemetry Collectorを使用すると、セルフホスト環境と Strimzi を使用したKubernetes全体で機能する、柔軟でベンダーニュートラルなアプローチを通じて包括的な監視を取得できます。
クラスタの健全性、ブローカーのステータス、トピックのメトリクス、および消費者グループのパフォーマンスを示す包括的なダッシュ ボードで Kafka クラスタを監視します。
なぜKafka監視なのか?
- 停止を防ぐ - ブローカーの障害、レプリケーション不足のパーティション、オフラインのトピックなど、ダウンタイムが発生する前にアラートを取得します。
- パフォーマンスの最適化 - データ処理速度に影響を与える消費者の遅延、低速なプロデューサー、ネットワークのボトルネックを特定します
- 容量を計画する - リソース使用量、メッセージレート、接続数を追跡して、事前に拡張します
- データの整合性を確保 - レプリケーションの健全性とパーティションのバランスを監視してデータ損失を防ぎます
一般的な使用例
金融取引のストリーミング、IoT センサー データの処理、マイクロサービス通信の処理のいずれの場合でも、Kafka 監視は、ビジネスに影響を与える前に問題を発見するのに役立ちます。 消費者によるラグの急増により、ダッシュボードが脅かされる場合、ブローカーの障害によりデータ損失の危険がある場合、またはネットワークのボトルネックにより重要なデータ パイプラインが遅くなる場合に、アラートを取得します。 この監視は、電子商取引プラットフォーム、保留分析システム、およびメッセージ配信の遅延や失敗がユーザー エクスペリエンスやビジネス運営に影響を与える可能性があるアプリケーションにとって不可欠です。
始めましょう
監視を開始するには、Kafka 環境を選択します。各セットアップ ガイドには、前提条件、設定手順、トラブルシューティングのヒントが含まれています。
使い方
OpenTelemetry Collector は、次の 2 つの特殊なレシーバーを使用して Kafka クラスターに接続します。
データ収集:
- Kafka メトリクス レシーバーは、クラスタの健全性、消費者のラグ、トピック メトリクス、およびパーティションのステータスを取得するために Kafka のブートストラップ ポートに接続します。
- JMX レシーバーは、パフォーマンス メトリクス、 JVMデータ、および詳細な運用インサイトのためにブローカー JMX ポートに接続します。
データフロー:
- コレクターは両方のレシーバーから同時にメトリクスを収集します
- データは処理され、強化され、効率的な送信のためにバッチ処理されます
- メトリクスはOTLPエクスポーターを介してNew Relicにエクスポートされます。
- New Relicは自動的にエンティティを作成し、ダッシュボードに入力します
得られる結果:主要なメトリクスには、消費者のラグ、ブローカーの健全性、リクエスト レート、ネットワーク スループット、パーティション レプリケーション ステータス、およびリソース使用率が含まれます。
メトリクスの完全な名前、説明、およびアラートの推奨事項については、 「Kafka メトリクス リファレンス」を参照してください。
オプション: アプリケーションレベルの監視を追加する
上記の監視設定は、Kafka クラスターの健全性とパフォーマンスを追跡します。データがシステム内をどのように流れるかの全体像を把握するには、Kafka からメッセージを送受信するアプリケーションを監視することもできます。
アプリケーション監視により次のものが追加されます:
- アプリから Kafka へのリクエストのレイテンシ
- アプリケーションレベルのスループットメトリクス
- エラー率とディストリビューティッド（分散）トレーシング
- 生産者→ブローカー→消費者までの完全な可視性
OpenTelemetryJavaクイック セットアップ: ゼロコード Kafka 計装 には エージェント を使用します。高度な設定については、 Kafka 計装ドキュメントを参照してください。
次のステップ
Kafka クラスターの監視を開始する準備はできましたか?
監視を設定します。
- 自己ホスト型 Kafka - 物理マシンまたは仮想マシン上で実行されている Kafka を監視します
- Strimzi を使用したKubernetes - Kubernetesでの Kafka デプロイの監視
セットアップ後:
- データを検索して書き込みます- New Relic UIに移動してNRQL書き込みを書き込みます
- Kafka メトリクスの探索- アラート推奨事項を含む完全なメトリクス リファレンス