New Relic Kafka on-host integration は、お使いの Kafka サービスからメトリクスと設定データをレポートします。ブローカー（ZooKeeperとBootstrapの両方）、プロデューサー、コンシューマー、トピックなど、クラスタの主要な要素をすべて計測します。
Kafkaモニタリング統合をインストールするには、次の手順を実行する必要があります。
インストールの準備をします 。インテグレーションのインストールとアクティブ化 。インテグレーションの設定 。データの検索と使用 。必要に応じて、 Kafkaの構成設定 を参照してください。 ヒント Kafkaを監視する際のベストプラクティスについては、このブログ投稿 を確認してください。
互換性と要件 カフカバージョン この統合は、Kafka バージョン 3 以下と互換性があります。
サポート終了の Kafka バージョンを使用すると、予期しない結果が生じる可能性があるため 、Apache Kafka EOL ポリシー に注意してください。
対応するオペレーティング・システム Windows Linux 特定のWindowsおよびLinuxバージョンの包括的なリストについては、 互換性のあるオペレーティングシステム の表を確認してください。
システム要求 NewRelicアカウント。持っていませんか？無料でお申し込み頂けます！ クレジットカードは必要ありません。
KafkaがKubernetesまたはAmazonECSで実行されていない場合は、インフラストラクチャエージェント をLinuxまたはWindows OSホスト、またはKafkaがインストールされている場所にリモートアクセスできるホストにインストールできます。さもないと：
実行中の場合これらの要件 を参照してください。 実行中の場合これらの要件 を参照してください。 Javaバージョン8以降。
JMXはすべてのブローカーで有効になっています。
Javaベースのコンシューマーとプロデューサーのみで、JMXが有効になっています。
監視対象トピックの総数は10000未満である必要があります。
接続条件 統合を構成し、以下に接続できるようにする必要があります。
autodiscover_strategyがzookeeperに設定されている場合、Zookeeper認証メカニズムを使用して、Zookeeperプロトコルを介してzookeeper_hostsにリストされているホスト。autodiscover_strategyがbootstrapに設定されている場合、Kafkaブローカーの認証/トランスポートメカニズムを使用して、Kafkaプロトコルを介してbootstrap_broker_hostで定義されたホスト。クラスター内のすべてのブローカーがKafkaのプロトコルとポートを介して、Kafkaブローカーの認証/トランスポートメカニズムを使用します。 クラスター内のすべてのブローカーが、ブローカーのJMX構成で指定された認証/トランスポートメカニズムを使用して、JMXプロトコルとポートを介して。 プロデューサ/コンシューマのモニタリングを行う場合は、JMXプロトコルとポートを介してプロデューサとコンシューマで指定されたすべてのプロデューサ/コンシューマ。コンシューマーのJMX設定は、ブローカーと同じである必要があります。 重要 デフォルトでは、AWSの他のクラウドプロバイダーのセキュリティグループとそれに相当するものは、デフォルトで必要なポートを開いていません。 JMXが機能するには、JMXポートとRMIポートの2つのポートが必要です。これらは、JMXを有効にするようにJVMを構成するときに同じ値に設定でき、ブローカーに接続してブローカーからメトリックを収集できるように統合を開く必要があります。
インストールの準備 Kafkaは、分散システムとして構築された複雑なソフトウェアです。このため、データが正しく収集されるように、統合が必要なすべてのホストとサービスに接続できることを確認する必要があります。
オートディスカバリー Kafkaの分散型の性質を考慮すると、ブローカーの実際の数とリストは通常、構成によって固定されておらず、代わりにかなり動的になります。このため、Kafkaインテグレーションでは、クラスタ内のブローカーのリストを自動的に検出する2つのメカニズムを提供しています。BootstrapとZookeeperです。どちらのメカニズムを使用するかは、監視対象のKafkaクラスタの設定によります。
ブートストラップ ブートストラップメカニズム を使用すると、統合はブートストラップブローカーを使用して自動検出を実行します。これは、アドレスがよく知られているブローカーであり、認識している他のブローカーに尋ねられます。統合は、ブートストラップ検出が機能するために、bootstrap_broker_hostパラメーターで指定されたアドレスでこのブローカーに接続できる必要があります。
ズーキーパー または、Kafka統合は、ブローカーのリストを取得するためにZookeeperサーバー と通信することもできます。これを行うには、統合に次のものを提供する必要があります。
連絡するZookeeperホストのリストzookeeper_hosts 。
ホストとの接続に必要な適切な認証シークレット。
Zookeeper は、知っているブローカーのリストと一緒に、それぞれのブローカーがどのような接続メカニズムをサポートしているかをアドバタイズする。
Kafka統合を構成して、 preferred_listenerパラメーターを使用してこれらのメカニズムの1つを直接試すことができます。このパラメーターが指定されていない場合、統合は、アドバタイズされたすべての構成をブローカーの1つが成功するまで、ブローカーに接続しようとします。
ヒント Zookeeper は、ブローカーを検出するためにのみ使用され、メトリクスは取得しません。
トピックス一覧 ブローカーによって処理されたトピックを正しくリストアップするために、統合はKafkaプロトコルを介してブローカーに連絡する必要があります。ブローカーの構成によっては、SSLやSASLをブローカーの構成に合わせて設定する必要があります。トピックにはDESCRIBEアクセスが必要です。
ブローカーの監視（JMX） Kafkaインテグレーションでは、Javaアプリケーションでメトリクスを交換するための標準的なJava拡張機能であるJMXを照会します。JMX は Kafka ブローカーではデフォルトでは有効になっておらず、メトリクス収集が正しく動作するためには有効にする必要があります。JMX は RMI を有効にする必要があり、RMI ポートは JMX と同じポートに設定する必要があります。
ユーザー名/パスワード認証、およびSSLを使用するようにJMXを設定することができます。ブローカーのJMX設定でこのような機能が有効になっている場合は、それに応じて統合を設定する必要があります。
自動検出がブートストラップに設定されている場合、ブートストラップブローカーに対して定義されたJMX設定が、検出された他のすべてのブローカーに適用されるため、ポートおよびその他の設定はすべてのブローカーで同じである必要があります。
重要 パブリックまたは信頼できないネットワークセグメントで、匿名または暗号化されていないJMX/RMIアクセスを有効にすることは、大きなセキュリティリスクをもたらすため推奨されません。消費者のオフセット トピックのコンシューマーグループとコンシューマーグループのオフセット、およびラグは、 CONSUMER_OFFSET=trueフラグを持つKafkaOffsetSample として取得できますが、このフラグがアクティブ化されるとインスタンスは他のサンプルを収集しないため、別のインスタンスに含める必要があります。
プロデューサーおよびコンシューマー監視（JMX） また、Javaで書かれたプロデューサーとコンシューマーは、同じメカニズム（JMX）を通じて、より具体的なメタデータを得るために監視することができます。これにより、 KafkaConsumerSamples と KafkaProducerSamples が生成されます。JMX がデフォルトで有効になっていないアプリケーションでは、JMX を有効にして設定する必要があります。
非JavaのプロデューサーとコンシューマーはJMXをサポートしていないため、Kafkaとの統合ではサポートされません。
インテグレーションのインストールとアクティブ化 Kafka統合をインストールするには、ご使用の環境の指示に従ってください。
Linuxのインストール 統合のインストール 手順に従い、 INTEGRATION_FILE_NAME変数をnri-kafkaに置き換えます。
以下を実行して、ディレクトリをインテグレーションの設定フォルダーに変更します。
$ cd /etc/newrelic-infra/integrations.d
以下を実行して、サンプルの設定ファイルをコピーします。
$ sudo cp kafka-config.yml.sample kafka-config.yml
お気に入りのエディタで kafka-config.yml 構成ファイルを編集します。いくつかの 構成ファイルの例を確認してください。 。
その他の環境 その他の注意事項：
このドキュメントはインストールの役に立ちましたか？ 統合を構成する インストール方法に応じて、統合を構成する方法はいくつかあります。
経由で有効にした場合Kubernetesで実行されているサービスを監視するをご覧ください 。 経由で有効にした場合ECSで実行されているサービスを監視する 。 ホストにインストールされている場合は、統合のYAML構成ファイルkafka-config.ymlの構成を編集します。統合のYAML形式の構成では、必要なログイン資格情報を配置し、データの収集方法を構成できます。どのオプションを変更するかは、セットアップと設定によって異なります。構成ファイルには、 interval 、 timeout 、 inventory_sourceなどのすべての統合に適用できる共通の設定があります。これらの一般的な設定のすべてを読むには、 構成フォーマット のドキュメントを参照してください。 重要 レガシー設定および定義ファイルを引き続き使用する場合は、このドキュメント を参照してください。
他の統合と同様に、1つのkafka-config.yml構成ファイルには、さまざまなブローカー、コンシューマー、およびプロデューサーのメトリックを収集する統合の多くのインスタンスを含めることができます。kafka-config.ymlサンプルファイル
Kafkaに関連する特定の設定は、 kafka-config.yml構成ファイルの各インスタンスのenvセクションを使用して定義されます。これらの設定は、ブローカー、Zookeeper、JMXへの接続、およびその他のセキュリティ設定と機能を制御します。有効な設定のリストは、 Kafkaの構成設定 に記載されています。
統合には、各インスタンスで2つの動作モードがあり、これらは相互に排他的であり、 CONSUMER_OFFSETパラメーターを使用してセットアップできます。
重要 コンシューマーオフセット収集は実行に時間がかかり、高いパフォーマンス要件があるため、これらのモードは相互に排他的です。両方のサンプルグループを収集するには、各モードに1つずつ、2つのインスタンスを設定します。
これらの設定の値は、いくつかの方法で定義できます。
設定ファイルに直接値を追加します。これが最も一般的な方法です。
{{ }} 表記を使用して環境変数の値を置き換えます。 オンホスト統合での環境変数パススルーの使用 について詳しく読むか、 環境変数の置換 の例を参照してください。
シークレット管理の使用。これを使用して、設定ファイルのプレーンテキストで公開されないようにパスワードなどの重要な情報を保護してください。詳細については、シークレット管理 を参照してください。
オフセット監視 CONSUMER_OFFSET = trueを設定すると、デフォルトでは、アクティブなコンシューマーを持つコンシューマーグループからのメトリック（およびコンシューマーメトリック）のみが収集されます。非アクティブなコンシューマーを持つコンシューマーグループからメトリックを収集するには、 INACTIVE_CONSUMER_GROUP_OFFSETをtrueに設定する必要があります。
消費者グループが複数のトピックを監視している場合、特にトピックの1つに非アクティブな消費者がいる場合は、消費者グループのメトリックをトピックごとに分けることが重要です。これにより、消費者グループが遅れているトピックを特定できるためです。その消費者グループとトピックのアクティブな消費者です。
消費者グループの指標をトピックごとに分けるには、 CONSUMER_GROUP_OFFSET_BY_TOPICをtrueに設定する必要があります（デフォルトはfalse ）
オフセット監視の設定方法の詳細については、「 KafkaOffsetSampleコレクションの構成」 を参照してください。
kafka-config.ymlサンプルファイル Zookeeper discovery この構成では、2つの異なるJMXホストからブローカーを検出するすべてのトピックを含むMetricsとInventoryを収集します。
CLUSTER_NAME : testcluster1
AUTODISCOVER_STRATEGY : zookeeper
ZOOKEEPER_HOSTS : '[{"host": "localhost", "port": 2181}, {"host": "localhost2", "port": 2181}]'
ZOOKEEPER_PATH : "/kafka-root"
DEFAULT_JMX_USER : username
DEFAULT_JMX_PASSWORD : password
inventory_source : config/kafka
SSL ベースの JMX 接続による Zookeeper 検出 この構成では、SSLを使用したJMXホストからブローカーを検出して、MetricsとInventoryを収集します。
CLUSTER_NAME : testcluster1
AUTODISCOVER_STRATEGY : zookeeper
ZOOKEEPER_HOSTS : '[{"host": "localhost", "port": 2181}]'
ZOOKEEPER_PATH : "/kafka-root"
DEFAULT_JMX_USER : username
DEFAULT_JMX_PASSWORD : password
KEY_STORE : "/path/to/your/keystore"
KEY_STORE_PASSWORD : keystore_password
TRUST_STORE : "/path/to/your/truststore"
TRUST_STORE_PASSWORD : truststore_password
inventory_source : config/kafka
ブートストラップの発見 この構成では、1つのブートストラップブローカから、ブローカを検出するすべてのトピックを含むメトリクスとインベントリを収集します。
CLUSTER_NAME : testcluster1
AUTODISCOVER_STRATEGY : bootstrap
BOOTSTRAP_BROKER_HOST : localhost
BOOTSTRAP_BROKER_KAFKA_PORT : 9092
BOOTSTRAP_BROKER_KAFKA_PROTOCOL : PLAINTEXT
BOOTSTRAP_BROKER_JMX_PORT : 9999
BOOTSTRAP_BROKER_JMX_USER : admin
BOOTSTRAP_BROKER_JMX_PASSWORD : password
LOCAL_ONLY_COLLECTION : false
COLLECT_BROKER_TOPIC_DATA : true
COLLECT_TOPIC_SIZE : false
inventory_source : config/kafka
ブートストラップ検出TLS この設定では、TLSプロトコルでリッスンする1つのブートストラップブローカから、ブローカを発見したメトリクスのみを収集します。
CLUSTER_NAME : testcluster1
AUTODISCOVER_STRATEGY : bootstrap
BOOTSTRAP_BROKER_HOST : localhost
BOOTSTRAP_BROKER_KAFKA_PORT : 9092
BOOTSTRAP_BROKER_KAFKA_PROTOCOL : SSL
BOOTSTRAP_BROKER_JMX_PORT : 9999
BOOTSTRAP_BROKER_JMX_USER : admin
BOOTSTRAP_BROKER_JMX_PASSWORD : password
TLS_CA_FILE : "/path/to/CA.pem"
TLS_CERT_FILE : "/path/to/cert.pem"
TLS_KEY_FILE : "/path/to/key.pem"
TLS_INSECURE_SKIP_VERIFY : false
inventory_source : config/kafka
ブートストラップ検出Kerberos認証 この設定では、Kerberos Auth Clusterの1つのブートストラップブローカからブローカを検出するMetricsのみを収集します。
CLUSTER_NAME : testcluster1
AUTODISCOVER_STRATEGY : bootstrap
BOOTSTRAP_BROKER_HOST : localhost
BOOTSTRAP_BROKER_KAFKA_PORT : 9092
BOOTSTRAP_BROKER_KAFKA_PROTOCOL : PLAINTEXT
BOOTSTRAP_BROKER_JMX_PORT : 9999
BOOTSTRAP_BROKER_JMX_USER : admin
BOOTSTRAP_BROKER_JMX_PASSWORD : password
SASL_GSSAPI_REALM : SOMECORP.COM
SASL_GSSAPI_SERVICE_NAME : Kafka
SASL_GSSAPI_USERNAME : kafka
SASL_GSSAPI_KEY_TAB_PATH : /etc/newrelic - infra/kafka.keytab
SASL_GSSAPI_KERBEROS_CONFIG_PATH : /etc/krb5.conf
SASL_GSSAPI_DISABLE_FAST_NEGOTIATION : false
inventory_source : config/kafka
Zookeeperdicsoveryトピックバケット この構成では、トピックの収集を3つの異なるインスタンスに分割してMetricsを収集します。
CLUSTER_NAME : testcluster1
AUTODISCOVER_STRATEGY : zookeeper
ZOOKEEPER_HOSTS : '[{"host": "host1", "port": 2181}]'
ZOOKEEPER_AUTH_SECRET : "username:password"
ZOOKEEPER_PATH : "/kafka-root"
DEFAULT_JMX_USER : username
DEFAULT_JMX_PASSWORD : password
inventory_source : config/kafka
CLUSTER_NAME : testcluster2
AUTODISCOVER_STRATEGY : zookeeper
ZOOKEEPER_HOSTS : '[{"host": "host2", "port": 2181}]'
ZOOKEEPER_AUTH_SECRET : "username:password"
ZOOKEEPER_PATH : "/kafka-root"
DEFAULT_JMX_USER : username
DEFAULT_JMX_PASSWORD : password
inventory_source : config/kafka
CLUSTER_NAME : testcluster3
AUTODISCOVER_STRATEGY : zookeeper
ZOOKEEPER_HOSTS : '[{"host": "host3", "port": 2181}]'
ZOOKEEPER_AUTH_SECRET : "username:password"
ZOOKEEPER_PATH : "/kafka-root"
DEFAULT_JMX_USER : username
DEFAULT_JMX_PASSWORD : password
inventory_source : config/kafka
Javaのコンシューマーおよびプロデューサー ここでは、JavaのコンシューマとプロデューサからJMXメトリクスを収集する例を示します。
CLUSTER_NAME : "testcluster3"
PRODUCERS : '[{"host": "localhost", "port": 24, "username": "me", "password": "secret"}]'
CONSUMERS : '[{"host": "localhost", "port": 24, "username": "me", "password": "secret"}]'
DEFAULT_JMX_HOST : "localhost"
inventory_source : config/kafka
消費者のオフセット この構成では、クラスタのコンシューマ・オフセット・メトリクスとインベントリを収集します。
CLUSTER_NAME : testcluster3
AUTODISCOVER_STRATEGY : bootstrap
BOOTSTRAP_BROKER_HOST : localhost
BOOTSTRAP_BROKER_KAFKA_PORT : 9092
BOOTSTRAP_BROKER_KAFKA_PROTOCOL : PLAINTEXT
CONSUMER_GROUP_REGEX : '.*'
inventory_source : config/kafka
統合のための構成オプション データを検索して使用する方法の詳細については、 Kafkaの構成設定 を参照してください。
データを見つけて使用する このサービスからのデータは、 統合ダッシュボード に報告されます。
Kafkaのデータは、以下の イベントタイプに添付されています。 :
トラブルシューティング目的で、またはチャートとダッシュボードを作成するために、このデータのクエリ を行えます。
データを検索して使用する方法の詳細については、統合データを理解する 方法を参照してください。
統合によって収集されたメトリック Kafkaインテグレーションは、以下のメトリクスを収集します。各メトリクス名には、broker.、cluster.、またはconsumer.のようにカテゴリの指標とピリオドで接頭辞が付けられます。
KafkaClusterSampleイベント New Relicは、Kafkaコントローラーからこれらのクラスタ全体のメトリクスを収集します。COLLECT_CLUSTER_METRICS=trueが必要です。専用のコントローラーノードを持つKRaftクラスタなど、コントローラーがアクティブかどうかを判断できない場合、エージェントはイベントを送信しません。
メトリック
説明
cluster.activeBrokerCount
クラスタ内のアクティブなブローカーの数。
cluster.activeControllerCount
自身をアクティブなコントローラーと見なしているクラスタ内のブローカーの数（すべてのブローカーの合計）。正常なクラスタでは正確に1である必要があります。autodiscover_strategyがbootstrapで、LOCAL_ONLY_COLLECTIONがtrueの場合、各エージェントは自身のブローカーの値（0または1）のみを報告するため、エージェント間でmax()を使用してください。
cluster.offlinePartitionsCount
現在リーダーがないパーティションの数。
clusterId
ブローカーによって報告される、KafkaネイティブのクラスタIDです。DISABLE_ATTRIBUTESで省略します。
clusterName
このインスタンスに設定されたCLUSTER_NAMEの値。
KafkaBrokerSampleイベント メトリック
説明
broker.bytesWrittenToTopicPerSecond
ブローカーが1秒あたりにトピックに書き込んだバイト数。
broker.IOInPerSecond
クラスター内のブローカーへのネットワークIOを1秒あたりのバイト数で表示しています。
broker.IOOutPerSecond
クラスター内のブローカーのネットワークIOアウト（バイト/秒）。
broker.logFlushPerSecond
ログ・フラッシュ・レート
broker.messagesInPerSecond
着信メッセージ数/秒
follower.requestExpirationPerSecond
フォロワーに対するリクエストの失効率（1秒あたりの退避数）。
net.bytesRejectedPerSecond
拒否されたバイト数/秒
replication.isrExpandsPerSecond
ISRプールに参加するレプリカの割合。
replication.isrShrinksPerSecond
ISRプールから離れるレプリカの割合。
replication.leaderElectionPerSecond
リーダー選出率。
replication.uncleanLeaderElectionPerSecond
汚れたリーダーの選出率
replication.unreplicatedPartitions
複製されていないパーティションの数。
request.avgTimeFetch
フェッチリクエスト1回あたりの平均時間（単位：ミリ秒）。
request.avgTimeMetadata
メタデータ・リクエストの平均時間（単位：ミリ秒）。
request.avgTimeMetadata99Percentile
99パーセンタイルのメタデータ・リクエストの時間（ミリ秒）。
request.avgTimeOffset
オフセットリクエストの平均時間（単位：ミリ秒）。
request.avgTimeOffset99Percentile
99パーセンタイルのオフセット要求の時間（単位：ミリ秒）。
request.avgTimeProduceRequest
プロデュースリクエストの平均時間（単位：ミリ秒）。
request.avgTimeUpdateMetadata
メタデータを更新するリクエストの平均時間（ミリ秒）。
request.avgTimeUpdateMetadata99Percentile
99パーセンタイルのメタデータ更新要求の時間（単位：ミリ秒）。
request.clientFetchesFailedPerSecond
クライアントのフェッチリクエストの失敗数/秒。
request.fetchTime99Percentile
99パーセンタイルのフェッチリクエストの時間（単位：ミリ秒）。
request.handlerIdle
リクエストハンドラースレッドがアイドル状態である時間の平均割合。
request.produceRequestsFailedPerSecond
1秒あたりの失敗したプロダクション・リクエスト
request.produceTime99Percentile
99パーセンタイルのプロデュース依頼にかかる時間。
topic.diskSize
ブローカーごとおよびトピックごとのトピックのディスク サイズ。COLLECT_TOPIC_SIZE有効な場合にのみ存在します。
topic.offset
ブローカーごとおよびトピックごとのトピック オフセット。COLLECT_TOPIC_OFFSET有効な場合にのみ存在します。
clusterId
ブローカーによって報告される、KafkaネイティブのクラスタIDです。DISABLE_ATTRIBUTESで省略します。
brokerId
ブローカーのKafkaネイティブのノードID。DISABLE_ATTRIBUTESで省略します。
broker.isActiveController
この特定のブローカーが現在、自身をアクティブなコントローラーと見なしているかどうか。1または0。COLLECT_BROKER_EXTENDED_METRICSが有効な場合にのみ存在します。
broker.leaderCount
このブローカーがリードするパーティションの数。COLLECT_BROKER_EXTENDED_METRICSが有効な場合のみ存在します。
broker.underMinIsrPartitionCount
このブローカー上の、最小同期レプリカ数を下回るパーティションの数。COLLECT_BROKER_EXTENDED_METRICSが有効な場合にのみ存在します。
replication.maxLag
このブローカーのフォロワーレプリカのリーダーに対する最大ラグ（メッセージ数）です。消費者ラグとは異なります。COLLECT_BROKER_EXTENDED_METRICSが有効な場合にのみ存在します。
jvm.heapMemoryUsedBytes / jvm.heapMemoryMaxBytes
使用済みおよび最大のJVMヒープメモリ（バイト単位）。COLLECT_BROKER_EXTENDED_METRICSが有効な場合にのみ存在します。
jvm.gcTimePerSecond
すべてのコレクターで合計された、1秒あたりのJVMガベージコレクション時間。COLLECT_BROKER_EXTENDED_METRICSが有効な場合にのみ存在します。
KafkaConsumerSampleイベント メトリック
説明
consumer.avgFetchSizeInBytes
特定のトピックのリクエストごとに取得されたバイト数の平均値。
consumer.avgRecordConsumedPerTopic
特定のトピックに対する各リクエストの平均レコード数。
consumer.avgRecordConsumedPerTopicPerSecond
特定のトピックについて、1秒間に消費されるレコードの平均数（単位：レコード/秒）。
consumer.bytesInPerSecond
コンシューマーバイト/秒。
consumer.fetchPerSecond
コンシューマがフェッチリクエストをブレイクスルーに送信する際の最小レート（1秒あたりのリクエスト数）。
consumer.maxFetchSizeInBytes
特定のトピックのリクエストごとに取得される最大バイト数。
consumer.maxLag
最大限のコンシューマー・ラグ。
consumer.messageConsumptionPerSecond
コンシューマのメッセージ消費率（1秒あたりのメッセージ数）。
consumer.offsetKafkaCommitsPerSecond
Kafkaへのオフセットコミットの割合（コミット数/秒）。
consumer.offsetZooKeeperCommitsPerSecond
ZooKeeper へのオフセットコミットの割合 (Write per Second)。
consumer.requestsExpiredPerSecond
遅延したコンシューマ・リクエストの失効率（1秒あたりのエヴィジョン数）。
clusterId
ブローカーによって報告される、KafkaネイティブのクラスタIDです。DISABLE_ATTRIBUTESで省略します。
KafkaProducerSampleイベント メトリック
説明
producer.ageMetadataUsedInMilliseconds
現在使用されているプロデューサーメタデータの年齢（秒単位）。
producer.availableBufferInBytes
使用されていないバッファメモリの総量（単位：バイト）。
producer.avgBytesSentPerRequestInBytes
パーティションごとのリクエストごとの平均送信バイト数。
producer.avgCompressionRateRecordBatches
レコードバッチの平均圧縮率
producer.avgRecordAccumulatorsInMilliseconds
レコードバッチがレコードアキュムレータにかかった平均時間（ms）。
producer.avgRecordSizeInBytes
平均レコードサイズ（単位：バイト）。
producer.avgRecordsSentPerSecond
1秒間に送信されるレコードの平均数。
producer.avgRecordsSentPerTopicPerSecond
トピックの1秒あたりの平均送信レコード数。
producer.AvgRequestLatencyPerSecond
プロデューサーの平均リクエストレイテンシー。
producer.avgThrottleTime
ブローカーによってリクエストがスロットルされた平均時間（ミリ秒）。
producer.bufferMemoryAvailableInBytes
クライアントが使用できるバッファメモリの最大量（単位：バイト）。
producer.bufferpoolWaitTime
アペンダーがスペースの割り当てを待つ時間の派閥。
producer.bytesOutPerSecond
プロデューサーバイト/秒アウト。
producer.compressionRateRecordBatches
あるトピックのレコードバッチの平均圧縮率。
producer.iOWaitTime
プロデューサーI/Oの待ち時間（ミリ秒）。
producer.maxBytesSentPerRequestInBytes
パーティションごとに送信される最大バイト数 per-request。
producer.maxRecordSizeInBytes
最大レコードサイズ（単位：バイト）。
producer.maxRequestLatencyInMilliseconds
最大リクエストレイテンシー（単位：ミリ秒）。
producer.maxThrottleTime
リクエストがブローカによってスロットルされた最大時間（単位：ミリ秒）。
producer.messageRatePerSecond
1秒あたりのプロデューサーメッセージ数
producer.responsePerSecond
1秒あたりのプロデューサーの応答数
producer.requestPerSecond
1秒あたりのプロデューサー・リクエストの数。
producer.requestsWaitingResponse
応答を待っている機内リクエストの現在の数。
producer.threadsWaiting
レコードをエンキューするためのバッファメモリを待ってブロックされたユーザースレッドの数。
clusterId
ブローカーによって報告される、KafkaネイティブのクラスタIDです。DISABLE_ATTRIBUTESで省略します。
KafkaTopicSampleイベント メトリック
説明
topic.partitionsWithNonPreferredLeader
トピックごとのパーティションのうち、優先するレプリカに導かれていないパーティションの数。
topic.respondMetaData
メタデータの要求に応えたトピックの数
topic.retentionSizeOrTime
パーティションをサイズで保持するか、サイズと時間の両方で保持するか。値が0の場合は時間、値が1の場合はサイズと時間の両方です。
topic.underReplicatedPartitions
アンダーレプリケートされているトピックごとのパーティションの数。
clusterId
ブローカーによって報告される、KafkaネイティブのクラスタIDです。DISABLE_ATTRIBUTESで省略します。
topic.replicationFactor
トピックのレプリケーション係数。COLLECT_TOPIC_EXTENDED_METRICSが有効な場合にのみ存在します。
KafkaOffsetSampleイベント メトリック
説明
consumer.offset
消費者グループがパーティション上で最後に消費したオフセット。
consumer.lag
ブローカーの最高水準点と消費者のオフセットの差（ consumer.hwm - consumer.offset ）。
consumer.hwm
パーティションに書き込まれた最後のメッセージのオフセット（ハイウォーターマーク）。
consumer.totalLag
コンシューマが消費するパーティション間のラグの合計。
consumerGroup.totalLag
consumerGroupによって消費されるすべてのパーティションにわたるラグの合計。
consumerGroup.maxLag
consumerGroupによって消費されるすべてのパーティションにわたる最大ラグ。
consumerGroup.activeConsumers
このconsumerGroupのアクティブなコンシューマーの数。
clusterId
ブローカーによって報告される、KafkaネイティブのクラスタIDです。DISABLE_ATTRIBUTESで省略します。
consumer.earliestOffset
パーティションの現在のログ開始オフセット（まだ保持されている最も古いメッセージ）。COLLECT_CONSUMER_OFFSET_EXTENDED_METRICSが有効で、CONSUMER_OFFSETがtrueの場合にのみ存在します。
Kubernetes、Kubernetesで実行されているサービスを監視するをご覧ください。
Amazon ECS 、 ECSで実行されているサービスを監視する。