この統合はオープン ソース ソフトウェアです。つまり、ソース コードを参照して改善を送信したり、独自のフォークを作成してビルドしたりできます。
ラベルとカスタム属性
環境変数は、 などの構成設定を制御するために使用でき、その後、インフラストラクチャエージェントに渡されます。 この機能の使用方法については、 「インフラストラクチャエージェントの構成」を参照してください。
また、ラベルを使ってメトリクスをさらに装飾することもできます。
デフォルトのサンプル・コンフィグ・ファイルにはラベルの例が含まれていますが、必須ではないので、自分の好きなものを削除、変更、または新たに追加することができます。
labels: env: production role: kafkaオンホスト統合構成の一般的な構造については、 構成 を参照してください。
在庫データ
Kafka統合は、デフォルト以外のブローカーとトピック構成パラメーターをキャプチャし、ZooKeeperによって報告されたトピックパーティションスキームを収集します。データは、 config/kafkaソースの下のインベントリUIページで入手できます。
KafkaBrokerSampleおよびKafkaTopicSampleコレクションの設定
Kafka インテグレーションはメトリックスとインベントリ情報の両方を収集します。 各コレクションで使用可能な設定を確認するには、以下のApplies To列を確認してください。
{ ' ' } { ' ' } { ' ' }
設定 | 説明 | デフォルト | に適用されます |
|---|---|---|---|
CLUSTER_NAME | モニターするクラスタを一意に識別するためのユーザー定義の名前。 Required 。 | 該当なし | M / I |
KAFKA_VERSION | 接続先のKafkaブローカーのバージョンで、最適なAPIバージョンを設定するために使用されます。ブローカーのバージョンと一致するか、それ以下でなければなりません。 1.0.0より古いバージョンでは、一部の機能が失われている可能性があります。 ブローカーのバイナリ名が | 1.0.0 | M / I |
AUTODISCOVER_STRATEGY | ブローカーを発見する方法。オプションは | 飼育係 | M / I |
METRICS | メトリックのみの収集を有効にするには、 | false | |
INVENTORY | インベントリのみの収集を有効にするには、 | false |
Zookeeper の自動検出用引数
これらは、 autodiscover_strategyオプションがzookeeperに設定されている場合にのみ関連します。
{ ' ' } { ' ' } { ' ' } { ' ' }
設定 | 説明 | デフォルト | に適用されます |
|---|---|---|---|
ZOOKEEPER_HOSTS | 接続する必要のあるApache ZooKeeperホストの一覧 (JSON形式) If | [] | M / I |
ZOOKEEPER_AUTH_SCHEME | 接続に使用されるZooKeeper認証スキーム。現在、サポートされている値は | 該当なし | M / I |
ZOOKEEPER_AUTH_SECRET | 接続に使用されるZooKeeper認証シークレット。 | 該当なし | M / I |
ZOOKEEPER_PATH | Kafka構成が存在するZookeeperノード。デフォルトは | 該当なし | M / I |
PREFERRED_LISTENER | 特定のリスナーを使用してブローカーに接続します。 設定されていない場合は、テスト接続に成功した最初のリスナーが使用されます。 サポートされる値は
| 該当なし | M / I |
ブートストラップ・ブローカー発見用引数
これらは、 autodiscover_strategyオプションがに設定されている場合にのみ関連しますbootstrap
{ ' ' } { ' ' } { ' ' }
設定 | 説明 | デフォルト | に適用されます |
|---|---|---|---|
BOOTSTRAP_BROKER_HOST | ブートストラップ・ブローカーのホストです。 If | 該当なし | M / I |
BOOTSTRAP_BROKER_KAFKA_PORT | ブートストラップ・ブローカーのKafkaポートです。 | 該当なし | M / I |
BOOTSTRAP_BROKER_KAFKA_PROTOCOL | ブートストラップブローカーへの接続に使用するプロトコル。サポートされている値は、
| PLAINTEXT | M / I |
BOOTSTRAP_BROKER_JMX_PORT | クラスター内の各ブローカの収集に使用するJMXポートです。 Note that all discovered brokers should have JMX active on this port | 該当なし | M / I |
BOOTSTRAP_BROKER_JMX_USER | クラスタ内の各ブローカの収集に使用するJMXユーザ。 | 該当なし | M / I |
BOOTSTRAP_BROKER_JMX_PASSWORD | クラスター内の各ブローカの収集に使用するJMXパスワードです。 | 該当なし | M / I |
JMXのオプション
これらのオプションは、インスタンス上のすべてのJMX接続に適用されます。
{ ' ' } { ' ' } { ' ' } { ' ' } { ' ' } { ' ' }
設定 | 説明 | デフォルト | に適用されます |
|---|---|---|---|
KEY_STORE | JMXクライアントのSSL証明書を含むキーストアのファイルパスです。 | 該当なし | M / I |
KEY_STORE_PASSWORD | JMXのSSLキーストアのパスワードです。 | 該当なし | M / I |
TRUST_STORE | JMXサーバーのSSL証明書を含むトラストキーストアのファイルパスです。 | 該当なし | M / I |
TRUST_STORE_PASSWORD | JMXトラストストアのパスワードです。 | 該当なし | M / I |
DEFAULT_JMX_USER | メトリクスを収集するために JMX ホストに接続しているデフォルトのユーザーです。JMX ホストで username フィールドが省略された場合は、この値が使用されます。 | admin | M / I |
DEFAULT_JMX_PASSWORD | JMX ホストに接続するためのデフォルトのパスワードです。JMX ホストでパスワードフィールドが省略された場合は、この値が使用されます。 | admin | M / I |
TIMEOUT | 個々のJMXクエリのタイムアウト(単位:ミリ秒)。 | 10000 | M / I |
ブローカーTLS接続オプション
ブローカープロトコルがSSLまたはSASL_SSLの場合、これらのオプションが必要です。
{ ' ' } { ' ' } { ' ' }
設定 | 説明 | デフォルト | に適用されます |
|---|---|---|---|
TLS_CA_FILE | SSLおよびSASL_SSLリスナー用の認証局ファイル(PEM形式)です。 | 該当なし | M / I |
TLS_CERT_FILE | SSLおよびSASL_SSLリスナー用のクライアント証明書ファイル(PEM形式)です。 | 該当なし | M / I |
TLS_KEY_FILE | SSLおよびSASL_SSLリスナー用のクライアントキーファイル(PEM形式)です。 | 該当なし | M / I |
TLS_INSECURE_SKIP_VERIFY | サーバーの証明書チェーンとホスト名の検証をスキップします。 | false | M / I |
ブローカーSASLおよびKerberos接続オプション
ブローカープロトコルがSASL_PLAINTEXTまたはSASL_SSLの場合、これらのオプションが必要です。
{ ' ' } { ' ' } { ' ' } { ' ' } { ' ' } { ' ' } { ' ' } { ' ' }
設定 | 説明 | デフォルト | に適用されます |
|---|---|---|---|
SASL_MECHANISM | 使用するSASL認証のタイプ。サポートされているオプションは、 | 該当なし | M / I |
SASL_USERNAME | PLAINおよびSCRAMメカニズムで必要なSASLユーザー名。 | 該当なし | M / I |
SASL_PASSWORD | PLAINおよびSCRAMメカニズムで必要なSASLパスワード。 | 該当なし | M / I |
SASL_GSSAPI_REALM | GSSAPI機構で必要なKerberosレルム。 | 該当なし | M / I |
SASL_GSSAPI_SERVICE_NAME | GSSAPI機構で必要なKerberosサービス名です。 | 該当なし | M / I |
SASL_GSSAPI_USERNAME | GSSAPI機構で必要なKerberosユーザー名。 | 該当なし | M / I |
SASL_GSSAPI_KEY_TAB_PATH | GSSAPI機構で必要なKerberos key tabのパス。 | 該当なし | M / I |
SASL_GSSAPI_KERBEROS_CONFIG_PATH | GSSAPI機構で必要なKerberosのコンフィグパスです。 | /etc/krb5.conf | M / I |
SASL_GSSAPI_DISABLE_FAST_NEGOTIATION | FASTネゴシエーションを無効にします。 | false | M / I |
ブローカーコレクション フィルタリング
{ ' ' } { ' ' } { ' ' }
設定 | 説明 | デフォルト | に適用されます |
|---|---|---|---|
LOCAL_ONLY_COLLECTION | 構成されたブートストラップブローカーに関連するメトリックのみを収集します。 Environments that use discovery (such as Kubernetes) must be set to true because othwerwise brokers will be discovered twice: By the integration, and by the discovery mechanism, leading to duplicate data. Note that activating this flag will skip KafkaTopicSample collection | false | M / I |
TOPIC_MODE | 収集するトピックの数を決定します。オプションは、 | なし | M / I |
TOPIC_LIST | 監視するトピック名のJSON配列。 | [] | M / I |
TOPIC_REGEX | 監視するトピック名に一致する正規表現パターン。 | 該当なし | M / I |
TOPIC_BUCKET | トピックコレクションを複数のインスタンスに分割するために使用されます。 | 1/1 | M / I |
COLLECT_TOPIC_SIZE | メトリックトピックサイズを収集します。オプションは This is a resource-intensive metric to collect, especially against many topics. | false | M / I |
COLLECT_TOPIC_OFFSET | メトリックトピックオフセットを収集します。オプションは This is a resource-intensive metric to collect, especially against many topics. | false | M / I |
COLLECT_CLUSTER_METRICS | Kafkaコントローラーからクラスタ全体のメトリクス( | false | M |
COLLECT_BROKER_EXTENDED_METRICS |
| false | M |
COLLECT_TOPIC_EXTENDED_METRICS |
| false | M |
DISABLE_ATTRIBUTES | 通常であれば含まれるすべてのサンプルから除外する属性名のJSON配列。現在、 | [] | M |
KafkaConsumerSampleおよびKafkaProducerSampleコレクションの設定
Kafka インテグレーションは、メトリクス ( M ) 情報とインベントリ ( I ) 情報の両方を収集します。 それぞれのコレクションに使用できる設定を確認するには、以下のApplies To列を確認してください。
{ ' ' } { ' ' } { ' ' } { ' ' } { ' ' } { ' ' }
設定 | 説明 | デフォルト | に適用されます |
|---|---|---|---|
CLUSTER_NAME | モニターするクラスタを一意に識別するためのユーザー定義の名前。 Required 。 | 該当なし | M / I |
PRODUCERS | 収集するプロデューサー。プロデューサーごとに、 Examples:
| [] | M / I |
CONSUMERS | 収集する消費者。コンシューマーごとに、 Examples:
| [] | M / I |
DEFAULT_JMX_HOST | JMX メトリクスを収集するためのデフォルトのホストです。プロデューサまたはコンシューマの構成でホストフィールドが省略された場合、この値が使用されます。 | ローカルホスト | M / I |
DEFAULT_JMX_PORT | JMX メトリクスを収集するためのデフォルトのポートです。プロデューサまたはコンシューマの設定でポートフィールドが省略された場合、この値が使用されます。 | 9999 | M / I |
DEFAULT_JMX_USER | メトリクスを収集するために JMX ホストに接続しているデフォルトのユーザー。プロデューサまたはコンシューマの構成で username フィールドが省略された場合は、この値が使用されます。 | admin | M / I |
DEFAULT_JMX_PASSWORD | JMX ホストに接続するためのデフォルトのパスワードです。プロデューサまたはコンシューマの設定でパスワードフィールドが省略された場合、この値が使用されます。 | admin | M / I |
METRICS | メトリックのみの収集を有効にするには、 | false | |
INVENTORY | インベントリのみの収集を有効にするには、 | false |
JMXのSSLとタイムアウトのオプション
これらのオプションは、インスタンス上のすべてのJMX接続に適用されます。
{ ' ' } { ' ' } { ' ' } { ' ' }
設定 | 説明 | デフォルト | に適用されます |
|---|---|---|---|
KEY_STORE | JMXクライアントのSSL証明書を含むキーストアのファイルパスです。 | 該当なし | M / I |
KEY_STORE_PASSWORD | JMXのSSLキーストアのパスワードです。 | 該当なし | M / I |
TRUST_STORE | JMXサーバーのSSL証明書を含むトラストキーストアのファイルパスです。 | 該当なし | M / I |
TRUST_STORE_PASSWORD | JMXトラストストアのパスワードです。 | 該当なし | M / I |
TIMEOUT | 個々のJMXクエリのタイムアウト(単位:ミリ秒)。 | 10000 | M / I |
KafkaOffsetSampleコレクションの設定
Kafka インテグレーションはメトリックスとインベントリ情報の両方を収集します。 それぞれのコレクションに使用できる設定を確認するには、以下のApplies To列を確認してください。
{ ' ' } { ' ' } { ' ' }
設定 | 説明 | デフォルト | に適用されます |
|---|---|---|---|
CLUSTER_NAME | モニターするクラスタを一意に識別するためのユーザー定義の名前。 Required 。 | 該当なし | M / I |
KAFKA_VERSION | 接続先のKafkaブローカーのバージョンで、最適なAPIバージョンを設定するために使用されます。ブローカーのバージョンと一致するか、それ以下でなければなりません。 1.0.0より古いバージョンでは、一部の機能が失われている可能性があります。 Note that if the broker binary name is kafka_2.12-2.7.0 the Kafka api version to be used is 2.7.0, the preceding 2.12 is the Scala language version。 | 1.0.0 | M / I |
AUTODISCOVER_STRATEGY | ブローカーを発見する方法。オプションは | 飼育係 | M / I |
CONSUMER_OFFSET | trueに設定すると、KafkaOffsetSampleにコンシューマーのオフセットデータを投入します。 Note that this option will skip Broker/Consumer/Producer collection and only collect KafkaOffsetSample | false | M / I |
CONSUMER_GROUP_REGEX | オフセット統計を収集する消費者グループにマッチする正規表現パターンです。これは、300個の消費者グループの統計を収集する場合に限られます。 注:このオプションは、CONSUMER_OFFSETがtrueの場合に設定する必要があります。 | 該当なし | M / I |
INACTIVE_CONSUMER_GROUP_OFFSET | アクティブなコンシューマーがないコンシューマーグループからオフセットメトリックを収集します。CONSUMER_OFFSETをtrueに設定する必要があります。 | false | M / I |
CONSUMER_GROUP_OFFSET_BY_TOPIC | トピックごとにconsumerGroupの追加のメトリック集計をアクティブにします。CONSUMER_OFFSETをtrueに設定する必要があります。 | 該当なし | M / I |
COLLECT_CONSUMER_OFFSET_EXTENDED_METRICS |
| false | M |
METRICS | メトリックのみの収集を有効にするには、 | false | |
INVENTORY | インベントリのみの収集を有効にするには、 | false |
Zookeeper の自動検出用引数
これは、 autodiscover_strategyオプションがzookeeperに設定されている場合にのみ関係します。
{ ' ' } { ' ' } { ' ' } { ' ' }
設定 | 説明 | デフォルト | に適用されます |
|---|---|---|---|
ZOOKEEPER_HOSTS | 接続する必要のあるApache ZooKeeperホストの一覧 (JSON形式) If | [] | M / I |
ZOOKEEPER_AUTH_SCHEME | 接続に使用されるZooKeeper認証スキーム。現在、サポートされている値は | 該当なし | M / I |
ZOOKEEPER_AUTH_SECRET | 接続に使用されるZooKeeper認証シークレット。 | 該当なし | M / I |
ZOOKEEPER_PATH | Kafka構成が存在するZookeeperノード。デフォルトは | 該当なし | M / I |
PREFERRED_LISTENER | 特定のリスナーを使用してブローカーに接続します。 設定されていない場合は、テスト接続に成功した最初のリスナーが使用されます。 サポートされる値は
| 該当なし | M / I |
ブートストラップ・ブローカー発見用引数
これは、 autodiscover_strategyオプションがbootstrapに設定されている場合にのみ関係します。
{ ' ' } { ' ' } { ' ' }
設定 | 説明 | デフォルト | に適用されます |
|---|---|---|---|
BOOTSTRAP_BROKER_HOST | ブートストラップ・ブローカーのホストです。 If | 該当なし | M / I |
BOOTSTRAP_BROKER_KAFKA_PORT | ブートストラップ・ブローカーのKafkaポートです。 | 該当なし | M / I |
BOOTSTRAP_BROKER_KAFKA_PROTOCOL | ブートストラップブローカーへの接続に使用するプロトコル。サポートされている値は、
| PLAINTEXT | M / I |
BOOTSTRAP_BROKER_JMX_PORT | クラスター内の各ブローカの収集に使用するJMXポートです。 Note that all discovered brokers should have JMX active on this port | 該当なし | M / I |
BOOTSTRAP_BROKER_JMX_USER | クラスタ内の各ブローカの収集に使用するJMXユーザ。 | 該当なし | M / I |
BOOTSTRAP_BROKER_JMX_PASSWORD | クラスター内の各ブローカの収集に使用するJMXパスワードです。 | 該当なし | M / I |
JMXのSSLとタイムアウトのオプション
これらは、インスタンス上のすべてのJMX接続に適用されます。
{ ' ' } { ' ' } { ' ' } { ' ' } { ' ' } { ' ' }
設定 | 説明 | デフォルト | に適用されます |
|---|---|---|---|
KEY_STORE | JMXクライアントのSSL証明書を含むキーストアのファイルパスです。 | 該当なし | M / I |
KEY_STORE_PASSWORD | JMXのSSLキーストアのパスワードです。 | 該当なし | M / I |
TRUST_STORE | JMXサーバーのSSL証明書を含むトラストキーストアのファイルパスです。 | 該当なし | M / I |
TRUST_STORE_PASSWORD | JMXトラストストアのパスワードです。 | 該当なし | M / I |
DEFAULT_JMX_USER | メトリクスを収集するために JMX ホストに接続しているデフォルトのユーザーです。JMX ホストで username フィールドが省略された場合は、この値が使用されます。 | admin | M / I |
DEFAULT_JMX_PASSWORD | JMX ホストに接続するためのデフォルトのパスワードです。JMX ホストでパスワードフィールドが省略された場合は、この値が使用されます。 | admin | M / I |
TIMEOUT | 個々のJMXクエリのタイムアウト(単位:ミリ秒)。 | 10000 | M / I |
トラブルシューティング
{ ' ' }