Google Cloud Platform（GCP） との New Relicインテグレーション には、 Google BigQuery のデータをNew Relicにレポートするものが含まれます。本ドキュメントでは、GCP BigQueryインテグレーションを有効にする方法と、それがレポートするデータについて解説します。
特徴
BigQueryは、Google Cloudのサーバーレスデータウェアハウスです。New Relic BigQueryインテグレーションは、プロジェクトとデータセットの両方のスコープで、クエリ、実行、ストレージ、およびスロット使用率のメトリクスを収集します。
統合をアクティブ化する
このインテグレーションを有効にするには、標準手順に従い、GCPサービスをNew Relicに接続します：
ポーリング頻度
New Relicインテグレーションは、ポーリング間隔に従って、GCPサービスをクエリします。ポーリング間隔はインテグレーションによって異なります。Google BigQueryのポーリング頻度は5分です。解像度は1分あたり1データポイントです。
重要
BigQueryは、リミテッドプレビューのWIFインテグレーションに対して1分間のポーリング間隔をサポートしています。アクセスをリクエストするには、New Relicサポートにお問い合わせください。
テーブルメトリクスの有効化
BigQueryテーブルメトリクスの収集は、デフォルトで無効になっています。これは、 GcpBigQueryTableSample に記載されているメトリクスに影響します。これらのメトリクスを収集するには、BigQuery統合の設定メニューにある"Enable table metrics" 設定をオンにします。
ワークロード Identity Federation
データを見つけて使用する
インテグレーションを有効にすると、BigQueryリソースがNew Relicのエンティティエクスプローラーにエンティティとして表示されます。ダッシュボードを表示してサービスを管理するには、one.newrelic.com > All capabilities > Infrastructure > GCPに移動します。
GCP クラウドモニタリングで利用可能なすべてのBigQueryメトリクスは、Metricイベントタイプのディメンションメトリクスとして収集されます。この表以外の追加のメトリクスは自動的に収集されます。完全なリストについては、GoogleのBigQueryメトリクスドキュメントをご覧ください。
エンティティ
エンティティ | エンティティタイプ | リソースタイプ |
|---|
プロジェクト | GCPBIGQUERYPROJECT
| bigquery_project
|
データセット | GCPBIGQUERYDATASET
| bigquery_dataset
|
テーブル | GCPBIGQUERYTABLE
| bigquery_table
|
メトリックデータ
主要なメトリクス — プロジェクト
メトリクス名 | ユニット | 説明 |
|---|
gcp.bigquery.query.count
| Count | プロジェクトで実行されたクエリの数。 query_type
と state
でファセットされます。 |
gcp.bigquery.query.execution_times
| 秒 | プロジェクト全体のクエリ実行時間の分布。 |
gcp.bigquery.slots.allocated_for_project
| Count | 現在プロジェクトに割り当てられているスロットの数。 |
gcp.bigquery.storage.uploaded_bytes
| バイト | プロジェクト内のBigQueryにアップロードされたバイト数。 |
gcp.bigquery.storage.uploaded_row_count
| Count | プロジェクト内のBigQueryにアップロードされた行数。 |
主要なメトリクス — データセット
メトリクス名 | ユニット | 説明 |
|---|
gcp.bigquery.storage.stored_bytes
| バイト | データセットに保存されている合計バイト数。 |
gcp.bigquery.storage.table_count
| Count | データセット内のテーブル数。 |
gcp.bigquery.storage.stored_logical_bytes
| バイト | データセットに保存されている論理バイト数（非圧縮サイズ）。 |
gcp.bigquery.storage.stored_physical_bytes
| バイト | データセットに保存されている物理バイト数（ディスク上の圧縮サイズ）。 |
主要なメトリクス — テーブル
メトリクス名 | ユニット | 説明 |
|---|
gcp.bigquery.storage.stored_bytes
| バイト | テーブルに保存されている論理バイト数。GCPは、データセットごとに（サイズ順で）上位100個のテーブルのこのメトリクスに table
ラベルを付けます；残りはテーブルラベルなしでグループ化されます。 |
gcp.bigquery.storage.uploaded_bytes
| バイト | テーブルにアップロードされたバイト数。 |
gcp.bigquery.storage.uploaded_bytes_billed
| バイト | テーブルにアップロードされたデータに対して課金されるバイト数。現在、ストリーミングAPIのみが課金されます。 |
gcp.bigquery.storage.uploaded_row_count
| Count | テーブルにアップロードされた行数。 |
BigQueryのメトリクスの完全なリストについては、GoogleのBigQueryメトリクスドキュメントをご覧ください。
メトリクスのみのリソースタイプ
New Relicは、以下のBigQueryリソースタイプのメトリクスも収集します。これらのリソースタイプはエンティティエクスプローラーでエンティティを作成しないため、Metricイベントタイプで直接メトリクスをクエリしてください。
メトリクス名 | ユニット | 説明 |
|---|
gcp.bigquery.query.count
| Count | 実行中のクエリ。 |
gcp.bigquery.query.execution_times
| 秒 | 最後のサンプリング間隔内に正常に完了したクエリの実行時間の分布。未完了のクエリや失敗したクエリは含まれません。 |
gcp.bigquery.query.scanned_bytes
| バイト | スキャンされたバイト数。 |
gcp.bigquery.query.scanned_bytes_billed
| バイト | 課金されるスキャン済みバイト数。 |
gcp.bigquery.slots.allocated
| Count | 現在プロジェクトに割り当てられているBigQueryスロットの数です。スロットの割り当ては、予約とジョブタイプに基づいて細分化できます。このメトリクスの精度は、特に予約別の内訳において、低くなる場合があります。代わりにリソースチャートの使用をご検討ください。 |
gcp.bigquery.slots.allocated_for_project
| Count | プロジェクト内のクエリジョブに現在割り当てられているBigQueryスロットの数。 |
gcp.bigquery.slots.allocated_for_project_and_job_type
| Count | プロジェクトおよびジョブタイプに現在割り当てられているBigQueryスロットの数。 |
gcp.bigquery.slots.allocated_for_reservation
| Count | 予約内のプロジェクトに現在割り当てられているBigQueryスロットの数。 |
gcp.bigquery.slots.total_allocated_for_reservation
| Count | 予約内のプロジェクト全体で現在割り当てられているBigQueryスロットの数。メトリクスデータは、少なくとも1つのプロジェクトが予約に割り当てられ、スロットを消費している間のみ報告されることにご注意ください。代替手段として、これらの制限がないINFORMATION_SCHEMAから予約情報をクエリすることをご検討ください。 |
gcp.bigquery.slots.total_available
| Count | （非推奨）プロジェクトで利用可能なBigQueryスロットの総数。BigQuery Reservations APIを使用している場合は、代わりにbigquery.googleapis.com/slots/assignedとbigquery.googleapis.com/slots/max_assignedの使用を検討してください。 |
メトリクス名 | ユニット | 説明 |
|---|
gcp.bigquery.job.continuous.backlog_records
| Count | 継続的ジョブの各ステージにおけるバックログレコードの推定数。 |
gcp.bigquery.job.continuous.estimated_backlog_logical_bytes
| バイト | 継続的ジョブの各ステージのバックログ内のバイト数。 |
gcp.bigquery.job.continuous.estimated_bytes_processed
| バイト | 継続的ジョブの各ステージで処理された推定バイト数。 |
gcp.bigquery.job.continuous.output_watermark
| マイクロ秒 | 継続的ジョブのこのステージですべてのデータが処理された時点までの、エポックからのマイクロ秒単位の最新のタイムスタンプです。 |
gcp.bigquery.job.continuous.records_read
| Count | 継続的ジョブの各ステージで読み取られた入力レコードの数。 |
gcp.bigquery.job.continuous.records_written
| Count | 継続的ジョブの各ステージで書き込まれた出力レコードの数。 |
gcp.bigquery.job.continuous.slots.used_time
| ミリ秒 | 継続的ジョブによって使用された合計スロットミリ秒。 |
メトリクス名 | ユニット | 説明 |
|---|
gcp.bigquerystorage.write.concurrent_connections
| Count | BigQuery Write APIのプロジェクトあたりの同時接続数。同時接続のクォータと整合性を保つため、メトリクスはデフォルトでAppendRowsRequestsを開始したプロジェクトに設定されます（APIキーまたはサービスアカウントに関連付けられています）。 |
gcp.bigquerystorage.write.connection_results_count
| Count | BigQuery Write APIによる接続結果の累積合計。 |
gcp.bigquerystorage.write.server_side_latencies
| Count | BigQuery Write API フロントエンドで AppendRowsRequest を受信してから AppendRowsResponse を送信するまでのレイテンシ分布（ミリ秒単位）。 |
gcp.bigquerystorage.write.transcoding_latencies
| Count | BigQuery Write APIフロントエンドにおけるトランスコーディングレイテンシの分布（ミリ秒単位）。 |
gcp.bigquerystorage.write.uploaded_bytes_count
| Count | BigQuery Write APIの取り込みバイト数の累積合計です。 |
gcp.bigquerystorage.write.uploaded_row_count
| Count | BigQuery Write APIによって取り込まれた行の総累積数。 |
gcp.bigquerystorage.read.concurrent_streams
| Count | 同時ReadRowsストリームの数。 |
メトリクス名 | ユニット | 説明 |
|---|
gcp.bigquerystorage.dataflow_write.connection_results_count
| Count | BigQuery Write API接続結果の累積合計。 |
gcp.bigquerystorage.dataflow_write.request_count
| Count | BigQuery Write APIリクエスト数の累積合計。 |
gcp.bigquerystorage.dataflow_write.server_side_latencies
| Count | BigQuery Write API フロントエンドで AppendRowsRequest を受信してから AppendRowsResponse を送信するまでのレイテンシ分布（ミリ秒単位）。 |
gcp.bigquerystorage.dataflow_write.transcoding_latencies
| Count | BigQuery Write APIフロントエンドでデータのトランスコードにかかる所要時間の分布（ミリ秒単位）。 |
gcp.bigquerystorage.dataflow_write.uploaded_bytes_count
| Count | BigQuery Write APIの取り込みバイト数の累積合計です。 |
gcp.bigquerystorage.dataflow_write.uploaded_row_count
| Count | BigQuery Write APIによって取り込まれた行の総累積数。 |
メトリクス名 | ユニット | 説明 |
|---|
gcp.bigquerydatatransfer.transfer_config.active_runs
| Count | 転送設定の実行中または保留中の転送実行数。 |
gcp.bigquerydatatransfer.transfer_config.completed_runs
| Count | 転送設定あたりの完了したDTS実行の数。 |
gcp.bigquerydatatransfer.transfer_config.last_execution_job_rows
| Count | 転送設定の最後に実行されたジョブから返された行数です。 |
gcp.bigquerydatatransfer.transfer_config.run_duration_seconds
| 秒 | 転送設定ごとの各転送実行の実行時間（秒）の分布。 |
メトリクス名 | ユニット | 説明 |
|---|
gcp.bigquery.managed_routine.python.cpu_utilizations
| パーセント | 各インスタンスのCPU使用率。 |
gcp.bigquery.managed_routine.python.max_request_concurrencies
| Count | すべてのPython UDFインスタンスにおける最大同時requestsの分布。 |
gcp.bigquery.managed_routine.python.memory_utilizations
| パーセント | 各インスタンスのメモリ使用率。 |
メトリクス名 | ユニット | 説明 |
|---|
gcp.bigquerybiengine.model.inflight_requests
| Count | BIモデルへの処理中のrequests。LookerStudioネイティブのBigQueryインテグレーションがない場合にのみ報告されます。 |
gcp.bigquerybiengine.model.request_count
| Count | BI Engineのリクエスト数。LookerStudioのネイティブBigQueryインテグレーションを使用していない場合にのみ報告されます。 |
gcp.bigquerybiengine.model.request_latencies
| ミリ秒 | リクエスト実行時間の分布。 |
メトリクス名 | ユニット | 説明 |
|---|
gcp.bigquerybiengine.reservation.top_tables_cached_bytes
| バイト | キャッシュ内の最大テーブルについて、テーブルごとにBI Engineキャッシュに保存されているデータ量。 |
gcp.bigquerybiengine.reservation.total_bytes
| バイト | BI engineの予約のサイズ。 |
gcp.bigquerybiengine.reservation.used_bytes
| バイト | BI Engineの予約の利用率。 |
サービスアカウントまたはユーザーアカウント
データを見つけて使用する
インテグレーションを有効化し、数分待つと（ポーリング頻度に基づきます）、 New Relic UIにデータが表示されます。 や集計設定へのリンクを含むデータを検索して使用するには、 one.newrelic.com > All capabilities > Infrastructure > GCP > (select an integration)にアクセスしてください。
NewRelicでのGoogleBigQuery統合の指標データを表示するには、 GcpBigQueryProjectSample 、 GcpBigQueryDatasetSample 、およびGcpBigQueryTableSampleイベントとその属性のNRQLクエリを作成します。
GcpBigQueryProjectSample
New RelicでGcpBigQueryProjectSampleイベントをクエリして、次のメトリックのデータを表示します。解像度は、1分あたり1データポイントで、8分の遅延があります。
属性 | 説明 |
|---|
query.Count
| 機内での問い合わせ。 |
query.ExecutionTimes
| クエリ実行時間の分布 |
slots.Allocated
| プロジェクトに現在割り当てられているスロットの数 |
slots.AllocatedForProject
| プロジェクトのクエリジョブに現在割り当てられているスロットの数。 |
slots.AllocatedForProjectAndJobType
| プロジェクトや職種に現在割り当てられているスロットの数。 |
slots.AllocatedForReservation
| 予約でプロジェクトに割り当てられているスロットの数 |
slots.TotalAllocatedForReservation
| 予約でプロジェクトに割り当てられているスロットの数。 |
slots.TotalAvailable
| プロジェクトで利用可能なスロットの総数です。 |
GcpBigQueryDatasetSample
New RelicでGcpBigQueryDatasetSampleイベントをクエリして、次のメトリックのデータを表示します。解像度は、3時間の遅延で30分ごとに1つのデータポイントです。
属性 | 説明 |
|---|
storage.StoredBytes
| 蓄積されたバイトの量 |
storage.Tables
| テーブルの数。 |
GcpBigQueryTableSample
GcpBigQueryTableSampleイベントをクエリして、次の指標のデータを表示します。解像度は、6時間の遅延で1分あたり1データポイントです。
属性 | 説明 |
|---|
storage.UploadedBytes
| アップロードされたバイト |
storage.UploadedBytesBilled
| アップロードされたバイトが課金されます。現在はストリーミングAPIのみ課金されます。 |
storage.UploadedRowCount
| アップロードされた列。 |