BigQueryの新発表を解説（Google Cloud Next '25速報）

G-gen の杉村です。当記事では、Google Cloud Next '25 で発表された BigQuery の新機能について紹介します。

概要

Google Cloud の旗艦イベントである Google Cloud Next '25 では、BigQueryに関する新機能の情報が公開されました。

当記事では、AI によるメタデータの自動生成（automated metadata generation）、BigQuery tables for Apache Iceberg、コントリビューション分析、BigQuery universal catalog（Dataplex Catalog から改名）、地理空間分析（Geospatial analytics）などの新機能について紹介します。当記事は、以下の公式発表に基づいて記載されています。

• 参考 : What's new with BigQuery — the autonomous data-to-AI platform

なお当記事を公開した4月11日（日本時間）以降、以下の新しい公式記事が公開されたため、これらに関する情報も随時、追記しています。

• 参考 : Introducing BigQuery unified governance: universal, intelligent, and open
• 参考 : What's new for Data Analytics in the AI driven, autonomous and agentic era

当記事に記載されている情報は、いずれも記事を執筆、追記した2025年4月12日（日本時間）現在のものですのでご留意ください。

BigQuery と AI の統合

全体像

BigQuery は以前より、生成 AI によるデータエンジニアリングや分析の機能（Gemini in BigQuery）が随時、追加されてきました。Next 25 では、以下の図のように、データ分析のライフサイクル全体における AI との関わりが整理されています。

図は公式ブログ記事より引用

BigQuery data preparation

BigQuery data preparation（BigQuery データ準備）は、自然言語による指示に基づいて、データ変換パイプラインを構築するツールです。BigQuery Studio（BigQuery の Web コンソール画面）と統合されており、ローコードでデータ変換パイプラインを構築できます。バックエンドでは、Dataform が動作しています。

同機能は以前よりプレビュー公開されていましたが、2025年4月7日に一般公開（GA）されました。

• 参考 : Introduction to BigQuery data preparation

BigQuery data preparation

データセットレベルのインサイト（BigQuery データキャンバス）

BigQuery data canvas（BigQuery データキャンバス）は、自然言語による指示と、グラフィカルなインターフェイスにより、オンデマンドにデータを検索、変換、クエリ、可視化するツールです。

同機能は2024年8月28日に一般公開（GA）済みですが、新機能としてデータセットレベルのインサイト（dataset-level insights）がプレビュー公開されました。

• 参考 : Analyze with BigQuery data canvas

BigQuery pipelines にデータエンジニアリングエージェントが組み込み

BigQuery Studio から利用できる簡易的なワークフロー構築ツールである BigQuery pipelines に、データエンジニアリングエージェント（Data engineering agent）が組み込まれます（GA）。

データパイプラインの構築、異常検出、メタデータ生成などが AI によって自動化され、データエンジニアチームの生産性を向上します。

Colab Notebook にデータサイエンスエージェントが組み込み

BigQuery Studio から利用できる Colab Notebook に、データサイエンスエージェント（Data science agent）が組み込まれます（GA）。

データサイエンスエージェントにより、特徴量エンジニアリングやモデル選定が AI によって補助され、効率化します。

BigQuery AI query engine

BigQuery AI query engine は、BigQuery の notebook 上で利用できる、データサイエンティスト向けの AI 補助機能です。

この機能により、構造化データのみならず、非構造化データも含めたシームレスな処理や、現実世界の背景情報を交えた分析が効率化されます。

例として、「在庫情報に含まれる製品のうち、新興経済国で主に製造されているのはどれですか」「このソーシャルメディアの写真に写っている製品はどれですか」といった質問が可能です。前者の質問は、AI が新興経済国を理解していることを意味します。後者の質問は、AI が非構造化データを処理できることを意味しています。

BigQuery DataFrames におけるコード支援

BigQuery DataFrames は、BigQuery API を介したデータの変換や機械学習を容易に行える Python のオープンソースパッケージです。

• 参考 : BigQuery DataFramesを徹底解説 - G-gen Tech Blog
• 参考 : BigQuery DataFrames

今回、BigQuery DataFrames でコード生成や補完が利用できるようになりました（プレビュー）。

• 参考 : Write queries with Gemini assistance - Generate BigQuery DataFrames code

Looker の会話型分析

Google の BI＆データプラットフォームサービスである Looker でも、AI 関連機能が進化しています。Looker の会話型分析（Looker conversational analytics）では、ユーザーが自然言語でデータと対話できるようにします（プレビュー）。

自然言語の指示に基づいて AI が分析を行うことに加えて、その思考プロセスが説明されます。これにより、ブラックボックスになりがちな AI による分析の中身が明らかになり、曖昧さが減少します。

また関連して、conversational analytics API が公開されます（プレビュー）。この API を利用することで、他のアプリケーションやワークフローに、Looker の会話型分析を組み込めるようになります。

SQL 移行アシスト

SQL 移行アシスト（SQL translation assistance）は、他のデータベースから BigQuery への移行を支援するツールです。既存の SQL を、BigQuery で利用できる形に変換する作業を支援します。同機能は、GA です。

自然言語プロンプトを使用して、SQL を記述したり、構文の置換に使用する SQL パターンを特定できます。

• 参考 : Translate queries with the interactive SQL translator - Create a translation rule

データガバナンス

Dataplex Catalog が BigQuery universal catalog に改名

フルマネージドのデータカタログ管理サービスである Dataplex Catalog が、BigQuery universal catalog に改名されました。

BigQuery universal catalog は、Dataplex Catalog の従来機能と、BigQuery metastore のランタイムメタストア機能が統合されたものになります。

BigQuery universal catalog は、単なる改名や既存機能の統合にとどまらず、生成 AI との統合により、データマネジメントをより推し進めるものになっています。また、Apache Iceberg などのオープンストレージ標準に準拠する機能を備えており、これまでより柔軟に他のクエリエンジンとの統合が実現できます。

• 参考 : Introducing BigQuery unified governance: universal, intelligent, and open
• 参考 : About data catalog management in BigQuery universal catalog (Dataplex Catalog)
• 参考 : Dataplex Catalogを徹底解説！ - G-gen Tech Blog

Automated metadata curation（メタデータの自動生成）

新機能 Automated metadata curation により、AI による自動的なメタデータ生成が利用可能になります（プレビュー公開）。

Automated metadata curation では、プロファイルスキャンと Gemini により、テーブルやカラムに一貫性のあるメタデータを自動的に付与できます。この機能では、Gemini がテーブルのスキーマ、リレーション、説明欄（description）、過去のクエリ履歴などを分析して、メタデータを生成します。

データに対する適切なメタデータの付与は、データガバナンスの観点ではもちろん、AI 活用の観点でも重要になっています。この機能により、データスチュアードやビジネスユーザーが手動でメタデータを付与する労力が改善されます。またメタデータの付与は、後述するカタログのセマンティック検索機能により、ユーザーがデータを見つけやすくするためにも重要です。

BigQuery knowledge engine

BigQuery knowledge engine は、複数テーブルにまたがるクエリの提案や、自然言語による質問への回答などにより、複数のデータセットやテーブルの間の関係性を可視化し、把握するための機能です。

BigQuery knowledge engine により、BigQuery universal catalog がクロステーブルなクエリをサジェストすることもできます。

カタログのセマンティック検索

カタログのセマンティック検索（Full-catalog search with semantic understanding）機能では、複数のプロジェクトに渡って存在する BigQuery データセットのメタデータに対して、セマンティック検索（意味論検索）ができるようになります（プレビュー）。

これにより、エンジニアのみならず、ビジネスユーザーがより容易に BigQuery 内のデータを発見できるようになります。

Data products

Data products は、データのオーナーが、ユースケースごとにデータ資産のコレクションを作成、共有、管理する機能とされています。この機能では、セキュリティのベストプラクティスに従った方法で、組織内および組織外に対して、データ資産をパッケージ化して共有できます。

同機能については、詳細は発表されていませんが、プレビュー公開されると発表されました。

BigQuery metastore

BigQuery metastore は、BigQuery、Apache Spark、Apache Flink のエンジン間の相互運用を可能にする機能です。同機能は2025年1月にプレビュー公開されており、今回 GA となりました。

BigQuery metastore は、Spark 等の外部のエンジンからカタログとして利用できます。また Spark で作成したテーブルに、BigQuery からクエリするなどが可能になります。テーブル形式は Apache Iceberg をサポートしています。

• 参考 : Introduction to BigQuery metastore

ビジネス用語集

ビジネス用語集（business glossaries）は、Dataplex で提供される機能です。これまでプレビュー公開だったものが、今回 GA になりました。

組織のビジネス用語を用語集に登録し、データ利用者が利用したり、メタデータの付与時や、データカタログの検索に用いたりします。

• 参考 : Create and manage Dataplex business glossaries

カタログメタデータのエクスポート

カタログメタデータのエクスポート（Catalog metadata export）機能は、データカタログを一括で Cloud Storage バケットにエクスポートできる機能です（GA）。

エクスポートしたメタデータは、BigQuery 等で分析したり、プログラムからアクセスさせることができます。

BigLake とオブジェクトテーブルの自動カタログ生成

BigLake とオブジェクトテーブルの自動カタログ生成（cataloging of BigLake and object tables）機能が公開されました（GA）。

BigQuery universal catalog により、Cloud Storage に配置した構造化データと非構造化データからメタデータを自動的に収集し、BigLake テーブルを自動的に作成できるようになります（GA）。

Automated anomaly detection

BigQuery universal catalog の Automated anomaly detection 機能により、データのエラーや不整合、外れ値を自動的に検知します。この機能も、プレビュー公開です。

この機能は BigQuery pipelines と統合されており、データエンジニアリングエージェントの1機能です。

BigQuery ガバナンス

BigQuery ガバナンス（BigQuery governance）は、前述のメタデータ自動生成と、自動カタログ作成機能を含んでおり、単一の統合ビューを提供する機能とされています（プレビュー）。

このビューは、データスチュアードや専門家向けに、データの検出、分類、キュレーション、品質管理、利用状況確認、共有の確認などを行えるものになるとされています。

データの共有

Analytics Hub が BigQuery Sharing に改名

これまで Analytics Hub と呼ばれていた機能は、BigQuery Sharing に改名されます。

改名に加えて、今回、多くの新機能が発表されました。

• 参考 : Introduction to BigQuery sharing

データを収益化

BigQuery Sharing は、Google Cloud Marketplace と統合され、データを販売して収益化することができるようになりました。

Google Cloud Marketplace との統合は、Analytics Hub 時代の2024年12月にプレビュー公開済みです。

• 参考 : Commercialize listings on Cloud Marketplace

ストリーミングデータの共有

BigQuery Sharing で、ストリーミングデータの共有（Stream sharing）ができるようになります（GA）。

Pub/Sub トピックで受け取るストリーミングデータを、BigQuery Sharing で共有したり、利用者にキュレートできるようになります。

ストアドプロシージャの共有

BigQuery Sharing で、ストアドプロシージャの共有ができるようになります（プレビュー）。

この共有方法では、SQL の実コードを利用者に見せることなく、実行だけを許可できます。

クエリテンプレートの共有

BigQuery Sharing で、クエリテンプレートの共有ができるようになります（プレビュー）。

この共有方法により、利用者は共有された SQL を再利用したり、カスタマイズしたりできます。

セキュリティ

カラムへのデータポリシー適用

カラムへのデータポリシー適用（Data policies on columns）では、データポリシーを列に適用できるほか、そのポリシーを他の列やテーブルに再利用できるようになります（プレビュー）。

従来から存在する BigQuery の列レベルのアクセス制御機能の拡張と考えられます。

• 参考 : BigQueryの列レベルのアクセス制御・行レベルのセキュリティを解説 - G-gen Tech Blog - 列レベルのアクセス制御

行レベルのセキュリティでサブクエリがサポート

行レベルのセキュリティでサブクエリがサポートされます（GA）。既存のデータモデルを変更せずに、行のフィルタリングが可能になるとしています。

• 参考 : BigQueryの列レベル・行レベルのセキュリティを解説 - G-gen Tech Blog - 行レベルのセキュリティ

マルチモーダル自律データ基盤

BigQuery tables for Apache Iceberg

BigQuery tables for Apache Iceberg は、Apache Iceberg 形式のテーブルを利用できる機能です。同機能は、今回の Next 25にあわせて、プレビュー公開されました。

Apache Iceberg とは、オープンソースのテーブルフォーマットです。実データは Apache Parquet、Apache Avro 等の形式のファイルで持ちます。Iceberg は、Apache Spark、Apache Hive、Presto などの分散処理フレームワークから利用できます。

BigQuery tables for Apache Iceberg では、Cloud Storage バケットに配置した Parquet 形式のファイルに対応しています。

以前より、BigQuery では BigLake external tables for Apache Iceberg により Apache Iceberg 形式のテーブルを扱うことができましたが、読み取り専用でした。今回リリースされた BigQuery tables for Apache Iceberg は、読み取りに加えて書き込みや、スキーマの変更も可能です。また、列レベルのセキュリティなど、BigQuery のセキュリティ機構も利用することができます。

• 参考 : BigQuery tables for Apache Iceberg

ObjectRef 型の導入（BigQuery multimodal tables）

ObjectRef という新しい型により、BigQuery オブジェクトテーブル上の構造化データや非構造化データに対するクエリや保存が容易になります。同機能は、今回の Next 25にあわせてプレビュー公開されました。

ObjectRef 型の登場により、BigQuery ではマルチモーダルなテーブル（multimodal tables）が実現できるようになります。

BigQuery DataFrames の強化

BigQuery DataFrames ライブラリに、構造化データと非構造化データを統合分析したり、セマンティックインサイト、Gemini Code Assist 向けのマルチモーダル機能が追加になりました。

AI.GENERATE 関数

BigQuery ML で、AI.GENERATE_TABLE 関数を始めとする生成 AI による推論関数が追加になりました（プレビュー）。これらの関数では、Gemini だけでなく, Vertex AI と組み合わせることで、Claude や Llama などのサードパーティモデルも利用できます。

• 参考 : The AI.GENERATE_TABLE function
• 参考 : The ML.GENERATE_TEXT function
• 参考 : The AI.GENERATE_BOOL function
• 参考 : The AI.GENERATE_DOUBLE function
• 参考 : The AI.GENERATE_INT function

ベクトル検索の強化

BigQuery におけるベクトル検索用に、新しいインデックスタイプである TreeAH vector index が使えるようになりました（GA）。よりリソース効率のよいベクトル検索が可能になります。

• 参考 : Introduction to vector search
• 参考 : Manage vector indexes - TreeAH Index

時系列予測用の新モデル

BigQuery ML で、よりシンプルに時系列予測を行うための TimesFM model がプレビュー公開されました。Google によってトレーニング済みのモデルです。

• 参考 : The TimesFM model

コントリビューション分析

BigQuery でコントリビューション分析（contribution analysis）ができるようになりました（GA）。

「先月は、なぜ売上が落ちたのか？」のような Why に対する答えを出すためには、キーファクターを特定する必要があります。コントリビューション分析はキードライバー分析（key driver analysis）とも呼ばれ、多次元データにおける主要な指標の変化を抽出する手法です。

CREATE MODEL ステートメントでモデルを作成し、ML.GET_INSIGHTS 関数で指標情報を取得します。

• 参考 : Contribution analysis overview

エンタープライズ向け機能

Managed disaster recovery

Managed disaster recovery（マネージドな災害対策）機能は、コンピュートとストレージの両方をセカンダリリージョンにフェイルオーバーできる、災害対策（DR）機能です。2024年12月に GA になりました。

• 参考 : Managed disaster recovery
• 参考 : BigQueryを徹底解説！(基本編) - G-gen Tech Blog - 災害対策（DR）

Workload management

BigQuery の reservation（予約。スロットの割り当て設定）は従来、ジョブ種別（QUERY、PIPELINE、ML_EXTERNAL 等）プロジェクトに1つ紐づけるものであり、同じプロジェクトの同種のジョブは、同じ reservation のスロットを共有する仕様でした。

今回、プレビュー機能として、同じプロジェクトのジョブでも、別々の reservation を使用するよう設定できるようになりました。また、reservation レベルのスロットの fair sharing や、強化されたコスト分析などが追加されます。

• 参考 : Workload management using reservations
• 参考 : BigQuery Editionsを徹底解説 - G-gen Tech Blog - 予約、割り当て、コミットメント

クエリ性能の向上

ショートクエリ向け API

Low latency API for short queries は、小規模なクエリを小さいレイテンシで処理できる API です。2024年8月にプレビュー公開されました。

• 参考 : Short query optimized mode
• 参考 : BigQuery の Short query optimized mode（短いクエリの最適化モード）を解説 - G-gen Tech Blog

履歴ベースの最適化

履歴ベースの最適化（History-based optimizations）は、過去のクエリ実績に基づいて、類似のクエリに最適化を自動適用する仕組みです。2024年9月に GA されました。

• 参考 : 履歴ベースの最適化を使用する

Column metadata index（CMETA）

Column metadata index（CMETA）は、事実上無限にスケーラブルなメタデータ管理を提供する機能とされていますが、詳細は記載されていません。

新しい分析機能

継続的クエリ

継続的クエリ（Continuous queries）は、クエリ定義だけで簡単に ELT 処理を構築できる機能です。継続的クエリを定義していおくと、BigQuery テーブルに追加されたレコードに対して、随時 SQL を実行し、他の BigQuery テーブルや Pub/Sub トピック等に格納します。2024年7月に承認付きプレビューとして公開された機能です。

• 参考 : Introduction to continuous queries
• 参考 : BigQuery の継続的クエリ（Continuous queries）を解説 - G-gen Tech Blog

パイプ構文

パイプ構文（pipe syntax）は、BigQuery で利用可能なクエリの記述方式です。パイプ演算子（|>）で各操作をつなげることで、データの流れを明確にしながらクエリを作成、修正、デバッグができます。2025年4月1日に GA されました。

• 参考 : BigQueryのPipe syntax（パイプ構文）を使ってみた - G-gen Tech Blog

Geospatial analytics（地理空間分析）

Geospatial analytics（地理空間分析）機能として提供される ST_REGIONSTATS 関数により、Earth Engine と Google Maps Platform を BigQuery と連携させ、地理空間（Geospatial）情報を分析に用いることができます。

• 参考 : Geography functions - ST_REGIONSTATS

ISV エコシステム

Google Cloud は、ISV との連携を強調しています。ISV とは Independent Software Vendor を指しており、しばしば「サードパーティベンダー」と同義です。

BigQuery においては、Anthropic 社の Claude モデルとの連携や、Informatica 社との連携による AI ガバナンスなどが例に挙げられています。データ転送ソリューションである Fivetran は、BigQuery metastore とのネイティブ統合や、Cloud Storage 向けマネージドデータレイクサービスを導入しました。DBT では、BigQuery DataFrames との統合や、DBT Cloud が Google Cloud で利用可能になるなどの変化がありました。また、Datadog では BigQuery のモニタリング機能が強化されました。

Gemini in BigQuery の料金体系改定

Gemini in BigQuery の料金体系が改定されました。従来、Gemini in BigQuery は、Gemini Code Assist の Enterprise サブスクリプション、または BigQuery Editions の Enterprise Plus エディションに付帯していました。

しかし、2025年4月9日のアップデートにより、オンデマンドモードとすべての BigQuery エディションで、Gemini in BigQuery が利用可能になりました。ただし、前月の BigQuery 利用ボリュームに応じたクォータ（割り当て）が設定されており、1日あたりに実行可能な生成 AI 機能の回数が制限されます。

また、Gemini in BigQuery のうち Data insights とメタデータ自動生成（Automated metadata generation）の2機能は、Standard エディションでは利用できなくなっています。詳細は、以下の公式ドキュメントを参照してください。

• 参考 : Gemini in BigQuery Pricing Overview
• 参考 : Quotas and limits - Quotas for Gemini in BigQuery

関連記事

Google Cloud Next '25 の関連記事は、以下の記事一覧をご参照ください。

blog.g-gen.co.jp

杉村 勇馬 (記事一覧)

執行役員 CTO / クラウドソリューション部 部長

元警察官という経歴を持つ現 IT エンジニア。クラウド管理・運用やネットワークに知見。AWS 12資格、Google Cloud認定資格11資格。X (旧 Twitter) では Google Cloud や AWS のアップデート情報をつぶやいています。

Follow @y_sugi_it