UGA Boxxx

つぶやきの延長のつもりで、知ったこと思ったこと書いてます

【GCP】BigQueryとCloud SQL のテーブル結合

BigQueryとCloud SQL のテーブルで結合したい

結論、データ移行しなくても結合することができることがわかったので軽く手順をメモする

BQの管理から「データを追加」 >「外部データソース」を選択する f:id:uggds:20210613121346p:plain:w300

でてきた入力フォームに外部データソースの接続情報を入力すると以下のようにデータセットとして表示される

f:id:uggds:20210613121814p:plain:w300

クエリは以下のよう感じになる

SELECT * FROM EXTERNAL_QUERY("projects/my-project/locations/asia-northeast1/connections/backend-db-postgres", "SELECT * FROM MY_SCHEMA.TABLE_NAME;");

料金

ドキュメントによると

cloud.google.com

外部データソースに対してクエリを実行する場合、クエリによって読み取られたバイト数に基づいて料金が請求されます。外部データが Cloud Storage などの別の Google Cloud プロダクトに保存されている場合は、そのプロダクトのストレージ料金も適用されます。

とあるので、Cloud SQLとの外部接続だろうがクエリ実行する際に読み取られるバイト数が料金請求される模様
※処理されるクエリデータは毎月 1 TB まで無料なのはうれしい

ただし、ストレージ料金はCloud SQLのストレージ料金で請求される