UGA Boxxx

つぶやきの延長のつもりで、知ったこと思ったこと書いてます

BigQuery

データを抽出して格納するだけの機能のメソッド名を考える

ElasticsearchからデータをぶっこぬいてBigQueryに格納する機能のメソッド名を何にしようか悩んでいたところ 「ETL」というワードを教えてもらったので、ETLについて調べた ETLとはExtract(抽出)、Transform(加工)、Load(格納)の略で、データを抽出し…

【Big Query】UNNESTを使って配列内の要素をテーブル内の行に変換する

Big Queryの配列の1要素を1行に変換して使用したい BigQuery でいう配列とは、ゼロ個以上の同じデータ型の値で構成された順序付きリストのこと cloud.google.com 例えばこういうデータ MY_TABLE +----+----------+ | id | element | +----+----------+ | 1…

【GCP】BigQueryとCloud SQL のテーブル結合

BigQueryとCloud SQL のテーブルで結合したい 結論、データ移行しなくても結合することができることがわかったので軽く手順をメモする BQの管理から「データを追加」 >「外部データソース」を選択する でてきた入力フォームに外部データソースの接続情報を入…

【BigQuery】BigQueryへリクエスト送信中にエラー - Request payload size exceeds the limit: 10485760 bytes.

ESのデータを引っこ抜いてBigQueryのテーブルに挿入する際に以下のエラーが発生した BigQueryException: Request payload size exceeds the limit: 10485760 bytes. 記載の通り、リクエストのペイロードサイズが10485760 bytesを超えているという例外が発生…