BigQueryに保存された緯度経度データから、それらの平均の緯度経度を求めたい SQLで求めるが、緯度経度は角度であるため、単純なAVGをつかってはダメ uga-box.hatenablog.com そのため、以下の式で求められる角度をSQLで算出する必要がある BigQueryには数学…

ElasticsearchからデータをぶっこぬいてBigQueryに格納する機能のメソッド名を何にしようか悩んでいたところ 「ETL」というワードを教えてもらったので、ETLについて調べた ETLとはExtract（抽出）、Transform（加工）、Load（格納）の略で、データを抽出し…

Big Queryの配列の１要素を１行に変換して使用したい BigQuery でいう配列とは、ゼロ個以上の同じデータ型の値で構成された順序付きリストのこと cloud.google.com 例えばこういうデータ MY_TABLE +----+----------+ | id | element | +----+----------+ | 1…

BigQueryとCloud SQL のテーブルで結合したい 結論、データ移行しなくても結合することができることがわかったので軽く手順をメモする BQの管理から「データを追加」 >「外部データソース」を選択する でてきた入力フォームに外部データソースの接続情報を入…

ESのデータを引っこ抜いてBigQueryのテーブルに挿入する際に以下のエラーが発生した BigQueryException: Request payload size exceeds the limit: 10485760 bytes. 記載の通り、リクエストのペイロードサイズが10485760 bytesを超えているという例外が発生…