UGA Boxxx

つぶやきの延長のつもりで、知ったこと思ったこと書いてます

GCS

【Java】GCSからjsonファイルを取得してstreamにする

JavaでGCSにあるファイルを取得してStreamにしたい 公式ドキュメントだとファイルを特定のフォルダにダウンロードする方法が紹介されている cloud.google.com これをファイルダウンロードせずにStreamにする方法を調べた com.google.cloud.storage.Blobクラ…

【Java】GCSからjsonファイルをダウンロードする

JavaでGCSにあるファイルをダウンロードする 公式ドキュメントを参考にする cloud.google.com import com.google.cloud.storage.Blob; import com.google.cloud.storage.BlobId; import com.google.cloud.storage.Storage; import com.google.cloud.storage.…

【Cloud Functions】外部APIで取得したデータをGCSに定期的に保存する

定期的に外部のAPIをたたいてGCSにjson形式で保存したい GCPを使っているので Cloud Scheduler Cloud Pub/Sub Cloud Functions で構成する functionsの準備 functionsのランタイムはNode.jsが得意なのでNode.jsで作る 必要な依存ライブラリはこんな感じにな…

【JavaScript】GCSからjsonファイルをダウンロードする

node.jsでつくったアプリで、GCSからファイルをダウンロードしたい @google-cloud/storageを使う www.npmjs.com APIドキュメントは以下 https://googleapis.dev/nodejs/storage/latest/File.html#download サンプル実装 import { Storage } from "@google-cl…

【Java】GCSにjsonファイルをアップロードする

すでにSpring BootでGCSにjsonファイルをアップロードする機能を実装していて動作確認済みなのだが、のちのち見つけた下の公式ドキュメントの方法と微妙にやり方がちがったので、どちらがよいのかを調べた ドキュメントは以下 cloud.google.com 実装したClou…

【GCS】Archive Storageクラスでやらかした

GCS

以前に調査した、GCSの大容量長期アーカイブ向け「Archive」クラスの調査不足によりやらかした uga-box.hatenablog.com 調査不足していたこと Archive Storageへのアクセスに対する認識 ライフサイクルでクラスを変更した場合の料金 早期削除 Archive Storag…

【GCS】AppEngineからGCSにある画像のSigned URLの一覧を取得する

GCS

AppEngineからGCSにある画像のSigned URLの一覧を取得したい こちらの記事が参考になった medium.com ツールのための簡易的なアプリケーションのため最低限の構成とする まず、権限をつける サービスアカウントを作成する App Engine 管理者とストレージ管理…

【GCS】ライフサイクルの管理

GCS

以前の調査でGCSのコスト削減として「Archive」クラスがよさそうというのがわかったが、単純にコンソール画面から変更した場合は変更後に保存されたファイルのみが対象とのことだった uga-box.hatenablog.com ただ、GCSにはライフサイクルが設定できるので、…

【GCS】大容量長期アーカイブ向け「Archive」クラス

GCS

外部APIのレスポンス結果などのログをGCSに溜めているが、アクセス頻度は障害の原因調査のときにちょっとみるくらいの頻度 このようにファイルへのアクセスが年に1度あるかないかの頻度の場合は「Archive」と呼ばれるストレージクラスがよいという話を聞い…