GCP
@takepepeさんの歯車本を見ながらGitHub Actionsにreg-suitを連携してみる この時、本ではStorycapの保存先をS3にしているが、今回はGCPのCloud Storageを使う点が異なるのでつまった点などをメモ フロントエンド開発のためのテスト入門 今からでも知ってお…
Google Cloud純正のシステム構成図作成ツールが登場したとのこと www.itmedia.co.jp まだ機能が限定されているが、描いた図の構成でデプロイもできるのが目玉 いままでdraw.ioで描いていたが、もしデプロイできるなら移行したいが描き心地などを試してみた d…
以前におきたOOMキラーの対策でヒープサイズをさげることを行った uga-box.hatenablog.com このとき、CPU使用率も低いし、メモリも全然使ってなさそうなので、VMマシンのスペックを落としてもよいかも？という話になったが、インスタンス上にあるElasticsear…
8月4日くらいから自社サイトが利用しているGCPで、認識していない料金が発生している 具体的には以下の２つのSKUの費用がいままでよりもかかっていて Network Internet Egress from Japan to Americas Network Internet Egress from Japan to EMEA どちらも1…
BigQueryとCloud SQL のテーブルで結合したい 結論、データ移行しなくても結合することができることがわかったので軽く手順をメモする BQの管理から「データを追加」 >「外部データソース」を選択する でてきた入力フォームに外部データソースの接続情報を入…
VPCネットワークにあるGCEインスタンスに接続する必要があったため、フレキシブル環境App Engineを利用してる ただ、フレキシブル環境App Engineはアクセスがなくても最低でも1インスタンスを常時起動・常時課金なため、スタンダード環境に比べてコストがか…
GCEのContainer Optimized OS上で、コンテナを実行してバッチ処理をすることを考える そして、このコンテナ起動時にアプリに変数を渡したい これまで、Jibでイメージを作成していて、作成する際に実行時のオプションを指定するようにしていたが、Jibを使わず…
GCP のSecret Manager を利用する Secret Managerについては以前調べていて、これを利用する uga-box.hatenablog.com プロジェクトでSecret Managerを有効化する Secret Managerを設定するには権限が必要 secretmanager.admin：秘密情報に表示、作成、編集、…
以前行った秘密情報をSecret Managerに登録するという作業をしたが、登録したファイル内の値の最後に改行が入っていて残念なことになった uga-box.hatenablog.com ファイルは以下のコマンドで実施したのだが、これだと最後に改行が入ってしまうらしい $ echo <secret-value></secret-value>…
Spring Cloud GCP で Secret Manager に登録した秘密情報をアプリケーションの設定値として設定できるようにした uga-box.hatenablog.com ただ、このアプリケーションをこれまで通りローカルでmvn appengine:deployでAppEngineにデプロイしようとしたら以下…
これまでGCPのKMSを使ってクレデンシャル情報を扱っていたが、GCPにはSecret Managerというものもあることを知ったので調査 cloud.google.com Cloud KMSとSecret Managerの違い Cloud KMSはデータを暗号化し、暗号化された暗号文を返すサービスで、秘密情報…
ESのデータを引っこ抜いてBigQueryのテーブルに挿入する際に以下のエラーが発生した BigQueryException: Request payload size exceeds the limit: 10485760 bytes. 記載の通り、リクエストのペイロードサイズが10485760 bytesを超えているという例外が発生…
Cloud Buildを使ってzipファイルダウンロードしたのちGCSにアップロードすることを行っていた uga-box.hatenablog.com この仕組みをつかって他の複数のサイトでもダウンロードをしようとしたが、あるダウンロード元のサイトが一度ログインする必要があるサイ…
以前、Cloud Buildを使ってzipファイルダウンロードして解凍のちGCSにアップロードすることを行った uga-box.hatenablog.com ただ、とあるzipファイルがunzip処理中に失敗してしまう 原因はダウンロードしたファイルにありそうなので、それを確かめるべくロ…
GCP Datastoreにまたしてもうっかり間違えたデータを大量に登録してしまった 前回はある日付以降のデータを削除したかったのだが、今度はあるフィールドの文字列を前方一致で検索した結果を削除したい 削除の方法はわかっているので、検索方法を調査した uga…
GCP Datastoreにうっかり間違えたデータを大量に登録してしまった 幸い、今日（2020/03/24 AM10:00）以降に登録したデータを全て削除すればよいので、GUIからフィルタリングしてチェックボックス全てを選択して削除すればよいかと思ったが、一覧には最大50ま…
GCPのCloud Tasksをつかっていて、あるときあるジョブのタスクがほとんどエラーで失敗する事象がおきた 原因はバックエンドが捌けないほどのレートでタスクを実行していたことだった bucket_sizeをずっといじっていたが解決せず、結果的にmax_concurrent_req…
とあるサービスのAPIを利用する際、先方からホワイトリストに追加したいのでAPIを実行する環境のIPアドレスを連携してくれと言われたが、 Google App Engine (GAE) では現在、アプリケーションに静的 IP アドレスをマッピングする方法は提供されていないとの…
GCEのディスク容量の更新をするため、マネージド インスタンス グループ（MIG）の Updater 機能 を使用したが、その際に最小アクション（minimal-action）のオプションが問題になった そもそもマネージド インスタンス グループ（MIG）からよくわかっていな…
定期的に業務提携先のサイトからzip圧縮されたcsvファイルをローカルにダウンロードし、解凍した上でそれをGCSにアップロードしている ダウンロードしたzipファイルは150MBほどあり、解凍後のアップロードもつらいのでCloud Buildでこれを行うようにする 手…
GCPにすでにある検証環境プロジェクトをクローンして開発環境プロジェクトをつくる際にIAM権限のコピーを行ったときのメモ 1. コピー元プロジェクトのIAMのエクスポート $ gcloud projects get-iam-policy <プロジェクトID> --format json > IAM.json 2. サ…
