UGA Boxxx

つぶやきの延長のつもりで、知ったこと思ったこと書いてます

GCP

【GCP】システム構成図を描くツール

GCP

Google Cloud純正のシステム構成図作成ツールが登場したとのこと www.itmedia.co.jp まだ機能が限定されているが、描いた図の構成でデプロイもできるのが目玉 いままでdraw.ioで描いていたが、もしデプロイできるなら移行したいが描き心地などを試してみた d…

【GCP】ops-agentをインストールしてJVM モニタリングプラグインを有効化する

以前におきたOOMキラーの対策でヒープサイズをさげることを行った uga-box.hatenablog.com このとき、CPU使用率も低いし、メモリも全然使ってなさそうなので、VMマシンのスペックを落としてもよいかも?という話になったが、インスタンス上にあるElasticsear…

【GCP】GCPのネットワークを可視化する

GCP

8月4日くらいから自社サイトが利用しているGCPで、認識していない料金が発生している 具体的には以下の2つのSKUの費用がいままでよりもかかっていて Network Internet Egress from Japan to Americas Network Internet Egress from Japan to EMEA どちらも1…

【GCP】BigQueryとCloud SQL のテーブル結合

BigQueryとCloud SQL のテーブルで結合したい 結論、データ移行しなくても結合することができることがわかったので軽く手順をメモする BQの管理から「データを追加」 >「外部データソース」を選択する でてきた入力フォームに外部データソースの接続情報を入…

【GCP】サーバーレス VPC アクセスでApp Engineスタンダード環境から VPC ネットワークに接続する

VPCネットワークにあるGCEインスタンスに接続する必要があったため、フレキシブル環境App Engineを利用してる ただ、フレキシブル環境App Engineはアクセスがなくても最低でも1インスタンスを常時起動・常時課金なため、スタンダード環境に比べてコストがか…

【GCP】Cloud Deployment Managerでインスタンステンプレート作成時に環境変数を設定する

GCEのContainer Optimized OS上で、コンテナを実行してバッチ処理をすることを考える そして、このコンテナ起動時にアプリに変数を渡したい これまで、Jibでイメージを作成していて、作成する際に実行時のオプションを指定するようにしていたが、Jibを使わず…

【GCP】Secret Manager に秘密情報を登録する

GCP のSecret Manager を利用する Secret Managerについては以前調べていて、これを利用する uga-box.hatenablog.com プロジェクトでSecret Managerを有効化する Secret Managerを設定するには権限が必要 secretmanager.admin:秘密情報に表示、作成、編集、…

【GCP Secrets Manager】アップロードしたファイルの最後に改行が入っていて残念なことに

以前行った秘密情報をSecret Managerに登録するという作業をしたが、登録したファイル内の値の最後に改行が入っていて残念なことになった uga-box.hatenablog.com ファイルは以下のコマンドで実施したのだが、これだと最後に改行が入ってしまうらしい $ echo <secret-value></secret-value>…

【GCP Secrets Manager】AppEngine Deploy

Spring Cloud GCP で Secret Manager に登録した秘密情報をアプリケーションの設定値として設定できるようにした uga-box.hatenablog.com ただ、このアプリケーションをこれまで通りローカルでmvn appengine:deployでAppEngineにデプロイしようとしたら以下…

【GCP】Secret Managerとは

これまでGCPのKMSを使ってクレデンシャル情報を扱っていたが、GCPにはSecret Managerというものもあることを知ったので調査 cloud.google.com Cloud KMSとSecret Managerの違い Cloud KMSはデータを暗号化し、暗号化された暗号文を返すサービスで、秘密情報…

【BigQuery】BigQueryへリクエスト送信中にエラー - Request payload size exceeds the limit: 10485760 bytes.

ESのデータを引っこ抜いてBigQueryのテーブルに挿入する際に以下のエラーが発生した BigQueryException: Request payload size exceeds the limit: 10485760 bytes. 記載の通り、リクエストのペイロードサイズが10485760 bytesを超えているという例外が発生…

【Cloud Build】ログインが必要なサイトからのファイルダウンロード

Cloud Buildを使ってzipファイルダウンロードしたのちGCSにアップロードすることを行っていた uga-box.hatenablog.com この仕組みをつかって他の複数のサイトでもダウンロードをしようとしたが、あるダウンロード元のサイトが一度ログインする必要があるサイ…

【Cloud Build】ローカルで実行して中間アーティファクトの中を確認する

以前、Cloud Buildを使ってzipファイルダウンロードして解凍のちGCSにアップロードすることを行った uga-box.hatenablog.com ただ、とあるzipファイルがunzip処理中に失敗してしまう 原因はダウンロードしたファイルにありそうなので、それを確かめるべくロ…

【Cloud Datastore】GQLを使って前方一致検索をする

GCP Datastoreにまたしてもうっかり間違えたデータを大量に登録してしまった 前回はある日付以降のデータを削除したかったのだが、今度はあるフィールドの文字列を前方一致で検索した結果を削除したい 削除の方法はわかっているので、検索方法を調査した uga…

【Cloud Datastore】特定のエンティティを削除する

GCP Datastoreにうっかり間違えたデータを大量に登録してしまった 幸い、今日(2020/03/24 AM10:00)以降に登録したデータを全て削除すればよいので、GUIからフィルタリングしてチェックボックス全てを選択して削除すればよいかと思ったが、一覧には最大50ま…

【Cloud Tasks】bucket_size とmax_concurrent_requests の違い

GCPのCloud Tasksをつかっていて、あるときあるジョブのタスクがほとんどエラーで失敗する事象がおきた 原因はバックエンドが捌けないほどのレートでタスクを実行していたことだった bucket_sizeをずっといじっていたが解決せず、結果的にmax_concurrent_req…

Google App Engine の静的 IP アドレスについて

とあるサービスのAPIを利用する際、先方からホワイトリストに追加したいのでAPIを実行する環境のIPアドレスを連携してくれと言われたが、 Google App Engine (GAE) では現在、アプリケーションに静的 IP アドレスをマッピングする方法は提供されていないとの…

【GCE】マネージド インスタンス グループへの更新時の最小アクションについて

GCEのディスク容量の更新をするため、マネージド インスタンス グループ(MIG)の Updater 機能 を使用したが、その際に最小アクション(minimal-action)のオプションが問題になった そもそもマネージド インスタンス グループ(MIG)からよくわかっていな…

【Cloud Build】zipファイル取得してGCSにアップロードする

定期的に業務提携先のサイトからzip圧縮されたcsvファイルをローカルにダウンロードし、解凍した上でそれをGCSにアップロードしている ダウンロードしたzipファイルは150MBほどあり、解凍後のアップロードもつらいのでCloud Buildでこれを行うようにする 手…

GCPの別プロジェクトにIAM権限をコピーする

GCPにすでにある検証環境プロジェクトをクローンして開発環境プロジェクトをつくる際にIAM権限のコピーを行ったときのメモ こちらをみて実施 https://apps-gcp.com/別プロジェクトにiam権限のコピーをするときに手/ 1. コピー元プロジェクトのIAMのエクスポ…