UGA Boxxx

つぶやきの延長のつもりで、知ったこと思ったこと書いてます

2020-05-01から1ヶ月間の記事一覧

【npm】パッケージの更新

npm

npm installしたパッケージの更新を行いたい npm updateしてもメジャーバージョンの更新まではされないのでnpm-check-updatesを使う github.com $ npm install -g npm-check-updates $ ncu [====================] 69/69 100% @storybook/addon-actions ^5.0…

【Elasticsearch】Indexをまとめるときのソート順

Elasticsearchに保存するデータは、日次でつくったIndexに保存している このような運用はElasticsearchのデータ保存法として一般的 fintan.jp 上記サイトより 日次でインデックスを分割するのはElasticが推奨する方法です。性能のコントロールが容易になり、…

【Maven】pom.xmlにprofileを設定する

MavenプロジェクトをGAEにデプロイする時、複数のapp.yamlを用意しておいてデプロイ先のサービスを切り替えたい app.yamlはGAEの設定が書かれているファイルで、このような感じでGAEのサービス名を指定することができる ... service: foo-service ... このfo…

【BigQuery】BigQueryへリクエスト送信中にエラー - Request payload size exceeds the limit: 10485760 bytes.

ESのデータを引っこ抜いてBigQueryのテーブルに挿入する際に以下のエラーが発生した BigQueryException: Request payload size exceeds the limit: 10485760 bytes. 記載の通り、リクエストのペイロードサイズが10485760 bytesを超えているという例外が発生…

【GAS】Webスクレイピング(その3)- UNIXタイムをDateオブジェクトにする

前回に引き続いてGASでWebスクレイピングを行っていたが問題が発生 取得した項目の中に日付(YYYYMMDD)と時刻(HH:mm)があるのだが、ブラウザ上で確認したときはJSTであったが、GASから取得した場合はそれらのが一部UTCになっていて、出力結果がUTCの項目…

【GAS】Webスクレイピング(その2)- HTMLをDOMにパース

前回に引き続いてGASでWebスクレイピングを行う やること GASでHTMLを取得 HTMLをDOMにパースしてセレクターを使ってテキストを取得する SpreadSheetの特定のセルに値をセットする GASでHTMLを取得 UrlFetchAppクラスのfetchを使う var url = [サイトのURL];…

【GAS】Webスクレイピング(その1)- セレクタを探す

知人からとあるサイトにあるデータを取得するにはどうしたらよいかという相談をうけた いわゆるWebスクレイピングをするのだが、自分でやる分にはいくらでも方法が思いつくが非エンジニアの人がやるにはどうしたらいいかはわからなかった ということで、自分…

【Babel】7.4.0で推奨されているcore-js@3がIE11でうまく動作しない

Babel7では、polyfillは@babel/polyfillからcore-js@3を使うことが推奨されている これに対応したのだがcore-js@3を使ったpolyfilではvuexがIE11でうまく動作しなかった uga-box.hatenablog.com 以下のエラーがでて画面が真っ白になってしまう [vuex] vuex r…

【ビジネス用語】BRPとは

背景 古くからあるサイトの画面がなかなかメンテしづらいため、vueを導入してコンポーネント指向のUI開発に移行したり、デザインを刷新したりしてメンテしやすくしてきたのだが、最近着任したマネージャークラスの方がデザインが変わった事実だけの報告を受…

【GAE】App Engineのdefault charset

GAE

App EngineにデプロイしているJavaのアプリケーションのログをみていると日本語が文字化けしている おそらくApp Engineのdefault charsetが原因だと思うので調べてみた 結論おそらくUS-ASCII? 調査した結果、Java7ランタイムで使用されていたエンコードはUS…

【Fastly】オリジンシールド

Fastlyのオリジンシールドについて調査 docs.fastly.com オリジンシールドとは オリジンシールドとはオリジンサーバーに対して、必ず経由するPOP(Point of Presence:配信拠点)をいずれか1つ指定することができる機能 設定することで、オリジンサーバーへ…

【Deno】v1.0が正式リリースされたので少し勉強してみる

DenoというNodeに代わるJavaScriptとTypeScriptのランタイム(v1.0)が5/13にリリースされたらしい 動向などまったく追ってなかったが節目に出会えたのでどういうものなのかブログを読んでみて触ってみる deno.land ブログから抜粋した特徴 Denoは、JavaScri…

【Jib】 Jibとは?

Java アプリケーションを動かすDockerコンテナイメージをつくりたい そんなときjibというツールを知ったので調査してみた github.com Jibは、Javaアプリケーション用に最適化されたDockerイメージをつくることができるMavenまたはGradleのプラグイン 【利点…

【Vue】radioコンポーネントを作る

Vue

Vue2.6でradioコンポーネントを作る 公式ドキュメントではvueでradioをつくる場合はこうすると記載されている <input type="radio" id="one" value="One" v-model="picked"> <label for="one">One</label> <br> <input type="radio" id="two" value="Two" v-model="picked"> <label for="two">Two</label> <br> <span>Picked: {{ picked }}</span> https://jp.vuejs.o…

【Cloud Build】ログインが必要なサイトからのファイルダウンロード

Cloud Buildを使ってzipファイルダウンロードしたのちGCSにアップロードすることを行っていた uga-box.hatenablog.com この仕組みをつかって他の複数のサイトでもダウンロードをしようとしたが、あるダウンロード元のサイトが一度ログインする必要があるサイ…

【構成管理】ざっくりmonorepoについて

Javaではmavenのマルチプロジェクトを検討したことがあるが、JavaScriptではmonorepoというのを知らなかったので、ざっくり調べてみた uga-box.hatenablog.com wikipediaによると最近?(2017年?)になって命名されたとのこと Monorepo - Wikipedia monorep…

【Cloud Build】ローカルで実行して中間アーティファクトの中を確認する

以前、Cloud Buildを使ってzipファイルダウンロードして解凍のちGCSにアップロードすることを行った uga-box.hatenablog.com ただ、とあるzipファイルがunzip処理中に失敗してしまう 原因はダウンロードしたファイルにありそうなので、それを確かめるべくロ…

【React】useCallbackとは

React 16.8で追加されたフック (hook) 機能の一つuseCallbackについて調べた ja.reactjs.org useCallback const memoizedCallback = useCallback( () => { doSomething(a, b); }, [a, b], ); メモ化されたコールバックを返す インラインのコールバックとそれ…

【React】useEffectとは

React 16.8で追加されたフック (hook) 機能の一つuseEffectについて調べた ja.reactjs.org useEffect useEffect(didUpdate); DOM の書き換え、データの購読、タイマー、ロギング、あるいはその他の副作用をReact.renderでやるとバグや非整合性を引き起すので…

【Java】Consumer

Javaの実装でxxxConsumerクラスというのを見つけて、こういうクラスはどういうものなのかを調べた この記事でなんとなくわかった qiita.com Consumerはつまり、引数を消費するインスタンスを定義するためのインターフェイス 引数は取るが返り値は存在しない…

【React】Suspenseを使ったデータ取得

React Concurrent Mode のSuspense機能についてのお話を聞く機会がありそうなので、事前準備として下のドキュメントを読んでまとめる ja.reactjs.org React 16.6 で、レンダー可能になる前のロード中状態(スピナーのようなもの)を宣言的に指定することがで…