ECSでGPUを使う機会があったので、やり方をメモする。 2022.09.22時点ではFargateがGPUに未対応だったため、ECSをEC2(GPU)上に展開する方針をとった。 (このIssueを見ると、まもなくFargateがGPUに対応しそう。) ポイントは ECSに最適化されたAMIを使うこと …

Pythonで Google Cloud SpeechToText を使用する場合、SpeechToTextクライアントライブラリを使うのが一般的だと思うが、REST API から呼び出す機会があったのでメモ。 REST API の公式仕様はこちらに載っている。 cloud.google.com 準備として、APIキーの取…

本記事では、時系列モデリング手法HiPPOの理解を目指し、著者実装をstep-by-stepで動かす。 参考にする著者実装はこちら。 github.com なお、HiPPOの理論は第一部の記事にまとめたのでそちらも参照されたい。 dosuex.com 必要モジュールのインポート from fu…

ICLR2022で発表された、新しい時系列モデリング手法としてS4(Structured State Space Sequence model)というものがある。S4は長距離ベンチマークで従来手法を圧倒的性能で破って話題となった。 S4の論文はいくつかの研究の集大成となっており、核となる技術…

Pythonで辞書に存在しないキーで操作する際は、get()、setdefault()、defaultdict()などのメソッドを用いると良い。 get()による欠損キーへのアクセスは以下を参照。 Python辞書に存在しないキーでの代入 - どすえのブログ setdefault()とdefaultdict()はよ…

論文を読んでいると測度とルベーグ積分というものに出会った。これを機に、入門してみることにした。個人的には、馴染み深い「確率の期待値」を測度・ルベーグ積分の視点から捉え直すと、理解がスムーズだった。 個人的な理解をメモとして残す。 本記事の結…

PyTorchのテンソルtorch.Tensorは単一データ型の要素のみを含む多次元テンソルである。 本記事におけるPyTorchのバージョンは1.10.0である。 import numpy as np import torch print(torch.__version__) # 1.10.0 torch.Tensor — PyTorch 1.10 documentation…

辞書に存在しないキーで操作するときのベストプラクティスをメモ。getを使う方法3が一番簡潔。 辞書で個数をカウントするようなケースを考える。 counters = { "A": 1, "B": 0, } 新規のキーに対してカウントを増やすには、まずキーがあるかどうか調べ、なけ…

Dockerを用いた開発において、複数のサービスについて各々docker-compose.ymlを作成するケースがある。マイクロサービスの枠組みではこれらのサービス間での通信が必要であるが、ローカル環境において通信に手間取ったのでメモ。 状況 ローカルにて、別々のd…

正規表現を使ってタグを除去したいときありませんか。 具体的には、これを (地名: 東京都)と(地名: 埼玉県)は隣接しています。 こうしたい。 東京都と埼玉県は隣接しています。 正規表現でタグの中身を抽出して、再度タグを正規表現で捕捉し、抽出内容で置き…

Fortranで3次元の線形補完ルーチンを書く機会があったのでメモ。1次元のケースから確認し、2次元、3次元に拡張する流れで進める。 1次元の線形補間 １次元グリッド上で値がそれぞれ定義されているとする. ここでは, との間にあるにおける値を求めてみる. ま…

目次 目次 本シリーズについて アンサンブルカルマンフィルタ 適用 参考書籍 本シリーズについて 非線形現象に対するカルマンフィルタを本で勉強したのでメモも兼ねてまとめます. 前回の記事 dosuex.hatenablog.com では状態遷移、観測がともに線形である(行…

目次 目次 本シリーズについて TL;DR カルマンフィルタ カルマンスムーザ 実装 参考資料 本シリーズについて 非線形現象に対するカルマンフィルタを本で勉強したのでメモも兼ねてまとめます. 観測データに基づいて, 線形確率システムの状態ベクトルを逐次的…

Djangoで、リクエストが来たら発火する処理が時間のかかるものだった場合、処理自体は裏で走らせておいて、とりあえずレスポンスを返しておきたいというケースがあると思います。 例えば、ユーザー登録が完了した際に確認メールを送信するといった作業です。…

Pythonで何か処理を走らせている時に, CPUの使用率を定期的に監視するスクリプトを書いた. マルチスレッドにすることで, メインの処理を止めずに定期実行できる. 重い処理の計算機負荷の時系列データをレポートしたい時とかに使えるかもしれない. コード全文…