前にこんなことやってました。 www.nogawanogawa.work コサイン類似度の計算を高速化したくなることがちょくちょくあるのですが、「ぶっちゃけどれくらいのスループットが出せるもんなの？」というのが気になったので完全に興味本位でやってみます。

この前こんなんをやってました。 www.nogawanogawa.work この中でLLM sherpaを使用していましたが、こちらのgithubをよく読んでみると解析部分もOSSになってることが分かりました。 つまり、視覚的構造解析が完全にローカル環境で実装できるということになり…

ChatGPTに作ってもらったヘッダー画像です ちょっと長いテキストデータだと、テキスト自体が章や節のような構造を持っていたりします。 人間はこうした文章内部の構造は読めばなんとなく理解することができますが、自動でこれをやるのはちょっと難しかったり…

「こんな感じのAPIサーバー立てといて」なんて言葉、開発してれば日常茶飯事です。 そんな「APIサーバーを立てる」と言ってもいろんな種類がありますね。 今回はよくあるAPIサーバーを一通りPythonで立てるだけ立ててみようと思います。 ランキング参加中Pyt…

ただの小ネタです。 個人的にPythonを使っていてcos類似度を計算することがありました。 ただ、類似度を計算したいペアの数が多いと結構時間がかかってしまっていました。 これを高速化するにはどうしたらよいか、いろいろ調べて試してみたのでそのメモです。

pandasのapplyの高速化方法として、pandarallelやswifterが良さそうというのをこちらの記事を読んで知りました。 blog.ikedaosushi.com 非常に高速に処理を実行することができて良さそうだったので、使ってみたメモです。

ちょっとした技術調査です。 MS Office系のデータとPDFを大量に画像に変換したいことがあったんですが、あまりに量が多くて自動化したくなりました。 「どうせ簡単に出来るやろ」とか余裕ぶっこいてたら実は結構めんどくさかったので、今回はそのやり方をメ…

最近こちらの記事を拝見しました。 tech.jxpress.net 昨年くらいから、Streamlitはちょっとした話題になっており、良い機会だったので使ってみたので、今回はそのメモです。

年末年始なんで、2020年にやり残した事を勉強していこうと思います。 今日は、Djangoについて勉強していこうと思います。 事情としては、最近になってDjangoのコードを触ることがあって、その際にどうやって書くのが正解なのか、思想的なものがあんまりよく…

年末年始なんで、2020年にやり残した事を勉強していこうと思います。 今日は最近だんだん聞くようになってきたPoetryについて勉強していきたいと思います。

せっかくのGWなんで(?)、今回は普段は絶対やらないことをやってみたいと思います。 今回はGoogle Analytics APIを使ってブログに対するアクセスを可視化してみたいと思います。 こちらの記事を参考にさせていただきました。 note.com それではやっていきたい…

世の中はデータで溢れているとは言うものの、一般人がそのままデータ解析に使いやすいファイル・データはなかなか手に入らないものです。 今回は、世の中にあるWebページから、必要なデータを収集して解析できるファイルを作成することを目標に、スクレイピ…

今までブラウザで3Dで何かを表示するときは、３次元のグラフくらいしか使ったことがなく、3Dの形状をブラウザで確認したい際にCADデータをブラウザで表示することをやってみたのでそのメモです。

昨年からTwitter 始めて、割とツイートも溜まってきたのでそろそろTwitter分析的なことができるかなと思って、やってみました。 ただ、泥沼にハマりました。 思いの外、めんどくさかったので記念に残しておきます。

タイトルの通り、今更ながらFastAPIの使い方について一通り勉強したいと思います。 単純に流行りのツールを知っときたい意図です。

前に、Flaskでサーバー建てることが結構ありました。 Flaskでサーバーを立てると、こんな感じのワーニングが出るかと思います。 Environment: production WARNING: Do not use the development server in a production environment. Use a production WSGI s…

前回はこんな感じのことをやってました。 nogawanogawa.hatenablog.com 今回は、ブラウザ上の画面とこれまで作ったバックエンドの機能を組み合わせてみます。

前にこんな感じのことをやってました。 nogawanogawa.hatenablog.com k8sの闇奥が深すぎて、手間取ってます。 今回は、簡単ではありますがマイクロサービス化していきたいと思います。 nogawanogawa.hatenablog.com

前回はこんな感じのことをやってました。 nogawanogawa.hatenablog.com 今回はDockerなんかを使ってバックエンドAPIを作る準備をします。

前回はこんな感じのことをやってました。 nogawanogawa.hatenablog.com 今回は画面をちゃんとします←アホそう

夏も本番ということで、家の外は暑くて死にそうです。やっぱりお家がNo.1！！ 自主的に夏休み休業を取るということで、夏なんで、自由研究っぽくだいたいここ半年くらいに勉強したことを復習しつつ簡単Webアプリケーションを作ってみたいと思います。 小学生…

Microsoft Azureは使ったことなかったので勉強も兼ねてチュートリアルをなぞってみました。 イマイチうまく使えませんでしたが、何事も勉強なので。。。

結構前にElasticSearchをちょっとだけ勉強していました。 nogawanogawa.hatenablog.com とりあえず動けばよかったんですが、今回はもうちょっと勉強してみます。

こちらの本を読んでみました。 テスト駆動Python作者: Brian Okken,株式会社クイープ,安井力出版社/メーカー: 翔泳社発売日: 2018/08/29メディア: 単行本（ソフトカバー）この商品を含むブログ (1件) を見る 読んでみた感想としては、翻訳本って感じがして、…

以前こんなんをやっていました。 nogawanogawa.hatenablog.com nogawanogawa.hatenablog.com やってて思うのは、意外とFlaskって紹介記事が少ないんです。特に日本語。 ということで、正攻法で勉強していくしかないと思います。 今回は公式のチュートリアル…

この前はFlaskで簡単なREST APIを作ってみました。 nogawanogawa.hatenablog.com 今回は、少しだけ頑張ってFlaskエンドポイント経由でDBへ接続できるようにしてみます。

「いまどきのWeb開発（サーバーサイド編）」ってことで、Rest APIをやってみようと思います。 「Vue勉強してんだからLaravelやれよ」ってまさかりが飛んできそうですが、php使ったこと無いので、、、← 「初心者はRailsじゃね？」ってのも言われましたが、Rub…

世の中の文書がすべて扱いやすいデータかというとそうでもなくて、PDFも普通に出回っています。 今回はPDFの中身をPythonで確認していたので、その記録です。

前回はこんな事をやっていました。 nogawanogawa.hatenablog.com 各画素がどうなっているかは判断できたんですが、pythonなので変換自体の性能が悪いです。 後続処理があるためデータの読み込みに時間をかけられないので、変換済みのファイルを予め出力して…

PNGファイルから特定の色を探すことをやっていて、PNGファイルの取扱に手間取ったので、その備忘録です。