「技術・コンピュータ・プログラム」カテゴリーアーカイブ

ChatGPTをAPIを通じて操作するとき、自力で実装するのが難しい・手間が掛かる時に使うライブラリがlangChain。（という理解）

占いアプリ、Misskeyでのボットなんかをやってみたいので勉強することにした。

新しいことをやっておかないとどうしても鈍ってしまうし、一応プログラムを教える講師としては新しい物を追っていないのは恥ずかしい。

コアを作ってしまえば、ガワはある程度どうにかなるはず、と目論んでる。どうなりますかな。

OpenAI社のAIの話を追っかけでして、Whisperの存在を知り、口述筆記をやってみたいと思って居た。

そしたら先日、Whisperより早く、GPUも食わないfaster-whisperというモジュールの存在を知った。

一昨日、以下のサイトからサンプルプログラムを頂き、動かしてみた。結果は良好。

「[ローカル環境] faster-whisperを利用してリアルタイム文字起こしに挑戦」

しかし残念な事にこのプログラムは話したものをテキストに落とす部分が無い。あと、終了させるときにエラーが出ちゃう。そこをちょいとだけ改造してみた。昨夜何度か試したが、問題は無い模様。次はGUIにしたり、ChatGPTと連携させたりとかかな？

今年のGWはプログラム作成強化週間となりました。

先月末から別アカウントの方で使うソフトを作成し、今日リリース。小っさいプログラムなので今後アップデートは余り無い予定。GUIがダサいので多少作り直すかもしれないけど。

で、GWの残り何をするか。

今回プログラムをChatGPT4と作って思ったんだけども。ChatGPT4との協力は良いね。何が良いかって言うと、作業に対する心理的な敷居がだいぶ低くなる。

引っかかったらとりあえず聞く。何らかの答えが出る。自分で調べるなりもう一回聞くなりして精度を高める。一人で作ってると煮詰まりがち。そして段々面倒くさくなって止まる。やりたい事が見つかっても、とっかかりが見つからなくて止まってしまう。そういう事がかなり減る。これは私のようなやる気無し勢からするとデカい。

まぁただ、普段のスピードと違ってウェイトがあまり掛からないので、疲れちゃうのが玉に瑕、か？

で、そこで思ったんですわ。そーいえば、敷居が高くなって止まったモノがあったなと。

小説です。以前、書いてた小説、カクヨムに載せてたんだけど１話書くのに５時間は掛かってた。それでも中断したり何たりしながらも一年半くらいは頑張ったのかな。でもそこで止まってしまった。やっぱり１話に時間が掛かりすぎる。書くことに対して気が重くなってしまった。

そこでChatGPTですよ。アイディア出しとか執筆そのものなんかをフォローしてくれると嬉しい。全自動というのはよく見かけるけど、協力態勢はあまり見かけない。そして短編では無くて長編の手伝いをしてほしい。

ChatGPTの記憶に関してはトークン毎の料金の問題もあり、あまり使える手段では無い。なので、全編を通してのアドバイスとかはちょっと難しい。スポットで表現を見て貰うとかそんな感じになるのかな？

となれば、一番にやって貰いたいのは口述筆記。大まかにやってくれれば良い。後は手動で直したりChatGPTに投げたり出来ればそれで。下ごしらえをしてくれるだけで大幅に時短になるし、モチベーション維持にも役立つはず。

幸い、OpenAIのソフトにはWhisperというものがある。ネットで見かけるのはこれのAPIを使ってのSpeech to Text(or chat）な訳なのだが、せっかくRTX3080(12Gver)を持っているのでローカルで動かしたい。これを使って喋った内容を一端テキストに変換する。これを第１段階とする。

変換が出来るようになったら、それを適当なテキストボックスか何かに入れて雑に編集。質問点なんかを添えてChatGPTに質問。戻ってきたモノを見ながら修正。さらに再質問、みたいなサイクルが出来ると良いなと。

まぁ雑に考えているだけなので、やっていくうちに変わる部分も多々有ると思うのだけど、とりあえずはこんな感じ。

先日、OpenAIからリリースされたPOINT-E。様々な技術系ニュースサイトでも紹介された。
文字から3Dモデルを生成するAI「Point-E」

折角良いグラボがあるのだからとインストールを試みる。GUIで出来ないかと探したところ、こちらの「【テキストから3Dモデル生成】Point-E GUIツールのインストール (ジコログ)」記事を参考に頑張ってみた。

頑張ってみたものの、できあがりのクォリティは良くない。幾らか設定を触ってみるが駄目。Colaboratoryで動かすやり方も有るので、それをローカルで動くようにしてみようと思う。

今回、インストールする際には、様々なサイトを渡り歩いてインストールをしていった。そのため、後に再インストールする際に何が何だか分からなくなる危険性が大なので、ここにメモを残しておく。

環境は以下の通り

ややこしい事をする羽目になったのは以下の項目による。
VRAMが8G
標準のstable-diffusionではCUIのため上手くtxt2img等を上手く操れなかった
最初GIGAZINEの紹介記事を参考にしようとしたがanaconda利用の為上手く行かなかった

ややこしい事をする羽目になったのは以下の項目による。

• VRAMが8G
• 標準のstable-diffusionではCUIのため上手くtxt2img等を上手く操れなかった
• 最初GIGAZINEの紹介記事を参考にしようとしたがanaconda利用の為上手く行かなかった

CUDAとPyTorchはここ参照
https://zenn.dev/opamp/articles/c5e200c6b75912

gitは自分ではどこかから適当に入れた。一応参考としてはここを上げておく
https://b-risk.jp/blog/2022/03/2022git_install/

それができたらいよいよWebUIインストール。
このページはUbuntuで行ってるが、Windowsでもやる事は一緒
https://mirai-tec.hatenablog.com/

以上、これらを参考にして手順作成した

• Anacondaインストール
• gitインストール
• CUDAインストール

「AUTOMATIC1111版Stable Diffusion web UI」
Anacondaで仮想環境構築

「AUTOMATIC1111版Stable Diffusion web UI」
Anacondaで仮想環境構築
@conda init
call conda activate stable-diffusion
cd c:\users\xxxx\anaconda3  (xxxxはユーザー名)

git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui
cd c:\stable-diffusion-webui
pip install -r requirements.txt

「Stable Diffusion」の学習済みモデルをHugging Faceにアクセスしてダウンロードする
https://huggingface.co/CompVis/stable-diffusion-v-1-4-original
ダウンロードしたsd-v1-4.ckptをmodel.ckptとリネームしてstable-diffusion-webuiに移す

「GFGAN」の学習済みモデルをダウンロードする
https://github.com/TencentARC/GFPGAN/releases/download/v1.3.0/GFPGANv1.3.pth
ダウンロードしたGFPGANv1.3.pthをstable-diffusion-webuiに置く

「trinart_stable_diffusion_v2」をダウンロードする
「waifu-diffusion」と同じく二次元に特化した、とりんさまAIボットのモデルの改良版
学習ステップ数によってモデルが違う
https://huggingface.co/naclbit/trinart_stable_diffusion_v2
モデルはこの三つ trinart2_step60000.ckpt trinart2_step95000.ckpt trinart2_step115000.ckpt
紹介ページ https://zenn.dev/johnkf/articles/5b0fa5069ea752

実行（私は実行用のbattiを作ってそちらでlaunch.pyを呼び出している）
python launch.py

バージョンアップ
新しい物をgithubから取ってきて上書き。その後自作している起動用batファイル（後述）を起動するだけ。
初回、必要な物をDLしてくれるらしい。
今回はanaconda利用につき、標準とはちょっと違うので、
・requirements.txt
・webui-user.bat
・webui.bat
の中身には注意する事

batファイルを作成。ファイル名は何でも良いが分かりやすいところに置く。
私はデスクトップに「StableDiffusion WebUI.bat」と言う名前で置いている。

@rem ver1.00 2022/09/17
@rem 場合によってパス変更
cd C:\stable-diffusion-webui\
@rem set COMMANDLINE_ARGS=--listen --ckpt モデルのファイル名（.ckptファイル）
set COMMANDLINE_ARGS=--listen --ckpt model.ckpt
@rem anaconda アクティブ
call conda activate stable-diffusion
@rem set COMMANDLINE_ARGS=--listen --ckpt モデルのファイル名（.ckptファイル）
@rem list model.ckpt trinart2_step60000.ckpt trinart2_step95000.ckpt trinart2_step115000.ckpt
set COMMANDLINE_ARGS=--listen --ckpt trinart2_step60000.ckpt
start http://127.0.0.1:7860/

@echo -------------127.0.0.1:7860が表示されたらブラウザを更新してください -------------
@START EXPLORER ".\outputs"
@rem gui run
python "launch.py"
@cmd/k