ZENタイル ソロ
面白そう
LLMいじり用スクリプトできてきたけど、若干プロンプトいじりに飽きてきておる……
NaHaNaHa vs. Gattchoon Battle聞いてたらベースコピーしたくなったから引っ張り出してしまった。
ついでにギターとキーボードも。
終わりだあ！
湿度300000000000%で滝のように空中から水が流れてる
ボー・ジツやりたい、棒を振り回したい
嫁さんが気付いたんだけど、
けーくんは甘えたいときにかなりジト目になる。
ジトッとこちらを睨み続けてるときに抱っこすると、物凄い勢いでゴロゴロ言う。
奥義・全身筋肉痛
ネット上の小説とかSSとか見てると、見たこともないかん字とかじゅく語を連発してる作品を結構見かける。
君は他人に伝えたいのかい？伝えたくないのかい？どっちなんだい！？ってなる。
公園でノックの練習してきた。
キャッチャーフライの上げ方わかってきた、バックスピンが大事。
けーくんを保護したときに設置したケージ、３階建てなので遊び場としてそのまま残していた。
しかし最近みんなで追いかけっこすれば十分楽しいみたいで、あまり使われなくなった。
というわけで撤去。
撤去中、保護したときのけーくんの境遇を思い出してちょっとウルっと来てた。
本人は幸せそうに窓際でお腹出して寝てる。
長生きしてくれ〜〜〜〜
良すぎ
雨だったから久々に畑。
マルチ突き破って雑草生えてた。
おーん
重い腰を上げてようやくLLM実験用のベーススクリプトを書き始めた。
モデルごとにhuman/botのprefixが違うから面倒なんだょ
【ローカルLLM】llama.cppの量子化バリエーションを整理する
これ一覧欲しかったから助かる
梅雨、長くね？
計算グラフの右からたどる時に、次のレイヤーで∂L/∂xになってるのをそのまま持ってきて、本来∂L/∂yとして右端に書くべきところを∂L/∂xと書いて摩訶不思議な結果が出るミスを３回ぐらい繰り返しておる。
軽く筋したあとカラテ・トレーニングした。
やっぱ動きが染み付いてるから楽に追い込めるな〜
再開したいけどな〜怪我がな〜〜ウーンウーン
全自動無限くしゃみマシンになっておる
SoftmaxやCrossEntropyLossの微分めちゃくちゃ綺麗なんだけど、こうなるように設計されたのすげ〜な〜っていつも思う。
数式を美しいと言う人の気持ちちょっとわかる。
ノック用にバット買ったのが届いた。
これでゾンビが出てきても一安心
得意なこと、やりたいこと、好きなこと、やるべきことが全部バラバラで、四方八方から引っ張られて爆散しそうなとき、得意なことに全振りするのがどうも一番マシな選択っぽい
ひなちゃんが
ごうくん追いかけ回して、ごうくんがビビり散らかして威嚇しまくってた。
なかなか珍しいものを見た。
畑に種をまいて、防虫ネットを貼った。
他にやってる畑見当たらないから、そこまで氣にしなくて良さそうではある。
畑は嫁さんがメインでやってて、たまに暇なので周りの畑を見て回った。
市民農園で、規約上は箱設置したり小屋とかの建築物は駄目なはずだけど、結構みんないろいろ建ててるし置いてる。
中には割り当てられた土地の半分ぐらい小屋のところがあった。
骨組みにブルーシートみたいな簡素なものだけど、中には衣装ケースとかあって誰か住んでるのかと思った。
みんな自由だな。
連鎖律頭に入ってるはずなのに、計算グラフ使ってると ∂z/∂x = ∂z/∂y * ∂y/∂x の∂y/∂xを忘れて摩訶不思議な計算しがち
LLMファインチューニングは機能しない？
いろいろまとまってる
畑にサツマイモ・トマト・きうり・ナスの苗を植え付けてきた。
さらに支柱立てたりなど。
PagedAttention
オッ
AIが生成したデータをAIに食わせ続けると性能が下がっていくらしい。
これはまあ大分前から言われていたから特に驚きは無い。
それよりも、何故人間は文化全体で見ると大丈夫なのか、AIがこれを乗り越えるにはどうすればいいのかを考えると、やっぱり突然変異と淘汰、つまり遺伝的アルゴリズムの出番かな〜と思う。
人間の文化もほぼそれに従っているように見える。
GPT-4のアーキテクチャリーク？
昨日めちゃくちゃ疲れたけど、更に『筋』をすることで限界まで振り絞ってみた
→死
『畑』で『農』をしてきた
- 肥料まいてすき込み
- 畝作る
- マルチ貼り
めちゃめちゃ疲れた……農家ってすげ〜〜
ローカルで動く？翻訳用のAI
-
FuguMT
-
NLLB
-
M2M100
どれもデカぁい
畑の天地返しをちょっとしてきた
めちゃ疲労
ｺｭｷ……
朝から法事。
人数の都合か、いつもはBPM120ぐらいのところが、今日は160ぐらいから始まった。
早くね？？と思ってるうちにどんどん上がっていって、最終的に200ぐらいの高速読経。
笑いこらえるのキツすぎた、マスクに感謝。
カルバノグちまちま読み進めてるけどやっぱりホイホイ♂落ちる。
寝付きよくしようと思って筋トレしまくって全身追い込んで寝たら一日中死んでた
死付きが良い
外野フライ、ノック攻略動画では高めにトスを上げると良いって言われてるけど、低めに上げてゴルフスイング的に打つ方が上がりやすい気がする。
スイングが悪いんかな？
少年やきうのノックしてたら皮がベロンベロンに剥けて痛い
たちけて
ブルアカ、ストーリー読もうとしてもすぐ落ちる。
for iPhone?
Androidエミュでも入れてPCで起動したほうがいいんかな。
絵に限らず過去の作品を見ると、「なんでこれにOK出したの俺……？？」となる部分が大量にある。
今だったらもう少し上手くやれる、という判断が正しいとして、じゃあ実際にどう上手くやるかを分解すると
1. 過去にOKを出した部分に対してNGを出す
2. NG部分を修正する方向や方法を調べる（既に知っているならスキップ）
3. 修正する
となる。
これはよく考えると、制作のサイクルそのものでもある。
まず最初にラフを描いたりプロトタイプを作ったりして、つまり仮のOKを出して、上記のサイクルを繰り返して完成に近づけて行く。
となると、上手くなるということは、割と単純に
a. 修正すべき点を見つけられるようになる
b. 修正の方法を習得する
の２点だと思ってしまっても良いのかもしれない。
ここが本題なんだけど、aの「修正すべき点を見つけられるようになる」という能力が、いろんなスキルについてあまり育ってない気がする。
なんとなくではわかるんだけど、意識して鍛えてなかったから言語化があまりできない。
その結果、aにもbにも再現性が無い。
多分、どこがどう間違っていてどう修正すべきか、という仮説を言語化して実験する、という作業の繰り返しが必要になる。
まあでもかなり手間が増えるから面倒なんだよね……
毎回なんらかの違和感がある度に、なんとなく眺めて、可能であれば資料を探して、あとは適当に手を動かしてなんとかなれ〜と修正してしまっている。
絵とかは趣味だから別にそれでいいんだけど、プログラミングや実験はもうちょっと落ち着いてやりたいわね。
Augmenting Language Models with Long-Term Memory
後で読む
Slay the Spire, Factorio, Gunfire Reborn, Tangledeep
そろそろどれかに手を出そうかな
What Is ChatGPT Doing … and Why Does It Work?
Wolfram氏によるChatGPTの仕組みと機能に関する解説について
後で読む
絵やっぱ楽しいから楽しさを高めるためにらくがきソフト作りたくなってきておる
うーんでも時間がうーん
０時から１時間ぐらい絵描いて寝ようと思ったら５時。
久々に描いたらやっぱ楽しいけど、時間決めてやらないと自律神経が南スーダン緊急事態になる
昨日の肩肘の炎症残ってる
おーん
Meta(Facebook/Instagramの会社)がオープンソースでLLaMa公開してから、ggmlなどあっという間にオープンソース開発者の心掴んでメインストリームになっててすごい。
で、その成果をついに
Metaが取り入れるらしい。
ChatGPTのOpenAIやMicrosoftみたいな独占ムーブに勝って欲しいわね。
Googleも社内文書流出で「独占無駄だわ、オープンソースで協力した方がいいわ」って方針転換したらしいし。
高校数学IIIの微分積分やり直しだなあ〜
まあ実装だけならそこまで気合入れてやる必要無いかもだけど、理論も理解したいから無意識に扱えるレベルになっておきたい。
壁当てでスナップスローの練習したら肩も肘もかなり痛くなってしまった。
撮影して見る限りフォームで負担かかってる風ではないので、やっぱ根本的にもう肩肘死んでるっぽい。
おーん
梅雨じゃん
石川は雨の日がものすごく多かったけど、傘差さなくてもいいかな？ぐらいの小雨も多かった。
長崎は晴れの日が多い分、降るときはだいたい土砂降りになる。
南国やな
少年やきうの練習見に行った。
ノックしたら指の皮剥けたニャン
直近３回連続でブラックコーヒー飲んだら蕁麻疹出てる。
☆悪霊退散☆悪霊退散☆
トイレのドアノブを交換した。
メイン軸に対してサブ軸的なのが２つ、縦と横どちらに並ぶかで２種類あるっぽい。
先に違う方買ってしまって余計な出費になった。
なかなか罠だった。
絵の描き方が思い出せない。
で、過去絵見て思い出そうとしてるんだけど、びっくりするぐらい全部気に入らない。
イヤイヤ期か？
Linux(Manjaro)再起動したらX立ち上がらなくなって焦った。
とりあえずAlt+F2でコンソールに切り替えてpacmanアップデートしたら、linux515-nvidiaみたいなの来てたからアップデート。
で、再起動したら普通に立ち上がった。
LoRAが「絵の生成AIで絵柄とかパクる用の技術」って使われ方で固定されてしまっとるな
通信量のことギガって言うみたいな
そういうなん
Karen_theEditor
文法・スペル校正用のLLM
うーん、肩まだ痛いぞ
今日もやきうの練習見に行った。
平日コーチ的なことして、と言われたので暇なときノックの練習してた。
ウン十年ぶりに監督に見られながら練習したけど緊張してワロタ、少年時代しごかれたのがトラウマになっとる。
あと肩少し外れてうずくまってしまった。
救急車呼びますか！？とか言ってもらったが、冷や汗流しながらｱｯ大丈夫ｯｽってベンチで横になって気合で入れた。
外れてるときは死ぬほど痛いけどハマったらちょっと痛いぐらいにおさまる。
死にそうな顔してた（と思う）のにハマったら元気に走り回るから「えぇ……？」みたいな反応もらってちょっと面白い。
いやマジで痛いからもう結構だけど……
ていうか肩入れるのに慣れてきてるの嫌だなあ。
インナーマッスル鍛えたらどうにかならんかな。
重い腰を上げて計算グラフを使った誤差逆伝搬を理解してみた。
合成関数の偏微分がわかれば、連鎖律を少し調べて、∂L/∂x = (∂z/∂x)(∂L/∂z)ということがなんとなくわかった。
+,*,/,exp,logノードはそれぞれの微分を計算して、逆伝搬してきた∂L/∂zとかければいい。
このとき、∂L/∂zの値については一切考慮しなくていいのが計算グラフの便利なところ、ということね。了解。
z=f(x)のとき、∂z/∂xはzだけに依存するので、zを記憶しておけば良い。
これが計算効率が良くてVRAMをバカ食いする理由かあ。
問題はグラフの枝分かれ。
結果的には逆伝搬してきた値それぞれにノードの偏微分値をかけて和を求めればいい。
ただどうなってるかは多変数の合成関数の偏微分の連鎖律（長い）を理解する必要がある。
頭が疲れてきたのでまた明日。
指が荒れてて傷あるけどギター弾きたいなあ……いけるやろ！！
→普通に出血
Softxmaxを理解してみたメモ。
Softmaxそのものはそんなに難しくない。定数kのxi乗をΣxで割るだけ。
xi/Σxではないのは、k^xi(k>1)にすることで正負でも大小関係が変わらないように。
ネイピア数を使ってるのは微分しやすいように。
微分は分数関数の微分を使う。
よく覚えてなかったので復習。1/f(x)のときはg(x)=x^-1とみて合成関数の微分。
∂yi/∂xjとして、i=jの場合はそのまま分数関数の微分を行えばいい。
i!=jの場合は、分子のe^xiは定数なのでくくりだして、1/Σe^xkの偏微分と乗算する。（これに気づかずに四苦八苦した）
i=jの場合はyi(1-yi)、i!=jの場合は-yiyjとなる。
i=jならd=1, i!=jならd=0とおいてyi(d-yj)とするのが普通らしい？
あと計算グラフならもっと楽に解けるのかな。
久々に絵をガッツリ描きとうござる
rinnaの対話モデル試してみた。
3.6Bだけど文法は破綻無くてスゲ〜。
内容はまあ……もうちょっとだけ基本的な知識をつけてくれたらなんとかツールのインターフェイスに使えそうではあるけど。
ろくがつー。
microb
ログイン