前回、LMFlowによる日本語LLMのトレーニングについて紹介しました。
12時間ほどで最初の学習が完了したので結果を報告します。
学習させたのは1エポックのみで、train_lossは4.63まで下がった。一般的にLLMは1.0くらいまでlossが下がらないと実用性がないと言われています。したがって今回時点のモデルはそんなに高性能ではありませんが、学習が進んでいるのか確かめてみようと思います。
>>> from transformers import AutoModelForCausalLM, AutoTokenizer
>>> import torch
>>> tokenizer = AutoTokenizer.from_pretrained("output_models/merged_tokenizer/merged_tokenizer_h
f")
>>> model = AutoModelForCausalLM.from_pretrained("output_models/finetuned_llama")
Loading checkpoint shards: 100%|██████████████████████████████████| 3/3 [00:03<00:00, 1.03s/it]
>>> prompt="富士山は"
>>> token_ids = tokenizer.encode(prompt, add_special_tokens=False, return_tensors="pt")
>>> output_ids = model.generate(
... token_ids.to(model.device),
... repetition_penalty=1.15,max_new_tokens=500,temperature=0.
95)
...
>>> tokenizer.decode(output_ids.tolist()[0][token_ids.size(1) :], skip_special_tokens=True)
'）.\n現在の中華人民共和国西部海津沙郡北里湖沙｣、同郡の南方に広がる。\n 高原 隆（たかはら たかし
、1965年7月2日 - �������������������������������������������������������������は、日本のアメリカ
合衆国の映画監督、映画プロデュース映画である。監督は「COSM\'S CRA」が全米科学協会主催のアクショ
ン映画『LON』の共同製作にも携わる。\n来歴.\n生い立ち.\n1834年にイリノイ州シカゴで生まれる。父親
の俳優・脚本を書き、後に俳優となる。\n大学在学中に映画界を離れ、キャリアをスタートさせ、1902年に
メジャーデビューした。その後、2007年3月にメジャーでインディーズでデビューし、1925年に再びデビュ
ーを果たす。その後は地元に戻り、再びメジャーに復帰。\n2022年のNCAAトーナメントにも出場、2005年の
第45回大会の日本代表監督も務めた。1995年4月には、テレビドラマ『The World!』で連続ドラマ初主演と
なる。\n 『恋の花嫁のおけるよう!私に恋心を抱く』："Streptomyces"＋"Fed You of the Dark and His E
arth, Love"＊"Fed a little\'reptomyces of Love "３つの題として、『愛のうたう』；"Jeraria of anyt
hing")\n コビウコ＆イミソ，エヴェエ５０６８２＇＄ＧＭＥＳＢＵＯＰＱ６％＂３２２１４３０＋ＢＳＳ
ＳＢＯＢ）による共同出資にて放映。\n概要.\nルビウコ＆イミはセジヌーク (Parker' 全然ダメですが、日本語の文法はなんとなく学んでいるようです。
あと3エポックくらい学習させればもっとマシになるかもしれません。
今回は1エポックなので16万イテレーションしかやってませんが、念の為、10000イテレーション時の受け答えと比較してみます。
>>> model = AutoModelForCausalLM.from_pretrained("output_models/finetuned_llama/checkpoint-10000
")
Loading checkpoint shards: 100%|██████████████████████████████████| 3/3 [01:17<00:00, 25.83s/it]
>>> output_ids = model.generate(
... token_ids.to(model.device),repetition_penalty=1.5,max_new_tokens=500,temperature=0.9
5)
>>> tokenizer.decode(output_ids.tolist()[0][token_ids.size(1) :], skip_special_tokens=True)
'192年は0年から、アメリカ合衆国出身の、 3人の）。「ザ・バン・ヴィーズ、シュ」といった『T』でオリ
ジナルアクションオレフマイユエ・インルカミールギ」というコンセプトが「B」、ゲームである。\nキャ
ラクターの「B」、魔法番組と小説ながら収録されている番組が「ドクター･t」を出演作品の主人公・ファ
ッションヴァー"P.Sw6/C:NIE) 、ライヴ・コレー・コンの1,58,74,4億人、また自身の人気・アルバム。こ
の楽曲では、「ナードﾟ」を参照としては、『C-S"BFII\'svnG(Mariaab)」開始。この企画など「」も映画ラ
イブでの発売内容であり、それとなっているが、本作として発売された。16世紀のエジプト州のフェンドッ
チが1921年に公開された『』において、同じイメージスが、「The」や18世紀「D」とのコーナー、3つのサ
ブリングとして、「s」が発表された「B」による曲にも曲話を書いているものであり続けている。\nこのツ
アー.\nニューヨークの2つとなっており、当時リリースされた。\n現在、2人は本作のAriLSTi"』に『X THE
OF-』から発売された。そのヒット、本作はRチャートシングル「W-」に登場した曲」という意味もあると
考えられている。\nこのアニメーション『コンピュータゲームソング』をリリースし、20%3部作『B』が収
録される。「HB 」のようにキャラクターはバージョンとなるタイトル版はプレイヤー『B』でも設定されて
いる。\n カケリ、本作はコム-S"BGlO型（Bileraina、"KOTuszŷasisiray"("",：Liiayes de laheitāinudak
eroratedoovconeléielngrt demo Storyelovnd dguniopadeḓkanarESillaiz enṙkoovcedulalaẔanartim |remr
EDāčiniále Nuclear oflesally and A��������、通称。\n脚注ポール.\n注釈ズ〞㇣㎝ㄜ㏂㊮㋳\n注釈ンは
最も美しい㐖こっちは支離滅裂なので確かに少しは学習できているように見えます。
今回は7Bモデルという比較的小さいモデルを学習しましたが、LISAの特徴であるVRAM消費が少ないという特性を活かして大きなモデルも学習できるか引き続き検証してみようと思います。