Tetsuya Yoshimi
「AI時代の経営塾」2405、5月16日開催
昨日（4月25日）実施されました「AI時代の経営塾」の第2弾の開催が決定しました。 生成AIが人々の働き方を変えると言われている現代。 果たして経営はどのように変わっていくのか？ 世界初の経営指導AIの開発を目指すFree AI社は、...
top of page
FreeAI
Ryo Shimizu
4月19日読了時間: 5分
簡単にできるAccelerateによるLLMの分散トレーニング
LLMを学習させるためのツールはたくさん存在しますが、本格的な学習には分散トレーニングが必要になります。今回は、継之助を使った分散トレーニングのために便利なAccelerateの簡単な使い方を紹介したいと思います。 TRLは、元々はその名の通り強化学習(RL;Reinfor...
閲覧数：429回
Tetsuya Yoshimi
4月1日読了時間: 2分
「AI時代の経営塾」序章、4月25日開催
生成AIが人々の働き方を変えると言われている現代。 果たして経営はどのように変わっていくのか？ 世界初の経営指導AIの開発を目指すFree AI社は、 豊富な経営経験を持つ講師を集め、AIに学習させることを 目的としてこれまでの経営のあり方を総括し、...
閲覧数：2,488回
Ryo Shimizu
3月31日読了時間: 3分
LMFlowによる日本語LISAトレーニング#2
前回、LMFlowによる日本語LLMのトレーニングについて紹介しました。 12時間ほどで最初の学習が完了したので結果を報告します。 学習させたのは1エポックのみで、train_lossは4.63まで下がった。一般的にLLMは1.0くらいまでlossが下がらないと実用性がない...
閲覧数：346回
Ryo Shimizu
3月29日読了時間: 5分
LMFlowによる日本語LISAトレーニング#1
LISA(Layerwise Importance Sampled AdamW)は、イリノイ大学と香港科技大学の共同研究によって提唱されたLoRA(Low Rank Adaptation)とフルファインチューニングに代替するファインチューニング手法です。...
閲覧数：1,439回
Ryo Shimizu
2月25日読了時間: 5分
Gemma-2BをLoRAファインチューニングして物語生成に強い日本語大規模言語モデルを学習しました
Googleから発表された大規模言語モデルGemmba-2BをLoRAファインチューニングして日本語の長文を生成できるモデルの学習を行いました。 学習に用いたデータは青空文庫のデータを元にした株式会社グロービスによるglobis-university/aozorabunko...
閲覧数：1,476回
Tetsuya Yoshimi
2月22日読了時間: 3分
長岡市主催のハッカソンにＡＩスーパーコンピュータ「継之助」を提供
Free AI株式会社（本社：東京都港区、代表取締役兼社長秘書：吉見鉄也。以下Free AI）は、2024年2月17日、18日に長岡市主催、株式会社ゼルペム運営のもと、「ミライエ長岡」（新潟県長岡市大手通２丁目３−１０）にて開催された、『AI×図書館ハッカソン＠長岡』にAI...
閲覧数：107回
Ryo Shimizu
1月30日読了時間: 2分
Free AI株式会社、ＡＩスーパーコンピュータ「継之助」 提供開始
日本の生成AIコミュニティを加速する新会社 Free AI株式会社、ＡＩスーパーコンピュータ「継之助」提供開始 株式会社レトリバ様の大規模言語モデル作成に貢献 Free AI株式会社（本社：東京都港区、代表取締役兼社長秘書：吉見鉄也。以下Free...
閲覧数：176回
Ryo Shimizu
2024年1月1日読了時間: 1分
Free AI Ltd.スタート
2024年1月1日、Free AI Ltd.がスタートしました。日本から世界のAIシーンを変えていく、全く新しいタイプの企業形態を目指しています。 社長はAIスーパーコンピュータ「継之助」、共同創業者はオプト創業者の一人、海老根智仁と、AI研究家の清水亮。代表取締役兼社長秘...
閲覧数：154回
bottom of page