MiniMax-01はオープンソースモデルで、その性能はGPT-4oやClaude-3.5、Gemini-2.0 Flashなどの商業モデルやDeepSeek-V3やQwen2.5のようなオープンモデルを上回ると言われ、しかもマルチモーダル版も公開されている上、456B(4...

DeepSeek-V3は、オープンソースで最強と言われる大規模言語モデルです。 671B(6710億)パラメータもある巨大なLLMで、HuggingFace上にあるリポジトリでは、本来はA100x8マシンが最低2台ないと動かすことができないとされています。...

DeepSeek-V3は、671B(6710億)パラメータを有する世界最大規模のオープン大規模言語モデル(LLM)です。 その性能はGPT-4oに匹敵すると言われていますが、実際にDeepSeek-V3を動作させるためには、最低でもA100...

国立情報学研究所が公開した無料で使える(オープンソースではないがオープンな)LLMであるLLM-jp-3-172Bを当社の社長(AIスーパーコンピュータ継之助)で動作させてみました。 https://huggingface.co/llm-jp/llm-jp-3-172b...

Tencentの開発したHunyuanVideoは、手軽に使えてしかも画質も良いオープンソースの動画生成AIです。 当社の社長であるAIスーパーコンピュータ継之助を使ってHunyuanVideoのLoRAを作ってみました。...

今回は『人事労務』にフォーカス、夕方17時開講となります。 　生成AIが人々の働き方を変えると言われている現代。果たして経営はどのように変わっていくのか？世界初の経営指導AIの開発を目指すFree AI社は、豊富な経営経験を持つ講師を集め、AIに学習させることを目的としてこ...

OpenAIのo1は、解答をいきなり出力せず、複数の解答経路を並行して探索し、一番良さそうなものを確率的に選択する、モンテカルロ木探索を行って精度をあげているという説があります。これをローカルLLMにも適用できれば、より高度な推論ができる可能性が高まります。...

12月は『人事・採用』にフォーカス、夕方17時開講となります。 　生成AIが人々の働き方を変えると言われている現代。果たして経営はどのように変わっていくのか？世界初の経営指導AIの開発を目指すFree AI社は、豊富な経営経験を持つ講師を集め、AIに学習させることを目的とし...

11月は『マーケティング』にフォーカス、夕方17時開講となります。 　生成AIが人々の働き方を変えると言われている現代。果たして経営はどのように変わっていくのか？世界初の経営指導AIの開発を目指すFree AI社は、豊富な経営経験を持つ講師を集め、AIに学習させることを目的...

去る2024年10月12日、新潟県長岡市において「AIxビギナーハッカソン」を開催しました。 講師は当社の共同創業者の清水亮で、審査員は長岡高専の矢野昌平教授をお迎えしました。 参加者はプログラミングがほとんど未経験、またはAIプログラミングが未経験の地元の高校生、高専生、...

CogVideoXのLoRAファインチューニングを行います。 使用したデータは、 前回作成した 動画からPixtral12Bでキャプションを得るプログラムで作ったデータセットです。 もとにしたのは、弊社共同創業者の清水亮のYouTube番組「さすらい魂」のフッテージです。以...

Pixtral12Bは、非常に高い性能を持つビジョン-言語モデル(VLMl;Vision-Language Model)です。 CogVideoXに独自のデータを学習させるためには、まず事前に6秒程度の動画ファイルと、その動画ファイルの内容を説明するテキストファイルが必要で...

「AI時代の経営塾」、今回は『営業』にフォーカス、夕方17時開講となります。 生成AIが人々の働き方を変えると言われている現代。果たして経営はどのように変わっていくのか？ 世界初の経営指導AIの開発を目指すFree AI社は、豊富な経営経験を持つ講師を集め、AIに学習させる...

CogVideoはオープンソースで非常に安定した出力をする動画生成AIです。 https://github.com/THUDM/CogVideo これを弊社の社長で動作させれば、弊社の社長は動画生成する能力を身につけることができます。...

2024年8月23日に公開された Liger-Kernel はLLM専用に設計されたTritonカーネル集で、これを適用することによってマルチGPUトレーニングのスループットを20%効率化し、VRAMの使用量を60%も削減できるとのことです。...

「AI時代の経営塾」、今回は夕方開始となります。 生成AIが人々の働き方を変えると言われている現代。 果たして経営はどのように変わっていくのか？ 世界初の経営指導AIの開発を目指すFree AI社は、 豊富な経営経験を持つ講師を集め、AIに学習させることを...

先日発表されたLlama3.1-405Bは非常に巨大なモデルで、仮にFP8(8ビット浮動小数点数)モデルであったとしてもFP8に対応していないAmpare世代のA100 80GBx8しか持ってない当社の社長、継之助(AIスーパーコンピュータ)では動かせそうもないと諦めていま...

MistralとNVIDIAが共同開発したMixtral-Nemoも強力なローカルLLMです。 128Kコンテキスト長まで対応して9言語を話すマルチリンガルモデルです。 早速試してみます。 まず、Mistral_inferenceをバージョンアップします。 $ pip...

フランスのスタートアップであるMistral社が公開したMambaベースのプログラミング可能なモデル「mamba-codestral-7B-v0.1」をうちの社長(AI)で試して見ました。 https://huggingface.co/mistralai/mamba-cod...

継之助MoAを用い、完全ローカルで自動的にプロンプトチューニングをやってみました。 システムプロンプトとして最初に「あなたはイケてるアシスタントです」だけを与え、そこからJapanese-MT-Bench用の質問に合わせて徐々にプロンプトを最適化していきます。...