OpenAIのo1は、解答をいきなり出力せず、複数の解答経路を並行して探索し、一番良さそうなものを確率的に選択する、モンテカルロ木探索を行って精度をあげているという説があります。これをローカルLLMにも適用できれば、より高度な推論ができる可能性が高まります。
そこでHajime-Yさんによる、モンテカルロ木探索とローカルLLMの組み合わせを試してみました。
元のドキュメントではQwQ-0.5Bを独自にファインチューニングしたものを使っているようだったので、QwQ-32Bをそのまま使うとどうなるか試してみました。
コンテキスト長は8192に拡張してあります。
# モジュールのインポート
from reasoning_model import ReasoningModelForCausalLM
from tree_utils import print_tree_with_best_path
from transformers import AutoTokenizer
# tokenizerとmodelの準備
model_name = "Qwen/QwQ-32B-Preview"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = ReasoningModelForCausalLM.from_pretrained(
model_name,
torch_dtype="auto",
device_map="auto"
)
# Step Seperatorsを登録
step_separators = ["\n\n"]
step_separator_ids = [tokenizer.encode(step_separator, add_special_tokens=False)[0] for step_separator in step_separators]
model.config.step_separator_ids = step_separator_ids
system_prompt = "You are a helpful and harmless assistant. You should think step-by-step." # 固定を推奨
prompt = "AI時代の新しい会社、企業活動のあり方とは?"
messages = [
{"role": "system", "content": system_prompt},
{"role": "user", "content": prompt}
]
# chat_templateとtokenize
text = tokenizer.apply_chat_template(
messages,
tokenize=False,
add_generation_prompt=True
)
model_inputs = tokenizer([text], return_tensors="pt").to(model.device)
# MCTSを用いて生成（Google ColabのT4インスタンスで1分程度かかる）
final_tokens, final_node = model.generate(
**model_inputs,
max_new_tokens=8192,
iterations_per_step=5, # 1推論ステップの探索に何回シミュレーションを行うか。長いほど精度が高まる可能性はあるが、推論時間が伸びる。
max_iterations=15, # 推論ステップの上限: 0.5Bモデルの場合、そこまで長いステップの推論はできないため10~15くらいが妥当。
mini_step_size=32, # mini-step: 32tokens。Step as Action戦略を採用する場合、ここを512など大きな数字にする。（実行時間が伸びるため非推奨）
expand_threshold=0, # ノードを拡張するために必要なそのノードの訪問回数の閾値。デフォルトの0で、拡張には1回以上の訪問が求められる。基本デフォルトで良い。
step_separator_ids=None, # Reasoning Action StrategyでStep as Actionを採用するときの区切りとなるトークンのIDリスト。NoneでモデルConfigの値を利用するため、変更は非推奨。Step as Action不採用時には[]を設定する。
)
print("=== ツリー構造 ===")
print_tree_with_best_path(final_node, tokenizer)
# 結果をテキスト化
final_text = tokenizer.decode(final_tokens, skip_special_tokens=True)
print("=== 最終生成テキスト ===")
print(final_text)結果は以下のようになりました。
=== ツリー構造 ===
ツリー構造を表示します（'*'が付いているノードは最終選択パス上）：
└── * action=[ROOT], reward=0.00, visits=75, value_sum=67.45, avg=0.90
├── * action=AI時代の新しい会社、企業活動のあり方について考えていきたいと思います。まず、AIがもたらす影響は多岐にわたります, reward=0.92, visits=72, value_sum=65.66, avg=0.91
│ ├── action=ので、それを整理してみます。\n\nまず、生産性の向上です。AIは効率化をもたらすことで、企業の生, reward=0.84, visits=3, value_sum=2.70, avg=0.90
│ │ ├── action=産性を大幅に向上させることができます。例えば、自動化されたプロセスや、データ分析による意思決定の支援などです。これにより、, reward=0.95, visits=1, value_sum=0.95, avg=0.95
│ │ └── action=産性を大幅に向上させることができます。例えば、自動化された業務プロセスや、データ分析による意思決定の支援などがあります。\n\n次に, reward=0.91, visits=1, value_sum=0.91, avg=0.91
│ └── * action=ので、そのポイントを整理してみます。\n\nまず第一に、生産性の向上です。AIは業務の自動化や効率化, reward=0.91, visits=68, value_sum=62.04, avg=0.91
│ ├── action=を可能にします。例えば、データ分析、顧客対応、甚至して製造工程など、様々な分野で人間の, reward=0.93, visits=3, value_sum=2.77, avg=0.92
│ │ ├── action=働を補助または代替することができます。これにより、企業はより効率的に業務を遂行し、生産性を高めることができます, reward=0.92, visits=1, value_sum=0.92, avg=0.92
│ │ └── action=働を補助または代替することができます。これにより、企業はより効率的な運営が可能となり、生産性が向上します, reward=0.92, visits=1, value_sum=0.92, avg=0.92
│ └── * action=を可能にします。例えば、データ分析、顧客対応、在庫管理など、様々な業務がAIに委ねられるようになります, reward=0.87, visits=64, value_sum=58.36, avg=0.91
│ ├── * action=。これにより、人間はより創造的で戦略的なタスクに集中できるようになります。\n\n第二に、新しいビジネスモデルの出現です, reward=0.96, visits=59, value_sum=53.86, avg=0.91
│ │ ├── action=。AIを活用したサービスや製品が生まれ、市場を変革します。例えば、パーソナライズされた推薦システム、自動, reward=0.88, visits=4, value_sum=3.64, avg=0.91
│ │ │ ├── action=運転車、スマートホームデバイスなどは、すでに私たちの生活に深く浸透しています。\n\n第三に、組織構造の, reward=0.94, visits=2, value_sum=1.86, avg=0.93
│ │ │ │ ├── action=変化です。従来の階層的な組織から、よりフラットで柔軟な構造への移行が進みます。AI, reward=0.89, visits=0, value_sum=0.00, avg=0.00
│ │ │ │ └── action=変化です。従来の階層的な組織から、よりフラットで柔軟な構造へと移行する傾向があります。, reward=0.92, visits=1, value_sum=0.92, avg=0.92
│ │ │ └── action=運転車、スマートホームデバイスなどは、既存の業界に大きな変化をもたらしています。\n\n第三に、雇, reward=0.90, visits=1, value_sum=0.90, avg=0.90
│ │ └── * action=。AI技術を活用したプロダクトやサービスが生まれ、既存の市場を変革したり、新たな市場を創造したりします。例えば, reward=0.92, visits=54, value_sum=49.26, avg=0.91
│ │ ├── * action=、AIによる個別化されたマーケティングや、自動運転技術を活用したモビリティサービスなどです。\n\n第三に, reward=0.92, visits=49, value_sum=44.66, avg=0.91
│ │ │ ├── action=、組織構造の変化です。AIの導入によって、従来の階層的な組織構造から、よりフラットで柔, reward=0.98, visits=4, value_sum=3.56, avg=0.89
│ │ │ │ ├── action=軟な組織構造へとシフトする傾向が見られます。これにより、コミュニケーションが円滑になり、イノベーションが促進, reward=0.84, visits=2, value_sum=1.75, avg=0.88
│ │ │ │ │ ├── action=されます。\n\n第四に、人材のスキルセットの変化です。AIが多くの業務を担うようになる中で、人材が必要とするスキル, reward=0.90, visits=0, value_sum=0.00, avg=0.00
│ │ │ │ │ └── action=される可能性があります。\n\n第四に、人材育成と雇用の変化です。AIが一部の業務を担うようになると、人材, reward=0.91, visits=1, value_sum=0.91, avg=0.91
│ │ │ │ └── action=軟な組織構造への移行が進む可能性があります。また、リモートワークの普及もAI技術によって支えられ、地理的な, reward=0.82, visits=1, value_sum=0.82, avg=0.82
│ │ │ └── * action=、組織構造の変化です。AIの導入により、従来の階層的な組織構造から、よりフラットで柔, reward=0.96, visits=44, value_sum=40.19, avg=0.91
│ │ │ ├── * action=軟な組織構造へのシフトが求められます。また、人材のスキルセットも変化し、データ解析能力やAIとの協業, reward=0.91, visits=39, value_sum=35.63, avg=0.91
│ │ │ │ ├── action=能力が重要になります。\n\n第四に、倫理的な課題です。AIの使用は、プライバシーの侵害、偏見や不正の, reward=0.88, visits=4, value_sum=3.61, avg=0.90
│ │ │ │ │ ├── action=拡大、雇用の流失などの問題を引き起こす可能性があります。そのため、企業はこれらの課題に配慮し、適切な, reward=0.91, visits=1, value_sum=0.91, avg=0.91
│ │ │ │ │ └── action=拡大、雇用の喪失など、様々な倫理的な問題を引き起こす可能性があります。企業はこれらの課題に真剣, reward=0.93, visits=2, value_sum=1.82, avg=0.91
│ │ │ │ │ ├── action=に取り組む必要があり、透明性と Accountability を確保する必要があります。\n\nこれらのポイントを踏まえた上で、AI時代の新しい会社、企業, reward=0.86, visits=0, value_sum=0.00, avg=0.00
│ │ │ │ │ └── action=に取り組み、透明性と Accountability（責任追及可能性）を確保する必要があります。\n\n以上のようなAIがもたらす影響を踏まえた, reward=0.90, visits=1, value_sum=0.90, avg=0.90
│ │ │ │ └── * action=能力が重要になります。\n\n第四に、倫理と責任の問題です。AIの使用がもたらすバイアスやプライバシー侵害の, reward=0.90, visits=34, value_sum=31.11, avg=0.92
│ │ │ │ ├── * action=問題に配慮する必要があり、企業は透明性と Accountability（責任追及可能性）を確保するための措置を講じる必要があります, reward=0.91, visits=29, value_sum=26.58, avg=0.92
│ │ │ │ │ ├── action=。\n\nこれらのポイントを踏まえた上で、AI時代の新しい会社、企業活動のあり方について考えていきましょう。\n\nまず、生産性の, reward=0.94, visits=4, value_sum=3.64, avg=0.91
│ │ │ │ │ │ ├── action=向上に関しては、AIを活用して Routine 且つ Repeatable（繰り返し）な業務を自動化することで、人的リソ, reward=0.89, visits=2, value_sum=1.83, avg=0.91
│ │ │ │ │ │ │ ├── action=ースをより価値の高いタスクに振り向けることができます。例えば、データ入力、メール対応、スケジュー, reward=0.94, visits=1, value_sum=0.94, avg=0.94
│ │ │ │ │ │ │ └── action=ースをより高度なタスクに振り向けることができます。例えば、事務作業の自動化、データ入力の省力化、顧, reward=0.87, visits=0, value_sum=0.00, avg=0.00
│ │ │ │ │ │ └── action=向上に関しては、AIを活用して Routine 且つ Repeatable な業務を自動化することで、人的リソースをより高度なタ, reward=0.87, visits=1, value_sum=0.87, avg=0.87
│ │ │ │ │ └── * action=。\n\nこれらのポイントを踏まえて、AI時代の新しい会社、企業活動のあり方について考えてみます。\n\nまず、企業はAI技術を, reward=0.94, visits=24, value_sum=22.04, avg=0.92
│ │ │ │ │ ├── action=積極的に取り入れ、業務プロセスの最適化に努めるべきでしょう。ただし、単に労働力の削減を, reward=0.88, visits=4, value_sum=3.61, avg=0.90
│ │ │ │ │ │ ├── action=目的とするのではなく、人間の能力を引き出し、創造性とイノベーションを促進するためのツールとして活用することが, reward=0.90, visits=1, value_sum=0.90, avg=0.90
│ │ │ │ │ │ └── action=目的とするのではなく、人間の能力を補完し、より高度な業務に従事できるようサポートすることが重要です。つまり、AI, reward=0.90, visits=2, value_sum=1.83, avg=0.91
│ │ │ │ │ │ ├── action=はツールとして利用し、人間の創造性と判断力を生かすためのプラットフォームとなるべきです。\n\nまた、新しいビジネス, reward=0.92, visits=0, value_sum=0.00, avg=0.00
│ │ │ │ │ │ └── action=はツールとして利用し、人間の創造性と判断力を強化するための手段とするべきです。\n\nまた、新しいビジネスモデルの開, reward=0.93, visits=1, value_sum=0.93, avg=0.93
│ │ │ │ │ └── * action=積極的に取り入れ、業務プロセスの最適化に努めるべきでしょう。しかし、同時に、AIがもたらす影響を正しく, reward=0.94, visits=19, value_sum=17.48, avg=0.92
│ │ │ │ │ ├── action=理解し、適切に管理することが重要です。例えば、自動化によって生じる失業問題に対処するための再教育プログラムの, reward=0.89, visits=4, value_sum=3.65, avg=0.91
│ │ │ │ │ │ ├── action=実施や、AIの決定プロセスを説明可能にする努力などです。\n\nまた、企業はAIを活用して、顧客, reward=0.95, visits=2, value_sum=1.83, avg=0.92
│ │ │ │ │ │ │ ├── action=に高度にカスタマイズされた体験を提供できるようになるでしょう。これには、大量のデータの収集と分析が不可, reward=0.87, visits=0, value_sum=0.00, avg=0.00
│ │ │ │ │ │ │ └── action=ニーズに迅速且つ的確に応えることができるようになるでしょう。個別化されたサービス提供や、予測的なサポートなど、これまで, reward=0.89, visits=1, value_sum=0.89, avg=0.89
│ │ │ │ │ │ └── action=実施や、AIの決定プロセスを説明可能にする努力などです。\n\nまた、企業はAIを活用して、より高度, reward=0.92, visits=1, value_sum=0.92, avg=0.92
│ │ │ │ │ └── * action=理解し、適切に管理することが重要です。例えば、自動化によって生じる失業問題に対処するために、従業員の, reward=0.92, visits=14, value_sum=12.89, avg=0.92
│ │ │ │ │ ├── action=再トレーニングプログラムを導入するなど、社会的責任を果たす努力が必要です。\n\nまた、AIを活用した新しいビジネス, reward=0.92, visits=4, value_sum=3.71, avg=0.93
│ │ │ │ │ │ ├── action=モデルの開発も不可欠です。市場のニーズに応じて、AI技術を融合させた製品やサービスを提供, reward=0.92, visits=1, value_sum=0.92, avg=0.92
│ │ │ │ │ │ └── action=モデルの開発も不可欠です。これは、単にAI技術を適用するだけでなく、顧客ニーズの変化に応, reward=0.93, visits=2, value_sum=1.87, avg=0.94
│ │ │ │ │ │ ├── action=じて柔軟に対応できるようなイノベーションを促進することが求められます。そのため、企業は研究開発への投資を強, reward=0.94, visits=1, value_sum=0.94, avg=0.94
│ │ │ │ │ │ └── action=じて柔軟に対応できるビジネスモデルを構築することが求められます。そのため、イノベーションを促進し、継続, reward=0.88, visits=0, value_sum=0.00, avg=0.00
│ │ │ │ │ └── * action=再教育やスキルアッププログラムを提供することが必要かもしれません。\n\nまた、AIを活用した新しいビジネスモデルの開発も不可欠です。これは, reward=0.96, visits=9, value_sum=8.26, avg=0.92
│ │ │ │ │ ├── * action=、単にAI技術を適用するだけでなく、顧客ニーズの変化に応じて柔軟に対応できるビジネスモデルを, reward=0.91, visits=4, value_sum=3.66, avg=0.91
│ │ │ │ │ │ ├── action=構築することが求められます。そのため、イノベーションに向けた文化を醸成し、継続的な学習とアダ, reward=0.88, visits=1, value_sum=0.88, avg=0.88
│ │ │ │ │ │ └── action=構築することが求められます。例えば、サブスクリプションモデルやプラットフォームビジネスなど、従来の製品中心の, reward=0.96, visits=2, value_sum=1.87, avg=0.94
│ │ │ │ │ │ ├── action=ビジネスからサービスやエクスペリエンス中心のビジネスへの転換が進む可能性があります。\n\n組織構造についても、従来, reward=0.91, visits=1, value_sum=0.91, avg=0.91
│ │ │ │ │ │ └── action=ビジネスからサービスや体験中心のビジネスへのシフトが進むかもしれません。\n\n組織構造についても、従来の垂直的なヒエ, reward=0.90, visits=0, value_sum=0.00, avg=0.00
│ │ │ │ │ └── action=、単にAI技術を適用するだけではなく、顧客ニーズの変化に応じて柔軟に対応できるビジネスモデル, reward=0.89, visits=4, value_sum=3.64, avg=0.91
│ │ │ │ │ ├── action=を構築することが求められます。そのため、イノベーションを促進し、新しいアイデアや技術を迅速に採用できる組織, reward=0.87, visits=1, value_sum=0.87, avg=0.87
│ │ │ │ │ └── action=を構築することが求められます。例えば、サブスクリプションモデルやプラットフォームビジネスなど、従来の製品中心, reward=0.97, visits=2, value_sum=1.87, avg=0.94
│ │ │ │ │ ├── action=からサービス中心へのシフトが進む可能性があります。\n\n組織構造についても、従来の垂直的なヒエラルキーから、より, reward=0.90, visits=0, value_sum=0.00, avg=0.00
│ │ │ │ │ └── action=のビジネスからサービスや体験中心のビジネスへのシフトが加速するかもしれません。\n\n組織構造についても、従来の金字塔型から, reward=0.90, visits=1, value_sum=0.90, avg=0.90
│ │ │ │ └── action=問題に配慮する必要があり、企業はこれらの課題に適切に対処しなければなりません。\n\nこれらのポイントを踏まえて、AI時代, reward=0.90, visits=4, value_sum=3.64, avg=0.91
│ │ │ │ ├── action=の新しい会社、企業活動のあり方について考えてみます。\n\nまず、生産性向上の観点から、企業はAI技術を, reward=0.94, visits=2, value_sum=1.85, avg=0.92
│ │ │ │ │ ├── action=積極的に導入し、業務プロセスの再設計に取り組む必要があります。これは、単にテクノロジーを導入, reward=0.91, visits=0, value_sum=0.00, avg=0.00
│ │ │ │ │ └── action=積極的に導入し、業務プロセスの最適化に取り組むべきでしょう。しかし、同時に、AIが人間の雇用, reward=0.91, visits=1, value_sum=0.91, avg=0.91
│ │ │ │ └── action=の新しい会社、企業活動のあり方について考えてみます。\n\nまず、企業はAI技術を積極的に採用し、業務の自動化, reward=0.89, visits=1, value_sum=0.89, avg=0.89
│ │ │ └── action=軟な組織構造へと移行する傾向が見られます。また、人材のスキルセットも変化し、データ解析能力や, reward=0.90, visits=4, value_sum=3.59, avg=0.90
│ │ │ ├── action=AIとのコラボレーション能力が重視されるようになります。\n\n第四に、倫理的・法的な課題です。AIの使用には、, reward=0.88, visits=1, value_sum=0.88, avg=0.88
│ │ │ └── action=AIとの協業能力が重視されるようになります。\n\n第四に、倫理的な課題です。AIの使用にはバイアスやプライバ, reward=0.89, visits=2, value_sum=1.81, avg=0.91
│ │ │ ├── action=シー侵害の問題が伴うことがあります。企業はこれらの課題に配慮し、透明性と Accountability （責任追及可能性）を確保する, reward=0.90, visits=0, value_sum=0.00, avg=0.00
│ │ │ └── action=シー侵害の問題が伴うことがあります。企業はこれらの課題に配慮し、透明性と Accountability（責任追及可能性）を確保する, reward=0.92, visits=1, value_sum=0.92, avg=0.92
│ │ └── action=、AIによる個別化推薦、自動運転技術、スマートホームデバイスなどは、すでに私たちの生活を変えてきています, reward=0.90, visits=4, value_sum=3.68, avg=0.92
│ │ ├── action=。\n\n第三に、組織構造の変化です。AIの導入により、従来の階層的な組織構造から、よりフラ, reward=0.96, visits=2, value_sum=1.85, avg=0.93
│ │ │ ├── action=ットで柔軟な構造への移行が進むかもしれません。また、人材のスキルセットも変化し、AIとの協働能力, reward=0.89, visits=1, value_sum=0.89, avg=0.89
│ │ │ └── action=ットで柔軟な組織構造への移行が進むかもしれません。また、リモートワークの普及など、働き方にも変化が, reward=0.85, visits=0, value_sum=0.00, avg=0.00
│ │ └── action=。\n\n第三に、組織構造の変化です。AIの導入に伴い、企業の組織構造も変化していきます。, reward=0.93, visits=1, value_sum=0.93, avg=0.93
│ └── action=。これにより、人間はより創造的で戦略的なタスクに集中できるようになるでしょう。\n\n第二に、新しいビジネスモデルの創, reward=0.97, visits=4, value_sum=3.63, avg=0.91
│ ├── action=出です。AIを活用することで、従来にはなかったサービスや製品が生まれます。例えば、パーソナライズされた商品, reward=0.91, visits=2, value_sum=1.78, avg=0.89
│ │ ├── action=推荐、自動運転車、スマートホームデバイスなどです。これらのイノベーションは、市場を変革し、新たな, reward=0.85, visits=0, value_sum=0.00, avg=0.00
│ │ └── action=推荐、自動運転車、スマートホームなど、ユーザーのニーズに合ったサービスを提供できるようになります。\n\n第三に、組織構, reward=0.86, visits=1, value_sum=0.86, avg=0.86
│ └── action=出です。AIを活用したサービスや製品が生まれ、市場に新たな価値を提供します。例えば、パーソナライ, reward=0.89, visits=1, value_sum=0.89, avg=0.89
└── action=AI時代の新しい会社、企業活動のあり方について考えていきたいと思います。まず、AIがもたらす影響は広範に及び、, reward=0.89, visits=2, value_sum=1.79, avg=0.89
├── action=ビジネスのあり方を根本から変える可能性があります。そこで、いくつかの観点から考えてみます。\n\nまず第一に、生産性の, reward=0.90, visits=1, value_sum=0.90, avg=0.90
└── action=企業活動のあらゆる面に変革をもたらす可能性があります。では、具体的にどのような変化が起こり得るのか、, reward=0.90, visits=0, value_sum=0.00, avg=0.00
=== 最終生成テキスト ===
AI時代の新しい会社、企業活動のあり方について考えていきたいと思います。まず、AIがもたらす影響は多岐にわたりますので、そのポイントを整理してみます。
まず第一に、生産性の向上です。AIは業務の自動化や効率化を可能にします。例えば、データ分析、顧客対応、在庫管理など、様々な業務がAIに委ねられるようになります。これにより、人間はより創造的で戦略的なタスクに集中できるようになります。
第二に、新しいビジネスモデルの出現です。AI技術を活用したプロダクトやサービスが生まれ、既存の市場を変革したり、新たな市場を創造したりします。例えば、AIによる個別化されたマーケティングや、自動運転技術を活用したモビリティサービスなどです。
第三に、組織構造の変化です。AIの導入により、従来の階層的な組織構造から、よりフラットで柔軟な組織構造へのシフトが求められます。また、人材のスキルセットも変化し、データ解析能力やAIとの協業能力が重要になります。
第四に、倫理と責任の問題です。AIの使用がもたらすバイアスやプライバシー侵害の問題に配慮する必要があり、企業は透明性と Accountability（責任追及可能性）を確保するための措置を講じる必要があります。
これらのポイントを踏まえて、AI時代の新しい会社、企業活動のあり方について考えてみます。
まず、企業はAI技術を積極的に取り入れ、業務プロセスの最適化に努めるべきでしょう。しかし、同時に、AIがもたらす影響を正しく理解し、適切に管理することが重要です。例えば、自動化によって生じる失業問題に対処するために、従業員の再教育やスキルアッププログラムを提供することが必要かもしれません。
また、AIを活用した新しいビジネスモデルの開発も不可欠です。これは、単にAI技術を適用するだけでなく、顧客ニーズの変化に応じて柔軟に対応できるビジネスモデルを
モンテカルロ木探索なので、実際にモンテカルロ木が見れるのが良いですね。
動作速度も十分高速です。
また、別の研究で小さいモデルでも十分な回数繰り返しながら解答を探索すれば、20倍以上大きいモデルにひけをとらない回答が得られることが指摘されています。
ただし、3Bモデルが70Bモデルを超えるには、256回ほどの推論を繰り返さなくてはならないそうです。小さいモデルは量子化すれば推論を高速化できますが、それでも256回はかなりの回数と言えそうです。
ただしこの手法は複数のGPUで並列計算したりできるので結果として効率的な推論ができる可能性は高まったかもしれません。
いずれにせよこれからの主流は小さなモデルからいかに効率的に知識を引き出すかという探索手法の研究に移行しそうです。