国立情報学研究所が公開した無料で使える(オープンソースではないがオープンな)LLMであるLLM-jp-3-172Bを当社の社長(AIスーパーコンピュータ継之助)で動作させてみました。
さすがに継之助の8枚のA100 80GBがフル稼働しないと動作させるのは厳しいようでした。
vllmを使用しています。
$ vllm chat
/home/shi3z/.pyenv/versions/anaconda3-2023.09-0/envs/vllm/lib/python3.10/site-packages/transformers/utils/hub.py:128: FutureWarning: Using `PYTORCH_TRANSFORMERS_CACHE` is deprecated and will be removed in v5 of Transformers. Use `HF_HOME` instead.
warnings.warn(
Using model: llm-jp/llm-jp-3-172b-instruct3
Please enter a message for the chat model:
> 五反田三郎のあらすじを教えて
申し訳ありませんが、現時点で「五反田三郎」という作品について具体的な情報は把握していません。もしかすると、架空の作品や最近発表され
た作品かもしれません。より詳細な情報や正確なあらすじを提供するためには、作者名や作品の発表年、ジャンルなどの追加情報があればと思い
ます。もし可能であれば、これらの情報を教えていただけますか？それにより適切な情報を提供できるかもしれません。
> 「宇宙の探偵 五反田三郎」のあらすじを考えて
もちろんです。以下は架空の小説「宇宙の探偵 五反田三郎」のあらすじです。
---
物語の主人公は、東京の下町で生まれ育った五反田三郎。彼は、幼少期から不思議な出来事や謎に強く惹かれ、大人になると探偵として活動を始
めます。しかし、彼の探偵人生は普通のものではありませんでした。
ある日、五反田は奇妙な依頼を持ち込まれます。それは、宇宙の彼方から来たという謎のメッセージを解読してほしいというものでした。依頼者
は、地球外生命体が存在し、彼らとの接触が可能である証拠を見つけたいという強い願望を持っていました。
依頼を受けた五反田は、地球の科学では解明できない現象や、宇宙の謎に挑むことになります。彼は、様々な科学者やエンジニア、そして異星人
との接触を通じて、宇宙の神秘を解き明かしていきます。
五反田の冒険は、地球の枠を超え、銀河系全体へと広がります。彼は、宇宙の法則や生命の起源に関する新たな発見を次々と遂げていきます。同
時に、彼は人間の心の深さや宇宙の美しさを再認識し、自分自身の成長を遂げていきます。
この物語は、科学と神秘、人間の探求心と人間性、そして宇宙の謎を解くための挑戦を描いています。五反田三郎は、地球人と宇宙人の間で架け
橋となり、宇宙の真理を探求する旅へと旅立ちます。
---
これは架空の物語なので、実際の作品とは異なる可能性があります。もし「宇宙の探偵 五反田三郎」という作品が実在する場合、公式の情報源
から正確なあらすじを確認することをお勧めします。
架空の物語「五反田三郎」もなんとなくあらすじを吐いてくれました。ただ、コンテキスト長が4096までなのでそんなに長い物語は難しそうです。
もう少し込み入ったことも聞いてみます。
> 日本の県庁所在地と名産品をJSON形式で ちょうだい
もちろんです。以下に、日本の47都道府県の県庁所在地とそれぞれの名産品をJSON形式でお送りします。
```json
{
"都道府県": {
"北海道": {
"県庁所在地": "札幌市",
"名産品": ["カニ", "チーズ", "ラーメン"]
},
"青森県": {
"県庁所在地": "八戸市",
"名産品": ["リンゴ", "マグロ", "ねぶた漬け"]
},
"岩手県": {
"県庁所在地": "盛岡市",
"名産品": ["南部せんべい", "わんこそば", "冷麺"]
},
"宮城県": {
"県庁所在地": "仙台市",
"名産品": ["牛タン", "ずんだ餅", "牡蠣"]
},
"秋田県": {
"県庁所在地": "秋田市",
"名産品": ["きりたんぽ", "稲庭うどん", "比内地鶏"]
},
"山形県": {
"県庁所在地": "山形市",
"名産品": ["さくらんぼ", "ラ・フランス", "芋煮汁"]
},
"福島県": {
"県庁所在地": "福島市",
"名産品": ["桃", "米", "喜多方ラーメン"]
},
"茨城県": {
"県庁所在地": "水戸市",
"名産品": ["納豆", "あんこう鍋", "常陸牛"]
},
"栃木県": {
"県庁所在地": "宇都宮市",
"名産品": ["宇都宮餃子", "かんぴょう", "日光ゆば"]
},
"埼玉県": {
"県庁所在地": "さいたま市",
"名産品": ["草加せんべい", "狭山茶", "深谷ねぎ"]
},
"千葉県": {
"県庁所在地": "千葉市",
"名産品": ["落花生", "枇杷", "銚子の魚介類"]
},
"東京都": {
"県庁所在地": "新宿区",
"名産品": ["江戸前寿司", "東京ばな奈", "歌舞伎揚"]
},
"神奈川県": {
"県庁所在地": "横浜市",
"名産品": ["横浜中華街の中華料理", "鎌倉ハム", "小田原のかまぼこ"]
},
"新潟県": {
"県庁所在地": "新潟市",
"名産品": ["コシヒカリ", "魚沼産コシヒカリ", "燕三条の刃物"]
},
"富山県": {
"県庁所在地": "富山市",
"名産品": ["ますずし", "白えび", "ホタルイカ"]
},
"石川県": {
"県庁所在地": "金沢市",
"名産品": ["加賀友禅", "九谷焼", "輪島塗"]
},
"福井県": {
"県庁所在地": "福井市",
"名産品": ["越前蟹", "越前そば", "鯖のへしこ"]
},
"山梨県": {
"県庁所在地": "甲府市",
"名産品": ["ほうとう", "甲州ワイン", "信玄餅"]
},
"長野県": {
"県庁所在地": "長野市",
"名産品": ["信州そば", "信州牛", "信州味噌"]
},
"岐阜県": {
"県庁所在地": "岐阜市",
"名産品": ["飛騨牛", "恵那栗", "美濃和紙"]
},
"静岡県": {
"県庁所在地": "静岡市",
"名産品": ["静岡茶", "桜エビ", "静岡おでん"]
},
"愛知県": {
"県庁所在地": "名古屋市",
"名産品": ["ひつまぶし", "ういろう", "味噌煮込みうどん"]
},
"三重県": {
"県庁所在地": "津市",
"名産品": ["松阪牛", "伊勢えび", "真珠"]
},
"滋賀県": {
"県庁所在地": "大津市",
"名産品": ["近江牛", "琵琶湖の魚介類", "鮒ずし"]
},
"京都府": {
"県庁所在地": "京都市",
"名産品": ["京野菜", "京漬物", "京都の和菓子"]
},
"大阪府": {
"県庁所在地": "大阪市",
"名産品": ["たこ焼き", "お好み焼き", "きつねうどん"]
},
"兵庫県": {
"県庁所在地": "神戸市",
"名産品": ["神戸牛", "但馬牛", "神戸ワイン"]
},
"奈良県": {
"県庁所在地": "奈良市",
"名産品": ["奈良漬け", "吉野葛", "柿の葉寿司"]
},
"和歌山県": {
"県庁所在地": "和歌山市",
"名産品": ["有田みかん", "南高梅", "紀州備長炭"]
},
"島根県": {
"県庁所在地": "松江市",
"名産品": ["出雲そば", "出雲大社の和菓子", "島根和牛"]
},
"岡山県": {
"県庁所在地": "岡山市",
"名産品": ["マスカット", "桃", "岡山ラーメン"]
},
"広島県": {
"県庁所在地": "広島市",
"名産品": ["広島牡蠣", "お好み焼き", "もみじ饅頭"]
},
"山口県": {
"県庁所在地": "山口市",
"名産品": ["下関のふぐ", "りんご", "瓦そば"]
},
"徳島県": {
"県庁所在地": "徳島市",
"名産品": ["阿波尾鶏", "阿波踊りの和菓子", "鳴門金時"]
},
"香川県": {
"県庁所在地": "高松市",
"名産品": ["讃岐うどん", "オリーブ", "骨付鳥"]
},
"愛媛県": {
"県庁所在地": "松山市",
"名産品": ["みかん", "鯛", "今治タオル"]
},
"高知県": {
"県庁所在地": "高知市",
"名産品": ["鰹のたたき", "土佐和牛", "四万十の鰻"]
},
"福岡県": {
"県庁所在地": "福岡市",
"名産品": ["博多ラーメン", "もつ鍋", "辛子明太子"]
},
"佐賀県": {
"県庁所在地": "佐賀市",
"名産品": ["伊万里焼", "有田焼", "佐賀牛"]
},
"長崎県": {
"県庁所在地": "長崎市",
"名産品": ["長崎ちゃんぽん", "皿うどん", "長崎和牛"]
},
"熊本県": {
"県庁所在地": "熊本市",
"名産品": ["熊本ラーメン", "馬刺し", "熊本の米"]
},
"大分県": {
"県庁所在地": "大分市",
"名産品": ["関アジ", "関サバ", "大分麦焼酎"]
},
"宮崎県": {
"県庁所在地": "宮崎市",
"名産品": ["宮崎牛", "マンゴー", "日向夏"]
},
"鹿児島県": {
"県庁所在地": "鹿児島市",
"名産品": ["黒豚", "薩摩芋", "鹿児島黒毛和牛"]
},
"沖縄県": {
"県庁所在地": "那覇市",
"名産品": ["シークヮーサー", "パイナップル", "泡盛"]
}
}
}
```
このデータは基本的な情報を提供していますが、詳細や最新の情報については各都道府県の公式ウェブサイト等をご覧いただくことをお勧めしま
す。これはなかなかいいんじゃないでしょうか。
今回はvllmを使用しましたが、optillmも使えればentrpoixという手法を適用できるのでさらに回答の精度が上がる可能性はあります。
コンテキスト長が短いのが少し最新の他のモデル(Qwenなど)と比べるとどうしても見劣りしてしまいますが、性能はピカイチと言っていいと思います。
これだけの性能のものを無償で公開していただくことに感謝です。