初回ロットの販売はふいを突かれて、財布と相談で様子見しているうちに買い逃してしまった。
M5Stackがオフィスを移転して、生産を再開したものの中にLLMモジュールが含まれているのは知ってた。それで、M5Stackの在庫入ったら連絡するフォームに登録してあったのだけど、それより先にAliexpressに在庫が入ったので注文した。
オマケでデバッグ用ケーブルとボードが付属するのは初期ロットだけだという説明なので、ナシで頑張るしかないか。
M5stack Module LLMが正しい名称なのか？なんか本家サイト内でも表記揺れがあって、どっちが正しいかわかんないな。
m5-docs
https://docs.m5stack.switch-science.com/ja/module/Module-LLM
LLM Module Arduino Quick Start
https://docs.m5stack.switch-science.com/ja/guide/llm/llm/arduino
基本はCoreシリーズとつなげてバックエンドに使うものなのだけど、中身はLinuxが動く環境になっているので、単体でエッジLLMができるデバイスとして動作する。これが$50程度で買えるというがたいへん魅力的。
SoCは、Axera AX630Cが搭載されている。スペックは、Cortex A54 Dual Core。チップとしてはDSIをサポートしているのだけど、残念ながらフレキのコネクタは持っていない。
AX630C-爱芯元智
https://axera-tech.com/Product/126.html
AX630Cには、3.2Tops @int8のNPUが搭載されていて、これに最適化された実行環境であるaxengineが含まれている。ONNXモデルのLLMモジュールをonnxruntimeで量子化して小さくして、モデル変換ツールpulsar2を使ってAXモデルに変換する。それをaxengineで動作させることができるというわけ。
これで、AX630Cに最適化されたLLMがCPU単体と比較して数十倍程度の速度で動作する。ドキュメントはこのへんにある。
AXera Pulsar2 Toolchain Instructions Manual — Pulsar2 V3.2 documentation
https://pulsar2-docs.readthedocs.io/en/latest/
変換済みのLLMも配布されている。
GitHub - AXERA-TECH/ax-llm: Explore LLM model deployment based on AXera's AI chips
https://github.com/AXERA-TECH/ax-llm
現在配布されているのは以下のモデル。動作するのものには、8Bとかもあるのね。量子化してあるのかな？
Qwen1.5-0.5B/1.8B/4B
Qwen2-0.5B/1.5B/4B
Qwen2.5-0.5B/1.5B/3B
ChatGLM3-6B
MiniCPM-1B/2B
MiniCPM-V 2.0
TinyLLaMa-1.1B
Llama2-7B
Llama3-8B
Llama3.2-1B/3B
Phi-2
Phi-3-mini
SmolLM-135M/360M
OpenBuddy-Llama3.2-1B
さて、わたしはCoreシリーズは持っていないし、買う予定もないので単体で使うことになる。LLM Moduleは、マイクもスピーカーも内蔵しているので単体で使うことにまったく問題はないだろう。Coreと接続するピンが出ているので、基板としては座りが悪いという問題はある。
とか思っているうちに届いた。なんか、思ったより大きい箱。M5のロゴが入っている。Aliexpressの公式ショップから買ったので、当たり前だけどw
ほとんどがエアキャップだった。
なんかテープがオマケに入っていた。GROVEケーブル一本とかのがうれしいのだけど...
初回ロットのみと書かれていたデバッグボードが付属していた。これはありがたい。
で、このテープ、なんのテープだかさっぱりわからない。
少し引き出してみると、ロゴが書かれているのがわかる。
本体はこれ。薄っぺらい。
背面はCoreと接続するためのピンが出ている。
デバッグボードとフレキが二本。一本は予備かな？
メインSoCはこれ。
4GのDRAM。
こっちは、eMMC 32G。
オリジナル投稿：
M5stack LLM Module買う -1-｜kinneko｜pixivFANBOX
https://kinneko.fanbox.cc/posts/9081178
