- Qwen-MM-Pluginsは既存のAIコーディングエージェントに画像・動画・3Dモデリング・CADなどのマルチモーダル機能を追加できるプラグイン拡張ライブラリ
- Claude Code・Codex・Qwen Code・Gemini CLIなど主要ハーネスに対応し、6種類のケイパビリティをモジュール単位で導入可能
- Apache License 2.0のオープンソースで公開され、ライブラリ自体は無料で利用できる
2026年8月10日、Alibaba CloudのQwenチームは、AIエージェントにマルチモーダル機能をプラグインとして追加するためのオープンソース拡張ライブラリ「Qwen-MM-Plugins」を公開しました！
— Qwen (@Alibaba_Qwen) August 10, 2026
Seeing is just the beginning.
With Qwen-MM-Plugins, turn your favorite agent harness multimodal-native — read images, videos & documents, edit videos, work with 3D/CAD, and more.
From multimodal models → multimodal agents.
Watch it in action:https://t.co/C2jQObXryM pic.twitter.com/X6xQ3Hl4ln
Claude CodeやCodex、Qwen Codeといった主要なAIコーディングエージェントに対して、画像認識・動画解析・Blender 3Dモデリング・FreeCAD設計といった機能を後付けで組み込める点が大きな特徴となっています。「テキストしか扱えないエージェントに、目と手を与える」と表現すれば、その価値が伝わるでしょうか。
この記事では、Qwen-MM-Pluginsの概要から技術アーキテクチャ、6種類のケイパビリティの詳細、導入手順、業界別の活用シーンまでを徹底的に解説します。最後まで読めば、自分のエージェント環境をマルチモーダル対応にアップグレードするための具体的なステップが見えてくるはずです。
＼生成AIを活用して業務プロセスを自動化／
Qwen-MM-Pluginsとは？
Qwen-MM-Pluginsは、Alibaba CloudのQwenチームが開発・公開したAIエージェント向けのマルチモーダル拡張ライブラリです。
GitHub公式リポジトリのタグラインは「Make any agent harness multimodal-native.（あらゆるエージェントハーネスをマルチモーダルネイティブにする）」で、その名のとおり、既存のテキストベースのAIコーディングエージェントに画像・動画・3D・CADなどの処理能力を追加するためのツールセットとなっています。
Qwen-MM-PluginsはQwen3.8-Maxと同時期にリリースされましたが、Qwen3.8-Max専用というわけではなく、Claude Code・Codex・Qwen Code・Gemini CLI・Qoder・OpenClawなど、主要なエージェントハーネスに幅広く対応しています。
提供されるケイパビリティは全部で6種類あり、それぞれ独立してインストール可能です。基礎的な画像・動画・文書読み取り（core）から、長尺動画のQA用メモリグラフ（video-memory）、動画編集・生成（video-edit）、Blender 3Dモデリング（blender）、FreeCADパラメトリックCAD（freecad）、教育用解説動画生成（edu-agent）まで、幅広い領域をカバーしています。
Qwen-MM-Pluginsの仕組み
Qwen-MM-Pluginsのアーキテクチャは、モジュラーかつエージェントハーネス非依存の設計が特徴です。
全体の構成は大きく3層に分かれています。最上位にあるのがエージェントハーネス層で、Claude Code・Codex・Qwen Codeなどのクライアントがここに位置します。
中間層はSkill＋MCPサーバー層で、各ケイパビリティのSkill（SKILL.mdファイル）がエージェントにツールの存在を伝え、MCPサーバーがツール本体を提供する役割を果たしています。最下層はバックエンドAPI／ローカルツール層で、DashScope API（Qwenの画像認識・音声認識・生成系機能）やSerper API（Web検索）、BlenderやFreeCADのローカルプロセスが実行を担います。
MCPサーバーはuvx（uvパッケージマネージャー）によるオンデマンド起動方式を採用しており、手動でpipインストールする必要がありません。必要な機能を呼び出すタイミングで自動的にサーバーが立ち上がる仕組みです。
Qwen-MM-Pluginsの特徴
Qwen-MM-Pluginsの最大の特徴は、ケイパビリティごとの独立インストール設計にあります。
6つのケイパビリティはすべて個別にインストール可能で、coreだけを導入して画像・文書の読み取りを追加することも、blenderだけを導入して3Dモデリング機能を追加することもできます。この粒度の細かさは、環境の肥大化を防ぎたい開発者にとって大きなメリットでしょう。
もう1つの重要な特徴は、ハーネス横断的な互換性です。同じプラグインをClaude CodeでもCodexでもQwen CodeでもGemini CLIでも利用でき、ガイドインストーラー（install.sh）を使えば、インストール・設定・検証・アンインストールをハーネスの違いを意識せずに一括管理できます。
coreケイパビリティに含まれるツールの充実度も注目に値します。画像読み取り（read_image）や動画フレーム抽出（read_video）に加え、OCR・物体検出（grounding）・セグメンテーション（SAM3）・音声認識（ASR）・Web検索・逆画像検索まで、1つのケイパビリティで15種以上のツールが利用可能です。
video-memoryケイパビリティが提供する階層型グラフメモリは、30分以上の長尺動画に対するQAを可能にする独自技術です。初回クエリ時に4階層のグラフ（Root→SuperEvent→MacroEvent→Subgraph）と埋め込みインデックスを自動構築し、以降のクエリではこのグラフをドリルダウンして回答を生成するワークフロー設計となっています。
| ケイパビリティ | 機能概要 | ツール数 | 要APIキー |
|---|---|---|---|
| core | 画像・動画・文書読み取り、OCR、物体検出、Web検索ほか | 15+ | DashScope, Serper |
| video-memory | 長尺動画向け階層型グラフメモリQA | 9 | DashScope |
| video-edit | 画像・動画・音声生成＋編集ワークフロー | 5+ | DashScope |
| blender | Blender 3Dモデリング・マテリアル・ライティング・レンダリング | 22 | 不要 |
| freecad | FreeCADパラメトリックCAD・STEP/STL・FEM解析 | 14 | 不要 |
| edu-agent | 数学・理科の問題を解説動画に変換（Skill-onlyでMCPサーバーなし） | — | DashScope |
Qwen-MM-Pluginsの安全性・制約
Qwen-MM-Pluginsの利用にあたっては、いくつかの制約事項を理解しておきましょう。
まず、coreやvideo-editなどDashScope APIを利用するケイパビリティでは、Alibaba Cloud Model Studio（旧DashScope）のAPIキーが必須です。Web検索系のツールには別途Serper APIキーも必要となります。画像・動画のローカル読み取りやBlender/FreeCADの操作自体にはAPIキーは不要ですが、全機能を活用するには複数のAPIキー管理が前提となる点に留意してください。
Qwen-MM-Pluginsの料金
Qwen-MM-Plugins自体はApache License 2.0のオープンソースソフトウェアであり、ライブラリのインストールや利用に料金は一切発生しません。ただし、各ケイパビリティが内部で利用するAPIには、利用量に応じた従量課金が適用されます。
| 項目 | 料金 |
|---|---|
| Qwen-MM-Pluginsのインストール・利用 | 無料 |
| DashScope API（vision_chat, OCR, 生成系など） | Qwen3.8-Max: 入力$2.00/百万トークン、出力$6.00/百万トークン |
| DashScope API（Qwen-Plus相当のモデル） | 入力$0.40/百万トークン〜 |
| Serper API（Web検索） | 無料枠あり、以降は従量課金 |
| Blender/FreeCADローカル操作 | 無料（APIキー不要） |
| 画像・動画のローカル読み取り | 無料（APIキー不要） |
Qwen-MM-Pluginsのライセンス
Qwen-MM-Pluginsのリポジトリ全体にApache License 2.0が適用されています。
| 利用用途 | 可否 | 備考 |
|---|---|---|
| 商用利用 |  | |
| 改変 | | ソースコードの改変は自由 |
| 再配布 | | 原著作者の表記とライセンスの同梱が必要 |
| 特許利用 | | Apache 2.0に特許ライセンス条項が含まれる |
| 私的利用 | |
Qwen-MM-Pluginsの使い方
Qwen-MM-Pluginsの導入は、ガイドインストーラーを使う方法と、各ハーネスのコマンドで手動インストールする方法の2通りがあります。
ガイドインストーラーで一括セットアップする
最も簡単な方法は、公式のガイドインストーラーを使うことです。1つのスクリプトでインストール・設定・検証・アンインストールをすべて管理できます。
インストーラーをダウンロードして実行
curl -fsSL https://raw.githubusercontent.com/QwenLM/Qwen-MM-Plugins/main/install.sh > install.sh
bash install.sh
対話形式で、導入するケイパビリティとハーネスを選択していきます。Claude Code・Codex・Qoder・OpenClaw・Qwen Code・Gemini CLIに対応しています。
APIキーを設定
DashScope APIやSerper APIを利用するケイパビリティを選んだ場合は、設定ステップでAPIキーの入力を求められます。
bash install.sh configureAPIキーは~/.qwen-mm-plugins/configに保存され、GUIでもターミナルでも共通で読み込まれる仕組みです。
インストール結果を検証
bash install.sh verify各ケイパビリティの環境チェックと--check-systemが実行され、不足しているシステムツール（ffmpegなど）があれば報告されます。
Codex CLIで手動インストールする
Codex CLIを使って個別にインストールする場合は、まずマーケットプレイスを登録し、その後ケイパビリティを追加します。
マーケットプレイスを登録
codex plugin marketplace add https://github.com/QwenLM/Qwen-MM-Plugins.git
ケイパビリティを追加
<cap>にはcore・video-memory・video-edit・blender・freecadのいずれかを指定します。
codex plugin add qwen-mm-plugins-<cap>@qwen-mm-plugins例えば、coreを追加する場合は以下のようになります。
codex plugin add qwen-mm-plugins-core@qwen-mm-plugins
Claude Codeで手動インストールする
Claude Code環境での手順も基本的に同じ流れです。
マーケットプレイスを登録
claude plugin marketplace add https://github.com/QwenLM/Qwen-MM-Plugins.gitケイパビリティをインストール
claude plugin install qwen-mm-plugins-<cap>@qwen-mm-pluginsQwen Codeでインストールする
Qwen Codeの場合は、extensionsコマンドを使用します。
qwen extensions install https://github.com/QwenLM/Qwen-MM-Plugins.git:qwen-mm-plugins-<cap> --consent【業界別】Qwen-MM-Pluginsの活用シーン
Qwen-MM-Pluginsは特定のモデルやハーネスに限定されないオープンなツールであり、マルチモーダル処理が求められるあらゆる領域で活用の余地があります。
建築・製造業
FreeCADケイパビリティによるパラメトリックCAD操作は、設計業務に直接的なインパクトをもたらします。M6ボルトの3Dモデルを自然言語で指示して生成し、STEP/STLファイルとしてエクスポートしたり、FEM解析（有限要素法解析）を実行して構造的な強度を検証したりといった作業を、エージェント経由で効率化できるでしょう。
製造業界における生成AI活用について、詳しく知りたい方は以下の記事も参考にしてみてください。
動画制作・メディア
video-editケイパビリティは、Qwen-Imageによる画像生成・編集、Qwen3-TTS-Flashによるテキスト読み上げ、Wanシリーズによるテキスト-to-ビデオ生成、HappyHorseによる動画編集まで、映像制作のワークフロー全体をカバーしています。video-memoryと組み合わせれば、長尺動画の内容理解と再編集を一連の作業として処理できるようになります。
エンタメ業界における生成AI活用について、詳しく知りたい方は以下の記事も参考にしてみてください。
研究・教育
edu-agentケイパビリティは、数学や理科の問題を入力すると、ステップごとの解説動画を自動生成する機能を持っています。Skill-onlyのアーキテクチャ（MCPサーバーなし）で動作し、Node.js 18以上とhyperframes CLIを使ってレンダリングを行います。教育コンテンツの量産において大きな可能性を秘めたケイパビリティです。
教育業界における生成AI活用について、詳しく知りたい方は以下の記事も参考にしてみてください。
【課題別】Qwen-MM-Pluginsが解決できること
続いては、Qwen-MM-Pluginsが解決できる具体的な課題を、カテゴリごとに整理しておきましょう。
テキストベースのエージェントでは画像・動画を扱えるように
これまでのAIコーディングエージェントは、テキストの読み書きに特化しており、画像の内容を理解したり動画を解析したりする能力を持っていませんでした。Qwen-MM-Pluginsのcoreケイパビリティを導入すれば、既存のエージェント環境を壊すことなく、ダイナミックレゾリューションによる画像・動画・文書の読み取り機能を追加できます。
長尺動画の内容把握のタイムコストをカット
2時間の講義動画や長時間の会議録画から情報を探すのは、人間にとっても大きな負担です。video-memoryの階層型グラフメモリを使えば、初回クエリ時に動画全体の構造を自動インデックス化し、タイムスタンプ付きの回答をドリルダウン形式で取得できるようになります。
3DモデリングやCAD操作のプログラミングを容易に
BlenderやFreeCADをPythonで操作するには、それぞれのAPIに精通する必要がありました。Qwen-MM-Pluginsのblender/freecadケイパビリティは、自然言語の指示をツール呼び出しに変換するため、APIの細かな文法を覚えなくてもモデリング作業を進められるようになります。
Qwen-MM-Pluginsを使ってみた
ここからは、実際にQwen-MM-Pluginsのcoreケイパビリティを導入し、画像読み取り機能の動作を検証してみます。
画像の読み取りとOCRを試す
Codex CLIを起動し、画像ファイルを参照して質問してみます。
ダッシュボード画像はこちら
プロンプトはこちら
@dashboard-4k.png このダッシュボードの数字をすべて読み取って出力結果（一部抜粋）はこちら
coreケイパビリティのread_imageが4K画像をダイナミックレゾリューションで処理し、VLモデルのパッチグリッドに最適化された解像度で読み込んでくれました。続いてocrツールが文字認識を実行し、ダッシュボード上のすべての数値を正確に抽出してくれました。
よくある質問
最後に、Qwen-MM-Pluginsに関して、多くの方が疑問に感じるポイントをQ&A形式でまとめました。
Qwen-MM-Pluginsでエージェントのマルチモーダル拡張を始めよう！
Qwen-MM-Pluginsは、テキストベースのAIエージェントに画像・動画・3D・CADといったマルチモーダル処理能力を後付けで追加できるオープンソース拡張ライブラリです。6種類のケイパビリティを必要に応じて組み合わせられる設計と、主要ハーネス横断の互換性は、今後のエージェント開発において重要な基盤となるでしょう。
AIエージェントにマルチモーダル機能を組み込みたい方や、Blender/FreeCADの自然言語操作に興味がある方は、まずcoreケイパビリティの導入から始めてみることをおすすめします。
最後に
弊社では、AI導入を検討中の企業向けに、業務効率化や新しい価値創出を支援する情報提供・導入支援を行っています。最新のAIを活用し、効率的な業務改善や高度な分析が可能です。
「生成AIで新しいプロダクトを作りたい」「もっと本格的に生成AIを業務に組み込みたい」とお考えの方は、ぜひ株式会社WEELにご相談ください。
開発実績として、
・新規事業室での「リサーチ」「分析」「事業計画検討」を70％自動化するAIエージェント
・社内お問い合わせの1次回答を自動化するRAG型のチャットボット
・過去事例や最新情報を加味して、10秒で記事のたたき台を作成できるAIプロダクト
・お客様からのメール対応の工数を80％削減したAIメール
・サーバーやAI PCを活用したオンプレでの生成AI活用
・生徒の感情や学習状況を踏まえ、勉強をアシストするAIアシスタント
などの開発実績がございます。
生成AIを活用したプロダクト開発の支援内容は、以下のページでも詳しくご覧いただけます。
︎株式会社WEELのサービスを詳しく見る。
アイデア段階でも構いません。まずは無料相談でお気軽にご相談ください。︎生成AIを活用したプロダクト開発・業務効率化について相談する
「生成AIを社内で活用したい」「生成AIの事業をやっていきたい」という方に向けて、生成AI社内セミナー・勉強会をさせていただいております。
セミナー内容や料金については、ご相談ください。
また、大規模言語モデル（LLM）を対象に、言語理解能力、生成能力、応答速度の各側面について比較・検証した資料も配布しております。この機会にぜひご活用ください。
