このFrankenstein AIはClaude Opus、GLM、Qwenを統合し、トップモデルを凌駕する

📄原文全文· trafilatura により自動抽出Gemini 翻譯4382 文字

要約 - AIエンジニアのKyle Hesslingは、JackrongのClaude Opus 4.6とGLM-5.1の蒸留ファインチューンモデルを統合し、一つの「frankenmerge」を作成した。 - 独立して学習された2つのモデルの層の境界で発生するコードの文字化けを修正するため、統合後に「heal fine-tune」が必要となった。 - このモデルは一部のタスクで過剰な推論を行うが、解決可能な問題である。 QwopusがQwenとOpusを統合したことで注目されたのは記憶に新しいが、AIエンジニアのKyle Hesslingは、その手法を応用し、最高の推論モデルの一つであるGLMを組み合わせた。その結果、安価なGPUで動作し、Alibabaの最新の35Bモデルを凌駕する180億パラメータのfrankenmergeが誕生した。パラメータとは、学習中にニューラルネットワークに組み込まれる数値のことで、ニューラルネットワークが調整できるダイヤルのようなものだ。パラメータ数が多いほど、モデルはより多くの知識と複雑さを扱えるようになるが、実行にはより多くのメモリが必要となる。 AIインフラエンジニアであるHesslingは、JackrongのQwen3.5ファインチューンを2つ積み重ねた。Claude 4.6 Opusの推論スタイルをQwenベースモデルに蒸留したQwopus 3.5-9B-v3.5の0層から31層と、同じQwenベース上でz.AIのGLM-5.1教師モデルの推論データを用いて学習されたQwen 3.5-9B-GLM5.1-Distill-v1の32層から63層を組み合わせた。仮説はこうだ。推論の前半にOpusスタイルの構造化された計画を、後半にGLMの問題分解の足場を与えることで、合計64層のモデルを構築する。この手法はパススルー・フランケンマージ（passthrough frankenmerge）と呼ばれ、重みのブレンドや平均化は行わず、生の層を積み重ねるだけである。Qwen 3.5のハイブリッドな線形/フルアテンションアーキテクチャをサポートする既存ツールがなかったため、Hesslingは独自の統合スクリプトを一から書く必要があった。完成したモデルは44の能力テストのうち40をパスし、22 GBのVRAMを必要とするAlibabaのQwen 3.6-35B-A3B MoEを打ち負かした。しかも、Q4_K_M量子化でわずか9.2 GBのメモリで動作する。 NVIDIA RTX 3060でも理論上は問題なく動作する。 Hesslingによれば、このモデルの作成は容易ではなかった。当初の統合ではコードが文字化けしていたからだ。しかし、彼が公開したテストモデルは愛好家の間で一種のバイラルとなった。 Hesslingの最終的な修正は「heal fine-tune」だった。これは基本的にQLoRA（モデルに付録のように埋め込まれ、最終的な出力を強力に条件付けるコード）であり、すべてのアテンションとプロジェクションをターゲットにしている。我々も試してみたが、Qwen、Claude Opus、GLM 5.1をローカル環境で動かせるという魅力は非常に大きいものの、実際にはモデルが推論に長けすぎており、考えすぎてしまう傾向があることがわかった。 MLX量子化バージョン（Macで動作するように最適化されたモデル）を実行するM1 MacBookでテストした際、いつものテストゲームを生成するように指示したところ、推論チェーンが長すぎてトークン制限に達してしまい、ゼロショット対話では動作する結果が得られず、推論結果だけが長く出力された。これは、コンシューマー向けハードウェアでローカルに実行し、実用的なアプリケーションに使いたい人にとっては日常的な障壁となる。少し条件を緩めても状況は厳しかった。「Snakeゲームを書いて」という単純なプロンプトでも、推論に40分以上かかった。結果はGithubリポジトリで確認できる。これはQwopus系統における既知の緊張関係である。Jackrongのv2ファインチューンは、Qwen 3.5の反復的な内部ループや「より経済的に考える」傾向に対処するために構築された。2つの推論蒸留モデルの64層を積み重ねることで、特定のプロンプトにおいてその挙動が増幅されているようだ。これは解決可能な問題であり、オープンソースコミュニティが解決するだろう。ここで重要なのは、より広範なパターンである。

データステータス✓ 全文抽出済み原文を読む（Decrypt）

🔍過去の類似イベント· キーワード + 銘柄照合4 件

2026-04-23

Qwen3.6-27B オープンソース公開「Openclaw、Hermesの第一選択」：AI パフォーマンスは Claude Opus 4.5 と同等、コストは 14 分の 1 に削減

類似度 130%關鍵字 qwen/opus

2026-04-18

Claude Opus 4.7 詳細解説》coding 能力の向上、1M トークン据え置き、実測で分かった欠点とは？

類似度 130%關鍵字 claude/opus

2026-04-17

AnthropicがClaude Opus 4.7を発表、Agentic Workflowsが中心的な役割へ

類似度 130%關鍵字 claude/opus

2026-04-16