完全情報ゲームにおける探索不要型強化学習モデルの包括的開発計画：将棋AIのモデルベースアーキテクチャと学習フロー1. 序論：明示的探索からの脱却と推論の内面化へのパラダイムシフトチェス、将棋、囲碁に代表される完全情報ゲームは、長年にわたり人工知能の推論能力と意思決定アルゴリズムを評価するための最も重要な試金石として機能してきた。2010年代後半、AlphaZeroに代表されるモンテカルロ木探索（MCTS）と深層強化学習（RL）の統合は、これらの複雑なドメインにおいて人間の最高峰を遥かに凌駕する超人的なパフォーマンスを達成した。しかしながら、この成功は実行時（推論時）における膨大な計算資源の消費という重大な代償を伴っている。AlphaZero型のアーキテクチャは、推論プロセスにおいて数万回に及ぶノードの展開とニューラルネットワークの評価を必要とし、その訓練には10 GPU年を超える計算コストが要求されることが報告されている。このような計算資源への過度な依存は、エッジデバイスや厳密なリアルタイム性が求められるシステムへの応用を著しく制限する要因となっている。近年、大規模言語モデル（LLM）や系列モデリングの飛躍的な進展により、明示的な探索木（Search Tree）を用いずに、ニューラルネットワークのパラメータ内部に探索のダイナミクス自体をエンコードする「探索不要（Search-less）」なアプローチが急速に注目を集めている。ダニエル・カーネマンの二重過程理論（System 1の直感的思考とSystem 2の論理的思考）に準えるならば、従来のMCTSは計算負荷の高いSystem 2の外部模倣であった。これに対し、最新の研究はSystem 2の論理的推論プロセスをSystem 1の直感的な順伝播（Forward Pass）の内部に統合しようと試みている。例えば、チェスの分野では、トランスフォーマーモデルがMCTSを一切用いずにグランドマスターレベル（Elo 2750以上）の強さを発揮する「Chessformer（Apollo）」や、A探索の軌跡を学習する「Searchformer」などの革新的な研究が報告されている。これらのモデルは、学習段階においてMCTSやA探索の実行トレースを系列データとして学習し、推論時には前向き伝播のみで最適な行動を予測する能力を獲得している。本計画書は、将棋を強化学習のみで学習させるプロジェクトの包括的な設計図を提示する。最大の特徴は、外部の探索アルゴリズムの計算力に依存して勝利を収めるのではなく、モデル内部の純粋な表現力と推論力によって勝利する「完全探索不要型将棋AI」を構築する点にある。将棋はチェスに比べて盤面が広く（9x9）、さらに「持ち駒（Drop）」という固有のルールが存在するため、状態空間と行動空間が極めて複雑であり、単純なランダム探索では方策が崩壊するリスクが高い。この複雑な課題を解決するため、本計画では完全情報ゲームに限らず、ロボティクス、自然言語処理、世界モデルなどの多様なジャンルにおける最新の研究成果を統合する。具体的には、最新の視覚・空間アーキテクチャであるResTNetやRyfcNetの空間的帰納バイアスと、計算オーダーが線形$O(N)$である最新の系列モデルDecision Mamba、および潜在ダイナミクスを予測する世界モデルUniZeroやDRAMAの概念を融合した革新的なアーキテクチャ「Spatial-Mamba Searchformer (SMS-Net)」を提案し、その学習フローを詳述する。2. 多領域の最新研究から得られるアーキテクチャへの洞察将棋における探索不要型AIを設計するにあたり、盤面ゲームの枠を超えた多様な分野の最新知見をアーキテクチャに反映させることが不可欠である。本セクションでは、自然言語処理、ロボティクス、そしてマルチエージェントシステム等から得られる重要なパラダイムを分析する。2.1 言語モデルと推論の内面化（Internalization of Reasoning）自然言語処理における大規模言語モデル（LLM）は、テキスト生成のみならず、複雑な論理推論やナビゲーションタスクにおいても優れた性能を示している。最新の研究であるSearchformerは、モデルが自律的に問題を解決するプロセスにおいて、明示的な探索アルゴリズム（A*など）の動作をトークン系列として模倣する手法を提案した。この「内部探索（Internal Search）」と呼ばれるアプローチでは、探索木への状態の追加や削除といったダイナミクスが平坦化（Linearized）されたトークン系列として表現される。学習が進むにつれて「エキスパート反復（Expert Iteration）」を通じてモデルが最適化され、最終的には元の探索アルゴリズムよりも少ない推論ステップで最適解を導出できるようになる。また、情報検索の分野においても、LLMを活用してユーザーの検索行動自体を代替・短縮する「Search-less」なパラダイムシフトが起きており、モデル内部での意味的理解が外部探索を凌駕しつつある。2.2 ロボティクス・連続制御におけるオフライン強化学習と系列モデリングロボティクスや連続制御の分野では、強化学習を「条件付き系列モデリング（Conditional Sequence Modeling）」の問題として再定義するDecision Transformer（DT）の枠組みが劇的な成果を上げている。DTは、過去の状態、行動、および将来得られるであろう「目標報酬（Return-to-Go）」の系列を自己回帰的に処理し、価値関数のブートストラップやTD学習における誤差の蓄積を回避する。さらに、Vision-Language-Action（VLA）モデルを用いた最新のロボット制御研究（V-VLAPS）では、未知の分布外（OOD: Out-of-Distribution）状態に直面した際の脆弱性を克服するため、MCTSによる探索に軽量な学習可能価値関数を組み込むことで、単なる模倣学習を超えた堅牢な長期計画を実現している。また、Decision Mambaの研究では、ノイズの多い軌道や次善のデモンストレーションに対する過学習を防ぐため、自己進化的な正則化（Self-Evolution Regularization）を用いた細粒度の状態空間モデリングが提案されており、オフライン強化学習の堅牢性を大幅に向上させている。2.3 世界モデルと潜在空間ダイナミクス（Latent Space Dynamics）ゲームAIの領域では、MuZeroが価値等価性（Value Equivalence）とMCTSを組み合わせることで画期的な成果を挙げたが、長期的な依存関係を捉える必要がある環境では性能が急激に劣化するという限界が指摘されている。この課題に対処するため、UniZeroのようなTransformerベースの潜在世界モデルが提案されている。UniZeroは、潜在状態と暗黙の潜在履歴を分離し、長期間の世界モデルとポリシーの同時最適化を可能にすることで、潜在空間内での効率的な計画（Planning）を実現している。さらに、計算量とメモリの制約を克服するため、状態空間モデル（SSM）であるMambaを活用した世界モデル「DRAMA」が登場している。DRAMAは、Transformerが抱える$O(N^2)$の計算複雑性を$O(N)$に削減しつつ、自己回帰的な状態遷移の予測において高いパラメータ効率（わずか700万パラメータ）と長期的依存関係の獲得に成功している。通信ネットワークの分野においても、分散型ダイナミクスの学習においてマルチエージェント強化学習（MARL）がコードブックを用いた離散トークンモデリングを採用しており、非定常な環境下でも一貫した長期予測を実現している。これらの知見は、将棋における「もしこの行動をとったら盤面はどう変化するか」という内的シミュレーションを、外部の探索木を用いずにモデル内部の潜在空間で実行するための強力な理論的基盤を提供する。3. 提案アーキテクチャ：Spatial-Mamba Searchformer (SMS-Net)将棋は、盤上の駒の移動だけでなく「持ち駒の打込み」という独自のルールにより、他のボードゲームとは一線を画す複雑な状態空間と行動空間を持つ。この空間的・時間的な複雑さをモデル単体の表現力で解決するため、本プロジェクトでは、空間特徴抽出エンコーダと、探索の内面化を担う系列デコーダの2段階構成からなる「Spatial-Mamba Searchformer (SMS-Net)」を設計する。3.1 状態表現と行動空間の高次元定式化モデルへの入力となる状態表現$s_t$は、現在の盤面配置、両対局者の持ち駒の状態、および過去$n$手分の履歴から構成される。行動空間$\mathcal{A}$は、盤上の移動（移動元、移動先、成りの有無）と、持ち駒の打込みの組み合わせで表現される。将棋における持ち駒の打込みは、合法手の分岐数を爆発的に増加させ、未学習段階でのランダムな探索が極めて非効率になる原因となる。研究によれば、特定の局面においてランダムな行動が選択される確率は時間とともに約2.4%に低下し、モデルが探索を行わずに局所的最適解に陥るリスクが存在する。したがって、入力表現の設計には細心の注意が必要となる。入出力の次元構成要素と特徴目的と効果入力テンソル次元$9 \times 9 \times C$（$C \approx 120$〜150チャネル）。自陣・敵陣の各駒種（14種$\times$2）、持ち駒の枚数（各駒最大4〜18枚のワンホット）、過去の手数履歴（通常8ステップ分）、および合法手マスクを含む。盤面の完全な状態と時間的文脈を網羅的に表現する。ChessformerにおけるGAB（Global Attention Bias）アプローチに倣い、履歴を含めることで方策予測の精度を向上させる。行動出力次元$9 \times 9 \times 122$。将棋盤の各マス（81マス）に対する最大122種類の移動方向（八方桂馬飛び含む）および持ち駒の打込みパターン。ネットワークの出力層を行動確率分布として正規化しやすくし、不正な移動の予測を極小化する。また、将棋特有の「入玉（Entering King）」ルール（27点法など）に対応するため、ターンに依存しない絶対的な評価指標（自玉・敵玉の点数計算、敵陣に進入している駒数など）を追加のチャネル特徴量として与えることで、大局的な評価の安定性を担保する。3.2 空間特徴エンコーダ：Ryfc-ResTNetハイブリッドの導入従来のAlphaZeroベースのAI（Leela Chess Zeroや多数の将棋AI）は、標準的な$3 \times 3$の畳み込み層（CNN）を用いたResNetを長らく主流としてきた。しかし、囲碁における「シチョウ（Ladder）」や将棋の飛車・角・香車による遠距離からの「利き（Control）」など、盤面全体にまたがる大局的（Global）な特徴を捉えるためには、$3 \times 3$カーネルでは受容野が極めて狭く、情報が数十層を経由する間に減衰または消失するという致命的な問題がある。これを抜本的に解決するため、本アーキテクチャでは以下の2つの最新視覚モデリング技術を統合した「Ryfc-ResTNet」エンコーダを構築する。第一に、ResTNet (Residual + Transformer) のアーキテクチャ概念を導入する。局所的な特徴抽出に優れるResidualブロックと、盤面全体の長距離な依存関係を大局的に捉えるTransformerブロックを交互に配置するこの構造は、囲碁のシチョウや循環パターンの認識における平均二乗誤差（MSE）を2.58から1.07に半減させ、敵対的攻撃への耐性を劇的に向上させた実績がある。このTransformerによる大局的アテンションは、将棋において盤の端から端まで効く大駒の影響力を正確に評価するために極めて有効である。第二に、第35回世界コンピュータ将棋選手権（WCSC35）で大きな注目を集めたRyfamate Cross Network (RyfcNet) の非対称大型カーネル設計を組み込む。将棋の盤面は$9 \times 9$で固定されているため、標準的な$3 \times 3$カーネルの代わりに、$9 \times 1$および$1 \times 9$の直交する1次元大型カーネル（C-Layer）を使用する。これにより、縦方向および横方向の「利き」を単一の層で完全に包含することが可能となる。さらに、特徴マップのブロードキャスト時に生じる位置情報の喪失を防ぐため、並列して$1 \times 1$カーネルを配置する。この手法は、計算コストを低く抑えながらも、モデルの予測精度と表現力を飛躍的に高める空間的帰納バイアス（Spatial Inductive Bias）を提供する。3.3 系列デコーダと世界モデル：Decision Mambaによる推論の内面化モデルの純粋な表現力で勝利する（Search-less）ためには、通常MCTSが実行する「数手先の状態展開→価値評価→バックプロパゲーション」という論理的推論（System 2）のプロセスを、モデル自身の順伝播計算（System 1）の中に完全に埋め込む「内部探索（Internal Search）」のメカニズムが必要である。Searchformerのアプローチに倣い、この探索木構造をトークン系列として平坦化（Linearize）して学習させる手法を採用する。しかしながら、将棋の複雑な探索木をトークン系列として展開すると、コンテキスト長は数万トークンに達する可能性がある。この長大な系列を、自己注意機構の計算量が系列長の2乗$O(N^2)$に比例して増大する従来のTransformerで処理することは、ハードウェアの制約上非現実的である。そこで、本計画では最新の状態空間モデル（SSM）であり、計算量が系列長に対して線形$O(N)$であるMambaを強化学習に最適化した「Decision Mamba」アーキテクチャを採用する 1 。Decision Mambaは、過去の隠れ状態を明示的にモデリングして時間的情報を効率的に抽出し、さらに状態・行動・目標報酬（Return-to-Go）の三つ組間の局所的な関係を捉える細粒度（Fine-grained）のSSMモジュールを備えている 2 。これにより、ノイズの多い軌道データに対する過学習を防ぎ、ロバストなポリシーを獲得する 2 。さらに、モデルが「盤面を見ずに数手先を推論する」能力を獲得するため、Mambaデコーダの内部に**潜在世界モデル（Latent World Model）**の機能を統合する。これは、DRAMAやUniZeroの設計思想を踏襲するものである。デコーダは、現在の状態表現と仮想的な行動トークンを受け取り、実際の環境と相互作用することなく、潜在空間内での次状態表現（Latent Next State）と予測報酬を生成する。この潜在ダイナミクスの予測能力が、外部の探索アルゴリズム（MCTS）を不要にする中核的な原動力となる。デコーダの機能要素実装技術とアーキテクチャ特徴と期待される効果関連研究系列処理モジュールDecision Mamba (状態空間モデル)計算複雑性$O(N)$による長大な探索軌跡の処理。Transformerと比較してメモリ使用量を約60%削減し、推論遅延を改善する。内部推論メカニズムInternal Search Linearization探索木の展開、評価、バックプロパゲーションの過程をトークン系列として平坦化し、順伝播に組み込む。環境ダイナミクス潜在世界モデル (Mamba Latent Dynamics)盤面の推移を潜在空間（Latent Space）内で自己回帰的に予測し、長期的依存関係をモデル単体で把握する。4. 包括的強化学習フロー（Learning Pipeline）人間の棋譜（教師データ）を一切使用せず、強化学習のみで「探索不要」なモデルをゼロから構築するための包括的なパイプラインを定義する。学習フローは、データ生成、内部探索の蒸留、そして探索レス方針の微調整という3つの明確なフェーズから構成される。4.1 フェーズ1：知識ゼロからの自己対局と探索軌跡の収集（Data Generation）モデルベース学習の基盤となる質の高い軌道（Trajectory）データと、MCTSによる探索の軌跡データを大量に生成する初期フェーズである。AlphaZero型の自己対局は極めて計算コストが高いが、本プロジェクトではこれを効率化するために「初期状態多様化（Initial State Diversification）」を導入する。初期状態多様化の手法では、通常の将棋の平手初期配置だけでなく、ルール上合法であり得る範囲で駒の配置をランダムに並べ替えた（シャッフルした）状態から自己対局を開始する。これにより、強化学習エージェントは限られた計算予算（Compute Budget）の範囲内で極めて多様な局面に遭遇し、特定のオープニング（定跡）への過剰適合を避けながら、ゲームのダイナミクスをより一般的かつ包括的に理解することが可能になる。このフェーズにおいては、教師となる質の高い推論プロセスを収集するため、一時的にMCTSを使用する。ただし、従来のAlphaZeroのように単に「訪問回数に基づく行動確率$\pi$」と「勝敗$z$」のみを記録するのではない。探索の過程において、どのノードが展開され、どの葉ノードが評価され、価値がどのようにバックプロパゲーションされたかという「探索木の動的構造（Search Trace）」そのものを、平坦な系列データとして詳細に記録する。この記録されたプロセスが、後のフェーズでモデルが内面化すべき「推論の思考回路」となる。4.2 フェーズ2：内部探索の蒸留と系列モデリング（Internal Search Distillation）フェーズ1で収集した膨大な軌道と探索トレースのデータを用い、提案アーキテクチャであるSMS-Netを系列モデリングの枠組みで学習させる。このフェーズの最大の目的は、MCTSが外部で行っていた高度な探索能力を、モデル内部の重み（Weights）に蒸留（Distill）することである。入力系列は、Decision Transformerの手法を拡張し、時刻$t$において以下の順序で構築される。
``ここで、内部探索トークン群は、MCTSが高い価値を見出して深く読み進めた潜在的な状態推移や評価値の推移を表す。モデルは、状態$s_t$と目標報酬$\hat{R}_t$（勝利を示す値）を与えられた際に、どのような探索プロセス（$x_t$）を経て最終的な行動（$a_t$）に至るべきかを自己回帰的に予測するよう訓練される。損失関数（Loss Function）は、単純な行動予測の誤差だけでなく、世界モデルとしての予測能力と探索プロセスの模倣精度を総合的に評価するため、以下の要素を組み合わせた複合的な目的関数として定義される。$$\mathcal{L}_{\text{total}} = \mathcal{L}_{\text{policy}} + \alpha \mathcal{L}_{\text{value}} + \beta \mathcal{L}_{\text{dynamics}} + \gamma \mathcal{L}_{\text{search\_trace}}$$$\mathcal{L}_{\text{policy}}$: 真の行動に対するクロスエントロピー損失。$\mathcal{L}_{\text{value}}$: 予測された価値と実際のゲーム結果（勝敗）との間の平均二乗誤差（MSE）。$\mathcal{L}_{\text{dynamics}}$: UniZeroやDRAMAの定式化に倣い、潜在空間における次状態の予測精度を評価する損失。$\mathcal{L}_{\text{search\_trace}}$: モデルが生成した内部推論系列と、MCTSが実際に辿った探索トレースとの間の系列予測損失。4.3 フェーズ3：オンライン強化学習による完全探索レス化の微調整（Searchless RL Fine-Tuning）フェーズ2までの学習を完了したモデルは、与えられた盤面に対してMCTSと同等の推論プロセスを内部で再現し、優れた手を予測できるようになる。しかし、真の「探索不要モデル」を完成させるためには、MCTSという教師を完全に切り離し、モデル自身が環境（将棋盤）と直接相互作用しながら、「より少ない内部推論ステップで最適解を見つける」ように自己最適化する必要がある。この最終フェーズでは、推論時にMCTSを一切使用せず、モデルの順伝播のみで行動を決定して自己対局を行う。学習アルゴリズムには、Decision Transformerをアクター・クリティック基盤に統合した最新のアプローチである**A2C-DT（Advantage Actor-Critic Decision Transformer）**の概念を応用する。具体的な最適化には、PPO（Proximal Policy Optimization）のクリップ付きサロゲート目的関数（Clipped Surrogate Objective）を使用する。方策の極端な更新を防ぐためのクリッピング機構により、複雑な環境下でも安定した学習を保証する。
$$\mathcal{L}^{CLIP}(\theta) = \hat{\mathbb{E}}_t \left[ \min(r_t(\theta)\hat{A}_t, \text{clip}(r_t(\theta), 1-\epsilon, 1+\epsilon)\hat{A}_t) \right]$$（ここで、$r_t(\theta)$は新旧の方策の比、$\hat{A}_t$はアドバンテージ関数を表す）。さらに、Searchformerの研究でその有効性が証明されている**エキスパート反復（Expert Iteration）**を並行して適用する。自己対局で勝利につながった高品質な軌道のみをフィルタリングし、それを新たな学習データとしてバッファに追加する。この過程を繰り返すことで、モデルは無駄な読み（内部探索トークン）を段階的に省略し、System 1の直感とSystem 2の効率的な内部推論のバランスを自律的に最適化していく。最終的には、元のMCTSよりも圧倒的に少ない計算ステップで、同等以上の最適解を導出する能力を獲得する。5. 学習フローと推論エンジンの擬似コード（Pseudocode）本プロジェクトの中核となるアーキテクチャ定義、強化学習パイプライン、および完全探索不要モデルによる推論フローを示すPython風の擬似コードを以下に提示する。Python"""
完全情報ゲーム（将棋）向け探索不要型強化学習の包括的擬似コード
モデル名称: SMS-Net (Spatial-Mamba Searchformer)
基本構成: Ryfc-ResTNet (空間エンコーダ) + Decision Mamba (系列デコーダおよび潜在世界モデル)
"""

import numpy as np
import neural_network_framework as nn

class SMS_Net(nn.Module):
    def __init__(self):
        super(SMS_Net, self).__init__()
        # 1. 空間エンコーダ: Ryfamate Cross Networkの概念に基づく 
        # 9x1, 1x9の直交大型カーネルと1x1並列層をResTNet構造に統合 
        self.spatial_encoder = Ryfc_ResTNet_Hybrid_Encoder(
            input_channels=150,  # 盤面、持ち駒、履歴、合法手マスク等の特徴量
            hidden_dim=512,
            num_blocks=20
        )
        
        # 2. 系列デコーダ: 計算量O(N)のMambaベース状態空間モデル [16, 18]
        # 潜在ダイナミクスを予測する世界モデルとしての機能（DRAMA/UniZeroのアプローチ）を内包 [20, 26]
        self.sequence_decoder = Decision_Mamba_World_Model_Decoder(
            d_model=512,
            state_expansion_factor=2
        )
        
        # 3. 出力ヘッド群
        self.policy_head = nn.Linear(512, 9 * 9 * 122) # 行動予測（移動・持ち駒打込み） 
        self.value_head = nn.Linear(512, 1)            # 価値予測（勝率）
        self.search_token_head = nn.Linear(512, VOCAB_SIZE) # 内部推論トークンの生成 

    def forward(self, target_return, states, past_actions, search_context_tokens=None):
        """
        順伝播処理: 空間特徴と系列特徴を統合し、行動と潜在推移を予測する
        """
        # A. 空間特徴の抽出 (大駒の遠距離の利きなど、大局的依存関係の把握)
        spatial_embeddings = self.spatial_encoder(states)
        
        # B. 系列コンテキストの構築 (Decision Transformerアプローチ )
        # 入力フォーマット:
        context_sequence = build_decision_sequence(target_return, spatial_embeddings, past_actions)
        
        # 学習時かつ探索トレースが存在する場合、系列に結合して模倣を促す
        if search_context_tokens is not None:
            context_sequence = concat(context_sequence, search_context_tokens)
            
        # C. Mambaデコーダによる自己回帰的推論 [17]
        # 推論時は自ら内部探索トークンを生成し、最終的な状態表現を更新する
        decoder_output, next_latent_state = self.sequence_decoder(context_sequence)
        
        # D. 最終予測の出力
        action_logits = self.policy_head(decoder_output)
        value_pred = self.value_head(decoder_output)
        generated_search_tokens = self.search_token_head(decoder_output)
        
        return action_logits, value_pred, next_latent_state, generated_search_tokens

# =====================================================================
# フェーズ1: データ生成（初期状態多様化とMCTS探索トレースの収集）
# =====================================================================
def phase1_data_generation(num_games, compute_budget, teacher_model):
    replay_buffer = ReplayBuffer()
    
    for _ in range(num_games):
        # 初期状態多様化: 合法な範囲で初期盤面をシャッフルし、経験分布を広げる 
        state = initialize_diversified_shogi_board()
        trajectory =
        
        while not state.is_terminal():
            # このフェーズのみMCTSを起動し、質の高い探索過程（トレース）を抽出する
            mcts_policy, search_trace_tokens = execute_mcts_and_log_trace(state, teacher_model, simulations=800)
            
            action = sample_action_from_distribution(mcts_policy)
            
            # 探索木の展開過程（System 2思考）を線形系列として保存 
            trajectory.append({
                'state': state,
                'action': action,
                'search_trace': search_trace_tokens
            })
            state = state.apply_action(action)
            
        # 終局後、勝敗に基づく報酬を各ステップのReturn-to-Goとして割り当てる
        final_reward = compute_game_outcome(state)
        replay_buffer.add(assign_returns_to_go(trajectory, final_reward))
        
    return replay_buffer

# =====================================================================
# フェーズ2 & 3: 内部探索の蒸留と探索レス強化学習の微調整
# =====================================================================
def phase2_3_train_searchless_agent(replay_buffer, model, optimizer):
    for epoch in range(TRAINING_EPOCHS):
        # 軌道バッファからのサンプリング
        batch = replay_buffer.sample_batch(batch_size=1024)
        
        for step_data in batch:
            target_return = step_data['returns_to_go']
            states = step_data['states']
            actions = step_data['actions']
            expert_search_trace = step_data['search_traces']
            
            # フォワードパスの実行
            action_logits, value_pred, next_latent, gen_search_tokens = model.forward(
                target_return, states, actions[:-1], search_context_tokens=expert_search_trace
            )
            
            # 1. 模倣および系列予測損失 (フェーズ2の主目的)
            loss_policy = compute_cross_entropy(action_logits, actions[-1])
            loss_value = compute_mse(value_pred, target_return)
            loss_search = compute_sequence_loss(gen_search_tokens, expert_search_trace) # 思考の模倣 [12]
            
            # 2. 潜在ダイナミクス損失 (世界モデルの学習) 
            actual_next_spatial = model.spatial_encoder(states[-1].get_next_real_state())
            loss_dynamics = compute_latent_mse(next_latent, actual_next_spatial)
            
            # 3. PPOクリップ付きサロゲート損失 (フェーズ3のオンライン微調整用) 
            advantage = target_return - value_pred.detach()
            loss_ppo = compute_ppo_clipped_surrogate_loss(action_logits, actions[-1], advantage, epsilon=0.2)
            
            # 損失の統合と最適化
            total_loss = loss_ppo + 0.5 * loss_value + 0.1 * loss_dynamics + 0.3 * loss_search
            
            optimizer.zero_grad()
            total_loss.backward()
            nn.clip_grad_norm_(model.parameters(), max_norm=1.0)
            optimizer.step()
            
        # エキスパート反復 (Expert Iteration) 
        # モデル単体（MCTSなし）で自己対局を行い、勝利した高品質な軌道のみをバッファに追加する
        if epoch % EVALUATION_FREQUENCY == 0:
            searchless_trajectories = execute_self_play_without_mcts(model)
            winning_trajectories = filter_wins(searchless_trajectories)
            replay_buffer.add(winning_trajectories)

# =====================================================================
# 本番推論時: MCTSを完全に排除した Search-less Action Selection
# =====================================================================
def select_action_searchless(current_state, model):
    """
    推論時: 外部探索（MCTS）を一切行わず、モデルの内部推論のみで着手決定を行う
    """
    target_return = 1.0  # 勝利（最大報酬）を条件付けして推論を誘導 
    history_states, history_actions = get_recent_history(current_state, window_size=8)
    
    # MCTSによる推論コンテキストは与えず、モデル自身に内部トークンを自己回帰的に生成させる [9]
    action_logits, predicted_value, _, _ = model.forward(
        target_return, 
        history_states, 
        history_actions, 
        search_context_tokens=None
    )
    
    # 確率分布からの決定論的選択（Greedy）または温度パラメータ付きサンプリング
    best_action = argmax(action_logits)
    
    return best_action
6. 評価指標とスケーリング戦略強化学習のみで構築された探索不要モデルの真の性能と汎化能力を客観的かつ定量的に評価するため、以下の多角的な指標と検証手法を導入する。6.1 探索非依存状態でのEloレーティング測定将棋プログラムの絶対的な強さを測る基準として、コンピュータ将棋選手権（WCSC）で用いられる標準的な評価環境を使用する。ただし、従来の探索型エンジン（やねうら王、dlshogi等）と比較する際、本モデルはノード展開数（Nodes per second; NPS）が極端に少ない状態（事実上、前向き伝播1回のみのNPS=1または定数）で実行される。Chessformer（Apollo/Zeus）の研究事例に倣い、Stockfishなどのトップエンジンを教師とした直接的な蒸留に依存せず、純粋な自己対局RL環境から探索なしでどこまでEloレーティングをスケールできるかを継続的に測定・検証する。6.2 空間的帰納バイアスと大局的パターンの認識精度囲碁向けのResTNet研究において、シチョウ（Ladder）や広範囲に及ぶ循環パターンの認識精度がモデルの空間理解力の指標とされた。将棋においては、「入玉（Entering King）」時の点数計算や、長手数の連続王手の回避、飛車や角による盤面を横断する「紐付け（防衛機能）」等の大局的特徴の認識における平均二乗誤差（MSE）を評価する。RyfcNetベースの非対称大型カーネル（9x1, 1x9）の効果をアブレーション調査（Ablation Study）で分離・検証し、標準の$3 \times 3$カーネルCNNモデルを用いた場合との精度差を定量的に立証する。6.3 内部探索ダイナミクスの短縮化（Search Dynamics Shortening）Searchformerの研究では、エキスパート反復（Expert Iteration）を通じて学習を進めることで、モデルがベースラインの探索アルゴリズム（A*やMCTS）よりも最大26.8%少ない探索ステップ数で最適解を導き出す自律的最適化能力を獲得したことが示されている。本プロジェクトでも、推論時に生成される内部探索トークンの長さをエポックごとに監視し、学習の進行とともにモデルが直感（System 1）によって不要な枝刈りや無駄な読みを学習し、内部推論ステップが短縮されていく過程を統計的に分析する。6.4 計算効率とハードウェア・スケーリングの優位性本アーキテクチャが、Decision Transformerの代わりに最新のMambaアーキテクチャを採用したことによる恩恵を定量的に測定する。Transformerの$O(N^2)$メモリ計算量に対し、Mambaの$O(N)$スケーリングが、将棋の長期戦（数百手に及ぶ対局履歴と長大な内部探索トークンの保持）においてどの程度のGPUメモリ削減（Footprint reduction）と推論遅延（Latency）の低下をもたらすかを評価する。RATEモデルの比較研究が示すように、Transformer比でメモリ使用量の大幅な削減（最大60%以上）と推論遅延の劇的な低下が期待される。7. 結論と将来展望本計画書は、将棋という極めて複雑な完全情報ゲームにおいて、実行時の明示的な探索（MCTS）に依存することなく、モデルの順伝播による「純粋な推論力（Model Power）」のみで勝利を目指す、強化学習プロジェクトの全容を提示した。最新の研究トレンドに基づき、空間的な大局特徴を非対称カーネルで効率的に捉えるRyfc-ResTNetエンコーダと、長大な履歴や内部探索プロセスを$O(N)$の計算量で処理可能なDecision Mambaデコーダを統合した、革新的な「SMS-Net (Spatial-Mamba Searchformer)」アーキテクチャを提案した。さらに、膨大な計算リソースを必要とするAlphaZero型の学習限界を克服するため、初期状態多様化によって探索の効率を高め、MCTSの探索木を内部表現として系列化して蒸留した後に、エキスパート反復とA2C-DTベースのPPO損失関数によって探索レス方針を極限まで微調整する、三段階の強化学習パイプラインを構築した。このアプローチは、将棋における次世代AIアーキテクチャの提案にとどまらない。ロボティクスにおける連続制御、自動運転システム、創薬における分子設計（RLの活用が急拡大している領域）、さらには複雑な資源割り当て問題など、厳密なリアルタイム意思決定が求められ、かつ深い論理的推論が不可欠なあらゆる自律型エージェントの開発に応用可能な汎用的基盤技術である。推論時の計算コストと応答遅延を極小化しながらも、そのパラメータ内部に強力な世界モデルと探索のダイナミクスを内包するこのパラダイムは、次世代の強化学習システムにおけるデファクトスタンダードとなることが強く示唆される。