mahiyama/sae-splade-ja-310m

sbintuitions/modernbert-ja-310m をベースとした、日本語の学習型疎検索 (Learned Sparse Retrieval) モデルです。SPLADE と同じく、文章を非ゼロの次元が少ない疎ベクトルに変換し、クエリと文書のベクトルの内積で検索します。 通常の SPLADE では出力の各次元が語彙のトークンに対応しますが、このモデルではスパースオートエンコーダ (Sparse Autoencoder、SAE) が学習した 65,536 個の特徴に対応します。SAE-SPLADE (Zong et al., 2026) と同じく MLM ヘッドの代わりに SAE の符号化器を出力層に使い、SPLARE (Formal et al., 2026) と同じく SAE の重みを固定して検索用に学習しました。 SAE は、モデルの隠れ状態を、多数の特徴のうちごく少数だけが値を持つ形に分解するモデルです。このモデルは、ベースモデルの最終層の隠れ状態で事前に学習した Top-K SAE を出力層に使います。トークンごとに値の大きい上位 16 個の特徴だけを残し、文章全体で特徴ごとの最大値を取ったものが出力の疎ベクトルです。 非ゼロとして残す次元を、クエリは値の大きい上位 40 次元、文書は上位 400 次元に絞ることを推奨しています。クエリには encodequery、文書には encodedocument を使うことで、この絞り込みが自動で行われます。 SPLADE と違って各次元がトークンに対応しないため、出力のベクトルを語の一覧として読むことはできません。各次元 (SAE の特徴) は、文脈の中のトークンが表す特定の語や話題 (例: 軍事・国防)、表現 (例: 情報提供の依頼)、文の形 (例: 文末の句点や疑問符) などのまとまりに反応します。どの次元が何に反応しているか (言語モデルで付けた特徴の名前と、その当てはまり) と、検索の順位がどの種類の特徴に支えられているかの分析を、interpretability.md にまとめています。 読み込んだままの設定では、検索の計算量を減らすため、クエリは値の大きい上位 40 次元、文書は上位 400 次元だけを残し、残りを 0 にします。出力の次元数は 65,536 のままです。この上限は encodequery と encodedocument で適用され、encode では適用されません。上限をなくした場合との比較は次のとおりです。 nDCG@10 は、後述の JMTEB v2 lite の検索 11 タスクの平均です。FLOPs は、クエリと文書の両方で非ゼロになる次元の数の期待値で、転置インデックスで検索するときの計算量の目安です。小さいほど速く検索できます。 上限は、読み込んだ後に出力層の属性を変えて外せます。 JMTEB v2 lite (MTEB での名前は JMTEB-lite(v1)) の検索 11 タスクで、nDCG@10 を測定しました。 文書は 8,192 トークンまで入力し、クエリは切り詰めていません。各クエリの上位 1,000 件を MTEB と同じ方法で採点しました。MultiLongDocRetrieval は dev、それ以外は test の分割の値です。 JMTEB v2 lite と JMTEB v2 で共通の 7 タスク (JaGovFaqs、NLP Journal の 4 タスク、Mintaka、MultiLongDocRetrieval) について、平均 nDCG@10 を公開されている値と並べました。パラメータ数が 1B 以下のモデルの抜粋です。公開値は各モデルの条件 (入力の接頭辞、最大入力長など)…