Catnip10
固定・共有された参照枝座標軸の上に値を書き込む枝ベースのワークフローのための、決定論的な適合性ベンチマーク。10 分類群と 17 個の凍結された原始枝座標——完全に追跡できるほど小さく、宣言されたすべての座標主張を検証できるだけの構造をもつ。
数値が正しくても、座標が誤っていることがある
比較ゲノミクスのパイプラインは、枝に付随する値——進化速度、残差、経路長——を、参照樹の枝を列とする行列に日常的に格納する。しかしそれが意味をもつのは、列のラベルが、寄与するすべての遺伝子にわたって同じ進化的対象を指し続けている場合だけである。
遺伝子ごとに分類群のカバレッジは異なるため、各遺伝子系統樹は参照樹の収縮となる。分類群を一つ取り除くと、内部節点の次数が 2 になることがある。標準的な樹の簡約はその節点を抑約し、接続する 2 本の辺を 1 本に併合する。併合された辺は構成メンバーの長さの総和を正確に保持しうる——算術は完全である——が、元の 2 本の枝はその遺伝子ではもはや別々に観測できない。
パイプラインがその併合値を、メンバーの一方の名前がついたセルに書き込むと、数値としては妥当でも座標としては妥当ではない。異常終了も起こらず、NA も現れず、算術の正しさだけを確認する検査からは完全に見えない。
Catnip10 が守らせる区別。複合辺 {b₁,b₂} は、簡約樹の辺として、あるいは宣言された複合として、まったく妥当な推定対象である。妥当でないのは、それを b₁ や b₂ の独立した値として扱うことである。端点で定義された経路や簡約辺は正当なネイティブ対象であり、この要件が効くのは、値が共有された全樹枝軸の上で整列・比較・解釈されるときだけである。
グラフ理論的オラクル(graph oracle):来歴を保持するグラフ収縮
グラフ理論的オラクル(graph oracle)は、グラフの削除・収縮と原始枝の帰属伝播によってベンチマークの真値を直接構成する小さなグラフアルゴリズムである。したがって Catnip10 の真値対象は、被監査ワークフローの出力から推定されたものではなく、確定的かつ厳密で、セル単位で検証できる。オラクルが被監査ワークフローの出力を読むことは一切ない。
- 参照樹を凍結し、その辺を原始枝座標
B1…B17として列挙する。各辺は離散的な対象であり、取り除けば分類群の二分割(スプリット)が誘導される。それがラベルの意味を与える。 - ある分類群部分集合について、存在しない分類群を削除し、次数 2 の内部節点をすべて繰り返し抑約して、接続する 2 本の辺を併合する。これは本ベンチマークがモデル化する標準的な樹簡約操作である。
- 抑約のたびに元の辺の帰属を伝播する。生き残った各簡約辺は、自身が吸収した原始枝の集合を保持し、併合では 2 つのメンバー集合の和をとる。何も捨てないため、来歴が失われることはない。
- 帰属の帰結によって各原始枝座標を分類する。生き残った辺の唯一のメンバーであれば
observed、2 本以上を含む辺のメンバーであればNA_fuse、どの生存辺にも含まれなければNA_structとなる。 - 連動する 2 つの台帳を出力する。すべての原始枝座標にちょうど 1 つの状態を割り当てる原始枝座標台帳と、生き残った各複合辺をそのメンバー集合と合計長で記録する複合辺台帳である。
原始枝の同一性と枝長は別々に伝播する。メンバー集合は和集合で、枝長は加算によって更新される。原始枝座標の状態は、最終的なメンバー集合だけから導かれる。
Input:
weighted unrooted tree G = (V,E)
primitive label p(e) and length ℓ(e) for every reference edge
retained tip set S
Initialize:
M(e) = {p(e)}
Delete all tips not in S and their incident edges.
While there exists a suppressible degree-2 internal vertex v:
let e1=(u,v), e2=(v,w)
replace e1,e2,v by e*=(u,w)
M(e*) = M(e1) ∪ M(e2)
ℓ(e*) = ℓ(e1) + ℓ(e2)
For each surviving edge e:
compute its canonical unrooted split key
record [split key, M(e), ℓ(e)]
For each primitive coordinate b:
containers = surviving edges whose member set contains b
if exactly one container exists and M(container) = {b}:
OBSERVED_PRIMITIVE
else if exactly one container exists and |M(container)| > 1:
NA_FUSE
else:
NA_STRUCT
循環しないオラクル。正準スプリット鍵はグラフ簡約の後にのみ計算され、生き残った簡約辺を同定・整列するために用いられる。剪定状態を導くものではない。原始枝座標の状態は、グラフの削除・収縮と、伝播された元の辺の帰属だけから決まる。
このオラクルは、SplitAligner の出力も参加者の出力も、パッケージ固有の枝番号も、参加者固有の写像ロジックも、入力として一切用いない。
歴史的経緯。Catnip10 は、もともと SplitAligner ベンチマークのために開発された独立検証層から生まれた。そのベンチマークディレクトリは歴史的な前身を保存したものである。権威ある Catnip10 のオラクル仕様・真値表・複合辺台帳は、現行の Catnip10 リポジトリで維持されている。
手続きが確定的かつ有限であるため、17 座標すべての期待状態を、ベンチマークが許容する保持分類群部分集合のそれぞれについて、あらかじめ列挙できる——シミュレーションも標本抽出も許容誤差も不要である。当該座標契約が適用され、かつアダプタが検証済みのワークフローについては、凍結オラクルとの不一致は監査可能な適合性ミスマッチを構成する。
3 状態の適用範囲。この固定トポロジーのトイコアの内部では、observed・NA_fuse・NA_struct は排反かつ網羅的である。これはベンチマークの設計上の性質であって、異質な樹を扱うワークフロー一般についての主張ではない。トポロジー由来の欠測は固定トポロジーコアから意図的に除外されているため、この 3 状態はコア外のワークフローに対する完全な状態分類体系を構成しない。
3 つの状態と、それぞれが許すこと
監査全体は、パイプラインが 1 つにまとめてしまいがちな 2 種類の欠測を分けることにかかっている。消失した枝と、融合した枝は同じ出来事ではなく、下流での扱いも異なる。
| 状態 | 座標に何が起きたか | そのセルの値が意味すること |
|---|---|---|
| observed | 原始枝は収縮後も単独の辺として生き残り、他の元の辺は併合されていない。 | 正当。このセルは、その名の枝の独立した値を保持できる。 |
| NA_fuse | 枝は、少なくとも 1 本の他の原始枝とともに、複合辺の内部でのみ生き残っている。複合辺の長さはメンバーの長さの正確な和である。 | 独立した座標としての適格性をもたない。ここにある数値は複合辺のものであって、このメンバーのものではない。算術的に厳密であっても帰属は誤りうる。 |
| NA_struct | 枝は構造的に消失している。この分類群部分集合では、それを含む生存辺が存在しない。 | 未定義。セルが指すべき進化的対象が存在しない。なお、ゼロはこれに当たらない。ゼロは実際に観測されたゼロ値の状態である。 |
公開表での名称。機械可読な真値表では、これら 3 状態は OBSERVED_PRIMITIVE・NA_FUSE・NA_STRUCT と表記される。本ページと図で用いる短い表記はまったく同じ状態を指す。契約にはさらに NA_TOPO がトポロジー由来の欠測用に予約されているが、固定トポロジーの剪定コアはこの状態を生成しない。
最後の行が実務で効く理由。構造的に利用できないセルに入った数値のゼロは、通常の欠測値フィルタを通過し、座標状態が明示的に検証されない限り、下流では実際に観測されたゼロとして扱われうる。欠測コードはソフトウェアの失敗ではなく座標の状態を記述するものであり、NA_struct と真の観測ゼロを見分けることは、数値的な検証だけでは答えられない座標レベルの問いである。
軸 A — 剪定を考慮した座標適格性
第 1 の妥当性軸が問うのはただ 1 点である。剪定と収縮の後、その値は書き込まれた原始全樹座標の値として独立に成立するか。
この剪定実験では、トポロジーと枝長は固定され、真の速度シフト、遺伝子系統樹と種樹の不一致、枝長推定誤差、種樹の不確実性はいずれも導入されない。加えられる摂動は分類群の削除と、それに伴う次数 2 の節点の抑約だけである。したがってこの実験の内部では、座標状態の変化を説明しうる実験的要因は剪定のみとなる。Catnip10 にはこれとは別に、まったく異なる事柄を検証する表現対照が含まれる(下の軸 B)。
あらかじめ規定された 2 つの削除スケジュールが対照的な幾何を与える。表示上の根の側から内側へ進む漸進的グローバル系列と、削除を 1 つのクレード内に集中させる局所系列である。各系列はベースラインを含めて 8 ステップ。樹が小さいため、オラクルは削除可能な分類群のすべての部分集合について各座標の期待状態を列挙することもできる——下の対話パネルが動かしているのがそれである。
適用範囲。これは確定的な存在性・機構性の設計である。剪定だけで数値的妥当性と座標適格性が分離しうることを示し、その分離を検証可能にする。実データでそうした不一致がどれほどの頻度で生じるかの推定ではなく、この実験だけから実際の解析における遺伝子レベルのバイアスを結論することもできない。
軸 B — 表現変化に対して安定な座標同一性と可用性
第 2 の妥当性軸は生物学的な対象を一切変化させない。同じ樹を数学的に等価な別の方法で書き下したときに、同一の正準無根スプリットが同じ座標同一性と宣言された可用状態を保つかどうかを問う。
表示上の根(display root)。樹の表現を直列化・走査するために用いる根の位置。権威ある無根の枝同一性の一部ではなく、枝の同一性はあくまで正準スプリット鍵によって定まる。
これらの表現は厳密な等価物として構成される。分類群集合が同一、正準無根スプリット集合が同一、対応するスプリットの枝長も同一である。異なるのは樹の書き方だけである。
ネイティブ表現
- 基準となる直列化
- 表示上の根は不変
すべての対照が比較される基準点。
直列化・子順序の対照
- 厳密等価な無根樹
- 子の順序を変更
- 表示上の根は不変
検証対象とは無関係な表現変化の陰性対照。座標同一性に関わる数学的対象は変化していないため、出力も変化しないはずである。
表示上の根の変位チャレンジ
- 厳密等価な無根樹
- 同じ分類群、同じ無根スプリット
- 同じスプリット固有の枝長
- 表示上の根が実際に移動
本来の試験。重み付き無根樹の対象はそのままに、直列化に用いる根だけが別の頂点へ移る。
Newick 文字列が変化しても、検証対象の表現変数が変化したことにはならない。樹を書き直すと、バイト列や子の順序、あるいはその両方が変わりうる一方で、表示上の根はまったく動かないことがある。そこで Catnip10 は表示上の根のシグネチャを「直列化された根頂点に接続する分類群集合の非順序分割」として定義し、この軸で参加者を採点する前にそのシグネチャが実際に変化したかどうかを独立に認証する。表示上の根の移動を要求したのに並べ替えしか生じなかった場合は no-op 回帰対照として保持され、適用していないチャレンジをベンチマーク実行が自らに加点することがないようにしている。
子順序の変動は陰性対照であり、不適合が生じると予測される変化ではない。本ページのいかなる記述も、子の並べ替えが一般にワークフローを破綻させるという主張として読まれるべきではない。
4 つの判定
ワークフローの監査は機械的な手続きである。1 つの出力層をアダプタ契約に正規化し、その層がこの座標契約の適用を受けるか(exposure)を宣言すれば、採点器がオラクル台帳とセル単位で突き合わせる。結果はちょうど 4 つの判定のいずれかであり、不適合はそのうち 1 つだけである。
PASS
当該ワークフローは検証対象の座標契約の適用を受け、規定されたベンチマーク条件を満たす。
FAIL
当該ワークフローは検証対象の座標契約の適用を受けるが、規定されたベンチマーク条件に違反する。
NOT-EXPOSED
当該ワークフローが宣言したネイティブ推定対象は、検証対象の座標契約を主張しない。したがってこの契約は適用されない。これは明確な判定であり、データ欠如の婉曲表現ではない。
UNRESOLVED
必要な証拠または有効な試験前提が得られないため、ベンチマークはいずれの側にも裁定できない。
FAIL が何についてのものか。判定は、特定のインタフェースにおける宣言された主張に適用されるものであり、ソフトウェアパッケージ全体に対するものではない。ネイティブな端点・経路対象に対して、原始軸への整列がそもそも主張されていない場合に原始軸 FAIL が与えられることはない。アダプタ検証はさらに別であり、期待行の欠落は入力エラーであって NOT-EXPOSED ではない。
診断的な局在化。これは判定ではなく、ベンチマークの用途の 1 つである。再現する不適合が存在するとき、座標の同一性または可用性が最初に分岐する表現境界を Catnip10 で追跡できる。
匿名ケーススタディ — 適合性監査とはどのようなものか
2 つの枝ベースのワークフローを、グローバル系列の同一の剪定入力で実行し、それぞれが明示的に宣言した exposure に従って凍結座標軸へ写像し監査した。参加者の識別情報は公開版では伏せられている。正確な識別情報、バージョン、アダプタ、実行来歴は封緘アーカイブに保持される。ここでは Method A・Method B として示す。
以下の結果の前提として、まず 1 点。ネイティブな経路の算術は両ワークフローとも厳密であった。いずれかが距離を誤って計算しているという主張はここには一切ない。監査が調べるのは、その正しい数値がどこに書き込まれているかである。
このケーススタディが示すのは剪定適格性の軸である。表現変化に対する安定性は、軸 B の厳密等価対照によって別途検証される。
表示上の根の側からの 7 段階の漸進的削除。各樹は、収縮が各座標に何をもたらすかを示す。赤い破線は座標が構造的に消失したもの、青は複合辺の内部でのみ生き残るもの、黒は影響を受けないものである。
独立したグラフ理論的オラクル(graph oracle)が、各ステップにおけるすべての原始枝座標の期待状態を与える。これが参加者を採点する真値対象である。
| 座標 | t10 | N_12 | t1 | N_13 | t8 | N_14 | N_15 | t7 | t4 | t9 | N_16 | N_17 | t5 | t2 | N_18 | t3 | t6 |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 参照樹 | 1.464364 | 0.138710 | 0.988892 | 0.946668 | 0.082438 | 0.514212 | 0.390203 | 0.905738 | 0.446970 | 0.836004 | 0.737596 | 0.811055 | 0.388108 | 0.685170 | 0.003948 | 0.832916 | 0.007334 |
| main_step1 | NA_struct | NA_fuse | 0.988892 | 0.946668 | 0.082438 | 0.514212 | 0.390203 | 0.905738 | 0.446970 | 0.836004 | NA_fuse | 0.811055 | 0.388108 | 0.685170 | 0.003948 | 0.832916 | 0.007334 |
| main_step2 | NA_struct | NA_fuse | NA_struct | NA_fuse | 0.082438 | 0.514212 | 0.390203 | 0.905738 | 0.446970 | 0.836004 | NA_fuse | 0.811055 | 0.388108 | 0.685170 | 0.003948 | 0.832916 | 0.007334 |
| main_step3 | NA_struct | NA_fuse | NA_struct | NA_fuse | NA_struct | NA_fuse | 0.390203 | 0.905738 | 0.446970 | 0.836004 | NA_fuse | 0.811055 | 0.388108 | 0.685170 | 0.003948 | 0.832916 | 0.007334 |
| main_step4 | NA_struct | NA_fuse | NA_struct | NA_fuse | NA_struct | NA_fuse | NA_fuse | NA_struct | NA_fuse | 0.836004 | NA_fuse | 0.811055 | 0.388108 | 0.685170 | 0.003948 | 0.832916 | 0.007334 |
| main_step5 | NA_struct | NA_fuse | NA_struct | NA_fuse | NA_struct | NA_fuse | NA_struct | NA_struct | NA_struct | NA_fuse | NA_fuse | 0.811055 | 0.388108 | 0.685170 | 0.003948 | 0.832916 | 0.007334 |
| main_step6 | NA_struct | NA_struct | NA_struct | NA_struct | NA_struct | NA_struct | NA_struct | NA_struct | NA_struct | NA_struct | NA_struct | NA_fuse | 0.388108 | 0.685170 | NA_fuse | 0.832916 | 0.007334 |
| main_step7 | NA_struct | NA_struct | NA_struct | NA_struct | NA_struct | NA_struct | NA_struct | NA_struct | NA_struct | NA_struct | NA_struct | NA_fuse | NA_struct | NA_fuse | NA_fuse | 0.832916 | 0.007334 |
Method A は固定・共有の原始枝座標層を宣言しているため、適格性契約が適用される。強調されたセルは、この凍結ベンチマーク構成における座標状態の不一致である。オラクルが独立に観測可能と記録する座標が NA で返ったか、融合により適格でないセルを完全な複合経路量が占めているかのいずれかである。
| ステップ | t10 | N_12 | t1 | N_13 | t8 | N_14 | N_15 | t7 | t4 | t9 | N_16 | N_17 | t5 | t2 | N_18 | t3 | t6 |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 参照樹 | 1.464364 | 0.138710 | 0.988892 | 0.946668 | 0.082438 | 0.514212 | 0.390203 | 0.905738 | 0.446970 | 0.836004 | 0.737596 | 0.811055 | 0.388108 | 0.685170 | 0.003948 | 0.832916 | 0.007334 |
| main_step1 | NA | NA | NA | NA | 0.082438 | 0.514212 | 0.390203 | 0.905738 | 0.446970 | 0.836004 | 0.876306 | 0.811055 | 0.388108 | 0.685170 | 0.003948 | 0.832916 | 0.007334 |
| main_step2 | NA | NA | NA | NA | NA | NA | 0.390203 | 0.905738 | 0.446970 | 0.836004 | 1.822974 | 0.811055 | 0.388108 | 0.685170 | 0.003948 | 0.832916 | 0.007334 |
| main_step3 | NA | NA | NA | NA | NA | NA | NA | 0.905738 | 0.446970 | NA | 2.337186 | 0.811055 | 0.388108 | 0.685170 | 0.003948 | 0.832916 | 0.007334 |
| main_step4 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 2.337186 | 0.811055 | 0.388108 | 0.685170 | 0.003948 | 0.832916 | 0.007334 |
| main_step5 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 0.388108 | 0.685170 | NA | 0.832916 | 0.007334 |
| main_step6 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 0.815003 | 0.832916 | 0.007334 |
| main_step7 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA |
NA_fuse セルに入った複合経路量
N_16: 0.876306 = N_12|N_16 · 1.822974 = N_13|N_12|N_16 · 2.337186 = N_14|N_13|N_12|N_16
N_18: 0.815003 = N_17|N_18
凍結構成での結果
13 オラクルが observed とする座標の脱落
5 融合により適格でないセルを占める完全な複合量
この凍結トイ構成における監査結果の例であり、ソフトウェアのエラー率でも、発生頻度の推定でもない。
ここで示す原始軸契約に対しては NOT-EXPOSED である。Method B のネイティブ対象は端点および経路に紐づくものであり、原始枝長行列と等価ではなく、そもそもそれを主張していない。印のついたセルは誤りではない。正当なネイティブ対象を凍結原始軸へ射影したときにどう見えるかを示している——多くは端点分割による複合量の半分、あるいは単一端点に帰属させた複合量全体である。
| ステップ | t10 | N_12 | t1 | N_13 | t8 | N_14 | N_15 | t7 | t4 | t9 | N_16 | N_17 | t5 | t2 | N_18 | t3 | t6 |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| ネイティブ基準 | 0.732182 | 0.138710 | 0.988892 | 0.946668 | 0.082438 | 0.514212 | 0.390203 | 0.905738 | 0.446970 | 0.836004 | 0.737596 | 0.811055 | 0.388108 | 0.685170 | 0.003948 | 0.832916 | 0.007334 |
| main_step1 | NA | 0.438153 | 0.988892 | 0.946668 | 0.082438 | 0.514212 | 0.390203 | 0.905738 | 0.446970 | 0.836004 | 0.438153 | 0.811055 | 0.388108 | 0.685170 | 0.003948 | 0.832916 | 0.007334 |
| main_step2 | NA | NA | NA | 0.911487 | 0.082438 | 0.514212 | 0.390203 | 0.905738 | 0.446970 | 0.836004 | 0.911487 | 0.811055 | 0.388108 | 0.685170 | 0.003948 | 0.832916 | 0.007334 |
| main_step3 | NA | NA | NA | NA | NA | 1.168593 | 0.390203 | 0.905738 | 0.446970 | 0.836004 | 1.168593 | 0.811055 | 0.388108 | 0.685170 | 0.003948 | 0.832916 | 0.007334 |
| main_step4 | NA | NA | NA | NA | NA | NA | NA | NA | 0.837173 | 0.836004 | 1.168593 | 0.811055 | 0.388108 | 0.685170 | 0.003948 | 0.832916 | 0.007334 |
| main_step5 | NA | NA | NA | NA | NA | NA | NA | NA | NA | 1.586595 | 1.586595 | 0.811055 | 0.388108 | 0.685170 | 0.003948 | 0.832916 | 0.007334 |
| main_step6 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 0.407502 | 0.388108 | 0.685170 | 0.407502 | 0.832916 | 0.007334 |
| main_step7 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 0.750087 | 0.750087 | 0.832916 | 0.007334 |
端点分割による射影
N_16 & N_12: 0.438153 = (N_12|N_16)/2 · N_13 & N_16: 0.911487 = (N_13|N_12|N_16)/2
N_14 & N_16: 1.168593 = (N_14|N_13|N_12|N_16)/2 · N_17 & N_18: 0.407502 = (N_17|N_18)/2
t9 & N_16: 1.586595 = (t9|N_14|N_13|N_12|N_16)/2 · t2 & N_18: 0.750087 = (t2|N_17|N_18)/2
単一端点への完全射影
t4: 0.837173 = t4|N_15
ベースライン行が t10 で異なるのも構成上のものである。端点分割は表示上の根に接する辺を 2 分する。
C と D を並べて読む。入力も算術も同一であり、書き込みの振る舞いだけが異なり、判定も異なる。2 つの手法が主張しているものがそもそも違うからである。この区別は、数値だけを比較する検査からは得られない。座標台帳と宣言された exposure が必要であり、両者が存在する理由がまさにそこにある。
グローバル系列は表示上の根の側から内側へ削除する。局所系列は同数の分類群を 1 つのクレード内に集中して取り除くため、融合と構造的消失がまったく別の場所に生じる。それ以外はすべて同一である。参照樹も、凍結軸も、宣言された exposure も、監査も同じである。
同じグラフ理論的オラクルを、局所の分類群部分集合に対して実行したもの。この台帳はグローバル系列のものとは大きく異なり、融合する座標と消失する座標もほぼ別の集合である。
| 座標 | t10 | N_12 | t1 | N_13 | t8 | N_14 | N_15 | t7 | t4 | t9 | N_16 | N_17 | t5 | t2 | N_18 | t3 | t6 |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 参照樹 | 1.464364 | 0.138710 | 0.988892 | 0.946668 | 0.082438 | 0.514212 | 0.390203 | 0.905738 | 0.446970 | 0.836004 | 0.737596 | 0.811055 | 0.388108 | 0.685170 | 0.003948 | 0.832916 | 0.007334 |
| local_step1 | 1.464364 | 0.138710 | 0.988892 | NA_fuse | NA_struct | NA_fuse | 0.390203 | 0.905738 | 0.446970 | 0.836004 | 0.737596 | 0.811055 | 0.388108 | 0.685170 | 0.003948 | 0.832916 | 0.007334 |
| local_step2 | 1.464364 | 0.138710 | 0.988892 | NA_fuse | NA_struct | NA_fuse | NA_fuse | NA_struct | NA_fuse | 0.836004 | 0.737596 | 0.811055 | 0.388108 | 0.685170 | 0.003948 | 0.832916 | 0.007334 |
| local_step3 | 1.464364 | 0.138710 | 0.988892 | NA_fuse | NA_struct | NA_fuse | NA_struct | NA_struct | NA_struct | NA_fuse | 0.737596 | 0.811055 | 0.388108 | 0.685170 | 0.003948 | 0.832916 | 0.007334 |
| local_step4 | 1.464364 | NA_fuse | NA_fuse | NA_struct | NA_struct | NA_struct | NA_struct | NA_struct | NA_struct | NA_struct | 0.737596 | 0.811055 | 0.388108 | 0.685170 | 0.003948 | 0.832916 | 0.007334 |
| local_step5 | 1.464364 | NA_fuse | NA_fuse | NA_struct | NA_struct | NA_struct | NA_struct | NA_struct | NA_struct | NA_struct | 0.737596 | NA_fuse | NA_struct | NA_fuse | 0.003948 | 0.832916 | 0.007334 |
| local_step6 | 1.464364 | NA_fuse | NA_fuse | NA_struct | NA_struct | NA_struct | NA_struct | NA_struct | NA_struct | NA_struct | NA_fuse | NA_struct | NA_struct | NA_struct | NA_fuse | 0.832916 | 0.007334 |
| local_step7 | 1.464364 | NA_fuse | NA_fuse | NA_struct | NA_struct | NA_struct | NA_struct | NA_struct | NA_struct | NA_struct | NA_fuse | NA_struct | NA_struct | NA_struct | NA_fuse | NA_struct | NA_fuse |
同じ座標契約の適用を受けるワークフロー、同じ固定軸契約であり、今回はオラクルと食い違うセルが 1 つもない。オラクルが独立に観測可能と記録する座標はすべて値を保持し、適格でないセルはすべて空である。7 ステップ全体で強調すべきセルは存在しない。
| ステップ | t10 | N_12 | t1 | N_13 | t8 | N_14 | N_15 | t7 | t4 | t9 | N_16 | N_17 | t5 | t2 | N_18 | t3 | t6 |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 参照樹 | 1.464364 | 0.138710 | 0.988892 | 0.946668 | 0.082438 | 0.514212 | 0.390203 | 0.905738 | 0.446970 | 0.836004 | 0.737596 | 0.811055 | 0.388108 | 0.685170 | 0.003948 | 0.832916 | 0.007334 |
| local_step1 | 1.464364 | 0.138710 | 0.988892 | NA | NA | NA | 0.390203 | 0.905738 | 0.446970 | 0.836004 | 0.737596 | 0.811055 | 0.388108 | 0.685170 | 0.003948 | 0.832916 | 0.007334 |
| local_step2 | 1.464364 | 0.138710 | 0.988892 | NA | NA | NA | NA | NA | NA | 0.836004 | 0.737596 | 0.811055 | 0.388108 | 0.685170 | 0.003948 | 0.832916 | 0.007334 |
| local_step3 | 1.464364 | 0.138710 | 0.988892 | NA | NA | NA | NA | NA | NA | NA | 0.737596 | 0.811055 | 0.388108 | 0.685170 | 0.003948 | 0.832916 | 0.007334 |
| local_step4 | 1.464364 | NA | NA | NA | NA | NA | NA | NA | NA | NA | 0.737596 | 0.811055 | 0.388108 | 0.685170 | 0.003948 | 0.832916 | 0.007334 |
| local_step5 | 1.464364 | NA | NA | NA | NA | NA | NA | NA | NA | NA | 0.737596 | NA | NA | NA | 0.003948 | 0.832916 | 0.007334 |
| local_step6 | 1.464364 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 0.832916 | 0.007334 |
| local_step7 | 1.464364 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA |
不一致セルなし
0 オラクルが observed とする座標の脱落
0 融合適格でないセルを占める複合量
同一の実装、同一の座標契約、異なる事前規定の剪定構成。
これが認証するもの
この構成のみである。局所系列で問題がなかったことはグローバル系列について何も語らず、グローバル系列の結果もこの系列について何も語らない。
原始軸契約に対しては依然として NOT-EXPOSED である。推定対象の境界は動いていないが、射影の特徴は変わる。幾何が異なれば印のつくセルの集合も異なり、融合適格でないセルへの単一端点完全射影も含まれる。
| ステップ | t10 | N_12 | t1 | N_13 | t8 | N_14 | N_15 | t7 | t4 | t9 | N_16 | N_17 | t5 | t2 | N_18 | t3 | t6 |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| ネイティブ基準 | 0.732182 | 0.138710 | 0.988892 | 0.946668 | 0.082438 | 0.514212 | 0.390203 | 0.905738 | 0.446970 | 0.836004 | 0.737596 | 0.811055 | 0.388108 | 0.685170 | 0.003948 | 0.832916 | 0.007334 |
| local_step1 | 0.732182 | NA | 0.988892 | NA | NA | 1.460880 | 0.390203 | 0.905738 | 0.446970 | 0.836004 | 0.737596 | 0.811055 | 0.388108 | 0.685170 | 0.003948 | 0.832916 | 0.007334 |
| local_step2 | 0.732182 | NA | 0.988892 | NA | NA | NA | NA | NA | 0.837173 | 0.836004 | 0.737596 | 0.811055 | 0.388108 | 0.685170 | 0.003948 | 0.832916 | 0.007334 |
| local_step3 | 0.732182 | NA | 0.988892 | NA | NA | NA | NA | NA | NA | 2.296884 | 0.737596 | 0.811055 | 0.388108 | 0.685170 | 0.003948 | 0.832916 | 0.007334 |
| local_step4 | 0.732182 | NA | 1.127602 | NA | NA | NA | NA | NA | NA | NA | 0.737596 | 0.811055 | 0.388108 | 0.685170 | 0.003948 | 0.832916 | 0.007334 |
| local_step5 | 0.732182 | NA | 1.127602 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 1.496225 | 0.003948 | 0.832916 | 0.007334 |
| local_step6 | 0.732182 | NA | 1.127602 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 0.741544 | 0.832916 | 0.007334 |
| local_step7 | 0.732182 | NA | 1.127602 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 0.748878 |
座標として適格でないネイティブ距離
t1: 1.127602 = t1|N_12 · N_14: 1.460880 = N_14|N_13 · t4: 0.837173 = t4|N_15
t9: 2.296884 = t9|N_13|N_14 · t2: 1.496225 = t2|N_17 · N_18: 0.741544 = N_18|N_16
t6: 0.748878 = t6|N_18|N_16
射影における可用性
4 オラクルが observed とする座標が監査射影では利用できない
ベースラインが t10 で異なるのも構成上のものである。端点分割は表示上の根に接する辺を 2 分する。
両方の系列を示す理由。ある剪定幾何で契約を満たしたワークフローが、別の幾何でも満たすことは示されていない。ここでは同じ座標契約の適用を受ける実装が、グローバル系列ではオラクルと食い違い、局所系列では完全に一致する。融合する座標が単に異なるからであり、ワークフローは一方の融合パターンを正しく扱いながら他方を取り違えうる。単一の系列で認証し、そこから一般化することこそ、このベンチマークが防ごうとしている推論である。両方の系列がベンチマークに同梱されているのはそのためである。
オラクルを操作する
分類群を削除すると、台帳の変化を確認できる。表示される状態はすべて、その分類群部分集合に対するオラクルの厳密な答えである。枝を選ぶと、どの座標がそれと融合し、どれが完全に消失するかを確認できる。
SplitAligner が座標を構築し、Catnip10 がそれを検証する
SplitAligner は枝座標の枠組みを構築し解釈する。射影された種樹スプリットによって枝の同一性を定義し、枝の欠測を種類ごとに区別する。Catnip10 は、実装が宣言された座標契約を保存しているかどうかを検証する。両者は異なる問いに答えるものであり、互いに代替しない。
Catnip10 は SplitAligner の検証エコシステムの中で開発された。独立した真値対象の必要性が具体的な形をとったのがそこだったからである。そのオラクルと採点契約は実装非依存であり、真値層はグラフ収縮によって導かれるものであって、答えを SplitAligner に尋ねて得るものではない。SplitAligner は枠組みの参照インフラであり、ベンチマークのオラクルでも、いずれの参加者の正体でもない。
座標系そのもの——射影スプリットがどのように枝の同一性を定義し、欠測がどう分解されるか——については、解説とチュートリアルで詳しく説明している。
自分のワークフローを採点する
採点を受けるために実装を公開する必要はない。1 つの出力層をロングテーブルのアダプタ契約に正規化し、その層の exposure を宣言して採点器を実行すればよい。公開リポジトリには、規範文書、凍結されたベンチマーク入力、オラクルの真値表と複合辺台帳、機械可読なテーブルスキーマ、手法非依存の採点エンジン、合成アダプタの例、そして匿名化された正規化済み参加者出力が含まれる。参加者固有のアダプタ、ソースバージョン、実行コマンドは、参加者の識別につながるため公開されない。
# 軸 A — 固定・共有の原始層が適用対象となるワークフローを採点する
python3 tools/score_participant.py \
--truth oracle/primitive_truth_tables/global_truth.tsv \
--input tutorial/example_scoring/pass_output.tsv \
--exposure tutorial/example_scoring/pass_exposure.tsv \
--cell-output /tmp/catnip10_cells.tsv \
--summary-output /tmp/catnip10_summary.tsv
# 軸 B — まず厳密等価を認証し、それから採点する
python3 tools/certify_representations.py \
--manifest benchmark/representation_controls/representation_manifest.tsv \
--output /tmp/catnip10_representation_certification.tsv
python3 tools/score_representation.py \
--namespace benchmark/reference_tree/branch_namespace.tsv \
--baseline-output tutorial/example_representation_scoring/rep_pass_baseline.tsv \
--equivalent-output tutorial/example_representation_scoring/rep_pass_equivalent.tsv \
--certification /tmp/catnip10_representation_certification.tsv \
--representation-id display_root_shift_true \
--exposure tutorial/example_representation_scoring/rep_pass_exposure.tsv \
--cell-output /tmp/catnip10_rep_cells.tsv \
--summary-output /tmp/catnip10_rep_summary.tsv
# 契約と匿名性のチェック
python3 -m unittest discover -s tests -v
軸 A は採点前に、期待される正準鍵の完全な集合を要求する。欠落・重複・未知・不整合なクロスウォーク行は、参加者の結果ではなくアダプタ検証のエラーである。軸 B は参加者を採点する前に独立に計算された認証記録を要求し、その後、正準スプリット同一性によって出力を整列する。合成された PASS・FAIL・NOT-EXPOSED・真の変位・直列化のみの no-op の各ケースは、いずれもテストスイートで検証されている。権威ある数値資産は TSV ファイルであり、レンダリングされた文書や図はビューであって真値の源ではない。
引用について。SplitAligner と Catnip10 はいずれも二つの論文に依拠しており、引用も両方を通じて行う。座標構築の枠組みについては SplitAligner 本文を、枝同一性の定義とオラクルが計算する座標・状態台帳の一意性についてはグラフ理論的真理値表を引用する。いずれも現時点ではプレプリントである。ベンチマーク資料そのものを用いる場合は、Catnip10 リポジトリを併記する。MIT ライセンスで公開されている。