<?xml version="1.0" encoding="utf-8"?>
<entry xmlns="http://www.w3.org/2005/Atom" xml:base="https://docs.spec-kitty.ai/context/testing-taxonomy/">
  <id>https://docs.spec-kitty.ai/context/testing-taxonomy/</id>
  <title>Context: Testing Taxonomy</title>
  <updated>2026-11-13T00:00:00.000Z</updated>
  <author><name>Spec Kitty</name></author>
  <link rel="alternate" type="text/html" href="https://docs.spec-kitty.ai/context/testing-taxonomy/"/>
  <summary>Glossary context for the testing taxonomy: the canonical pytest-marker categories for the tests/ tree and how to choose markers for a new test file.</summary>
  <content type="html">&lt;h2 id=&quot;context-testing-taxonomy&quot;&gt;Context: Testing Taxonomy&lt;/h2&gt;
&lt;p&gt;Canonical categories for tests in this project’s &lt;code dir=&quot;auto&quot;&gt;tests/&lt;/code&gt; tree. Each category is a pytest marker registered in &lt;code dir=&quot;auto&quot;&gt;pytest.ini&lt;/code&gt; &lt;code dir=&quot;auto&quot;&gt;[pytest] markers&lt;/code&gt;, which registers 41 markers; this page describes the ones a test author chooses most often. The others are &lt;code dir=&quot;auto&quot;&gt;stress&lt;/code&gt;, &lt;code dir=&quot;auto&quot;&gt;timing&lt;/code&gt;, &lt;code dir=&quot;auto&quot;&gt;performance&lt;/code&gt;, &lt;code dir=&quot;auto&quot;&gt;regression&lt;/code&gt;, &lt;code dir=&quot;auto&quot;&gt;p0_repro&lt;/code&gt;, &lt;code dir=&quot;auto&quot;&gt;quarantine&lt;/code&gt;, &lt;code dir=&quot;auto&quot;&gt;corpus&lt;/code&gt;, &lt;code dir=&quot;auto&quot;&gt;agent&lt;/code&gt;, &lt;code dir=&quot;auto&quot;&gt;upgrade&lt;/code&gt;, &lt;code dir=&quot;auto&quot;&gt;docs_scoped&lt;/code&gt; and &lt;code dir=&quot;auto&quot;&gt;no_git_tmp_path&lt;/code&gt;; their meaning is in &lt;code dir=&quot;auto&quot;&gt;pytest.ini&lt;/code&gt;.&lt;/p&gt;
&lt;p&gt;Two architectural tests guard markers. &lt;code dir=&quot;auto&quot;&gt;tests/architectural/test_fast_tier_marker_completeness.py&lt;/code&gt; requires every test under the &lt;code dir=&quot;auto&quot;&gt;make test-fast&lt;/code&gt; directories to carry a marker that the fast-tier expression (&lt;code dir=&quot;auto&quot;&gt;FAST_TIER_MARKERS&lt;/code&gt; in the &lt;code dir=&quot;auto&quot;&gt;Makefile&lt;/code&gt;) names, so it is not silently deselected. &lt;code dir=&quot;auto&quot;&gt;tests/architectural/test_marker_job_completeness.py&lt;/code&gt; checks that every registered marker has a CI home. No test requires a module-level &lt;code dir=&quot;auto&quot;&gt;pytestmark&lt;/code&gt; in every file.&lt;/p&gt;
&lt;p&gt;&lt;strong&gt;How CI selects tests today.&lt;/strong&gt; Per-PR CI runs test modules by path (the module matrix), not by marker. Only nine markers are named by a CI &lt;code dir=&quot;auto&quot;&gt;-m&lt;/code&gt; expression: &lt;code dir=&quot;auto&quot;&gt;corpus&lt;/code&gt;, &lt;code dir=&quot;auto&quot;&gt;e2e&lt;/code&gt;, &lt;code dir=&quot;auto&quot;&gt;fast&lt;/code&gt;, &lt;code dir=&quot;auto&quot;&gt;integration&lt;/code&gt;, &lt;code dir=&quot;auto&quot;&gt;p0_repro&lt;/code&gt;, &lt;code dir=&quot;auto&quot;&gt;performance&lt;/code&gt;, &lt;code dir=&quot;auto&quot;&gt;stress&lt;/code&gt;, &lt;code dir=&quot;auto&quot;&gt;unit&lt;/code&gt; and &lt;code dir=&quot;auto&quot;&gt;windows_ci&lt;/code&gt; (several of them in the nightly only). Other markers are for local selection (&lt;code dir=&quot;auto&quot;&gt;uv run pytest -m &amp;#x3C;marker&gt;&lt;/code&gt;) and for describing the test; the CI roles below say which.&lt;/p&gt;
&lt;p&gt;When choosing a marker for a new test file:&lt;/p&gt;
&lt;ol&gt;
&lt;li&gt;&lt;strong&gt;Start at the category that best describes what kind of &lt;em&gt;behavior&lt;/em&gt; the test asserts&lt;/strong&gt; (unit, integration, contract, architectural, e2e).&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;Add orthogonal markers&lt;/strong&gt; if the test additionally has a property the category alone does not capture (&lt;code dir=&quot;auto&quot;&gt;slow&lt;/code&gt;, &lt;code dir=&quot;auto&quot;&gt;git_repo&lt;/code&gt;, &lt;code dir=&quot;auto&quot;&gt;requires_symlinks&lt;/code&gt;, &lt;code dir=&quot;auto&quot;&gt;platform_linux&lt;/code&gt;, &lt;code dir=&quot;auto&quot;&gt;windows_ci&lt;/code&gt;, …). Multiple markers per file are encouraged when they each carry information.&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;Never leave a test file untagged.&lt;/strong&gt; If the test is for human-driven exploration only, mark it &lt;code dir=&quot;auto&quot;&gt;exploratory&lt;/code&gt; so CI’s &lt;code dir=&quot;auto&quot;&gt;-m &quot;not exploratory&quot;&lt;/code&gt; filter excludes it.&lt;/li&gt;
&lt;/ol&gt;
&lt;p&gt;The categories below are listed by the question they answer.&lt;/p&gt;
&lt;hr&gt;
&lt;h3 id=&quot;unit&quot;&gt;Unit&lt;/h3&gt;









































&lt;table&gt;&lt;thead&gt;&lt;tr&gt;&lt;th&gt;&lt;/th&gt;&lt;th&gt;&lt;/th&gt;&lt;/tr&gt;&lt;/thead&gt;&lt;tbody&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Definition&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;A test that asserts the behavior of a single module in isolation. No subprocess invocation, no real filesystem writes beyond &lt;code dir=&quot;auto&quot;&gt;tmp_path&lt;/code&gt;, no network, no real git. Helper modules may be imported, but third-party services and shell commands are off-limits.&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Use when&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;Testing a pure function, a Pydantic model, a parser, a state-machine transition, or any module whose contract can be exercised by direct calls with synthetic inputs.&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Do NOT use when&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;The test spawns &lt;code dir=&quot;auto&quot;&gt;git&lt;/code&gt;, hits HTTP, drives the CLI through &lt;code dir=&quot;auto&quot;&gt;typer.testing.CliRunner&lt;/code&gt;, or relies on a real &lt;code dir=&quot;auto&quot;&gt;.kittify/&lt;/code&gt; tree it built itself. Use &lt;code dir=&quot;auto&quot;&gt;integration&lt;/code&gt; instead.&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;CI role&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;Default profile for the developer loop. &lt;code dir=&quot;auto&quot;&gt;-m unit&lt;/code&gt; is the fastest meaningful filter and should turn green in seconds.&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Context&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;Testing Taxonomy&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Status&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;canonical&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Applicable to&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;&lt;code dir=&quot;auto&quot;&gt;1.x&lt;/code&gt;, &lt;code dir=&quot;auto&quot;&gt;2.x&lt;/code&gt;&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Related terms&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;&lt;a href=&quot;#fast&quot;&gt;Fast&lt;/a&gt;, &lt;a href=&quot;#integration&quot;&gt;Integration&lt;/a&gt;&lt;/td&gt;&lt;/tr&gt;&lt;/tbody&gt;&lt;/table&gt;
&lt;hr&gt;
&lt;h3 id=&quot;integration&quot;&gt;Integration&lt;/h3&gt;









































&lt;table&gt;&lt;thead&gt;&lt;tr&gt;&lt;th&gt;&lt;/th&gt;&lt;th&gt;&lt;/th&gt;&lt;/tr&gt;&lt;/thead&gt;&lt;tbody&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Definition&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;A test that exercises behavior across module boundaries against real (process-local) collaborators: real filesystem under &lt;code dir=&quot;auto&quot;&gt;tmp_path&lt;/code&gt;, real in-process I/O, real git when explicitly needed. No external network, no spawned long-running services.&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Use when&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;The test verifies that two or more modules compose correctly, that a CLI command produces the expected files on disk via &lt;code dir=&quot;auto&quot;&gt;typer.testing.CliRunner&lt;/code&gt;, or that a charter resolver loads real YAML from a real &lt;code dir=&quot;auto&quot;&gt;.kittify/&lt;/code&gt;.&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Do NOT use when&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;The test only inspects a function’s return value (use &lt;code dir=&quot;auto&quot;&gt;unit&lt;/code&gt;); the test calls a real external network (use &lt;code dir=&quot;auto&quot;&gt;e2e&lt;/code&gt; or &lt;code dir=&quot;auto&quot;&gt;live_adapter&lt;/code&gt;); the test runs against a real git repo with subprocess calls (also add &lt;code dir=&quot;auto&quot;&gt;git_repo&lt;/code&gt;).&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;CI role&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;Run in the standard PR gate. Slower than &lt;code dir=&quot;auto&quot;&gt;unit&lt;/code&gt; but still bounded by file/process latency, not network.&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Context&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;Testing Taxonomy&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Status&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;canonical&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Applicable to&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;&lt;code dir=&quot;auto&quot;&gt;1.x&lt;/code&gt;, &lt;code dir=&quot;auto&quot;&gt;2.x&lt;/code&gt;&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Related terms&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;&lt;a href=&quot;#unit&quot;&gt;Unit&lt;/a&gt;, &lt;a href=&quot;#e2e&quot;&gt;E2E&lt;/a&gt;, &lt;a href=&quot;#git-repo&quot;&gt;Git Repo&lt;/a&gt;&lt;/td&gt;&lt;/tr&gt;&lt;/tbody&gt;&lt;/table&gt;
&lt;hr&gt;
&lt;h3 id=&quot;contract&quot;&gt;Contract&lt;/h3&gt;









































&lt;table&gt;&lt;thead&gt;&lt;tr&gt;&lt;th&gt;&lt;/th&gt;&lt;th&gt;&lt;/th&gt;&lt;/tr&gt;&lt;/thead&gt;&lt;tbody&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Definition&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;A consumer-surface test that pins the shape of an external public API this project depends on (currently the &lt;code dir=&quot;auto&quot;&gt;spec-kitty-events&lt;/code&gt; and &lt;code dir=&quot;auto&quot;&gt;spec-kitty-tracker&lt;/code&gt; PyPI packages and the pinned service assets). The test fails when an upstream contract changes in a way that would break this CLI’s consumption.&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Use when&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;You are asserting that a serialized event envelope matches a published schema, that a tracker bind payload carries the right keys, or that a fixture from &lt;code dir=&quot;auto&quot;&gt;contracts/fixtures/&lt;/code&gt; validates against a Pydantic model from &lt;code dir=&quot;auto&quot;&gt;spec_kitty_events&lt;/code&gt;.&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Do NOT use when&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;The test exercises &lt;em&gt;internal&lt;/em&gt; CLI-only behavior with no external contract — that is &lt;code dir=&quot;auto&quot;&gt;unit&lt;/code&gt; or &lt;code dir=&quot;auto&quot;&gt;integration&lt;/code&gt;. The test exercises a runtime end-to-end flow — that is &lt;code dir=&quot;auto&quot;&gt;e2e&lt;/code&gt;.&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;CI role&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;A contract failure is by definition a blocking upstream regression. No CI &lt;code dir=&quot;auto&quot;&gt;-m contract&lt;/code&gt; gate exists today; contract tests run by path in the module matrix.&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Context&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;Testing Taxonomy&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Status&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;canonical&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Applicable to&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;&lt;code dir=&quot;auto&quot;&gt;1.x&lt;/code&gt;, &lt;code dir=&quot;auto&quot;&gt;2.x&lt;/code&gt;&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Related terms&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;&lt;a href=&quot;#integration&quot;&gt;Integration&lt;/a&gt;, &lt;a href=&quot;#e2e&quot;&gt;E2E&lt;/a&gt;&lt;/td&gt;&lt;/tr&gt;&lt;/tbody&gt;&lt;/table&gt;
&lt;hr&gt;
&lt;h3 id=&quot;architectural&quot;&gt;Architectural&lt;/h3&gt;









































&lt;table&gt;&lt;thead&gt;&lt;tr&gt;&lt;th&gt;&lt;/th&gt;&lt;th&gt;&lt;/th&gt;&lt;/tr&gt;&lt;/thead&gt;&lt;tbody&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Definition&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;A test that asserts an architectural invariant — layer dependency rules (via pytestarch), import-boundary scans, shared-package boundary, naming conventions, schema enforcement, “this directory may not import that subsystem”, “every test file must declare a marker”, etc. These tests do not run product code; they introspect the source tree.&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Use when&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;You are pinning a rule about the structure of the codebase, not the behavior of any single module.&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Do NOT use when&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;The test calls product code (that is &lt;code dir=&quot;auto&quot;&gt;unit&lt;/code&gt; or &lt;code dir=&quot;auto&quot;&gt;integration&lt;/code&gt;). The test only verifies an external contract (that is &lt;code dir=&quot;auto&quot;&gt;contract&lt;/code&gt;).&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;CI role&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;No CI &lt;code dir=&quot;auto&quot;&gt;-m&lt;/code&gt; expression names it; architectural tests run by path, and CI’s cross-cutting lane runs &lt;code dir=&quot;auto&quot;&gt;tests/architectural/&lt;/code&gt; in full. These tests are the rule book for refactors.&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Context&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;Testing Taxonomy&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Status&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;canonical&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Applicable to&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;&lt;code dir=&quot;auto&quot;&gt;2.x&lt;/code&gt;&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Related terms&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;&lt;a href=&quot;#contract&quot;&gt;Contract&lt;/a&gt;&lt;/td&gt;&lt;/tr&gt;&lt;/tbody&gt;&lt;/table&gt;
&lt;hr&gt;
&lt;h3 id=&quot;e2e&quot;&gt;E2E&lt;/h3&gt;









































&lt;table&gt;&lt;thead&gt;&lt;tr&gt;&lt;th&gt;&lt;/th&gt;&lt;th&gt;&lt;/th&gt;&lt;/tr&gt;&lt;/thead&gt;&lt;tbody&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Definition&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;An end-to-end test that drives the full CLI as a subprocess (or via &lt;code dir=&quot;auto&quot;&gt;typer.testing.CliRunner&lt;/code&gt; with maximum integration depth), against a realistic &lt;code dir=&quot;auto&quot;&gt;.kittify/&lt;/code&gt; tree, and asserts the user-visible outcome (files produced, exit code, observable side-effects). May be slow.&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Use when&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;You are verifying a whole user journey — &lt;code dir=&quot;auto&quot;&gt;spec-kitty specify&lt;/code&gt; → &lt;code dir=&quot;auto&quot;&gt;plan&lt;/code&gt; → &lt;code dir=&quot;auto&quot;&gt;tasks&lt;/code&gt; → &lt;code dir=&quot;auto&quot;&gt;implement&lt;/code&gt; → &lt;code dir=&quot;auto&quot;&gt;review&lt;/code&gt; — or a multi-command flow that no single module owns.&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Do NOT use when&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;A single CLI invocation in-process is sufficient — that is usually &lt;code dir=&quot;auto&quot;&gt;integration&lt;/code&gt;.&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;CI role&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;Selected by &lt;code dir=&quot;auto&quot;&gt;-m e2e&lt;/code&gt; in the nightly run, not per PR. Often paired with &lt;code dir=&quot;auto&quot;&gt;-m slow&lt;/code&gt; when wall-clock exceeds the slow threshold.&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Context&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;Testing Taxonomy&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Status&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;canonical&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Applicable to&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;&lt;code dir=&quot;auto&quot;&gt;2.x&lt;/code&gt;&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Related terms&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;&lt;a href=&quot;#integration&quot;&gt;Integration&lt;/a&gt;, &lt;a href=&quot;#slow&quot;&gt;Slow&lt;/a&gt;&lt;/td&gt;&lt;/tr&gt;&lt;/tbody&gt;&lt;/table&gt;
&lt;hr&gt;
&lt;h3 id=&quot;adversarial&quot;&gt;Adversarial&lt;/h3&gt;









































&lt;table&gt;&lt;thead&gt;&lt;tr&gt;&lt;th&gt;&lt;/th&gt;&lt;th&gt;&lt;/th&gt;&lt;/tr&gt;&lt;/thead&gt;&lt;tbody&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Definition&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;A security or fuzz-style test that asserts the system rejects malicious or malformed inputs (CSV formula injection, path traversal, malformed YAML, oversized payloads, etc.) without crashing or leaking.&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Use when&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;The test feeds hostile input to a parser, validator, file reader, or network handler and verifies safe rejection or sanitization.&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Do NOT use when&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;The test verifies normal happy-path validation — that is &lt;code dir=&quot;auto&quot;&gt;unit&lt;/code&gt; or &lt;code dir=&quot;auto&quot;&gt;integration&lt;/code&gt;.&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;CI role&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;Run alongside the regression suite; a failure indicates a real security regression.&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Context&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;Testing Taxonomy&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Status&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;canonical&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Applicable to&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;&lt;code dir=&quot;auto&quot;&gt;2.x&lt;/code&gt;&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Related terms&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;&lt;a href=&quot;#contract&quot;&gt;Contract&lt;/a&gt;&lt;/td&gt;&lt;/tr&gt;&lt;/tbody&gt;&lt;/table&gt;
&lt;hr&gt;
&lt;h3 id=&quot;doctrine&quot;&gt;Doctrine&lt;/h3&gt;









































&lt;table&gt;&lt;thead&gt;&lt;tr&gt;&lt;th&gt;&lt;/th&gt;&lt;th&gt;&lt;/th&gt;&lt;/tr&gt;&lt;/thead&gt;&lt;tbody&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Definition&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;A smoke or integration test against the charter offering package — verifying that directives, tactics, paradigms, styleguides, toolguides, procedures, agent profiles, and mission step contracts load correctly from &lt;code dir=&quot;auto&quot;&gt;src/charter/offering/&lt;/code&gt;, merge across layers (built-in / org / project), and surface through &lt;code dir=&quot;auto&quot;&gt;CharterOfferingService&lt;/code&gt;.&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Use when&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;The test exercises the three-layer charter offering, the DRG (doctrine reference graph) loader, profile resolution, or the offering catalog.&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Do NOT use when&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;The test is for charter-side composition (use &lt;code dir=&quot;auto&quot;&gt;unit&lt;/code&gt; and let the file live under &lt;code dir=&quot;auto&quot;&gt;tests/charter/&lt;/code&gt;) or for a single doctrine helper function (use &lt;code dir=&quot;auto&quot;&gt;unit&lt;/code&gt;).&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;CI role&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;No CI &lt;code dir=&quot;auto&quot;&gt;-m doctrine&lt;/code&gt; gate exists; use &lt;code dir=&quot;auto&quot;&gt;uv run pytest -m doctrine&lt;/code&gt; locally for fast feedback on doctrine drift.&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Context&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;Testing Taxonomy&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Status&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;canonical&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Applicable to&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;&lt;code dir=&quot;auto&quot;&gt;2.x&lt;/code&gt;&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Related terms&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;&lt;a href=&quot;#unit&quot;&gt;Unit&lt;/a&gt;, &lt;a href=&quot;#integration&quot;&gt;Integration&lt;/a&gt;&lt;/td&gt;&lt;/tr&gt;&lt;/tbody&gt;&lt;/table&gt;
&lt;hr&gt;
&lt;h3 id=&quot;fast&quot;&gt;Fast&lt;/h3&gt;









































&lt;table&gt;&lt;thead&gt;&lt;tr&gt;&lt;th&gt;&lt;/th&gt;&lt;th&gt;&lt;/th&gt;&lt;/tr&gt;&lt;/thead&gt;&lt;tbody&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Definition&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;A performance characterization, not a behavioral category. The marker declares the test runs in well under a second per item, performs no subprocess work, no git, no network, and no heavy fixture setup. Orthogonal to the unit/integration/contract category — both a &lt;code dir=&quot;auto&quot;&gt;unit&lt;/code&gt; test and an &lt;code dir=&quot;auto&quot;&gt;integration&lt;/code&gt; test may be &lt;code dir=&quot;auto&quot;&gt;fast&lt;/code&gt; if they happen to be quick.&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Use when&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;The test reliably finishes in sub-second wall-clock and has no I/O fan-out. Mark it &lt;code dir=&quot;auto&quot;&gt;fast&lt;/code&gt; so the inner developer loop (&lt;code dir=&quot;auto&quot;&gt;uv run pytest -m fast&lt;/code&gt;) selects it.&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Do NOT use when&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;The test does anything that depends on subprocess timing, git fetches, network, or large fixture trees. Marking such a test &lt;code dir=&quot;auto&quot;&gt;fast&lt;/code&gt; poisons the fast lane and slows everyone’s loop.&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;CI role&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;The inner-loop selector. &lt;code dir=&quot;auto&quot;&gt;-m fast&lt;/code&gt; is what developers should be able to run between every edit and have green in seconds.&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Context&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;Testing Taxonomy&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Status&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;canonical&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Applicable to&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;&lt;code dir=&quot;auto&quot;&gt;1.x&lt;/code&gt;, &lt;code dir=&quot;auto&quot;&gt;2.x&lt;/code&gt;&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Related terms&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;&lt;a href=&quot;#slow&quot;&gt;Slow&lt;/a&gt;, &lt;a href=&quot;#unit&quot;&gt;Unit&lt;/a&gt;&lt;/td&gt;&lt;/tr&gt;&lt;/tbody&gt;&lt;/table&gt;
&lt;hr&gt;
&lt;h3 id=&quot;slow&quot;&gt;Slow&lt;/h3&gt;









































&lt;table&gt;&lt;thead&gt;&lt;tr&gt;&lt;th&gt;&lt;/th&gt;&lt;th&gt;&lt;/th&gt;&lt;/tr&gt;&lt;/thead&gt;&lt;tbody&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Definition&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;A performance characterization declaring the test takes &gt;30 seconds wall-clock per item (&lt;code dir=&quot;auto&quot;&gt;pytest.ini&lt;/code&gt;), requires heavy setup (wheel build, distribution install, large fixture tree), or otherwise should not run on every developer save. Orthogonal to category — an &lt;code dir=&quot;auto&quot;&gt;integration&lt;/code&gt; or &lt;code dir=&quot;auto&quot;&gt;e2e&lt;/code&gt; test may also be &lt;code dir=&quot;auto&quot;&gt;slow&lt;/code&gt;.&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Use when&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;The test reliably exceeds 30 seconds, builds a wheel, installs a venv, or runs a Docker setup.&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Do NOT use when&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;The test could be made fast by isolating a dependency or by writing a leaner fixture — fix the test first, then re-evaluate the marker.&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;CI role&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;Excluded from the inner loop (&lt;code dir=&quot;auto&quot;&gt;uv run pytest -m &quot;not slow&quot;&lt;/code&gt;) and run in dedicated slow / nightly gates.&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Context&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;Testing Taxonomy&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Status&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;canonical&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Applicable to&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;&lt;code dir=&quot;auto&quot;&gt;1.x&lt;/code&gt;, &lt;code dir=&quot;auto&quot;&gt;2.x&lt;/code&gt;&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Related terms&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;&lt;a href=&quot;#fast&quot;&gt;Fast&lt;/a&gt;, &lt;a href=&quot;#e2e&quot;&gt;E2E&lt;/a&gt;, &lt;a href=&quot;#distribution&quot;&gt;Distribution&lt;/a&gt;&lt;/td&gt;&lt;/tr&gt;&lt;/tbody&gt;&lt;/table&gt;
&lt;hr&gt;
&lt;h3 id=&quot;git-repo&quot;&gt;Git Repo&lt;/h3&gt;









































&lt;table&gt;&lt;thead&gt;&lt;tr&gt;&lt;th&gt;&lt;/th&gt;&lt;th&gt;&lt;/th&gt;&lt;/tr&gt;&lt;/thead&gt;&lt;tbody&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Definition&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;A test that creates a real git repository (via &lt;code dir=&quot;auto&quot;&gt;git init&lt;/code&gt;, &lt;code dir=&quot;auto&quot;&gt;subprocess.run&lt;/code&gt;, or the &lt;code dir=&quot;auto&quot;&gt;GitRepo&lt;/code&gt; fixture) and exercises real git plumbing — commits, branches, worktrees, refs.&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Use when&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;The test calls &lt;code dir=&quot;auto&quot;&gt;git init&lt;/code&gt; / &lt;code dir=&quot;auto&quot;&gt;git commit&lt;/code&gt; / &lt;code dir=&quot;auto&quot;&gt;git worktree add&lt;/code&gt; either directly or through a fixture, and the assertion depends on real git state.&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Do NOT use when&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;The test only inspects in-memory git metadata (the bundled &lt;code dir=&quot;auto&quot;&gt;GitRepo&lt;/code&gt; dataclass without &lt;code dir=&quot;auto&quot;&gt;git init&lt;/code&gt;) — that’s &lt;code dir=&quot;auto&quot;&gt;unit&lt;/code&gt;.&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;CI role&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;No CI &lt;code dir=&quot;auto&quot;&gt;-m git_repo&lt;/code&gt; gate exists; select it locally with &lt;code dir=&quot;auto&quot;&gt;-m git_repo&lt;/code&gt; when the host’s git binary or version is suspect.&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Context&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;Testing Taxonomy&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Status&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;canonical&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Applicable to&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;&lt;code dir=&quot;auto&quot;&gt;1.x&lt;/code&gt;, &lt;code dir=&quot;auto&quot;&gt;2.x&lt;/code&gt;&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Related terms&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;&lt;a href=&quot;#integration&quot;&gt;Integration&lt;/a&gt;&lt;/td&gt;&lt;/tr&gt;&lt;/tbody&gt;&lt;/table&gt;
&lt;hr&gt;
&lt;h3 id=&quot;distribution&quot;&gt;Distribution&lt;/h3&gt;









































&lt;table&gt;&lt;thead&gt;&lt;tr&gt;&lt;th&gt;&lt;/th&gt;&lt;th&gt;&lt;/th&gt;&lt;/tr&gt;&lt;/thead&gt;&lt;tbody&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Definition&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;A test that builds a wheel from the working tree, installs it into a temporary venv, and verifies the installed surface (&lt;code dir=&quot;auto&quot;&gt;spec-kitty --version&lt;/code&gt;, CLI commands work from a fresh install with no &lt;code dir=&quot;auto&quot;&gt;SPEC_KITTY_TEMPLATE_ROOT&lt;/code&gt; override, etc.). Catches the “works on developer machine, fails on PyPI install” gap.&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Use when&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;The test asserts an invariant about the installed package — packaged data files are present, entry points resolve, templates ship correctly.&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Do NOT use when&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;The test runs against the source tree without installing — that’s &lt;code dir=&quot;auto&quot;&gt;unit&lt;/code&gt;, &lt;code dir=&quot;auto&quot;&gt;integration&lt;/code&gt;, or &lt;code dir=&quot;auto&quot;&gt;e2e&lt;/code&gt; depending on scope.&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;CI role&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;Always paired with &lt;code dir=&quot;auto&quot;&gt;slow&lt;/code&gt; (wheel build + install is heavy). Excluded from the &lt;code dir=&quot;auto&quot;&gt;make test-fast&lt;/code&gt; tier; no CI &lt;code dir=&quot;auto&quot;&gt;-m distribution&lt;/code&gt; gate exists.&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Context&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;Testing Taxonomy&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Status&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;canonical&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Applicable to&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;&lt;code dir=&quot;auto&quot;&gt;1.x&lt;/code&gt;, &lt;code dir=&quot;auto&quot;&gt;2.x&lt;/code&gt;&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Related terms&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;&lt;a href=&quot;#slow&quot;&gt;Slow&lt;/a&gt;, &lt;a href=&quot;#e2e&quot;&gt;E2E&lt;/a&gt;&lt;/td&gt;&lt;/tr&gt;&lt;/tbody&gt;&lt;/table&gt;
&lt;hr&gt;
&lt;h3 id=&quot;platform-darwin--platform-linux&quot;&gt;Platform Darwin / Platform Linux&lt;/h3&gt;









































&lt;table&gt;&lt;thead&gt;&lt;tr&gt;&lt;th&gt;&lt;/th&gt;&lt;th&gt;&lt;/th&gt;&lt;/tr&gt;&lt;/thead&gt;&lt;tbody&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Definition&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;A test that asserts OS-specific behavior (case-insensitive FS on macOS, POSIX path semantics on Linux, etc.). No conftest skips them automatically, so a carrier must skip itself on the wrong platform.&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Use when&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;The test would always fail or always pass on the wrong platform regardless of code correctness.&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Do NOT use when&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;The test is cross-platform but happens to be written on one OS — that is the default; no platform marker needed.&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;CI role&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;No collected test carries either marker today (both are in the &lt;code dir=&quot;auto&quot;&gt;CI_INVISIBLE&lt;/code&gt; ledger of &lt;code dir=&quot;auto&quot;&gt;test_marker_job_completeness.py&lt;/code&gt;); the &lt;code dir=&quot;auto&quot;&gt;make test-fast&lt;/code&gt; tier excludes &lt;code dir=&quot;auto&quot;&gt;platform_darwin&lt;/code&gt;.&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Context&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;Testing Taxonomy&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Status&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;canonical&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Applicable to&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;&lt;code dir=&quot;auto&quot;&gt;1.x&lt;/code&gt;, &lt;code dir=&quot;auto&quot;&gt;2.x&lt;/code&gt;&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Related terms&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;&lt;a href=&quot;#windows-ci&quot;&gt;Windows CI&lt;/a&gt;&lt;/td&gt;&lt;/tr&gt;&lt;/tbody&gt;&lt;/table&gt;
&lt;hr&gt;
&lt;h3 id=&quot;windows-ci&quot;&gt;Windows CI&lt;/h3&gt;









































&lt;table&gt;&lt;thead&gt;&lt;tr&gt;&lt;th&gt;&lt;/th&gt;&lt;th&gt;&lt;/th&gt;&lt;/tr&gt;&lt;/thead&gt;&lt;tbody&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Definition&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;A test that must pass on the native windows-latest CI job. Auto-skipped on non-Windows hosts via the top-level conftest. Covers Windows-specific hook execution, file-backed auth storage, path helpers, worktree fallback, regression guards for Windows path quirks.&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Use when&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;The test exercises code that has a Windows-specific code path (CRLF handling, drive letters, junction points, case-insensitive but case-preserving FS).&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Do NOT use when&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;The test passes on every OS — no platform marker needed.&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;CI role&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;Run on the &lt;code dir=&quot;auto&quot;&gt;windows-latest&lt;/code&gt; matrix leg; skipped on every other host.&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Context&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;Testing Taxonomy&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Status&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;canonical&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Applicable to&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;&lt;code dir=&quot;auto&quot;&gt;2.x&lt;/code&gt;&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Related terms&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;&lt;a href=&quot;#platform-darwin--platform-linux&quot;&gt;Platform Darwin / Platform Linux&lt;/a&gt;&lt;/td&gt;&lt;/tr&gt;&lt;/tbody&gt;&lt;/table&gt;
&lt;hr&gt;
&lt;h3 id=&quot;requires-symlinks&quot;&gt;Requires Symlinks&lt;/h3&gt;









































&lt;table&gt;&lt;thead&gt;&lt;tr&gt;&lt;th&gt;&lt;/th&gt;&lt;th&gt;&lt;/th&gt;&lt;/tr&gt;&lt;/thead&gt;&lt;tbody&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Definition&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;A test that needs functioning symlink support on the host filesystem. The marker itself skips nothing: carriers use a fixture that reports symlink support (for example &lt;code dir=&quot;auto&quot;&gt;symlink_factory&lt;/code&gt; in &lt;code dir=&quot;auto&quot;&gt;tests/adversarial/conftest.py&lt;/code&gt;) and skip themselves where symlinks are unavailable (some Windows configurations, restricted CI runners).&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Use when&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;The test creates or follows a symlink as part of its setup or assertion.&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Do NOT use when&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;The test uses only hard links, directory junctions, or path resolution.&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;CI role&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;Runs by path in the standard suite; the test skips itself on hosts without symlink support.&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Context&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;Testing Taxonomy&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Status&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;canonical&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Applicable to&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;&lt;code dir=&quot;auto&quot;&gt;2.x&lt;/code&gt;&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Related terms&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;&lt;a href=&quot;#windows-ci&quot;&gt;Windows CI&lt;/a&gt;&lt;/td&gt;&lt;/tr&gt;&lt;/tbody&gt;&lt;/table&gt;
&lt;hr&gt;
&lt;h3 id=&quot;live-adapter&quot;&gt;Live Adapter&lt;/h3&gt;









































&lt;table&gt;&lt;thead&gt;&lt;tr&gt;&lt;th&gt;&lt;/th&gt;&lt;th&gt;&lt;/th&gt;&lt;/tr&gt;&lt;/thead&gt;&lt;tbody&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Definition&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;A test that calls the real Anthropic API (or any other live external service) instead of a mocked adapter. Always opt-in; default CI excludes it via &lt;code dir=&quot;auto&quot;&gt;-m &quot;not live_adapter&quot;&lt;/code&gt;.&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Use when&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;The test verifies behavior that only the real service can validate (rate-limit handling, real model responses, real authentication).&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Do NOT use when&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;A mocked adapter can simulate the contract — use &lt;code dir=&quot;auto&quot;&gt;unit&lt;/code&gt; or &lt;code dir=&quot;auto&quot;&gt;integration&lt;/code&gt; with a mock.&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;CI role&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;Excluded from default runs; activated only when API credentials are present and the contract needs live verification.&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Context&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;Testing Taxonomy&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Status&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;canonical&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Applicable to&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;&lt;code dir=&quot;auto&quot;&gt;2.x&lt;/code&gt;&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Related terms&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;&lt;a href=&quot;#contract&quot;&gt;Contract&lt;/a&gt;, &lt;a href=&quot;#integration&quot;&gt;Integration&lt;/a&gt;&lt;/td&gt;&lt;/tr&gt;&lt;/tbody&gt;&lt;/table&gt;
&lt;hr&gt;
&lt;h3 id=&quot;asyncio&quot;&gt;Asyncio&lt;/h3&gt;









































&lt;table&gt;&lt;thead&gt;&lt;tr&gt;&lt;th&gt;&lt;/th&gt;&lt;th&gt;&lt;/th&gt;&lt;/tr&gt;&lt;/thead&gt;&lt;tbody&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Definition&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;A test that requires the &lt;code dir=&quot;auto&quot;&gt;pytest-asyncio&lt;/code&gt; event-loop fixture to run a coroutine. Marker is set automatically by &lt;code dir=&quot;auto&quot;&gt;pytest-asyncio&lt;/code&gt; when the test function is &lt;code dir=&quot;auto&quot;&gt;async def&lt;/code&gt; (the project’s &lt;code dir=&quot;auto&quot;&gt;asyncio_mode = auto&lt;/code&gt;), so explicit tagging is optional but harmless.&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Use when&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;The test function is &lt;code dir=&quot;auto&quot;&gt;async def&lt;/code&gt;. The marker is informational; the asyncio plugin handles execution.&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Do NOT use when&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;The test is sync; the marker has no effect.&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;CI role&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;Implicit. The marker exists to allow &lt;code dir=&quot;auto&quot;&gt;-m asyncio&lt;/code&gt; selection if a project ever needs to isolate async-only failures.&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Context&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;Testing Taxonomy&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Status&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;canonical&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Applicable to&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;&lt;code dir=&quot;auto&quot;&gt;2.x&lt;/code&gt;&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Related terms&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;—&lt;/td&gt;&lt;/tr&gt;&lt;/tbody&gt;&lt;/table&gt;
&lt;hr&gt;
&lt;h3 id=&quot;timeout&quot;&gt;Timeout&lt;/h3&gt;









































&lt;table&gt;&lt;thead&gt;&lt;tr&gt;&lt;th&gt;&lt;/th&gt;&lt;th&gt;&lt;/th&gt;&lt;/tr&gt;&lt;/thead&gt;&lt;tbody&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Definition&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;A per-test wall-clock budget enforced by &lt;code dir=&quot;auto&quot;&gt;pytest-timeout&lt;/code&gt;. The marker carries a numeric argument: &lt;code dir=&quot;auto&quot;&gt;@pytest.mark.timeout(N)&lt;/code&gt;. Different in shape from the categorical markers above.&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Use when&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;A test exercises a code path that could hang (poll loop, retry, network read without timeout) and must fail loudly rather than block the suite.&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Do NOT use when&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;The test naturally completes in a bounded time; the marker adds noise.&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;CI role&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;Hangs become test failures rather than CI infrastructure failures.&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Context&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;Testing Taxonomy&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Status&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;canonical&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Applicable to&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;&lt;code dir=&quot;auto&quot;&gt;2.x&lt;/code&gt;&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Related terms&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;&lt;a href=&quot;#slow&quot;&gt;Slow&lt;/a&gt;&lt;/td&gt;&lt;/tr&gt;&lt;/tbody&gt;&lt;/table&gt;
&lt;hr&gt;
&lt;h3 id=&quot;no-readiness-stub&quot;&gt;No Readiness Stub&lt;/h3&gt;









































&lt;table&gt;&lt;thead&gt;&lt;tr&gt;&lt;th&gt;&lt;/th&gt;&lt;th&gt;&lt;/th&gt;&lt;/tr&gt;&lt;/thead&gt;&lt;tbody&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Definition&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;An opt-out from the autouse readiness-stub fixture that the tracker CLI test suite installs by default. The test wires its own readiness machinery and would be perturbed by the stub. Introduced for mission 082 tracker CLI tests.&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Use when&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;The test exercises the real readiness path of a tracker CLI command and must not be patched by the default stub.&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Do NOT use when&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;The test is fine with the default stubbed readiness — most tests are.&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;CI role&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;Not used by gate filters. No autouse readiness-stub fixture exists in &lt;code dir=&quot;auto&quot;&gt;tests/&lt;/code&gt; today and no test carries the marker, so it has no effect.&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Context&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;Testing Taxonomy&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Status&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;canonical&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Applicable to&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;&lt;code dir=&quot;auto&quot;&gt;2.x&lt;/code&gt;&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Related terms&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;—&lt;/td&gt;&lt;/tr&gt;&lt;/tbody&gt;&lt;/table&gt;
&lt;hr&gt;
&lt;h3 id=&quot;non-sandbox&quot;&gt;Non Sandbox&lt;/h3&gt;









































&lt;table&gt;&lt;thead&gt;&lt;tr&gt;&lt;th&gt;&lt;/th&gt;&lt;th&gt;&lt;/th&gt;&lt;/tr&gt;&lt;/thead&gt;&lt;tbody&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Definition&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;A test that is structurally incompatible with &lt;code dir=&quot;auto&quot;&gt;mutmut&lt;/code&gt;’s forked sandbox (subprocess CLI calls, whole-codebase AST walks, wheel builds, or repo-state fixtures outside &lt;code dir=&quot;auto&quot;&gt;also_copy&lt;/code&gt;). Documented in ADR &lt;code dir=&quot;auto&quot;&gt;docs/adr/2.x/2026-04-20-1&lt;/code&gt;.&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Use when&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;The test fails inside &lt;code dir=&quot;auto&quot;&gt;mutmut&lt;/code&gt;’s forked-sandbox environment because of one of the structural reasons above.&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Do NOT use when&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;The test runs cleanly in &lt;code dir=&quot;auto&quot;&gt;mutmut&lt;/code&gt;.&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;CI role&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;Excluded from mutation-testing runs; runs normally in the standard suite.&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Context&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;Testing Taxonomy&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Status&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;canonical&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Applicable to&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;&lt;code dir=&quot;auto&quot;&gt;2.x&lt;/code&gt;&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Related terms&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;&lt;a href=&quot;#flaky&quot;&gt;Flaky&lt;/a&gt;&lt;/td&gt;&lt;/tr&gt;&lt;/tbody&gt;&lt;/table&gt;
&lt;hr&gt;
&lt;h3 id=&quot;flaky&quot;&gt;Flaky&lt;/h3&gt;









































&lt;table&gt;&lt;thead&gt;&lt;tr&gt;&lt;th&gt;&lt;/th&gt;&lt;th&gt;&lt;/th&gt;&lt;/tr&gt;&lt;/thead&gt;&lt;tbody&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Definition&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;A test that passes in the standard suite but is non-deterministic under &lt;code dir=&quot;auto&quot;&gt;mutmut&lt;/code&gt; or forked pipelines. Each entry is debt — the goal is to root-cause and remove the marker, not to accumulate them. See ADR &lt;code dir=&quot;auto&quot;&gt;docs/adr/2.x/2026-04-20-1&lt;/code&gt;.&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Use when&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;A test passes in the main suite but observably fails under &lt;code dir=&quot;auto&quot;&gt;mutmut&lt;/code&gt; for reasons unrelated to mutation coverage. Add this marker AND open an issue to root-cause it.&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Do NOT use when&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;The test is genuinely broken in the main suite — that is a bug, not flakiness.&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;CI role&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;Excluded from mutation runs. Each entry has an open issue; reviewers should track the count down, not up.&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Context&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;Testing Taxonomy&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Status&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;canonical&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Applicable to&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;&lt;code dir=&quot;auto&quot;&gt;2.x&lt;/code&gt;&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Related terms&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;&lt;a href=&quot;#non-sandbox&quot;&gt;Non Sandbox&lt;/a&gt;&lt;/td&gt;&lt;/tr&gt;&lt;/tbody&gt;&lt;/table&gt;
&lt;hr&gt;
&lt;h3 id=&quot;orchestrator-smoke--availability--fixtures--happy-path--review-cycles--parallel&quot;&gt;Orchestrator Smoke / Availability / Fixtures / Happy Path / Review Cycles / Parallel&lt;/h3&gt;









































&lt;table&gt;&lt;thead&gt;&lt;tr&gt;&lt;th&gt;&lt;/th&gt;&lt;th&gt;&lt;/th&gt;&lt;/tr&gt;&lt;/thead&gt;&lt;tbody&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Definition&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;A family of fine-grained markers for the orchestrator test suite. Each marker selects a slice: &lt;code dir=&quot;auto&quot;&gt;orchestrator_smoke&lt;/code&gt; (basic agent invocation), &lt;code dir=&quot;auto&quot;&gt;orchestrator_availability&lt;/code&gt; (agent availability detection), &lt;code dir=&quot;auto&quot;&gt;orchestrator_fixtures&lt;/code&gt; (fixture loading), &lt;code dir=&quot;auto&quot;&gt;orchestrator_happy_path&lt;/code&gt; (E2E happy paths), &lt;code dir=&quot;auto&quot;&gt;orchestrator_review_cycles&lt;/code&gt; (review approval/rejection cycles), &lt;code dir=&quot;auto&quot;&gt;orchestrator_parallel&lt;/code&gt; (parallel execution and dependency graphs).&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Use when&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;The test specifically exercises one of these orchestrator concerns and wants to be selectable independently of the broader suite.&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Do NOT use when&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;The test is a generic unit/integration test that happens to touch the orchestrator — use the category marker instead.&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;CI role&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;No collected test carries these markers today; they are listed in the &lt;code dir=&quot;auto&quot;&gt;CI_INVISIBLE&lt;/code&gt; ledger of &lt;code dir=&quot;auto&quot;&gt;test_marker_job_completeness.py&lt;/code&gt;.&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Context&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;Testing Taxonomy&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Status&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;canonical&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Applicable to&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;&lt;code dir=&quot;auto&quot;&gt;2.x&lt;/code&gt;&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Related terms&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;—&lt;/td&gt;&lt;/tr&gt;&lt;/tbody&gt;&lt;/table&gt;
&lt;hr&gt;
&lt;h3 id=&quot;core-agent--extended-agent&quot;&gt;Core Agent / Extended Agent&lt;/h3&gt;









































&lt;table&gt;&lt;thead&gt;&lt;tr&gt;&lt;th&gt;&lt;/th&gt;&lt;th&gt;&lt;/th&gt;&lt;/tr&gt;&lt;/thead&gt;&lt;tbody&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Definition&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;&lt;code dir=&quot;auto&quot;&gt;core_agent&lt;/code&gt; declares the test requires a core-tier agent runtime to be available (fails if unavailable). &lt;code dir=&quot;auto&quot;&gt;extended_agent&lt;/code&gt; declares the test prefers an extended-tier agent but skips cleanly when unavailable.&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Use when&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;The test invokes a real agent runtime and the test’s value depends on which tier ran it.&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Do NOT use when&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;The test mocks the agent runtime — no agent marker needed.&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;CI role&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;Differentiates “agent must be there or fail loudly” (&lt;code dir=&quot;auto&quot;&gt;core_agent&lt;/code&gt;) from “agent nice-to-have, skip on absence” (&lt;code dir=&quot;auto&quot;&gt;extended_agent&lt;/code&gt;).&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Context&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;Testing Taxonomy&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Status&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;canonical&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Applicable to&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;&lt;code dir=&quot;auto&quot;&gt;2.x&lt;/code&gt;&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Related terms&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;&lt;a href=&quot;#live-adapter&quot;&gt;Live Adapter&lt;/a&gt;&lt;/td&gt;&lt;/tr&gt;&lt;/tbody&gt;&lt;/table&gt;
&lt;hr&gt;
&lt;h3 id=&quot;exploratory&quot;&gt;Exploratory&lt;/h3&gt;









































&lt;table&gt;&lt;thead&gt;&lt;tr&gt;&lt;th&gt;&lt;/th&gt;&lt;th&gt;&lt;/th&gt;&lt;/tr&gt;&lt;/thead&gt;&lt;tbody&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Definition&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;A test intended for human-driven exploration only, not for CI runs. Gives the test a marker without obligating CI to execute it.&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Use when&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;The test is a scratchpad for a developer to spike a behavior interactively, depends on a particular local state, or is too costly to run on every PR.&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Do NOT use when&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;The test is meant to enforce a contract — promote it to a real category marker and stabilise it.&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;CI role&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;No CI workflow passes &lt;code dir=&quot;auto&quot;&gt;-m &quot;not exploratory&quot;&lt;/code&gt;; the marker is in the &lt;code dir=&quot;auto&quot;&gt;CI_INVISIBLE&lt;/code&gt; ledger of &lt;code dir=&quot;auto&quot;&gt;test_marker_job_completeness.py&lt;/code&gt; because no collected test carries it. Do not normalize it.&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Context&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;Testing Taxonomy&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Status&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;canonical&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Applicable to&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;&lt;code dir=&quot;auto&quot;&gt;2.x&lt;/code&gt;&lt;/td&gt;&lt;/tr&gt;&lt;tr&gt;&lt;td&gt;&lt;strong&gt;Related terms&lt;/strong&gt;&lt;/td&gt;&lt;td&gt;—&lt;/td&gt;&lt;/tr&gt;&lt;/tbody&gt;&lt;/table&gt;</content>
</entry>
