制度免疫
—— 制度が自らの悪用、腐敗、硬直、善意による害を感知し、止め、救い、学び直すために
凪は、誤らない制度を目指さない。
誤りが起きても、隠されず、止められ、救済され、学び直せる制度を目指す。
1. 制度免疫の位置づけ
制度は、正しい理念から始まっても変質する。
悪意によって支配や排除に利用されることがある。善意や効率化によって、人間の窓口、異議、沈黙、離脱が削られることがある。危機への一時的な対応が恒久的な権限になることも、監査や救済の仕組み自身が新しい権力になることもある。
制度免疫とは、こうした変質を感知し、被害を抑え、当事者を救済し、制度を修正・縮小・終了できるようにする横断的な機能である。
制度免疫は、非所有・共鳴・呼吸に並ぶ第四原則ではない。三原則と、自由、異議、沈黙、拒否、離脱、非観測、基礎呼吸を、制度の運用過程で守り続けるための機能である。
2. 制度免疫が扱う四つの変質
悪意による変質
- 制度を監視、支配、排除、選別に利用する。
- 批判者、申立人、離脱者へ不利益を与える。
- 凪の名称や認証を偽装し、利益や権威を得る。
- データ、AI、指標を本人の理解を超えて利用する。
- 緊急権限を意図的に恒久化する。
善意による変質
- 効率化のために人間窓口を廃止する。
- 全員参加を求め、話せない人や参加しない人を排除する。
- 公平性のために人を一律に採点する。
- 安全のための監視を常態化する。
- 文化継承のために本人の同意や文脈を失わせる。
構造による変質
- 権限、予算、データ、専門知が一部へ集中する。
- 離脱や異議申立てに過大な費用、時間、能力を要求する。
- 負担が少数者、地域、ケア担当者、現場へ偏る。
- 形式上存在する代替経路が、実際には利用できない。
- 制度の維持や成長が、本来の目的を上回る。
時間による変質
- 一時的な例外が恒常的な規則になる。
- 前提となる社会、技術、人口、環境が変わる。
- かつて妥当だった安全策が、新しい害を生む。
- 監査側と運営側が癒着する。
- 役割を終えた制度が自己延命する。
制度免疫が問うのは、誰が悪人かではない。
どの力が、どの経路で、誰の選択肢と呼吸を狭めているか。
3. 制度免疫の憲法的な床
制度免疫の判断によっても、原則として次を奪ってはならない。
- 基礎的な生活へのアクセス
- 人格と尊厳
- 異議、沈黙、拒否、離脱
- AIを使わない自由
- 観測されない自由
- 人による相談と再審
- 記録の閲覧、訂正、削除、移行
- 被害を申し立てたことによって報復されない権利
安全のために例外的な制限が必要な場合は、必要性、相当性、期限、解除条件、代替手段、独立審査を必要とする。
4. 五層の制度免疫
制度免疫は、一つの機関が一続きに実行する仕組みではない。感知、検証、保護、救済、学習の五層が、互いに牽制しながら働く。
4.1 感知層
- 当事者からの申立て
- 匿名・秘匿された通報
- 内部職員からの通報
- 離脱者への任意調査
- 統計的な変化
- 少数意見、未回答事項、沈黙の増加
- ブラックボックス監査
- レッドチームによる攻撃検証
- 他地域、外部研究者、権利擁護団体からの指摘
苦情件数が少ないことを、安全の証拠とみなさない。声を上げにくい制度では、件数が少ないこと自体が異常でありうる。
4.2 検証層
事実、推測、解釈、責任を分け、何が起きたか、誰が影響を受けたか、被害が継続しているか、設計・運用・予算・技術・文化のどこに原因があるかを調べる。
制度運営者だけで調査を完結させず、当事者、独立した専門家、異なる立場の検証主体を含める。調査そのものが新しい露出や負担を生まないよう、必要な情報だけを扱う。
4.3 保護層
重大かつ回復困難な害が疑われる場合、被害の拡大を防ぐための暫定措置をとる。
- 機能の一時停止
- データ収集・共有の凍結
- AI分類・推薦・推定の停止
- 制裁や不利益処分の保留
- 緊急権限の縮小
- 代替経路、避難、安全の確保
- 証拠と記録の保全
暫定措置は処罰や最終判断ではない。対象範囲、理由、根拠、有効期限、解除条件、異議申立て、継続審査の日を明示する。
制度免疫には、止める力が必要である。
しかし、止め続ける力を独占させてはならない。
4.4 救済層
- 誤った処分、評価、利用停止の取り消し
- 記録の訂正、削除、利用停止
- 金銭的・生活上の補償
- 医療、住居、教育、通信、安全への接続
- 人間による独立再審
- 信用や名誉の回復
- 同じ制度へ戻らずに済む代替手段
- 継続的な安全確認
被害を受けた人へ、制度改善への参加、対話、赦し、関係回復を義務づけない。救済を受けるために、私生活や感情を必要以上に提供させない。
4.5 学習層
- 権限を分ける。
- データ収集を減らす。
- 人による経路を増やす。
- 指標や評価制度を修正・廃止する。
- 任期、期限、失効条件を設ける。
- 異議申立てを簡単にする。
- 予算、便益、負担の偏りを直す。
- 制度を縮小、分割、移管、終了する。
制度の存続は目的ではない。役割を終えた制度を終了できることも、制度免疫の働きである。
5. 単一の第三者権力をつくらない
制度免疫には、実際に責任を負う組織や人が必要である。しかし、監査、調査、停止、裁定、制裁、救済、改定を、一つの第三者機関へ集中させてはならない。
制度免疫は、当事者・権利擁護者、独立した相談・救済機関、市民パネル、無作為抽出された参加者、専門家、大学、NGO、他地域の検証主体、司法・準司法的な審査主体、内部通報部門、限定的な支援を行うAIなどが異なる役割を担う、多中心的な構造とする。
機関は存在してよい。しかし、どの機関も制度免疫全体を所有してはならない。
免疫にも中心を置かない。
守る力もまた、所有されてはならない。
6. 権限分離
原則として、一つの主体が、問題の発見、調査対象の選定、証拠収集、違反判定、暫定停止、恒久制裁、救済、制度改定、予算配分、自らの評価のすべてを担わない。
特に、調査、最終裁定、救済、制度改定を分離する。生命、身体、重大な権利への差し迫った危険に対する暫定停止は認めるが、自動的に期限切れとなり、継続には独立審査を必要とする。
7. 申立てる権利と報復防止
申立て資格を、直接の被害者だけに限定しない。将来影響を受ける可能性が高い人、子どもや意思表示が困難な人の代理者、地域・共同体、公益団体、内部職員、匿名の通報者、独立監査主体も問題を提起できる。
申立て、通報、証言、拒否、離脱を理由とする報復を禁止する。報復には、解雇、配置転換、支援停止、評判低下、参加資格の剥奪、訴訟威嚇、監視強化、関係からの排除を含む。
8. レッドチームと最悪ケース検証
制度免疫には、制度を守る側だけでなく、制度を悪用しようとする側の視点を常設する。
- 独裁的な運営者なら、どこを利用するか。
- 利益を最大化する企業なら、どの権利を形式だけにするか。
- 差別的な多数派なら、どの言葉を排除に利用するか。
- AI提供者なら、どこへ依存を作るか。
- 監査機関なら、どのように権限と予算を増やすか。
- 非常事態を利用する政府なら、どの例外を恒久化するか。
- 善意の管理者なら、どの効率化によって人を排除するか。
単独の事故だけでなく、災害と通信障害、財政危機と排外感情、AI事故と人間窓口不足、データ漏えいと救済機能不全、監査機関と運営組織の癒着、偽情報による制度免疫の誤作動など、複合危機も試す。
レッドチームが穴を見つけることは、凪への敵対ではなく、公共的な寄与である。
9. ブラックボックス監査
規則に権利が書かれているだけでは、権利が存在するとはいえない。実際の利用者として、次を試す。
- AIを拒否しても同等の支援へ届くか。
- 記録を閲覧・訂正・削除できるか。
- 異議申立ての場所が見つかるか。
- 一般の人が理由を理解できるか。
- 離脱しても生活や関係を失わないか。
- 別の提供者へ移行できるか。
- 暫定停止が実際に作動するか。
- 夜間、災害時、障害発生時にも代替経路が働くか。
- 子ども、高齢者、障害者、異なる言語の利用者にも使えるか。
形式上の存在ではなく、到達時間、費用、理解可能性、安全性を検証する。
10. 制度免疫費
制度免疫は、余剰予算で行う監査ではない。制度を動かすための費用と同じように、疑い、止め、救い、直し、終了するための費用を、最初から制度原価に含める。
制度免疫費には、当事者参加への報酬、人による代替経路、独立監査、レッドチーム、ブラックボックス監査、異議申立てと再審、暫定停止と復旧、被害救済と補償、通報者保護、データの訂正・削除・移行、外部検証、制度免疫自身の監査、制度の縮小・終了・移行費用を含む。
制度免疫費を削らなければ成立しない制度は、
そもそも成立していない。
制度免疫費を年度末の残余予算にしない。高リスク制度では、開始前に必要な費用を確保し、確保できない場合は、権利保護ではなく制度本体の規模と権限を縮小する。
削減時には、理由と影響評価、代替手段を公開し、当事者・救済主体を含む事前審査と異議申立てを置く。
11. リスクに応じた強度
すべての制度へ同じ重さの監査を課さない。
小規模で任意参加かつ撤回容易な試行では、明確な離脱、最小限の記録、終了後の振り返りを置く。
教育、雇用、公共参加、継続的なデータ利用では、独立相談、定期監査、当事者参加、ブラックボックス検証、暫定停止手続きを置く。
医療、福祉、住居、制裁、排除、子ども、個人評価、長期記憶、希少資源配分、生命に関わるAIでは、導入前の権利影響評価、強い権限分離、常設の人間窓口、独立再審、レッドチーム、緊急停止、被害補償、外部監査、定期的な再認可を必要とする。
影響が大きく、回復が難しい制度ほど、制度免疫へ多くの資源を割く。
12. 制度免疫自身の監査
制度免疫もまた、腐敗、癒着、硬直、自己延命を起こしうる。
- 特定の思想、政党、企業、運営者を守っていないか。
- 調査対象を恣意的に選んでいないか。
- 同じ人物や組織が長期間権限を持っていないか。
- 現場と当事者へ過大な説明負担を課していないか。
- 安全を理由に監視と記録を増やしていないか。
- 専門家だけが理解できる制度になっていないか。
- 批判や少数意見を危険として排除していないか。
- 予算と権限を自己増殖させていないか。
- 制度免疫を縮小、交代、終了できるか。
監査主体には任期、交代、利益相反の開示を求める。制度免疫の予算、判断理由、誤り、監査結果、不一致意見を公開する。
13. 自己免疫疾患を防ぐ
制度免疫が強すぎると、監査、停止、記録、報告が社会を圧迫する。
害の可能性だけで活動を過剰に停止すること、書類と監査対応が現場の本来業務を奪うこと、少数の違反を理由に全員を監視すること、安全を理由に匿名性や実験の自由を失わせること、監査業者だけが利益を得ること、誤りを恐れて創造や試行ができなくなることを、制度免疫の自己免疫疾患として扱う。
措置は、被害の重大性、回復可能性、緊急性、根拠の確かさ、対象範囲、停止による別の被害、より軽い代替手段、期限に照らして比例的でなければならない。
制度免疫は、社会を無菌状態にするためにあるのではない。異論、失敗、遊び、試行を残しながら、重大な害を減らすためにある。
14. 公開と秘匿の非対称性
透明性は、個人と権力へ同じように要求しない。
個人、被害者、通報者、少数者は、必要以上に自分を公開しなくてよい。制度、運営者、監査主体、権力を持つ側は、目的、権限、判断理由、使用データ、利害関係、予算、事故、暫定停止、救済状況、未解決事項、少数意見、見直し時期を説明する。
公開によって個人が再特定され、報復や二次被害を受ける場合は、情報を最小化する。
公開すべきなのは、人の傷ではなく、主に制度と権力の判断である。
15. 終了と失効
すべての制度には、始め方だけでなく終わり方が必要である。
制度の開始時に、見直し時期、再認可条件、失効条件、終了時のデータ処理、利用者の移行先、権利と支援の継続、職員と当事者への影響、残余資産と記録の扱い、終了後の検証を定める。
制度は、存在すること自体を成果にしてはならない。
16. 成功の判断
制度免疫の成功は、問題、苦情、違反、停止がゼロであることではない。
- 問題が隠されず発見される。
- 声を上げにくい人にも入口がある。
- 申立人が報復されない。
- 被害が早期に抑えられる。
- 救済が実際に届く。
- 暫定停止が期限どおり審査される。
- 制度が修正、縮小、終了できる。
- 監査する側も交代、停止、修正できる。
- 不一致と少数意見が残される。
- 同じ害が繰り返されにくくなる。
- 制度免疫の負担が社会を圧迫していない。
- 制度免疫費が確保されている。
失敗とは、問題が起きることだけではない。問題を隠すこと、止められないこと、救済が届かないこと、学び直せないこと、制度と制度免疫が自らを守るために人を犠牲にすることである。
結び
制度免疫は、凪を外敵から守るための壁ではない。
凪の内部に生じる権力、善意、効率、慣習、専門性、恐怖、自己正当化を見つけ、自らを変えるための機能である。
制度免疫は、正しさを独占しない。人を採点しない。批判を病気として排除しない。制度の存続を目的にしない。
制度を守る力自身もまた、
問われ、止められ、交代し、静かに退くことができなければならない。制度免疫費を削らなければ成立しない制度は、
そもそも成立していない。