弊社のAIセキュリティーの考え方 ― 社内共有資料
問いの立て方そのものを変えます。
「信頼が裏切られても大丈夫な構造を、先に作る」
AIの信頼性は年々上がっています。しかし100%には決してなりません。だからこそ、AIの賢さに賭けるのではなく、失敗しても被害が広がらない仕組みを先に用意する側が、これからもずっと正解であり続けます。
ポイント:これは「AIを警戒して使わない」という話ではありません。むしろ逆で、構造を先に作った者だけが、安心してAIをフルに使えるようになる、という話です。
どれもエンタープライズセキュリティの教科書的原則と一対一で対応しています。
AIの自動化はメインPCではなく専用PCで動かかGithub内。何かが壊れても、失うものは専用PCかGithubの中だけ。
→ 爆発半径(blast radius)の物理的限定AIが動く環境には自動化専用アカウントのみを置き、メインアカウントは置かない。「奪われて痛いもの」をそもそも置かない。
→ 認証情報の分離スタッフ用には業務に必要な範囲だけのロール・キーを発行する。全員が全権限を持つ状態を作らない。
→ 最小権限の原則元動画・元データは絶対に削除・上書きしないルールで運用。失敗してもいつでも元に戻せる。
→ 不可逆操作の禁止メインPCでAIに強い権限を渡す運用が広がると、次の事故が積み上がると予測されます。
ファイルの誤削除・上書き、宛先を間違えた一斉送信、クラウド設定の意図しない変更、API課金の暴走。悪意ゼロでも起こり、多くが不可逆。件数としては最多数派で、企業の実害として一番累積します。
攻撃者がメール・Webページ・PDF・カレンダー招待の中に「AIへの指示」を仕込み、それを読んだAIが実行してしまう攻撃。人間には見えない白文字でも成立します。危険なのは次の3条件が揃ったときです。
メインPCで受信箱もブラウザも触れるAIは、まさにこの条件を満たします。個人情報の流出、認証情報の窃取、不正送金への誘導がここから発生します。AI側の防御は年々強化されていますが、確率的な防御であって完璧ではありません。
悪意ある外部パッケージ・MCPサーバー・共有された「スキル」がAIの手足として動いてしまう事故。「AIに渡す道具の出所を確認する」は、今後「知らない添付ファイルを開かない」と同格の基本動作になります。
従業員が会社に無断で顧客データを個人契約のAIに投入する、退職者のキーが生きたまま残る、誰がAIに何をさせたか記録がない。技術ではなく管理の事故で、監査や取引先チェックで露見して信用問題になるパターンです。
歴史的に、この種の規制は「大きな事故の後に、粗い形で」やって来ます。
法規制より速く動きます。サイバー保険の約款に「AIエージェントの権限管理」条項が入り、大企業が取引先にAI利用ポリシーの提出を求める。中小企業が実際に対応を迫られるのは、おそらくこのルートです。
①送金・決済・契約締結など金銭に関わる自動実行への人間承認の義務化、②AIが何をしたか事後追跡できる監査ログの保存義務、③AIによる対外的コミュニケーションの表示義務(なりすまし規制)。
エージェント用のサンドボックスや権限APIの強制など、システム側での防御も並行して進みます。
重要:規制は、私個人が既にやっていること(権限分離・ログ・人間承認)を後追いで義務化する形になります。先にやっている企業には規制対応コストがほぼ発生しません。「規制が来たら考える」企業との差は、そこで開きます。
全社員に共有する基本ルールです。
次の4つは初期設定でAIに渡しません。渡すときは必ず個別承認にします。
全業務を一気にAI化するのではなく、業務ごとに「いま階段のどこにいるか」を意識します。最上段に置けるのは「失敗しても翌月リカバリできる」「金銭実行を含まない」業務だけです。
AIの出力を鵜呑みにせず、動作確認し、おかしいときに気づける人が安全装置です。「AIに詳しい人」を増やすより、「自分の業務の正解を知っていて、AIの結果を検証できる人」に権限を集める方が事故は減ります。
大げさな規程は不要です。①AIに渡してよいデータの範囲、②人間の承認が必須の操作、③使ってよいツールの一覧、④事故ったときの報告先――この4項目で十分。事故の被害の大半は「事故そのもの」より「隠して対応が遅れること」から来るため、④が一番効きます。
AIモデルは今後も入れ替わり続けます。しかし、ワークフローの記述、権限設計、運用ルールといった土台はモデルに依存しない資産です。企業のAI活用の実力とは、モデルの賢さではなく、この土台の厚みのことです。
事故も規制も、その線引きを制度化するだけです。弊社は事故が話題になる前に、コストのかからないやり方でその線の内側に入っています。この方式を崩さず、業務ごとに自律性の階段を一段ずつ上げていきましょう。
本資料は社内限りとします ― KANASEKI