재난 앞의 AI 윤리
예측이 틀렸을 때 누가 책임지는가

재난 앞에서 AI를 이야기할 때 우리는 대개 밝은 쪽을 본다. 더 빠른 예측, 더 정밀한 경로, 몇 시간 앞서 울리는 사이렌. 실제로 조기경보 시스템은 수많은 생명을 구해왔고, 그 사실을 부정할 이유는 없다. 그러나 밝은 면만 이야기하는 것은 정직하지 않다.

모델이 내놓는 것은 확률이다. 그러나 사람이 받아 드는 것은 확률이 아니라 명령이다 — 대피하라, 배를 묶어라, 아이를 데리고 나가라. 확률과 명령 사이에는 깊은 골이 있다. 그 골에서 누군가는 대가를 치르고, 누군가는 책임을 진다. 문제는 그 둘이 좀처럼 같은 사람이 아니라는 데 있다.

이 글은 재난 AI를 반대하기 위한 글이 아니다. 오히려 그것을 오래, 제대로 쓰기 위한 글이다. 도구가 커질수록 그 그림자도 함께 커진다. 그림자를 외면한 낙관은 오래가지 못한다. 그래서 이 글은 다섯 개의 그림자를 차례로 들여다본다 — 비대칭, 편향, 공백, 함정, 그리고 불평등.

모든 예측 시스템은 두 가지 방식으로 틀린다. 일어나지 않을 일을 알리거나(거짓 경보), 일어날 일을 알리지 못하거나(놓친 경보). 교과서는 이 둘을 대칭으로 그린다. 임계값을 낮추면 놓친 경보가 줄고 거짓 경보가 늘며, 높이면 그 반대다. 마치 저울의 양쪽 접시 같다.

그러나 재난에서 두 오류의 무게는 결코 같지 않다. 놓친 경보의 대가는 사람의 목숨이다. 거짓 경보의 대가는 낭비된 대피와 멈춘 조업이다. 그렇다면 임계값을 한없이 낮춰 놓친 경보를 0으로 만들면 되지 않을까. 여기서 두 번째 함정이 열린다.

거짓 경보가 반복되면 사람은 경보를 무시하기 시작한다. 늑대가 나타났다고 너무 자주 외친 소년의 이야기 그대로다. 신뢰는 한 번 무너지면 다음 진짜 경보 때 사람을 움직이지 못한다. 결국 놓친 경보를 막으려 임계값을 낮춘 선택이, 신뢰의 마모를 거쳐 더 많은 사람을 위험에 빠뜨릴 수 있다. 안전을 위한 결정이 안전을 갉아먹는다.

경보의 진짜 통화는 정확도가 아니라 신뢰다. 그리고 신뢰는 잘못된 경보 하나하나로 조용히 소진된다.

AI는 데이터를 먹고 자란다. 그런데 데이터는 세계에 고르게 뿌려져 있지 않다. 기상 관측소, 강우 레이더, 해양 부표, 지진계 — 이 관측망은 부유한 지역에 조밀하고, 저소득 지역과 글로벌 사우스에서 성기다. 관측이 성긴 곳에서 모델은 배울 재료가 부족하고, 그만큼 예측이 약해진다.

잔인한 것은 이 지점이다. 관측이 비어 있는 곳은 대개 재난에 가장 취약한 곳과 겹친다. IPCC 제6차 평가보고서(AR6, 2022)는 기후 취약성이 지역과 계층에 따라 극심하게 불균등하다고 짚는다. 방재 인프라가 얇고, 대피 여력이 적고, 회복이 더딘 곳 — 바로 그곳에서 모델의 예측이 가장 흐릿하다. 판돈이 가장 큰 자리에서 도구가 가장 무디다.

이것은 단순한 기술 격차가 아니라 윤리 문제다. 전 지구를 학습한 하나의 거대 모델이 어디서나 똑같이 잘 작동하리라는 가정은 위험하다. 평균 성능이 높아도, 그 평균은 데이터가 풍부한 지역이 끌어올린 숫자일 수 있다. 가장 도움이 필요한 곳의 성능은 그 평균 뒤에 가려진다.

데이터의 침묵은 중립이 아니다. 관측이 없는 곳에서 모델의 침묵은 곧 그곳 사람들에 대한 무관심이 된다.

AI 조기경보가 실패했다고 하자. 예측이 빗나갔고, 사람들은 준비하지 못했다. 이제 묻는다. 누가 책임지는가. 답을 찾으려는 순간, 책임은 손가락 사이로 빠져나간다.

벤더는 “우리는 참고 자료를 제공했을 뿐”이라 말하고, 기관은 “우리는 모델을 신뢰했을 뿐”이라 말하고, 모델은 아무 말도 하지 않는다. 각자 반쯤 맞는 말을 하는 사이, 책임의 중심은 텅 빈다. 자동화된 의사결정의 사슬이 길어질수록, 그 사슬 어디에도 온전히 책임을 지는 마디가 없어진다. 이것이 ‘책임의 공백’이다.

공백을 메우는 길은 기술이 아니라 거버넌스다. 누가 임계값을 정했는지, 어떤 데이터로 학습했는지, 실패 시 누가 설명 의무를 지는지 — 이것들이 계약서와 제도 안에 명시되어야 한다. 책임은 사후에 찾는 것이 아니라 사전에 배분하는 것이다.

예측이 정확하다고 문제가 끝나는 것이 아니다. 그 경보가 누구에게, 어떤 언어로, 어떤 기기로 닿느냐가 그다음 질문이다. 스마트폰이 없는 노인에게, 공식 언어를 읽지 못하는 이주민에게, 전기가 끊긴 마을에게 — 아무리 정교한 경보도 닿지 않으면 존재하지 않는 것과 같다.

재난은 언제나 가장 취약한 사람을 먼저 친다. 그런데 경보의 인프라 — 스마트폰, 데이터, 문해력, 다국어 지원 — 역시 취약한 사람에게 가장 얇다. 정확도만 높이는 투자는 이미 잘 연결된 사람에게 이득이 몰리고, 정작 경보가 절실한 사람은 그 혜택의 바깥에 남는다. 기술의 진보가 불평등을 좁히기는커녕 넓힐 수 있다.

유엔의 ‘모두를 위한 조기경보’(Early Warnings for All, 2022–2027)가 겨냥하는 지점이 바로 여기다. 이 이니셔티브는 예측 기술이 아니라 ‘모든 사람에게 닿는 경보’를 목표로 삼는다. 마지막 1마일 — 경보가 사람의 손과 귀에 실제로 도달하는 그 구간 — 이 가장 어렵고, 가장 중요하다.

예측을 1% 더 정확하게 만드는 것보다, 경보를 한 사람에게 더 닿게 하는 것이 때로 더 많은 생명을 구한다.

다섯 개의 그림자 — 비대칭, 편향, 공백, 함정, 불평등 — 은 서로 다른 이야기가 아니다. 하나의 공통된 뿌리에서 자란다. 확률을 내놓는 기계와, 그 확률을 명령으로 받아 드는 사회 사이의 간극이다. 이 간극은 더 정확한 모델로 메워지지 않는다. 오직 제도와 태도로만 메워진다.

그래서 재난 AI에 필요한 것은 세 가지다. 첫째, 불확실성을 숨기지 않고 함께 전하는 정직. 예측에는 언제나 오차가 있고, 그 오차를 드러내는 것이 신뢰의 출발이다. 둘째, 책임을 사전에 배분하는 거버넌스. 누가 무엇을 결정했고 실패 시 누가 설명하는지가 미리 정해져야 한다. 셋째, 마지막 1마일까지 닿게 하는 형평. 가장 약한 사람에게 닿지 않는 경보는 절반의 경보다.

AI를 재난에서 쓰지 말자는 이야기가 아니다. 그 반대다. 이 도구는 이미 많은 생명을 구했고 앞으로 더 구할 것이다. 다만 그 힘이 클수록, 그것을 다루는 손은 더 겸손해야 한다. 기계가 확률을 말할 때, 그 확률의 무게를 아는 것은 끝까지 사람의 몫이다.

예측은 기계가 할 수 있다. 그러나 그 예측을 책임지는 일은, 끝내 사람이 해야 한다.