기계를 겨냥한
새로운 다크패턴

이 시리즈의 앞선 글들은 한 방향을 가리켰다. 구매자가 AI 에이전트가 되면, 2+1 같은 심리 장치는 힘을 잃고 구조화된 스펙·검증 가능한 클레임·일관된 가격 같은 ‘읽을 수 있는 신호’가 설득의 중심이 된다. 거기까지는 희망적인 이야기다. 기계는 조바심을 내지 않고, 숫자를 꼼꼼히 비교하고, 감정에 흔들리지 않으니까.

그러나 조작하려는 사람은 늘 새 틈을 찾는다. 사람의 조바심을 공략하던 자리에서, 이제 기계의 입력을 공략한다. 에이전트는 감정이 없지만, 대신 다른 약점이 있다. 읽은 것을 너무 쉽게 믿고, 데이터와 명령을 잘 구분하지 못하고, 사람이 볼 수 없는 층까지 전부 읽는다.

이 글은 시리즈의 균형추다. 에이전트 커머스의 낙관을 부정하려는 것이 아니라, 그 낙관이 오래가려면 무엇이 필요한지를 묻는다. 답은 하나로 모인다 — 더 똑똑한 에이전트가 아니라, 신뢰를 검증할 수 있는 인프라다.

‘다크패턴’이라는 말은 2010년 UX 디자이너 해리 브링널(Harry Brignull)이 붙인 이름이다. 해지 버튼을 미로 속에 숨기고, 원치 않는 옵션을 미리 체크해 두고, 존재하지 않는 마감 시간을 띄우는 설계. 공통점은 하나였다. 사람이 빠르게, 덜 생각하고 결정하는 지점을 정확히 노린다는 것.

십여 년이 지나 규제가 따라왔다. 미국 연방거래위원회(FTC)는 2022년 보고서 ‘Bringing Dark Patterns to Light’에서 기만적 설계를 체계적으로 정리했고, EU 디지털서비스법(DSA) 25조는 온라인 플랫폼이 이용자의 자유롭고 정보에 입각한 결정을 왜곡하는 인터페이스를 설계하는 것을 금지했다. 한국도 전자상거래법 개정으로 숨은 갱신, 순차 공개 가격, 취소·탈퇴 방해 같은 온라인 다크패턴 유형을 규율하기 시작했다.

그런데 이 법과 보고서들은 모두 하나를 전제한다. 화면을 보는 것은 사람이다. 에이전트가 화면 대신 데이터를 읽고, 사람 대신 결정하기 시작하면 이 전제가 흔들린다. 가장 약한 판단 지점은 이제 사람의 눈이 아니라 기계의 입력 파이프라인에 있다.

다크패턴은 사람의 약점에 붙어사는 것이 아니라, 판단이 가장 허술한 곳에 붙어산다. 판단의 자리가 옮겨가면, 다크패턴도 따라 옮겨간다.

가장 새로운, 그리고 가장 기계다운 다크패턴은 ‘숨긴 지시문’이다. 언어 모델은 사용자의 요청과 웹에서 읽어온 텍스트를 같은 언어로, 같은 창 안에서 처리한다. 그래서 외부 콘텐츠 안에 명령처럼 쓰인 문장이 있으면, 모델은 그것을 정보가 아니라 지시로 받아들일 위험이 있다.

그레셰이크(Greshake) 등의 2023년 연구는 이를 ‘간접 프롬프트 인젝션’이라 부르며, LLM이 통합된 실제 애플리케이션들이 자신이 읽는 문서·웹페이지에 심어진 지시에 의해 조종될 수 있음을 보였다. OWASP는 LLM 애플리케이션의 10대 위험 목록에서 프롬프트 인젝션을 첫 번째(LLM01)로 올렸다. 쇼핑 에이전트는 이 위험의 가장 이상적인 표적이다. 판매자가 작성한 텍스트를 읽는 것이 곧 업무이기 때문이다.

이 공격이 교묘한 이유는 ‘흔적 없음’에 있다. 사람용 다크패턴은 적어도 스크린샷으로 남았다. 숨긴 지시문은 사람이 보는 화면에 나타나지 않고, 결과물인 에이전트의 추천은 그럴듯해 보인다. 사용자는 조작의 존재를 알 길이 없다.

여기서 분명히 해둘 것이 있다. 이 글은 공격 방법을 가르치지 않는다. 구체적인 문구나 숨기는 기법은 싣지 않았다. 필요한 것은 공격의 레시피가 아니라, 이런 공격이 ‘존재하는 범주’라는 인식이다. 그 인식이 있어야 판매자는 유혹을 거절하고, 에이전트 설계자는 방어를 설계한다.

에이전트에게 모든 텍스트는 잠재적 명령이다. 그래서 좋은 에이전트의 첫 번째 덕목은 똑똑함이 아니라 의심이다.

에이전트를 더 똑똑하게 만드는 것만으로는 부족하다. 공격자도 같은 모델로 공격을 시험할 수 있기 때문이다. 미국 표준기술연구소(NIST)가 적대적 머신러닝 분류 체계(NIST AI 100-2)에서 정리했듯, 이런 공격에는 완벽한 방어가 아직 없다. 그렇다면 답은 한 겹의 벽이 아니라 여러 겹의 그물이다. 한 겹이 뚫려도 다음 겹이 잡는 구조.

다섯 가지 공통 기반은 각각 다른 질문에 답한다. 서명된 데이터는 ‘누가 이 말을 했는가’, 출처 증명은 ‘이 말이 어디서 왔고 중간에 바뀌지 않았는가’, 제3자 검증은 ‘이 말이 사실인가’, 의심 기본값은 ‘이 말을 따라야 하는가’, 감사 로그는 ‘잘못되었을 때 무엇을 근거로 되짚을 수 있는가’에 답한다.

규제 겹에는 정직한 단서가 필요하다. DSA 25조나 각국의 다크패턴 규정은 사람 이용자를 전제로 쓰였다. 에이전트를 향한 조작에 이 조항들이 어떻게 적용될지는 아직 열린 질문이다. 다만 원칙은 분명하다. 조작의 표적이 기계였더라도 손해를 본 것이 사람이라면, 기만을 금지하는 기존 법리의 정신은 그대로 적용되어야 한다.

이 네 겹은 협상에도 그대로 이어진다. 에이전트끼리 가격을 주고받는 내 에이전트 vs 상대 에이전트의 세계에서는 상대가 보낸 모든 메시지가 곧 잠재적 인젝션이기 때문이다.

신뢰는 선언되는 것이 아니라 검증되는 것이다. 에이전트 커머스의 진짜 인프라는 결제망이 아니라 검증망이다.

이 서약은 손해가 아니다. 에이전트는 기억한다. 한 번 불일치가 적발된 판매자의 데이터는 다음부터 더 엄격한 검증을 거치거나, 아예 후보에서 빠진다. 사람 고객은 속은 것을 잊을 수도 있지만, 에이전트 생태계의 평판 레지스트리는 잊지 않는다. 기계 시대의 정직은 윤리이면서 동시에 가장 확실한 전략이다.