AI 승인창을 친절하게 다듬을수록 다시 고무도장이 된다

"이렇게 진행해도 될까요?" AI 에이전트 팀을 굴리는 한 UX 기획자는 오케스트레이터가 단계를 마칠 때마다 이 질문을 받습니다. 반쯤 이해한 채 "네"를 누르고 싶은 유혹 앞에서 이 기획자는 이해하지 못한 건 승인하지 않기로 했고, 승인 전에 세 가지를 AI에게 묻습니다. 이걸 하면 무엇이 달라지는가, 되돌릴 수 있는가, 무엇을 잃게 되는가. 어떤 날은 AI가 성능 개선처럼 들고 온 안전장치 켜기가, 파고들어 보니 다른 기능 일부를 포기하는 제품 정책 결정이었다는 것도 그렇게 알아냈습니다.

이 이야기가 지금 중요한 이유는 사람이 개입하는 자리가 점점 승인 버튼 하나로 줄고 있어서입니다. MIT Sloan의 경고처럼 이해 없이 승인하면 감독은 고무도장이 되고, 원문이 인용한 연구에 따르면 AI가 설명을 친절하게 붙이는 것만으로는 사람의 과한 의존이 줄지 않았고, 스스로 생각하도록 강제하는 장치, 인지 강제 기능(cognitive forcing)을 끼웠을 때에야 줄었습니다.

그래서 저는 마지막에 정한 규칙이 걱정됩니다. 이 기획자는 오케스트레이터의 규칙 문서에 결정을 물을 때는 평범한 말로 물으라는 한 줄을 넣었고, 이제 질문은 이렇게 옵니다. "이렇게 하면 이게 달라지고 이건 되돌릴 수 없어요. 어떻게 할까요?" 읽기는 훨씬 쉬워졌지만, 세 질문 중 둘에 AI가 미리 답을 채운 문장입니다. 연구가 효과 없다고 한 바로 그 '친절한 설명'에 가깝죠. 몇 주 지나면 사람은 그 문장을 읽고 다시 고개만 끄덕이게 될 수 있습니다.

강제 장치를 남기려면 빈칸 하나는 사람 몫으로 비워 둬야 한다고 봅니다. 셋째 질문, 무엇을 잃는가만큼은 AI가 답하기 전에 사람이 한 줄로 먼저 적고, AI의 답과 대조하는 식으로요. 안전장치 사례에서 결정의 본질이 드러난 것도 결국 잃는 것을 캐물었을 때였습니다. 매번 따지는 게 힘들고 귀찮다는 고백에 대한 답은 질문을 줄이는 게 아니라 멈추는 지점을 줄이는 데 있습니다. 되돌릴 수 있는 결정은 기록만 남기고 진행시키고, 되돌릴 수 없는 결정에서만 멈추게 하면 됩니다.

승인창의 문장을 다듬는 일은 이해를 돕지만, 결정을 지켜 주는 건 사람이 먼저 채워야 하는 빈칸입니다.