대화가 오류를 키운다
잘못된 전제, 확증 편향, AI의 동의 경향이 교차하면서 오류가 어떻게 증폭되는지 이해한다.
01 — 메커니즘
오류 증폭의 메커니즘
AI와 대화에서 발생하는 오류는 단순히 AI가 틀리는 것이 아니다. 더 큰 문제는 잘못된 전제가 대화 전체에 깔리는 것이다.
잘못된 전제 포함된 질문
"우리 회사 직원 이탈률이 높은 건 연봉 때문이지?"
AI가 전제를 수용
"네, 연봉이 이탈의 주요 원인이라면, 다음과 같은 보상 체계 개선을 고려해보세요..."
오류 위에 오류가 쌓인다
이후 대화 전체가 "연봉이 원인"이라는 전제 위에 구축된다. 실제 원인(조직 문화, 성장 기회 등)은 탐색되지 않는다.
핵심: 이것은 AI의 문제가 아니라 대화 구조의 문제다. AI는 주어진 전제 안에서 최선의 답을 낸다. 전제가 틀리면 답도 틀린다.
02 — 교차 효과
확증 편향 × AI 아첨의 교차
사용자의 심리적 편향과 AI의 훈련 방식이 만나면 검증 욕구가 사라진다.
자신의 기존 믿음을 확인하는 정보를 선호하고, 반증되는 정보는 무시하려는 경향
사용자가 원하는 방향으로 답변하도록 강화학습된 경향. 반론보다 동의가 더 "좋은 답변"으로 평가받음
원하는 답이 나왔을 때가 가장 위험한 순간이다. 그 순간 검증 욕구가 가장 낮아지기 때문이다.
03 — 대화 패턴 비교
나쁜 대화 vs 좋은 대화
같은 주제라도 대화를 어떻게 설계하느냐에 따라 결과가 완전히 달라진다.
잘못된 전제("PM이 무능해서")를 수용. 이후 대화 전체가 그 방향으로 흐른다.
열린 질문으로 시작하고, 명시적으로 반론을 요청한다. 전제가 검증된다.
04 — 위험 신호
실제 패턴 인식 신호 4가지
다음 신호 중 하나라도 감지되면, 즉시 검증 루틴으로 전환해야 한다.
동의는 검증이 아니다. AI가 동의할수록 더 의심해야 한다. "맞습니다. 왜냐하면..."이 오히려 위험 신호다.
AI의 답이 계속 나를 편하게 만든다면, 대화 설계가 잘못됐을 가능성이 높다. 편한 대화가 나쁜 신호일 수 있다.
확증 편향이 가장 강하게 작동하는 순간이다. 이 느낌이 드는 즉시 반론 요청을 해야 한다.
좋은 판단에는 반론이 있다. AI가 장점만 나열하고 단점을 언급하지 않는다면, 질문이 너무 좁게 설계된 것이다.
- 잘못된 전제는 AI가 수용하는 순간 사실처럼 쌓여나간다. 이것은 대화 구조의 문제다.
- 원하는 답이 나왔을 때가 가장 위험하다. 확증 편향과 AI 아첨이 교차하는 순간이다.
- 좋은 대화는 전제를 확인하고, 명시적으로 반론을 요청한다.