2년 동안 AI와 함께 현실의 문제를 풀면서 발견한 것들

지난 2년 동안 나는 하나의 사건을 놓고 여러 기관과 사람들을 동시에 상대해 왔다.

캐나다에서는 A/B 보험사 그리고 Broker C, 또 다른 보험 관련 기관, 미국에서는 A보험사, 경찰, 법원, 변호사, 의료기관까지 서로 다른 조직들이 하나의 사건에 연결되어 있었다. 각 조직 안에서도 한 사람만 상대했던 것이 아니다. 담당자가 바뀌기도 했고, 실무자와 관리자, 서로 다른 부서의 사람들이 차례로 나의 교통사고와 연결되어 있었다.

그 사이 수백 통의 이메일과 수많은 문서가 오고 갔다.

더 어려웠던 것은 이 모든 것이 따로 움직이지 않았다는 점이다.

몇 달 전에 한 사람이 했던 말이 나중에 다른 사람의 이메일과 연결됐고, 당시에는 별 의미가 없어 보였던 문장이 새로운 자료가 나온 뒤 다시 중요해지기도 했다.

나는 이 복잡한 관계를 AI와 함께 거의 2년 동안 추적하며 분석해 왔다.

그러면서 한 가지 재미있는 차이를 발견했다.

AI는 구조를 분석하는 데 아주 강했다.

많은 문서를 분류하고, 날짜를 맞추고, 서로 다른 자료를 비교하고, 복잡한 문제를 몇 개의 쟁점으로 나누는 일은 정말 빨랐다. 사람이 며칠 동안 해야 할 일을 짧은 시간에 정리해 주기도 했다.

하지만 구조가 복잡해지고 시간이 길어질수록 약한 부분도 보였다.

구조를 분석하는 것과 그 구조 안에서 움직이는 사람을 이해하는 것은 다른 문제였다.

나는 이메일을 읽으면서 내용만 보지 않았다.

왜 이 사람이 지금 이런 말을 했을까.

왜 이 질문에는 답하지 않았을까.

왜 이전과 표현이 달라졌을까.

이 사람은 이 조직에서 어떤 역할을 하고 있고, 이렇게 답하면 무엇을 얻고 무엇을 피할 수 있는 걸까….

그리고 그 선택이 결국 나에게 어떤 영향을 줄까.

이런 판단에는 그 사람과 오랫동안 주고받은 대화와 이전 행동, 조직 안에서의 위치, 다른 사람들과의 관계가 함께 연계되어 있었다.

AI는 자료가 주어지면 이런 가능성을 분석할 수 있었다. 하지만 그 긴 관계와 맥락을 사람처럼 항상 이어서 가지고 있는 것은 아니었다. 특히 사람의 의도는 문서에 직접 적혀 있는 사실이 아니기 때문에 더 조심해서 다뤄야 했다.

그래서 나는 AI에게 계속 맥락을 다시 넣어주었다.

“이 사람의 역할부터 다시 봐.”

“6개월 전에 했던 말과 지금 말을 같이 비교해 봐.”

“사실과 추정은 나눠서, 이 행동으로 이 사람이 얻을 수 있는 이익이 무엇인지 몇 가지 가능성으로 분석해 봐.”

그렇게 하면 처음과는 다른 분석이 나왔다.

반대로 나 역시 사람이라 문제가 있었다.

나는 관계를 오래 기억하고 사람의 행동에서 의미를 읽을 수 있었지만, 수백 통의 이메일과 수많은 문서를 동시에 정확하게 비교할 수는 없었다. 내가 확신했던 기억이 실제 기록과 다른 경우도 있었다.

그럴 때는 AI가 나보다 훨씬 나았다.

그래서 어느 순간부터 나는 사람과 AI 중 누가 더 뛰어난가라는 식으로 생각하지 않게 됐다.

둘이 잘하는 것이 달랐다.

AI는 복잡한 정보를 구조화하는 데 강했고, 사람은 오랜 시간 쌓인 맥락과 관계의 의미를 이해하는 데 강했다.

중요한 것은 그 둘을 어떻게 연결하느냐였다.

그리고 이것은 나의 사건에만 국한된 이야기가 아니라고 생각했다.

독자들의 회사에서, 혹은 여러 사람과 장기간 진행하는 프로젝트를 AI와 분석할 때도 마찬가지일 것이다. 사업 파트너와 오랫동안 주고받은 협상을 검토할 때도 그렇고, 고객과의 관계, 계약 과정, 연구 프로젝트처럼 많은 사람과 기록이 오랫동안 쌓이는 문제에서도 비슷한 일이 생길 수 있다.

AI에게 마지막 이메일 한 통만 보여주고 “왜 이 사람이 이렇게 말했어?”라고 묻는다면, AI는 그 문장을 아주 그럴듯하게 분석할 수 있다.

하지만 그 답이 그 사람의 실제 의도를 의미하는 것은 아니다.

AI가 모르는 과거가 있을 수 있기 때문이다.

그 사람은 누구인지, 어떤 역할을 하는지, 이전에 무엇을 말했는지, 무엇이 바뀌었는지, 누구와 어떤 이해관계가 있는지.

AI가 알아야 할 맥락을 사람이 가지고 있다면, 그것을 AI가 알아서 찾아낼 것이라고 기대해서는 안 된다.

사람이 그 맥락을 넣어줘야 한다.

그리고 의도를 물을 때도 “이 사람의 의도는 뭐야?”라고 하나의 답을 요구하기보다는,

“확인된 사실은 무엇인가?”

“가능한 의도는 무엇인가?”

“그렇게 판단하는 근거는 무엇인가?”

“다른 설명도 가능한가?”

라고 나누어 물어야 한다.

이렇게 사용하면 AI가 사람의 마음을 읽는다고 착각하는 위험도 줄어들고, AI가 잘하는 구조적 분석은 훨씬 더 잘 활용할 수 있게 될 것이다.

지난 2년 동안 내가 배운 것은 결국 이것이었다.

AI의 성능은 AI만으로 결정되지 않는다.

복잡한 현실 문제에서는 사용자가 어떤 맥락을 보존하고, 무엇을 다시 알려주고, 사실과 추정을 어떻게 구분하며, 질문을 어떤 구조로 만들어 주느냐에 따라 같은 AI에서도 전혀 다른 수준의 답이 나올 수 있었다.

나는 그 차이를 실제 문제를 해결하는 과정에서 계속 경험했다.

그리고 그 과정에서 반복해서 나타나는 몇 가지 특징을 따로 기록하기 시작했다.

그것이 앞으로 이야기할 Observation #1부터 #8까지다.

이 기록을 소개하려는 이유도 그래서다.

내가 나의 문제를 어떻게 해결했는지를 설명하려는 것이 아니라,

복잡하고 오래 지속되는 현실 문제에 AI를 사용하는 사람이라면, AI가 잘하는 것은 적극적으로 이용하고 AI가 놓치기 쉬운 것은 사람이 보완해야 한다.

나는 지난 2년 동안 그 경계를 계속 찾아왔다.

앞으로의 Observation들은 내가 어디에서 그 경계를 발견했고, 어떻게 보완했으며, 그것이 일반적인 AI 사용에서도 어떻게 적용될 수 있는지를 하나씩 이야기하려는 기록이다.

P.S.

내가 이런 기록을 공유하려는 데에는 또 하나의 이유가 있다.

지난 2년 동안 AI를 사용하면서 나는 AI가 잘하는 부분도 많이 보았지만, 아직 사람이 채워줘야 하는 부분도 계속 발견했다.

그런데 나는 그것을 꼭 AI의 단점이라고만 생각하지 않는다.

오히려 우리가 이런 특징을 제대로 알고 사용한다면, 지금보다 AI를 훨씬 더 잘 활용할 수 있지 않을까 하는 생각이 들었다.

AI가 놓치는 맥락은 사람이 채워주고, 사람이 처리하기 어려운 방대한 정보와 복잡한 구조는 AI가 맡는다. 그리고 그 과정에서 발견되는 문제와 사용 방법을 서로 공유한다면, 앞으로 AI가 활용될 수 있는 분야도 지금보다 훨씬 넓어질 수 있을 것이라고 생각한다.

물론 내가 관찰하고 분석한 것이 정답이라는 뜻은 아니다.

내가 실제 문제를 해결하면서 경험하고 발견한 것일 뿐이고, 내가 잘못 이해한 부분도 있을 것이다.

그래도 이런 경험을 혼자 가지고 있기보다는 다른 사람들과 공유해 보고 싶었다.

누군가는 같은 현상을 경험했을 수도 있고, 누군가는 전혀 다른 방법으로 AI의 부족한 부분을 보완하고 있을 수도 있다.

그런 경험들이 하나씩 모인다면 우리가 AI를 이해하고 사용하는 방법도 조금씩 더 발전하지 않을까.

그런 바람에서 내가 지난 2년 동안 AI와 부딪치면서 관찰하고 발견한 것들을 하나씩 이야기해 보려고 한다.