AI를 오래 사용하다 보면 가끔 이상한 순간을 만난다.

조금 전까지만 해도 꽤 구체적으로 답하던 AI가 어느 순간부터 갑자기 말을 조심하기 시작한다.

틀린 답을 하였거나, 답변을 거부한 것도, 혹은 어떤 경고가 뜨는 것도 아닌데…

그런데 분명히 뭔가 달라진다.

전에는 비교적 분명하게 설명하던 내용을 “가능성이 있습니다”, “상황에 따라 다를 수 있습니다”, “전문가의 확인이 필요합니다”와 같은 표현이 조금씩 많아진다.

처음에는 나도 별생각 없이 넘어갔었고, AI가 원래 답할 때마다 조금씩 다르게 말할 수 있었으므로,

그런데 비슷한 변화를 여러 번 경험하면서 한 가지 궁금증이 생겼다.

왜 어떤 순간부터 답변이 달라지는 걸까?

AI와 대화를 오래 이어가다 보면 처음에는 없었던 정보를 계속 AI에 추가 시키게 된다.

처음에는 단순한 문서 하나를 놓고 시작한 질문이었는데, 이야기를 계속하다 보니 그 문제가 보험이나 법률 문제와 연결되어 있을 수도 있었고, 돈이나 안전처럼 실제 생활에 영향을 주는 문제라는 사실이 뒤늦게 드러날 수도 있었다.

사용자 입장에서는 같은 문제를 계속 AI와 이야기하고 있었다고 생각한다.

하지만 대화 안에 들어 있는 정보는 처음과 같지 않았다.

나는 바로 이 지점에 관심을 갖기 시작했다.

AI의 답변이 갑자기 달라졌을 때 지금 받은 답변만 볼 것이 아니라, 그 직전에 내가 어떤 정보를 새로 이야기했는지를 같이 살펴보기 시작한 것이다.

그러자 전에는 그냥 지나쳤던 변화들이 조금씩 보이기 시작했다.

그래서 나는 AI를 사용할 때 한 가지 습관을 갖게 됐다.

답변이 갑자기 달라졌다고 느껴지면 같은 질문을 무조건 반복하기 전에 먼저 앞의 대화를 다시 살펴보고,

내가 어떤 정보를 새로 넣었는지, 그 전과 후의 답변은 어떻게 달라졌는지 비교해 보았다.

필요하면 AI에게 직접 묻기도 했다.

“왜 조금 전과 답변 방식이 달라졌지?”

물론 이것만으로 AI 내부에서 실제로 무슨 일이 일어났는지 알 수 있는 것은 아니었다.

내가 볼 수 있는 것은 화면에 나타난 결과뿐이었다.

그래도 그 결과가 언제, 어떤 정보가 들어간 뒤부터 달라졌는지는 비교할 수 있었다.

나는 그때부터 AI의 답변만 저장하는 것보다 질문과 답변 사이에서 일어난 변화까지 함께 기록하는 것이 중요하다는 것을 알게 됐었다.

AI에게 무엇을 물었는가만큼, 무엇을 말한 뒤 AI의 답변이 달라졌는가를 보는 것.

그것이 내가 AI를 단순히 사용하는 것에서 한 걸음 더 나아가, AI의 반응을 관찰하기 시작한 이유였다.