사진 보고 판단하는 일, AI는 추론보다 ‘보는 것’에서 틀렸다

반품 신청에 붙은 사진을 AI에게 먼저 보여 주고 “파손이 맞는지 판단해 줘”라고 맡기거나, 매장 진열 사진을 올려 “빈 칸이 있는지 봐 줘”라고 묻는 일이 이제 어렵지 않습니다. 글을 쓰고 코드를 짜는 실력을 보면 사진 한 장쯤은 사람보다 잘 볼 것 같습니다. 그런데 사람이 한눈에 아는 것을 묻는 시험에서, 가장 잘한 AI도 사람 점수의 절반을 조금 넘었습니다.

사람에게 쉬운 질문일수록 AI와의 차이가 컸습니다

Scale AI와 스타트업 Elorian이 함께 만든 시험 ‘Humanity’s Sixth Sense(HSS)’는 사진이나 짧은 영상을 보여 주고, 화면에 직접 나오지는 않지만 장면이 암시하는 것을 묻습니다. 책장 사진을 보고 흰 책 두 권이 더 들어갈지, 말이 쟁기를 끄는 사진에서 사슬이 실제로 무게를 받고 있는지, 비행기 주변 사람들이 구경꾼인지 정비하는 직원인지 같은 질문입니다. 문제는 522개이고, 사진 288장과 짧은 영상 234개, 영상 길이를 모두 합치면 17.6시간입니다. 질문은 모두 주관식이고 사람이 쓴 채점 기준을 하나도 빠짐없이 맞춰야 정답으로 칩니다. 고르기 문제가 아니라서 찍어서 맞히기가 어렵습니다.

결과는 분명했습니다. 같은 조건으로 답한 사람들은 93.1%를 맞혔고, 시험을 본 25개 모델 가운데 가장 잘한 GPT 6 Astra는 최대 추론 설정에서도 53.6%였습니다. 대부분의 모델은 40%에 못 미쳤고 가운데 순위 모델의 점수는 30.9%였습니다. 연구진은 사진을 빼고 질문 글만 준 채 같은 모델을 다시 시험했는데, 이때는 6.6%로 떨어졌습니다. 질문만 보고 그럴듯하게 짐작해서 맞히는 몫은 거의 없고, 점수는 사진을 실제로 얼마나 읽었는지를 보여 준다는 뜻입니다.

사람 쪽 결과도 눈여겨볼 만합니다. 참가자들은 자신이 없다고 표시한 문제가 522개 중 63개뿐이었고, 그렇게 자신 없던 답조차 85.7%가 맞았습니다. 반면 모델들은 사람에게 직관적인 문제에서도 문제당 평균 4,000개 안팎의 추론 토큰을 쓰며 길게 생각한 뒤 답했습니다. 오래 생각한다고 이 종류의 문제가 풀리는 것은 아니었습니다.

틀린 이유는 대부분 ‘생각’이 아니라 ‘보기’였습니다

이 연구에서 사업에 가장 쓸모 있는 부분은 실패 원인 분석입니다. 연구진이 모델들의 틀린 답 8,573개를 하나하나 분류해 보니, 사진 속에 있는 것을 잘못 읽은 경우가 53%, 사진이 암시하지만 보여 주지 않는 것을 짐작하지 못한 경우가 41%였습니다. 올바른 사실을 갖고도 논리를 잘못 편 경우는 5%에 그쳤습니다. 하나의 원인으로는 답을 가르는 작은 단서를 놓친 경우가 21%, 물건이나 사람, 그 사람의 역할을 잘못 알아본 경우가 20%로 가장 많았습니다.

더 중요한 것은 이 실수가 특정 회사 모델의 버릇이 아니라는 점입니다. 다섯 개 이상의 모델이 함께 틀린 문제에서는, 그중 가운데 값으로 80%가 같은 이유로 틀렸습니다. 모델을 바꿔 가며 두 번 물어보면 서로 실수를 잡아 줄 것 같지만, 같은 장면에서 같은 단서를 함께 놓칠 가능성이 높다는 뜻입니다. 반품 사진의 작은 긁힘, 진열대 뒤쪽의 빈 칸처럼 답을 가르는 부분이 작고 구석에 있을수록 이 약점이 그대로 드러납니다.

사람의 의도와 영상 속 흐름은 특히 약했습니다

영역별로 보면 가장 약한 곳은 사회적 이해, 즉 사람의 생각과 의도, 누가 누구를 따르는지 읽어 내는 문제였습니다. 25개 모델 중 21개에서 가장 낮은 점수가 나온 영역이었고, 평균 24.4%로 나머지 세 영역 평균 34.1%보다 낮았습니다. 매장 영상에서 손님이 상품을 고르는 중인지 직원을 찾는 중인지, 상담 화면 속 고객이 망설이는지 같은 판단이 바로 이 영역에 속합니다.

영상은 사진보다 더 어려웠습니다. 25개 모델 중 23개가 영상 문제에서 더 낮은 점수를 받았고 차이는 평균 7.3점이었습니다. 연구진은 긴 시간 흐름을 따라가고 중요한 장면을 찾아내는 데서 아직 고전한다고 해석했습니다. 긴 영상을 통째로 맡겨 요약을 받는 일은 편하지만, 결정적인 몇 초를 놓친 요약일 수 있다는 점을 염두에 둘 만합니다.

다시 들여다보게 하면 나아지지만, 깊이는 여전히 못 봅니다

연구진은 모델이 사진을 자르고 확대하며 다시 볼 수 있도록 Claude Code와 Codex 같은 에이전트 도구 안에서도 388개 문제로 시험했습니다. 모든 조합에서 점수가 올랐고, Claude Code 쪽은 16.5점에서 20.5점까지 올랐지만 문제마다 수십 단계를 거치며 추론 토큰을 많이 썼습니다. 그래도 가장 좋은 조합의 점수는 59.3%였습니다. 다시 들여다보기 덕분에 틀린 답은 944개에서 759개로 줄었는데, 주로 놓친 단서와 잘못 알아본 물건이 바로잡혔습니다. 평면 사진에서 겹쳐 보이는 것을 앞뒤로 나란히 있다고 잘못 읽는 실수는 102개에서 101개로 거의 그대로였습니다. 확대해 봐도 사진이 담지 못한 깊이는 되살아나지 않는다는 뜻입니다.

추론을 더 세게 시키는 것도 만능이 아니었습니다. 장면 직전에 무슨 일이 있었는지 맞히는 문제에서 GPT 6 Astra는 추론 설정을 high에서 xhigh로 올렸더니 오히려 14점이 떨어졌습니다. 에이전트 역시 처음에 맞게 본 답을 오래 따지다가 스스로 뒤집는 경우가 있었습니다. 이 결과는 특정 시점의 모델 버전과 설정으로 잰 것이고, 시험 문제가 일상 장면 위주라 상품 사진 검수 같은 실제 업무 정확도와 바로 같다고 볼 수는 없습니다. 다만 어디서 틀리는지의 방향은 업무에도 그대로 적용해 볼 만합니다.

사진 판단을 맡길 때는 ‘무엇을 볼지’를 사람이 정해 줘야 합니다

이 연구가 보여 주는 것은 AI가 논리는 대체로 잘 펴지만 그 논리의 출발점인 ‘본 것’이 자주 틀린다는 사실입니다. 그래서 사진 판단을 맡길 때는 결론보다 근거를 먼저 확인하는 편이 안전합니다. 반품 사진이라면 “파손 여부를 판단해 줘” 대신 “사진에서 보이는 흠집의 위치와 모양을 먼저 적고, 그다음 판단해 줘”라고 요청하면, 잘못 본 부분이 답에 드러나 사람이 바로 잡아낼 수 있습니다. 확인해야 할 부분이 정해져 있다면 그 부분만 잘라 다시 보여 주는 것도 연구에서 효과가 확인된 방법입니다.

반대로 사람의 의도를 읽어야 하는 판단, 영상 속 짧은 순간이 결론을 가르는 판단, 크기와 거리처럼 깊이가 필요한 판단은 아직 사람이 마지막에 봐야 하는 영역입니다. 모델을 하나 더 붙여 교차 확인하는 방식도, 같은 단서를 함께 놓치는 경향을 생각하면 기대만큼 안전하지 않을 수 있습니다.

AI에게 사진을 맡길 때는 ‘어떻게 생각했는지’보다 ‘무엇을 봤는지’를 먼저 물어야 합니다.