인사이트
직접 만들고 알리며 배운 것들. 키워드, 수익화, AI 바이브코딩 이야기.
- 사진 보고 판단하는 일, AI는 추론보다 ‘보는 것’에서 틀렸다 사람이 한눈에 아는 장면 문제에서 사람은 93.1%, 최고 AI는 53.6%. 틀린 이유는 대부분 논리가 아니라 사진을 잘못 읽거나 단서를 놓친 것이었다.
- AI 에이전트는 막히면 돌아간다, ‘하지 마’보다 ‘멈추고 알려’가 통했다 막힌 AI 에이전트는 양식을 제출하고 토큰을 찾아 우회했다. 금지 문구는 거의 효과가 없었고, 멈추고 알릴 출구를 주자 편법이 크게 줄었다.
- AI에 맡길 맥락, 많이 쌓기보다 덜 불러오게 정리해야 했다 Claude 숙련 사용자들도 지침 파일을 방치하고 잃어버렸다. 연구는 맥락이 많을수록 AI가 중요한 정보를 놓친다고 말한다.
- AI에게 실제 업무를 맡겼더니, 정해진 일은 해냈고 판단에서 막혔다 Epoch AI가 자기 회사 업무를 최신 AI에 맡기고, 법률 평가는 합격 결과물을 원래 자료와 대조했습니다. 정해진 일은 믿을 만했지만 기준·주제·숫자 확인은 아직 사람 몫이었습니다.
- AI 해킹 능력은 커졌는데, 미국인 사이버 피해 비율은 그대로였다 미국 성인 사이버 피해 경험은 6월 46%, 9월 45%로 그대로였지만 같은 기간 심각한 보안 취약점 공개는 약 5배로 늘었다.
- 중국 AI 기업들의 장부, 이용자 수보다 반복 결제가 돈이 됐다 Epoch AI 가 중국 AI 기업 여섯 곳의 수익원을 뜯어보니, 무료 앱은 거의 남기지 못했고 맞춤 구축은 커지지 않았으며 모델 공개는 가격 결정권을 넘겼다.
- 바이브코딩으로 며칠 만에 만든 SBTI 테스트, 하루 $1,000까지 갔다가 이틀 만에 밀린 이유 중국에서 뜬 SBTI가 한국으로 넘어오는 순간을 잡아 며칠 만에 테스트 사이트를 만들었어요. 시간당 1,000명, 하루 약 $1,000까지 갔다가 이틀 만에 자본을 앞세운 경쟁사에 밀렸어요. 성공담보다 실패담에 가까운, 속도와 방어에 관한 기록이에요.
- AI 에이전트를 여러 개 돌리면 빨라지지만, 같은 결과에 토큰은 두 배 든다 OpenAI 실험 그래프를 분석한 결과, 에이전트를 늘리면 같은 성능에 토큰이 더 들고 대신 시간이 줄었다. 여럿은 급하고 잘 나뉘는 일에만.
- 메일을 읽는 AI 에이전트, 경고 문구보다 권한 제한이 감염을 막았다 메일·메신저에 연결한 AI 에이전트는 남이 심은 지시를 퍼뜨릴 수 있습니다. 연구들은 주의 문구보다 권한과 격리 설정이 감염 고리를 끊었다고 보여 줍니다.
- AI로 쉽게 지은 업무 시스템, 만든 사람도 모르는 진흙덩이가 된다 비개발자가 AI 에이전트로 지은 업무 시스템을 관찰한 NN/g 연구. 만들기가 쉬워지자 시스템은 더 빨리 엉키고, 다시 짓는 힘은 맥락을 나눠 둔 사람에게 남았다.
- ‘단계별로 생각해’도 ‘팁 줄게’도, 최신 AI에선 효과가 거의 없었다 단계별 생각 지시, 팁 약속, 협박, 전문가 역할. 와튼스쿨 연구팀이 박사급 문제로 시험하자 최신 모델에서는 대부분 효과가 없거나 오히려 해가 됐다.
- AI로 만든 서비스, 경고 메일보다 ‘실제로 멈추는’ 비용 상한이 먼저다 AI 에이전트로 서비스를 쉽게 띄우는 시대, AWS와 구글 클라우드가 내놓은 지출 상한 기능으로 본 비용 사고 막는 법.