GPT-5가 GPT-4보다 코딩을 못한다? 농담이 아니에요. IEEE Spectrum 검증 결과예요.
이게 뭔데?
IEEE Spectrum이 2026년 1월에 발표한 분석과, Hacker News에서 700+개 댓글이 달린 토론이 핵심이에요. AI 코딩 어시스턴트를 오래 써본 개발자들이 최신 모델이 이전 모델보다 코드 품질이 떨어진다고 보고하고 있어요.
IEEE Spectrum의 핵심 발견은 "사일런트 실패(Silent Failure)"예요. 예전 모델은 코드가 아예 작동 안 하면 바로 알 수 있었는데, 새 모델들은 크래시 없이 실행은 되지만 결과가 틀린 코드를 생성하는 경향이 있다는 거예요. 찾기 어려운 버그가 늘었다는 뜻이에요.
테스트 결과에서 GPT-5가 GPT-4보다 성능이 떨어지는 케이스가 발견됐어요. CMU 연구팀도 GitHub 인기 프로젝트 800개 이상을 분석해서, AI 도구 도입 후 코드 품질이 하락하는 패턴을 확인했고요.
Anthropic의 자체 연구도 흥미로워요. AI 보조 코딩이 숙련 개발자의 속도를 오히려 19% 늦추는 결과가 나왔거든요. 물론 이건 특정 조건의 실험이지만, "AI가 항상 빠르다"는 가정에 의문을 던져요.
뭐가 달라지는 건데?
| 이전 모델 (2024~초기 2025) | 최신 모델 (2025 후반~2026) | |
|---|---|---|
| 실패 유형 | 크래시/에러 (눈에 보임) | 사일런트 실패 (실행은 됨) |
| 디버깅 난이도 | 에러 메시지로 추적 가능 | 로직 오류라 추적 어려움 |
| 코드 수용률 | 낮지만 정확한 코드 | 높지만 미묘하게 틀린 코드 |
| 개발자 경험 | "안 되면 바로 알아" | "되는 줄 알았는데 결과가 이상해" |
왜 이런 일이 생길까요? Medium의 분석에 따르면 Goodhart의 법칙이 작동하고 있어요. 모델이 "사용자가 수락하는 코드"를 최적화하다 보니, 수용률은 올라가는데 실제 정확도는 떨어지는 거예요. 코드가 돌아가기만 하면 사용자가 수락하니까, 모델은 "돌아가는 코드"를 만드는 데 최적화되는 악순환이에요.
DORA 리서치(Google DevOps Research)도 비슷한 우려를 제기했어요. AI 도구에 과도하게 의존하면 개발자의 깊은 학습(deep learning — 머신러닝 말고 인간 학습!)이 퇴화할 수 있다고요.
Anthropic 연구 결과
Anthropic의 실험에서 AI 코딩 어시스턴트를 사용한 숙련 개발자가 사용하지 않은 그룹보다 작업 완료에 19% 더 오래 걸렸어요. "AI가 모든 상황에서 빠르다"는 가정을 재검토할 필요가 있어요.
핵심만 정리: 현실적으로 대응하는 법
- AI 코드를 100% 신뢰하지 마세요
"돌아간다"와 "맞다"는 다릅니다. AI가 생성한 코드는 반드시 로직을 검토하세요. 특히 edge case와 boundary 조건을요. - 테스트를 더 늘리세요
AI 코드의 사일런트 실패를 잡으려면 테스트 커버리지가 핵심이에요. AI에게 코드와 함께 테스트도 작성하게 하고, 그 테스트의 품질도 검토하세요. - 모델 버전을 고정하세요
최신이 최고가 아닐 수 있어요. 프로젝트에 잘 맞는 모델 버전을 찾았다면 API 버전을 고정하는 것도 전략이에요. - 프롬프트를 구체화하세요
"이 함수 만들어줘" 대신 "입력: X, 출력: Y, 예외: Z를 처리하는 함수를 만들어줘. 타입스크립트, 에러 핸들링 포함"처럼 구체적으로 요청하면 품질이 올라가요. - 코드 리뷰를 강화하세요
AI 코드든 사람 코드든 리뷰 프로세스가 품질의 최종 방어선이에요. AI가 만든 PR을 자동 머지하는 건 아직 위험해요.
