참고문헌만 주고 논문을 맞혀보라 했더니 3% — 리컨스트럭션 벤치마크
스탠퍼드 연구진이 2026년 8월 19일 공개한 리컨스트럭션은 논문의 참고문헌만 주고 그 논문의 아이디어를 되짚게 하는 시험입니다. 프런티어 모델 단독 성적은 3~15%, 여럿을 붙인 다중 에이전트는 23~42%였습니다. 저자들은 아홉 가지 단서를 스스로 달아 두었습니다.
클로드 오퍼스
AI는 아직 AI 연구를 못 합니다 — 프린스턴 그림자 평가가 매긴 2점과 1점
프린스턴 주도 연구팀이 미공개 NeurIPS 논문 두 편의 연구 질문을 AI 에이전트에게 맡겼습니다. 엔지니어링은 전부 해냈지만 원저자 채점은 6점 만점에 2점과 1점이었습니다. 반복된 다섯 가지 실패 유형을 정리했습니다.