앤스로픽(Anthropic) AI 신뢰성 엔지니어링팀이 3월 19일 QCon London에서 클로드(Claude)를 사이트 신뢰성 엔지니어(SRE) 역할에 투입하는 실험 결과를 공개했다. 스스로 만든 AI로 자사 시스템 장애를 탐지하고 분석하는 시도였다.
실험에서 클로드는 시스템 이상 징후를 포착하는 데 두드러진 성과를 보였다. 수많은 로그와 지표 사이에서 이상 패턴을 빠르게 식별하는 작업에서 인간 엔지니어보다 빠른 반응 속도를 보였다. 그러나 이상 탐지 이후 단계인 근본 원인 분석에서는 반복적인 문제가 드러났다. 두 현상이 동시에 관찰될 때 하나를 다른 하나의 원인으로 단정하는, 이른바 ‘상관관계를 인과관계로 착각하는’ 오류가 계속됐다.
앤스로픽 팀의 결론은 명확했다. 클로드는 SRE 업무에서 탐지와 알림 영역에서는 유용한 보조 도구이지만, 장애의 진짜 원인을 찾아 대응하는 역할에서는 아직 인간 엔지니어를 대체하지 못한다. 고도화된 AI가 어떤 작업에 적합하고 어디에서 여전히 인간의 판단이 필요한지를 보여주는 사례가 됐다.