딥러닝 이론 | Hacker News

한 Hacker News 댓글은 제안된 딥러닝 통합 이론이 지나치게 포괄적이고 순환적이라고 비판했다.

그 이론이 단순히 암기된 내용을 신호와 잡음으로 재분류할 뿐, SGD가 왜 그 구분을 학습하는지는 설명하지 못한다고 지적했다.

이 비판은 대통합을 주장하려면 더 강한 증거, 검증 가능한 예측, 그리고 일반화에 대한 명확한 설명이 필요하다고 본다.

논쟁의 배경에는 benign overfitting, double descent, grokking, implicit bias 같은 딥러닝 이슈가 있다.