AI 배울수록 멍청해진다 주장은 낡았음! + 설명

해당 주장은 gpt-4가 프리뷰에서 벗어나 대중공개 초기에

chatGPT에서 접근가능할 떄 나왔던 주장임.

근데 이건 gpt-4가 단일모델이 아니라 멀티모달을 구현하기 위해 여러 모델을 결합한 클러스터 스타일일 것이라 추정되어서 나온 거임

지금 gpt-o1-preview나 좀 떨어져도 Anthropic claude 3.5 sonet만 되어도 그런 현상 없어짐

이게 왜 이런 착각이 나왔냐면

당시의 주요 ai 조절은 파인튜닝이었음

이게 원래 이미 트레이닝 된 모델에 내가 원하는 자료를 넣어서 이거만 더 잘해라 하는 건데

근데 파인튜닝은 오버피팅, 그러니까 내 자료만 너무 보는 일이 일어나버리면, 

원래 모델이 잘하던 것도 못하는 등신이 됨.

지금은 rag나 Prompt-based, structured output이 llm의 기본 사용법이고

파인튜닝은 정말 특이한 작업을 시켜야 할 경우, 그 경우도 아예 오픈소스 모델을 건드리는 게 낫다가 정설이 됨

아예 오픈소스 트레이닝셋 가져다가 제로부터 만드는 게 더 나은 경우가 많고.

gpt-claude는 파인튜닝 의미가 없는데다 그걸 하게 두지도 않음

---------

쉽게 풀어쓰자면

과거 gpt는 새 걸 공부시키면 이전 걸 까먹었음. 그것도 랜덤하게 아무거나 까먹어서 한국어를 까먹기조차 함.

(특히 3.5 ~ 4 프리뷰 시절)

그래서 얘네 공부할수록 멍청해진다! 소리가 나왔음

(유게 몇개 전 베스트 글 내용)

지금은 애초에 공부시키지 않고 참고자료 보고 답변해 방식을 하거나

아예 처음부터 공부시키면 저런 식으로 과거 배운걸 잊어서 멍청해지는걸 방지할 수 있게 됨.

특히 저 배울수록 멍청해지는 현상은 당시에 아주 잠깐 일시적으로 있던 과도기적 현상인데

gpt 2~3 때는 아예 기초기술부터 다 배운 사람 아니면 건들지를 못해서 어떤 상황인지조차 몰랐다면

chatGPT 서비스 나오고 누구나 돌려보고 "엥 멍청해진거같은데" 하고 말할 수 있게 되어버려서 발생한 해프닝임.