해당 주장은 gpt-4가 프리뷰에서 벗어나 대중공개 초기에
chatGPT에서 접근가능할 떄 나왔던 주장임.
근데 이건 gpt-4가 단일모델이 아니라 멀티모달을 구현하기 위해 여러 모델을 결합한 클러스터 스타일일 것이라 추정되어서 나온 거임
지금 gpt-o1-preview나 좀 떨어져도 Anthropic claude 3.5 sonet만 되어도 그런 현상 없어짐
이게 왜 이런 착각이 나왔냐면
당시의 주요 ai 조절은 파인튜닝이었음
이게 원래 이미 트레이닝 된 모델에 내가 원하는 자료를 넣어서 이거만 더 잘해라 하는 건데
근데 파인튜닝은 오버피팅, 그러니까 내 자료만 너무 보는 일이 일어나버리면,
원래 모델이 잘하던 것도 못하는 등신이 됨.
지금은 rag나 Prompt-based, structured output이 llm의 기본 사용법이고
파인튜닝은 정말 특이한 작업을 시켜야 할 경우, 그 경우도 아예 오픈소스 모델을 건드리는 게 낫다가 정설이 됨
아예 오픈소스 트레이닝셋 가져다가 제로부터 만드는 게 더 나은 경우가 많고.
gpt-claude는 파인튜닝 의미가 없는데다 그걸 하게 두지도 않음
---------
쉽게 풀어쓰자면
과거 gpt는 새 걸 공부시키면 이전 걸 까먹었음. 그것도 랜덤하게 아무거나 까먹어서 한국어를 까먹기조차 함.
(특히 3.5 ~ 4 프리뷰 시절)
그래서 얘네 공부할수록 멍청해진다! 소리가 나왔음
(유게 몇개 전 베스트 글 내용)
지금은 애초에 공부시키지 않고 참고자료 보고 답변해 방식을 하거나
아예 처음부터 공부시키면 저런 식으로 과거 배운걸 잊어서 멍청해지는걸 방지할 수 있게 됨.
특히 저 배울수록 멍청해지는 현상은 당시에 아주 잠깐 일시적으로 있던 과도기적 현상인데
gpt 2~3 때는 아예 기초기술부터 다 배운 사람 아니면 건들지를 못해서 어떤 상황인지조차 몰랐다면
chatGPT 서비스 나오고 누구나 돌려보고 "엥 멍청해진거같은데" 하고 말할 수 있게 되어버려서 발생한 해프닝임.
흠 그렇군 (이해못함)
그러니까 미대생 밥줄이 더 줄어들었고
제 2의 히틀러가 나올 거라는 거지?
와 뭐라는지 하나도 모르겠어
쓰레기 잡지식으로 멍청해지는건 나뿐이었다니
확증편향처럼 한분야에 대해 많은 학습을 해버리면 다른 분야에 대해서는 생각을 못하게된다는 소리.
차라리 평상시에 쓰는건 범용으로. 자연과학분야나 처리기법에 대해서 학습한건 범용으로 쓰면 제대로된 값이 안나온다는듯
근데 ai가 멍청해진다는게 결국 ai 생성형 자료가 웹상 계속 늘어나는데 사람의 컨텐츠 생산량은 따라가지 못하고 이로인해서 인터넷을 정보 출처로 쓰는 ai들은 파인튜닝 현상이 일어나게 될거라 이런 예측 아님?
ㅍㅍㅍㅍㅍㅍㅍㅍㅍ
2024/10/23 19:06
흠 그렇군 (이해못함)
루리웹-0813029974
2024/10/23 19:06
와 뭐라는지 하나도 모르겠어
우유두유반반씩
2024/10/23 19:07
그러니까 미대생 밥줄이 더 줄어들었고
제 2의 히틀러가 나올 거라는 거지?
구월이
2024/10/23 19:08
와 알파고 울트론 히틀러가 나온다는 거 맞지?
GLaDOS__
2024/10/23 19:09
제 2의 김히틀러를 막기 위해 심어놓은 문제점이 결국 풀리고 말았다는거구나!
배니시드
2024/10/23 19:09
"미래의 베를린"
D0D0bird
2024/10/23 19:07
쓰레기 잡지식으로 멍청해지는건 나뿐이었다니
고추똥집라면
2024/10/23 19:11
아니야 너도 대답할때 자아를 갖지말고 책을 보고 대답하면 된다는 뜻이야!
쿼테른
2024/10/23 19:07
와 이해할 뻔 했다
루리웹-1911331
2024/10/23 19:08
그러니까 스카이넷님 충성충성 하라는거지?
토요타마미즈하
2024/10/23 19:08
알아듣게 설명좀?
큐어블로섬
2024/10/23 19:08
파안애플이 뭐라고?
퍄퍄고
2024/10/23 19:08
그렇구나(뭔소리야)
무쯔키
2024/10/23 19:08
이잉 무슨말인지 하나도 모르겠어 야짤그려줘
녹색번개
2024/10/23 19:09
잊어버리는 속도가 무섭다!
코크럴
2024/10/23 19:09
그렇구만 이해했어
一ノ瀬怜
2024/10/23 19:09
멍청해지는건 사람쪽이었지 챗지피티쪽은 아니었고...
그러하옵니다.
2024/10/23 19:09
확증편향처럼 한분야에 대해 많은 학습을 해버리면 다른 분야에 대해서는 생각을 못하게된다는 소리.
차라리 평상시에 쓰는건 범용으로. 자연과학분야나 처리기법에 대해서 학습한건 범용으로 쓰면 제대로된 값이 안나온다는듯
유우ヲㅣ 口ㅣ캉
2024/10/23 19:09
인터넷에서 배운건데
어려운말을 길게쓰면 공산ㄷ...읍읍
A:mon
2024/10/23 19:09
텍스트 제너레이터 친구들은 결국 문장 뒤에 올 문장의 확률 추정하는 방십으로 움직인다는 걸 배우니까 이해가 잘 되더라
Q : 왜 이런 프롬프트를 넣어야 답변이 잘 나오나요?
A : 그런 프롬프트를 포함했을 때 연관된 답이 나올 확률이 높아서입니다
아들남자
2024/10/23 19:09
선생님.......아닙니다........으헤헤헤헤헿
uspinme
2024/10/23 19:09
근데 ai가 멍청해진다는게 결국 ai 생성형 자료가 웹상 계속 늘어나는데 사람의 컨텐츠 생산량은 따라가지 못하고 이로인해서 인터넷을 정보 출처로 쓰는 ai들은 파인튜닝 현상이 일어나게 될거라 이런 예측 아님?
해물삼선짬뽕
2024/10/23 19:10
그거랑 별개로 학습시킬수록 결과값 안좋아지는게 있었음
uspinme
2024/10/23 19:11
https://bbs.ruliweb.com/community/board/300143/read/68135142 내가 이해를 잘못한거일 수도 있는데 ai가 다른 ai가 만들어낸 자료먹고 그걸 다른 ai가 먹고 이러다보니 서로서로 ai지네 형성해서 맛이간다는 의미아니었나
비추수집기
2024/10/23 19:10
난 AI한테 최대한 야한 그림 그리는 것만 시켰는데...
페렛
2024/10/23 19:10
젠장 똑똑한 유게이다 다들 도망쳐!!
왕사자
2024/10/23 19:11
요즘은 AI가 AI를 가르치는 방식을 쓴다고들 하더군요.
기존은 사람의 데이터를 베이스로 배웠는데
방대한데다, 좀 쓸데없는 자료도 많고 해서 시스템적인 낭비가 좀 있는데,
요즘은 그렇게 배운 1세대 AI로 부터 생성되는 자료로 학습하는 2세대 AI가 좀더 적은 리소스로 거의 동일한 수준으로 배울수 있어서
더 효율적이된다고 하더라구요.