Deepseek (R1) 짧은 사용 소감 (조금 더 이어서)

Deepseek (R1) 짧은 사용 소감 (vs ChatGPT, Claude)

https://bbs.ruliweb.com/best/board/300143/read/69340136

여기에서

1) 첫번째 질문 - 한국인 생명표 통계자료 분석

Deepseek가 짧은 컨텍스트 + 반응속도 느림(서버 먹통) 콤보로 제대로 답변을 못했는데 

그래도 공정하게 기회를 주기 위해 몇 차례 다시 시도해보고 날짜지나서 한 번 더 해봤음. 

1) 5년 간격 데이터를 선형 보간법으로 계산해봤더니 45년이다

← 이렇게 계산할 필요도 없지만 계산도 틀림, 선형보간법에 넣을 숫자를 잘못 잡음

2) 페이지 15의 "완전 생명표, 2023년 (여자)"를 보니 45.04년이다. 

← 이것도 틀림. pdf 상에서 15 페이지도 아니고, 45.04년도 아님

같은 (수준의) 문제를 Claude 3.5 Sonnet는 작년 6월 출시 때부터 깔끔하게 풀어냈으니까, 상당히 실망스러운 결과. 

저번에 글을 올린 후 조금 더 써보면서 느낀 거지만 Deepseek R1이 이전 버전의 Deepseek V3에 비해서 나아졌는지 의문. 추론을 한다면서 앞에 장황하게 이말 저말하지만 실제로 답변의 질이 더 올라간다는 느낌이 없음. 말은 길게 하는데 굳이 할 필요가 없는 이야기, 질문에서 요구하지도 않은 부분을 추가해서 소설을 쓴다는 느낌. 오버해서 파인튜닝을 했다고 해야할지 ... 

특히 기존의 인공지능들이 보여주는 '환각'이 잘 모르는 부분, 모순되는 부분을 모른다고 답하는 대신 어떻게든 채워넣으려다 발생한다면, 딥시크의 저런 불필요한 소설 쓰기는 모델 붕괴(Model Collapse) 느낌이 좀 남. (어디까지나 개인적인 의견)

만약 지금 나오는 이야기대로 Deepseek R1이 실제 현실의 데이터를 수집해서 학습하지 않고, 기존의 인공지능들을 대상으로 2차 학습(?)을 한 결과물이라는 얘기가 사실이라면, 비용이 적게 들었다는 부분도 이해가 가고, 현재 답변이 저렇게 나오는 부분도 이해가 감. 

인공지능의 모델 붕괴(Model Collapse)가 뭐냐면 이런 거. 

-------------------------

https://m.dongascience.com/news.php?idx=66662

동아사이언스 

"인공지능(AI)은 방대한 데이터를 학습하고 기존 데이터의 패턴 등을 파악해 추론 능력을 발휘하거나 새로운 데이터를 만든다. AI가 만든 데이터를 다시 AI 모델이 학습하는 과정이 되풀이되면 AI 모델이 '붕괴'를 일으켜 오류를 일으킬 수도 있다는 연구결과가 제시됐다. 앞으로 인간이 만든 데이터에 대한 가치가 더욱 높아질 것이라는 전망이다.
야린 갈 영국 옥스퍼드대 컴퓨터과학과 교수팀이 AI가 만든 데이터로 학습한 AI 모델은 결과물이 오염되는 '붕괴' 현상을 일으킬 수 있다는 사실을 수학적으로 설명하고 연구결과를 24일(현지시간) 국제학술지 '네이처'에 공개했다.
대규모 언어모델(LLM) 같은 AI 모델이 널리 사용되면서 인터넷 등에 AI가 만든 데이터가 상당수 확산됐다. AI가 만든 콘텐츠나 데이터가 다른 AI나 혹은 자기 자신을 학습하는 데 다시 사용되는 경우가 증가하고 있다. 전문가들은 AI가 만든 데이터를 다시 AI가 학습하면 관련 없는 내용이 출력되는 등 오류가 생기는 붕괴 현상이 일어날 수 있다고 경고해 왔다."

-------------------------