128GB 미니 PC에서의 대형LLM 구동 가능성 70B 예시
양자화 수준 (Quantization Level),필요한 메모리 (VRAM/RAM)
FP16 (원래 크기),약 140 GB (70B × 2 Bytes/Param),구동 불가능 (128GB 초과)
Q8_0 (8-bit),약 70 GB (70B × 1 Byte/Param),구동 가능 (충분)
Q5_K (5-bit),약 43 GB (70B × 0.61 Bytes/Param),구동 가능 (매우 여유로움)
Q4_K (4-bit),약 35 GB (70B × 0.5 Bytes/Param),구동 가능 (매우 여유로움)
OpenAi 가 한국 램 싹쓸어갔데서 찾아보니
본격적으로 하드웨어쪽 수혜가 시작되고 있네요
인공지능 때문에 개인워크스테이션 패러다임이 전환되고 (포토샵페인터 -> 나노바나나) (프리,프로,포스트 -> 생성형ai) (날밤까면서코딩 -> 딸깍수정ai) (7명이날밤까면서야근 -> 업무자동화에이전트ai하나)
동시에 하드웨어 요구수준 압박이 일반에 까지 뻗치고 있고,
일반의 기존 컴퓨터에 비해 30배 이상 요구기준이 높아지면서 하드웨어 시장 확장이 단번에 일어나네요
지금도 쓸만하지만, 온라인 에이전트가 더욱 일반화 될 내년 중반즘이면
정말 많은 사람들이 대형LLM을 돌릴 수 있는 컴퓨터를 찾을 수 밖에 없는 상황에 이를 것 같고
민감자료를 온라인상으로 다룰 수 없는 수많은 중소기업에서도 필수로 구매해야 할거고
세상은 어떤식으로던 발전하네요
10년이면 정말 이런 무형의 에이전트ai는 가정에 싹다 보급될것 같네요
그 물량 다 받아치려면 중국발 반도체 성능도 엄청날것 같고...
로봇이 오프라인으로 나오는 피지컬ai 도 진척이 엄청나던데 ㄷㄷ
제온서버 껄 나겠군
인도 중국은 아직도 갈길 멉니다
저런 사양 개인이 집에서 돌리려면 냉각용 대형수조 한개씩은 있어야 할듯 ㄷㄷ
겨울엔 난방비도 아끼고 좋은데 여름되면 생각만 해도 끔찍
요거가 젤조은 스파크인데 손바닥 만해용
밑으로 다른 VRAM 통합PC 들도 다 미니PCㄷㄷ
http://youtu.be/o9KqEusHiUE
DGX 스파크 경우는 겨우 이만한 물건이라 가격이 700만원이 넘는 사악한 물건이라는게 문제지
시퓨는 암드가 다 먹었네여.. 엔비댜 1개 빼고...
집에서 사실상 못써요. 재미로 쓰는수준