온디바이스AI (1) 썸네일형 리스트형 효율성의 마법: 1/24로 줄어든 AI 비용의 비밀(Recurrent Depth Approach) 안될 공학님의 유튜브를 보면서 관련 내용을 조금더 공부한 후 관련 내용을 정리해 보았습니다. 저는 전공자가 아니기 때문에 매우 얕은 지식을 바탕으로 제가 이해한 선에서만 정리해 보았습니다. 잘못된 부분이 있다면 알려주시면 즉시 수정하도록 하겠습니다. 기존 LLM과 새로운 모델의 근본적 차이 가. 기존 LLM의 작동 방식과 한계기존의 대형 언어 모델(LLM)은 다음과 같은 방식으로 작동합니다:리소스 사용 구조거대한 파라미터(수천억 개)를 저장하기 위한 대용량 메모리 필요각 레이어마다 별도의 가중치와 메모리 공간 필요추론 시 모든 레이어를 한 번씩 순차적으로 통과Chain-of-Thought(COT) 방식의 한계추론 과정을 텍스트로 출력하며 진행긴 문맥 처리를 위한 추가 메모리 필요토큰 생성마다 전체 모델.. 이전 1 다음
