OK 스터디
KO English 한국어 日本語 中文 हिन्दी বাংলা اردو Español Português Français Deutsch Русский العربية Bahasa Indonesia Tiếng Việt ไทย Türkçe

알림을 켜는 방법

이 브라우저 또는 주소에서는 알림을 사용할 수 없습니다. 지원되는 브라우저로 보안 연결된 배움노바 사이트에 접속해 주세요.

알림이 차단되어 있으면 브라우저 설정에서 허용해 주세요.

  1. 주소 표시줄 옆의 사이트 설정 또는 브라우저의 사이트 설정을 열고, 이 사이트의 알림을 허용으로 바꾸세요.
  2. 기기 설정에서 브라우저 알림을 허용하고 방해 금지 또는 집중 모드를 확인하세요.
  3. 배움노바로 돌아와 페이지를 새로고침하세요. 알림이 켜지면 벨은 사라집니다.

iPhone 또는 iPad에서는 배움노바를 홈 화면에 추가하고 거기에서 연 뒤 알림을 허용하세요.

손님

로그인하시면 회원님의 수업 스케줄 정보를 확인할 수 있습니다.

시작하기

한 단계씩 시작하는 영어 수업

단계를 누르면 그 화면으로 가요.

무료 체험

  1. 무료 체험 강사 고르기

    사진에 [무료 체험]이 붙은 강사를 눌러요.

  2. 선물 표시 시간 누르기

    시간표에서 선물 그림이 있는 무료 시간을 눌러요.

  3. 로그인하고 예약하기

    로그인하면 바로 예약돼요. 결제는 없어요.

  4. 카메라 & 마이크 테스트

    수업 전에 카메라와 마이크를 미리 확인해요.

  5. 예약된 수업 확인

    예약한 수업의 시각과 강사를 확인해요.

  6. 수업 입장

    시간이 되면 화상 교실에 들어가요.

  7. 지난 수업 확인

    끝난 수업의 기록을 다시 봐요.

  8. 강사 평가

    수업이 끝나면 강사를 평가해요.

나를 소개

  1. 나의 프로필 사진 등록하기

    사진이 있으면 강사가 나를 알아보기 쉬워요.

  2. 나를 소개 등록하기

    자기소개 게시판에 인사를 남겨요.

수업 듣기

  1. 수업 예약

    마음에 드는 강사의 시간표에서 예약해요.

  2. 페이팔 수업료 결제

    PayPal 로 내면 PayPal 이 확인하는 즉시 수업이 예약돼요.

  3. 예약된 수업 확인

    예약한 수업의 시각과 강사를 확인해요.

  4. 수업 입장

    시간이 되면 화상 교실에 들어가요.

  5. 지난 수업 확인

    끝난 수업의 기록을 다시 봐요.

  6. 강사 평가

    수업이 끝나면 강사를 평가해요.

요청이 가는 길

로봇 안내원이 질문 카드를 많은 전문가 책상 가운데 세 곳으로만 보내고, 불이 켜진 그 세 전문가만 일하는 사무실 그림
한눈에 보는 전체 길

글을 배운 AI가 내 화면에 답하기까지

글을 모아 을 만들고(), 다 만든 모델로 다음 을 하나씩 계산해 답합니다(). 위쪽 길에서는 가 바뀌고, 아래쪽 길에서는 가중치를 그대로 둔 채 계산만 합니다.

XSLM 실제 계산 숫자는 작은 학습용 모델 XSLM 을 기본 설정으로 실제로 돌린 값입니다. "설명용 예"라고 적힌 막대만 손으로 정한 예입니다.

모델 만들기 — 학습 가중치가 바뀜

  1. 자료 모으기
  2. 정리하기
  3. 토큰·숫자로
  4. 반복 학습

학습 반복: 예측 → 정답과 비교 → 손실 계산 → 가중치 수정

모델 쓰기 — 추론 가중치 고정

  1. 사람의 질문
  2. 입력을 숫자로
  3. 모델 계산
  4. 다음 토큰 고르기
  5. 글로 되돌리기
  6. 화면에 보이기

답변 반복: 다음 토큰 계산 → 고르기 → 입력 뒤에 붙이기 → 다시 계산 (끝 표시가 나오거나 길이 한도에 닿으면 멈춤)

  • 자료(글)
  • 토큰
  • 가중치
  • 확률
  • 문장
여러 글이 정리 기계를 지나 깨끗한 자료 묶음이 되는 그림

① 배울 자료를 준비한다

웹 문서·책··대화 글을 모으고, 겹치는 글과 품질이 낮은 글을 과 사람이 걸러 냅니다. 일부는 시험용(검증 자료)으로 떼어 둡니다.

XSLM XSLM: 15줄 → 겹침 지우기 → 학습 12줄 · 검증 3줄

자세히 배우기
문장 띠가 토큰 조각으로 잘리고 조각마다 숫자 묶음으로 이어지는 그림

② 글을 숫자로 바꾼다

문장을 토큰 조각으로 자르고, 조각마다 번호를 붙이고, 그 번호로 숫자 묶음()을 찾아옵니다.

  1. Q:␣29
  2. s22
  3. u24
  4. n18
  5. ↵1
  6. A:␣30
  7. t23
  8. h13
  9. e11
  10. ␣2
  11. s22
  12. u24
  13. n␣31
  14. is␣35
  15. w25
  16. a7
  17. r21
  18. m.39
  19. ↵1

XSLM 어휘 40개 · 이 문장은 조각 19개

자세히 배우기
로봇이 가린 조각을 맞히고 차이를 재어 조절 손잡이를 돌리는 그림

③ 예측하면서 가중치를 배운다

다음 조각을 가리고 맞혀 봅니다. 정답과의 차이()를 거꾸로 보내 가중치를 조금씩 고칩니다.

예측은 앞으로 고칠 신호는 뒤로

XSLM 같은 창을 다시 계산하면 손실 3.7050 → 3.6684

자세히 배우기
설계도·가중치·토크나이저·설정이 한 상자에 담겨 서버에 올라가는 그림

④ 사용할 모델을 완성한다

학습을 마치면 처음 보는 검증 자료로 실력을 재고, 구조·학습된 가중치··설정을 한 묶음으로 저장합니다. 대화용 큰 모델은 그 전에 추가 학습과 평가를 더 거칩니다. 실행기는 이 묶음을 에 올립니다.

XSLM XSLM: 행렬 9개 · 가중치 1,248개 · 검증 손실 3.7568 → 3.7298

자세히 배우기
질문 조각이 모델을 지나 확률 막대가 되고 가장 큰 조각이 뒤에 붙는 그림

⑤ 다음 토큰을 계산한다

질문을 숫자로 바꿔 모델에 넣으면 후보마다 점수가 나오고, 점수를 로 바꿔 한 조각을 고릅니다. 고른 조각을 뒤에 붙여 다시 계산합니다.

설명용 예 — 낱말 단위 오래 배운 모델이라면 the sun is …
  • warm63.2%
  • hot23.2%
  • blue10.4%
  • run3.1%

가중치 고정 이때 가중치는 바뀌지 않습니다.

자세히 배우기
토큰이 글로 바뀌어 노트북 대화창에 보이고 뒤로 전체 길이 보이는 그림

⑥ 사람이 읽는 답변이 된다

고른 번호를 글자로 되돌리고, 가 로 보내 대화창에 보입니다.

the sun is warm.

XSLM 실행기는 답을 다 만든 뒤 한 번에 보내고, 흔한 챗봇은 만드는 대로 흘려보냅니다.

자세히 배우기

직접 해 보기

같은 문장 "⁨the sun is warm.⁩" 를 따라가며 토큰·임베딩·가중치·확률이 어떻게 다른지 눌러 봅니다.

토큰 번호와 임베딩

조각을 누르면 그 번호와 숫자 묶음(임베딩)이 함께 밝아집니다.

토큰 번호 — 조각을 가리키는 번호일 뿐 뜻은 없습니다
t 23

임베딩 — 학습으로 정해지는 숫자 8개

학습 전
  1. 0.11
  2. -0.03
  3. 0.28
  4. -0.12
  5. 0.09
  6. -0.03
  7. 0.01
  8. 0.07
20걸음 학습 뒤
  1. 0.11
  2. -0.03
  3. 0.28
  4. -0.12
  5. 0.09
  6. -0.02
  7. 0.01
  8. 0.07

학습 한 걸음 가중치가 바뀜

처음 모델이 이 문장 창으로 예측 → 손실 → 가중치 수정을 한 걸음씩 합니다.

  1. Q:␣
  2. s
  3. u
  4. n
  5. ↵
  6. A:␣
  7. ?
맞혀야 할 조각
t
정답 조각의 확률
3.2%
손실
3.7050
  1. 학습 전 · 손실 3.7050

답변 한 걸음 가중치 고정

20걸음만 학습한 XSLM 이 질문 뒤에 한 조각씩 고릅니다. 가중치는 고정입니다.

지금까지 만든 답 Q:␣sun↵A:␣

  • Q:␣5.4%
  • .3.8%
  • A:␣i3.4%
  • A3.1%
  • t3.1%
  • 나머지 후보 합81.3%

고른 조각 —

확률은 다음 조각 후보의 가능성이지 답이 사실일 확률이 아닙니다. 20걸음만 배운 모델이라 아직 엉뚱한 조각을 고릅니다 — 의 정답은 "⁨the sun is warm.⁩" 입니다.

같은 길을, 한 칸씩 전부

1 내 손에서 프로그램까지 1번 구역 4단계
  1. 키가 눌린다

    키보드 안의 작은 컴퓨터가 어느 키가 움직였는지 알아채고, 그것을 숫자로 만들어 선으로 흘려보냅니다.

  2. 운영체제가 받는다

    의 가 그 숫자를 으로 바꾸고, 지금 맨 앞에 있는 창을 향해 줄을 세웁니다.

  3. 프로그램이 줄에서 꺼낸다

    모든 은 사건을 하나씩 꺼내 처리하는 반복문을 돌고 있습니다. 입력칸에 글자가 찍히는 것이 이 단계입니다.

  4. 마이크는 다른 길로 간다

    소리는 1초에 수만 번 잰 숫자로 들어옵니다. 이 말소리를 글자로 바꾼 뒤에 글 모델에게 넘깁니다 — 다만 요즘은 소리를 직접 듣는 모델도 있습니다.

2 보낼 것을 싼다 1번 구역 7단계
  1. 시스템 프롬프트

    프로그램을 만든 사람이 미리 써 둔 규칙이 맨 앞에 붙습니다 — 너는 무엇이고 어떻게 답해야 하는지.

  2. 지금까지의 대화

    앞서 주고받은 말이 순서대로 들어갑니다. 한도가 있어서 앱이 오래된 것부터 빼거나 줄이거나 요약합니다 — 빠진 것은 모델이 그냥 보지 못합니다.

  3. 내가 붙인 것

    이미지나 파일은 서비스가 받는 모양으로 붙습니다 — 날것의 , 파일 번호, 링크, 또는 라는 긴 글자 줄. 는 서비스에 따라 안의 글을 뽑거나, 쪽마다 그림으로 찍거나, 로 읽습니다.

  4. 내 자료 뒤지기(RAG)

    이것이 입니다. 질문을 숫자(또는 핵심 낱말)로 바꾸고, 내 문서에서 가장 잘 맞는 조각을 찾아 함께 싸 넣습니다. 모델을 다시 학습시키는 것이 아니며, 찾아온 조각도 맞는지 확인해야 합니다.

  5. 도구 목록

    앱이 허락한 도구마다 이름과 입력 모양을 차림표처럼 적어 넣습니다. 앱이 자기 도구를 직접 적기도 하고, 에게서 받아 오기도 합니다.

  6. 스킬과 커맨드

    누군가 미리 써 둔 지시문 묶음 — — 을 일에 필요할 때 끼워 넣습니다. 스킬에는 스크립트와 참고 파일도 들어 있을 수 있으니, 믿기 전에 읽어 보세요.

  7. 한도에 맞추기

    가방 전체를 으로 세어 봅니다. 한도를 넘으면 앱이 무언가를 자르거나 줄이거나 빼야 합니다 — 대개 오래된 것부터.

3 인터넷을 건넌다 2번 구역 4단계
  1. 주소 찾기

    의 이름을 숫자로 된 주소로 바꿉니다().

  2. 길을 열고 자물쇠를 채운다

    보내기 전에 와 서버가 길을 열고 비밀 열쇠를 나눠 가져, 중간에서 아무도 못 읽게 잠급니다( 와 . 새 은 으로 둘을 한 번에 합니다).

  3. 누구인지 밝히기

    요청 머리에 열쇠()나 표(토큰)를 붙입니다. 누구 몫으로 계산할지가 여기서 정해집니다.

  4. 요청 보내기

    지금까지 싼 것을 요청 하나로 — 대개 으로 — 만들어 보냅니다. 실시간 음성처럼 양쪽이 계속 주고받아야 하면 연결을 열어 둡니다.

4 서버 문 앞 3번 구역 3단계
  1. 문지기

    열쇠가 맞는지, 너무 자주 부르지는 않는지 보고, 한가한 계산 기계에게 넘깁니다.

  2. 대기줄

    요청은 바로 계산되지 않고 잠깐 줄을 섭니다. 차례가 되면 이 이미 올려 둔 한 벌의 숫자로 기다리던 여러 질문을 한꺼번에 계산합니다.

  3. 들어온 것 살피기

    계산을 시작하기 전에 규칙에 어긋나는 요청은 아닌지 먼저 봅니다.

5 서버 안 — 기계와 런타임 3번 구역 3단계
  1. 숫자 파일이 잠들어 있다

    이 끝난 모델은 에 놓인 커다란 파일입니다. 그 자체로는 아무 계산도 하지 않습니다. 이 사이트의 도 파일 네 개, 다 합쳐 약 입니다.

  2. 런타임이 한 번 올린다

    서버가 켜질 때(또는 앱이 준비될 때) 런타임이 그 파일을 읽어 실행할 수 있게 준비하고 에 올려 둡니다. 질문마다 다시 여는 것이 아닙니다. 메모리가 모자라거나 서버가 다시 켜지면 다시 불러와야 합니다.

  3. 가속기가 곱셈을 맡는다

    같은 곱셈을 엄청나게 많이 해야 해서, 바로 그 일을 위해 만든 부품에 맡깁니다. 그 옆의 빠른 기억에 숫자들이 머뭅니다. 보통 로도 할 수 있고, 그때는 느릴 뿐입니다.

서버 한 대 안의 배치
서버 컴퓨터 한 대
일반 처리 장치와 메모리
저장 장치에 있는 가중치 파일
모델 런타임 — 올려 두고 관리하는 프로그램
가속기와 그 옆의 빠른 기억

런타임은 안에 들어 있는 것이 아닙니다. 파일을 읽어 그 부품 옆의 기억으로 숫자를 올려 두는, 따로 도는 프로그램입니다.

여러 요청을 묶는 일은 17번, 해 둔 계산을 아껴 두는 일은 27번 — 둘 다 이 프로그램이 합니다.

6 모델이 계산한다 4번 구역 7단계
  1. 토큰으로 자르기

    글을 이 모델의 가 아는 조각으로 자르고, 조각마다 정해진 번호()를 붙입니다. 다른 모델은 같은 글을 다른 조각으로 자를 수 있습니다.

  2. 번호를 숫자 목록으로

    번호마다 학습 때 익혀 둔 긴 숫자 목록()을 꺼냅니다. 번호의 크기 자체에는 뜻이 없습니다 — 비슷하게 쓰이는 조각끼리 비슷해질 수 있는 것은 이 숫자 목록입니다.

  3. 순서 표시하기

    몇 번째 토큰인지도 숫자로 알려 줍니다. 이것이 없으면 "개가 사람을 문다"와 "사람이 개를 문다"를 가르지 못합니다. 모델마다 방법이 다르며, (RoPE)이 흔한 방법 가운데 하나입니다.

  4. 서로 쳐다보기(어텐션)

    — 토큰마다 앞의 어느 토큰을 얼마나 볼지를 계산하고, 그 비율대로 서로의 정보를 섞습니다. 앞쪽만 봅니다. 아직 쓰이지 않은 뒤쪽 토큰은 보지 않습니다.

  5. 층층이 곱하고 더하기

    숫자들이 여러 층 — 큰 모델은 수십 층 — 을 통과합니다. 층마다 어텐션과 한 차례의 곱하고 더하기를 합니다. 층을 지날 때마다 값이 조금씩 옮겨 가며, 층이 몇 개인지는 모델마다 다릅니다.

  6. 전부에 점수 매기기

    마지막 층이 아는 토큰 전부에 점수를 냅니다. 모델에 따라 수만~수십만 개에 한꺼번에 점수가 붙습니다.

  7. 하나 고르기

    마지막 점수를 로 바꿉니다(). 는 확률을 뾰족하게 또는 평평하게 만들고, 와 top-p 는 가능성이 높은 몇 개만 남긴 뒤 하나를 뽑습니다. 언제나 가장 높은 점수만 고르는 것을 이라고 합니다.

7 토큰 하나씩, 몇 번이고 4번 구역 3단계
  1. 뒤에 이어 붙이기

  2. 해 둔 계산 아껴 쓰기

    앞 토큰들에서 이미 계산한 값을 저장해 두고() 다시 계산하지 않습니다. 시간을 아끼는 대신 메모리를 쓰며, 전체 빠르기는 여전히 글의 길이·서버가 얼마나 바쁜지·에 따라 달라집니다.

  3. 20번으로 되돌아감

    토큰 하나만큼 길어진 글이 모델을 한 번 더 통과합니다 — 앞서 해 둔 계산은 27번 덕분에 다시 씁니다. "끝"을 뜻하는 토큰이 나오거나 정해 둔 길이에 닿을 때까지 돌고 돕니다.

답을 써 내려가는 반복이 이것입니다 — 토큰 하나마다 20번으로 되돌아갑니다.

8 돌아오는 길 2번 구역 4단계
  1. 토큰 번호를 읽을 수 있는 글자로 되돌리기

  2. 나오는 대로 흘려보내기

    답 전체를 기다리지 않고, 만들어지는 대로 작은 덩어리로 밀어 보냅니다().

  3. 나가는 것 살피기

    나가는 글도 규칙에 어긋나지 않는지 봅니다.

  4. 쓴 만큼 적어 두기

    보낸 토큰과 받은 토큰의 수를 셉니다. 요금이 나오는 곳이 여기입니다.

9 프로그램이 받는다 5번 구역 4단계
  1. 도착한 조각을 순서대로 잇기

  2. 화면에 그리기

    을 읽어 제목·목록· 상자로 바꿔 그립니다. 조각이 도착할 때마다 다시 그립니다 — 글이 타자 치듯 늘어나 보이는 까닭은 30번의 흘려보내기입니다.

  3. 도구 요청 찾아내기

    답 안에 정해진 형식의 이 섞여 있는지 프로그램이 지켜봅니다.

  4. 인자 확인하기

    그런 도구가 실제로 있는지, 인자 모양이 맞는지를 실행 전에 검사합니다.

10 손을 빌리는 반복 5번 구역 4단계
  1. 허락 묻기

    파일 지우기나 명령 실행처럼 위험한 일이라면, 잘 만든 앱은 먼저 나에게 묻습니다. 그 확인은 모델이 아니라 앱 안에 있고, 그것을 꺼 두는 것도 사람이 정하는 일입니다.

  2. 실제로 하기

    앱이 모델이 부탁한 일을 합니다 — 파일을 고치거나, 명령을 실행하거나, 다른 프로그램(MCP 서버)을 부릅니다. 받은 안에서만.

  3. 결과 담기

    무엇이 나왔는지, 실패했다면 왜인지를 6번의 대화에 새 줄로 담습니다.

  4. 15번으로 되돌아감

    그 결과를 담아 다시 채운 가방을 또 보냅니다. 모델이 끝났다고 하거나, 한도·취소·오류로 앱이 멈출 때까지 이 반복이 이어집니다.

사람들이 라고 부르는 반복이 이것입니다 — 15번으로 몇 번이고 되돌아갑니다.

모델 파일 속으로

숫자, 정밀도, 메모리 — 그리고 숫자를 움직이는 런타임

  1. 모델 파일 악보
  2. 런타임 지휘자
  3. CPU · GPU 연주자
대표적인 런타임 세 가지
잘하는 일
여러 종류의 을 여러 기기에서
에서 실행 ()
큰 모델을 개인 PC에서
자세히 보기

모델은 학습으로 얻은 수많은 숫자와 계산 구조입니다. 런타임은 이 구조를 메모리에 올리고 CPU· 같은 계산 장치에서 실제로 실행하는 엔진입니다.

모델 파일은 악보, CPU·GPU는 연주자, 런타임은 악보를 읽고 연주를 조율하는 지휘자라고 생각하면 쉽습니다.

— 이미지·음성·언어 등 다양한 모델을 여러 와 에서 실행하는 범용 엔진입니다. (Execution Provider)를 통해 장치별 가속기를 연결합니다.

— 로컬과 의 다양한 장치에서 ·을 간단히 실행하는 데 초점을 둔 엔진입니다. 형식의 모델 파일과 흔히 함께 쓰입니다.

— 아주 큰 모델(여러 전문가 중 일부만 골라 계산하는 모델)을 개인 컴퓨터에서 돌리려고 만든 런타임입니다. GPU·CPU·메인 메모리(RAM)와 그 사이 연결을 한 대의 기계처럼 묶어 씁니다.

파라미터란?

파라미터와 텐서의 관계
    • 행렬
        • = 1개
[0.2, −0.7, 1.3] 벡터 1개 · 스칼라 숫자 3개 · 파라미터 3개
0.10.2−0.30.7−0.40.9 하나의 2 × 3 이지만 숫자가 6개 들어 있으므로 도 6개입니다.

의 B는 Byte가 아니라 Billion(10억)입니다. 8B 모델은 80억 개가 아니라, 숫자 하나하나(스칼라)인 파라미터가 약 80억 개라는 뜻입니다.

파라미터와 가중치

파라미터
  • 가중치
  • 편향
  • 임베딩
  • 정규화 계수
y = w₁x₁ + w₂x₂ + b

는 파라미터이지만, 모든 파라미터가 가중치인 것은 아닙니다.

자세히 보기

파라미터(영어 parameter)는 모델이 학습하며 얻거나 조정한 스칼라 숫자 하나입니다. 벡터·행렬·텐서는 숫자를 담는 그릇이고, 그 안의 스칼라 숫자 하나하나를 파라미터로 셉니다.

가중치(영어 weight)는 파라미터의 대표적인 종류로, 입력을 얼마나 강하게 반영할지 정합니다. ·임베딩· 계수 등도 파라미터가 될 수 있습니다.

파라미터 하나가 지식 하나를 담은 상자는 아닙니다. 텐서·행렬이 서랍장이라면 파라미터는 그 안의 숫자 한 칸이고, 비트 수는 그 숫자를 얼마나 정밀하게 기록할지를 뜻합니다.

파라미터 하나는 몇 비트일까?

파라미터당 비트
  • 32 bit · 4 B
  • / BF16 16 bit · 2 B
  • 8 bit · 1 B
  • 4-bit 4 bit · ≈ 0.5 B
자세히 보기

파라미터는 숫자 하나지만 서로 다른 로 저장할 수 있습니다. 비트 수를 줄이면 보통 메모리가 절약되지만, 실제 파일에는 · 같은 추가 용량도 생깁니다.

8B 모델은 왜 약 8GB일까? (8비트 기준)

가중치 용량 ≈ 파라미터 수 × 파라미터당 비트 수 ÷ 8
8B
  • FP16 ≈ 16 GB
  • 8-bit ≈ 8 GB
  • 4-bit ≈ 4 GB
32B
  • FP16 ≈ 64 GB
  • 8-bit ≈ 32 GB
  • 4-bit ≈ 16 GB
70B
  • FP16 ≈ 140 GB
  • 8-bit ≈ 70 GB
  • 4-bit ≈ 35 GB

표의 값은 순수 가중치를 십진 단위로 단순 계산한 이론값입니다. 실제 양자화 파일은 스케일·메타데이터·그 밖의 구조 때문에 더 클 수 있습니다.

자세히 보기

8비트 정밀도에서는 파라미터 하나가 약 1바이트입니다. 따라서 80억 파라미터의 순수 가중치는 약 8GB입니다. 파라미터 수가 같아도 정밀도가 바뀌면 용량도 달라집니다.

MoE — 전문가 몇 명만 일하는 모델

MoE(Mixture of Experts)는 "여러 전문가의 조합"이라는 뜻입니다. 모델 안에 여러 전문 처리 부분(전문가)을 두고, 입력에 따라 일부만 골라 계산하는 구조입니다.

로봇 안내원이 질문 카드를 많은 전문가 책상 가운데 세 곳으로만 보내고, 불이 켜진 그 세 전문가만 일하는 사무실 그림
전문가 30명이 있는 회사에서 질문마다 필요한 3명만 일하는 것과 같습니다. 실제로 전문가가 정확히 30명·3명이라는 뜻은 아닙니다.
Qwen3-Coder 30B-A3B — 토큰마다 전문가 128개 중 8개만 계산합니다
토큰 하나
라우터 — 전문가 고르기
다음 계산으로
  • 이 토큰에 고른 전문가
  • 이번에는 쉬는 전문가(그래도 메모리에 있음)

이름 읽기 — Qwen3-Coder 30B-A3B

30B모델 전체에 약 300억 개의 파라미터가 있습니다.
A3B토큰 하나를 처리할 때 약 30억 개의 파라미터가 계산에 참여합니다(A = Active).
파라미터 수(B = 10억 개)
  • 모델 전체 — 메모리에 담는 양 ≈ 30.5B
  • 토큰마다 계산하는 양 ≈ 3.3B

효과 — 전체 300억 개를 매번 계산하는 모델보다 계산량을 줄일 수 있습니다.

메모리 — 선택될 전문가들을 준비해야 하므로, 전체 모델을 담을 RAM 은 여전히 필요합니다.

그래서 GPU 없는 CPU 서버(예: 12 vCPU·48GB RAM)에서는 MoE 가 유리한 후보입니다. 큰 모델을 메모리에 담으면서 매번 계산하는 양은 줄일 수 있기 때문입니다. 다만 실제 속도는 CPU 와 메모리 성능에 따라 달라집니다.

자세히 보기

MoE 의 전문가는 사람처럼 정해진 분야를 하나씩 맡는 것이 아니라, 학습하면서 저절로 역할이 나뉜 작은 입니다. 라우터도 학습으로 만들어지며, 토큰마다 전문가에게 점수를 매겨 가장 알맞은 몇 개를 고릅니다. 그래서 같은 문장 안에서도 토큰마다 고르는 전문가가 달라질 수 있습니다.

숫자 출처: 공식 (2026-10-23 확인)

실제 실행에는 메모리가 더 필요하다

실행할 때 메모리를 나눠 쓰는 모습 예시
  • 가중치
  • KV 캐시
  • 계산 버퍼
  • 런타임 오버헤드

KV 캐시는 이 길수록 커져요

실행 메모리 = 가중치 + KV 캐시 + 계산 버퍼 + 런타임 오버헤드
자세히 보기

가중치 파일은 시작일 뿐입니다. 추론할 때는 이전 토큰을 기억하는 KV 캐시, 임시 , 런타임 도 필요합니다. 이론상 4GB인 모델도 실제로는 5~8GB 이상을 쓸 수 있고, 문맥이 길수록 보통 KV 캐시가 커집니다.

작은 숫자가 어떻게 많은 지식을 표현할까?

점 하나는 색 하나일 뿐이지만, 많이 모이면 그림이 돼요
자세히 보기

8비트는 256단계를 표현하지만, 파라미터 하나에 ‘서울은 대한민국의 수도’ 같은 문장이 들어 있지는 않습니다. 지식은 여러 층에서 상호작용하는 수십억 개 파라미터의 패턴 전체에 분산됩니다.

하나는 단순한 색상값이지만 수백만 개가 배열되면 얼굴과 풍경이 나타납니다. 모델의 지식도 이와 비슷하게 분산된 숫자 패턴에서 드러납니다.

AI 모델은 벡터·행렬·텐서로 묶인 방대한 스칼라 파라미터의 패턴입니다. 정밀도가 이론상 가중치 용량을 정하고, 런타임은 가중치를 메모리에 올린 뒤 추가 작업 메모리를 사용해 하드웨어에서 실행합니다.

이어서 읽기

예약할 수 있는 시간이 지났습니다

리엔과 음성 대화 언어와 주제를 골라 리엔과 말로 대화해요

리엔은 English · 한국어 · 日本語 · हिन्दी 로 소리 내어 말해요. 다른 언어는 글로 답해요.

리엔과 음성 대화는 회원만 할 수 있어요. 먼저 회원 가입을 해 주세요.