OK 스터디
KO English 한국어 日本語 中文 हिन्दी বাংলা اردو Español Português Français Deutsch Русский العربية Bahasa Indonesia Tiếng Việt ไทย Türkçe

알림을 켜는 방법

이 브라우저 또는 주소에서는 알림을 사용할 수 없습니다. 지원되는 브라우저로 보안 연결된 배움노바 사이트에 접속해 주세요.

알림이 차단되어 있으면 브라우저 설정에서 허용해 주세요.

  1. 주소 표시줄 옆의 사이트 설정 또는 브라우저의 사이트 설정을 열고, 이 사이트의 알림을 허용으로 바꾸세요.
  2. 기기 설정에서 브라우저 알림을 허용하고 방해 금지 또는 집중 모드를 확인하세요.
  3. 배움노바로 돌아와 페이지를 새로고침하세요. 알림이 켜지면 벨은 사라집니다.

iPhone 또는 iPad에서는 배움노바를 홈 화면에 추가하고 거기에서 연 뒤 알림을 허용하세요.

손님

로그인하시면 회원님의 수업 스케줄 정보를 확인할 수 있습니다.

시작하기

한 단계씩 시작하는 영어 수업

단계를 누르면 그 화면으로 가요.

무료 체험

  1. 무료 체험 강사 고르기

    사진에 [무료 체험]이 붙은 강사를 눌러요.

  2. 선물 표시 시간 누르기

    시간표에서 선물 그림이 있는 무료 시간을 눌러요.

  3. 로그인하고 예약하기

    로그인하면 바로 예약돼요. 결제는 없어요.

  4. 카메라 & 마이크 테스트

    수업 전에 카메라와 마이크를 미리 확인해요.

  5. 예약된 수업 확인

    예약한 수업의 시각과 강사를 확인해요.

  6. 수업 입장

    시간이 되면 화상 교실에 들어가요.

  7. 지난 수업 확인

    끝난 수업의 기록을 다시 봐요.

  8. 강사 평가

    수업이 끝나면 강사를 평가해요.

나를 소개

  1. 나의 프로필 사진 등록하기

    사진이 있으면 강사가 나를 알아보기 쉬워요.

  2. 나를 소개 등록하기

    자기소개 게시판에 인사를 남겨요.

수업 듣기

  1. 수업 예약

    마음에 드는 강사의 시간표에서 예약해요.

  2. 페이팔 수업료 결제

    PayPal 로 내면 PayPal 이 확인하는 즉시 수업이 예약돼요.

  3. 예약된 수업 확인

    예약한 수업의 시각과 강사를 확인해요.

  4. 수업 입장

    시간이 되면 화상 교실에 들어가요.

  5. 지난 수업 확인

    끝난 수업의 기록을 다시 봐요.

  6. 강사 평가

    수업이 끝나면 강사를 평가해요.

자, 이제 여러분들만의 인공지능을 만들어 봅시다.

단어 블록이 한 줄로 놓여 있고 끝에 빈칸이 있다. 빈칸 위에 높이가 다른 막대를 단 후보 블록 세 개가 있고, 그중 하나가 골라져 줄 끝에 붙은 뒤 화살표가 다시 처음으로 돌아가 다음 칸을 고른다.
2

개발 환경

은 으로 실행되는 입니다. 은 이미 설치되어 있습니다. 이번 과정은 만 사용하므로 설치·계정··가 필요 없습니다.

는 큰 에서 계산과 을 맡는 입니다. 는 지원되는 Apple 컴퓨터에서 PyTorch를 GPU로 가속하는 기능으로, 이 에서는 쓸 수 없습니다. 도 Python 계산을 할 수 있지만 일반적인 와 서비스에는 제약이 있습니다. 따라서 필수 실습 전체를 이 Alpine 터미널에서 마치고, 작은 자동미분 엔진도 직접 작성합니다.

Python 표준 라이브러리만으로 — 쓰는 모듈과 하는 일

은 pip 로 아무것도 설치하지 않습니다. Python 을 깔면 함께 오는 표준 라이브러리만 씁니다.

  • : 설정··체크포인트를 로 저장하고 읽습니다.
  • math: exp·log·sqrt 같은 수학 입니다.
  • random: 초기값, 구간 고르기, 뽑기에 쓰는 난수입니다. 같은 면 같은 결과가 나옵니다.
  • collections.Counter: 에서 붙어 있는 쌍의 횟수를 셉니다.
  • pathlib: 파일을 읽고 씁니다.
  • argparse: --steps 같은 옵션을 받습니다.
  • hashlib: 의 지문()을 만들어 자료가 바뀌었는지 알아냅니다.
  • os: 체크포인트를 안전하게 바꿔 끼웁니다().
  • ·urllib: 서버와 입니다.

설치가 없으니 충돌이나 설치 실패가 없습니다. 대신 행렬 계산 라이브러리(·PyTorch)가 하던 일을 직접 짜야 합니다. 바로 그것이 이 과정의 목적입니다.

브라우저 안의 리눅스 — 무엇이 어디서 돌아가나

오른쪽 터미널은 서버에 접속한 것이 아닙니다. 이 안에서 진짜 가 돕니다.

  • v86: 를 흉내 내는 입니다. 로 만들어 브라우저에서 돕니다.
  • Alpine Linux 32bit: 그 가상 CPU 위에서 도는 작은 리눅스입니다. 는 512MB 입니다.
  • ····: 리눅스 안에 미리 깔린 입니다.

은 학생 컴퓨터의 CPU 가 에뮬레이터를 거쳐 실행합니다. 서버로 를 보내지 않으므로 무엇을 실행해도 안전합니다. 대신 에뮬레이션이라 같은 Python 코드도 에서 직접 돌릴 때보다 훨씬 느립니다. 그래서 XSLM 의 기본 크기와 학습 횟수를 작게 잡았습니다.

~/xslm 의 파일은 이 브라우저에 저장되어 새로 고쳐도 남습니다. 실행 중이던 프로그램(Runner 등)은 새로 고치면 꺼지므로 다시 켭니다.

더 큰 모델은 어떤 도구로 만드나

XSLM 은 Python 표준 라이브러리만 씁니다. 더 큰 모델을 만들 때는 보통 아래 도구를 씁니다.

  • PyTorch: 숫자 배열(텐서) 계산과 자동미분을 GPU 로 빠르게 합니다. XSLM 의 engine.py 가 하는 일입니다.
  • tokenizers: 빠른 BPE 토크나이저 라이브러리입니다. 로 만들어 순수 Python 보다 100배쯤 빠릅니다. XSLM 의 tokenizer.py 가 하는 일입니다.
  • numpy·tqdm: 숫자 배열과 진행 막대입니다.
  • : Python 프로젝트와 패키지를 관리합니다. uv add torch 처럼 설치합니다.
  • 장치(device): 계산할 곳입니다. Apple GPU 는 mps, GPU 는 , 없으면 cpu 입니다.

도구가 달라도 원리는 XSLM 과 같습니다. 도구는 같은 계산을 빠르게 해 줄 뿐입니다.

왜 느린가 — 숫자 하나씩 계산하는 비용

XSLM 의 계산은 모두 Value 하나하나의 덧셈과 곱셈입니다. 토큰 12개 구간을 한 번 학습할 때를 세어 보면 이렇습니다.

  • 자리마다 query·key·value·project·expand·contract·head 로 이 일곱 번 있고, 행렬 곱 하나는 곱셈과 덧셈 수십~수백 번입니다.
  • 계산 하나마다 Value 객체가 하나 생겨 에 기록됩니다. 기본 설정에서 한 번의 학습에 약 3만 2천 개가 생깁니다.
  • 는 이 객체를 모두 거꾸로 한 번 더 지나갑니다.

PyTorch 는 같은 계산을 행렬 단위로 묶어 ·GPU 에서 한꺼번에 처리하므로 수백~수천 배 빠릅니다. 원리를 보려고 일부러 느린 길을 고른 것입니다. 학습이 오래 걸리면 로 멈춰도 마지막으로 끝낸 단계까지 저장되어 있습니다.

이 브라우저 리눅스에서 기본 학습 20회(python3 train.py --steps 20)를 재 보니 빠른 데스크톱(Apple M5 Max)에서 약 23초, CPU 를 4배 느리게 하면 약 2분 13초, 6배 느리게 하면 약 4분 5초 걸렸습니다. 생성(generate.py)은 각각 약 3초·17초·33초였습니다. 느린 컴퓨터라면 --steps 5 처럼 나눠 실행하세요. 체크포인트에서 이어서 학습하므로 결과는 한 번에 한 것과 같습니다.

이 과정에 필요한 Python·터미널 기초

소스를 입력하며 막히지 않도록 꼭 필요한 것만 정리합니다.

  • micro 파일이름.py: 파이썬 파일을 열어 고칩니다. +S 로 저장, Ctrl+Q 로 닫습니다. Enter 를 누르면 가 다음 줄로 이어지므로, 소스보다 깊어지면 Backspace 로 줄입니다.
  • nano 파일이름: settings.json·raw.txt 같은 다른 파일을 열어 고칩니다. Ctrl+O 다음 Enter 로 저장, Ctrl+X 로 닫습니다.
  • python3 파일이름.py: 프로그램을 실행합니다. python3 만 치면 한 줄씩 실험하는 대화형 Python()이 열리고 exit() 로 나옵니다.
  • 들여쓰기: Python 은 공백으로 블록을 나눕니다. 이 과정은 한 단계에 공백 4칸을 씁니다. Tab 과 공백을 섞으면 가 납니다.
  • : from model import 는 같은 폴더의 model.py 에서 GPT 를 가져옵니다. 그래서 모든 명령을 ~/xslm 에서 실행합니다.
  • if __name__ == '__main__': 파일을 직접 실행할 때만 그 아래 코드가 돕니다. 다른 파일이 import 할 때는 돌지 않습니다.
  • , 메시지: 조건이 거짓이면 그 메시지로 멈춥니다. XSLM 은 잘못된 자료·설정을 일찍 잡으려고 assert 를 씁니다.

오류가 나면 의 맨 아래 줄부터 읽습니다. 마지막 줄이 오류 종류와 메시지이고, 그 위의 File … line 숫자가 문제가 난 자리입니다.

내 컴퓨터에서 더 크게 만들고 싶다면

XSLM 을 끝낸 뒤 더 큰 모델을 학습하고 싶다면 내 컴퓨터에 PyTorch 환경을 만듭니다(선택).

  • Python 3.10 이상을 설치합니다.
  • uv 를 설치합니다: curl -LsSf https://astral.sh/uv/install.sh | ( 는 install uv 도 됩니다).
  • uv init my-gpt 로 프로젝트를 만들고, my-gpt 한 뒤 uv add torch tokenizers tqdm numpy 로 설치합니다.
  • Apple Silicon 맥이면 uv run python -c "import torch; (torch.backends.mps.is_available())" 가 True 인지 봅니다. NVIDIA GPU 는 torch.cuda.is_available() 로 봅니다.

Apple Silicon 은 MPS, 리눅스·의 NVIDIA GPU 는 CUDA, 그 밖에는 CPU 로 학습합니다. CPU 로도 학습할 수 있지만 느립니다. XSLM 에서 배운 이름(····)은 PyTorch 코드에도 그대로 나옵니다.

직접 타이핑하며 실습하기

세 명령을 차례대로 입력하세요. Python 버전, 32bit x86 계열 구조, ready가 나오는지 봅니다. 이후의 명령도 모두 이 터미널에서 실행합니다. 내 컴퓨터의 터미널을 따로 열 필요가 없습니다.

python3 --version
uname -m
python3 -c "import json, math, random, http.server; print('ready')"
터미널에서 실습하기

여기까지 이해했나요?

여기서 torch 설치와 MPS 설정이 필요 없는 이유를 설명해 보세요. 실제 학습 계산은 브라우저가 흉내 내는 리눅스 CPU에서 이루어집니다.

막혔을 때 확인하기

torch가 없다고 pip install torch를 시도하지 마세요. 이번 소스는 torch를 불러오지 않습니다. 터미널을 받지 못하면 연결을 확인하고 다시 시도하세요. 성공 문구만 흉내 낸 것은 Python 이 아닙니다.

자주 묻는 질문

pip install torch 를 하면 더 빨라지나요?

이 터미널에서는 하지 마세요. PyTorch 는 32bit 리눅스용 패키지가 없고, 있어도 512MB 메모리의 에뮬레이터에서는 돌기 어렵습니다. XSLM 소스는 torch 를 불러오지 않으므로 필요하지도 않습니다. PyTorch 는 내 컴퓨터에 따로 설치해 쓰세요.

Pyodide 로 브라우저에서 Python 을 돌리면 안 되나요?

Pyodide 는 브라우저에서 Python 계산을 할 수 있어 토크나이저·학습까지는 됩니다. 하지만 일반적인 소켓 서버와 백그라운드 에는 제약이 있어 Runner( 서버)를 띄우고 다른 프로그램(XChat)이 접속하는 실습을 할 수 없습니다. 그래서 모든 실습을 진짜 리눅스(Alpine)에서 합니다.

새로 고침하면 무엇이 남고 무엇이 사라지나요?

~/xslm 안의 .py·.json·.txt·.md 파일(최대 100개·)은 명령이 끝날 때와 5초마다 이 브라우저에 저장되어 다시 열면 돌아옵니다. 실행 중인 프로그램, 그 밖의 확장자, 다른 폴더의 파일은 사라집니다. 저장은 이 브라우저에만 되므로 다른 브라우저나 컴퓨터에서는 빈 상태로 시작합니다.

예약할 수 있는 시간이 지났습니다

리엔과 음성 대화 언어와 주제를 골라 리엔과 말로 대화해요

리엔은 English · 한국어 · 日本語 · हिन्दी 로 소리 내어 말해요. 다른 언어는 글로 답해요.

리엔과 음성 대화는 회원만 할 수 있어요. 먼저 회원 가입을 해 주세요.