유튜브 자막 뽑는 방법 | 음성 대본을 텍스트로 CPU·GPU·Vrew - 직접 실험 결과

2026년 6월 19일, 약 2시간 14분 한국어 라이브 강의 MP3로 전사·자막을 뽑은 실험 기록이다.

한 줄 분기: SRT·전사 텍스트가 준비되면 유튜브 자막·숏폼 편집·위키·블로그·검색용 원고까지 같은 산출물로 이어진다. 도구 선택은 「무엇에 쓰느냐」가 아니라 「어떻게 뽑느냐」 — WhisperX(CPU/GPU·자동화) vs Vrew(GUI·장비·설정 부담↓). CPU 46분 실측, GPU ~3분(추정). 이 글은 STT 엔진 실측·비교다. 산출물은 하나: 타임코드 있는 SRT(또는 txt)만 확보되면 유튜브·숏폼·위키·블로그까지 같은 파일이 이어진다. 이후 FFmpeg·Remotion 컷은 영상 편집 자동화 | Vrew·Whisper·FFmpeg·Remotion 위키를 본다.

아래 선택표·결론을 먼저 보고, 근거·삽질기·로그는 뒤 장에서 펼친다.

1. 오늘 실험 타임라인

대상 오디오:

작업 폴더 정리 (권장):

PC마다 드라이브·루트는 다르다. 공개 글에는 절대 경로를 적지 않고, 아래처럼 역할별 폴더 이름만 맞추면 된다.

정리 원칙: 도구별 형제 폴더로 분리 · venv·입출력·로그는 한 프로젝트 루트 안에 모음 · 위키·블로그에 본인 PC 경로·실제 파일명 노출 금지.

그림 1. SRT는 한 번 — 뽑는 도구만 WhisperX(자동화) vs Vrew(GUI)

2. 상황별 최종 선택표

검색으로 들어왔다면 여기부터. 아래 표로 도구를 고른 뒤, 뒤 장에서 실측·로그·품질 비교를 본다.

그림 2. 당일 GUI는 Vrew · 장비·품질·배치는 WhisperX

3. 결국 Vrew를 선택한 이유

당일 GUI로 먼저 SRT를 만들려고 Vrew를 썼다. 같은 SRT·txt는 유튜브·숏폼·위키·블로그에 공통으로 쓸 수 있다. IT·영문 혼용 품질 grep·등급표는 「CPU WhisperX vs Vrew」 장에 모았고, 백업·재전사용으로 WhisperX CPU 46분도 돌렸다.

장기적으로는:

4. 한국어 STT, 2025~2026년 판도

「Whisper가 최신·최선인가?」에 대한 답은 언어에 따라 갈린다.

4.1. 영어권에서는 왕좌가 흔들렸다

「Whisper를 이겼다」는 헤드라인 대부분이 CJK(한·중·일)를 빼고 영어·유럽어에 최적화된 모델이다.

4.2. 한국어 자막 목적이라면

한 줄로: 한국어 2시간 강의 자막 = Whisper 계열(특히 WhisperX)이 여전히 오픈소스 1순위. 다만 GPU 없이 CPU만이면 2시간은 「돌아가긴 하는데 기다리기 힘든」 구간이다.

5. Whisper / faster-whisper / WhisperX 차이

WhisperX 공식 README 기준 GPU large-v2에서 약 70배 실시간 속도를 내세운다. 이 수치는 GPU + 배치 추론 기준이며 CPU int8 medium에서는 체감이 완전히 다르다.

WhisperX 파이프라인은 크게 세 단계다.

1. Transcription — faster-whisper로 구간별 텍스트 생성. 콘솔에 Transcript: [시작 --> 끝] 문장 형태로 출력
2. Alignment — 한국어는 Hugging Face의 kresnik/wav2vec2-large-xlsr-korean 등 phoneme 모델로 단어 단위 타임스탬프 재정렬
3. 저장 — alignment가 끝나야 .srt / .txt / .vtt가 output_dir에 기록됨

Transcript 줄이 멈췄다고 끝난 게 아니다. Performing alignment... 이후에도 CPU에서는 15~40분 더 걸릴 수 있고, 이 구간은 콘솔 출력이 거의 없어 멈춘 것처럼 보인다.

6. Google Colab CLI (요약)

공식 google-colab-cli는 Linux·macOS만 지원한다. Windows 네이티브는 termios 등으로 실패하고 Docker + PowerShell 래퍼가 필요하다.

Colab CLI 설치·PowerShell 함정·명령표 전체는 별도 글로 분리 예정이다. 이 글은 STT 엔진 비교에 집중하고 Colab은 「짧은 파일·실험용, 장시간은 비현실적」만 남긴다.

7. 로컬 WhisperX (CPU) 설치·실행

실행 예:

. ranscribe.ps1 -InputAudio "data\input_whisper.mp3"

7.1. 1차 실행 실패 — cp949 UnicodeEncodeError

약 18분 후, 오디오 ~55%(~74분) 지점에서 크래시.

수정 (전사 PowerShell 스크립트):

7.2. 2차 실행 실패 — PowerShell stderr

pyannote UserWarning(torchcodec)이 stderr로 나오자 PowerShell이 NativeCommandError로 즉시 종료 ($ErrorActionPreference = Stop).

수정: whisperx 호출 구간만 $ErrorActionPreference = "Continue" + *>&1 | Tee-Object.

7.3. torchcodec / HuggingFace 경고 (치명 아님)

시작 시 아래 경고가 빨간 글씨로 보여도 대부분 멈춤 원인 아님.

WhisperX 본체는 ffmpeg CLI subprocess로 MP3를 읽는다 (whisperx/audio.py의 load_audio). PATH에 ffmpeg만 있으면 전사는 진행된다.

7.4. 3차 실행 — 성공 (전사 + alignment + SRT)

중간에 alignment 구간만 보면 멈춘 것처럼 보였으나, 19분 23초 후 SRT 생성 완료. 당시 터미널을 닫거나 프로세스를 끊으면 SRT 없이 끝난다.

alignment만 생략하려면 CLI에 --noalign (단어 단위 타임스탬프·highlightwords 불가).

그림 3. alignment 구간은 콘솔 거의 무출력 — 멈춘 것처럼 보임

8. CPU WhisperX 실측 — 오디오 길이 vs 전사 시간

ffprobe로 측정한 압축 MP3(lecture_16k.mp3) 실제 길이: 8038.861초 = 2시간 13분 59초(약 2시간 14분).

WhisperX 3차 성공 실행 (2026-06-19, 전사 PowerShell 스크립트, medium · ko · CPU int8 · batch=4):

8.1. 단계별 소요 (wall-clock)

8.2. 실시간 배속 (RTF, Real-Time Factor)

「Nx 실시간」= 벽시계 1분에 N분 분량의 오디오를 처리한다는 뜻으로 본다.

해석: CPU medium int8 batch=4 기준 2시간 14분 오디오 → 약 46분이면 끝난다. GPU README의 「70× 실시간」과는 20배 이상 차이 난다.

8.3. 1차 실패 실행 (cp949, 수정 전)

수정 전에도 전사 속도는 대략 5× 전후였으나, 55% 지점에서 한글 출력 때문에 중단.

8.4. 2차 실패 (PowerShell stderr)

8.5. CPU만 쓸 때 길이별 대략 예상 (medium int8 batch=4, alignment 포함)

--no_align이면 alignment 19분을 줄일 수 있어 총 ~27분까지 가능(타임스탬프 정밀도↓).

9. 로그 파일 특징과 읽는 법

로그 예: output/transcribe-YYYYMMDD-HHmmss.log (실행마다 새 파일)

9.1. 전사 스크립트이 남기는 것

9.2. 로그 안에서 단계 구분 (grep 키워드)

9.3. 로그 맨 앞에 붙는 PowerShell 잡음

9.4. alignment 직전 HuggingFace 경고

9.5. 완료 판정 체크리스트

1. 콘솔 End : ... + Done. Check ... for .srt
2. output/lecture.srt LastWriteTime이 alignment 시작 시각 이후
3. SRT 마지막 타임코드 ≈ 오디오 길이 (이번: 02:13:49)

10. 최종 산출물 (SRT) 스펙

3차 성공 후 output/ 예시:

SRT 마지막 블록:

WhisperX alignment까지 완료된 정상 산출물이다. (당일 Vrew로도 작업했으나, WhisperX SRT는 비교·백업·자동화 입력용으로 보관)

그림 4. IT 키워드 grep — WhisperX 우세, 구어는 비슷

11. CPU WhisperX vs Vrew — 같은 영상, 전사 품질 비교

같은 2시간 14분 라이브 강의(바이브 코딩·Vercel 배포)를 두 엔진으로 전사한 뒤, 텍스트만 나란히 펼쳐 비교했다. 속도·GUI는 Vrew, 받아쓰기·IT 용어 정확도는 WhisperX 쪽이 확실히 앞선다. 차이가 「조금」 수준이 아니라, 개발 강의를 위키·블로그 원고로 쓸 때는 Vrew만으로는 손이 많이 간다고 보는 편이 맞다.

11.1. 비교 파일 (동일 소스)

Vrew는 짧은 cue로 잘게 쪼개져 자막 타이밍 편집에는 유리하지만, 한 덩어리 원고로 읽거나 검색·치환할 때는 WhisperX 쪽이 낫다.

11.2. 고유명·기술 용어 — grep 실측 (같은 MP3)

전체 텍스트에서 패턴 출현 횟수를 세었다. 영문 고유명·프레임워크명에서 격차가 가장 크다.

요약: 일반 구어(「여러분」「배포」「회원가입」)는 비슷한데, Next.js·GitHub·SQLite·npm·localhost 같은 강의 핵심 키워드에서 Vrew가 구조적으로 밀린다.

11.3. 같은 구간 — 오프닝 2분대 (실제 전사)

WhisperX도 localhost·Kimi→「킴이」·이미지 모델→「나노바나나」처럼 틀리는 구간은 있다. 다만 Next.js·SQLite·React·PowerShell 등은 WhisperX가 영문 그대로 남기는 비율이 높고, Vrew는 한글 음역으로 굳어져 Ctrl+F·용어 사전 교정이 어렵다.

11.4. Vrew 내장 STT가 특히 약한 패턴

라이브 구어·감탄·반복은 둘 다 잘 잡는다. 차이는 「고유명사 + 코드 + 영어 혼용」 구간에서만 벌어지는데, 이번 강의는 그 비율이 높다.

11.5. WhisperX(medium)도 틀리는 것 — 공정 비교

WhisperX는 Whisper medium + wav2vec2 alignment라 SRT 타임스탬프·문장 경계까지 맞춘 뒤 txt를 뽑았고, Vrew는 편집기 실시간 인식에 가깝다. 엔진·후처리·모델 크기가 다르므로 공정 비교는 「같은 MP3 · 같은 날 · 같은 화자」 조건에서만 의미 있다.

11.6. 체감 등급 (이번 파일 기준, 주관 + 실측)

「품질 차이가 매우 크다」 — IT 키워드·검색·치환 기준으로 과장이 아니다. Vrew SRT만으로도 유튜브·숏폼·위키·블로그는 가능하지만, IT·영문 혼용 강의는 WhisperX(또는 GPU/API)로 뽑거나 Vrew SRT를 grep·수동 교정하는 편이 낫다.

11.7. 권장 워크플로 (하이브리드)

하이브리드·당일 선택은 앞장 「결국 Vrew를 선택한 이유」·「상황별 최종 선택표」 참고.

12. WhisperX CPU 속도 개선 팁

12.1. 즉시 효과 (설정)

12.2. 환경·인프라

12.3. Windows CPU 안정화 (속도 = 중단 없이 끝까지)

12.4. ffmpeg 입력 최적화

12.5. CPU 코어 활용

PyTorch CPU wheel은 멀티스레드를 쓰지만 batch=4에서는 GPU만큼 체감이 크지 않다. 물리 코어 많을수록 medium/large CPU 전사에 유리. alignment(wav2vec2)도 CPU bound.

12.6. 「느린데 멈춘 건가?」 구분법

그림 5. GPU 시간은 4070 벤치 추정(2026-06, 실측 아님)

13. GPU가 있다면 — RTX 5060 Ti ~ 5080

같은 2시간 14분(134분) + medium + alignment 기준 추정치(2026-06, 실측 아님) — RTX 4070 FP16 벤치(전사 ~50×, alignment 포함 ~40×)에서 5070·5080 등을 보간한 값이다.

GPU WhisperX 권장 옵션:

WhisperX만 목적이면 5070이 가성비 스위트스pot. 5070 Ti vs 5080 차이는 자막 작업에서 1분 미만일 때가 많다.

참고: WhisperX GitHub · OpenRouter gpt-4o-transcribe

2026년 6월 기준 요율·제한. OpenRouter·OpenAI 정책은 수시 변경 — 배포 전 공식 문서 재확인.

14. gpt-4o-transcribe API (OpenRouter)

OpenRouter gpt-4o-transcribe 표시 가격:

14.1. 2시간 한국어 비용 추정

현실적으로 2시간 1건 1,000원 안팎, 넉넉히 2,000원 이하.

14.2. API로 2시간 처리할 때 파이프라인

GPU 없이 API만 쓸 때 직접 구현해야 하는 로직:

1. ffmpeg — mp4 → mp3, 용량 줄이기
2. 분할 — gpt-4o-transcribe 약 25분 / 25MB 제한 (2026-06 OpenAI·OpenRouter 정책, 변경 가능). 무음 구간·overlap으로 경계 단어 누락 방지
3. 토막별 API 호출 — 각 chunk transcription
4. 오프셋 보정 — 2번째 토막 타임스탬프에 +25분(누적) 더하기
5. 병합·중복 제거 — overlap 구간 dedupe
6. SRT 생성 — 세그먼트 → SRT 포맷

WhisperX는 2시간 통짜를 넣으면 VAD·배치·alignment·저장까지 한 번에 처리한다. API는 분할·오프셋·병합을 직접 짜야 하고, gpt-4o-transcribe는 whisperX만큼 세밀한 단어 타임스탬프를 주지 않는 경우가 있다.

그림 6. cp949·stderr 함정 피하고 alignment까지 대기

15. 실전 체크리스트 (WhisperX Windows CPU)

16. 관련 문서

17. 마무리

앞에서 다룬 장시간 한국어 강의 전사·자막 선택의 핵심만 짧게 정리한다.

• SRT 하나로: 유튜브·숏폼·위키·블로그 · 뽑기: GPU/CPU→WhisperX, GUI만→Vrew
• CPU 실측(2h14m): 46분 — 표·로그는 「CPU WhisperX 실측」 장
• GPU 시간: 4070 벤치 추정 ~3분대 — 「GPU가 있다면」 장, 실측 아님
• 품질 grep: 「CPU WhisperX vs Vrew」 한 장에만 상세
• Colab: Windows Docker, 장시간은 비현실적 — 요약만, 상세는 별도 글
• FFmpeg·Remotion 자동 컷: 영상 편집 자동화 위키 — 이 글과 역할 분리

「SRT만 있으면 숏폼·위키·블로그까지 연결 — 뽑는 쪽은 장비·자동화면 WhisperX, GUI만으로는 Vrew.」 — 수치·요금·모델 지원은 2026년 6월 기준이며 정책 변경 시 재확인한다.

자주 묻는 질문

• 한국어 2시간 강의, 뭘로 전사·자막 뽑나?

  SRT·전사 txt는 한 번 만들면 유튜브·숏폼·위키·블로그·검색에 같이 쓴다. CPU/GPU·스크립트·자동화 OK면 WhisperX(실측 46분·GPU ~3분 추정). 장비·설정 부담 없이 GUI로 당일 끝내려면 Vrew. GPU 없고 API OK면 gpt-4o-transcribe 분할. 「상황별 최종 선택표」 참고.

• CPU WhisperX로 2시간 14분은 실제로 얼마나 걸리나?

  2026-06-19 실측 총 45분 41초(RTF 2.9×). 전사 26분 + alignment 19분. 단계별 표·로그는 본문 「CPU WhisperX 실측」 장 참고.

• WhisperX와 Vrew 내장 STT 품질 차이는?

  같은 MP3 기준 IT·영문 혼용에서 WhisperX 우세(Next.js 정확 11 vs 0). 일반 구어는 비슷. 용도 분기가 아니라 품질·뽑는 방식 분기 — Vrew SRT도 유튜브·위키에 쓸 수 있으나 IT 키워드 교정 부담↑. grep·오프닝은 「CPU WhisperX vs Vrew」 장.

• Transcript가 끝났는데 SRT가 없다.

  WhisperX는 Performing alignment 이후에야 .srt가 생긴다. alignment는 15~20분 무출력일 수 있다. Done + .srt 파일로 완료 확인.

• Windows WhisperX cp949 UnicodeEncodeError

  한글 Transcript print 시 cp949 한계. 전사 스크립트에 PYTHONUTF8=1, PYTHONIOENCODING=utf-8:replace, Console UTF-8. 실전 체크리스트 참고.

• RTX 5070이면 2시간 14분 WhisperX는?

  2026-06 기준 RTX 4070 FP16 벤치로 추정한 값으로 5070은 약 2.5~3.5분(실측 아님). 표·옵션은 「GPU가 있다면」 장.

• gpt-4o-transcribe 2시간 한국어 비용·제한

  2026-06 기준 약 25분·25MB 제한 → 분할·오프셋·SRT 병합 직접 구현. 비용은 대략 1,000원/2h. 요율·파이프라인은 「gpt-4o-transcribe API」 장.

• Google Colab CLI를 Windows에서 쓸 수 있나?

  공식 CLI는 Linux·macOS만. Windows는 Docker colab-cli. 이번 2시간 분량은 T4로도 대기 부담으로 중단. 요약은 「Google Colab CLI (요약)」.

• WhisperX --no_align은 언제 쓰나?

  alignment 19분을 줄여 총 ~27분까지 단축(2026-06 CPU 실측). 단어 단위 타임스탬프·highlight_words 불가. 급할 때 응급처치.

• 2026년에도 Whisper가 한국어 STT 1순위인가?

  2026-06 기준 한국어 자막·SRT 타이밍까지 포함하면 WhisperX(faster-whisper+alignment)가 오픈소스 1순위. Parakeet v3 등 영어 벤치 우위 모델은 한국어 미지원(당시). 「한국어 STT 판도」 참고.