AI 연산 비용 | 적자 원인과 하드웨어·추론·학습 비용 구조

「GPU는 이미 샀으니 돌리기만 하면 되지 않나?」라는 말은 AI 적자 뉴스를 볼 때 가장 많이 나온다. 전기요금·인터넷 트래픽도 비용이 맞지만, 프론티어 AI 기업 적자의 중심은 그보다 넓다. 칩 감가상각, 다음 모델 학습, 인건비, 무료·저가 정책이 한꺼번에 겹치기 때문이다.

2025년 OpenAI는 연간 매출 약 130억 달러를 올렸지만 순손실은 약 90억 달러 수준으로 추정된다(The Information·WSJ 등 투자자 자료 인용 보도). 매출은 빠르게 늘는데 지출이 더 빠르게 커진다. Anthropic도 2025년 약 30억 달러 현금 소진을 목표로 했고, 2026년 일부 분기 흑자 전망이 나왔으나 감사 재무제표가 아닌 내부 추정이라 해석에 주의가 필요하다.

이 글은 공개 보도와 업계 분석을 바탕으로 돈이 어디로 새는지, 추론만 보면 흑자인지, 전기·트래픽이 주범인지를 숫자와 비유로 풀어 쓴다. 수치는 대부분 비상장사 유출·추정치이므로 투자·회계 판단의 단일 근거로 쓰지 않는다.

1. 한 장 요약 — 왜 AI는 비싸고 적자인가

한 줄: AI 회사는 「이미 산 GPU를 돌리는 비용」과 「다음 GPU로 더 큰 모델을 만드는 비용」을 동시에 감당하면서, 많은 사용자에게 무료·저가로 서비스를 연다.

2. 일상 비유로 이해하기

2.1. 택시를 샀다고 기름이 공짜가 아닌 것과 같다

GPU 클러스터를 수십억 원짜리 고급 택시 1만 대를 한꺼번에 산 것에 비유할 수 있다. 차를 샀다고 운행비가 사라지지 않는다. 기름(전기), 정비(냉각·운영), 차값 깎임(감가상각), 내년형이 나오면 중고값이 떨어지는 것(기술 낙후)이 남는다. AI 회사도 「이미 샀으니 이제 공짜」가 아니다.

2.2. 학습은 「다음 시즌 드라마 제작비」

추론은 지금 방영 중인 드라마를 시청자에게 보여 주는 비용이다. 학습은 내년 시즌을 위해 세트·촬영·배우를 미리 투자하는 비용이다. 시즌 1이 인기가 나도, 시즌 2 제작비를 안 쓰면 시청자가 떠난다. OpenAI·Anthropic은 시즌 2·3 제작비(GPT-5급 학습)를 매출보다 먼저 태우는 중이다.

2.3. 무료 사용자는 「시식 코너」

대형 마트 시식 코너는 손님을 끌어오지만 본인 부담이다. ChatGPT 주간 7억 명 가까운 사용자 중 대다수가 무료다. 무료 한 번 질문할 때마다 GPU가 돌아가고, 그 비용은 전부 회사 몫이다. 유료 전환율이 낮으면 시식만 하고 장을 안 보는 손님이 많은 셈이다.

3. 핵심 용어 — 처음 읽는 분용

4. 왜 이미 산 GPU도 매달 비용인가

GPU 클러스터는 한 번 사면 끝이 아니다. 회계상 감가상각으로 매월 비용이 잡히고, 차세대 칩이 나오면 경제적 수명은 회계 수명보다 짧아진다. H100급 GPU는 출시가 2만~4만 달러대이고, 2023년 GPU 시간당 임대료가 8~10달러였던 칩이 2025년에는 약 2달러 수준으로 떨어진 사례가 있다. 칩은 돌아가는 동안 전기를 먹고, 시장에서는 값이 떨어진다.

4.1. 감가상각이란 무엇인가

1. 회계 처리 — 수억 달러짜리 서버·GPU를 한 해에 비용 처리하지 않고 5~6년에 나눠 잡는 방식이다.
2. 경제적 수명 — AI 칩 세대 교체는 1~2년 주기에 가깝고, 구형은 추론 단가 경쟁에서 밀린다.
3. 실무 함의 — 「이미 샀으니 공짜」가 아니라 매일 가치가 깎이는 임대 자산에 가깝다.

마이클 버리(Michael Burry)는 2025년 하이퍼스케일러들이 GPU 수명을 5~6년으로 길게 잡아 2026~2028년에 약 1,760억 달러 감가상각을 과소계상한다고 주장했다. 반면 아마존은 2024년 AI 하드웨어 일부에 감가상각 연한을 6년에서 5년으로 줄이고 약 9.2억 달러 가속 상각비를 반영했다. 회사마다 인정하는 수명이 다르다.

5. AI 적자의 네 가지 축

적자 원인을 한 줄로 묶으면 아래 네 축이다. 전기·트래픽은 1번(추론 운영) 안의 일부일 뿐, 전체 적자를 설명하기엔 부족하다.

쉽게 말하면: 매출은 「질문에 답해 주는 일」에서 나오지만, 지출은 「답하는 비용 + 다음 답을 더 잘하게 키우는 비용 + 사람 + 거의 공짜로 열어 둔 문」이 동시에 나간다.

6. 추론(inference) 비용은 어떻게 쌓이나

추론은 학습이 끝난 모델을 사용자 질문에 돌리는 단계다. API 호출, ChatGPT 답변, Claude Code 실행이 모두 여기 해당한다. 사용자가 늘수록 매일·매시간 반복되는 비용이다.

6.1. 쿼리당 전기 비용은 생각보다 작다

텍스트 질문 한 번의 전력은 0.24~0.42Wh 수준으로 추정되는 분석이 많다(Epoch AI, Google Gemini 측정 등). 0.3Wh면 전자레인지 1초 정도다. 「전기료 때문에 AI가 적자」만으로는 프론티어 랩 규모 손실을 설명하기 어렵다.

6.2. 진짜 추론 비용은 GPU 시간과 토큰 수다

1. 입력 토큰 — 붙여 넣은 글·코드를 읽는 비용. 상대적으로 저렴하다.
2. 출력 토큰 — AI가 새로 쓰는 비용. 리저닝(reasoning) 모델은 보이지 않는 사고 토큰까지 요금에 포함된다.
3. 유휴·냉각 — GPU가 100% 꽉 차지 않아도 데이터센터 전체 전력·냉각은 돈다.

OpenAI의 Azure 추론 지출은 2024년 약 37.6억 달러에서 2025년 9월까지 86.7억 달러로 불어났다는 분석(Where's Your Ed At, 내부 문서 인용)도 있다. 보도마다 「비용」 정의가 달라 숫자를 그대로 비교하면 안 된다.

6.3. reasoning 모델이 비용 곡선을 바꾼다

2024년 이후 test-time compute 모델(o1, o3 등)은 답하기 전에 내부 추론 토큰을 수천~수만 개 생성한다. 겉으로 보이는 답은 짧아도 GPU는 오래 돈다. 표면 요금이 같아도 실제 청구는 3~14배 비싸질 수 있다(업계 가격 분석). 「추론 단가는 계속 내려간다」는 말과 동시에 고난도 모델·무제한 구독에서는 비용이 다시 오를 수 있다.

7. 학습(training) 비용과 선투자

학습은 다음 세대 모델을 만드는 대규모 연산이다. 한 번 끝나면 끝이 아니라, 경쟁사가 더 큰 모델을 내놓으면 다시 태운다. 매출이 나오기 전에 쓰는 돈이라 적자의 큰 축이다.

실패한 학습 런도 비용이다. 수개월 GPU를 돌렸는데 성능이 기대에 못 미치면 그대로 버려지는 경우가 있다. 마치 영화 촬영 중 전량 폐기한 세트와 비슷하다.

OpenAI CEO 샘 알트먼(Sam Altman)은 2025년 「추론만 보면 흑자이고, 학습 비용을 빼면 매우 수익성 좋은 회사」라고 말했다. Anthropic CEO 다리오 아모데이(Dario Amodei)는 모델 하나를 회사 하나에 비유했다. 작년 모델은 추론 매출로 학습비를 회수했을 수 있지만, 동시에 더 비싼 다음 모델을 짓고 있어 전체는 적자라는 식이다.

8. GPU 감가상각과 회계 논쟁

하이퍼스케일러(Amazon, Microsoft, Google, Meta, Oracle)는 2026년 캡엑스 6,600~7,250억 달러를 쏟을 계획이다(Futurum·CreditSights 등). 상당수가 AI용 GPU·데이터센터다. 돈을 쓰는 속도 자체가 적자·현금 소진 이야기와 연결된다.

8.1. 회계 수명 vs 시장 가치

버리 비판의 핵심은 「칩을 샀으니 6년 동안 조금씩만 비용 잡자」가 기술 낙후 속도와 맞지 않는다는 점이다. 아마존이 AI 장비만 연한을 줄인 것은 그 우려를 일부 인정한 사례로 읽힌다.

그림 3. 장부상 5~6년과 실제 2~3년 경제 수명 사이의 간극.

9. 전기·트래픽·데이터센터의 실제 비중

9.1. 전력 — 총액은 크지만 쿼리 단위는 작다

대규모 AI 데이터센터는 기가와트(GW) 단위로 계획된다. Nvidia·OpenAI 파트너십만 10GW 규모다. IEA는 2030년까지 데이터센터 전력 소비가 약 945TWh로 두 배 가까이 늘 것으로 본다. 국가·지역 전력 이슈로는 크지만, 회사 손익에서 쿼리당 전기 한 장이 적자 전부를 설명하진 않는다.

9.2. 네트워크·트래픽

API·CDN 비용은 있다. GPU 임대·감가에 비하면 비중은 상대적으로 작은 편이라는 분석이 많다.

9.3. 건설·전력 병목

2026년 일부 지역은 전력·변압기 납기(128주+) 때문에 GPU를 사도 설치를 못 하는 상황이 보도됐다. 비용은 나가는데 수익화가 늦어지면 현금 소진만 커진다.

10. 무료·저가 정책과 구독 적자

OpenAI는 ChatGPT 주간 활성 사용자 7억 명대 중 대다수가 무료다. 2025년 조정 매출총이익률은 33%로, 2024년 40%에서 하락했다(투자자 슬라이드 보도). 유료 구독 마진은 60% 근처로 올랐지만, 무료 사용자 1인당 연간 추론비가 약 0.7달러에서 4달러로 늘었다는 분석(LinkedIn·The Information 인용)이 있다.

2025년 1월 알트먼은 월 200달러 ChatGPT Pro도 「사람들이 예상보다 훨씬 많이 써서 적자」라고 밝혔다. 무제한에 가까운 고성능 모델은 구독료보다 GPU 비용이 클 수 있다.

그림 4. 무료 이용자가 많을수록 추론비가 매출을 앞지를 수 있다.

11. 추론 흑자 논쟁 — 두 가지 해석

전문가 사이에서 「추론 API만 보면 마진 80~95%」(Martin Alderson 분석)와 「회사 전체 매출총이익 33~40%」가 동시에 나온다. 층위가 다르다.

추론 자체가 돈을 못 번다기보다, 무료 대량 배포 + 다음 모델 학습 + 인건비를 합친 손익이 적자에 가깝다는 쪽이 재무 보도와 맞는다.

12. 순환 투자와 인프라 캡엑스

2025년 9월 Nvidia는 OpenAI에 최대 1,000억 달러 투자·10GW GPU 공급 파트너십을 발표했다. OpenAI CFO는 상당액이 다시 Nvidia 칩 임대·구매로 돌아간다고 설명했다(CNBC). 비평가들은 순환 금융(circular financing) — 공급자가 고객에게 돈을 주고 고객이 그 돈으로 공급자 제품을 사는 구조 — 로 부른다.

OpenAI는 2030년까지 약 6,000억 달러 컴퓨팅 지출 계획을 투자자에게 제시했다는 보도도 있다. 수요가 진짜인지, 회계상 매출·투자가 서로를 부풀리는지는 IPO·감사 공시가 나와야 판가름이 난다.

13. 주요 수치 비교 (2025~2026 초)

아래는 보도·추정 혼합이다. 분기마다 갱신된다.

14. 개인 사용자에게 미치는 영향

API·구독 가격은 경쟁과 원가 사이에서 움직인다. 원가(특히 고난도 모델)가 오르면 한도·요금 정책도 바뀔 수 있다.

15. 상황별 이해 체크리스트

16. 마무리

앞에서 다룬 AI 연산 비용과 적자 원인의 핵심만 짧게 정리한다.

• 전기·트래픽만으로 프론티어 AI 적자를 설명할 수 없다. 쿼리당 전력은 1Wh 미만인 경우가 많다.
• 이미 산 GPU도 감가상각·임대·차세대 낙후로 매일 비용이다. 회계 수명(5~6년)과 경제 수명(2~3년) 논쟁이 있다.
• 학습 선투자와 인건비(주식 보상 포함)가 추론비와 함께 적자를 키운다.
• 무료·Pro 구독은 사용량이 많으면 구독료보다 GPU 비용이 클 수 있다.
• 추론 API 마진과 회사 전체 손익을 구분해 읽어야 한다.
• 보도 수치는 유출·추정이 많으므로 IPO·감사 공시 전까지는 참고 수준으로 본다.

「하드웨어를 사 두었다고 운영이 공짜가 아니며, 적자는 전기가 아니라 학습·감가·인력·무료 정책이 겹친 구조적 비용이다」 — AI 비용 뉴스를 볼 때 위 네 축으로 나누어 읽으면 과장과 핵심을 구분하기 쉽다.

자주 묻는 질문

• AI 회사 적자는 전기요금 때문인가요?

  주된 원인은 아닙니다. 텍스트 질문 한 번의 전력은 보통 0.3Wh 안팎으로 작습니다. 적자는 GPU 감가상각·클라우드 임대, 차세대 모델 학습, 인건비, 무료 사용자 추론비 등이 겹친 결과에 가깝습니다.

• GPU를 이미 샀으면 추론 비용이 거의 없지 않나요?

  아닙니다. 회계상 감가상각비가 매월 잡히고, 전력·냉각·운영 인력 비용이 붙습니다. 차세대 칩이 나오면 구형 GPU의 경제적 가치는 빠르게 떨어져, ‘산 돈은 이미 썼다’고 보기 어렵습니다.

• 추론과 학습 비용은 무엇이 다른가요?

  학습은 모델을 처음 만들거나 크게 키우는 일회성·반복 대규모 연산이고, 추론은 완성된 모델로 사용자 질문에 답하는 매일 반복 비용입니다. 회사는 둘을 동시에 감당합니다.

• Sam Altman이 말한 ‘추론만 보면 흑자’는 사실인가요?

  학습·인건비·영업비를 제외한 추론 단위 경제나 API 마진을 말하는 해석이 있습니다. 다만 2025년 OpenAI 조정 매출총이익률은 33%로, 무료 사용자와 추론비 증가를 포함한 전체 그림은 여전히 압박을 받습니다.

• ChatGPT Pro 월 200달러인데도 적자라는 말이 맞나요?

  2025년 1월 Sam Altman이 사용량이 예상보다 많아 Pro 구독도 적자라고 밝혔습니다. 무제한에 가까운 고성능·reasoning 모델 접근은 구독료보다 GPU 비용이 클 수 있습니다.

• reasoning 모델(o1, o3)이 비용을 어떻게 바꾸나요?

  답변 전에 내부 사고 토큰을 많이 생성해 출력 토큰 요금이 늘어납니다. 표면 가격이 같아도 실제 청구는 일반 모델 대비 수 배~십여 배가 될 수 있어, 회사 추론비와 사용자 한도 정책 모두에 영향을 줍니다.

• Michael Burry의 GPU 감가상각 비판은 무엇인가요?

  하이퍼스케일러가 GPU를 5~6년에 걸쳐 감가상각해 당기 이익을 부풀린다는 주장입니다. AI 칩 세대 교체는 더 빠르니 2~3년 수명이 현실적이라며, 2026~2028년 약 1,760억 달러 과소계상을 지적했습니다.

• Nvidia 1,000억 달러 OpenAI 투자는 순환 금융인가요?

  비평가들은 Nvidia가 투자한 돈이 다시 Nvidia 칩 임대·구매로 돌아가는 구조를 순환 금융으로 부릅니다. 인프라 확장에는 도움이 되지만, 수요가 실수요인지는 감사 공시로 검증이 필요합니다.

• OpenAI 2025년 매출과 적자 규모는 어느 정도인가요?

  보도에 따르면 2025년 연간 매출은 약 131억 달러, 순손실은 약 90억 달러 수준으로 추정됩니다. 상반기 R&D 컴퓨팅 67억 달러 등이 나왔으나 비상장사 추정치라 확정 수치는 아닙니다.

• Anthropic은 OpenAI보다 빨리 흑자에 가까운가요?

  2026년 Q2 약 5.59억 달러 영업이익 전망 등 내부 추정이 보도됐으나 감사 전입니다. 기업 매출 비중이 높다는 분석은 있으나, 이후 데이터센터 지출이 다시 적자로 돌아설 수 있다는 경고도 함께 나옵니다.

• 일상 비유로 AI 적자를 어떻게 이해하면 되나요?

  GPU는 고급 택시를 만 대 샀는데 기름·감가·신형 출시로 중고값이 떨어지는 것과 비슷합니다. 학습은 다음 시즌 드라마 제작비, 무료 사용자는 시식 코너에 가깝습니다. 세 가지가 동시에 돈이 나갑니다.

• 개인 사용자에게 어떤 영향이 있나요?

  회사가 무료 한도를 줄이거나 요금을 올리고, 광고·저가 티어를 도입하는 방식으로 추론비를 회수하려 합니다. reasoning·에이전트 기능은 토큰 소비가 커서 사용량 기반 과금이 늘 가능성이 있습니다.

• 이 문서의 수치를 투자 판단에 써도 되나요?

  대부분 The Information, WSJ, 투자자 슬라이드 인용 보도 등 비감사 추정입니다. 방향성 이해용으로 쓰고, IPO·감사 재무제표가 나오면 공식 수치로 다시 확인하는 것이 안전합니다.