안녕하세요! 오늘은 최근 테크 업계에서 아주 흥미롭게 다뤄지고 있는 AI 비용과 효율에 대한 이야기를 가져왔어요. AI 기술이 발전하면서 사용 비용은 낮아지고 있는데, 정작 기업들이 내는 청구서는 오히려 늘어나고 있다는 소식이에요.
💡 토큰 가격은 하락, 사용량은 폭발
최근 오픈AI의 GPT-6 Sol 같은 모델이 등장하며 기업용 API 이용료가 이전보다 50%나 낮아졌다고 해요. 하지만 재미있는 점은 가격이 싸지니까 기업들이 AI를 훨씬 더 적극적으로 쓰기 시작했다는 거예요. 예를 들어 미국 금융회사 시타델 시큐리티즈의 경우, 토큰 가격은 절반으로 줄었지만 실제 처리량은 약 5배나 늘어났다고 합니다. 지시 한 번에 자료를 찾고, 분석하고, 보고서까지 쓰는 'AI 에이전트'가 확산되면서 사람이 시키는 일 하나당 수많은 AI 호출이 일어나기 때문이죠.
💡 똑똑하게 비용을 줄이는 '모델 라우팅'
그렇다면 기업들은 이 늘어나는 비용을 어떻게 관리하고 있을까요? 무조건 비싼 최고급 모델만 쓰는 게 아니라, 일의 난이도에 맞춰 모델을 골라 쓰는 전략이 핵심이에요. 미국 통신사 AT&T는 간단한 질문은 저렴한 모델에, 복잡한 질문은 고성능 모델에 맡기는 '모델 라우팅'을 통해 비용을 최대 90%까지 줄였다고 해요. 국내의 카페24 역시 여러 AI를 연결해 작업에 따라 모델을 자동으로 고르는 시스템을 활용하고 있죠.
💡 이제는 '얼마나 썼나'보다 '무엇을 해냈나'
개인적으로 이번 소식을 보며 느낀 점은, 이제 AI 활용의 기준이 '양'에서 '질'로 넘어가고 있다는 점이에요. 단순히 토큰을 많이 쓰는 게 아니라, AI를 통해 얼마나 가치 있는 결과를 만들어냈는지가 중요해진 거죠. 이를 설명하는 '토큰 대비 가치(ROT)'라는 개념이 참 인상적인데요. 100원짜리 결과물을 고치느라 시간을 쓰는 것보다, 조금 더 비용을 들여서라도 빠르게 업무를 끝내는 것이 훨씬 경제적이라는 뜻이죠.
앞으로 기업들의 AI 전략은 '얼마나 많이 사용하는가'를 넘어 'AI 덕분에 어떤 일을 더 잘 끝내고 있는가'로 진화할 것 같아요. 기술이 우리 업무의 흐름을 어떻게 바꿔놓을지 정말 기대됩니다!