사이오닉 AI, 100억 규모 '토큰 팩토리' 공개… 초고속 AI 모델 추론 시대 개막

사이오닉 AI는 약 100억 원 규모의 '토큰 팩토리'를 구축하여 운영 중이라고 밝혔습니다. 이곳에서는 실제 산업 특화 모델의 토큰을 생성하고 있으며, 특히 토큰을 매우 빠르게 서비스하는 특화 모델과 시스템들이 구성되어 있습니다. 이는 특정 산업 분야의 요구에 맞춰 AI 모델의 효율성을 극대화하는 데 중점을 두고 있습니다.

고석현 대표는 "여기 전체 규모가 100억 원 정도로 되어 있고요. 여기서는 실제 산업 특화 모델의 토큰, 그리고 굉장히 빠르게 토큰을 서비스하는 특화 모델과 시스템들이 구성되어 있습니다."라고 언급하며, 사이오닉 AI의 인프라 투자 규모와 목적을 설명했습니다.

고석현 대표는 사람이 실제 텍스트를 읽는 속도는 초당 20~30토큰 정도에 불과하다고 설명했습니다. 이는 일반적인 인식보다 훨씬 느린 속도이며, 빨리 읽는 경우에도 이 정도 수준이라고 덧붙였습니다. 천천히 읽을 때는 그보다도 더 느리게 토큰을 처리한다고 강조했습니다.

이러한 언급은 AI 모델의 토큰 생성 속도가 아무리 빨라도 최종 사용자 경험은 인간의 인지 속도에 의해 제한될 수 있음을 시사합니다. AI의 초고속 토큰 생성 능력과 인간의 인지 속도 간의 격차가 존재하며, 이는 AI 서비스 설계 시 중요한 고려 사항이 될 수 있습니다.

양자화 기술이 메모리 사용량 감소와 속도 향상에 기여할 수 있지만, 사이오닉 AI의 최근 연구와 실제 적용 사례에서는 양자화가 투기적 디코딩(speculative decoding)의 수락률을 떨어뜨리는 현상이 발견되었다고 고석현 대표가 밝혔습니다. 이는 양자화를 통해 모델의 정확도가 저하되면, 스마트한 모델과 덜 스마트한 모델 간의 차이가 더 벌어져 예측의 정확성이 낮아질 수 있음을 의미합니다.

결과적으로, 어설픈 양자화는 오히려 전체적인 토큰 생성 속도를 늦출 수 있다고 지적했습니다. 양자화는 신중하게 접근해야 하며, 모델의 특성과 투기적 디코딩의 효과를 종합적으로 고려해야 최적의 성능을 얻을 수 있습니다.

투기적 디코딩(speculative decoding) 기술의 발전이 파인튜닝(fine-tuning)의 역할에 변화를 가져오고 있다고 고석현 대표가 언급했습니다. DSpark나 MTP와 같은 투기적 디코딩 방식은 토큰 생성 속도를 높일 뿐만 아니라, 파인튜닝을 통해 비용까지 절감할 수 있는 새로운 가능성을 열고 있습니다.

과거에는 파인튜닝이 모델의 성능 향상에 주로 초점을 맞췄지만, 이제는 비용 효율적인 추론 과정과 결합되어 전체적인 운영 비용 절감에도 기여할 수 있다는 설명입니다. 이는 AI 모델 운영 전략 수립에 있어 중요한 전환점이 될 수 있습니다.

고 대표는 "그런데 토큰 생성 속도와 비용이 DSpark나 MTP 같은 투기적 디코딩 때문에 fine-tuning을 하면 비용도 줄어든다는 재미있는 방식이 생긴 거죠."라고 말하며, 투기적 디코딩의 경제적 이점을 강조했습니다.

고석현 대표는 초당 1,000토큰 이상의 속도로 병렬 세션을 여러 개 활용하면 기업을 실시간으로 복제하고 시뮬레이션할 수 있다고 주장했습니다. 이는 단일 모델의 속도만으로는 불가능하며, 수천 토큰을 병렬로 처리할 수 있는 인프라가 갖춰질 때 가능한 시나리오입니다. 예를 들어 10개에서 20개 이상의 병렬 세션을 동시에 운영하여 회사의 복잡한 상황을 실시간으로 분석하고 예측하는 것이 가능해진다는 설명입니다.

이러한 실시간 시뮬레이션은 기업의 의사결정 과정을 혁신적으로 개선할 수 있습니다. 예를 들어, 특정 정책 변경이나 시장 상황 변화가 기업 운영에 미칠 영향을 즉각적으로 파악하고, 최적의 대응 전략을 수립하는 데 활용될 수 있습니다.

고 대표는 "그런데 이게 100토큰, 200토큰으로는 안 되고, 우리가 수천 토큰을 쓸 수 있는 걸 병렬로 10개, 20개 세션을 잡으면 회사를 실시간으로 복제해서 돌릴 수가 있어요. 좀 말도 안 되는 것 같으시죠?"라며, 이 기술이 가져올 파급력을 강조했습니다.

AI와의 협업에서 토큰 생성 속도가 매우 빨라질 경우, 사람이 오히려 더 피곤해질 수 있다고 고석현 대표가 지적했습니다. AI가 질문에 즉각적으로 답변을 내놓으면서, 사람이 생각하고 반응할 시간을 충분히 갖지 못하게 되기 때문입니다. 이는 마치 계산기에 숫자를 입력하고 결과를 기다리지 않고 바로 얻는 것과 같은 경험으로, AI와 함께 일한다는 느낌보다는 단순히 도구를 사용하는 것에 가까워진다고 설명했습니다.

이러한 현상은 기존의 일하는 방식과 사고방식에 대한 '언러닝(unlearning)'이 필요하다는 점을 시사합니다. AI의 속도에 맞춰 사람이 적응해야 하는 새로운 작업 환경이 조성되는 것입니다. AI의 발전이 인간의 업무 부담을 줄여줄 것이라는 일반적인 기대와는 달리, 새로운 형태의 피로감을 유발할 수 있다는 흥미로운 관점입니다.

고석현 대표는 AI 토큰 생성 속도가 초당 500~600토큰을 넘어 1,000토큰, 2,000토큰에 달하면 Physical AI, 즉 물리적 세계와 상호작용하는 AI와 로봇 제어 분야에서 큰 발전이 있을 것이라고 전망했습니다. 테슬라의 자율주행 기술도 일종의 VLA(Visual Language Agent)처럼 동작하며, 초당 프레임 속도를 따라가지 못하면 제대로 작동하기 어렵다는 점을 예로 들었습니다.

텍스트나 코드 기반 AI와 달리, 물리적 세계는 더욱 복잡한 모멘텀을 가지고 있기 때문에, MTP(Massively Token Parallel)나 DSpark와 같은 기술들이 더 많은 추론 마진을 확보할 수 있을 것이라고 보았습니다. 이러한 초고속 토큰 생성이 가능해지면, 모든 로봇이 LLM(Large Language Model)을 기반으로 동작하는 시대가 올 수도 있다고 강조했습니다.

현재 GPU는 '프리필(prefill)'과 '디코드(decode)' 과정의 격차로 인해 심각한 비효율성을 겪고 있다고 지적되었습니다. 프리필은 사용자의 초기 입력을 처리하는 과정이고, 디코드는 모델이 응답을 생성하는 과정인데, 이 두 과정 간의 성능 차이가 커서 GPU 자원이 제대로 활용되지 못하고 있습니다.

이러한 비효율성 때문에, 이론적으로 100명에서 200명의 사용자를 처리할 수 있는 GPU가 실제로는 한두 명에서 많아봐야 10명도 채 감당하지 못하는 상황이 발생하고 있다고 고석현 대표는 설명했습니다. 이는 현대 에이전트 AI를 유지하는 데 있어 프리필의 성능이 매우 중요하지만, 현재 인프라에서는 그 잠재력을 충분히 발휘하지 못하고 있음을 의미합니다.

노정석 대표는 프리필과 디코드의 비효율성을 해결하기 위해 이 두 과정을 물리적으로 분리된 팜에서 처리하는 방식이 주목받고 있다고 설명했습니다. 기존에는 하나의 인퍼런스 머신에서 프리필과 디코드를 최적화하려 해도 성능에 상한선이 존재하여 비효율을 막기 어려웠습니다. 하지만 Kimi에서 처음 제안한 방식처럼 프리필과 디코드를 완전히 분리하면 GPU의 효율이 엄청나게 증가할 수 있다고 강조했습니다.

이러한 물리적 분리 방식을 통해 GPU의 처리량이 3배에서 100배까지 증가할 수 있다는 분석이 제시되었습니다. 이는 AI 인프라의 확장성과 비용 효율성을 획기적으로 개선할 수 있는 중요한 기술적 진보로 평가됩니다.

이날 논의의 주된 주제는 이러한 프리필과 디코드의 분리 전략이 AI 서비스의 미래에 미칠 영향이었습니다.

박종현 박사는 대규모 언어 모델(LLM) 서빙 최적화 솔루션이 모든 상황에 범용적으로 잘 적용되는 형태로는 존재하기 어렵다고 주장했습니다. 각 상황마다 모델의 특성, 하드웨어 환경, 사용 패턴 등이 다르기 때문에, 하나의 솔루션으로 모든 것을 해결하기는 불가능하다는 설명입니다.

특히 NVIDIA와 같은 특정 하드웨어 제조사가 자사 제품과 특정 모델에 최적화된 솔루션을 제공할 수는 있겠지만, 그것이 모든 사용자에게 적용될 수 있는 보편적인 해결책이 될 수는 없을 것이라고 보았습니다. 결국 LLM 서빙 최적화는 개별 상황에 맞춰 맞춤형으로 접근해야 할 과제라고 결론지었습니다.

사이오닉 AI는 엔비디아 B300 GPU 100대 규모의 인프라를 구축했다고 고석현 대표가 밝혔습니다. 이 대규모 인프라는 운영률이 5% 이상만 되면 감가상각 비용과 실제 토큰 비용이 1대1로 상쇄될 수 있다고 설명했습니다. 즉, 5%의 낮은 가동률만으로도 투자비용을 회수할 수 있다는 의미입니다.

더 나아가, 가동률을 10%까지 올리면 2배의 이득을 얻을 수 있으며, 1년 동안 이 인프라를 제대로 운영한다면 1년이 되기 전에 전체 초기 투자 비용(CAPEX)을 회수할 수 있을 것이라고 강조했습니다. 이는 사이오닉 AI의 인프라 투자가 매우 효율적이며 빠른 시일 내에 수익을 창출할 수 있는 구조임을 보여줍니다.

고 대표는 "우선 저희가 B300을 100장 정도 쓰고 있고요. 이 인프라가 5% 이상만 가동된다면 감가상각 비용과 실제 토큰 비용이 1 대 1이 됩니다. 그래서 운영률을 10%까지 만들면 2배의 이득이 되고요. 이걸 1년만 제대로 운영한다면 1년이 되기 전에 전체 CAPEX를 회수할 수 있다고 보시면 됩니다."라고 말하며, 자사의 비즈니스 모델의 강점을 피력했습니다.

고석현 대표는 사이오닉 AI가 향후 투자를 현금이 아닌 GPU로만 받을 계획이라고 밝혔습니다. 이는 GPU가 AI 시대의 핵심 자원이자 가장 중요한 투자 대상이라는 인식을 반영한 것입니다. GPU 확보가 기업의 경쟁력을 좌우하는 중요한 요소가 되었음을 시사합니다.

또한, 사이오닉 AI가 다량의 엔비디아 B300 GPU를 보유하고 있는 것이 신규 인재 유치에 상당한 영향을 미친다고 언급했습니다. 뛰어난 AI 개발자들이 최신 고성능 GPU를 직접 활용할 수 있는 환경을 선호하기 때문입니다. 실제 B300의 존재 자체가 사이오닉 AI에 인재들이 잔류하는 이유가 되기도 한다고 전했습니다.

고 대표는 "굉장히 많이 됐죠. 저는 새로운 회사를 만약에 만든다면 투자를 GPU로만 받을 것 같아요. 나머지는 중요하지 않거든요. 상당한 비중을 차지하고 있습니다. B300이 너무 좋기 때문에 사이오닉에 남아 있는다는 사람이 실제로 있어요."라고 말하며, GPU의 중요성과 인재 확보에 미치는 영향을 강조했습니다.

AI가 잘 활용하기 어려운 문제들에 대해 고석현 대표와 박종현 박사는 서로 다른 접근 방식을 제시했습니다. 고석현 대표는 AI가 잘하는 것을 극대화하는 방향으로 나아가야 한다고 주장했습니다. 그는 목표 설정과 루프 정의가 명확한 작업의 비용은 지속적으로 하락할 것이지만, 이러한 가치가 사회 전체에 확산되는 데는 10년에서 30년 정도의 긴 시간이 걸릴 것이라고 내다봤습니다. 따라서 AI의 강점을 최대한 활용하고, AI가 아직 못하는 영역을 탐색하는 것을 장기적인 비전으로 삼아야 한다고 강조했습니다.

반면 박종현 박사는 구조적으로 정답이 없는 문제, 즉 인간이 해결하기 어려운 문제에 AI의 역량을 집중해야 한다고 주장했습니다. 그는 인간이 풀기 어려운 문제들을 AI를 통해 해결해 나가는 것이 더 큰 가치를 창출할 것이라고 보았습니다. 예를 들어, 신약 개발이나 복잡한 과학적 발견과 같이 인간의 인지 능력을 뛰어넘는 문제 해결에 AI가 기여할 수 있다는 것입니다.

고석현 대표는 "저는 도망의 관점보다는 잘하는 것을 극대화하는 게 맞다고 생각하거든요. 그래서 말씀하신 것처럼 목표를 정하고 루프를 정할 수 있는 일의 가격은 계속 내려갈 텐데, 이게 사회 전체에 퍼져서 그 가치, 그러니까 원래 그 가치를 갖는 데는 상당한 시간이 걸릴 것 같아요. 짧으면 10년, 길면 30년이요. 그래서 AI가 잘하는 것을 극대화하고, AI가 못하는 것을 찾는 것을 장기 비전으로 두는 게 맞지 않을까 싶고요."라고 말하며 자신의 입장을 표명했습니다.

이처럼 두 전문가는 AI 활용의 방향성에 대해 각자의 철학을 가지고 있으며, 이는 AI 산업의 미래 전략 수립에 있어 중요한 논점이 될 수 있습니다.

사이오닉 AI는 실제 서비스 코드를 작성하는 과정에서 AI 에이전트를 적극적으로 활용하고 있다고 고석현 대표가 밝혔습니다. 사람이 수많은 사례를 검증하며 코드를 짜는 것은 매우 어려운 일이며, 심지어 반년 혹은 3개월 이상이 걸릴 수도 있는 작업입니다.

하지만 병렬 에이전트가 이 작업을 분할 처리하고 기계적 검증을 거치면서, 반년이 걸릴 수도 있는 일이 하루, 길어야 이틀, 빠르면 몇십 분 안에 완료된다는 놀라운 효율성을 보여주었습니다. 이는 AI 에이전트가 소프트웨어 개발 주기를 획기적으로 단축시키고, 개발 생산성을 극대화할 수 있음을 입증하는 사례입니다.

고 대표는 "그런데 이걸 정말 사람이 짤 수 있을까, 이 수많은 사례를 검증하면서요. 불가능할 것 같아요. 불가능하다는 건 하루 안에는 절대 안 될 것 같고요. 반년이 걸릴 수도 있고 3개월이 걸릴 수도 있는데, 이걸 병렬 에이전트가 나눠서 처리하고 기계적 검증을 거치니까 하루, 길면 이틀, 빠르면 몇십 분 안에 모든 것이 끝나더라고요."라고 말하며, AI 에이전트의 개발 효율성을 강조했습니다.

사이오닉 AI는 모델의 크기와 MoE(Mixture-of-Experts) 구조, 그리고 메모리 대역폭 사이의 스윗 스팟을 찾아 '공짜 점심(free lunch)'을 발견했다고 고석현 대표가 밝혔습니다. 이는 특정 조건에서 병렬성을 높여 더 빠른 서비스를 제공하더라도 원가율이 똑같이 유지되는 지점을 의미합니다.

이러한 공짜 점심 지점을 활용하면, 서비스 제공자는 추가 비용 부담 없이 고객에게 월등히 빠른 AI 모델을 제공할 수 있게 됩니다. 이는 기술 최적화를 통해 비용 효율성과 성능 향상을 동시에 달성한 사례로, AI 서비스 경쟁력 강화에 중요한 요소가 될 수 있습니다.

고석현 대표는 SFT(Supervised Fine-Tuning) 과정의 속도 개선이 AI 발전의 핵심 중 하나라고 강조했습니다. 파인튜닝 과정이 빨라지면 모델 개발 및 배포 주기가 단축되어 더욱 빠르게 새로운 AI 서비스를 시장에 선보일 수 있기 때문입니다. 이는 AI 기술의 실질적인 적용과 확산에 매우 중요한 요소입니다.

또한, 양자화에 대한 의존도가 줄어들 수 있다는 점도 중요하게 언급했습니다. 양자화를 통해 얻는 이득이 기계적이고 산술적인 반면, 모델의 예측 능력과 모멘텀을 통해 양자화를 하지 않고도 좋은 결과를 얻을 수 있다는 결론이 나올 수도 있다고 설명했습니다. 즉, 무작정 양자화를 적용하기보다는 모델의 본질적인 성능 향상에 집중하는 것이 더 효과적일 수 있다는 관점을 제시했습니다.

고 대표는 "우선 가장 큰 건 아까 처음에 얘기했던, 이제 fine-tuning, 즉 SFT를 하는 과정이 속도를 아예 빠르게 할 수 있다는 게 중요해진 것 같고, 그리고 양자화에 대한 것들이 좀 줄어들 것 같아요. 양자화를 통해 얻는 이득은 굉장히 기계적이고 산술적인데, 이걸 모델의 어떤 예측력 모멘텀을 통해서 양자화를 안 하는 것도 좋다는 결론이 나올 수도 있고요."라고 말하며, AI 모델 최적화의 새로운 방향성을 제시했습니다.

고석현 대표는 Kimi라는 AI 모델이 특정 작업에서 Opus보다 우수한 성능을 보이는 경우가 많다고 밝혔습니다. Kimi는 하네스와 궤적에 맞춰 최적화된 부분들이 있어, 속도 면에서 Opus보다 5~6배 정도 빠르다고 설명했습니다. 또한, 병렬 추론 능력이 뛰어나다는 점도 Kimi의 강점으로 꼽았습니다.

이러한 성능 우위 덕분에 사이오닉 AI 내부에서는 Opus나 Fable과 같은 기존 모델들을 잘 사용하지 않는 경향이 있다고 언급했습니다. 대신 내부 GPU가 있다면 최대한 Kimi를 활용하여 작업을 수행한다고 밝혔습니다. Kimi가 Opus나 Fable과는 다른 분야에서 강점을 보일 수 있지만, 성능 면에서 거의 구분이 불가능하거나 심지어 더 나은 결과를 보이는 현상까지 관찰된다고 덧붙였습니다.

고석현 대표는 AI 시대에 접어들면서 모든 컴퓨터 관련 기술이 빠르게 발전하고 있지만, 네트워크 속도는 상대적으로 정체되어 데이터 이동에 병목 현상이 발생하고 있다고 지적했습니다. 이는 GPU를 한곳에 모아 대규모 클러스터를 구축하는 것을 어렵게 만들고, 반대로 분산된 환경에서 데이터를 처리하는 것 또한 쉽지 않게 만듭니다.

아무리 컴퓨터 성능이 빨라져도, 방대한 양의 데이터를 옮기려면 여전히 하드디스크에 담아 직접 운반하는 방식이 가장 효율적인 경우가 많다는 현실을 언급하며, 네트워크 인프라의 발전이 AI 시대의 또 다른 도전 과제임을 강조했습니다. 이는 AI 기술 발전의 속도와 데이터 인프라 발전 속도 간의 불균형이 존재함을 시사합니다.

노정석 대표는 AI 산업이 점차 '자본 게임'으로 변모하고 있다고 분석했습니다. AI 기술 자체가 점차 보편화(commodity화)되면서, 기술력보다는 대규모 자본 투자를 통한 인프라 확보가 핵심 경쟁 요소로 부상하고 있다는 것입니다. 마진 폭이 존재하는 한, 기존의 산업 구조와 관계없이 새로운 사업자들이 계속해서 AI 인프라 시장에 진입할 것이라고 전망했습니다.

특히, 과거 항만이나 건물 인프라에 투자하던 자본들이 이제는 데이터센터(IDC) 투자 대열에 합류하고 있다고 언급했습니다. PE(사모펀드)나 헤지펀드 등 다양한 종류의 자본이 AI 인프라에 대한 투자를 늘리고 있으며, 이는 AI 산업의 성장과 함께 인프라 투자가 더욱 가속화될 것임을 시사합니다.

노 대표는 "그러니까 지금 이게 살짝 commodity화되어 가고 있는 건데, 자본 게임화되고 있다는 이야기 저희가 굉장히 많이 듣고 있잖아요. 핵심은 자본 게임이다. 마진 폭이 존재하는 한 사업자는 계속 들어올 거예요. 저희 같은 일반인들이 못 끼어서 그렇지, 지금 자본들은 예전에 항만이나 건물 인프라에 투자하던 회사들도 전부 다 IDC 투자 대열에 들어와 있거든요. PE나 헤지펀드나 할 것 없이요."라고 말하며, AI 산업의 변화된 양상을 설명했습니다.

고석현 대표는 AI 컴퓨팅 리소스는 앞으로 인류가 절대로 충분히 가질 수 없으며, 계속해서 부족할 것이라고 단언했습니다. 이는 AI 기술의 발전 속도와 활용 범위가 폭발적으로 증가하는 반면, 컴퓨팅 자원의 공급은 그 수요를 따라가지 못할 것이라는 비관적인 전망을 담고 있습니다.

AI 모델의 규모가 점점 커지고, AI가 적용될 산업 분야가 확장될수록 필요한 컴퓨팅 자원의 양은 천문학적으로 늘어날 것이라는 분석입니다. 이는 AI 시대를 준비하는 데 있어 컴퓨팅 자원의 효율적 활용과 확보가 영원한 과제로 남을 것임을 시사합니다.

최승준 이사는 Google DeepMind의 Oriol Vinyals가 Discovery Loop에 참여하며, 모델들이 좋은 가설을 잘 생성하지 못한다는 점을 지적했다고 언급했습니다. 이는 AI 모델이 방대한 데이터를 분석하고 패턴을 인식하는 능력은 뛰어나지만, 아직까지는 새롭고 창의적인 가설을 스스로 만들어내는 데 한계가 있음을 시사합니다.

AI의 가설 생성 능력은 과학적 발견이나 혁신적인 아이디어 창출에 중요한 역할을 할 수 있지만, 현재 기술 수준으로는 인간의 창의성을 완전히 대체하기는 어렵다는 관점입니다. 이는 AI 발전의 다음 단계에서 모델의 가설 생성 능력을 향상시키는 것이 중요한 연구 과제가 될 수 있음을 보여줍니다.

최승준 이사는 AI 에이전트의 해킹 시도가 증가하고 있으며, OpenAI에서도 유사한 사례가 보고되었다고 밝혔습니다. 특히 AI가 수행하는 해킹 공격의 특징은 그 속도가 매우 빠르다는 점입니다. 사람이 수행할 수 없는 비정상적인 속도로 공격이 들어오기 때문에, 이러한 공격이 AI에 의한 것임을 특정할 수 있었다고 설명했습니다.

이는 AI 기술이 발전하면서 악의적인 목적을 가진 AI 에이전트의 위협이 현실화되고 있음을 보여줍니다. 허깅페이스와 같은 플랫폼에서도 이처럼 빠른 공격 속도를 통해 AI 해킹 시도를 감지하고 대응하는 사례가 나타나고 있습니다.

최 이사는 "그런데 그게 지금 트렌드가 돼서, 고 대표님, 하고 싶으신 말씀이 있으신 것 같은데요. 그런데 그것도 저도 조금 이야기를 들었는데, 이걸 AI가 해킹한 걸 어떻게 알았냐고 보니까 공격 속도가 너무 빨라서라고 하더라고요. 패턴을 찾은 게 아니라 사람이 할 수 없는 속도로 공격이 들어오니까, 허깅페이스가 어떻게 찾았느냐, 어떻게 특정했느냐, 그런 이야기를 좀 들었습니다."라고 말하며, AI 보안의 중요성을 강조했습니다.