데이터센터의 다음 병목은 '빛'으로 해결… 실리콘 포토닉스가 연산 속도 높인다

대규모 AI 모델의 발전과 함께 데이터센터 내부의 데이터 이동량은 기하급수적으로 증가하고 있습니다. 이러한 변화에 대응하기 위해 기존의 전기 신호 기반 통신 방식을 넘어선 새로운 기술이 요구되고 있으며, 그중 하나가 바로 실리콘 포토닉스입니다. 실리콘 포토닉스는 칩과 칩 사이의 통신(chip-to-chip)까지 광통신(optics)을 확장하여 데이터 대역폭을 기존과 차원이 다른 수준으로 끌어올릴 잠재력을 가지고 있습니다.

인공지능(AI) 기술이 발전하고 대규모 언어 모델(LLM)의 크기가 커지면서, 모델 학습에 필요한 데이터의 양도 폭발적으로 증가했습니다. 이제는 단순히 연산(compute) 능력만 높이는 것만으로는 AI 학습의 효율성을 보장하기 어렵다는 지적이 나오고 있습니다. 전문가들은 GPU와 같은 연산 장치 간에 데이터를 얼마나 빠르고 효율적으로 주고받는지가 전체 시스템의 성능을 좌우하는 핵심 요소가 되었다고 강조합니다.

세계적인 AI 반도체 기업 엔비디아(NVIDIA)조차 아직 데이터센터 내 랙(rack) 간 광통신 연결을 완벽하게 상용화하지 못한 것으로 알려졌습니다. 현재 많은 기업들이 기존 구리선의 주파수를 높여 대역폭을 늘리려는 시도를 하고 있지만, 주파수가 높아질수록 신호 손실이 급격히 커지는 문제에 직면해 있습니다. 이러한 구리선의 물리적 한계는 광통신 기술의 필요성을 더욱 부각시키고 있습니다.

엔비디아 젠슨 황 CEO가 기조연설에서 선보인 NVL72와 같은 차세대 AI 시스템에는 내부 광통신 칩이 적용되어 있습니다. 이에 대해 업계에서는 엔비디아가 이미 Co-packaged Optics(CPO) 레벨의 기술을 도입한 것인지에 대한 논의가 활발합니다. CPO는 광통신 모듈을 프로세서 칩과 같은 패키지 안에 통합하는 기술로, 고대역폭과 저전력 특성을 구현하는 데 핵심적인 역할을 합니다. 그러나 엔비디아의 현재 기술 수준이 진정한 CPO 단계인지, 아니면 그 이전의 광통신 통합 방식인지는 여전히 명확하지 않습니다.

엔비디아나 마블(Marvell)과 같은 선도 기업들도 이러한 기술을 적극적으로 도입하고자 하지만, 통합 패키징 방식의 특성상 여러 난관에 부딪힙니다. 가장 큰 문제 중 하나는 서비스 가능성 측면에서 모듈 교체가 어렵다는 점입니다. 광통신 모듈이 ASIC 칩과 함께 패키징되면 개별 부품을 쉽게 교체할 수 없어 유지 보수가 복잡해집니다.

또한, ASIC 칩에서 발생하는 열이 인접한 포토닉스 소자에 영향을 미쳐 성능 저하를 유발할 수 있습니다. 함께 제조할 경우 생산 난이도가 급격히 올라가 수율(yield) 측면에서도 매우 불리하다는 점도 큰 문제입니다. 이러한 이유로 언제 모든 시스템이 CPO로 전환될 것인지보다는, 어떤 부분부터 광통신으로 전환하는 것이 가장 효율적일지에 대한 전략적 접근이 필요하다는 것이 전문가들의 의견입니다.

이러한 난제들로 인해 기업들은 CPO 기술 도입에 신중하게 접근하고 있으며, 기술적 완성도와 경제성을 동시에 확보하기 위한 노력을 지속하고 있습니다.

기존 광통신 방식은 빛의 강도를 조절하여 데이터를 전송했지만, 이러한 방식으로는 테라바이트(TB)급의 고대역폭을 구현하기 어렵습니다. 이 문제를 해결하기 위해 연구자들은 레이저를 항상 켜둔 상태에서 빛의 위상(phase)을 변화시켜 데이터를 인코딩하는 방식을 고안했습니다. 물질에 전압을 가했을 때 굴절률이 변하는 속도가 레이저의 켜짐/꺼짐 속도보다 훨씬 빠르다는 점을 활용한 것입니다.

이러한 위상 변조 방식은 기가바이트(GB)에서 테라바이트 단위로 급증하는 대역폭 요구 사항을 충족시킬 수 있는 유일한 대안으로 여겨집니다. 굴절률 변화를 통한 데이터 전송은 초고속 통신을 가능하게 하여 데이터센터 내 데이터 이동 병목 현상을 획기적으로 개선할 잠재력을 가지고 있습니다.

현재 대부분의 CMOS 공정은 실리콘 기반으로 최적화되어 있어, 실리콘 자체로 효율적인 레이저를 만드는 것이 어렵습니다. 이 때문에 III-V족 화합물 반도체(갈륨비소, 인듐인 등)로 만든 레이저를 실리콘 웨이퍼 위에 접합(bonding)하는 방식이 사용됩니다.

하지만 III-V족 레이저를 실리콘 웨이퍼에 정확하고 효율적으로 본딩하는 작업은 매우 까다롭습니다. 이 과정에서 발생하는 미세한 오차나 결함은 전체 소자의 성능을 저하시키고 수율을 크게 떨어뜨립니다. SK하이닉스, 삼성전자, 루멘텀(Lumentum)과 같은 주요 기업들은 이러한 III-V 통합 기술의 효율성과 높은 수율을 확보하기 위한 연구에 집중하고 있습니다. 이 기술적 난관을 극복하는 것이 실리콘 포토닉스 상용화의 핵심 과제로 꼽힙니다.

결론적으로 III-V 통합 기술의 성공 여부가 실리콘 포토닉스 시장의 성장을 결정할 중요한 요인이 될 것으로 보입니다.

구리선과 같은 전기 배선은 네 개의 다른 정보를 보내려면 각각 네 개의 독립적인 구리선 채널이 필요합니다. 이는 공간적 제약과 복잡성을 야기합니다.

그러나 포토닉스에서는 단 하나의 광섬유나 도파관만 있어도 여러 주파수의 빛을 동시에 보낼 수 있습니다. 각기 다른 주파수에 다른 정보를 실어(임베딩) 보낸 다음, 수신단에서 '디먹스(demux)'라는 장치를 통해 각 주파수의 빛을 분리하여 개별 신호로 처리합니다. 이는 마치 하나의 고속도로에서 여러 대의 차량이 서로 다른 목적지를 향해 동시에 달릴 수 있는 것과 유사합니다.

이러한 파장 분할 다중화(WDM: Wavelength Division Multiplexing) 기술은 광통신의 대역폭 효율성을 극대화하고, 데이터센터 내 복잡한 배선 문제를 해결하는 데 핵심적인 역할을 합니다. 포토닉스가 고대역폭 통신 시대를 이끌 핵심 기술로 주목받는 이유 중 하나입니다.

단일 채널로 다중 정보를 처리할 수 있는 능력은 데이터센터의 집적도를 높이고 전력 소모를 줄이는 데 크게 기여합니다.

기존 포토닉스 소자들은 다중화기(mux), 역다중화기(demux), 전력 분배기(power splitter) 등이 밀리미터(mm) 스케일로 매우 컸습니다. 이러한 크기는 광 집적회로의 집적도를 높이는 데 큰 제약이 되었습니다. 하지만 '역설계(inverse design)'라는 최적화 알고리즘을 활용하면 이러한 소자들의 크기를 2~5마이크로미터(μm) 스케일로 획기적으로 줄일 수 있습니다. 이는 기존 대비 50배에서 최대 1000배까지 소형화가 가능하다는 것을 의미합니다.

역설계 알고리즘은 사람이 직관적으로 생각하는 방식이 아니라, 물리 법칙과 최적화 기준에 따라 가장 효율적인 구조를 찾아냅니다. 예를 들어, 특정 주파수를 가장 효율적으로 분리할 수 있는 구조를 알고리즘에 맡기면, 인간의 상식으로는 이해하기 어려운 비직관적인 형태의 디자인이 도출됩니다. 이러한 디자인은 이론적으로는 매우 효율적이지만, 직관적이지 않다는 점에서 실용적인 적용에 대한 논의가 필요합니다.

역설계(inverse design)를 통해 포토닉스 소자의 크기를 획기적으로 줄일 수 있었지만, 여기에는 여러 희생이 따릅니다. 첫째, 디자인 제약 조건을 명확히 부여해야 하며, 최적화된 결과물이라 할지라도 실제로 제작할 때 그 디자인이 그대로 구현된다는 보장이 없습니다. 특히 '뽕뽕 뚫린 구멍들'과 같은 미세 구조는 실제 제조 공정에서 의도한 대로 형성되기 어렵습니다.

둘째, 최적화 과정에 드는 비용(시간과 연산 자원)이 크며, 시뮬레이션 결과가 기대에 미치지 못하면 처음부터 다시 반복해야 하는 비효율성이 존재합니다. 셋째, 특정 시작점에서 얻은 최종 디자인이 과연 가장 최적의 디자인인지 확신하기 어렵다는 한계도 있습니다. 이러한 문제점들은 역설계가 단순히 소형화만을 추구하는 것을 넘어, 제조 친화성과 최적화 효율성까지 고려해야 함을 시사합니다.

GPU나 CPU와 같은 고성능 컴퓨팅 반도체는 무어의 법칙에 따라 1~2년마다 집적도가 3배씩 증가하는 빠른 발전을 보여왔습니다. 그러나 포토닉스 소자의 집적도는 이와 같은 속도를 따라가지 못하고 있습니다. 이는 포토닉스 회로 단위가 여전히 센티미터, 밀리미터 규모로 크기 때문에 물리적인 집적 한계에 부딪혔기 때문입니다.

이러한 집적도 문제를 해결하기 위해 '인버스 디자인(inverse design)'과 같은 최적화 기법이 필수적이라는 인식이 커지고 있습니다. 인버스 디자인은 앞서 언급했듯이 소자 크기를 획기적으로 줄여 밀리미터 단위까지 소형화할 수 있는 잠재력을 가집니다. 하지만 이 기술 또한 생산성, 수율, 최적화 비용, 그리고 최종 디자인의 최적성 보장 문제와 같은 여러 한계를 내포하고 있습니다.

따라서 연구자들은 포토닉스 집적도를 높이기 위한 인버스 디자인 연구를 지속하면서도, 이 기술이 가진 문제점들을 해결하기 위한 추가적인 노력을 기울이고 있습니다.

기존의 인버스 디자인 워크플로우는 포토닉스 소자 디자인 과정에서 많은 낭비를 초래하며, 이는 기술 발전 속도를 늦추는 주요 원인으로 지적됩니다. 일반적으로 디자이너들은 무작위 노이즈나 중간점에서 시뮬레이션을 기반으로 여러 후보군 디자인을 생성합니다. 예를 들어 10개의 디자인 후보군을 만들어 실제 제작하고 테스트했을 때, 8개는 성능이 좋지 않고 2개만 좋은 성능을 보였다고 가정해봅시다.

문제는 성능이 좋지 않았던 8개의 디자인에 대한 정보가 그대로 버려진다는 것입니다. 어떤 점 때문에 성능이 저하되었는지에 대한 후처리 분석이 이루어지지 않고, 오직 성능이 좋았던 2개의 디자인만을 재사용합니다. 즉, '좋고 나쁜 디자인'에 대한 정보를 학습하고 재활용하는 메커니즘이 없기 때문에, 매번 처음부터 다시 시뮬레이션을 돌려야 하는 비효율성이 발생합니다.

이러한 방식은 시간과 자원의 엄청난 낭비로 이어지며, 포토닉스 디자인 분야의 발전을 더디게 만드는 근본적인 원인으로 작용합니다. 효율적인 디자인 정보의 재활용과 학습 시스템 구축이 시급하다는 것이 전문가들의 공통된 의견입니다.

기존 포토닉스 디자인 워크플로우의 비효율성을 극복하기 위해 인공지능(AI) 모델을 활용하는 새로운 접근 방식이 제시되었습니다. 연구팀은 AI 모델을 통해 이론상 1초 만에 1만 개의 포토닉스 디자인을 생성할 수 있다고 밝혀 기존의 디자인 방식에 혁신을 가져올 가능성을 제시했습니다. 이는 기존 방식으로는 몇 주가 걸리던 작업 시간을 획기적으로 단축시키는 것입니다.

이 AI 기반 디자인 방식의 또 다른 강점은 '제조 친화성'입니다. 연구팀은 AI 모델에 우수한 성능을 가진 디자인 데이터만을 학습시켰기 때문에, 모델이 생성하는 디자인들은 실제 제조 공정에서 생산하기 용이한 형태를 띠게 됩니다. 이는 단순히 디자인 속도를 높이는 것을 넘어, 실제 제조 단계에서의 병목 현상까지 해소할 수 있다는 점에서 큰 의미를 가집니다.

따라서 이 AI 모델은 포토닉스 소자 개발 과정에서 디자인 속도와 제조 수율이라는 두 가지 핵심 과제를 동시에 해결할 수 있는 잠재력을 보여줍니다. 이는 차세대 광통신 기술의 상용화를 앞당기는 데 중요한 역할을 할 것으로 기대됩니다.

이러한 기술 발전은 포토닉스 소자의 대량 생산과 비용 절감에도 기여할 수 있을 것으로 예상됩니다.

포토닉스 소자 제조 과정에서 디자인과 실제 결과물 사이의 불일치는 성능 저하의 주요 원인입니다. 미시간대학교 랩에서 사용하는 팹(fab) 장비는 이론적으로 20나노미터(nm) 단위까지 정밀하게 패턴을 구현할 수 있다고 알려져 있습니다. 하지만 실제 제조 환경에서는 이러한 미세 패턴이 완벽하게 재현되지 않는다는 문제가 있습니다.

예를 들어, 20nm 크기의 구멍을 디자인하더라도 실제 웨이퍼 위에서는 전압 변화나 기타 공정상의 변수들로 인해 25nm 또는 15nm 크기로 불규칙하게 형성될 수 있습니다. 이처럼 디자인된 패턴과 실제 제조된 패턴 간의 오차는 디바이스의 의도된 광학적 특성을 변화시키고, 최종 성능을 저하시킬 수밖에 없습니다. 이러한 제조 과정의 불규칙성이 광 집적회로의 상용화를 가로막는 큰 병목 현상으로 작용하고 있습니다.

따라서 설계 단계에서 아무리 완벽한 디자인을 만들어도, 제조 공정의 정밀도와 재현성이 확보되지 않으면 고성능 소자를 대량 생산하기 어렵다는 것이 현장의 현실입니다. 이를 해결하기 위한 정밀 공정 제어 기술과 제조 편차를 예측하고 보정하는 설계 기술 개발이 필수적입니다.

연구팀은 이 가설을 뒷받침하기 위해 두 가지 핵심 연구를 진행하고 있습니다.

이러한 피드백 루프는 설계-제조-측정-분석-설계 개선이라는 과정을 데이터 기반으로 반복하여 공정 효율성과 수율을 지속적으로 향상시키는 것을 목표로 합니다. 이 시스템이 제대로 작동한다면 포토닉스 공정의 상용화에 필요한 시간을 크게 단축시킬 수 있을 것으로 기대됩니다.

실리콘 포토닉스 분야는 차세대 기술로 주목받고 있음에도 불구하고, 이를 전문적으로 연구하는 기관의 수는 매우 제한적입니다. 한국에서는 손에 꼽을 정도로 약 10여 곳의 연구실만이 관련 연구를 수행하고 있으며, 미국에서도 많아야 30개 남짓한 연구실만이 이 분야에 집중하고 있는 것으로 파악됩니다. 특히, 이들 중 자체적인 팹(fab) 시설을 갖추고 연구부터 제조까지 모두 진행할 수 있는 곳은 거의 없습니다.

더욱이, 실리콘 포토닉스 연구에 인공지능(AI) 및 머신러닝(ML) 방법론을 접목하여 디자인 프레임워크를 개발하는 연구실은 극히 드문 상황입니다. 현재 이 분야는 선행 연구의 단계에 있으며, AI/ML 기반의 혁신적인 접근 방식은 아직 초기 단계에 머물러 있습니다. 이는 실리콘 포토닉스 분야가 아직 발전 가능성이 무궁무진하며, AI와의 융합을 통해 폭발적인 성장을 이룰 잠재력을 가지고 있음을 시사합니다.

현재 진행 중인 포토닉스 연구에는 매우 이례적인 학제 간 융합이 배경에 있습니다. 원래는 기존의 컨벤셔널한 포토닉스 연구를 해오던 한 연구자가, 우연한 계기로 '인버스 디자인'에 대한 대화를 나누게 되었습니다. 이 과정에서 스위스 치즈처럼 구멍이 뚫린 비직관적인 포토닉스 디자인을 보게 되었고, 여기서 예상치 못한 아이디어를 얻게 되었습니다.

이 아이디어는 바로 단백질 연구와 포토닉스 기술을 결합하는 것이었습니다. 서로 전혀 관련이 없어 보이는 단백질 분야와 광학 기술을 융합한다는 것은 일반적인 상식으로는 이해하기 어려운 조합입니다. 하지만 이러한 '말도 안 되는' 조합이 뜻밖에도 긍정적인 성과를 내기 시작하면서 연구팀조차 놀라움을 금치 못하고 있습니다. 이 기묘한 결합은 기존 포토닉스 연구의 한계를 넘어서는 새로운 가능성을 제시하고 있습니다.

현재까지는 Integrated Gradients나 cVAE와 같은 AI 모델들이 포토닉스 디자인의 도구로 사용되어 왔습니다.

그러나 연구팀은 한 발 더 나아가, 사람의 직관에 의존하는 기존 설계 방식을 넘어 AI 에이전트에게 광회로 설계의 전반적인 과정을 맡기는 방안을 모색하고 있습니다. 연구자들은 자신들이 개발한 Integrated Gradients와 cVAE 같은 프레임워크를 AI 에이전트에게 도구로 제공하고, 에이전트가 이 도구들을 활용하여 스스로 광회로를 만들어보도록 지시하는 방식에 큰 흥미를 느끼고 있습니다.

이는 AI가 단순히 디자인을 생성하는 것을 넘어, 복잡한 설계 문제에 대한 해결책을 스스로 찾아내는 자율적인 에이전트 역할을 수행할 수 있음을 시사합니다. AI 에이전트 기반의 광 집적회로 설계는 미래 포토닉스 기술 발전에 혁신적인 전환점이 될 것으로 기대됩니다.