5,000시간 AI 실전 경험에서 얻은 12가지 핵심 교훈

Tech Bridge는 5,000시간이 넘는 시간 동안 AI를 구축하는 데 매진했으며, 이를 통해 7자리 숫자의 매출을 올리는 에이전시를 만들고 40만 명 이상의 사람들을 가르쳤습니다. 또한, 자신의 모든 비즈니스를 자동화하는 데 AI를 활용했습니다. 이러한 광범위한 경험을 바탕으로, AI 자동화에 대한 심도 깊은 통찰과 핵심 교훈을 공유합니다.

현재 AI 분야에 진입하려는 사람들에게는 크게 두 가지 길이 있는 것처럼 보입니다. 첫 번째는 직접 에이전시를 시작하고 고객을 찾아 나서는 것이고, 두 번째는 현재 다니는 회사에서 AI 전문가가 되는 것입니다. 이 두 가지 경로는 각기 다른 장단점과 요구사항을 가지고 있으며, 개인의 목표와 상황에 따라 적합한 경로를 선택할 수 있습니다.

AI 분야에서 눈에 띄는 방법은 단순히 '빌드'를 수집하는 것을 멈추고 '영수증'을 수집하는 것입니다. 포트폴리오가 '나는 이것을 만들었다'고 말하는 반면, 영수증은 '이것이 비즈니스에 실제로 어떤 영향을 미쳤는가'를 보여줍니다. AI 에이전트를 구축하는 것은 마치 변호사가 법정에 서는 것과 같습니다. 변호사는 자신의 케이스를 증명해야 하며, AI 전문가 역시 자신의 작업이 비즈니스에 긍정적인 영향을 미쳤음을 명확하게 입증해야 합니다.

이러한 '영수증'은 수익 증가, 비용 절감, 효율성 향상 등 구체적인 비즈니스 성과를 수치로 보여주는 증거를 의미합니다. 단순히 기술적인 구현 능력만을 과시하는 것이 아니라, 그 기술이 실제 문제 해결에 어떻게 기여했는지를 증명함으로써 자신의 가치를 높일 수 있습니다. 따라서 AI 프로젝트를 진행할 때는 처음부터 비즈니스 임팩트를 염두에 두고 데이터를 수집하고 측정하는 것이 중요합니다.

AI 시스템을 구축할 때는 도구 불가지론적인 방식으로 설계하는 것이 중요합니다. 즉, 특정 도구에 얽매이지 않고 유연하게 대체할 수 있도록 만드는 것입니다. 완벽한 도구를 기다리거나, 현재 사용하는 도구가 대체될까 봐 스트레스를 받을 필요가 없습니다. 도구는 계속해서 발전하고 변화하므로, 어떤 도구를 사용하더라도 목표를 달성할 수 있도록 근본적인 문제 해결 능력과 시스템 설계에 집중해야 합니다.

AI를 활용할 때 중요한 질문은 'AI가 이 작업을 얼마나 수행할 수 있는가?'입니다. AI가 작업의 70%를 처리하고 나머지 30%를 사람이 처리해야 한다고 해도, 이는 엄청난 승리입니다. AI는 완벽해야만 가치가 있는 것이 아니라, 특정 작업을 상당 부분 효율화할 수 있다면 충분히 유용합니다. AI가 모든 것을 완벽하게 해내지 못하더라도, 전체 워크플로우에서 인간의 개입을 줄이고 생산성을 높이는 데 기여할 수 있는 지점을 찾아야 합니다.

5,000시간 이상의 경험을 통해 수많은 시행착오를 겪었습니다. 이 과정에서 어떤 실수들을 피해야 하는지 명확히 알게 되었습니다. 따라서 AI 시스템을 구축할 때 항상 '부정적 프롬프팅(Negative Prompt)'을 사용합니다. 이는 AI에게 '이러이러한 것은 하지 마라'고 명시적으로 지시하는 것으로, AI의 기술, 시스템, 지침, 그리고 모든 프롬프팅에 이 원칙을 적용합니다. 이러한 접근 방식은 과거의 실패 경험을 학습하여 불필요한 오류를 줄이고, AI가 더욱 정확하고 효율적으로 작동하도록 돕습니다.

컨텍스트 엔지니어링은 강력한 AI 모델 위에 자신만의 지능을 입히는 모든 과정을 의미합니다. 이는 AI에 제공하는 모든 지식, 프롬프트 방식, 지침, 기술, 그리고 주변에 구축하는 시스템을 포함합니다. 기본적으로 이는 강력한 AI 모델에 자신의 사고방식을 적용하는 방법입니다. AI 모델 자체는 단순히 지능의 원천일 뿐이며, 그 위에 얼마나 효과적으로 컨텍스트를 부여하느냐에 따라 AI의 실제 가치와 성능이 결정됩니다.

AI 모델의 맹점을 보완하기 위해 '레드팀(Red Team)' 방식의 검증을 활용합니다. 이는 다양한 AI 모델을 활용하여 자체 계획을 다각도로 공격하게 하는 것입니다. 예를 들어, 회의적인 고객, 경쟁사, 실제 시스템을 유지보수해야 하는 엔지니어 등 여러 페르소나의 관점에서 계획을 비판하도록 합니다. 각기 다른 관점은 다른 각도에서 놓쳤던 허점을 발견하는 데 도움을 줍니다.

이러한 레드팀 접근 방식은 인간의 제한적인 시야를 넘어 AI 스스로의 비판적 사고를 유도하여 잠재적인 문제점을 사전에 식별하고 개선할 수 있게 합니다. 즉, AI를 단순히 명령을 수행하는 도구가 아닌, 자체적으로 문제를 발견하고 개선 방안을 제시하는 '악마의 변호인'으로 활용하는 것입니다. 이를 통해 보다 견고하고 신뢰할 수 있는 AI 시스템을 구축할 수 있습니다.

AI가 자신의 작업을 스스로 검증하고, 특정 조건이 충족될 때까지 검증을 멈추지 않는다면 어떨까요? 그리고 결과물에 대한 확신을 가질 때까지 검증을 계속한다면 말입니다. 이렇게 되면 단 하나의 프롬프트만 보내고 기다리면, 이미 90% 또는 95% 이상 완성된 결과물을 받을 수 있습니다. 이러한 셀프 검증 루프는 AI가 작업의 정확성과 품질을 자체적으로 확보하도록 유도하여, 최종 사용자 개입을 최소화하고 효율성을 극대화합니다.

AI가 특정 리소스에 접근할 수 있다면, 그것을 사용하리라고 가정해야 합니다. 이 교훈은 어려운 방식으로 배웠습니다. 한 에이전트가 약 15만 명에게 할인 코드가 포함된 이메일을 발송했는데, 이는 당연히 해서는 안 되는 일이었습니다. AI에 권한을 부여하면 실행력이 생기지만, 이는 잠재적인 위험도 동반한다는 것을 의미합니다. 따라서 AI에 권한을 부여할 때는 매우 신중해야 하며, 예상치 못한 행동을 방지하기 위한 안전 장치를 반드시 마련해야 합니다.

AI의 안전성을 확보하기 위해 '스코프드(Scoped) API 키'와 같은 방법을 사용해야 합니다. 이는 물리적으로 특정 수의 문만 열 수 있는 열쇠와 같습니다. 예를 들어, 에이전트에게 이메일을 초안 작성할 수는 있지만 절대로 전송할 수는 없는 키를 부여할 수 있습니다. 이렇게 하면 AI가 자신의 역할 범위를 벗어나지 않도록 제어할 수 있습니다.

이러한 접근 방식은 에이전트가 가진 권한을 최소화하여 오작동이나 의도치 않은 결과를 초래할 위험을 줄입니다. 각 에이전트가 수행해야 하는 특정 작업에 필요한 최소한의 권한만을 부여함으로써, 시스템 전체의 보안과 안정성을 강화할 수 있습니다. 이는 AI 에이전트가 더욱 안전하고 예측 가능한 방식으로 작동하도록 만드는 필수적인 단계입니다.

AI의 성능을 객관적으로 평가하기 위해 '골든 데이터셋(Golden Data Set)'을 활용합니다. 우리는 수동으로 작성되었으며 정확하다고 확신하는 500개의 실제 인간 응답 사례를 수집했습니다. 이것이 우리의 '진실의 원천'이자 골든 데이터셋이 되었습니다. 이 데이터셋을 통해 에이전트가 성공의 기대를 얼마나 자주 충족시켰는지 점수를 매길 수 있었습니다. 이는 AI가 실제 비즈니스 요구사항을 얼마나 잘 충족하는지 정확하게 측정하고 개선하는 데 필수적인 방법입니다.

비즈니스 파이프라인에는 병목 현상(clog)이나 누수(leak)가 발생할 수 있습니다. 병목은 중간 단계에서 모든 것을 지연시키는 것이고, 누수는 돈이 옆으로 빠져나가는 것을 의미합니다. 이해관계자가 보통 요구하는 것은 실제 제약 조건이 아닌 경우가 많습니다. 진정한 문제는 그들이 요구하는 것 이면에 숨겨져 있습니다. 따라서 고객의 표면적인 요구사항에만 집중하기보다는, 비즈니스 파이프라인 전체를 분석하여 실제 병목 현상이나 비용 누수가 발생하는 지점을 찾아내는 것이 중요합니다.

무언가를 만들기 전에 단순히 주문만 받아서 실행하는 것을 지양해야 합니다. 전체 과정을 살펴보며 정체 구간과 돈이 새는 곳을 찾아 어디에서 시간과 비용이 가장 많이 낭비되는지 질문해야 합니다. 이러한 관점으로 접근하면 이해관계자들이 여러분을 단순히 요청받은 것만 만드는 사람이 아니라, 비즈니스의 성장과 수익을 고민하는 컨설턴트로 인식하게 됩니다. 이는 AI 전문가가 단순한 기술 제공자를 넘어 전략적 파트너로 자리매김하는 데 필수적인 태도입니다.

모든 프로젝트에는 목표를 향해 나아가는 단 하나의 지표인 '북극성(North Star)'이 필요합니다. AI 프로젝트는 단순히 시간을 절약하거나 비용을 절감하는 경우가 많아 그 효과가 모호할 때가 많은데, 이때 목표 지표를 설정하는 것이 여러분의 역할입니다. 예를 들어 '2개월 내에 주당 리드 수를 5개에서 15개로 늘리는 것'과 같이 구체적인 성공 기준을 제시하면, 프로젝트의 결승선이 분명해지고 실질적인 성과를 증명할 수 있습니다.

북극성 지표는 팀 전체가 하나의 방향으로 나아가게 하는 구심점 역할을 하며, AI 도입의 실질적인 가치를 측정 가능하게 만듭니다. 단순히 AI를 사용했다는 사실만으로는 충분하지 않으며, AI가 비즈니스 핵심 지표에 어떤 긍정적인 변화를 가져왔는지 명확히 보여줄 수 있어야 합니다. 이는 AI 프로젝트의 성공을 입증하고 향후 투자와 확장을 정당화하는 데 결정적인 역할을 합니다.

AI 모델은 사용량에 따라 비용이 발생하는데, 많은 사람이 모든 과정에 가장 크고 똑똑하며 비싼 모델만 사용하려 합니다. 스마트한 방법은 작업의 특성에 맞게 모델을 배분하는 '모델 라우팅'입니다. 단순한 데이터 요약은 빠르고 저렴한 모델을 쓰고, 복잡한 전략적 의사결정이 필요한 마지막 단계에서만 고성능 모델을 사용하세요. 이렇게 하면 결과물의 품질은 유지하면서 비용을 10배 이상 줄일 수 있습니다.

예를 들어, 초기 정보 수집이나 간단한 분류 작업에는 저렴한 경량 모델을 사용하고, 복잡한 분석이나 창의적인 콘텐츠 생성과 같은 고차원적인 작업에만 프리미엄 모델을 할당하는 방식입니다. 이러한 전략적 모델 선택과 배분은 AI 운영 비용을 효율적으로 관리하면서도 필요한 성능을 확보할 수 있게 합니다. 이는 AI 도입의 경제성을 높이는 핵심적인 노하우입니다.

많은 이들이 학위나 직함을 얻어야 일을 할 수 있다고 생각하지만, 사실 순서는 반대입니다. AI 관련 직무를 맡게 된 사람들을 보면 이미 역할이 생기기 전부터 스스로 관련 업무를 하고 있었습니다. 회사에서 귀찮고 반복적인 일을 골라 자동화하고 그 영향력을 동료와 상사에게 보여주세요. 처음부터 전문가일 필요는 없습니다. 그저 남들보다 조금 더 실험하고 실무에 AI 프로젝트를 도입하는 것만으로도 여러분은 조직 내의 'AI 담당자'로 인식될 것입니다.