AI 시대, 엔지니어 평가 기준 재정의

단순한 챗봇을 넘어 업무를 직접 수행하는 에이전트로 진화하면서, 에이전트의 효과적인 활용 여부가 소프트웨어 엔지니어의 경쟁력을 결정하는 중요한 요소로 부상했다.

브라우저에서 ChatGPT를 사용하는 것과 컴퓨터 상에서 에이전트로서 사용하는 것에는 질적인 차이가 존재한다.

브라우저는 단순히 모델과 대화하는 창구에 불과하지만, 컴퓨터 기반 에이전트는 사용자를 대신해 직접 작업을 수행하며 정보 통합 및 행동 실행 능력을 기하급수적으로 확장한다.

코드를 작성하는 것은 쉬워졌으나, 2시간 만에 완성된 앱이 올바르게 작동하는지 검증하고 운영 환경의 안정성을 확보하는 능력이 중요해졌다.

채용 면접 중 코딩 테스트에서 한 지원자는 25분간 주어진 시간 동안 단 한 줄의 코드도 작성하지 못했다.

그는 자신이 사용하는 에이전트, 에이전트 무리, 에이전트를 검증하는 에이전트 등을 오케스트레이션하는 도구의 정교함을 설명하는 데 몰두했으며, 결과적으로 아무것도 만들어내지 못했다.

면접에서 기대하는 것은 기술 도구의 복잡성 과시가 아니라, 실질적인 가치를 창출하는 능력이다.

AI 인재를 평가할 때 새로운 기술 도구에만 현혹되어 실질적인 결과물을 만들어내지 못하는 '반짝이는 장난감 증후군'을 경계해야 한다.

미래 지향적인 인재를 원하면서도 기술 편향에 빠지지 않도록, AI 도구의 숙련도와 더불어 지혜를 통해 가치 있는 결과물을 도출할 수 있는 직관을 채용 시 파악하는 것이 중요하다.

AI가 모든 것을 대체할 것이라는 인식 속에서 'AI가 할 수 없는 한 가지가 인간의 판단'이라는 대화는 종종 깊이 있는 논의를 가로막는다.

이러한 관점은 인간의 판단력이 중요한 것은 맞지만, 그것이 단순한 결론이 아니라 더 많은 질문과 탐색의 시작점이라는 사실을 간과한다.

어떤 분야에서 뛰어난 판단력을 보이는 사람도 다른 분야에서는 형편없는 판단을 내릴 수 있다.

반복적인 경험을 통해 'X가 발생하면 Y가 일어난다'는 직관이 형성되지만, 경험 없는 성급한 판단은 전문가의 직관과는 다르다.

AI를 활용하여 이력서에 기재된 내용을 비판적으로 검토하고 검증할 수 있다.

예를 들어, GPT에 이력서의 모든 줄을 검토하도록 지시하여 해당 회사가 실제로 존재하는지 검색하고, 경력이 부풀려졌을 가능성을 보여주는 반증을 확인할 수 있다.

AI 시대 이전에는 특정 코드 동작이나 소프트웨어 기능에 대한 사람들의 기억력을 테스트하는 경향이 강했다.

AI 시대에는 더 이상 리스트 컴프리헨션 등을 직접 작성하지 않기 때문에, 채용 평가 방식이 정해진 답을 요구하는 질문보다는 AI 활용 능력과 관련된 위임, 프롬프트 작성, 검증 등 세 가지 주제를 탐구하는 개방적이고 대화 형식의 질문으로 전환되었다.

이러한 변화는 지원자가 처음부터 설계하는 과정에서 어떤 언어를 선택하고 AI를 어떻게 활용하는지 파악하는 데 중점을 둔다.

과제형 테스트가 AI 시대에 효용을 잃었다는 주장은 사실과 다르다.

과제 테스트는 AI만 사용했을 때보다 사람이 개입했을 때 결과가 더 나쁜 경우를 걸러내는 중요한 신호로 작용한다.

제출물에 대한 세부 이해도 테스트를 통해 지원자가 실제로 얼마나 이해하고 있는지 확인하여 대리 코딩과 같은 편법 여부를 가늠할 수 있다.

따라서 과제 테스트는 AI 시대에도 인간의 개입 능력과 문제 해결 능력을 평가하는 유효한 지표가 된다.

AI 에이전트에 채용 결정을 맡기면 사소한 실수까지도 지나치게 엄격하게 처벌하는 경향을 보인다.

채용 담당자는 실수의 맥락과 반복 여부에 따라 판단을 유연하게 조정해야 하므로, AI는 결정을 내리는 보조 도구로 활용하되 최종 판단은 사람이 직접 내려야 한다.

AI 시대에도 팀 적합성과 팀 협업은 여전히 중요하다.

G2i의 경험에 따르면, 협업 방식, 경청 능력, 주도성, 그리고 신뢰 구축과 같은 인간적인 요소들은 AI의 등장에도 변하지 않는 핵심 가치이다.

AI 도입으로 인한 조직 변화 측면에서는 다소 보수적인 입장을 취해야 한다.

메타의 사례에서 보듯 팀을 근본적으로 재구성하여 알 수 없는 퇴행을 일으키기보다는, 기존 팀의 생산성을 도구로 높이는 편이 더 효율적이다.

빠른 기술 혁신 속도로 인해 해당 역할이 공백을 빠르게 메우면서 결국 사라졌다.

이는 새로운 AI 관련 직업군이 빠르게 부상했다가 사라질 수 있음을 보여주는 사례이다.

채용 관리자는 각 팀에서 '능숙한 AI 활용'이 구체적으로 어떤 모습인지 먼저 파악해야 한다.

레거시 코드, 현대적 코드베이스, 규제 산업 등 분야별 차이를 이해하고, AI 활용 성향을 실제 경험을 바탕으로 평가하는 것이 중요하다.

AI 사용 초기 의심 수준은 사람마다 다르지만, 성공과 실패를 겪으며 신뢰의 진폭이 발생한다.

결국 사용자는 'AI는 어떤 상황에서는 좋지만, 다른 상황에서는 나쁘다'는 지점으로 수렴하며 AI의 적절한 활용 범위를 인지하게 된다.