시가총액 3조 달러를 돌파하며 세계에서 가장 가치 있는 기업으로 올라선 엔비디아의 창업자 젠슨 황(Jensen Huang)은 2024년 스탠퍼드 경영대 강연에서 "기대치를 낮추고 엄청난 고통과 시련을 겪길 바란다"는 역설적인 성공 비결을 밝혔습니다. 중간 관리자 없이 50여 명의 임원이 CEO에게 직접 보고하는 극단적인 '수평 조직'을 운영하며, 2006년부터 10년 넘게 매년 5억 달러의 적자를 내던 병렬 컴퓨팅 플랫폼 '쿠다(CUDA)'를 뚝심 있게 밀어붙여 AI 시대의 절대 권력을 완성했습니다.
검은 가죽 재킷을 입고 무대에 서는 엔비디아의 수장 젠슨 황은 오늘날 전 세계 테크 산업에서 가장 강력한 영향력을 행사하는 리더입니다. 하지만 많은 사람들은 그가 그래픽카드(GPU) 회사로 시작해 어떻게 하루아침에 AI 시대의 심장이 되었는지에 대해 '운이 좋았을 뿐'이라고 오해하곤 합니다. [출처 : 스탠퍼드 경영대학원 2024 초청강연 및 엔비디아 실적 발표] 0조 원짜리 시장을 15년 동안 인내하며 기다린 1원칙 사고와, 실리콘밸리에서 가장 파격적인 50명 직보 수평 조직의 실체를 심층 분석합니다.
1. "고통과 시련을 겪어라": 스탠퍼드 강연이 던진 충격
2024년 초 젠슨 황은 모교인 스탠퍼드 대학 강연에서 성공을 꿈꾸는 학생들에게 뜻밖의 조언을 건넸습니다. "엘리트 학교 출신의 가장 큰 약점은 '높은 기대치'입니다. 기대가 높을수록 작은 좌절에도 회복 탄력성을 잃기 쉽습니다. 성공이란 지능이 아니라 인내심에서 오며, 인내는 고통을 견디는 과정에서만 길러집니다. 그래서 나는 여러분이 충분한 고통과 시련을 겪기를 진심으로 바랍니다."
이 발언은 젠슨 황 자신의 삶에서 우러나온 철학이었습니다. 9세 때 미국으로 이주해 인종차별과 따돌림을 겪고, 청소년기 데니스(Denny's) 레스토랑에서 접시를 닦고 화장실을 청소했던 밑바닥 경험이 그에게 '상황을 불평하지 않고 묵묵히 버텨내는 근성'을 심어주었기 때문입니다.
2. 직보 50명의 수평 조직: 정보의 독점을 파괴하다
엔비디아의 사내 조직도는 실리콘밸리에서도 가장 특이한 구조로 꼽힙니다. 보통 수만 명 규모의 대기업 CEO는 5~10명 내외의 직속 부사장에게만 보고를 받지만, 젠슨 황은 무려 50명 이상의 임원들로부터 다이렉트로 보고를 받습니다.
이유는 명확합니다. 계층형 관료주의가 생기면 중간 관리자들이 정보를 왜곡하고 권력화하기 때문입니다. 젠슨 황은 1대 1 면담을 거의 하지 않습니다. 모든 회의는 공개적으로 진행되며, 말단 엔지니어라도 현장의 가장 정확한 데이터를 가진 사람이라면 CEO와 같은 테이블에서 치열하게 토론합니다.
또한 엔비디아의 전 직원은 매주 자신이 집중하고 있는 '가장 중요한 5가지 일(Top 5 Priorities)'을 이메일로 작성합니다. 이 메일들은 사내에 투명하게 공유되며, 젠슨 황은 매일 밤 수백 통의 현장 메일을 직접 읽으며 회사가 직면한 실질적인 문제들을 실시간으로 파악합니다.
3. 쿠다(CUDA)의 도박: 0조원짜리 시장을 10년 넘게 기다린 뚝심
오늘날 엔비디아가 생성형 AI 혁명에서 전 세계 시장의 90% 이상을 독점할 수 있는 비결은 하드웨어가 아니라 소프트웨어 플랫폼 '쿠다(CUDA)'에 있습니다. 2006년 젠슨 황은 GPU를 그래픽 처리뿐만 아니라 일반 연산에도 쓸 수 있게 만드는 쿠다를 공개했습니다.
당시 게임용 그래픽카드만 팔리던 시절에 쿠다는 막대한 칩 면적을 차지하고 제조 원가를 올리는 골칫덩어리였습니다. 월가 분석가들은 "왜 수요도 없는 기술에 수억 달러씩 쏟아붓느냐"며 비난을 퍼부었고, 주가는 연일 폭락했습니다. 하지만 젠슨 황은 연구원들이 쿠다를 무료로 쓸 수 있도록 전 세계 대학과 연구소에 뿌리며 15년 동안 매년 수천억 원의 적자를 묵묵히 버텨냈습니다.
마침내 2012년 딥러닝 혁명이 터지고, 2022년 챗GPT가 등장했을 때 전 세계 모든 AI 연구자들은 이미 쿠다에 완벽히 락인(Lock-in)되어 있었습니다. 경쟁사들이 뒤늦게 칩을 흉내 내더라도, 15년간 쌓아 올린 쿠다 소프트웨어 생태계를 넘을 수 없었던 것입니다. 존재하지 않던 시장을 스스로 창조해 낸 1원칙 사고의 궁극적 승리였습니다.
젠슨 황에게 배우는 3대 성공 비결과 철학
1. 실패에 무너지지 않는 '낮은 기대치'의 미학
성공을 당연시하지 않고 시련과 고통을 배움의 필수 과정으로 받아들일 때, 비로소 장기적인 위기 앞에서도 꺾이지 않는 회복 탄력성이 완성됩니다.
2. 관료주의를 박살 내는 정보의 투명성
조직이 커질수록 계급장을 떼고 사실(Data) 중심의 수평적 소통을 유지해야 민첩한 의사결정이 가능합니다.
3. 10년 뒤 올 거대한 물결에 배를 띄워라
남들이 당장의 유행에 휩쓸릴 때, 물리학과 기술의 본질(1원칙)에 기반해 미래에 반드시 필요할 인프라를 10년 먼저 구축하고 기다리는 자가 세상을 지배합니다.
자주 묻는 질문 (FAQ)
Q1. 젠슨 황이 스탠퍼드에서 '고통을 겪으라'고 말한 핵심 이유는 무엇인가요?
높은 기대치에 취해 있는 엘리트들이 작은 실패에도 쉽게 무너지는 것을 경계하며, 위대한 성취는 오직 고난을 묵묵히 버텨내는 회복 탄력성과 인내심에서 탄생한다는 점을 일깨워주기 위함이었습니다.
Q2. 엔비디아의 '쿠다(CUDA)'가 경쟁사들이 넘기 힘든 해자가 된 이유는 무엇인가요?
2006년부터 15년 넘게 전 세계 AI 연구진과 개발자들이 쿠다 소프트웨어 기반으로 알고리즘을 개발해 왔기 때문에, 칩 하드웨어 성능만으로는 대체하기 힘든 거대한 생태계 독점력을 확보했기 때문입니다.
Q3. 젠슨 황이 50명의 임원에게 직접 보고를 받는 수평 조직을 고집하는 이유는 무엇인가요?
중간 관리자 계층으로 인해 정보가 왜곡되거나 권력화되는 것을 막고, 최고경영자가 현장의 핵심 데이터를 투명하고 실시간으로 파악하여 가장 빠른 결정을 내리기 위함입니다.
관련 글
젠슨 황이 세가(Sega)와의 계약 파기와 파산 위기 속에서 겸허히 실수를 인정하고 회사를 구했던 드라마틱한 초기 이야기는 엔비디아 CEO 젠슨 황 파산 위기에서 AI 제국으로에서 만나보실 수 있습니다. 또한 1원칙 사고와 극단적인 효율성으로 우주와 전기차 혁명을 이끄는 또 다른 거인의 이야기는 일론 머스크의 5분 단위 시간 관리법에서 확인하실 수 있으며, 경쟁자가 없는 독점적 시장을 창조하는 기술 철학은 피터 틸의 '제로 투 원' 성공 철학에서도 깊은 통찰을 선사합니다.
참고 자료 및 출처(Sources)
- Stanford Graduate School of Business View From The Top with Jensen Huang (March 2024)
- NVIDIA Corporation Annual Reports & GTC Keynotes (2006–2025)
- Jensen Huang — Britannica Money Biography
