수학이나 코드 같은 분야에서 인공지능(AI) 모델들이 최고 전문가 수준에 가까워지면서 많은 진전을 보였습니다. 제 주관적인 과제에선 진전이 덜했습니다. 하지만 그것이 아주 일시적인 장애라고 생각합니다. 저는 기하급수적인 발전 추세를 예상합니다. 어떤 것이 6개월마다 두 배가 된다면 그 일이 일어나기 2년 전에는 전체 과정의 16분의 1밖에 진행되지 않은 것처럼 보일 겁니다.-지난달 유튜브 채널 'Alex Kantrowitz'에서 다리오 아모데이 ?다리오 아모데이는 누구
국민은행집담보대출 Dario Amodei at TechCrunch Disrupt in 2023. Image: Flickr. CC 2.0
AI 기업 앤스로픽의 공동 창업자이자 최고경영자(CEO). 1983년 미국 샌프란시스코에서 태어나 캘리포니아 공과대학교를 거쳐 스탠퍼드대학교에서 물리학 학사 친애저축은행 채용 , 프린스턴대학교에서 박사(전기생리학·신경회로 연구) 학위를 받았다. 스탠퍼드 의대에선 박사후연구원으로 일했다. AI 연구는 2014년 바이두에서 시작했다. 이후 구글을 거쳐 2016년 오픈AI에 합류했다. 연구 부서장으로 GPT-2, GPT-3 등 대규모언어모델(LLM) 개발을 주도했다. 2021년 오픈AI를 퇴사하고 동생 다니엘라 아모 신한카드연체금 데이 등과 앤스로픽을 창업했다. ?다리오?아모데이가 하고 싶은 얘기는 AI의 발전 속도가 선형적이지 않고 기하급수적이라는?주장이다. 예를 들어 어떤 능력치가 6개월마다 2배씩 성장한다고 가정해 보자. 목표(100%)에 도달하기 2년 전(24개월 전) 시점의 능력치는 얼마일까. 역산해 보면 목표 시점의 1/2 (6개월 전) 한국장학재단 국가장학금 →1/4(12개월 전) → 1/8 (18개월 전) → 1/16 (24개월 전)이 된다. 2년 전에는 목표치의 16분 1, 즉 약 6% 수준에 불과하기 때문에 사람들은 "아직 갈 길이 멀다"고 생각하고, 그런 변화를 과소평가하기 쉽다. 아모데이는 우리는 현재 AI 발전 곡선의 초입(1/16 지점 근처)에 있기 때문에 그 속도를 체감하지 못 소속회사 한다고 주장한다. 실제로는 예상치 못한 짧은 시간 안에 엄청난 도약이 일어날 것이라는 예측이다. 아모데이가 주장한 'AI의 기하급수적 발전'은 지난 몇 년간의 AI 발전 궤와 비슷하다. 오픈AI의 LLM인 'GPT 시리즈'를 보자. 2019년 오픈AI의 'GPT-2'에서 2020년 'GPT-3' 그리고 2023년 'GPT-4'로 발전은 단순히 성능이 조금 개선된 수준이 아니었다. 질적으로 다른 차원의 능력을 보여줬다. 이미지 생성 AI인 '미드저니' 역시 1년 만에 버전 1에서 버전 5로 넘어가며 보여준 발전 속도는 기하급수적이라고 표현할 수 있다.
컴퓨테이셔널 신경과학 박사인 데이터 과학자 베로니카 삼보르스카가 지난 1월 내놓은 보고서 '스케일업: 입력량 증가가 AI의 능력을 향상한 방법'에 따르면 2010년 이후 최신 AI 모델을 학습시키기 위해 돌린 ‘계산 일(컴퓨팅)’이 6개월마다 두 배씩 불어났다. 그 결과 10여 년 만에 관련 투입 재원은 10억배 규모로 급증했다. 비영리 연구 단체인 METR(Model Evaluation and Threat Research·모델 평가 및 위협 연구)이 지난 3월에 내놓은 'AI의 장기 과제 수행 능력 측정' 논문에선 AI가 ‘지속적 집중과 복잡한 의사결정’을 요구하는 업무에서 버틸 수 있는 작업 시간 한계가 7개월마다 두 배로 길어지고 있다는 분석이 나왔다. 아모데이가 주장한 '기하급수적 발전'을 어느 정도 뒷받침하는 내용이다. 하지만 AI의 발전 속도도 한계가 있다는 지적도 나온다. 대부분의 기술 발전은 'S-커브' 형태를 따른다. 초기에는 발전이 더디다가 급격한 성장기를 거친다. 하지만 결국 기술·물리적 한계에 부딪혀 성장세가 둔화하고 정체기에 접어든다. 현재 우리가 경험하는 AI의 폭발적인 성장은 S-커브의 '급성장' 구간일 뿐이다.
현재의 AI 모델 개발 방식인 '트랜스포머' 아키텍처 기반의 스케일링 방식이 한계에 도달할 수 있다. 트랜스포머 방식을 뛰어넘는 AI 개발 혁신이 나타나기 전까지 긴 정체기가 올 수 있다는 전망이 나오는 이유다. 그래서 일각에선 아모데이의 '기하급수적 성장'이라는 말은 투자를 유치하고 대중의 기대를 부풀리는 데 효과적인 마케팅 용어에 가깝다는 지적도 있다. AI 학습에 필수인 '데이터의 종말' 얘기도 나온다. AI를 훈련할 고품질의 데이터는 유한하다. 인류가 인터넷에 쌓아온 대부분의 정보는 기존 AI 모델의 훈련으로 이미 소진됐다는 지적이다. 대안으로 AI가 스스로 만든 '합성 데이터'가 있다. 하지만 해당 데이터로 훈련하는 것은 '근친교배'와 비슷하다. 현실과 동떨어진 결과물을 낳거나 기존의 잘못된 편향을 증폭시키는 '모델 붕괴' 현상을 야기할 수도 있다.
에너지와 비용 장벽도 있다. 최신 AI 모델 하나를 훈련하고 운영하는 데 필요한 수천억원의 비용과 막대한 전력 소모는 지속 불가능하다. 이런 비용 문제는 전력망과 반도체 생산 능력, 환경에 대한 부담 등 지구의 물리적 한계와 직결되는 문제이기도 하다. 무한한 AI 스케일링은 무한한 자원을 전제해야만 가능하다. 이런 현실이 존재할지 의문이다. ?
[AI 엑스파일은 글로벌 AI 산업, 학계 등의 최전선에서 AI를 고민하는 이들의 얘기를 전달합니다. 색다른 AI 이슈를 편하게 보시려면 기자 페이지를 구독해 주세요]
주소: 부산광역시 남구 분포로 111, 분포로113(용호동) LG메트로시티아파트
E-Mail: admin@emetro.kr개인정보관리책임자: LG메트로시티아파트 관리소장
Tel: 051)611-8901 Fax: 051)611-8903
Copyright(C) 2010 LG METROCITY All rights reserved.
상가이름 : 바다시즌7게임 ㎚ 6.rnt667.top ㎚ 손오공다운로드