인공지능(AI) 개발은 정체기에 도달했나? / Has artificial intelligence (AI) development reached a plateau?

생성 AI가 인간의 역량을 축소하는 방향으로 작동하고 있다. 인간은 며칠 동안 생각하다가 나름대로 정리해서 글을 쓰고 PPT도 만든다. 지금은 ‘완전 자동’ 방식으로 AI에게 일을 시킬 수 있게 되었다. 그런데 AI가 예컨대 글쓰기를 대신 해주게 된다면 ‘나’의 ‘역량’은 정체되거나 심지어 퇴화하게 된다.
또한 AI 성능 정체기 도달 여부는 현재 업계 내에서 주요 논쟁 주제 중 하나로 떠오르고 있다. AI 모델에 새로운 고품질 데이터를 공급하는 데 있어 병목 현상이 발생하고 있다
AI 챗봇 훈련에 필요한 언어 데이터셋 크기는 매년 약 50%씩 증가했다. 이대로 AI 챗봇이 꾸준히 발전하려면 새 언어 데이터량을 매해 50% 이상 늘려야 한다. 그러나 훈련을 위해 사람이 만든 데이터 규모 증가율은 7%에 그치고 있다.
이 속도로는 챗GPT 같은 모델을 훈련시키는 데 사용되는 품질 높은 언어 데이터가 2026년에 고갈될 것으로 보여 언어 관련한 AI 기술 발전이 정체될 수 있다. 반면 달리-2, 미드저니와 같은 이미지 생성AI에 필요한 이미지 데이터 고갈 확률은 낮아 보인다.
지난 몇 년간 생성형 AI는 창의성과 혁신을 약속하며 사람들의 상상력을 사로잡고 투자를 이끌어냈다. 하지만 2024년에 접어들면서 눈에 띄는 변화가 일어나고 있다. 한때 치솟았던 생성형 AI에 대한 기대감이 정체되면서 투자자들은 재평가에 나섰다.
2023년 말, 하버드 비즈니스 리뷰(Harvard Business Review)는 생성형 AI가 “쇠퇴하고 있을지도 모른다”는 주목할 만한 관측을 내놓았다.
벤처 지원을 받는 생성형 AI 스타트업(오픈AI, 앤트로픽 등)에 대한 투자는 매우 비싸졌다. 이로 인해 투자자들이 업계 진출을 다각화하려고 하는 정체기가 나타났다.
오픈AI의 차세대 주력 모델인 'GPT-5'인 '오라이온' 프로젝트에서 잇따라 문제에 부딪히면서 출시가 계속 지연되고 있다. 새 모델 출시를 위해 사전훈련을 두 번이나 진행했다.
오픈AI는 18개월 이상 새로운 모델 개발에 매달렸지만, GPT-4에 비해 기대했던 만큼의 성능 발전을 이루지는 못했다. GPT-5라는 이름을 붙일 만한 분위기가 좋지 않다.
추론 모델을 통합하려는 노력에도 불구하고, 전반적인 발전 속도는 예상보다 느려 인공지능(AI) 개발이 정체기에 접어들었다는 우려를 낳고 있다.
GPT 모델 개선 속도 둔화에 따라 오픈AI가 전략을 변경, 사전 훈련으로 모델 성능을 대폭 끌어올리는 것보다 사후 강화학습이나 추론 기능 강화에 초점을 맞춘다는 내용이다. 이 소식 이후로 대형언어모델(LLM)의 '스케일링 법칙'이 한계에 달했다는 것이 정설로 굳어졌다.
오픈AI가 그동안 최소 2번이나 사전 훈련을 반복 진행했다. 각 사전 훈련은 약 6개월이 걸렸다. 훈련 비용은 각각 5억달러(약 7250억원)에 달했다.
이전 모델보다 성능이 향상됐다. 그러나 총 10억달러(약 1조4500억원)를 투입한 것에 비해 거둔 성과는 적다.
오픈AI는 2023년 3월 GPT-4를 출시하고, 2023년말부터 GPT-5 훈련을 시작했다. 이어 8월 중 GPT-5가 출시될 것이라는 예측이 등장했다. 얼마 전에는 12월 중 오라이온을 선보일 것이라는 보도도 나왔다. 결국 상반기에 훈련한 모델에 이어 하반기에 훈련한 모델 두개가 모두 기대에 못 미쳤다.
훈련 과정에 갖가지 방법을 모두 동원했다는 내용도 추가로 밝혀졌다. 이 역시 이전 소식과 흡사하다. 다만, 40여일 전보다 좀 더 자세한 내용이 등장했다.
오픈AI는 지난 1년간 20곳이 넘는 대형 글로벌 미디어와의 계약을 통해 고품질 데이터를 확보했다. 하지만 이를 통해서도 사전훈련 성과가 뚜렷하게 드러나지 않자, 코드를 작성하거나 수학 문제를 풀어서 새로운 데이터를 만드는 사람들을 고용했고 'o1'에서 만든 합성 데이터도 사용했다.
또 오픈AI 내부에서는 슈퍼컴퓨팅 인프라가 부족한 것으로 이유로 든다는 말이 나왔다. 얼마 전 스타트업 크루소 및 오라클과의 협력으로 엔비디아 '블랙웰' 5만장을 투입한 세계 최대 규모의 데이터센터 구축에 나선 것과 브로드컴-TSMC와의 파트너십으로 자체 AI 칩을 개발 중이라는 말이 나왔다. 모두 이런 노력을 대변한다.
당장 대규모 데이터센터를 구축한다고 해도, 모델의 사전 훈련을 반복하려면 최소 6개월이 걸린다. 미국 텍사스에 건설 중인 새로운 데이터센터는 내년 상반기 완공이 목표다.
오픈AI가 사전훈련을 마친 두번째 모델을 또 폐기하고 엄청난 비용을 들여 새 모델 구축에 나설지, 아니면 사후훈련을 더 강화해 적당한 수준에서 출시할지는 알려지지 않았다.
한편, 구글도 이런 성능 문제로 비슷한 고민을 겪었다. 그러나 구글은 12월 11일 '제미나이 2.0' 출시를 강행했다. 인공일반지능(AGI) 성능을 달성했다는 말 대신, "AI 에이전트에 최적화된 모델"에 초점을 맞췄다. 오픈AI도 내년 1월 '오퍼레이터'라는 에이전트를 발표한다는 보도도 등장했다.
그러나 차세대 AI 개발은 에이전트와 추론 중심으로 변할 수 있다. 특히 AI 에이전트에 대해서도 오랜 기간 연구해 왔다. AI가 에이전트와 추론 능력을 동시에 갖추면 더 깊은 이해력은 물론, 자의식(self-aware)까지 갖게 될 수 있다.
이는 추론 향상으로 인해 아무도 예측하지 못한 AI 발전 상황이 벌어진다는 것이다. 현재 AI는 학습한 것에 따라 패턴을 찾아내는 수준이지만, 추론을 동원하면 사람과 같이 생각하는 방식으로 문제를 단계별로 해결할 수 있어 상상을 초월하는 발전이 가능하다고 예측을 한다.
시스템이 더 많이 추론할수록 인간이 이를 예측하는 것은 불가능해진다. 진정한 추론 시스템이 작동하면 아무도 AI가 어떻게 될지 예측할 수 없다.
추론이 데이터 부족을 해결하는 방법이다. 즉, 인류의 진화가 유인원의 두뇌에서 다른 포유류와는 다른 확장 패턴을 보인 것처럼, AI도 현재 사전 훈련 방식을 넘어 새로운 확장 방식을 통해 급속한 발전을 이룰 수 있다는 것이다. 그리고 그 핵심을 추론으로 본다.
Generative AI is working in a way that reduces human capabilities. Humans think for a few days and then organize things in their own way to write and create PPTs. Now, it is possible to have AI work in a ‘fully automatic’ manner. However, if AI were to do writing for me, for example, my ‘competence’ would stagnate or even deteriorate.
Additionally, whether AI performance has reached a plateau is currently emerging as one of the major topics of debate within the industry. There is a bottleneck in feeding new, high-quality data to AI models.
The size of language datasets required for AI chatbot training has increased by about 50% every year. In order for AI chatbots to continue to develop like this, the amount of new language data must be increased by more than 50% every year. However, the growth rate of human-generated data for training is only 7%.
At this rate, the high-quality language data used to train models like ChatGPT will likely run out by 2026, which could stall progress in language-related AI technology. On the other hand, the probability of image data depletion required for image generation AI such as Dali-2 and Midjourney seems low.
Over the past few years, generative AI has captured people's imagination and attracted investment with its promise of creativity and innovation. However, as we enter 2024, a noticeable change is occurring. As expectations for generative AI, which once soared, have stagnated, investors have begun to re-evaluate.
In late 2023, Harvard Business Review made the notable observation that generative AI “may be in decline.”
Investing in venture-backed generative AI startups (OpenAI, Antropic, etc.) has become very expensive. This led to a stagnation period in which investors sought to diversify their entry into the industry.
The 'Orion' project, OpenAI's next-generation flagship model 'GPT-5', has encountered successive problems and its release continues to be delayed. To launch the new model, preliminary training was conducted twice.

[@GabeMilagros]

분석해 주셔서 감사합니다! 조언이 필요합니다: SafePal 지갑에 USDT가 있으며, 복구 문구를 가지고 있습니다. (alarm fetch churn bridge exercise tape speak race clerk couch crater letter). 이들을 Binance로 옮기는 방법을 설명해 주실 수 있나요?

[@매일사랑]

죄송합니다. 저는 귀하께서 기대하는 일에 대해 전문가가 아닙니다.