[기술 라이브] OpenAI 사태의 본질 | Q* 알고리즘 | 강화학습
HTML-код
- Опубликовано: 23 сен 2024
- [무료] 코테용 C++ 핵심 정리👉 honglab.co.kr/...
[홍정모의 자료구조 압축코스] honglab.co.kr/...
[홍정모의 그래픽스 새싹코스] honglab.co.kr/...
[홍정모의 파이썬 추월코스] honglab.co.kr/...
[홍정모 연구소 가입하기- 만족도 99% 실제 수강생 후기] cafe.naver.com...
[홍정모의 따라하며 배우는 C언어] www.inflearn.c...
[홍정모의 따라하며 배우는 C++ (모던 C++)] www.inflearn.c...
#인공지능 #openai #블랙프라이데이
![우리가 항상 불안한 이유 f.이광민 마인드랩공간 정신건강의학과 원장 [신과대화]](/img/1.gif)
저도 agi에 관심이많고 핫한 이슈거리죠.
근데 진짜 상당히 어려운 기술작업이라고 생각합니다.
알파고같은경우는 알고리즘을 어떻게든 만들어낼수가있습니다. 왜냐하면 제한된 시뮬레이션 학습환경이라서 변수가 전혀없고 상태가 똑같거든요. 문제는 경우의수가 무한대급이죠.
그렇게 한다고해도 이런 제한된환경에서 강화학습을 만드는것조차 왠만한 일반인은 절대하지못합니다. 아주좋은 환경인데도 불구해도요. 바둑룰을 정의하는 함수부터 이미 엄청어렵죠.
그리고 알파고다음으로 구글에서 어느정도 성과가있는것중 스타크래프트2관련 강화학습이겠죠. 근데 이것도 어떻게보면 머리에 생각한걸 코딩으로 옮기는과정이 정말 엄청 어려울뿐이지 어찌보면 바둑보다 더쉽습니다. 일단 바둑은 중간보상이 조금 어렵습니다. 인간도 정확히 뭐가좋고 나쁜지를 모르거든요. 근데 스타2는 중간보상까지 얻는구조가 가능합니다. 각 에이전트별 거리데이터만해도 가능하죠. 게임이끝나기전에 어떠한행동으로 내유닛이 죽었다면 그것도 중간보상으로 할수도있겠죠. 건물이파괴된것도요. 물론 중간보상은 안좋은결과도 나타낼수있지만 아무튼간에 바둑이나 스타2는 게임속의 환경이라 제한된환경은 애초에 가능할수밖에없습니다.
저도 cnn mnist분류가 인기있을시절부터 이미 생각으로는 자아의식도 구현할수있다고 생각했었습니다. 하지만 정말로~ 어렵죠. ㅋㅋ
일단 진정한 agi는 자아의식 구현입니다. 자아의식구현이란게 mlp나 cnn같은걸로 아무리해도 쉽지가않죠. 인간은 피가돌고 돌아서 각세포간 상호작용을하고 계속 내부에선 어떤 작용들이 일어나죠. 미생물의 움직임 등등 인간이 진화가 가능한이유가 어찌됬든 이세상에 태어났는데 촉각이라는게 있다는겁니다. 누군가 날떄리거나 벽에부딪히면 아프다. 이런 감각이있으니까 생존을위한 무의식적인 행동이 자동으로 학습이 되는거죠.
그리고 당연한거지만 창의성이있어야합니다. 현존 챗봇포함 이미지생성ai등등 모든ai기술들은 창의력이 없습니다. 이미지생성 ai에 창의력을 부여할려면 자아의식부터 구현해서 모델을 전부다시 재설계해야됩니다. 현재 이미지생성 알고리즘은 아무튼간에 cnn의 내재된 패턴들을 자연어를 통해서 얻어와서 패턴들의 결합이 이미지결과입니다. 이건 단순히 패턴들이 합쳐져서 그럴듯한 이미지가 나오는것이고 아무리 프롬프트로 자연어로 설명을잘해도 설계자체부터 그렇게만들었기에 학습데이터보다 모델설계가 더중요한거죠. 창의성은 약간 없는걸 만들어낼수있는 그런걸 말하는건데 그건 현존 모든 ai가 할수없는것이죠. 이미지생성 ai로 예를들면 해당 ai는 배운패턴들의 조합들을 결과로 내뱉습니다. 배우지않은것은 애초에 이미지생성을 하지못합니다. 당연한말이기도하죠.
트랜스포머기반 챗봇도 마찬가지입니다. 이것도 말도안되게 너무많은 말도안되는 엄청난 데이터를 학습시켜서 진짜 인간과 대화하는듯하게 보이지만 그건 챗봇을 조금써본사람만 그렇게 느낄겁니다. 엄청나게 많이써보면 이게그냥 수많은 mlp로 구현된걸 느끼신다면 많이써본겁니다. 비유를 하자면 cifar10데이터를 mlp로 예측하는데 cnn보다 더좋은결과를 내는상황과 똑같다는겁니다. 그럼 cnn으로 5만장학습할떄 mlp로는 1억장 이렇게학습하면 mlp가 더높은 정확도가 가능은합니다. 트랜스포머가 대단해보여도 mlp또는 퍼셉트론만 이용해서 엄청 복잡한 프로세스 신경망을 만든것에 불과하죠. 거기에 잡다한신경망 붙여서 엄청 거대한 신경망이 탄생한건데 원본 트랜스포머는 그냥 단순 수많은 mlp라는겁니다.
mlp의 문제는 하나하나 전부다 학습시켜야합니다. 수학으로 따지자면 덧셈만 알려주는데 엄청난 조합이있는 무한대죠. 사실상 불가능합니다. 1+1, 2+1, 1+5+10 그냥 무한대라서 학습자체가 불가능하죠. 곱셈 나눗셈 뺼셈 이것도 전부 무한대입니다. 그래서 gpt4가 수학문제특화된 플러그인도있고 기본적으로 수학문제가나오면 python을 이용하도록 만들었죠. 근데 임시대처방법이긴한데 인간한테 그래도 엄청 유용하긴하죠. 하지만 근본문제를 해결하지는못했습니다. 자연어의 조합은 사실상 무한대는 맞는데 결국 한정되있긴합니다. ㄹ대쟈ㅓ햊ㄷ허쟈ㅐㄷ허ㅑㅈ대ㅑㅎ 이런식으로 하는거아닌이상 바둑경우의수보다 훨씬적다고 생각합니다. 근데 계산은 무한대라 안되죠. 자연어 + 계산..
베스킨라빈스31 게임을 예시로 gpt4한테 말해서 각상태에대한 액션의 유리한수를 몇개알려주고 나머지를 맞춰보라고하면 아예 딴소리를합니다. 그러면 단서를 조금만더 많이 알려주면 알려준것만 정확하게 답변하고 나머지는 전혀예측을 못합니다. 이게바로 mlp죠. 알려준건 정확하게아는데 응용을 못하는것이죠. 반면에 cnn은 한번알려주면 응용을할줄 알죠. 그러니까 결국 하나알려주면 응용하는방식으로 할려면 트랜스포머를 cnn1d와 결합해서 뭐어떻게 한다면 자아의식의 기초를 만들수있지않나싶어요.
사람도 사실상 강아지사진 100장만보여줘도 10장으로도 충분하겟죠. 개고양이 인식률 이론상으론 100퍼센트가 가능합니다.
아무튼간에.. 모델설계를 자아의식이있고 좀 생각을할수있는 인공지능을 만든다는게 너무나 어려워서 어쩌면 알파고사건떄처럼 잠시뜨다가 이건 도저히안되겟다고 발표하고 다시 인기가 사그러질가능성도 충분히 있다고생각합니다. 만약 그렇게되면 현재기술로 최대한 활용해서 인공지능을 활용하고 혁명은 일어나지않고 그대로 가는거죠. ㅋㅋ
썸네일의 의미는 계획을 인공지능이 해주게 될거다라는 의미이기도 합니다. :) 강화학습에서 얘기하는 "계획planning"에 대해서도 더 공부해보시면 재밌을 거에요
친절한 설명 감사합니다. 전 순간 아...인공지능이 이제 다 대체를 해버리는 거구나. 싶었어요 ㅎㅎㅎ
잘봤습니다 감사합니다
잘 봤습니다 11월 30일에 파이썬 추월코스 결재하고 달리겠습니다!
화이팅!
UC Berkeley의 Sergey Levine 교수님의 RL 강의도 추천드립니다.
ruclips.net/p/PL_iWQOsE6TfX7MaC6C3HcdOf1g337dlC9
혹시 미국으로 가시기 전에 오프라인 강연 계획 있으신가요?
생각해보고 있습니다.
@@HongLab와 신청했습니다 고맙습니다 ㅎㅎ