Это видео недоступно.
Сожалеем об этом.
AI 커뮤니티 난리가 났습니다... Anthropic이 AI가 생각하는 방식을 알아내고, 안정성은 물론 할루시네이션 통제를 위한 방향을 찾은 것 같습니다.
HTML-код
- Опубликовано: 22 май 2024
- AI 관련해서 대중들은 잘 모르는 기술 혁신이 발표되어 AI 커뮤니티가 지금 동요하고 있는데요. OpenAI에서 퇴사한 인력들이 나와 만든 Anthropic에서 최근 꽤 큰 LLM (Claude-Sonet) 수준에서 실제 AI 가 어떤 생각을 하는지 설명할 수 있다는 논문을 냈습니다. 비유하자면 우리가 흥분하거나 기분좋거나 특정 단어를 이야기할 때 뇌의 특정 뉴런의 활성화되듯이, LLM에서도 특정 단어나 특징들을 기존 AI 네트워크를 리버스엔지니어링하여 확인해낸건데요. 흔히 말하는 Explainable AI 라고 하는, 블랙박스로만 해석되었던 AI 내부에서 각 요소들이 어떻게 연결되고 동작하는지, 그리고 이를 인위적으로 바꾸면 어떤 결과를 내는지를 내놓았습니다. 최근 OpenAI의 안정성을 위한 Superalignmet 팀이, 일리야 수츠케버의 사임을 시작으로 해체되는 상황, Anthropic이 AI 통제와 안정성, 할루시네이션 제거와 Explainable AI에서 OpenAI를 앞서가는 느낌입니다.
#OpenAI #Anthropic #할루시네이션
Written by Error
Edited by 이진이
unreatlech2021@gmail.com
![박태웅 의장 "인류역사상 가장 빠른 속도의 변화" [코너별 다시보기]](http://i.ytimg.com/vi/KwcLlLO71xo/mqdefault.jpg)
![[지식뉴스] "2·30대의 뇌가 달라지고 있다"...초저출산이 치열한 '생존 본능'인 이유 (ft.장동선 뇌과학자) / 비디오머그 / 교양이를 부탁해](/img/1.gif)
음... 그치만, LLM의 hallucination과 매우 유사하게 좌뇌에서 confabulation이라는 게 발생하는데, (좌뇌와 우뇌가 분리된 환자들에게서 도드라짐) 만약 이 둘이 표면적으로 뿐만 아니라 근본적으로 동일한 현상이라면 그것은 곧 언어를 생성하는 모델들이 공통적으로 내재하고 있는 nature of neural networks일 수도 있다고 생각합니다. XAI라는 주장이 되게 허무맹랑하게 느껴지는 가장 큰 이유는, 인간은 아직 인간 스스로의 사고과정 자체도 explain 못한다는 거에요.
어쨌든 AI는 설명할수 있죠?
@@user-kz9uh7fn6v 음, 아뇨 제가 적은 내용이 의미하는 것은.. 인간이 우리 뇌에서 일어나는 사고과정 자체도 설명할 수 없다면 동일한 신경망으로 구성된 AI도 당연히 설명할 수 없다는 얘기입니다.
위의 에러님 영상에 나온 주장은 뭐랑 비슷한 거냐면요. fMRI 장비나 광유전학 기법 같은 거에요. 마치 뇌에서 어느 부위에 피가 몰리는지, 혹은 어느 부위의 뉴런들이 활성화 되는지를 파악하는 것과 동일하게 벡터 공간에서 활성화되는 정보들의 분포를 파악할 수 있는 방법입니다.
근데 그게 인공지능을 설명 가능하게 하느냐 하면 꼭 그렇지는 않을 수도 있는 겁니다. 왜냐하면 '위치'를 아는 것과 '기작'을 아는 것은 사실 같은 게 아니거든요. 예컨대 "뇌의 '브로카 영역'에서 언어가 발생한다" 라는 지식은 뇌가 언어를 "어떻게" 만들어 내는지에 대한 아무런 통찰도 제공하지 못합니다.
@@grimsk뇌과학이 도출한 가설들과 도그마도 1950년과 1990년대가 다르고
또 최근의 뇌과학이 밝혀낸 사실들도 20세기의 밝혀낸 사실들과 다르게 계속 조금씩 조금씩 전진하고 있으니 뇌과학에서 진전이 있으면 그걸 본딴 AI모델의 분석도 같이 진전이 있겠죠 뭐.
공진화
@@dlsrksguadhX 음, 공진화는 당연히 이루어지겠지만.. 사실상 뇌과학의 발전은 '연결주의'에 의해 이루어진 것이고, 저렇게 뇌를 '부위'로 해석하려는 '국소주의'는 뇌과학의 발전을 최소 100년 이상 저해해서 뇌를 1천개 이상의 부위로 구분 했음에도 실질적인 작동방식은 전혀 밝혀내지 못한 상태였습니다. 결국 전통적인 챗봇을 만들기 위해서는 노가다 밖에 없었고요. 뇌과학과 인공지능 분야에서 모두 엄청난 발전(말씀하시는 "공진화")를 이끌어 냈던 50년대의 퍼셉트론과 80년대의 홉필드 네트워크가 둘 다 '연결주의'의 산물임을 감안할 때, 지금 영상에서 다루시는 저러한 국소주의적 관점으로의 회귀는 별로 도움이 안 될 확률이 높습니다. 경험상.
@@dlsrksguadhX 음, 댓글이 지워지네요..어떤 단어가 문제인지 잘 모르겠으니 문장을 좀 나눠서 적겠습니다.
그동안 농담처럼 "그런데 말입니다 이게 왜 되는지는 모름"이라고 해왔는데 이제 왜 되는지 알거 같다는 소식인거 같네요 대애박
일하면서 잠깐 잠깐 보는데 애 우는 소리가 들려서 우리 막내가 우는지 알고 이어폰을 땠더니 안 울어서 다시 이어폰 끼니깐 영상에서 들리는 소리네요~ㅎㅎㅎ 넘 잘 보고 있습니다~ 수고가 많습니다~ 모든 아빠들 화이팅입니다~^^
역으로 이 논문으로 인해서 인간의 뇌에 대해서 새로운 이론이 나올 수도 있겠네요..
Claude3가 사용해보면 openai보다 훨씬 발전된 느낌이 들음 기술자들 실력이 더 좋은가봄
4o를 뛰어넘으려면 언어모델만으로는 안 되는데 앤트로픽은 언어모델 전문가팀으로 구성되어 있는 듯한?
저도 첨에는 끌로드가 더 좋아 보였는데.. 그게 케바케인듯 하네요. 그것보다 매일매일 얘네들이 뭔가 다른게 느껴져요. 현실을 돌아보면 대한민국이 지금 뭘하고 있는지 한심스럽기도 하고..
@@flavorkorea 아무런 방향성 없는 정책들 덕에 무지성으로 개발자만 양성 중임. 개노답인듯
@@MN-do7hk 1일 1 네카라쿠배당토를 외치지만 정작 ㅈㅅ SI 웹땔깜 개발자 채용에도 탈락해서 히키코모리로 전락하는 쓰레기들을 양산중
2021년에 OpenAI의 LLM팀 80%가 나가서 차린 회사라 그럴겁니다.
k-means 군집 분석 기법을 사용해서 유사한 것과의 거리를 기준으로 군집을 나눌 수 있습니다. 이것은 기계학습할 때 쓰이는 기업인데...LLM에서 XAI를 위한 접근방법으로 제시가 되는 지? 의문이 드네요???
정확하게 어떻게 다른 지 원문을 찾아보고 분석을 해 봐야겠네요...
AI가 논리적이고 타당한 결과를 출력하는 과정을 시각화하는 것은 인간의 사고 방식을 이해하는 데 큰 도움이 될 것이라고 생각합니다.
이유는 다음과 같습니다.
* 논리적 사고의 구조 파악: AI의 추론 과정을 시각화하면 특정 의미를 가진 값들이 어떻게 조합되어 새로운 의미를 만들어내고, 방향성을 설정하여 논리를 전개하는지 명확하게 파악할 수 있습니다.
* 인간과 AI 사고 비교 분석: 인간의 사고 과정과 AI의 추론 과정을 비교 분석함으로써 인간의 사고 방식에서 빠져나가기 쉽거나 오류를 발생시키는 부분을 파악하고 개선할 수 있습니다.
* AI 모델 개선 및 활용: 시각화된 추론 과정을 통해 AI 모델의 작동 방식을 더욱 정확하게 이해하고 개선할 수 있으며, 이는 더욱 정교하고 효율적인 AI 모델 개발에 활용될 수 있습니다.
따라서 AI 논리 시각화 연구는 인공지능 분야뿐 아니라 인간의 인지 능력 이해 및 사고 능력 향상에도 큰 기여를 할 것으로 기대됩니다.
1. 설명만 들어선 기존의 임베딩 클러스터 만드는 거랑 뭐가 다른지 모르겠어요.
2. 어쨌든 수용성, 설명력 높은 AI이면 시장 흡수는 쉬워질듯
정말 이런 정보는 에러님 아니였으면 난 영영 몰랐을 거에요. 감사합니다~~~~
사람도 왜 고양이라고 생각하냐고 물어보면 뇌 안을 보는게 아니라, 그때 그때 이유를 만들어내는데... 그냥 AI한테 왜 고양이라고 생각하냐고 물어보고 이유 말하면 아 넌 그렇기 생각했구나 하고 믿으면 되는거 아닌가?
원래도 프롬프트엔지니어링으로 찾아내고 해결할 수 있던 문제같아 보이는데 아무래도 잘 모르겠으니 원문 읽어봐야겠다. 유익하고 좋은 소식 감사합니다.
리뷰가 조금 아쉬운데 먼저 다뤄주셔서 감사합니다.
Sparse autoencoder를 써서 활성화 되는지 그렇지 않은지 binary하게 분리한것이 핵심인데요, 이게 모델 개발비용만큼 큰 비용이 나온다고 하네요. 이걸로 단일 추론, 멀티 추론시에 어느부분이 어떻게 활성화되는지 알수 있기 때문에 safety 부분에서 큰 강점을 보일수 있다고 생각하구요. 다국어 처리능력또한 기존 모델의 추론능력을 유지하면서 추가적으로 주입이 가능해보일것으로 보입니다.
반대로 어떤 의도를 가지게 할 수도 있다는 가능성도 보여서, 오히려 굉장히 위험해보인다는 생각도 드네요...!! 잘봤습니다~
의도적으로 유도하는 것 자체도 인공지능이 학습하게 된다면 어떻게 되나요?
인공지능이 기존에 입력된 데이터와 의도적으로 입력한 데이터를 비교 학습하게 된다면 말이죠 !~
그래서 환각은 어떻게 없애는거죠? 편향성을 XAI를 통해 바로 잡겠다? 이건가요? 그리고 텍스트 그룹핑이라는게 기존 유사도 분석이랑 뭐가 다른지 모르겠네요
결국 ai는 인간을 지키기 위해 인간을 통제하고 감시하며 에너지 인큐베이터에 강제로 넣어서 인간을 에너지로 쓰게 된다
매애트릭스!! ㅋㅋ
Anthropic은 원래 AI safty분야의 srartup이었죠. 저게 원래 걔네 전문분야입니다.
안될공학 덕분에 좋은 정보 듣고 갑니다. 제가 지금 까지 미국 S/W 업계보면 먼저 1위한 업체어 나온 엔지니어들이 항상 더좋은 개념으로 차세대 S/W를 만들어 1위 업체를 흡수하더군요. AI 의 학습 및 추론 원리를 안다면 당연히 인간의 뇌가 어떻게 작동되는지 알것이라고 봅니다.
그냥 text embedding을 풀어서 설명하신 거 같은디용 어디에 novelty가 있는지 모르겠습니다
영상에서 표시된 feature 들의 공간은 텍스트 임베딩공간과는 별도의 공간입니다. sparse autoencoder 에 대해서 설명을 해야 저 공간으로 자연스럽게 매핑된다는 것을 알 수 있는데 그 부분은 설명을 안 해주셨네요.
사람의 사고추론 방식을 모방해 만들었는데, 사람의 사고추론의 방식이나 결론이 개인별로 다 다른데 AI가 추론하는 결론을 어떻게 예측을 할 수 있을까요?
추론의 방식이나 과정, 결과 보다는 이 신산업에서 낙오되면 대항해시대나 제국주의 시대처럼 수탈만 당할텐데, 낙오되면 안된다는 공포감이 모든 이슈를 잡아먹고 이러한 광풍을 불러왔지요.
뭐 상관없지 않을까요, 누군가 윗대가리의 잘못된 선택이든, AI의 잘못된 선택이든 우리들에게 미칠 영향은 비슷하지 않을까 합니다.
순수하게 도덕적인 데이터만 가진 AI를 만들어 기존 AI의 결정을 판단하게 만들면 되지 않을까요?
AI의 판단에 제작자의 의도가 개입되는 것이 더 위험하지 않을까 합니다.
차라리 모르는 편이 더 안전할 수 있는 거지요....
explainable 중요하죠. AI의 신뢰도를 높이고 제어하기 쉽게 만들기 위해서는요
6:20 예제
우리는 기술만드는 인간으로써 기술을 이용해야하지만, 기술에 지배당해서 서서히 멸망에 다가갈 수 있을 수도 있다는 걱정이 계속 생기네요. ㅠㅠ
이렇게 되면 AI가 무슨 생각을 하는지도 읽을수 있겠네요. 그렇게 되면 AI Security에 큰 안정성을 줄수 있을거 같네요.
반면 AI에 사람의 의도를 숨길 여지도 확실히 커질텐데... ai 통제권을 가진 인간 위험성이 더 커지기도 할거같네요
@@rreinhardt2393 어떤 형태가 되더라도 AI는 계속 거짓말을 할거라고 생각합니다. 지금도 AI가 거짓말을 하는 사례들이 계속 나오고 있으니까요. 그래도 저렇게 AI의 생각의 로그를 계속 남기면 그 거짓말의 패턴도 유추할수 있게 되겠죠.
이 접근법은 언어영역의 문제 풀이를 할 때 접근하는 방식과 유사하군요.
빅데이터에서 정보를 추출하는 과정이 교집합과 비슷하다.
즉 환각을 일으키는건 그 교집합의 범위를 줄이면 가능한 일이지만
그러면 응용력이 떨어진다. 이건 한쪽을 선택하면 다른한쪽을 잃어버리는 선택의 문제다.
인간은 진화 과정에서 착각을 하더라도 응용하고 사고를 확장하는쪽이 생존에 더 유리하기에...
결론은 환각을 줄이면 하면 인공지능의 범용성이 떨어진다.
저 정말 궁금한게 있는데, ai는 진짜 정보와 가짜정보의 구분은 어떻게 하는건가요?
장담하는데 내년에도 hallucination 통제 안됩니다
논문에 관한 영상에는 논문 이름과 링크도 첨부해주시면 정말 감사하겠습니다!
멋지네요..새로운 돌파구, 통찰을 주는 흥미로운 주제입니다. 저 넘어 볼 수 있기를..만약 인위적으로 A군집과 B군집을 연결(link) 시키면, 창발성이 출현할까? 정말정말 흥미롭습니다
왜 하필 골든 게이트일까. 블랙록 사막 옆의 금문교.. 고대종교 점성술사 그분들의 핫스팟. 감시 검열 통제를 위한 그들의 어젠다.
세개가 하나로 움직이면 된다. 독립된 Al 3개가 서로의 결과를 검증하여 완전한 결과물을 도출하는 것이고 그것도 인간이 평가해줘야 완료된다. 도출은 하지만 인간이 마지막 인증을 하지 않으면 실행할 수 없다. 또는 도출한 결과 실행도 독립된 AI 3개가 실행 여부를 최종 결정하고 인간의 인증을 기다리는 것이다.
그런 아이디어는 만화 애니 같은 미디어에 쓰이기도 했죠.😂
그 유명한 일본애니메이션 에서 그 본부인 NERV 의 보안 및 전체 시스템을 관장하는게 마기라는 인공지능 탑재 슈퍼컴으로 설정되어있는데요.
그게 그 시스템을 만든 아카기 나오코라는 과학자의 3가지 인격.
1)과학자로서의 인격
2)여성으로서의 인격
3)엄마로서의 인격
으로 나눠서 협의체로 중요한 결정을 내린다고 설명이 나오는 에피소드가 나오죠 😂
그 에피소드에서 해킹을 당해서 자폭을 하려다가 결국 3)의 엄마의 인공지능이 2개의 다른 협의체를 꺾고 결정을 취소하는게 스토리로 나옵니다..ㅋ
AI 난리나서 같이 난리난 안될공학 ㅋㅋㅋㅋㅋ 영상이 진짜 하루걸러 맨날 올라옴 ㅋㅋㅋㅋㅋㅋㅋ
AI가 느낌적으로 고양이를 알면 인간수준인데…
언어의 해상도와 비선형 ai 모델의 해상도가 다른데 설명할 수 있다고 말하는게 사기지요. 강아지에게 사람의 생각을 설명할 수 있을까요
중성자가 뭔지 모르는데 원자폭탄은 만들었잖음
그야 약력의 질량 결손을 알아냈으니까@@gombangwa
이사람은 별것도 아닌데 제목을 낚시처럼 처짓네
뚤지 못한 장벽앞에서 계속 헛돌고 있네요. 자동차 공회전처럼.
오픈에이아이도 분명 숨겨논 카드가 많겠지만 아직까진 오퍼스>>gpt4o느낌이듬. 미래가 기대됩니다
아님 오푸스 ㄹㅇ 환각 너무 심함... 4o가 더 믿을 만함 항상 오푸스 해보고 4o하는데 오푸스가 얼마나 개소리를 그럴듯하게 지껄이는지 알 수 있음
음.. 이전에 temperature 나 creativity 조절하는 것과 많이 다른건가
엔비디아 주가 올라가는 소리가 들리네...
염색체 염색으로 찾는거랑 비슷한디
한국은 머하냐? 후발주자라서 지원해줘도 모자랄판에 대폭으로 지원삭감....
이걸 가지고 뭔 헐루시네이션을 해결해. 참 안되겠구만
말도 빠르고 요점만...
이방법도 ai를 제대러 설명하는건 아니라고봅니다 ai의 근본이 컴퓨터라 업계사람들에게는 그냥 인문학을 설명하는 정도의 느낌 밖에 안와닿을듯하네요
고맙습니다
'난리났다' '세계경악'이라는 제목난발하는 채널들은 극혐이라 가차없이 구취, 신고 먹이는데... 자제부탁. 주인장님.
뭔소린지 모르겠다 도망가야지..ㅎㅎ
비판만 하지말고 좋은점도 꼭 보시길.. 그래야 두뇌가 당신울 긍정적인 방향으로 이끕니다.. 안될과하 화이팅하세요 ❤❤❤
사람이랑 구조가 비슷하지 않나요?
좀 더 많이 쉽게 설명해주셈
별 내용없음
아니 정보 항상 감사하긴한데 제목으로 호들갑 낚시 좀 자제 부탁드려요… 모르는 사람이 보면 진짜 난리난줄ㅋㅋ
딕션..
또호들갑인듯 ㅋㅋㅋ 오픈ai 못이겨 ㅋㅋㅋ
1등^^
????????
2등
말을 쫓기듯이 너무 빨리해서 듣기 불편하네용..
드디어 환각 사라지나?
갑자기 생각이 나서 그런데 . 안될공학 유튜버께서는 학교 다닐때 이렇게 열심히 논문찾아보고 자료 찾아가며 공부했으면 수석했겠죠? ㅎㅎ