이런 연구들은 이전에도 있었는데(삼진 또는 프루닝 등등), 영상 설명에는 그전과 차이가 잘 드러나진 않네요. 원리적으로 왜 정확도에서 차이가 나지 않을 수 있었던 것인지 설명이 있으면 좋을 거 같긴 합니다. i) 논문에서 사용한 벤치마크에서만 정확도가 높게 나온 것은 아닌지, ii) 학습 복잡도가 높은 벤치마크나 응용들에서는 어떠한지 가 가장 중요할 것 같습니다. 일단은 모바일 환경에서는 충분히 적용할 만한 방법들인 것 같습니다.
복잡한 연산이 사라지면, 계산 결과는 빠르게 나올지 모르나, ai 의 지능이 낮아지는 결과가 나올것 같습니다. 지능이 낮은 인공지능은 단순한 안내용으로 밖에는 쓰지 못할 것입니다. 인간과 같이 심도있는 내용을 논한다거나 하는 것은 무리일것 같습니다. 인공지능은 아무래도 프로그램상으로 성능을 높이는것 보다는 하드웨어로 성능을 높이는게 필요한 분야 같습니다.
언제까지 엔비디아 인가....화무십일홍이라고 그 대단하던 IBM도 결국 저 아래로 밀려났고......바닥에서 박박 기던 애플은 쫓아냈던 잡스의 복귀 이후 혁신을 통해 최고의 기업으로 반등 했다. 수 많은 반도체 기업들이 부흥과 몰락을 반복하는데 엔비디아라고 영원하지 않겠지.... 저 가죽점퍼 보기싫어 죽겠네......제발 망하고 새로운 기업이 튀어나와 혁신을 이루고 소비자들에게 위안을 주었으면 하는 바램이 있다.
경량화가 진행되어 밀집도가 올라가면 그만큼 모델 크기를 더 키워버립니다. 즉 포텐셜을 성능 향상에 쓰지 연비에 쓰질 않아요. 태동기엔 그런 법입니다. 대신 그만큼 더 큰 성능을 끌어내겠죠. 결국 GPU는 여전히 필요할 겁니다. 그리고 그 크기는 계속 우상향할거고요. 좋은 새로운 방식이 개발된다고 해서 다른 리소스를 절대 편해지게 두지 않아요 그만큼 더 많은 걸 뽑아내려고 더 갈아대죠. 좋은 내용 소개는 감사합니다.
이것이 획기적이라고 해도 전용칩을 만들어줄 회사들도 최신공정은 단가 높고 소량 생산하면 칩 가격이 상승할것이고 새로운 이론이 나오면 효율이 떨어지고 범용성도 낮아서 이제 AI 시작 단계에서 전용칩은 의미가 낮다고 봐야 할것 같지 않나 싶어요. AI가 어느 정도 자리 잡어면 GPU 보다 효율이 높은 전용칩이 나오겠지요. 뭐 칩 집접도 올리는 비용이 천문학적이라 AI 정체기를 돌파하는 이론 나와서 점프하는 날이 오겠지요. AI 산업이 이제는 돈이 되는 산업이라
![[#질문들] 자영업 세계가 바뀌고 있다! AI 시대에서 살아남을 자영업은? #엠뚜루마뚜루 #볼꼬양 MBC240713방송](http://i.ytimg.com/vi/DpN5Xc9Y38U/mqdefault.jpg)
![[#질문들] 자영업 세계가 바뀌고 있다! AI 시대에서 살아남을 자영업은? #엠뚜루마뚜루 #볼꼬양 MBC240713방송](/img/tr.png)
![NVIDIA, 앞으로 10년 여전히 압도적일 수 밖에 없는 이유 | 트랜스포머와 GPU, CUDA 기반 클라우드 가상화 | AI비즈니스 이해하는 방법 [솔트룩스 이경일 대표 2부]](http://i.ytimg.com/vi/2kiyE646HBk/mqdefault.jpg)
![Felix "Unfair" | [Stray Kids : SKZ-PLAYER]](http://i.ytimg.com/vi/Oswujxm2Ag0/mqdefault.jpg)
LLM AI는 아직 태동기라는 생각이 드네요 이런게 혁신이지
컴퓨터 자체가 아직 걸음마 단계죠 100년도 안되었으니
3진에 맞는 학습방법이 필요하겠네요
하드웨어와 로직이 서로 영향을 주면서 최적화 방향이 잡혀가는 것 같습니다
엔디비아 독점체제가 좀 깨지거나 약해지면 좋겠네요. GPU가격이 미쳐 날뜀
Gpu가격은 예전이나 지금이나 비슷한데...
@@Go-re7yw 출시가도 2배가 됐는데요.
@@Go-re7yw물구나무 서고 봐도 올랐음
@@julius-z2q 물가상승률보다 올랐나요?
@@user-sifhdnsifu 물가상승률이 100%가 아닌이상 당연하죠
이런 연구들은 이전에도 있었는데(삼진 또는 프루닝 등등), 영상 설명에는 그전과 차이가 잘 드러나진 않네요. 원리적으로 왜 정확도에서 차이가 나지 않을 수 있었던 것인지 설명이 있으면 좋을 거 같긴 합니다.
i) 논문에서 사용한 벤치마크에서만 정확도가 높게 나온 것은 아닌지, ii) 학습 복잡도가 높은 벤치마크나 응용들에서는 어떠한지 가 가장 중요할 것 같습니다. 일단은 모바일 환경에서는 충분히 적용할 만한 방법들인 것 같습니다.
마즘 ㅇㅇ 논문은 논문일뿐 제품으로 양산해서 증명해야함 ㅋㅋㅋ
감사합니다!
감사합니다
원래 정보를 압축했는데 비슷한 결과가 나온 다는 게 신기하구만
AI 학습에 정보를 압축하는 경우는 있었는데(특히 이미지 분석에서). 그게 데이터를 다듬는게 아니라 연산에서도 적용된다는게 신기한거 같습니다.
와 최근 동영상은 다 정주행 해야겠네요
다른기술들은 지지부진 한데 llm만 유독 발전이 빠르네
예전에 마소에서 나온 1bit llm논문이랑 비슷한 느낌이네요
사실 기반 아이디어는 아예 똑같죠. 이 논문은 하드웨어적인 부분에서 더 다룬거 같네요.
문제는 양자화만해도 성능이 떨어지는데, 저렇게 극단적으로 모델을 간략화 하면 성능 저하는 너무 당연히 필연적인거라.
애초에 로스만으로 성능을 검증할수 없어서.
고맙습니다
예전에 float 로 weight 를 구성하지 않고 3진화해도 성능이 유지된다는 거랑 비슷하네요
애플 같은 온디바이스 칩에 구동되는 모델에 사용하면 딱이네요
애플 떡상 ㅋㅋ
이럴수도 있군요 👍
24bit color가 아니라 윤곽스케치만 가지고도 선을 많이 그으면 충분히 알아본다 같네요.
w1x1 + w2x2... 이 아니라 x1 + x2 - x3.. 이런식으로 부호만 바꾸는 덧셈으로 바뀌는게 되게 큰듯
GPT4o급을 보급형 컴으로 로컬로 돌릴 수 있으면 좋겠네요
그것이 미니
그래서 하드웨어 대신
개발자가 갈려나간다는거지?
연산 소모를 줄일 수 있다면 경량화로도 흘러가겠지만 전 오히려 더 대형화로 가리라 봅니다. 왜냐하면 다르게 얘기하면 용량의 한계치가 더 늘어났다는 얘기니까요.
이걸 가장 잘 구현해내온 게 엔비디아듯, 앞으로도 이 경향은 유지되지 않을까 싶네요.
소모가 줄어든 만큼 기존의 하드웨어에 더 많이 꽂아 넣어서
최적화가 어떻게 되든 총합 규모는 지금 기업들이 투자하고 있는 크기로 유지되거나 더 커지거나..
@@MondayGone 저도 그렇게 생각합니다. AGI로 가기 위해서는 필수불가결하다 생각해요.
결국 팽창 - 압축 - 팽창 - 압축 순환을 반복하면서 기술이 진보하는건가..
1bit llm 개념과 굉장히 유사해보이네요
AI의 가장 큰 문제는 가중치들이 어떻게 구해지는지 알 수가 없다는것....
정말 너무도 큰 리스크가 아닌가 생각이 듭니다.
인간도 똑같음
와.. 신기하네요
이해가 잘 안되지만 잘 봤습니다 근데 혹시 래퍼신가요??
쇼미더머니 8
에서 예선탈락하신분입니다
피스~
@@광원윤-h7c 어쩐지 말하시는게 다르네요
아 이거 유명했었음. 정수만 대체해서 70%이상만큼 성능이 유지된다고 하던.
난 당연히 임베디드 단말용으로 사용될거라고 예상했는데 이걸 그냥 써먹을수도 있나보네
제발 다른걸로 되줘 글카값 넘비싸 ㅠ
RTX 9090은 실외기형이나 전용냉장고형으로 나올 줄 알았는데 칩 하나가 될 수도 있겠네...ㅋㅋㅋ
환경을 위해서도 지금의 비효율적인 현재 방식의 개선이 필요하다. 지금의 데이터 센터는 그 자체로 심각한 공해사업임. 전기를 하도 쳐먹어서
복잡한 연산이 사라지면, 계산 결과는 빠르게 나올지 모르나, ai 의 지능이 낮아지는 결과가 나올것 같습니다. 지능이 낮은 인공지능은 단순한 안내용으로 밖에는 쓰지 못할 것입니다. 인간과 같이 심도있는 내용을 논한다거나 하는 것은 무리일것 같습니다. 인공지능은 아무래도 프로그램상으로 성능을 높이는것 보다는 하드웨어로 성능을 높이는게 필요한 분야 같습니다.
삼진화가 이해 안 됩니다 ㅜㅜ 연산에 쓰는 숫자들이 워드임베딩으로 나온 숫자일 텐데 이걸 어떻게 바꾼다는 건지?
5:52 에서 우측 상단과 하단 보시면 완전 삼진화 하는것이 아니라 특정 변수의 배수로 표현하는 것이며 이를 재귀적으로 곱해서 결과를 근사하는 것 같습니다
입력값이 아니라 가중치를 -1, 0, 1로 scaling하는거에요
그래 엔디비아 GPU는 행렬계산에 최적화된 칩이었던거다.
그러다보니 메모리가 핵심부품으로 다시 떠오를수 밖에 없었고.
그런데 그게 한계에 봉착하고 있다는 것이다!
한마디로 행렬계산으로는 인공지능이 한계에 빠르게 접근하고 있다는 것이다! 24.08.03(토)
흥미롭군요. 과투자된 산업이 몇년안에 무너질수도 있음 ㅎㅎ
잘모르지만 기저행렬을 이용한다는 느낌적인 느낌?
이러다 삼진메모리도 나올듯
일반인은 솔까 지피티줘도안씀. 치맥 더맛나게먹는법이런거좋아함.
이게 되면 엔비디아 시대가 아니라 amd intel 이 다시 뜰수도 있겠군요
기존의 cuda가 무력화 되는 sw도 수반되겠고요
soxl이 답이다
논문이.안열리는데 혹시 링크 다시 올려주실 수 있으신가요?
arxiv.org/html/2406.02528v1 입니다 ㅎㅎ
@@unrealtech 감사합니다!
와....저게 가능한가.....?
압축한 모델 돌려보면 엄청 멍청함. 양자화만 해도 멍청해지는데.. 3진화한다고.. ㅎ..ㅎ
언제까지 엔비디아 인가....화무십일홍이라고 그 대단하던 IBM도 결국 저 아래로 밀려났고......바닥에서 박박 기던 애플은 쫓아냈던 잡스의 복귀 이후 혁신을 통해 최고의 기업으로 반등 했다.
수 많은 반도체 기업들이 부흥과 몰락을 반복하는데 엔비디아라고 영원하지 않겠지....
저 가죽점퍼 보기싫어 죽겠네......제발 망하고 새로운 기업이 튀어나와 혁신을 이루고 소비자들에게 위안을 주었으면 하는 바램이 있다.
AGI는 온다.....
안녕하세요 amd 동업자입니다
엔비디아 참 많이컸다.
30년전에 수많은 흔한 pc그래픽카드
제조업체중 하나였는데 ...
문돌이 몬말인지 모르고 그냥 갑니다 😂
이 논문이 era of 1bit llm: bitnet 1.58b 랑 다른게 뭔가요? 거기선 llama 구현체도 제시했는데 이건 뭐임
{개구리, 올챙이, 말미잘, 에러} > {1,0,-1} 변환방법 발견하면 우아아아 대단하다 이겠지만
논문에서 말한건 그 변환방법을 개발하면 연산에 필요한 컴퓨팅파워를 줄일수 있다란 이야기니
너무 당연한 건데요, 논문으로서의 가치가 있는지도 잘모르겠습니다
설명에서는 간단히 해서 그렇지만, 논문에서는 원리가 있지 않을까 싶습니다. 기존의 학습 정확도를 많이 희생시키지 않는 방향으로의 삼진 변환 방법은 그 자체 만으로 가치가 있지요.
@@du5494 그렇다면 영상에서 그걸 알려주는 게 더 중요할 것 같지만 안 그런 걸 봐서...솔직히 아닐 것 같습니다
좋은소식이네요
다시는 텐스토렌트를 무시하지 마라
경량화가 진행되어 밀집도가 올라가면 그만큼 모델 크기를 더 키워버립니다. 즉 포텐셜을 성능 향상에 쓰지 연비에 쓰질 않아요. 태동기엔 그런 법입니다. 대신 그만큼 더 큰 성능을 끌어내겠죠. 결국 GPU는 여전히 필요할 겁니다. 그리고 그 크기는 계속 우상향할거고요. 좋은 새로운 방식이 개발된다고 해서 다른 리소스를 절대 편해지게 두지 않아요 그만큼 더 많은 걸 뽑아내려고 더 갈아대죠. 좋은 내용 소개는 감사합니다.
그래픽카드 가격 정상화 드가자
와 댓글 싹다 삭제한거봐..
이것이 획기적이라고 해도
전용칩을 만들어줄 회사들도 최신공정은 단가 높고 소량 생산하면 칩 가격이 상승할것이고
새로운 이론이 나오면 효율이 떨어지고 범용성도 낮아서
이제 AI 시작 단계에서 전용칩은 의미가 낮다고 봐야 할것 같지 않나 싶어요.
AI가 어느 정도 자리 잡어면 GPU 보다 효율이 높은 전용칩이 나오겠지요.
뭐 칩 집접도 올리는 비용이 천문학적이라 AI 정체기를 돌파하는 이론 나와서 점프하는 날이 오겠지요.
AI 산업이 이제는 돈이 되는 산업이라
뒤집어지긴 힘들지않을까요....
헤일 하이드라!!!!
옥상옥 -> 기존모델 존재 + 민감도 분석 수준의 변형에만 적합할 듯...
뭔가 근본적인 성능을 개선하는것보다 최적화, 가성비 올리는 쪽으로 진행되는거 같아 아쉽네요. 한동안 엄청난 인공지능은 나오지 않을 것 같아요.
1:31 "그러면 이제 NVIDIA GPU 안 팔리는 거 아닌가?"
ㅋㅋㅋㅋㅋㅋ 질문하는 꼬라지
주식쟁이가 지가 찾아볼 생각은 안하네 ㅋㅋㅋㅋㅋㅋㅋㅋ
래퍼맞으신듯ㄷ정신사나워서 뭔말인지 잘모르겠습니다😅
황씨 얼굴 그만 보고싶다!
역시 에러님😊
단어를 행렬연산 행렬 행렬곱셈으로
통일했으면 이해가 편하겠네요.
영어를 써야 한다는 압박감 때문에
이리저리 섞어 쓰니 바로 들어오지 않네요
3진법 반도체 왜 안만들까... 근데 왜 뉴로모픽은 조용한지.. 너무 궁금하네.
있다 없다 이외의 상태를 가지는 전자 물질이 있으면 알려주세요 저도 궁금함
@@그냥-f7u전류의 양으로 끊으면 되긴함 거의 안흐르면 0 적당이 흐르면 1 많이 흐르면 2 이렇게
@@그냥-f7u 슈레딩거냐옹이...
그게 양자컴퓨터인데 초전도체가 없어서 더딘거임...
만들면 만들 수 있을듯. 필요전력 증가, 에러율 증가, 속도 감소, 크기 증가, 발열, 저항 증가, 수율 감소 등이 배가 아니라 제곱으로 올라가는 사소한 문제들이 있긴하지
거품7공주 한방에 죽나
:D
3등 재미없어서 패스 ~
1빠
카ㅓ툰 얼굴하고 음성하고 매칭이 안되서 집중이 안되네요
예민하시네요
이 정도면 당신 집중력 문제… 병원 가보시길..
핑계도 가지가지네요