Это видео недоступно.
Сожалеем об этом.
아이폰14에서 GPT 3.5 수준 가능... Microsoft 발표 Phi-3가 On-Device AI 를 가속화하는 기술적인 이유!
HTML-код
- Опубликовано: 28 апр 2024
- 38억개 파라미터 수에 불과한 Microsoft 발표 소형 언어모델 SLM 인 Phi-3-mini 가 GPT3.5 성능을 보일 수 있었던 핵심 이유는 소형 모델에 맞는 효과적인 데이터만을 선별해서 학습했다는 것인데요. 시험 범위를 모두 다 공부하지 않고 핵심만 쪽집게로 학습해도 이렇게 강력한 언어모델이 나오는 걸 증명했습니다. 게다가 LongRoPE라는, 입력할 수 있는 Context Length를 길게 만드는 기술까지 접목하고, 검색 기술의 결합으로 정확성을 높이면서 안정성까지 신경썼는데요. 아이폰에서 DRAM 2GB가 채 안되는 용량을 쓰더라도 이게 가능한 기술들을 융복합하여 진짜 On-Device AI 의 강력함이 올해 등장할 것으로 보입니다.
#마이크로소프트 #애플 #아이폰 #인공지능 #AI #chatGPT #Phi-3-mini
Written by Error
Edited by 이진이
unrealtech2021@gmail.com
![EST Gee - NEVER NEED (Feat. Selfpaid Savage) [Official Video]](http://i.ytimg.com/vi/f2cRtr52HXI/mqdefault.jpg)
핵심은 아이폰이 아니라 마이크로소프트에서 경쟁력 높은 온디바이스 ai 모델을 냈다는 것. 애플, 삼성 등 하드웨어 제작 업체가 자체 생성형 ai를 유의미하게 만들지 못하는 상황에서 구글, 마이크로소프트 등의 회사가 하드웨어 업체에 온디바이스 생성형 ai를 제공하는, 다른 차원의 경쟁이 펼쳐질 예정.
애플이 같은 경우는 이번 wwdc 되야 알듯. 루머에 의하면 온디바이스용 자체 ai는 괜찮다는 말도 돌던데
이래나 저래나 ai를 활용될 기기는 핸드폰이 될 에정이라.. 애플이나 삼성 차기 판매율은 올라가겠네요. 애플도 내년 쯤이면 온디바이스 ai 독바적으로 가두리 생태계에 민들 듯. 사파리링 크롬이 한 디바이스에 깔려있는 거 처럼.
실제로 사용해보면 gpt-3.5 보다는 안 좋더라고요. 실제 chatbot arena에서도 순위가 llama3-8b나 gpt-3.5 보다 낮기도 하고요.
개인적으로 phi-3 medium 14b가 mmlu가 상당히 높던데 그 모델이 빨리 공개되었음 하네요
전문가 "쏙쏙 뺐더니 성능 좋아네" 일반인 "이게 안 되네"
마소든 구글이든 에플 자체 AI든, 시리 사용만 최적화되면 아이폰이 AI 최고의 기기가 될 듯.
AI쪽으로 뉴스 전달 항상 도움받고 있어요~ 구독 누르고 갑니다
전혀 ai쓸거를 고려안한 기기에서 경량화해서 돌릴 수 있다는 사실은 대단한거 아닌가
앞으로 출시될 신형기기 아니면 전혀 안될거라고 생각했던 ai를 앞으로도 더 연구해서 더 좋은 ai기능을 구형 기기에 업데이트할 수 있는 가능성도 생겼다는 뜻이잖아
되게 좋은 시각이고 좋은 분석인듯? 애플 입장애서 살아남고 경쟁력 있으려면 이런 식으로 구형 기기들 챙겨줄 수밖에 없기도 함. 원래 os업데이트 잘 봐주는 편이기도 했고... 소비자한테도 제일 좋은 방향이니 이런쪽으로 갔으면 좋겠음
아이폰에는 인공신경망 가속을 위한 NPU가 2017년 부터 탑재되었고 GPU는 AI 모델을 가속해서 돌릴 수 있는것을 상정하여 설계되었으며, AI 가속을 위한 Accelerate, CoreML, MLX 프레임워크를 애플측이 몇년에 걸쳐서 준비를 해 놓은 상태라서 AI 돌리는걸 상정하지 않은 디바이스는 아닙니다.
이미 마이크로소프트가 올린 파이-3 말고도 메타의 Llama 3, 구글의 Gemma 을 포함한 수십가지의 모델이 이미 돌아가는 상태이고, 허깅페이스 MLX 커뮤니티까지 상당히 커져서 매우 많은 모델이 아이폰용으로 포팅되고 있습니다.
마이크로소프트가 뭔가 대단한걸 발견한게 아니라,
이미 기존에도 아이폰에 AI를 위한 하드웨어, 소프트웨어적 지원이 빵빵한 상태이고 많은 AI 연구자들이 경량 모델을 아이폰에서 높은 성능으로 돌리는게 유행했고 마소가 그걸 보고 우리가 개발하던것도 돌아가겠네? 해서 그냥 돌려본걸 논문에 첨부한거에요.
@@bluetran1 아 그냥 많고많은거중에 하나군요
벤치마크는 쏙쏙쏙 찾아서 할 수 있지만... 현실은 시험과 다르더라구요...
마소는 마소구나.. 우주방어.. 대단하다!
앞만 잘 읽고 뒤는 대충 읽는 스타일이면, 영어와 말하는 구조가 다른 한국어에서는 유용성이 떨어질수 있겠네요. 영어로된 글들은 결론이 앞에 나오는데 반해, 한국어 글들은 결론이 뒤에 나오죠.
그건 학습시킨 한국어 데이터에 따라 달라지지 않을까요?
영어든 한국어든 llm은 어떤 게 중요한 지를 스스로 학습하는 어텐션 매커니즘에 기반하고 있고 그거의 granularity를 dynamic하게 조절한다가 이번 phi-3의 핵심이니 한국어도 좋은 데이터가 주어진다면 중요하지 않은 내용이 앞에 나오더라도 스킵하고 뒤에 있는 내용에 집중할 수 있을것 같은데요?
예를 들어서 A라는 게임 대사집을 주고, 그걸 한글로 번역하라고 하는 경우 처참해질거 같아요...
왜냐면 게임 대사집들은 상황마다 구별이 되어있기는 해도, 그게 시간순이 아니라서...
즉, 엔딩 대사가 맨 앞, 초반 대사가 중간, 중반 대사가 끝에 있다면 진짜 처참해질거 같은데...
실제로 그런 게임들도 많고
@@user-xf3uq3jk7t이 케이스만 제한해서 보면 프롬프팅 기술로 해결할수 있어보입니다. 영어 문맥은 모델이 충분히 이해하니까 시간/스토리 순으로 먼저 나열하라는 프롬프트로 대사를 처리해놓고 그 다음에 번역을 돌리는 느낌으로 가면 되지 않을까요
세상이... 왜 이렇게 빠르게 변해가는겨.. ㅎㄷㄷㄷㄷ
온디바이스 좀더 다이어트하면 윈도우 PC에서도 돌릴수 있을정도로 내려올까...
사실상 지금 4090으로도 온디바이스 하나도 못돌리는데
고맙습니다
올해 나오는 아이폰은 판매율이 올라 갈려나?
마우스 패드 샀습니당~ 슈퍼땡스는 없더라구요
회로기판티랑 저항티 구매했어요.
담엔 에러님 얼굴붙은 티도 구매할수있음 좋겠네요😊
아이고 진심으로 고맙습니다!! 날이 더워지는데 잘 입으시길 빕니다! 저도 요즘 촬영할 때 주로 이것만 입네요 ㅎㅎㅎ
모바일 특성상 말로 기기 제어하는 걸텐데 될까? ㅋㅋ
영상에서도 댓글에서도 많이 배워갑니다!!
왜 굿즈 링크가 더보기란에 없죠?
셔츠구매완료.. 화이팅하세요 🎉
고맙습니다!! 헤헤 :)
llama3가 이기지않아여?
갤럭시 s25에는 gen4가 들어가고 온디바이스 ai로 로봇키트 입혀서, 내 핸드폰이 팔다리가 달려서 아장아장 나랑 같이 다녔으면 좋겠네. 고깃집에서 물도 따라주고 숫가락 젓가락도 좀 펴주고
2024년 5월 4일 토요일 오전 4시 20분
응? 방금전에 하나봤는데 고사이 또???
그냥 젬미나이 쓰면되는데 궂이 온디바이스를 가야되는 이유가 뭐임 폰 비싸데팔아먹는 용도밖에 없는데
메시지 검색 기능이나 제대로 구현해라...
AI의 먼 미래를 생각해보니 지금은 그냥 글자 떼고 있는 수준같음
마멘
다 된데요
애플이하면 이젠 다른곳도 다 가능함
로봇…. 온디바이스 AI…. 온다. 쵸비츠의 세계가
3.5수준=쓸게못됨
우리나라의 과학 유튜버는 죄다 99%이상 서양과학기술 영어 용어 썪어가면서 소개하는게 주다..
서양과학이 세상을 지배한다지만..우리는 그 반백년동안 뭐했냐.. 언제까지 종속되서 이런 유투버가 지껄이는 서양과학을 이해하려고 애써야하는지 모르겠다..
그 잘난 지성의 대학에 대학원을 나와도 용어하나 한국어로 만들지 못하고 서양용어를 줄줄히 지껄어야하는지 모르겠다..우리는 우리의 자존심 그런건 없는건가?
박가네 오상이시군요. 굳이 얼굴 숨기시지 않으셔도.
발표된것이 이제서야 3.5면 엄청 뒤쳐진것 같은데요
휴대폰 크기에 그게 돌아간다면 낮지만은 않습니다
온디바이스에서 3.5랑 유사한 성능이 나온다는 게 핵심이죠. 논문에서 아이폰으로 초당 12토큰 생성이 가능한 걸 증명했으니까요.
지금 온디바이스로 할 수 있는거 생각해보면 전세계에서 가장 앞서나갔다고 봐도 무방한데요
GPT5부터는 on device로는 엄두도 못 낼거에요 발열이랑 연산량이 모바일 기기로는 불가능할거기때문에
물론 온디바이스가 선호될만한점이 많긴하지만 한가지 우려되는건 .. 온디바이스는 개인의 재력에의해 갖출수있는 기기의 성능차이가 나고 그게 업무능력의 차이로 나버릴수있단점... 물론 이미 컴퓨터성능에따라 이미 업무능률의 차이는 나고있지만 제대로된 회사업무가 아닌이상 대부분은 별상관없고 유튜버등 동영산편잡할때나.. 그리고 그렇다해도 그렇게 엄청난 비용을 요구받지않음. 하자만 AI는 어떨지? AI는 개인의 업무뿐아니라 사생활과 애매한영역 여튼 거의 전영역에서 서포트가 가능할것. 심지어 개인적인 주식투자같은거도 AI를 활용할수있을지몰라. 이때 일반개인으로썬 감당하기함든 엄청난 장비를 갖추고 투자에나설지도 모르지. 자본주의가 빈익빈 부익부가 원래있는 온디바이스AI가 이러한 경향을 증폭하게될지도모른다는 생각이듬. 네트웍을 활용한경우는 그것도 돈을지불해야하지만 일정금액만 지불하면 비슷한 결과값을 얻을수있어서 오히려 모두에게 평등한면이있다면 온디바이스는 어느정도 개발된후에는 어떤사람은 컴퓨터 수십대분을 연결해서 개인적으로 AI를 활용해서 돈을벌수도있을듯.
온디바이스ai라고해서 기존 chatgpt, gemini다를게 없음. 쓸데 없는 걱정이지 왜냐면 이미 거대모델도 개인이 충분히 쓸 수 있기때문.
빈인빅 부익부는 문명이 생겼을때부터 지금까지 이어지는거라 우려 할 건덕지가 없는데용
그런걱정음 40년전부터 했어야지 이제와서 뭔 ㅋㅋ