공유된 노트북 상에서 기존 패키지 (pip : package install for Python) 에서 라이브러리 끼리 충돌이 발생하여 아래 영상 참고하세요! 코드 수정반영함) trl (Transformer Reinforcement Learning) 라이브러리 안에 있는 dataset 라이브러리가 필요합니다! dataset 만 맞추고 pyarrow를 다시 12버전으로 바꾸어도 되긴합니다! (일부 추가 영상 제작해서 좀 다듬어야 겠네요..) ruclips.net/video/S-ExB3zf_nE/видео.html
네 안그래도 공유된 노트북 상에서 일부 수정 등이 보여서 관련 수정코드 다시 공유 했습니다! 아래 영상 참고요! trl (Transformer Reinforcement Learning) 라이브러리 안에 있는 dataset 라이브러리가 필요합니다! dataset 만 맞추고 pyarrow를 다시 12버전으로 바꾸어도 되긴합니다! (일부 추가 영상 제작해서 좀 다듬어야 겠네요..) ruclips.net/video/S-ExB3zf_nE/видео.html
![일반 기업이 LLM기반 AI개발 하려면? LLMOps vs MLOps [ 세미남282@토크아이티, 데이터이쿠 홍용민 부사장]](http://i.ytimg.com/vi/h6dNiR-C1t4/mqdefault.jpg)
감사합니다. 코딩의 코자도 모르는 아무개가 2일 전에 무작정 파인튜닝하려고 맨땅에 헤딩했다가 큰코 다치고, 교수님 영상 보고 겨우 따라만 가고 있네요. 라마3 모델 파인튜닝 성공을 목표로 열심히 영상 따라가보겠습니다.
최고의 강의입니다. ~ 하나 첨언을 드리자면, from datasets import Dataset 구문을 실행시 datasets가 미설치된 경우에는 에러가 발생하는데, 사전에 !pip install datasets 를 실행하면 됩니다.(이미 설치된 환경은 생략)
감사합니다! 그냥 만들어진거 쓴거라서 첨언 감사합니다^^
흥미롭게 잘 봤습니다 교수님. 감사합니다
감사합니다^^ 인공지능 분야는 매년 새로운게 나오니깐.. 흥미로운게 많아요 ㅎㅎ
저장 모델 불러오기 솔라 말고 라마 기준으로 정리된 코드는 없을까요?
혹시 윈도우에는 아직 라마2가 지원이 안되나요??
강의용 ppt 파일은 받을 수 없나요?
교수님 영상 감사합니다. 교수님 코드를 토대로 학습을 다 시키고 config.json, safetensors까지 저장을 마쳤는데 모델을 불러와서 테스트 문장에 대해서 generate를 시키고 싶은데 모델을 어떻게 불러와야하나요?
안녕하세요 추가로 저장모델 불러오기 및 확인코드를 같이 공유했습니다~!
[** 2024년 6월 19일자 기준 코드 업데이트]
파인튜닝 모델 소스: vo.la/xffJM
저장모델 불러오기 및 확인: vo.la/AckFW
공유된 노트북 상에서 기존 패키지 (pip : package install for Python) 에서 라이브러리 끼리 충돌이 발생하여
아래 영상 참고하세요! 코드 수정반영함)
trl (Transformer Reinforcement Learning) 라이브러리 안에 있는 dataset 라이브러리가 필요합니다!
dataset 만 맞추고 pyarrow를 다시 12버전으로 바꾸어도 되긴합니다! (일부 추가 영상 제작해서 좀 다듬어야 겠네요..)
ruclips.net/video/S-ExB3zf_nE/видео.html
계속 from datasets import Dataset여기서 오류가 뜨는데 어떻게 고쳐요..?ㅠ
네 안그래도 공유된 노트북 상에서 일부 수정 등이 보여서 관련 수정코드 다시 공유 했습니다!
아래 영상 참고요!
trl (Transformer Reinforcement Learning) 라이브러리 안에 있는 dataset 라이브러리가 필요합니다!
dataset 만 맞추고 pyarrow를 다시 12버전으로 바꾸어도 되긴합니다! (일부 추가 영상 제작해서 좀 다듬어야 겠네요..)
ruclips.net/video/S-ExB3zf_nE/видео.html
아직 초보자라서 너무 기초적인 질문일수도 있습니다.. 혹시 허깅 페이스를 왜 꼭 사용해야하는지 이유를 알고싶습니다. 모델에다가 바로 자신의 커스텀데이터를 쓰지 않고, 왜 허깅페이스에 json으로 변환된 데이터를 올려놓는건가요?
허깅페이스로 데이터 관리하는거는 나중에 편하게 호출해서 쓰고 데이터의 히스토리 및 호출된 내역 관리등을 하기 위해서 입니다!
깃허브라고 코드를 관리하듯 허깅페이스를통해 본인의 모델 및 학습데이터를 효과적으로 관리하기 위함 이게 답변이 될듯 합니다!
최근에 LLAMA3가 나온 것 같은데, 라마3를 사용하려고 해도 코드는 동일하게 진행하면 될까요?
네 라마3모델도 로라방식으로 튜닝하여 같습니다. 다만 거의 비슷한데 최근 파인튜닝을 조금효율적으로 하는 기술이 나온게 있어서 관련 테스트 중인데 끝나면 영상 공유예정 입니다!
제가 sst와 tts를 해당 커스텀 모델에 적용하고 싶은데..
음성 텍스트 변환 API를 해당 모델에 결합시키는게 가능한가요?
네 가능합니다. 이미 영상등도 객체탐지후 tts(구글tts등)과 텍스트를 말하게 하는 부분 등이 가능합니다!
데이터 관리 소스: vo.la/TjYwn
모델 소스: vo.la/xffJM
샘플데이터 위치: vo.la/RjZCA
혹시 한국말은 지원 안하나요?
지원합니다! 정확히는 기본 베이스 모델을 바꿔야 합니다. 파트3한국어 학습 보시면 잘 대답하긴 합니다!
감사합니다 !
기본 베이스 모델 바꾸는거는 파트3 보면 되는거죠 ?
유용한데 편집을 전혀 하지 않으셨네요 ,