Ollama + n8n 연동으로 로컬 AI | Llama3.2 vs Gemma2 이미지 분석

Поделиться
HTML-код
  • Опубликовано: 11 янв 2025

Комментарии • 10

  • @테라마임
    @테라마임 2 месяца назад

    덕분에 즐겁게 배우고 감사하고 있습니다.

  • @ship9136
    @ship9136 23 дня назад

    안녕하세요!! 영상 너무 잘보았습니다~ 로컬에서 학습시킨 llama 모델을 n8n에 연동해서 챗봇으로 보여주고 싶었는데, 딱인 영상을 찾았습니다!! 너무 감사합니당!
    그리고 혹시 마지막에 304 에러 해결하는 영상도 올리실 계획이신가요~? 감사합니다~!

  • @플렉스-g9y
    @플렉스-g9y 2 месяца назад +2

    좋은 정보 늘 감사드립니다. (목소리도 좋으신데 조금 컸으면 좋겠어요^^)

  • @김상진-y9n
    @김상진-y9n 2 месяца назад

    좋은 영상과 설명감사합니다. 혹시 ollama 외부 포트 여는 방법에 대해 조금 더 설명해주실 수 있으실까요?... 완전 초보라 간단한 부분인거 같은데 어렵네요...ㅠㅠ

    • @뒷방늙은이-b6w
      @뒷방늙은이-b6w  2 месяца назад

      영상을 다시 봤는데 편집하면서 삭제 됐나 봅니다.
      ngrok http 11434 --host-header="localhost:11434"
      이 부분 ngrok 프로그램에 입력하시면 외부에 접근 가능 합니다.
      ㅡㅡㅡㅡ
      # 상황
      A : n8n이 설치 된 컴퓨터, B : Ollama 가 설치 된 컴퓨터
      우선 상황은 A,B 두 대의 컴퓨터가 있다는 것을 가정하고 진행합니다.
      # 목표
      결국 A가 B의 Llama 모델을 가져와서 어떠한 작업을 하는 것 이므로 A가 B의 Llama에 접근 할 수 있어야 하며 접근 할 수 있는 방법이 "A가 B의 localhost:11434에 접근할수있어야 한다" 입니다.
      # 과정
      n8n의 Ollama Model Node는 Ollama에 담긴 Llama 모델을 사용하기 위해 localhost:11434 의 주소를 요청 하고 있습니다.
      그래서 만약 A 컴퓨터에 AI 모델이 설치돼 있는 상황 이라면, localhost:11434를 사용해야 됩니다.
      하지만 모델을 외부 환경인 B에서 가져와야 하므로 B의 localhost:11434 를 접근 해야 하며, "B는 외부에서 접근 가능한 주소"를 A 한테 알려줘야 합니다.
      # 외부 접근 주소 생성 - "B는 외부에서 접근 가능한 주소"
      외부에서 접근 가능하게 하는 방법은 DDNS, 포트포워딩 등등 여러가지 방법이 있지만 저는 https 통신까지 자동으로 지원해주는 ngrok 라는 프로그램을 사용했습니다. 앞의 방식들을 사용하면 보통 http 로 접근 하게 되며 https는 추가적으로 또 설정해줘야 하고 https 가 아니면 보안 문제로 인해 주소에는 접근이 가능하지만 기능(Ollama) 을 사용하지 못 하는 경우가 많습니다.
      00:42 ~ 03:18 까지는 B 에서 진행한 것이며
      그 이후 부터는 A 에서 진행한 내용입니다.
      # 포트 여는 부분
      ngrok http 11434 --host-header="localhost:11434"
      --host-header="localhost:11434"가 없으면 Ollama 는 localhost에서만 접근이 가능하다 하여 에러가 발생해서 추가됐습니다.

  • @플렉스-g9y
    @플렉스-g9y 2 месяца назад

    PS C:\Users\User> ollama run x/llama3.2-vision:11b
    Error: llama runner process has terminated: exit status 0xc0000409
    RTX 4080 super 인데 이런 에러가 나네요^^

    • @뒷방늙은이-b6w
      @뒷방늙은이-b6w  2 месяца назад

      이 에러는 주로 버전 호환성 문제로 발생하며 버전 변경으로 해결되는 경우가 많습니다.(아래 커뮤니티 내용)
      1. 버전 문제
      - llama3.2-vision:11b 모델은 Ollama 0.4.0 버전에서만 실행 가능
      - Assets 메뉴가 기본적으로 접혀,닫혀있어서 실수로 v0.3.14를 다운받기 쉬움 꼭 눌러서 0.4.0으로 다운로드했는지 확인
      - Ollama 0.4.0 버전으로 재설치 필요
      2. 해결 순서
      1) Ollama 삭제
      2) Ollama 0.4.0 버전으로 재설치
      3) 문제 지속 시:
      - 관리자 권한으로 실행
      - 더 작은 모델 시도Llama 3.2 (1B/3B)
      ollama.com/library/llama3.2:1b
      # 참고: 4070Ti의 GPU 메모리 : 12GB
      # 커뮤니티 내용
      github.com/ollama/ollama/issues/4457
      appfordown.co.uk/error-llama-runner-process-has-terminated-exit-status-0xc0000409/
      summerorange.tistory.com/entry/Error-llama-runner-process-has-terminated-exit-status-0xc0000409-ollama-run-gemma2

    • @뒷방늙은이-b6w
      @뒷방늙은이-b6w  2 месяца назад +1

      혹시 해결 되셨나요?

    • @테라마임
      @테라마임 2 месяца назад

      @@뒷방늙은이-b6w 와우 감사합니다. ollama 버전업하고 해결되었습니다. 꾸벅~

  • @장규범-b1n
    @장규범-b1n 2 месяца назад

    안자냐