【大模型部署】- Ollama部署Qwen2及llama.cpp补充

Поделиться
HTML-код
  • Опубликовано: 13 янв 2025

Комментарии • 2

  • @jackyzhang4853
    @jackyzhang4853 4 месяца назад

    Qwen2 72B 在ollama能正常跑吗?应该是乱码

    • @echonoshy
      @echonoshy  4 месяца назад

      llama.cpp
      Warning
      You need llama.cpp>=b3370.
      Download our provided GGUF files or create them by yourself, and you can directly use them with the latest llama.cpp with a one-line command:
      ./llama-cli -m -n 512 -co -sp -cnv -f prompts/chat-with-qwen.txt