AppleシリコンでLLMを最適化!MLXによるLLMファインチューニング解説

Поделиться
HTML-код
  • Опубликовано: 30 янв 2025

Комментарии • 6

  • @kazunaritanaka9227
    @kazunaritanaka9227 День назад

    いつも興味深く拝見しています。ありがとうございます。質問がありまして、①LM Studioとollamaはどう使い分けていますか?②LLMモデルデータは外部SSDとかに入れたりしてますか?入れられるんでしょうか?(いろいろ入れると内部ストレージ圧迫すると思うので。このチャンネル見てMac mini欲しくなって買いました)

    • @technavi_tooru
      @technavi_tooru  День назад +1

      コメントありがとうございます!
      Ollamaはオーバヘッドが少ないのでパフォーマンスが必要な時に使ったりしてます。LMstudioはGUIが綺麗なので動画でよく使ってます。APIなどを使うのであればOllamaで十分かと思います!
      External storageは可能です。しかしInternal driveへのアクセスが早いのでもしExternal storageにllmを置いたらToken/secが遅くなると思います。新しくて早いThunderbolt 5が出てますがHarddiskがすごく高いかなと思います😭

    • @kazunaritanaka9227
      @kazunaritanaka9227 8 часов назад

      @@technavi_tooru ありがとうございます。とりあえずAI用なので、ollamaをinternal driveでセットアップしました。ctrl+cがCmd+cだったりしてMac苦戦中です。wどうしてもメインで使うことになったら慣れることにします。このチャンネルで紹介されていたようにRTX4090の1/4くらいのパフォーマンスぽいですね。私の使い方では、サブ環境としてはアリです。

  • @kenji64568
    @kenji64568 18 дней назад +1

    聞き逃していたらすみません。実行しているMacのSpecは何でしょうか?

    • @ayago-g1g
      @ayago-g1g 18 дней назад +3

      4:55

    • @kenji64568
      @kenji64568 18 дней назад +1

      @@ayago-g1gありがとうございます