Evaluate LLM Systems & RAGs: Choose the Best LLM Using Automatic Metrics on Your Dataset

Поделиться
HTML-код
  • Опубликовано: 27 окт 2024

Комментарии • 3

  • @venelin_valkov
    @venelin_valkov  4 месяца назад +2

    Full-text tutorial (requires MLExpert Pro): www.mlexpert.io/bootcamp/llm-evaluation

  • @Cyberspider76
    @Cyberspider76 4 месяца назад +1

    Excellent explanation and presentation! Well done Sr!

  • @unclecode
    @unclecode 4 месяца назад +1

    Perfect. Content like this reminds me subscribing to your channel and website was a good decision. I'm curious to dig into the prompt they used for their metrics. I checked their documentation, and it allows defining custom metrics. That is something really useful, I will share your video in my X (twitter) account, thx.

Следующие
Автовоспроизведение
LLM JSON Output - Get Valid JSON with Pydantic and LangChain Output Parsers13:51LLM JSON Output - Get Valid JSON with Pydantic and LangChain Output Parsers
LLM JSON Output - Get Valid JSON with Pydantic and LangChain Output ParsersVenelin Valkov
Просмотров 2,4 тыс.
DeepSeek Coder v2: First Open Coding Model that Beats GPT-4 Turbo?14:09DeepSeek Coder v2: First Open Coding Model that Beats GPT-4 Turbo?
DeepSeek Coder v2: First Open Coding Model that Beats GPT-4 Turbo?Venelin Valkov
Просмотров 2,6 тыс.
Build Better RAGs with Contextual Retrieval20:46Build Better RAGs with Contextual Retrieval
Build Better RAGs with Contextual RetrievalVenelin Valkov
Просмотров 1,7 тыс.
Jimmy and Jey Uso reunite after ripping gold from The Bloodline: SmackDown highlights, Oct. 25, 202401:36Jimmy and Jey Uso reunite after ripping gold from The Bloodline: SmackDown highlights, Oct. 25, 2024
Jimmy and Jey Uso reunite after ripping gold from The Bloodline: SmackDown highlights, Oct. 25, 2024WWE
Просмотров 2,2 млн
Adopted by HORROR SPRUNKI in Minecraft!25:15Adopted by HORROR SPRUNKI in Minecraft!
Adopted by HORROR SPRUNKI in Minecraft!TeeVee
Просмотров 222 тыс.
Diggy Graves - Red Vineyard [Official Lyric Video]03:21Diggy Graves - Red Vineyard [Official Lyric Video]
Diggy Graves - Red Vineyard [Official Lyric Video]Diggy Graves
Просмотров 529 тыс.
BLACK'S SAD ORIGIN STORY! Incredibox Sprunki Animation16:40BLACK'S SAD ORIGIN STORY! Incredibox Sprunki Animation
BLACK'S SAD ORIGIN STORY! Incredibox Sprunki AnimationHornstromp Games
Просмотров 2,3 млн
Situational Awareness: From GPT-4 to AGI | Compute, Algorithms & Unhobbling by OpenAI Ex-Employee42:33Situational Awareness: From GPT-4 to AGI | Compute, Algorithms & Unhobbling by OpenAI Ex-Employee
Situational Awareness: From GPT-4 to AGI | Compute, Algorithms & Unhobbling by OpenAI Ex-EmployeeVenelin Valkov
Просмотров 1,2 тыс.
Coding tutorial: RAG with LangChain and Llama328:46Coding tutorial: RAG with LangChain and Llama3
Coding tutorial: RAG with LangChain and Llama3YanAITalk
Просмотров 521
Evaluate LLMs with Language Model Evaluation Harness26:19Evaluate LLMs with Language Model Evaluation Harness
Evaluate LLMs with Language Model Evaluation HarnessAI Anytime
Просмотров 4,9 тыс.
SQL AI Agents: Analyze Relational Databases with Natural Language using Llama 3 (LLM) and CrewAI19:22SQL AI Agents: Analyze Relational Databases with Natural Language using Llama 3 (LLM) and CrewAI
SQL AI Agents: Analyze Relational Databases with Natural Language using Llama 3 (LLM) and CrewAIVenelin Valkov
Просмотров 7 тыс.
LLM Function Calling (Tool Use) with Llama 3 | Tool Choice, Argument Mapping, Groq Llama 3 Tool Use27:26LLM Function Calling (Tool Use) with Llama 3 | Tool Choice, Argument Mapping, Groq Llama 3 Tool Use
LLM Function Calling (Tool Use) with Llama 3 | Tool Choice, Argument Mapping, Groq Llama 3 Tool UseVenelin Valkov
Просмотров 2,9 тыс.
Fine-Tuning Llama 3 on a Custom Dataset: Training LLM for a RAG Q&A Use Case on a Single GPU33:24Fine-Tuning Llama 3 on a Custom Dataset: Training LLM for a RAG Q&A Use Case on a Single GPU
Fine-Tuning Llama 3 on a Custom Dataset: Training LLM for a RAG Q&A Use Case on a Single GPUVenelin Valkov
Просмотров 24 тыс.
Flux-1 (Dev) - Photorealistic Image Generation | LoRA adapter(s), Tutorial on Google Colab17:06Flux-1 (Dev) - Photorealistic Image Generation | LoRA adapter(s), Tutorial on Google Colab
Flux-1 (Dev) - Photorealistic Image Generation | LoRA adapter(s), Tutorial on Google ColabVenelin Valkov
Просмотров 3,3 тыс.
Session 7: RAG Evaluation with RAGAS and How to Improve Retrieval37:21Session 7: RAG Evaluation with RAGAS and How to Improve Retrieval
Session 7: RAG Evaluation with RAGAS and How to Improve RetrievalAI Makerspace
Просмотров 20 тыс.
Почему РОБЕРТ ТАК БЫСТРО ПОСТУЧАЛ? #мма00:36Почему РОБЕРТ ТАК БЫСТРО ПОСТУЧАЛ? #мма
Почему РОБЕРТ ТАК БЫСТРО ПОСТУЧАЛ? #ммаТайна ММА
Просмотров 628 тыс.
🎙А НЕ СПЕТЬ ли мне ПЕСНЮ?🕺🏼3:06:10🎙А НЕ СПЕТЬ ли мне ПЕСНЮ?🕺🏼
🎙А НЕ СПЕТЬ ли мне ПЕСНЮ?🕺🏼Саша Квашеная
Просмотров 1,1 млн
Я ПЕРЕЖИЛ 10 СТАДИЙ ЯДЕРНЫХ КРИПЕРОВ В МАЙНКРАФТ!41:35Я ПЕРЕЖИЛ 10 СТАДИЙ ЯДЕРНЫХ КРИПЕРОВ В МАЙНКРАФТ!
Я ПЕРЕЖИЛ 10 СТАДИЙ ЯДЕРНЫХ КРИПЕРОВ В МАЙНКРАФТ!ZeeMan
Просмотров 550 тыс.
Думайте сами блин18:15Думайте сами блин
Думайте сами блинValera Ghosther
Просмотров 633 тыс.
Каха и лужа #непосредственнокаха00:15Каха и лужа #непосредственнокаха
Каха и лужа #непосредственнокахаК-Media
Просмотров 660 тыс.
Подземелья Чикен Карри #31 Культ Кракена (Гоген Солнцев, Бортич, Копейкин, Гудков, BRB)2:02:22Подземелья Чикен Карри #31 Культ Кракена (Гоген Солнцев, Бортич, Копейкин, Гудков, BRB)
Подземелья Чикен Карри #31 Культ Кракена (Гоген Солнцев, Бортич, Копейкин, Гудков, BRB)Чикен Карри
Просмотров 653 тыс.
SOUTH KOREA AND NORTH KOREA HOLD THEIR BREATH 🇰🇷 🇰🇵 #countryhumans00:14SOUTH KOREA AND NORTH KOREA HOLD THEIR BREATH 🇰🇷 🇰🇵 #countryhumans
SOUTH KOREA AND NORTH KOREA HOLD THEIR BREATH 🇰🇷 🇰🇵 #countryhumansStateHuman
Просмотров 732 тыс.
REAL MADRID 0 vs 4 FC BARCELONA | EL CLÁSICO | LALIGA 2024/25 MD1103:05REAL MADRID 0 vs 4 FC BARCELONA | EL CLÁSICO | LALIGA 2024/25 MD11
REAL MADRID 0 vs 4 FC BARCELONA | EL CLÁSICO | LALIGA 2024/25 MD11FC Barcelona
Просмотров 5 млн