Wow, Panowie, przepięknie zrealizowany tutorial. Nie dość, że "od zera do bohatera", to jeszcze nie zapomnieliście o zabezpieczeniu endpointu. I nawet cenowo ten g5.xlarge w AWS wychodzi całkiem znośnie, piątak za godzinę to uczciwa cena 🙂
Ale idealnie trafiliście! Sam planowałem postawić Bielika w chmurze, żeby się nim pobawić (i przy okazji poduczyć, jak z technicznego punktu widzenia najlepiej to zrobić). A z Waszym filmem i materiałami będzie to o wiele prostsze! Dzięki, że robicie takie materiały :D PS: Bielik 🦅
Masz na myśli fine tuning z własnymi danymi? Raczej w tym przypadku sugerowałbym podejście typu RAG (Retrieval Augmented Generation) - czyli używasz model instruct, a swoje dane umieszczasz jako część prompta. Dane muszą być wcześniej zwektoryzowane, a ich znalezienie odbywa się przez porównanie podobieństwa wektora "zapytania" do wektora "dokumentu". Opowiadamy o tym podejściu w naszym filmiku "Zbuduj z nami Chatbota QA z LLM"
Da się, pamiętając o tym, że Ollama jest nastawiona bardziej na uruchomianie modeli do potrzeb lokalnych, a nie serwerowych, tak jak wykorzystany przez nas vLLM.
Wow, Panowie, przepięknie zrealizowany tutorial. Nie dość, że "od zera do bohatera", to jeszcze nie zapomnieliście o zabezpieczeniu endpointu. I nawet cenowo ten g5.xlarge w AWS wychodzi całkiem znośnie, piątak za godzinę to uczciwa cena 🙂
Dzięki 🫶🏻
Film o polskim LLMie? Nie muszę włączać a już klikam like. POLSKA GUROM
Kibicuję! Pomyślności panowie !
Dzięki ☺
Super przedstawione, mega ciekawy materiał. Fajnie, że jednak coś jest w naszym ojczystym języku. Bielik!
Dzięki!
🎉bielik!
Ale idealnie trafiliście! Sam planowałem postawić Bielika w chmurze, żeby się nim pobawić (i przy okazji poduczyć, jak z technicznego punktu widzenia najlepiej to zrobić). A z Waszym filmem i materiałami będzie to o wiele prostsze! Dzięki, że robicie takie materiały :D
PS: Bielik 🦅
Dzięki, bardzo nam miło!
Po co się męczyć, masz przecież LM Studio lub Jan i model skwantyzowany w formacie GGUF, uruchomisz zapewne na swoim kompie.
@@asqu Do zabawy lokalnie jak najbardziej. My pokazujemy wdrożenie serwerowe.
Bielik. 👍👍
Mi by się przydała wersja small Q4 np. 1B/1.5B/2B/2.5B/3B by uruchomić ją na telefonie np. w aplikacji ChatterUI
Czy da się to uruchomić na rtx 3060 na laptopie?
Czy Bielika można wcześniej nakarmić danymi aby był czymś w rodzaju "bazy wiedzy"?
Masz na myśli fine tuning z własnymi danymi? Raczej w tym przypadku sugerowałbym podejście typu RAG (Retrieval Augmented Generation) - czyli używasz model instruct, a swoje dane umieszczasz jako część prompta. Dane muszą być wcześniej zwektoryzowane, a ich znalezienie odbywa się przez porównanie podobieństwa wektora "zapytania" do wektora "dokumentu". Opowiadamy o tym podejściu w naszym filmiku "Zbuduj z nami Chatbota QA z LLM"
@@ml-workout Tak, dzięki. Juz odpalam film!
bielik
Da sie to "obsluzyc" poprzez ollame?
Da się, pamiętając o tym, że Ollama jest nastawiona bardziej na uruchomianie modeli do potrzeb lokalnych, a nie serwerowych, tak jak wykorzystany przez nas vLLM.
Bielik
Bielik