Od umělého neuronu k ChatGPT (Jan Hrach)

Přednáška na konferenci InstallFest 2024
(installfest.cz...)
Abstrakt:
Velké jazykové modely (Large language model, LLM) vyvolaly v posledním roce velkou bouři i mezi laickou veřejností. Jejich využití pro řešení všemožných úloh je vskutku impozantní. Na jednoduchých příkladech si ukážeme, jak funguje neuronová síť a jak se učí. Na řešení problému rozpoznávání obrázků (kde se to lépe ukazuje) si ukážeme základní koncepty a vývoj. Potom už přejdeme k jazykovým modelům. Představíme si, k čemu to vlastně bylo a je dobré, a ukážeme si několik vzorových úloh, na kterých se jazykové modely vyhodnocují, jako je například Winograd schema challenge. Vysvětlíme si zásadní průlomy, které postupně vedly od jednoduchých jazykových nástrojů k nejnovějším systémům jako ChatGPT a GPT-4 - kódování vstupu pomocí word2vec a byte pair encoding, rekurentní sítě s attention, transformers, prompt engineering, RLHF. Zmíníme si limitace současných LLM a nahlédneme do budoucnosti, jak se některé z nich možná budou řešit. Na závěr odstoupíme od čistě technického popisu a zamyslíme se nad vývojem a bezpečností AI.
Vyrobilo AVC Silicon Hill, 2024.