047. Как запустить LLM (generative AI) на AWS

Хотите понять, как работать с большими языковыми моделями в облаке AWS? В этом выпуске мы пригласили Рустема (Rustem Feyzkhanov) - специалиста по машинному обучению и AWS Hero. Мы подробно разобрали разные варианты деплоя LLM:
•Amazon Bedrock - сервис для быстрого запуска популярных моделей
•Amazon SageMaker JumpStart - кастомные модели в пару кликов
•Hugging Face Estimator - доступ к библиотеке моделей Hugging Face
•Развертывание в контейнерах ECS и на GPU-инстансах EC2
•AWS Lambda - какие особенности надо учесть при таком запуске
С чего начать, что выбрать под свой кейс, как оптимизировать затраты - ответы в подкасте.
Слушайте, пробуйте!
Ссылки упомянутые во время подкаста:
• Слайды с Реинвента www.dropbox.co...

• Пример Mistral 7B на SageMaker JumpStart aws.amazon.com...

• Использование HuggingFace для деплоя моделей на SageMaker huggingface.co...

• Использование AWS Lambda для хостинга Mistral 7B aws.plainengli...

• Использование ECS Fargate для хостинга LLAMA 2 aws.plainengli...

• Hugging face Inferentia 2 huggingface.co...