Делаю 45000 уникальных статей в сутки. Как выжать все соки из GPT API ? Laravel очереди и Horizon.
HTML-код
- Опубликовано: 1 окт 2024
- Будни программиста.
Стэк: Laravel, jobs, docker, postgress, gpt Api, horizon
Генерирую англоязычный контент со скоростью 45000 текстов в сутки.
Консультирую по IT стартапам, беру заказы по программированию.
Обучаю тому, что знаю
Все круто, но очень тихий звук.
Разве? Пробовали громкость прибавить на вашем устройстве?
Я с телефона слышу, а телефон в другом конце комнаты лежит
Задумался о том, что можно улучшить. Такой подход позволяет распределять запросы только внутри одной задачи(скрипта). Если заюзать простой Leaky bucket, и хранить его значения где-то вне скрипта. То можно будет запускать разнотипные задачи с разных процессов и потоков, при этом соблюдая лимиты.
Horizon в Laravel позволяет настраивать различные очереди, без какого то лимита. В каждой очереди могут быть свои правила на их выполнения
@@alexe7861 Тут вы совершенно правы. Тогда зачем sleep'ы, наверняка очередь сама умеет паузы выжидать.
@@kuzminroman9440очередь не имеет настройки принудительного замедления выполнения jobs, поэтому только так.
Но суть моего послания в видео была в том, что такими тонкими настройками можно выжимать по полной всё что даёт АПИ