Пишем веб-аналитику на Go и Python c Redis. Выбор архитектуры, обзор инструментов и кода
HTML-код
- Опубликовано: 22 май 2024
- Мой курс «Хардкорная веб-разработка» - course.to.digital
Книжный клуб Ботаним!, где мы читаем хорошие ИТ-книги: botanim.to.digital/
Telegram: t0digital.t.me
Сказать спасибо за это видео можно здесь - boosty.to/digitalize.team
Рассмотрим в этом выпуске реализацию несложной системы веб-аналитики на Go + Python с использованием in-memory базы данных Redis и, конечно, PostgreSQL. Поговорим об выбранном инструментарии, рассмотрим код и обсудим подходы к разработке.
0:00 О чем пойдет речь
1:02 Наши требования к системе веб-аналитики
2:20 RPS с Django, Fast API и Go серверами
3:41 Почему Redis? Обзор архитектуры
7:20 Смотрим код Go сервера
18:16 Смотрим код Python модуля
19:58 Выводы
/****************** about ******************/
Меня зовут Алексей Голобурдин, я программирую с 2004 года и на этом канале делюсь своим опытом. Я основатель и руководитель компаний:
- Диджитализируй digitalize.team, разрабатываем сложные IT системы для бизнеса;
- Salesbeat salesbeat.pro, комплексный модуль доставки для интернет магазинов.
Если у вас есть проект на разработку, пишите нам на hi@digitalize.team.
С другими предложениями, а также если вам нужна одна или несколько индивидуальных консультаций/уроков по разработке (3000 руб/час), пишите мне на alexey@salesbeat.pro.
Telegram канал - t.me/t0digital
ВК - digitalize.team
RuTube - rutube.ru/channel/24802975/ab...
Дзен - dzen.ru/id/6235d32cb64df01e6e... 
Кино
Спасибо за то, что поделились интересным опытом.
Это свершилось!
Специалист, который доходчиво объясняет и пишет на языке, который я люблю и использую в работе, использовал и показал как именно технологию, которая мне интересна и которую хочу изучить. Большое спасибо!
Побольше бы роликов о таком взаимодействии этих двух технологий
Спасибо! Да, планирую делать материал и по Python, и по Go
Ещё со школы помню правило, «кто ясно мыслит, тот ясно излагает» это про вас @Didgitalize
@@evgeniykuts6756 спасибо:)!
Привет! Если ищешь материал по Go, заходи ко мне на канал) Я недавно начал публиковать, но на очереди уже стоит огромное количество тем которые я буду раскрывать в дальнейших роликах)
Ну наконец то, Алексей, ты добрался до Golang! Счастью нет предела!
Ждем массы материалов по Golang, т.к. твои видео очень приятно смотреть! Именно не синтаксис и прочие неинтересности, а где и как его можно применить. Golang + RabbitMQ, Golang + Kafka, Golang + gRPC, Golang + QUIC и прочие интересные связки. Ну и решение каких-то практических задач с помощью Golang. В общем продолжай в том же духе!
P.S. многие наверняка уже написали про panic :)
Спасибо Алексей, ролик отлично помог моему пониманию "а в каких случаях/для чего/как" можно использовать Go c веб-проектами.
В golang не надо использовать panic, верни ошибку. Тем более без defer. Потом pattern matching в golang хорош, лучше перейти на него if-else глаз режет. Ну и я не понял зачем скрипт на удаве, можно запустить горутину и делать раз минуту то, что нужно для выгрузки в базу, тем более, что у таймера есть канал, в который приходит сообщение тика. Ещё бы я подумал над тем, что статистика с разными типами данных приходила в разные обработчики, тогда логика хендлера будет проще. А вообще молодец, что изучаешь и применяешь что-то новое)
Что подразумевается под pattern matching в golang?
@@killers512 если просто, то switch в golang умеет много.
Какой в го паттерн матчинг?
Подписываюсь под каждым словом vladimirezh
. Лично у нас на проекте panic вообще запрещено использовать. Сервис будет падать нонстоп. При старте main перед Serve и правда можно завести тикер (функция NewTicker из стандартной либы time) и стартануть отдельную горутину. Компилировать исходники лучше на всякий случай прямо на сервере или в докере в аналогичном окружении. WriteSuccessfullResponse / WriteUnsuccessfullResponse лучше вынести в defer, чтобы не дублировать. Не совсем понятно зачем из Find возвращать индекс, если при единственном вызове функции значение индекса игнорируется (_). Ну и switch, да. А вообще для практики проект прекрасный, однозначно лайк.
@@vladimirezh Уточни плиз, что switch может, я уже инет перешерстел и ничего интересного не нашел
Очень круто, лойс, делай еще. Приятно смотреть и вникать!
обожаю такие видосы с разбором практических кейсов, всегда что-то выношу для себя
Рад, что полезно!
Спасибо! Хотелось бы больше подобных решений реальных задач
Это был самый сочный код на Go. У меня даже пинг приподнялся
За голенг лойс:) интересно смотреть ролики, когда с умом выбираются инструменты
Спасибо!
Здравствуйте! Спасибо за вашу работу, вы невероятно круто и доходчиво все объясняете! Очень бы хотелось побольше видео о golang))))
Спасибооо! По Go планирую материалы, да
Очень круто) благодарю тебя !!!
Охрененное видео, спасибо большое
Спасибо за интересную подачу материала и приятные технологии. В свое время делали подобный велосипед на net core, потребовалась пара недель времени (махровый Энтерпрайз -- согласования, подключение ELK,, выдача виртуального сервера и пр.) Отдельная интересная задача была на стороне браузера посылать события пользователя (у нас часть действий никак не завязана на запросы к api, и мы использовали rxjs и buffer оператор для пакетной отправки данных раз в пару секунд, очень круто получилось снизить нагрузку. С интересом слежу за творчеством, хотя и ничерта не пишу на питоне.
Спасибо за работу, лайк!
Качество контента зашкаливает) Минимум воды, реальные прикладные вещи вместе с кодом и комментарием - это то что нужно людям.
Спасибо! Рад, что полезно
Вангую мы скоро увидим кучу видео по Go ;) Кучу комплиментов от питониста в сторону данного языка слышать приятно.
Отличное видео, бесценные комментарии. Спасибо!!!
Рад, что полезно!
Спасибо за интересные идеи. Тоже писал сервис аналитики на голэнге, но с прямой записью в БД, но у меня и нагрузка не такая, как у вас. Делал не на основе аякс запроса, а на основе подгрузки изображения 1х1пиксель с дополнительными гет параметрами.
За golang жирный "+", с нетерпением жду видео по нему
Весьма интересное видео, спасибо!
Спасибо!
Отличный материал!
Привет спасибо за видео уже который раз пересматриваю :) просто интересно твоё мнение какие преимущества есть у golang перед python и какие недостатки перед тем же python?
Для первой пробы и написанного за ночь хороший результат, местами чувствуется что по 'питонячески' написано, все же правду говорят что если понимаешь что делаешь то сделаешь на любом языке
Классно!
Дайте пожалуйста информацию по курсам! Уже за середину сентября перевалило, а обещали в начале месяца первый модуль...
Хай, большое спасибо за подобного рода видео.
Когда курсы? B будет ли там затронут GO?
Супер информативно
В FastAPI можно было бы использовать background tasks так как в случае веб аналитики на не важен сам ответ с сервера. Но все ровно больше 7.5k req/sec не поднимится.
Круто очень сам работаю в рекламной бирже. Все сервисы на Golang, python используем для парсинга статистики с других бирж. Полезный материал, спасибо!!! Когда уже курсы от вас будут? С удовольствием пойду, если там будет похожие вещи, не совсем уже для начинающих разработчиков.
Из Python обычно идут в Go, что и свершилось. ;) Ждём больше видео по этому языку. Сам перепрыгнув через Go понёсся в Rust. Тоже очень интересный язык, но сыроват и похоже не взлетит. Так что желание заняться Go серьёзнее сохранилось. К тому же для сетевых приложений он идеален. И на нём так же можно создавать сайты. Но похоже нет такого же мощного фреймворка как Django. Спасибо за видео.
А как нынче Go? А то он кажется тоже сыроватым в плане некоторых аспектов. А Раст всё же сыроват тоже остался?
Второе соображение по архитектуре, как уже правильно написали, редис тут может и ненужен, достаточно просто большого словаря в памяти прямо в go сервере, только надо незабыть его синхронизировать. И там же в go сервере задача раз в минуту все суммирует и складывает в postgres, вместо скрипта на python
Отличная информация , спасибо ! Захотелось освоить Golang , посоветуй пожалуйста книгу или курс по нему для начала ?
Спасибо большое! Коммент для продвижения :)
Спасибо!
если интересно на пайтоне все таки это реализовать, можно взять сборочку python + bjoern ( bjoern это wsgi сервер для python, вроде на плюсах написан и выдает тоже приличные результаты по rps )
Спасибо)
Задам вопрос, который меня когда-то заинтересовал. Я узнал о таком понятии как orm, то есть в питоне это как-бы приветствуется. Что думаете о таком подходе при работе с бд? То есть мы работаем как с моделью с peewee, нежели через psycopg2 .
В голанг тоже можно без запаривания 9:38 map[string]interface{}
Дальше говнокодишь:
eventCode := message.Data.(map[string]interface{})["event_code"].(string)
Круто! Пора садиться за Golang)
интересный язык, да
Ага, только работы по нему для джунов нет.
Заходи на мой канал, там сможешь найти материалы чтобы стартануть с Go)
keys у Redis имеет сложность O(n). Попробуйте использовать hincrby, тогда скрипт на питоне будет обращаться всего к двум ключам через hscan
Спасибо!
по надобности, если нужно увеличить рпс то посмотри в сторону go fasthttp
Давай больше Go!)
Постепенно будет больше Go, да
Я бы только в питоновском скрипте при подготовке запроса с форматированием строки использовал бы psycopg2 -> sql -> SQL. Он защищает строку от инъекций и иного рода неожиданностей. Хотя в данном случае это и не обязательно, но у меня работает уже как условный рефлекс :)
Go крутой) да))) и видос крутой) спасибо
Спасибо!
@@t0digital похоже , проектов на Golang станет больше ) Похоже , зашел те ЯП )))
@@mrbush1872 быстрый, конечно. Больший RPS - меньше серверов надо и бОльшую нагрузку тянем. Мы сейчас 10% выручки тратим на сервера, это овер дофига
@@t0digital интересно намного ли сложнее реализовать , то что можно сделать на Django ?...хотя по тех показателям в будущем будет выигришь
@@mrbush1872 пока не ответил себе на этот вопрос. В будущем поделюсь :)
Спасибо за видео! А реально передавать данные об юзере? Например, ip, браузер и гео?
Забавный язык, на работе в некоторых сервисах（пуш, чат, аналитика）использую, хотя в плане гибкости язык достаточно слабый, поддержки метапрограммирования как такового нет, рефлексия только но... это не то. Самое шикарное в языке это горутины и минимализм по сравнению с другими языками строгой типизации, ждем дженериков для большего удобства в го)
А для души я лично использую Rust )
Перед тем как читать r.Body, строчкой выше добавь defer r.Body.Close() иначе будет течь память
Пишем давно на го в компании. Юзаем grpc и go-micro для сервисов, а api gateway на echo пишем. Echo очень удобный фреймворк, лишает ненужной мороки
Спасибо за упоминания! Посмотрю
Алексей, я вот щас в смятении правильно ли я выбрал язык для изучения (Python) ?
Так много разговоров про растущую востребованность, скорость итд golang'а. И тут еще увидел ваш ролик про go..... Может сможете как-то помочь направиться туда куда нужно?)))) Цели у меня на будущее: веб приложения в основном
I'd like you to give us lessons on golang, ranging from simple to more complex
Где-то 6-7 минута - с гоу можно ж хранить данные сразу в оперативке веб сервера и оттуда писать батчи или агрегаты в базу. Зачем редис и скрипт на питоне?
А если для статы взять clickhouse (при условии, что подходит) будет ещё в разы веселее.
Рассматривали бы вы сейчас асинхронное решение на Python (скажем, AIOHTTP, Async FastAPI), вместо сервиса на Go?
связка Python/Go прекрасна
Да! Go скорость работы, Python скорость реализации
@@t0digital Лучше go + angular 😁
Лично мое мнение и мой фкус по поводу превьюхи видоса. Больше по душе прошлый стиль превьюх, глаз радуется
Очень крутые темы, спасибо.
А почему было не писать из го в какую-нибудь очередь по типу кафки? Дальше было бы удобно без кастылей (цикла по редису) складывать события из очереди в бд. Ну и бонусом получили бы историю всех событий и персистентность при необходимости
Алексей, подскажите, пожалуйста , на каких ресурсах изучаете Go?
Всё прикольно, но я бы советовал не использовать panic. Лучше возвращать error. Тогда тебе не придется ловить паники через recover
Супер! Очередное доказательство того что быстрее упираемся в скорость работы БД, чем в производительность языка. Однако вопрос: отчего на го параллельно нельзя писать в БД - типа очередями в удаве? Понятно, что производительность не будет такой же как с Redis, но даже в доке написано, что он только для некритических данных.
Нужно больше веба на го
Давай больше Go!!!
Будет Go:)
А как вы определяете момент обнуления счётчиков и перелив скриптом в базу? Как быть уверенным что в этот момент в Reids ничего не прилетит?
Getset отдаёт значение ключа и сбрасывает его за одну команду. И redis однопоточный, что удобно
Видео классные, очень нравятся, Спасибо!! Вот теперь еще и про Go узнал(точнее впервые код увидел на Go), заинтересовало) Но вот каждый раз я задаюсь вопросом: а где ссылка на github? Не знаю как другим, а мне интересно посмотреть код в редакторе после просмотра видео)
Мой код на go пока плохой, не хочу выкладывать. Как изучу язык нормально, буду выкладывать. Вы узнали про go, заинтересовались - цель этого видео достигнута:) продолжим о go в следующих видео
@@t0digital
Можно получить более конкретный фидбек, если его выложить на GitHub. Намного проще оставлять комментарии на конкретные строки кода, можно увидеть актуальную версию кода, тк многие проблемы, скорей всего, вы уже закрыли.
Спасибо за крутой видос!!!!
Что за чёрная штука справа? Что за часы и что за белая штука в руках ?))))
Спасибо! Справа колонка Harman Kardon Aura Studio 3. Часы Casio GA-2110SU-9A, я часовой маньяк, пополнил недавно мини коллекцию:) В руках текстовыделитель EDDING EcoLine 24, нравится тактильно и что-то выделить иногда приятно
ИМХО, есть 2 проблемы в такой архитектуре:
1. когда структура данных измениться или дополниться новыми полями/евентами, необходимо будет менять (и тестировать) 2 программы. Если будет баг, его скорее всего придется искать в двух местах.
2. данные не сохраняются в своем оригинальном виде (в котором AJAX их присылает), нет лога. Если завтра будет нужно изменить логику агрегации данных (подсчитывать что-то по другому) или выявится какой-то косяк в логике, эти скрипты невозможно прогнать ретроактивно, скажем, на все данные пришедшие с начала месяца. А значит изменения можно делать только для данных, которые придут потом.
Я бы сделал чтобы GO только писал пришедшие данные (как они есть) в конец кокого-нибудь yyyy-mm-dd.log файла и сразу возвращал 200 ОК. Максимально быстро и "тупо". Скорее всего в GO можно даже сразу вернуть 200 и закрыть http соединение, а уже потом заниматься записью пришедших данных - будет еще быстрее для клиента.
Конечно получиться много мегабайтов на диске, но кто их считает в наши дни :)
И уже python скрипт занимался бы парсингом лог файлов и сохранением в БД. А агрегацию (подсчет различных каунтеров) я бы вынес еще в отдельный скрипт и делал бы это уже внутри БД - postgres справляется с такими задачами отлично.
Возможно вместо файлов можно использовать Kafka, как уже писали. Но Redis тут наверняка лишний.
Я обычно использую парсинг скрипты которые бегут из крона с определенной периодичностью (в зависимости от того, насколько актуальной должна быть статистика в отчетах). Эти скрипты каждый раз перерабатывают 2 последних yyyy-mm-dd.log файла: стирают данные за последние 2 дня в БД, парсят данные из файлов и заносят обновленные результаты за те же 2 дня обратно в БД (если данных прям "очень много", то можно использовать баффер в 2 часа). А потом, если нужно, данные агрегируются по дням, месяцам, или чему-то еще, и результаты заносятся в агрегационные таблицы (которые уже используются для отчетов). Это конечно не 100% эффективно, но надежно, тестируется, ошибки/недоработки всегда можно исправить и все пересчитать за любой период.
Привет
Мог не доглядеть какой-то кусок кода, да и прошло уже 2 недели (наверняка уже что-то исправлено), а что-то наверняка уже писали в коментах
10:01 Мы в команде пытаемся не создавать клиентов в глобальных переменных/переменных пакета (как в данном случае сделан клиент rdb).
Да и делать отдельный background контекст в виде переменной тоже не совсем понятно зачем: никакой полезной нагрузки с ним сделать не получится, а создавать context.Background() по месту достаточно дешево.
successfull и unsuccessfull response message я бы не стал разделять: они всё-равно судя по тегам будут замаршалены в один и тот же json. И кстати в названии типа опечатка (unsEccessful)
По поводу того чтобы называть переменную также как и тип у нас в команде недавно поднимался вопрос: пришли для себя к тому что тип данных сам всё говорит и писать `var fooBar fooBar` это масло масляное и взрывает мозг читающему :)
Спасибо за контент! Как думаешь, сможет ли Go вытолкать Python, PHP из веб, если обрастет различными плюшками для работы со структурами данных, CRUD-генераторами/админки(аля Django)? Или все равно упремся в вопрос невозможности построения абстракций в Go при попытке создать большой проект и выходом в итоге на большую головную боль? Сложилось впечатление, что Go хорош для узких, но требовательных задач. Как в твоем случае, например. Интересно твое мнение.
У go своя ниша. Он не стремится вытеснить других полностью.
Если правильно понял, то не стоит обнулять счетчики, иначе потеряете несколько новых значений пока работает крон скрипт. Лучше уменьшить значение счетчика на то чесло, что было считано изначально(которое записали постгрес)
Обнуление происходит через GETSET, один вызов возвращает значение и обнуляет его в Redis. При этом сам Redis однопоточный, то есть на время работы GETSET никакой другой код не работает с этим ключом. Значения не теряются
Ну, Кен Томпсон красавчик. Отличную работу провели и отличный язык создали.
Так сказать отыгрались за Си, созданный на коленке.
отыгрались, да:)
Смотрел что бы изучить вторым языком, Rust или Go
Для себя понял, что нужно начать с Rust. После него, Go будет намного проще.
Это как с Flask/FastApi и Django. Новичку начать использовать Flask/FastApi будет сложно. Нужно время что бы во всем разобраться. С джангой проще. Но по себе скажу, после Flask/FastApi джанга кажется простой. Я её толком не изучал, почти сразу на Flask перешел, потом FastApi. А недавно спокойно на джанге несколько тестовых заданий сделал. Может не так быстро, но проблем не возникло вообще.
Короче, вторым языком нужно брать раст, после можно и го.
На расте недавно пробовал делать библиотеку для пайтона. Ничего сложного. Зато очень быстро работает.
П.С. Видел что новая версия Pydantic не только синтаксис поменяла, но и на Rust теперь
Hi, it would be great if you put this code on Github and leave the link in the description. It's a very interesting video.
Крутой чел
Спасибо за видео!
Подскажите пожалуйста, на 16:00 что за vim шорткаты, чтобы быстро пройти к дефиниции Find, а потом обратно вернуться к тому место где были изначально?
Команда * делает переход к следующему использованию того слова, на котором сейчас стоит курсор, он стоит на Find, жмем *, переходим к определению Find в этом же файле. Вернуться назад - скорее всего я использовал метку на изначальной строке, у меня на автоматизме это происходит в фоне, не задумываясь. Комбинация mx ставит метку x на текущей позиции, и потом, когда к ней надо вернуться, комбинация 'x возвращает к метке. Меток можно делать много, когда в одном файле надо прыгать между двумя блоками, ставлю две метки mx и mq и прыгаю по ним 'x и 'q соответственно, удобно. Если надо перейти к последнему месту, в котором происходило редактирование, команда `. это сделает.
@@t0digital Добрый день. Подскажите, есть ли возможность увидеть ваш vimrc файл? Это очень помогло бы в настройке редактора.
@@itosla есть такое видео на канале, там есть описание и ссылка
@@t0digital круто! А не хотите сделать обзор этих и других трюков по Vim?
@@Ackep_Tu6ae8 как-нибудь сделаю!
Можно видео сравнения go python
после питона синтаксис не вызывает разочарования, спасибо за видео.
Для гоу может быть есть смысл рассмотреть ETCD?
Лайк за реальный кейс
19:28 Скорость написания кода не особо важна, а вот читабельность...
Но я бы всё таки из 3 углов: скорость написания, читабельность и простота поддержки выбрал именно последние 2 пункта, а по ним Go за счет строгой типизации выигрывает. Там код может быть более самодокументированным. Особенно что касается точек интеграции. В Python/JS проекте если нет документации то хрен разберешься какие форматы JSON'а куда и откуда передаются. И да, gRPC/Protobuf еще лучше будут в этом плане.
Рассматривали ль вы использования C# вместо Go? Если да, то почему выбрали Go? Если - нет, то почему не рассматривали? Спасибо.
Не рассматривал, хотя знаю, что многие C# любят и хвалят
Опечатки намерено сделаны в названии структур? Seccessfull, секесный респонс
в комментах не нашел, сорян если дубликат
для сериализации json в структуру - оч реккомендую easyJson от mailRu. Суть в том, что коробочный сериалищатор оч медленный, ибо он работает через рефлексию.
натравливаешь easyJson на свой go файл где описаны struct, он тебе сгенерит файл, который будет значительно быстрей выполнять де/сериализацию json
так ты сможешь еще увеличить нагрузку на гошный сервак
и да, как ранее писали, panic лучше не юзать. замени на логирование с алертом. паника дорогая операция, которую надо оборачивать в recovcery, иначе бинарник свалится и надо будет ждать его рестарта (если он как демон)
Алексей, pipenv vs. poetry?
Сервис очередей можно было бы, на мой взгляд, использовать вместо (redis+скрипт раз в минуту).
Да, можно
Интересно не мешает ли работа python скрипта на работу сервера на golang. Т.е. что будет, если в момент когда питон скрипт обнуляет redis golang захочет что-то записать... Возможно я что-то не понимаю ибо не работал с redis.
забор ключей питоном происходит через GETSET, то есть одной командой забирается значение и проставляется новое (ноль или пустая строка в нашем случае), соответственно между забором данных в питон скрипт и следующей записью Go программой в редис данные не потеряются. И надо понимать, что Редис однопоточный
Хотелось бы увидеть код тестов rps разных фреймворков, а именно fastapi
Было же
Так.. что там по курсам?
Подскажите пожалуйста, а где происходит обнуление счётчика в Редисе?
там через getset происходит считывание данных из редиса в питон скрипте, то есть одной командой данные считываются и устанавливается новое значение
Запускай хоть fmt, а то анотации у структур не читабельные.
Кстати, проще запустить горутину которая будет слушать канал от time.NewTicker(15 * time.Minute), это позволит более легко менять код, да и будет легкий scratch контейнер (не нужно тащить cron).
про гошный пакет для ssl сертификатов. вот прям слов не хватает чтобы выразить насколько это круто!
Но только. А гошный сервис у вас что, наружу торчит? А он у вас задеплоен отдельно от основной приложухи? А если нет, то почему бы его за nginx (или что вы там предпочитаете) не спрятать? тогда еще и надобность в cors отпадет
С этим гошным пакетом для SSL у нас кстати возникли сложности (некоторые запросы отрабатывали ооочень долго, десятки секунд), я пока не могу утверждать, что точно из-за него, но сейчас мы все-таки проставили там заранее подготовленные сертификаты и таких долгих ответов пока не замечаем.
Гошный сервис лежит на отдельном сервере, чтобы он точно не влиял на работу основной железки, на которой крутится админка сайта и прочие сервисы. Ставить Go приложеньку за nginx или не ставить я пока не понял общей практики. Кто-то ставит, кто-то нет. В целом Go сервер хорошо и статику отдаёт (dl.google.com на Go, это сервер отдачи файлов от Google, раздаёт Google Chrome в частности). Если ставить go приложение за nginx, RPS сразу падает в несколько раз. Возможно надо докручивать Nginx, но с дефолтными настройками это выглядит грустно.
Очепатка - может Successful?) Спасибо за видео! Можно ли легко внедрить такую технологию на любой Django проект?
Можно!
@@t0digital Круто 😁 Спасибо за Ваши труды. Очень жду курс и надеюсь, что хватит на него денег 😅
А что будет, если в Redis придут записи во время работы питоновского скрипта?
Редис работает в одном потоке, все будет ок
Синтаксис Го выглядит довольно привычным после Python, Ruby и Crystal
Скажите, а Вы не пробовали cython для ускорения python-кода?
не пробовал
@@t0digital Мне удавалось компилировать свои модули и ускорять выполнение функций в сотни, тысячи раз.. и даже больше.. рекомендую обратить внимание на эту технологию
Спасибо, посмотрю в эту сторону!
Алексей или сообщество. Вопрос такой. Если Python вытягивает поток, то где гарантия, что второй сервис на python не вытянет такой же поток запросов аналитики? Я правильно же понимаю: зашел на страницу, с нее ajax запрос куда-то ушел. Т.е. одна страница - один запрос?
Просто пытаюсь понять... зачем здесь был go?
У нас был проект который на GO принимал все запросы и клал в clickHouse, а оттуда уже медленный PHP вытягивал данные и фасовал в MySQL для аналитики и управления. Здесь оправданно, а в вашем случае...
Алексей, как передать данные в go с сайта, через ajax? А то я так и не понял, как это у вас происходит.
Так же, как и в случае с любым другим языком на бэкенде. Не понял вопрос
@@t0digital Вы вообще спите? 😄
@@grokgustavo ananasposter.ru/noch-rabote-ne-pomeha :)
@@t0digital Спасибо за бесценные видео!
Я наткнулся на статью habr.com/ru/post/321864/ , и возник вопрос. А что если создать локейшен на фронте, и завязать запросы в редис на lua? Полагаю что скорость должна быть на уровне.
P.S. в go если спрофилировать, unmarshaling json в топе?
C Nginx + lua не игрался, но подключение Go приложения не напрямую, а через Nginx, просаживало RPS в 3 раза на моих тестах. Возможно если донастроить nginx, то RPS бы поднялся, не знаю
20:15 - нет ли риска race condition?
getset - атомарная операция
Гошка топ!!!
А какого размера инстанс редиса у вас? Елси учесть гаргрузку в 30_000 ревестов в секунду, за минуту уже 1800000 записей должно быть в редисе.
На каждый запрос не создаётся запись. Увеличиваются счётчики, количество которых равно количеству просмотренных за период страниц.
Очень познавательно! Но редис мне кажется тут лишним. Можно на питоне поднять сокет сервер с большим буфером(это будет работать на уровне ОС) программа на go будет клиентом и слать в питоновский сокет сервер пакеты с данными. А питон по таймауту будет забирать данные из буфера и кидать их в БД. Тут плюс в том что можно передавать любые данные, а не только ключь:значение, а буфер TCP соединения будет обрабатывать я аппаратно, что должно ещё больше поднять производительность. Как Вы считаете?
Думаю, redis и ему подобные, лучше справятся, т.к. там много ньюансов, а это уже предусмотрено в этих продуктах. Иначе, придётся делать свои велосипеды, которые будут вряд ли эффективней уже имеющихся.
@@Ackep_Tu6ae8 так там же аппаратное ускорение, так как используются нативные буферы без прослоек...
Просто задача слишком простая, что бы применять редис, как мне кажется... Да и условностей там кроме размера буфера, таймаутом и разбитием потока на пакеты не столкнулся...
@@Recoshett ну не знаю. Я бы тоже использовал либо redis, либо memcache. Некоторые, вообще используют MongoDB в виде кэша приложения.