Евгений, подскажите пожалуйста, как мы можем загрузить свои базы в MTS BigData? Как можно совершать массовые действия для всех объявлений сразу? и как подключить рублёвый биллинг? заранее спасибо!
Для больших консьюминговых групп можно поднимать несколько idle consumers, которые ждут пока кто-то из active consumer отвалится. Тогда idle consumer просыпается и подхватывает выбывшую партицию. Плюс в том что другие консьюмеры на импактятся. Минус в том, что кто-то должен сообщить ждущему консьюмеру, что ему надо подхватывать конкретную партицию, то есть нужен какой-то свой балансировщик. Но я бы вообще не использовал oob балансировщик от кафки, тк он начинается ребалансить на каждый чих (как было сказано в докладе).
Очень интересно и познавательно, спасибо!
Очень было бы интересно сравнить перформанс с другими решениями (Parallel vs Consumer+Reactive vs Consumer+Pool) - этого очень не хватило
Евгений, подскажите пожалуйста, как мы можем загрузить свои базы в MTS BigData? Как можно совершать массовые действия для всех объявлений сразу? и как подключить рублёвый биллинг? заранее спасибо!
Для больших консьюминговых групп можно поднимать несколько idle consumers, которые ждут пока кто-то из active consumer отвалится. Тогда idle consumer просыпается и подхватывает выбывшую партицию.
Плюс в том что другие консьюмеры на импактятся.
Минус в том, что кто-то должен сообщить ждущему консьюмеру, что ему надо подхватывать конкретную партицию, то есть нужен какой-то свой балансировщик.
Но я бы вообще не использовал oob балансировщик от кафки, тк он начинается ребалансить на каждый чих (как было сказано в докладе).