Tem um vídeo muito bom no youtube que fala sobre os combinadores de interação apresentado pelo próprio Taelin. O nome é "HVM: um Runtime Paralelo, por Victor Taelin. Palestra na Gambiconf, Universidade de São Paulo (USP)", vale muito a pena assistir, complementa muito o conteúdo do seu vídeo.
@@waine_jreu vou te indicar em um vídeo mano. Como eu falei se eu tivesse um canal igual o teu no meu tempo de faculdade eu não pensaria em desistir. Você tem o dom. Eu vou te indicar, só tô esperando o gancho perfeito 😊
Muito bom! Gosto dos seus vídeos! Lembrando que outra linguagem de brasileiro fazendo muito sucesso hoje é a Elixir do José Valim! Não lembro de ter tocado no ponto que a linguagem está sendo desenvolvida em Rust, o que já é deveras interessante!
Não sabia que Elixir era BR não, que massa! Eu não cheguei a comentar no vídeo sobre Bend ser em Rust mesmo, acabei esquecendo. Mas o HVM2 tem mais código em C/CUDA do que Rust, não tem como fugir de C quando a gnt tá trabalhando com GPU kkkkkk
@@waine_jracabei de descobrir que o Taelin foi meu veterano de curso e estou em choque, o cara é muito brabo! Eu tô tentando entender computação paralela e o Bend pra fazer um trabalho de sistemas distribuídos pra semana que vem, e descobri essa coincidência enquanto via seu vídeo! Haha
Pelo que eu entendi da resposta do Taelin ao Akita no Twiter a ideia do Bend é ser usado em "programação normal (web APIs e etc...)", tanto que um exemplo que ele citou (se não estou viajando) foi um algorítimo feito em Bend e um feito em Node.JS rodando na CPU, onde o Bend fez na metade do tempo rodando na GPU.
Aí vai ter que ensinar pros devs de Node/Web todos esses conceitos que a linguagem usa, pra mim essa vai ser a dificuldade de adoção. Além disso precisa de integração com os runtimes/códigos de outras linguagens, que não cheguei a ver se eles tem. Não imagino ninguém migrando toda stack pra bend Nesse sentido acho que fazer um runtime pro HVM2 em outras linguagens, como Python/JS, seria um bom caminho. É semelhante ao que pessoal do Numba fez, com um compilador JIT pra GPU de um subset de Python.
@@waine_jr Creio que seja mais fácil a galera que já trabalho com esses conceitos utilizar a linguagem pra fazer coisas mais "simples" na web do quê ensinar a galera do react esses conceitos mais complexos kkk. PS: Sou desenvolvedor backend que gosta um pouco de front e nada entende de desenvolvimento com GPU 😂
@@mtsLeal eu sou desse time também kkkkkk é difícil expandir esses conceitos pra um público maior. Mas ainda acredito no runtime em outras linguagens, hoje qualquer um que sabe Python consegue rodar código em GPU com Numba, é um facilitador muito grande.
Uma coisa q eu n to vendo a galera comentar e que o ganho não é proporcional ele faz algumas comparações tipo CPU, Apple M3 Max, 1 thread: 12.15 seconds CPU, Apple M3 Max, 16 threads: 0.96 seconds GPU, NVIDIA RTX 4090, 16k threads: 0.21 seconds Voce passou de 16 para 16000 e ganhou 4x de performance, o ganho nao foi tao grande comparado ao consumo, n imagino a galera trocando tudo de node para bend usando 1000x mais recurso e tendo q pagar por isso pra ganhar 2x 4x de performance
@@MateusDuarttee possivelmente haverão melhorias de performance, essa foi a v1 do projeto. Se conseguirem melhorar o desempenho, será algo interessante de ver o crescimento. É um projeto ambicioso, mas terá que competir o hardware com I.A
tem tanta gente capacitada no Brasil, espero que a comunidade se unam em torno dessa linguagem, isso seria muito bom em vários aspectos econômicos, sociais e até mesmo ambientais.
rs.. está saturado a area amigo.. kkk.. com amor tu paga suas contas ai??? quem trabalha de graça e quem vai pagar as contas desses cidadões??.. a vida passa e prioridades mudam.
10:40 muito interesse, coisas relacionadas a isso são muito raros no youtube. A minha situação ta em um nível, que eu nem sabia da existência desse livro que citou, que imagino não ser o único.
Esse livro é só pra quem vai pro caminho de programar em GPU mesmo kkkkkkk nem de graduação costuma ser. Só sei porque trabalho com isso (e mesmo assim descobri faz pouco tempo)
Eu te sigo no insta, mas so agora vi que tu tinhas um canal. Então queria muito ver um vídeo sobre você explicando o que faz e quais o passos para se tornar um dev de auto desempenho.
@@waine_jr ah... acho que já é tarde, pois estou fazendo disso uma filosofia para me guiar. Venho sendo influenciado por pessoas como vc, devido a programação ser engenharia e não art (feeling), digo isso pq o mercado tem muitos profissionais com essa mentalidade (eu me incluo nessa). Contudo, quero quebrar esse ciclo que venho vivenciando.
Buenas! Chegando ao canal. Procurei nas respostas dos comentários mas não encontrei: o que você faz profissionalmente envolvendo alto desempenho, programação GPU? Sucesso!
Eu tenho uma empresa, aerosim.io, e lá desenvolvemos um túnel de vento digital. Pra isso fazemos desenvolvimento do nosso próprio solver de fluidodinâmica que roda em GPUs usando CUDA, baseado no método de lattice Boltzmann, LBM. Trabalho com esse método desde 2018 e conseguimos resolver o mesmo problema até 10x mais rápidos que solvers tradicionais, levando menos de 1 dia o que antes levava semanas.
Eu fico muito contente que uma linguagem dessa magnitude seja desenvolvidas por brasileiros, porém acredito que pode ser que essa linguagem dê uma flopada, pois a partir dos artigos criados simultaneamente com essa linguagem, outras linguagens como Python e C#, passe a ter rapidamente estes recursos nativamente e como já existem milhares de bibliotecas nestas duas linguagens seu público não irá querer trabalhar com uma linguagem nova, mas se Python e C# demorar para implementar isso com certeza Bend fará tanto sucesso quanto LUA.
Pessoal tem que fazer uma interface do HVM (runtime por baixo de Bend) pra python, seria uma boa alternativa pra Numba. Não entendi pq eles escolheram fazer uma linguagem própria ao invés de usar alguma já existente, tipo Python, a adoção fica mt mais fácil.
@@waine_jr É pq as linguagens consolidadas tem um comitê para decidir o que entra e o que não entra no core da linguagem, mas a comunidade de Python é muito grande e deve fazer algo no core dentro das próximas versões, nem que seja um parâmetro para o interpretador que vai dizer como ele compila usando essa idéia de paralelismos em tudo.
Galera, vcs acham q a Nvidia vai lançar um hardware NPU para facilitar o processamento de redes neurais e tensores? Ou comprar uma GPU ainda vai ser "o jeito" para processar grandes quantidades de matrizes e cálculos? E pra quem trabalha na área, como vcs resolveram essa questão?
Pra grande escala acho que não tem como fugir de GPU. Pra ter noção as simulações que eu faço consomem cerca de +10Gb de memória, não tem como rodar numa NPU ou qualquer coprocessador isso com um bom desempenho. Mas pras redes neurais e LLMs, ou outras aplicações que não são tão intensivas, imagino que as NPUs vão surgir como alternativas. Com relação a NVidia, eles já vem fazendo campanhas de "PCs de IA" pra responder as NPUs, mas só o tempo pra dizer como vai se consolidar isso.
Gpu da nvidia já tem "npu" desde a série rtx 20. Que é nucleos especializados em multiplicação de matriz. (São também usados pro DLSS nos jogos) O único ruim e que se for rodar modelos leves na GPU, vai consumir muita energia, por isso a Intel e AMD tá botando NPU nos chips dele, pra ter consumo baixo rodando IA leves.
@@rj7250a Sim. Tô com a grana completa pra comprar uma RTX com bastante VRAM. Mas tô esperando pra ver se aparece uma solução em GPU ou NPU no mercado q barateie os custos de processamento em paralelo. Atualmente eu tenho apenas uma GTX 1060 6GB que faz apenas 4.3 TOPS. Com ela, eu consigo fazer montagens de voz (RVC) e de rosto (deepfake). Exemplos de IA no meu canal.
Cara, de certa maneira sim. Mas acho que o GLSL é mais baixo nível e próximo da máquina ainda, e eu não conheço as primitivas de sincronização e comunicação do GLSL, mas imagino que não seja tão "automáticas" como as do Bend. Pra mim se aproximaria mais de um Numba, só que com primitivas que fazem map/reduce/join automaticamente, o que é um negócio incrível pq geralmente é oq dá mais dor de cabeça nessas classes de algoritmos
A unica coisa que me preocupa eh o uso de energia, pelo que dei uma olhada, parece usar bem mais recursos computacionais do que outras implementacoes. Pelo que li, Bend pode ser utilizado para WEB no futuro, o que eu acho meio estranho, já que o Bend/HVM utiliza muito mais recursos computacionais pra rodar poucas vezes mais rápido que um Node.js da vida, exemplo que o fundador da HVM deu.
Tem razão. Mas na nossa era os recursos não são mais uma preocupação. O poder de processamento de um Desktop comum é bilhões de vezes superior aos computadores que nos levaram até a Lua.
@@sagittariusa9331 recursos ainda são um problema, a menos que você seja o exército americano. Poucos vão querer usar 40 vezes mais recursos computacionais para executar apenas poucas vezes mais rápido.
Geralmente quando se roda mais rápido, se consome menos recursos. No caso de GPUs elas consomem muito mais energia que uma CPU, aí a conta no final é de se a economia em tempo faz a energia total ser menor no fim do dia. Mesmo assim isso daí é uma gota de energia comparado ao mar que é o treinamento e uso de todas essas LLMs que a gente tá vendo hoje. Microsoft já quebrou algumas promessas que tinha feito de "diminuir a pegada de carbono" deles e tem países que o consumo em servidores já é mais que 20% do consumo total de energia.
Tem um vídeo muito bom no youtube que fala sobre os combinadores de interação apresentado pelo próprio Taelin. O nome é "HVM: um Runtime Paralelo, por Victor Taelin. Palestra na Gambiconf, Universidade de São Paulo (USP)", vale muito a pena assistir, complementa muito o conteúdo do seu vídeo.
Vou ver agora mesmo, valeu pela recomendação!
Video importante! Voce ainda vai voar moleque
Vai, ele explica bem
Faz mais video bebendo e zuando javeiro
valeu, Fiasco! Teus vídeos tão mt massa tmb, curti demais o novo formato
@@waine_jreu vou te indicar em um vídeo mano. Como eu falei se eu tivesse um canal igual o teu no meu tempo de faculdade eu não pensaria em desistir. Você tem o dom. Eu vou te indicar, só tô esperando o gancho perfeito 😊
@@GrandeFiasco ficaria honrado, meu querido Fiasco. Quem sabe mais pra frente não sai uma colab também hahahaha
Que excelente apresentação, obrigado!
Muito bom! Gosto dos seus vídeos!
Lembrando que outra linguagem de brasileiro fazendo muito sucesso hoje é a Elixir do José Valim!
Não lembro de ter tocado no ponto que a linguagem está sendo desenvolvida em Rust, o que já é deveras interessante!
Não sabia que Elixir era BR não, que massa! Eu não cheguei a comentar no vídeo sobre Bend ser em Rust mesmo, acabei esquecendo. Mas o HVM2 tem mais código em C/CUDA do que Rust, não tem como fugir de C quando a gnt tá trabalhando com GPU kkkkkk
baita video!!
O Fiasco e agora ti, fico honrado! Mt feliz que curtiu, Lucas.
Mto bom, boas observações e acompanharemos o crescimento dessa nova linguagem!
Curti muito seu vídeo!
Muito obrigado, passei a te seguir!
Teu canal é mt bom, mano!
Valeu, meu querido!
@@waine_jracabei de descobrir que o Taelin foi meu veterano de curso e estou em choque, o cara é muito brabo! Eu tô tentando entender computação paralela e o Bend pra fazer um trabalho de sistemas distribuídos pra semana que vem, e descobri essa coincidência enquanto via seu vídeo! Haha
Chegando agora no canal. Excelente vídeo mano
Muito bom o vídeo, você conseguiu dar visibilidade do tamanho do problema que é trabalhar com paralelismo. 👏🏻👏🏻
O bota tamanho de problema nisso kkkkkkkk só quem viveu sabe
Tambem, o Tealim participou do desenvolvimento do Ethereum, o jovem é uma maquina de criar coisa boa...
Brabo d+ continue parceiro
Comentário assim que faz a gnt continuar a produzir, valeu!
Que vídeo bom, obrigado pelo conteúdo ❤❤
Pelo que eu entendi da resposta do Taelin ao Akita no Twiter a ideia do Bend é ser usado em "programação normal (web APIs e etc...)", tanto que um exemplo que ele citou (se não estou viajando) foi um algorítimo feito em Bend e um feito em Node.JS rodando na CPU, onde o Bend fez na metade do tempo rodando na GPU.
Aí vai ter que ensinar pros devs de Node/Web todos esses conceitos que a linguagem usa, pra mim essa vai ser a dificuldade de adoção. Além disso precisa de integração com os runtimes/códigos de outras linguagens, que não cheguei a ver se eles tem. Não imagino ninguém migrando toda stack pra bend
Nesse sentido acho que fazer um runtime pro HVM2 em outras linguagens, como Python/JS, seria um bom caminho. É semelhante ao que pessoal do Numba fez, com um compilador JIT pra GPU de um subset de Python.
@@waine_jr Creio que seja mais fácil a galera que já trabalho com esses conceitos utilizar a linguagem pra fazer coisas mais "simples" na web do quê ensinar a galera do react esses conceitos mais complexos kkk.
PS: Sou desenvolvedor backend que gosta um pouco de front e nada entende de desenvolvimento com GPU 😂
@@mtsLeal eu sou desse time também kkkkkk é difícil expandir esses conceitos pra um público maior. Mas ainda acredito no runtime em outras linguagens, hoje qualquer um que sabe Python consegue rodar código em GPU com Numba, é um facilitador muito grande.
Uma coisa q eu n to vendo a galera comentar e que o ganho não é proporcional ele faz algumas comparações tipo
CPU, Apple M3 Max, 1 thread: 12.15 seconds
CPU, Apple M3 Max, 16 threads: 0.96 seconds
GPU, NVIDIA RTX 4090, 16k threads: 0.21 seconds
Voce passou de 16 para 16000 e ganhou 4x de performance, o ganho nao foi tao grande comparado ao consumo, n imagino a galera trocando tudo de node para bend usando 1000x mais recurso e tendo q pagar por isso pra ganhar 2x 4x de performance
@@MateusDuarttee possivelmente haverão melhorias de performance, essa foi a v1 do projeto. Se conseguirem melhorar o desempenho, será algo interessante de ver o crescimento. É um projeto ambicioso, mas terá que competir o hardware com I.A
Legal a explicação! 👍
Rapaz, vi bend no canal do fireship e nem sequer imaginei que era desenvolvida por BRs! Top dms!
Pois é, tem mt coisa foda que qnd pesquisamos quem tá por trás são os BRs
Muito obrigado por esse vídeo! Lhe adicionei no LinkedIn.
Opa, vou aceitar lá! Fico feliz que curtiu o vídeo
tem tanta gente capacitada no Brasil, espero que a comunidade se unam em torno dessa linguagem, isso seria muito bom em vários aspectos econômicos, sociais e até mesmo ambientais.
rs.. está saturado a area amigo.. kkk.. com amor tu paga suas contas ai??? quem trabalha de graça e quem vai pagar as contas desses cidadões??.. a vida passa e prioridades mudam.
@@gepetovovo2509 é por isso que o projeto é opensource pra quem pode ajudar.
Que vídeo maravilhoso
Valeu, meu querido!
Galera bora engajar no assunto. Falta canais Br como esse nível de conteúdo e a simplicidade.
Exatamente. Só cheguei aqui depois de ter visto no @TecnologiaeClasse
@@supern4ut3 Eu vi ambos. Sentei na cadeira e estava os dois vídeo na mesma timeline kkkkk
Realmente
O cara certo para falar desse assunto
Eu só dou pitaco, falar mesmo tem que chamar o pessoal do Bend/HVM hahahhaha mas valeu, meu chefe
Prefix sum é a soma cumulativa (cumsum), só que pode ser aplicado pra outras operações, não só pra soma
10:40 muito interesse, coisas relacionadas a isso são muito raros no youtube.
A minha situação ta em um nível, que eu nem sabia da existência desse livro que citou, que imagino não ser o único.
Esse livro é só pra quem vai pro caminho de programar em GPU mesmo kkkkkkk nem de graduação costuma ser. Só sei porque trabalho com isso (e mesmo assim descobri faz pouco tempo)
ótimo vídeo!
Eu te sigo no insta, mas so agora vi que tu tinhas um canal. Então queria muito ver um vídeo sobre você explicando o que faz e quais o passos para se tornar um dev de auto desempenho.
Dev do desempenho é só um codinome que uso pra vcs gravarem fácil kkkkkkk mas não é uma classificação, título, cargo nem nada do tipo
@@waine_jr ah... acho que já é tarde, pois estou fazendo disso uma filosofia para me guiar. Venho sendo influenciado por pessoas como vc, devido a programação ser engenharia e não art (feeling), digo isso pq o mercado tem muitos profissionais com essa mentalidade (eu me incluo nessa). Contudo, quero quebrar esse ciclo que venho vivenciando.
Buenas! Chegando ao canal. Procurei nas respostas dos comentários mas não encontrei: o que você faz profissionalmente envolvendo alto desempenho, programação GPU? Sucesso!
Eu tenho uma empresa, aerosim.io, e lá desenvolvemos um túnel de vento digital. Pra isso fazemos desenvolvimento do nosso próprio solver de fluidodinâmica que roda em GPUs usando CUDA, baseado no método de lattice Boltzmann, LBM. Trabalho com esse método desde 2018 e conseguimos resolver o mesmo problema até 10x mais rápidos que solvers tradicionais, levando menos de 1 dia o que antes levava semanas.
@@waine_jr valeu! Interessante, vou dar uma olhada. Obrigado! Aguardando próximo vídeo, abs
Eu fico muito contente que uma linguagem dessa magnitude seja desenvolvidas por brasileiros, porém acredito que pode ser que essa linguagem dê uma flopada, pois a partir dos artigos criados simultaneamente com essa linguagem, outras linguagens como Python e C#, passe a ter rapidamente estes recursos nativamente e como já existem milhares de bibliotecas nestas duas linguagens seu público não irá querer trabalhar com uma linguagem nova, mas se Python e C# demorar para implementar isso com certeza Bend fará tanto sucesso quanto LUA.
Pessoal tem que fazer uma interface do HVM (runtime por baixo de Bend) pra python, seria uma boa alternativa pra Numba. Não entendi pq eles escolheram fazer uma linguagem própria ao invés de usar alguma já existente, tipo Python, a adoção fica mt mais fácil.
@@waine_jr É pq as linguagens consolidadas tem um comitê para decidir o que entra e o que não entra no core da linguagem, mas a comunidade de Python é muito grande e deve fazer algo no core dentro das próximas versões, nem que seja um parâmetro para o interpretador que vai dizer como ele compila usando essa idéia de paralelismos em tudo.
Galera, vcs acham q a Nvidia vai lançar um hardware NPU para facilitar o processamento de redes neurais e tensores?
Ou comprar uma GPU ainda vai ser "o jeito" para processar grandes quantidades de matrizes e cálculos?
E pra quem trabalha na área, como vcs resolveram essa questão?
Pra grande escala acho que não tem como fugir de GPU. Pra ter noção as simulações que eu faço consomem cerca de +10Gb de memória, não tem como rodar numa NPU ou qualquer coprocessador isso com um bom desempenho.
Mas pras redes neurais e LLMs, ou outras aplicações que não são tão intensivas, imagino que as NPUs vão surgir como alternativas.
Com relação a NVidia, eles já vem fazendo campanhas de "PCs de IA" pra responder as NPUs, mas só o tempo pra dizer como vai se consolidar isso.
Gpu da nvidia já tem "npu" desde a série rtx 20. Que é nucleos especializados em multiplicação de matriz. (São também usados pro DLSS nos jogos)
O único ruim e que se for rodar modelos leves na GPU, vai consumir muita energia, por isso a Intel e AMD tá botando NPU nos chips dele, pra ter consumo baixo rodando IA leves.
@@rj7250a Sim. Tô com a grana completa pra comprar uma RTX com bastante VRAM.
Mas tô esperando pra ver se aparece uma solução em GPU ou NPU no mercado q barateie os custos de processamento em paralelo.
Atualmente eu tenho apenas uma GTX 1060 6GB que faz apenas 4.3 TOPS.
Com ela, eu consigo fazer montagens de voz (RVC) e de rosto (deepfake).
Exemplos de IA no meu canal.
Fdx! Todos os dias nascem linguagens... fiquemos pelas velhinhas C, C++, Java e deixemo-nos de mrdas.
Alem do C/C++ quais outras tu recomenda pra usar em gpu
Além de C/C++ tem também C/C++ pra programar em GPU, uma ótima alternativa
Eu acho que isso mostra o quanto nossa terra tupiniquin é top e tem mentes brilhantes
Tem demais, o que falta é investimento pra manter essas mentes aqui.
ótimo vídeo
Valeu, meu consagrado!
Então é tipo um glsl, só que sem ser voltado pra um contexto gráfico ?
Cara, de certa maneira sim. Mas acho que o GLSL é mais baixo nível e próximo da máquina ainda, e eu não conheço as primitivas de sincronização e comunicação do GLSL, mas imagino que não seja tão "automáticas" como as do Bend.
Pra mim se aproximaria mais de um Numba, só que com primitivas que fazem map/reduce/join automaticamente, o que é um negócio incrível pq geralmente é oq dá mais dor de cabeça nessas classes de algoritmos
Qual seu uso comercial para programaçao de gpu?
Deixar simulações rápidas, mais especificamente simulações de CFD (fluidodinâmica computacional) utilizando LBM (método de lattice Boltzmann)
A unica coisa que me preocupa eh o uso de energia, pelo que dei uma olhada, parece usar bem mais recursos computacionais do que outras implementacoes.
Pelo que li, Bend pode ser utilizado para WEB no futuro, o que eu acho meio estranho, já que o Bend/HVM utiliza muito mais recursos computacionais pra rodar poucas vezes mais rápido que um Node.js da vida, exemplo que o fundador da HVM deu.
Tem razão. Mas na nossa era os recursos não são mais uma preocupação. O poder de processamento de um Desktop comum é bilhões de vezes superior aos computadores que nos levaram até a Lua.
@@sagittariusa9331 recursos ainda são um problema, a menos que você seja o exército americano. Poucos vão querer usar 40 vezes mais recursos computacionais para executar apenas poucas vezes mais rápido.
Geralmente quando se roda mais rápido, se consome menos recursos.
No caso de GPUs elas consomem muito mais energia que uma CPU, aí a conta no final é de se a economia em tempo faz a energia total ser menor no fim do dia.
Mesmo assim isso daí é uma gota de energia comparado ao mar que é o treinamento e uso de todas essas LLMs que a gente tá vendo hoje. Microsoft já quebrou algumas promessas que tinha feito de "diminuir a pegada de carbono" deles e tem países que o consumo em servidores já é mais que 20% do consumo total de energia.
Coarray in fortran.Não tem nada parecido em nenhuma linguagem.Nada é mais elegante.
Eu não conhecia essa feature, muito boa, agora quero em C também kkkkkkkk
@@waine_jr Eu desenvolvi um nosql em Object Pascal e em breve quero reescrever em fortran dedicado a usar nucleos distribuidos (multi cores)
Cu pai👍
Agora, fica a pergunta:
Pq o cara tem 32GB de RAM se ele não deve usar mais que 16GB?
🤣🤣
quem pode pode
@@waine_jr Essa é a mesma desculpa do pobre de iPhone 🤣🤣🤣🤣
Falavam o mesmo do 16GB na epoca do 8GB