Sensacional! Um dos melhores vídeos sobre aprendizado de máquina de forma tão acessível e prática! Parabéns pela qualidade e explicação do conteúdo e obrigado por compartilhar riquíssimo conteúdo acerca de machine learning, O aprendizado por reforço somente com bom exemplo pra ficar bem compreendido e o vídeo cumpriu bem esse objetivo. Saúde e sucesso para toda a equipe Didática Tech!
Caso apareça um erro durante a execução da primeira cela nesse ponto: 37:07 como proceder? Estou utilizando as bibliotecas gym 0.21 gym-super-mario-bros 7.4.0 e nes-py 8.2.1
Primeiramente, parabéns pelo vídeo! Muito bom mesmo! Uma dúvida: 1:05:45 se ao invés de usar uma CPU eu utilizar uma GPU eu posso utilizar tb esse recurso de "threads" para aprendizagem em paralelo? E aí no valor descrito eu poderia colocar o número de CUDAS que existe na minha placa de vídeo tal como você coloca o número de threads quando usa a CPU?
Dificilmente isso vai funcionar, pois os núcleos CUDA são muito limitados em termos de operações que podem fazer (realizam apenas operações matemáticas básicas). Então se você criou um environment personalizado que realiza apenas operações simples, essa ideia pode ser útil. Caso contrário, os núcleos CUDA não conseguirão simular os envs
Boa tarde, Professor em um de seus curso de Machine Learning obetive o seguinte erro Singleton array array(None, dtype=object) cannot be considered a valid collection. no modulo um (no qual usa todos os modelos pra saber qual é o mais adequado )
Estou tendo um BrokenPipeError que leva a um EOFError na hora de executar o treinamento do modelo. ja configurei com o número de threads da minha CPU mas o erro perciste. Alguém sabe como arrumar?
Qual versão do Nes-py, Gym e Gym_super_mario_bros vocês estão usando? Fui fazer igual ao vídeo e está dando erro no env.step() retornando os 4 argumentos como no vídeo, mas esperando 5. Parece que teve uma atualização em alguma das bibliotecas e agora o método step() retorna "truncated" também. Alguém sabe como arrumar esse problema?
PERA AÍ?! Você não é o cara do "descomplicando a música"? 🤨 Caramba, eu estudo música faz tempo e recente eu vim estudar python no youtube e dei de cara com um dos meus professores de música tbm?! KKKKKK
Uma dúvida no curso de tensorflow qual versão vcs estão usando ?
Год назад
Olá! Para redes neurais utilizamos a versão 1.14 do TensorFlow. Quando possível pretendemos atualizar a versão do TensorFlow utilizada no curso, porém ainda não podemos por conta de dois importantes assuntos que não possuem suporte na versão 2 do TensorFlow. Abaixo detalhamento: Detecção de objetos com Mask R-CNN: github.com/matterport/Mask_RCNN Aprendizado por Reforço: stable-baselines.readthedocs.io/en/master/guide/install.html
Eu tenho dúvidas sobre como dar recompensas não imediatas, por exemplo, imagina num jogo qualquer, se a IA vencer é +1 e se perder -1, eu não sei implementar isso, só recompensa imediata
Год назад+1
A ideia é a mesma, basta colocar a lógica na função de recompensa. Mostramos isso no nosso curso.
Estranho, aqui na minha máquina, deixei rodando por 20 horas, rodou até n1024b64l3_3900000_steps e o mario ainda não consegue passar de fase, e olha que mandei ele jogar umas 10 vezes
depois de 59.35 horas, finalizou o treinamento e pra minha tristeza o mario ainda está muito ruim pra passar de fase, percebo que ele tem mais habilidade no início da fase, acredito que isso se dê ao fato que durante o treinamento ele sempre vai aperfeiçoando os movimentos do inicio da fase, mas como ele passa do meio da fase com pouca frequência, fica menos habilidoso conforme vai avançando na fase. A impressão que tenho é que há pouca informação pra IA tomar as decisões de movimentos. Talvez o ideal seja pegar 1 quadro a cada 2 ao invés de 1 a cada 4 ou aumentar a "resolução" da dos pixels analisado pela IA, mas isso deixaria o treinamento muito mais lento.
@@andersonpavani1982 ah entendi. Não apareceu aqui pra mim. Eu usei 2 notebooks, um usei 15 threads e outro 7 threads por mais de 50 horas e nem o modelo apareceu. Alterei o saves e outras variáveis e nada. Tô empacada nisso ainda :/
7 месяцев назад
Cara, na parte teórica vc não põe um slide, fica só de boca? Estou fazendo uma crítica construtiva.
Obrigado pelo conteúdo! Eu quebrei a cabeça para fazer aprender esse trem e rodar sozinho. Com certeza semestre que vem vou comprar o curso
Sensacional!
Um dos melhores vídeos sobre aprendizado de máquina de forma tão acessível e prática!
Parabéns pela qualidade e explicação do conteúdo e obrigado por compartilhar riquíssimo conteúdo acerca de machine learning, O aprendizado por reforço somente com bom exemplo pra ficar bem compreendido e o vídeo cumpriu bem esse objetivo.
Saúde e sucesso para toda a equipe Didática Tech!
Vou guardar esse pra quando eu estiver mais versado nos algoritmos.
Trabalho de voces é muito bom, espero que prosperem!
Maravilha de conteúdo 💞🙏💯 super joinha 👍
Lhe desejo um feliz 2024 🇧🇷 Deus abençoe grandiosamente 👏👏
Caso apareça um erro durante a execução da primeira cela nesse ponto: 37:07 como proceder?
Estou utilizando as bibliotecas gym 0.21 gym-super-mario-bros 7.4.0 e nes-py 8.2.1
Didática Tech: a
Eu: Melhor didática que existe.
Muito massa o vídeo, parabéns!
Primeiramente, parabéns pelo vídeo! Muito bom mesmo! Uma dúvida: 1:05:45 se ao invés de usar uma CPU eu utilizar uma GPU eu posso utilizar tb esse recurso de "threads" para aprendizagem em paralelo? E aí no valor descrito eu poderia colocar o número de CUDAS que existe na minha placa de vídeo tal como você coloca o número de threads quando usa a CPU?
@DidaticaTech
Dificilmente isso vai funcionar, pois os núcleos CUDA são muito limitados em termos de operações que podem fazer (realizam apenas operações matemáticas básicas). Então se você criou um environment personalizado que realiza apenas operações simples, essa ideia pode ser útil. Caso contrário, os núcleos CUDA não conseguirão simular os envs
46:31 o codigo nao ta funcionando pra mim a janela nao funciona ela laga e nao da pra fazer nada e nao aparece os print qie ERA pra aparecer
Excelente seu vídeo me salvou! muito obrigado pssor! :)
É possível fazer este projeto com a versão mais recente do Python que é a 3.11
Boa tarde, Professor em um de seus curso de Machine Learning obetive o seguinte erro Singleton array array(None, dtype=object) cannot be considered a valid collection. no modulo um (no qual usa todos os modelos pra saber qual é o mais adequado )
Estou tendo um BrokenPipeError que leva a um EOFError na hora de executar o treinamento do modelo. ja configurei com o número de threads da minha CPU mas o erro perciste. Alguém sabe como arrumar?
Qual versão do Nes-py, Gym e Gym_super_mario_bros vocês estão usando?
Fui fazer igual ao vídeo e está dando erro no env.step() retornando os 4 argumentos como no vídeo, mas esperando 5. Parece que teve uma atualização em alguma das bibliotecas e agora o método step() retorna "truncated" também. Alguém sabe como arrumar esse problema?
uma sugestão para um próximo vídeo seria: como executar esse treinamento utilizando o processamento da VGA com OpenCV
Idéia de vídeo: um video para explicar um pouco mais sobre como funciona os algoritmos de aprendizado por reforço por trás, como o PPO
Não encontro o módulo 4 do curso de ML, pode mandar um Link?!
é que já fiz o curso de Python para ML aqui no canal...
Oi Jeth, o módulo 4 está aqui: didatica.tech/curso-aprendizado-por-reforco-algoritmos-geneticos-nlp-e-gans/
Vocês dão consultoria?
PERA AÍ?! Você não é o cara do "descomplicando a música"? 🤨
Caramba, eu estudo música faz tempo e recente eu vim estudar python no youtube e dei de cara com um dos meus professores de música tbm?! KKKKKK
Uma dúvida no curso de tensorflow qual versão vcs estão usando ?
Olá! Para redes neurais utilizamos a versão 1.14 do TensorFlow. Quando possível pretendemos atualizar a versão do TensorFlow utilizada no curso, porém ainda não podemos por conta de dois importantes assuntos que não possuem suporte na versão 2 do TensorFlow. Abaixo detalhamento:
Detecção de objetos com Mask R-CNN:
github.com/matterport/Mask_RCNN
Aprendizado por Reforço:
stable-baselines.readthedocs.io/en/master/guide/install.html
No curso há conteúdo sobre algoritmo transformer?
Olá, não abordamos o tema.
Eu tenho dúvidas sobre como dar recompensas não imediatas, por exemplo, imagina num jogo qualquer, se a IA vencer é +1 e se perder -1, eu não sei implementar isso, só recompensa imediata
A ideia é a mesma, basta colocar a lógica na função de recompensa. Mostramos isso no nosso curso.
Boss e POSSÍVEL criar Aplicativo com python
Olá! Sim, segue vídeo: ruclips.net/video/uOQrxfCi6Qk/видео.html
Estranho, aqui na minha máquina, deixei rodando por 20 horas, rodou até n1024b64l3_3900000_steps e o mario ainda não consegue passar de fase, e olha que mandei ele jogar umas 10 vezes
depois de rodar ele por umas 30 vezes, finalmente ele passou de fase, mas vou deixar rodando até terminar os 10M pra ver a evolução dele
depois de 59.35 horas, finalizou o treinamento e pra minha tristeza o mario ainda está muito ruim pra passar de fase, percebo que ele tem mais habilidade no início da fase, acredito que isso se dê ao fato que durante o treinamento ele sempre vai aperfeiçoando os movimentos do inicio da fase, mas como ele passa do meio da fase com pouca frequência, fica menos habilidoso conforme vai avançando na fase. A impressão que tenho é que há pouca informação pra IA tomar as decisões de movimentos. Talvez o ideal seja pegar 1 quadro a cada 2 ao invés de 1 a cada 4 ou aumentar a "resolução" da dos pixels analisado pela IA, mas isso deixaria o treinamento muito mais lento.
@@andersonpavani1982 como vc fez pra visualizar o aprendizado?
@@Alekoxid2 ele ensina no vídeo, é só rodar aquele segundo trecho de código colocando o arquivo zip do treinamento no caminho que ele mostra
@@andersonpavani1982 ah entendi. Não apareceu aqui pra mim. Eu usei 2 notebooks, um usei 15 threads e outro 7 threads por mais de 50 horas e nem o modelo apareceu. Alterei o saves e outras variáveis e nada. Tô empacada nisso ainda :/
Cara, na parte teórica vc não põe um slide, fica só de boca? Estou fazendo uma crítica construtiva.