- Видео 20
- Просмотров 109 451
Jose Eduardo Pimentel
Добавлен 25 июл 2006
O autor é Promotor de Justiça com atuação criminal, graduado em Segurança da Informação pela FATEC e pós-graduado em Inteligência Artificial e Computacional pela UFV. Nas horas vagas, programa em Python.
Análise de dados criminais da SSP/SP com Python (no Colab)
A SSP/SP está disponibilizando para toda a população os dados criminais georreferenciados relativos aos boletins de ocorrência.
Este projeto realiza a análise desses dados criminais, utilizando bibliotecas como pandas, ipywidgets e folium para visualização desses dados em mapa interativo.
O uso do Colab facilita a reprodução e a divulgação dessa ideia.
Confira o código em: github.com/jespimentel/dados_criminais_ssp_sp/blob/main/dados_criminais.ipynb
Este projeto realiza a análise desses dados criminais, utilizando bibliotecas como pandas, ipywidgets e folium para visualização desses dados em mapa interativo.
O uso do Colab facilita a reprodução e a divulgação dessa ideia.
Confira o código em: github.com/jespimentel/dados_criminais_ssp_sp/blob/main/dados_criminais.ipynb
Просмотров: 138
Видео
Degravação do WhatsApp com Python. Contextualiza as mensagens de vídeo e áudio.
Просмотров 965 месяцев назад
Neste vídeo, conversamos sobre a lógica de um script criado para resolver um problema real de um processo, que transcreve o chat do WhatsApp, lendo o arquivo texto da conversa exportada, bem como transcrevemensagens de áudio ("opus") e de vídeo ("mp4") que encontra pelo caminho. De quebra, o programa calcula o hash (sha256) do respectivo arquivo. O código, como sempre, está disponível no GitHub.
Transcrição de gravações no Word (com uma ajudinha do Python)
Просмотров 878 месяцев назад
O Word possui funcionalidade para transcrever gravações, inclusive destacando os locutores. Não serve, porém, às transcrições de audiências judiciais, que se constituem em vídeos, normalmente no formato "asf". Para transpor esse problema, usamos Python para converter as gravações em mp3. No vídeo, ensinamos o passo-a-passo e como usar o PyInstaller ou o Streamlit para compartilhar a solução. Co...
Conversão de audiências em "asf" para "mp3" para transcrição com Word
Просмотров 668 месяцев назад
Acesso à ferramenta web desenvolvida com Streamlit para a Promotoria de Piracicaba: pjpiracicaba-converte-para-mp3.streamlit.app/
API Pública do DataJud - CNJ: requisição e análise com Python
Просмотров 3,5 тыс.9 месяцев назад
O Conselho Nacional de Justiça disponibiliza uma API pública que fornece os metadados e movimentações dos processos judiciais não gravados de sigilo. No vídeo, mostramos como consultar a API, criar dataframes e analisar os dados obtidos, concluindo temos ajuizado menos ANPPs atualmente. Colab: github.com/jespimentel/api_cnj/blob/main/anpp.ipynb Artigo: jespimentel.blogspot.com/2024/03/consulta-...
PrivateGPT - instalação e funcionamento (em Português)
Просмотров 1,8 тыс.11 месяцев назад
Neste vídeo, instalamos o PrivateGPT no Mac M1 e carregamos 234 documentos (alegações finais) na solução, para usá-los com o chat. Repositório: github.com/imartinez/privateGPT Instalação (MacOS ou Linux): docs.privategpt.dev/overview/welcome/quickstart Instalação no Win: docs.privategpt.dev/installation
Whisper e ChatGPT-4: análise de uma audiência judicial
Просмотров 12511 месяцев назад
Nesta experiência, combinamos duas soluções de IA para analisar uma audiência judicial. Os resultados foram surpreendentes! Confiram. Tivemos, porém, uma "alucinação": um certo "Dr. Inês" apareceu do nada.
Transcrição de áudio com Whisper e Colab
Просмотров 3,4 тыс.Год назад
O Whisper é um modelo de IA de reconhecimento de fala multilíngue da OpenAI. Suporta diversos formatos de entrada, inclusive o "asf", adotado pelo SAJ/eSAJ, e o "ogg", do WhatsApp. O código combina a praticidade do ambiente Colab, Python e a biblioteca ffmpeg com o modelo de IA para transcrever as audiências e arquivos de interesse do processo, gravando a saídaem arquivo "txt". Para testar a fe...
AutoCota: programa escrito em Python para automatizar a geração de cotas processuais em PDF e DOCX.
Просмотров 90Год назад
Informações sobre o funcionamento do programa. Código fonte disponível em: github.com/jespimentel/autocota/
ChatPDF : análise de processos judicias
Просмотров 554Год назад
O Chat GPT é, como já sabemos, uma ferramenta de IA que usa um modelo de linguagem natural com técnicas de aprendizagem de máquina supervisionado e por reforço para estabelecer uma interação com humanos em forma de chat. Ele é disruptivo porque, de uma hora para outra, a IA foi colocada à disposição de pessoas comuns e de forma bastante amigável. Usuários e startups estão encontrando inúmeras a...
Crawler e-SAJ 2º Grau
Просмотров 135Год назад
A Promotoria de Justiça de Piracicaba monitora a entrada de processos em 2º grau relacionados a seus investigados, realizando consultas periódicas ao eSAJ, de forma automática. Para isso, criamos um web crawler (ou "robozinho") para realizar a pesquisa não autenticada ao eSAJ. A aplicação faz buscas por nome da parte ou número de OAB e retorna informações sobre processos criminais encontrados. ...
ChatGPT: automatizando rotina da Promotoria em 5 minutos
Просмотров 630Год назад
Exemplo do emprego do ChatGPT na Promotoria de Justiça para a automação de tarefas. Mais detalhes em: jespimentel.blogspot.com/2023/01/o-chat-gpt-na-promotoria-de-justica.html Código gerado pela IA: github.com/jespimentel/docx_em_pdf
Python, IA e eSAJ: transcrição de audiências judiciais
Просмотров 6433 года назад
Uso do Python e da IA (Google e IBM) para transcrição das audiências judiciais, a partir do download de arquivos "asf" gravados pelo eSAJ. Código no Github: github.com/jespimentel/AudiPy
RPP - Policia Militar SP - 1989
Просмотров 54 тыс.12 лет назад
Viatura do Comandante de Força Patrulha na época de implantação do Rádiopatrulhamento Padrão - RPP, 1989
Esquenta em Piracicaba - Abril de 2011
Просмотров 8512 лет назад
Esquenta em Piracicaba - Abril de 2011
"Sobradinho" e "Não sonho mais" (violão)
Просмотров 28313 лет назад
"Sobradinho" e "Não sonho mais" (violão)
Detalhes - Roberto Carlos - no teclado Korg PA 500
Просмотров 43 тыс.15 лет назад
Detalhes - Roberto Carlos - no teclado Korg PA 500
Chegou a verificar a questão de não trazer as informações dos processos atualizados? Pesquisei um processo via API mas notei que a ultima movimentação do processo é de 19/11/2024, mas a API só trouxe até 25/09/2024
Jose, boa tarde! Tudo bem? Gostaria de buscar o CPF/CNPJ e trazer todos processos para a busca, tem como? Pois não achei CPF/CNPJ no glossário
Ola Jose ,carreguei um mp3 e está dando o erro : You are using `torch.load` with `weights_only=False
É uma pena que a PM hoje não possa mais contar com um tanque de guerra - a Veraneio - o verdadeiro camburão onde dava pra amontoar no porta malas (e bota MALA nisso) 6 bandidos ou mais! O Coronel Erasmo Dias dizia que a Veraneio fazia parte do equipamento ofensivo do policial militar! Se o cara não obedece a voz de parada, voce joga o carro em cima! Pronto. É um caminhão, não tem conversa. Bons tempos em que a bandidagem tinha medo dos policiais e havia cadeia de verdade.
Passando para agradecer o excelente material para quem precisa obter e tratar dados oriundos da base do DataJud-CNJ. Parabéns pelo valioso trabalho!!!
Ótimo vídeo, estava procurando sobre para fazer uma transcrição de algumas coisas que quero e rodar pelo colab me ajudou de mais nesse vídeo, só modifiquei de medium ali para large e deixei rodando, não terminou ainda, mas já demonstrou que está funcionando, agradecido pelo conteúdo e ajudou de mais. Obrigado!
Boa tarde meu amigo, vc poderia trazer algo explicando como funciona auditorias em computadores, códigos hashs, seria legal ver algo assim, desde o processo técnnico até o processo jurídico legal, eu sempre quis entrar no mundo de pericia digital, acabei encontrando seu canal e achei muito massa
Muito bom, Jose Eduardo! Aprendo demais com seus vídeos!
Sensacional
Excelente, muito obrigado. * O senhor sabe se essa API serve para buscar jurisprudência, ou conhece alguma que faz isso? Sucesso!
O LobeChat é muito melhor... Pois não precisa de uma máquina potente, basta ter API da Claude ou então da OpenRouter AI e então ter acesso a todos LLM disponíveis no mercado.
José, eu usei o código que você montou para fazer consulta processual para ver o andamento de processos do trt. Porém não tive sucesso. Você poderia me auxiliar?
Subi um novo notebook para atender à sua necessidade. Tem uma célula que relaciona os movimentos. Confira lá no GitHub. Abçs.
José bom tarde. Eu peguei o novo código, muito obrigado!!! Só que eu fiquei com uma dúvida, eu fui pesquisar o andamento de um processo e ele só tem até 2022 e quando pesquiso no PJE o andamento vai até 2024 será que estou fazendo alguma coisa de errado?
Note que há um limite nas respostas, podendo haver necessidade de paginação. Sugiro uma consulta à documentação da API para tratar o seu problema de modo mais específico.
Jesp, você dá algum tipo de curso?
@@higorianfabrisbuoro1915 No momento, não. Abçs.
Parabéns, Dr. Pimentel! Excelente ferramenta! Estou utilizando para minutar memoriais e está ajudando muito! Obrigado!
Obrigado! Atualmente estou convertendo os arquivos de vídeo para mp3 e transcrevendo com o próprio Word. Já tem vídeo sobre essa estratégia aqui no canal. Abração!
Fala professor boa tarde! Se possivel faz um video explicando como fazer a paginação usando o sort la no datajud
Talvez em breve, obrigado pela sugestão.
Fala professor boa tarde! Se possivel faz um video explicando como fazer a paginação usando o sort
Talvez em breve, obrigado pela sugestão!
José, obrigado pelo vídeo, muito técnico muito interessante! Gostaria de confirmar as clausulas do CNJ com você, pois sou engenheiro e não conheço muito a parte legislativa e termos técnicos, no caso a sua busca tem o intuito de saber se negociações entre o MP e o acusado aumentaram ou diminuiram? Gostaria de saber no caso sobre o que o CNJ fala nas clausulas: '3.9.O usuário concorda em dar ciência ao CNJ de qualquer informação, notícia, estudo, relatório ou documento de qualquer natureza que seja disponibilizado ao público em geral.' '3.24. O usuário concorda em cooperar com o CNJ em caso de investigações ou disputas relacionadas ao uso da API.' '4.2.O usuário concorda em não coletar, armazenar ou processar dados pessoais originários da API ou realizar cruzamentos de informação para esse fim, exceto conforme permitido pela LGPD e outras leis e regulamentos aplicáveis.' poderia elucidar sobre a utilização da API para que eu não incorra em algum erro ou violação na utilização dos dados, como por exemplo, utilizar as informações em vídeos, etc... Obs.: eu fiz algumas requisições e pelo que percebo não retornam dados sensíveis como nomes etc, mas fica a dúvida... qualquer informação é de grande valia para que eu possa efetuar pesquisas seguras que sigam a conformidade, abraço!
Você está correto. A API não retorna dados pessoais e nem mesmo os metadados de processos em segredo de justiça. Fique tranquilo e bons estudos.
Ótimo conteúdo, gostaria de conversar sobre como desenvolver novas ferramentas
Fico à disposição, procure-me no Linkedin. Abçs.
Amigo, está SUPER ULTRA LENTO 😢 As 2 primeiras foram rápidas, e todas as outras ficam mais de 1 dia para fazer meia hora de transcrição de audio em texto.
Você tem que mudar o ambiente de execução de CPU para GPU. Em GPU o processamento é mais rápido entretanto o uso é limitado (uso uma vez por dia) ou pago, não existe almoço grátis. A explicação serve para esse tutorial aqui --> [ruclips.net/video/1L9py-qiwOk/видео.html]. Para dispensar a importação do arquivo de dados ver [ ruclips.net/video/J7qXkIcEJCE/видео.html].
@@tiagostenfreitas9001 Grato mesmo!!! Pois é, o problema é que, GPU ele não me deixa mais acessar... nenhuma outra deixa, senão a CPU. Daí ou é pagar, e eu não vou... ou simplesmente não conseguir fazer transcrições longas, pois já deixei o PC ligado 3 dias e andou 30 e poucos minutos de um áudio de 3 horas. E ainda deu crash.
E para baixar mandados de prisão?
Infelizmente, não. Está fora do escopo da API.
Interessante. VocÊ realizou o upload de diversos arquivos, mas, ao realizar uma questão, nenhum erro ocorreu. No entanto, quando importei um único arquivo XLSX , apresentou o erro "Initial token count exceeds token limit" (antes ainda tive de corrigir um erro da importação por causa do uso de caracteres especiais).
Tempo bom que a vagabundagem respeitava mais a polícia 👊🇧🇷
Oi. Muito bom! Conseguimos pela api consultar jurisprudencias?
Infelizmente não. Jurisprudência está fora do escopo dessa API.
Tá falando muito o idioma de um áudio que é inglês ele detecta latin, áudio que é português ele detectar russo.. whispwr é uma piada inútil
Nesse Tempo aí a Polícia Tinha Moral, Hoje Ninguém Respeita a Polícia.
Executei pelo Postman o mesmo código JSON que vc fez no Pyhton e dá o mesmo erro -> 401
Esse tipo de erro normalmente ocorre por problema de credencial. Verifique se a chave pública está ok. Boa sorte!
@@jespimentel Estou utilizando a chave publica que estar no Wiki do Data datajud-wiki.cnj.jus.br/api-publica/acesso e também seguindo o passo a passo da página datajud-wiki.cnj.jus.br/api-publica/exemplos/ Meu projeto é em Java mas utilizo o Postman para os testes, todas as tentativas resultam no erro HTT 401"security_exception" Se o amigo puder me ajudar eu agradeceria muito, pois vou perder meu ganha pão :-) - tenho um sistema de clipping de editais que utiliza como fonte de dados os PDFs dos Diários Oficiais. Desde já te agradeço. PS: Vc poderia fazer um teste com esse passo a passo e me informar o resultado? (não descarto que eu possa estar errado).
José primeiramente parabéns por estar compartilhando conhecimentos valiosos. Utilizei Postman no passo a passo que estar no site do CNJ (datajud-wiki.cnj.jus.br/api-publica/exemplos/exemplo1/), porém recebo como retorno o erro 401, ou seja a solicitação foi recusada por falta de credenciais. Você tem alguma ideia do posso estar fazendo de errado, segui rigorosamente o que diz o passo a passo para consulta de um nº de processo. Outra dúvida cada tribunal tem uma chave pública própria? Desde já agradeço sua atenção, obrigado.
Primeiramente, ótimo conteúdo... tentei fazer uma adaptação, mudando o tribunal para TRF5 e a classe da ação para 120 (MS)... quando fui rodar o código, só vieram informações até 2023... vc saberia dizer o motivo? Agradeço desde já pela atenção.
Pode ser que esse tribunal específico esteja atrasado com as cargas de dados. Abçs.
Bom dia. Uma excelente dica. Fazia isso não utilizando o word. Me diz uma coisa no word desktop versão 365 Versão 2404 tem essa função?
Por enquanto, só na versão web. Abçs.
Você já testou o AnythingLLM?
Ainda não. Obrigado pela dica.
Esse é top, melhor que o PrivateGPT
Alguém sabe um app para extrair o áudio do vídeo? Acho que fica mais rápido só o arquivo de áudio.
Confira esse aqui, de nossa autoria: github.com/jespimentel/converte_para_mp3 Abçs.
@@jespimentel Bom dia, tudo bem ? Como faço pra rodar este no colab também? Não entendo muito de programação. Mais uma coisa. Tentei utilizar o script do vídeo em um arquivo .mp4 e não funcionou. De qualquer forma agradeço a colaboração. Abraço
Extraordinário, só uma pergunta, esse "Disco" que fica ao final já está em 46.82gb. É o da sua máquina ou da minha?
É o do Colab. Dê uma olhadinha, quando tiver tempo em stackoverflow.com/questions/60956872/google-colab-disk-space-vs-google-drive-disk-space
Olá, caso eu queira fazer uma analise parecida porem para saber os valores de precatórios. Seria possível?
Não fiz nada parecido ainda, mas é um desafio interessante. Boa sorte!
Interessante, devo imaginar que serve para aulas tbm. Há limitação de tamanho de arquivo?
Bom para aulas também. A limitação é de memória (RAM).
Parabéns! Ótimo trabalho
Obrigado! Abçs.!
A Direção da veraneio tem que ter MUITO TREINO! 1 volta pra começar a virar kkkkkkk e essa sirene que parece as trombetas do djabo, eu paralisaria se escutasse isso vindo a minha direção. Também era época que tínhamos veículos de verdade, com manutenções simples, sem mimimi, e SUV nem sonhava em existir ainda.
2:29 Um Monza SR!!!!
Grande Zé Eduardo, Neto cara de Japa e Fernandes (BATATA) sdd dessa equipe.
Sim, os melhores! Abração!
Olá Dr. José Eduardo! Obrigada por compartilhar! Meu áudio tem 2 horas, porém apenas consegui transcrever 40 minutos com essa ferramenta. O que será que fiz de errado?
Não teria excedido a capacidade da RAM? Experimente rodar local ou quebrar o áudio em 2 ou mais arquivos. Boa sorte!
Posso incorporar a API em meu site e comercializar esse serviço ?
Sugiro consultar a documentação da API. Abçs.
Excelente, muito últil! Muito obrigado Jose Eduardo!
Eu que agradeço
Sabe me dizer se tem como puxar da folha recorte da OAB?
Não sei dizer. Não conheço a aplicação da OAB. Abçs.
um bom trabaho, e util para ti mesmo, já que parece ser advogado
Você tem interesse e disposição de implementar essa ferramenta em um sistema de advocacia que foi desenvolvido em PHP/Laravel? Estou procurando alguém com conhecimentos para implementar isso em nosso sistema (proprietário)
Eu sou DEV e estou montando um sistema que envolve consultas processuais, se tiver interesse deixe um contato seu que eu entro em contato
Obrigado, não tenho interesse no momento.
Existe uma forma de pegar a própria decisão e não somente os metadados do processo?
Infelizmente não (também queria). A API fornece só os metadados.
@@jespimentel Eu vi que o STJ disponibilizou inclusive o inteiro teor dos acórdãos e das decisões monocráticas, mas, pelo que eu consegui achar, só eles mesmo. ;(
@@jespimentel Eu tenho feito webscraping para ajudar projetos a conseguir obter o inteiro teor das decisões e colcoar em Base de Dados. Eu já fiz os códigos para extrair as decisões do STJ, TJMT e TJMG e tenho planos de fazer pro TJRO, e TJDFT. Se algum desses for do seu interesse pode falar que eu te mando o código e um tutorial pra rodar!
Infelizmente é uma forma muito precária e instável de conseguir as deciões. Queria muito ter um acesso mais fácil
Sabe implementar essa API em um sistema PHP?
Nem todo herói usa capa! Muito obrigada!
Veja se esse projeto te ajuda: github.com/jespimentel/esaj_2_grau/
@@jespimentel vi agora essa sua resposta! Obrigada. Eu uso selenium para fazer scraping. Vou dar uma olhada agora mesmo no seu código e se um dia precisar de scraping pro TJSP já sei por onde começar!
Que código limpo e organizado! Obrigada disponibilizar
open webui parece fazer a msm coisa e com mais opçoes de modelo estou estudando ainda
Obrigado pela dica, abcs.
consegui subir como Docker que maravilha
Boa!!!
Muito bom! :D
Gratidão!! Deu muito certo aqui :)
Que ótimo!
To procurando um notebook que identifique os interlocutores, alem de reconhecer
Se eu encontrar alguma coisa, compartilho com você!
Olá! Amei a ideia, mas não estou conseguindo fazer upload dos arquivos que quero transcrever. Eles ficam com a bolinha vermelha ao final, em vez de serem carregados. O senhor sabe como eu poderia resolver? Obrigada!
carregue os áudios em uma pasta no drive, então monte o drive no notebook e carregue o arquivo no script!
Com a sugestão do @angeo10, o problema deve ser resolvido. Possivelmente seus arquivos são muito "pesados".