gracias por el video y la explicación. quisiera preguntar lo siguiente: ¿Cómo hago para indexar archivos en Logstash de PDF o de otras tipologías? Actualmente, solo puedo indexar archivos en .csv o pequeñas frases, pero no he podido en PDF. Muchas gracias
Buenas! Muchas gracias por todos los videos que compartes, tu canal ha sido todo un descubrimiento! Me encanta el formato que tienen, tu forma de comunicar, etc... aunque en este caso concreto de Logstash (por mi experiencia en producción en sites con alto tráfico) lo desaconsejo completamente debido a la cantidad de recursos que consume (he visto casos en los que usa más recursos el contenedor de Logstash que los contenedores de los que extrae los logs, y sin filtros ni transformaciones complejas) por lo que ODIO logstash, jajaa. Un abrazo desde España...
Buenas gracias por los comentarios! Concuerdo que logstash es muy pesado. Lo que hacemos nosotros es correrlo como un pod normal (no daemonset) y corremos fluent bit cómo daemonset que es mucho más liviano. Fluent bit Manda los logs a logstash y ahí hacemos los filtros y los enviamos al servicio externo. De esa forma no tenes que correr logstash en todos los nodos. Saludos!
Nosotros en la compañía que trabajo desarrollamos una herramienta de motorización y usamos logstach+elasticsearch para la parte de colector y visualizador de logs. Está bueno, lo malo es que el elastic consume una barbaridad de recursos si tenemos muchos logs y hemos visto en alguna oportunidad que peta.
En mi caso estuve probando hace un tiempo con Kibana, pero sin Kubernetes simplemente para sacar logs de forma más amigable de servers web tal cual, seria mejor está opción? que opinas?
Kibana es muy buena opcion tambien! Vendria a ser como el reemplazo a Loggly en nuestro caso, los 2 son buenos, a mi personalmente me gusta mas Kibana, pero loggly es gratis (para nuestro caso) y me ahorré el hecho de tener que instalarlo y mantenerlo. Y con logstash tranquilamente podés enviar los logs a Kibana tambien, (en realidad los mandarías a Elastic Search y Kibana los lee de ahi) La idea del video era mostrar como funciona logstash, no Elastic Search y Kibana. Abrazo
Esta buenisimo loggly, de echo puedo enviar el log directo por logback para mis proyectos Java... ¿Pero habrá una alternativa free que no sea kibana ni grafana?
Pablo sos un genio! sabés que cuando le tiro el kubectl apply -f . me está tirando un error, probé con --validate=false pero sigue sin funcionar, que podrá ser? Desde ya gracias!! kubectl apply -f . namespace/logging unchanged serviceaccount/fluent-bit created clusterrole.rbac.authorization.k8s.io/fluent-bit-read created clusterrolebinding.rbac.authorization.k8s.io/fluent-bit-read created configmap/fluent-bit-config created configmap/logstash-config created deployment.apps/logstash created service/logstash-svc created service/hello unchanged error validating "05-fluent-bit-ds.yaml": error validating data: ValidationError(DaemonSet.sc): missing required field "selector" in io.k8s.api.apps.v1.DaemonSetSpec; if you choose to nore these errors, turn validation off with --validate=false error validating "09-hello-app-deployment.yaml": error validating data: ValidationError(Deplment.spec): missing required field "selector" in io.k8s.api.apps.v1.DeploymentSpec; if you cose to ignore these errors, turn validation off with --validate=false
Estaba mirando que podes integrar Fluent Bit con Grafana o Kibana. no se si lo haces así en tu trabajo o lo manejan por separado, digo, ya que podes monitorear todas las métricas con Prometheus + Grafana, porque no meter los logs también.
Hola Pablo, ante todo darte las gracias por todos los vídeos que subes y la gran calidad de ellos. Tengo una duda y es si no se podría simplificar la instalación de los plugins de logstash poniéndolos todos en la misma línea, algo así "logstash-plugin install logstash-output-loggly logstash-filter-prune" desconozco si se puede hacer o se tiene que especificar en dos comandos separados. Un saludo!
Gracias! La verdad no estoy seguro, pero es fácil de probar! :) Igual a mí me gusta ponerlo en líneas separadas para poder ver los plugins instalados de un vistazo rápido. Saludos !
5 лет назад
Pablo, probaste instalar el docker de EKL y aplicarlo a tu kubernetes? Estaría bueno un videito no?
Hola Pablo, gracias por los vídeos, yo estoy justo probando cada una de las opciones que mencionaste para poder filtrar pero aun sigo liado con capturar el stack completo de error para spring boot, la verdad que eh tenido muchos problemas para obtener un filtro completo ya que esos logs vienen en varias lineas. Saludos.!
gracias por el video y la explicación. quisiera preguntar lo siguiente: ¿Cómo hago para indexar archivos en Logstash de PDF o de otras tipologías? Actualmente, solo puedo indexar archivos en .csv o pequeñas frases, pero no he podido en PDF. Muchas gracias
Cómo haces para aprender tanto, en qué tiempo vivís? cuando dormís seguís leyendo?
A medida que pasan los vídeos me doy cuenta que la Posta es kubernetes ...... Fantastico!!!!
no puedo creer que acabo de postear una pregunta arriba de la tuya y justo te llamás como yo!!!!
Fluent bit > Logstash > Loggly, por si se pierden entre tantos términos.
vistes graylog o lo usastes alguna vez ?¿
hace un vídeo pelao sobre graylog , le va a molar a la gente del canal , saludos pelao
Jeeeeeeeeee
Buenas! Muchas gracias por todos los videos que compartes, tu canal ha sido todo un descubrimiento! Me encanta el formato que tienen, tu forma de comunicar, etc... aunque en este caso concreto de Logstash (por mi experiencia en producción en sites con alto tráfico) lo desaconsejo completamente debido a la cantidad de recursos que consume (he visto casos en los que usa más recursos el contenedor de Logstash que los contenedores de los que extrae los logs, y sin filtros ni transformaciones complejas) por lo que ODIO logstash, jajaa. Un abrazo desde España...
Buenas gracias por los comentarios! Concuerdo que logstash es muy pesado. Lo que hacemos nosotros es correrlo como un pod normal (no daemonset) y corremos fluent bit cómo daemonset que es mucho más liviano. Fluent bit Manda los logs a logstash y ahí hacemos los filtros y los enviamos al servicio externo. De esa forma no tenes que correr logstash en todos los nodos. Saludos!
Maquina podrias hacer un cacho intro de GitOps ???????????
Como usaríamos CI/CD con jenkins + Docker + Kubernetes???????
Saludos bro!!!
Estoy armando para hacer un streaming de esto en 2 semanas. Quedate atento
@@PeladoNerd gracias bro, ahí estaré ; )
saludos !!!
Nosotros en la compañía que trabajo desarrollamos una herramienta de motorización y usamos logstach+elasticsearch para la parte de colector y visualizador de logs.
Está bueno, lo malo es que el elastic consume una barbaridad de recursos si tenemos muchos logs y hemos visto en alguna oportunidad que peta.
En mi caso estuve probando hace un tiempo con Kibana, pero sin Kubernetes simplemente para sacar logs de forma más amigable de servers web tal cual, seria mejor está opción? que opinas?
Pelado Nerd Internacional:admiro sus conocimientos y su voluntad.Dios Bendiga ,proteja su solidaridad.
Kibana es muy buena opcion tambien! Vendria a ser como el reemplazo a Loggly en nuestro caso, los 2 son buenos, a mi personalmente me gusta mas Kibana, pero loggly es gratis (para nuestro caso) y me ahorré el hecho de tener que instalarlo y mantenerlo.
Y con logstash tranquilamente podés enviar los logs a Kibana tambien, (en realidad los mandarías a Elastic Search y Kibana los lee de ahi) La idea del video era mostrar como funciona logstash, no Elastic Search y Kibana.
Abrazo
Simplemente genial pelao! Muchas gracias por compartir tus conocimientos. Un saludo desde Chile!
Grandiosos todos los videos !!!! .... cuando haces en capitulo dedicado a volumenes ???? . Saludos
Pronto! Creo que es el próximo de Kubernetes. Lo tengo que armar
Esta buenisimo loggly, de echo puedo enviar el log directo por logback para mis proyectos Java... ¿Pero habrá una alternativa free que no sea kibana ni grafana?
Pablo sos un genio! sabés que cuando le tiro el kubectl apply -f . me está tirando un error, probé con --validate=false pero sigue sin funcionar, que podrá ser? Desde ya gracias!!
kubectl apply -f .
namespace/logging unchanged
serviceaccount/fluent-bit created
clusterrole.rbac.authorization.k8s.io/fluent-bit-read created
clusterrolebinding.rbac.authorization.k8s.io/fluent-bit-read created
configmap/fluent-bit-config created
configmap/logstash-config created
deployment.apps/logstash created
service/logstash-svc created
service/hello unchanged
error validating "05-fluent-bit-ds.yaml": error validating data: ValidationError(DaemonSet.sc): missing required field "selector" in io.k8s.api.apps.v1.DaemonSetSpec; if you choose to nore these errors, turn validation off with --validate=false
error validating "09-hello-app-deployment.yaml": error validating data: ValidationError(Deplment.spec): missing required field "selector" in io.k8s.api.apps.v1.DeploymentSpec; if you cose to ignore these errors, turn validation off with --validate=false
Hacete un issue en el repo y lo vemos. Al parecer falta un campo que antes no hacía falta con las versiones de Kubernetes anteriores
@@PeladoNerd listo! Mil gracias!!!
Estaba mirando que podes integrar Fluent Bit con Grafana o Kibana. no se si lo haces así en tu trabajo o lo manejan por separado, digo, ya que podes monitorear todas las métricas con Prometheus + Grafana, porque no meter los logs también.
Lo manejamos por separado ya que mantener Elastic Search (para logs) es un perno :)
Hola Pablo, ante todo darte las gracias por todos los vídeos que subes y la gran calidad de ellos. Tengo una duda y es si no se podría simplificar la instalación de los plugins de logstash poniéndolos todos en la misma línea, algo así "logstash-plugin install logstash-output-loggly logstash-filter-prune" desconozco si se puede hacer o se tiene que especificar en dos comandos separados. Un saludo!
Gracias! La verdad no estoy seguro, pero es fácil de probar! :) Igual a mí me gusta ponerlo en líneas separadas para poder ver los plugins instalados de un vistazo rápido. Saludos !
Pablo, probaste instalar el docker de EKL y aplicarlo a tu kubernetes? Estaría bueno un videito no?
Hola! No he probado EKL todavía, apenas tenga un poco de experiencia con eso, seguro armo algo. Saludos!
Eres un capo! siempre aprendo algo nuevo, gracias por compartir
Hola Pablo, gracias por los vídeos, yo estoy justo probando cada una de las opciones que mencionaste para poder filtrar pero aun sigo liado con capturar el stack completo de error para spring boot, la verdad que eh tenido muchos problemas para obtener un filtro completo ya que esos logs vienen en varias lineas. Saludos.!
Sweet pelado, mui bueno. O/
Estoy siguiendo tus vídeos la verdad gracias por compartir tus conocimientos con nosotros, saludos desde México y tienes un nuevo seguidor
A la verdad me salto a los temas que me interesan...
mas adelante vuelvo a ver la serie completa...