Transforma el SOC con SIEM de nueva generación
Descubre el futuro de la tecnología SIEM. Mejora tu centro de operaciones de seguridad con automatización y estrategias SIEM de vanguardia.
Descarga tu guía ya
Transforma el SOC con SIEM de nueva generación
Descubre el futuro de la tecnología SIEM. Mejora tu centro de operaciones de seguridad con automatización y estrategias SIEM de vanguardia.
Descarga tu guía ya
Definición de agrupación de logs
La agrupación de logs es una forma de recopilar, normalizar y consolidar logs de diferentes fuentes en una plataforma centralizada para correlacionar y analizar los datos. Después, estos datos agrupados se utilizan como fuente única de verdad en diferentes casos de uso, como resolver problemas o errores de rendimiento de la aplicación, identificar los cuellos de botella en la infraestructura o encontrar la causa raíz de un ciberataque.
En este artículo, analizaremos por qué es importante agrupar los logs, los pasos que incluye este proceso y los tipos de logs que se deberían recopilar. Además, mencionaremos las funciones que se deben tener en cuenta al elegir una plataforma de gestión y agrupación de logs.
¿Por qué se deben agrupar los logs?
La agrupación de logs permite recopilar eventos de distintas fuentes en un mismo lugar para realizar búsquedas, analizar los datos y darles un sentido. No solo es fundamental para la observabilidad de extremo a extremo, sino que resulta muy útil en diferentes aplicaciones, como:
- Análisis en tiempo real y monitorización: las soluciones de gestión de eventos e información de seguridad (SIEM) dependen de los logs para identificar las brechas de seguridad, los patrones de ataque y las tendencias.
- Monitorización de aplicaciones: las soluciones de gestión del rendimiento de las aplicaciones (APM) utilizan los logs para encontrar rápidamente cualquier problema funcional o de rendimiento en la aplicación, reduciendo así el tiempo medio de resolución (MTTR) y aumentando la disponibilidad de la aplicación.
- Planificación de la capacidad: los logs del sistema suelen indicar la saturación de los recursos y los cuellos de botella resultantes en la infraestructura. Esto permite mitigar rápidamente estos problemas y ayuda a los equipos de operaciones a evaluar la utilización actual de la capacidad de la infraestructura, así como a planificar el futuro.
- AIOps: algunos sistemas de gestión de logs modernos aplican tecnologías sofisticadas de inteligencia artificial (IA) y algoritmos de aprendizaje automático (ML) a los datos del log para encontrar correlaciones de eventos, detectar anomalías y analizar las tendencias.
- Auditorías y cumplimiento: los logs también son útiles para fines de auditoría, como registros de acceso a bases de datos, inicios de sesión en el servidor y solicitudes de API fallidas/correctas. Estos registros suelen ser necesarios para garantizar el cumplimiento de marcos normativos como PCI DSS o HIPAA.
- Mitigar las amenazas de seguridad: el análisis de logs ayuda a identificar amenazas de seguridad como ataques de denegación de servicio distribuido (DDoS) o de fuerza fruta. Los logs de flujo de red y de firewall también sirven para bloquear cualquier tráfico no autorizado.
- Visualización de datos: la agrupación de datos sirve para crear paneles donde mostrar los datos de forma visual.
- Visualización y análisis avanzados: la agrupación de logs también ayuda a aprovechar las operaciones de análisis avanzados como la minería de datos, las búsquedas de texto libre, las consultas RegEx complejas para análisis completos y la creación de paneles. Estas operaciones son útiles para los centros de operaciones de red (NOC) o los centros de operaciones de seguridad (SOC).
¿Qué implica la agrupación de logs?
El proceso de agrupación y análisis de logs de distintas fuentes se compone de varios pasos.
Identificación del origen del log
Las aplicaciones empresariales distribuidas modernas cuentan con varios elementos móviles, por lo que es importante identificar todos los componentes desde los que se desean agrupar los registros. Para poder gestionarlos sin problemas, puedes optar por recopilar solo ciertos tipos de eventos (como fallos de inicio de sesión o consultas que superan el umbral de espera definido) o niveles de importancia específicos.
Por ejemplo, puedes recopilar todos los intentos de conexión fallidos del sistema de detección de intrusiones de red (NIDS) o los mensajes de error críticos sobre pods que se bloquean en el clúster de Kubernetes.
Recopilación de logs
Después de identificar las fuentes, el siguiente paso es recopilar los logs. La recopilación debería ser automática. Existen distintos métodos de recopilación:
- las aplicaciones pueden usar protocolos de registro de mensajes estándar como Syslog para transferir los logs continuamente al sistema centralizado;
- puedes instalar recopiladores e integraciones personalizados (también conocidos como agentes) en los servidores que leen los logs de la máquina local y los envían a la plataforma de registro;
- la instrumentación de código captura mensajes de partes específicas del programa, lo que a menudo depende de las condiciones de error específicas encontradas;
- los sistemas de gestión de logs pueden acceder directamente a los sistemas de origen y copiar archivos de log a través de la red.
Más información
Lee nuestra publicación sobre la gestión de logs para obtener más información sobre cómo ayuda a tu organización a recopilar eventos de log.
Análisis de los logs
Es necesario analizar los logs para obtener información significativa. El análisis es un proceso que consiste en extraer piezas clave de información de cada evento registrado y guardarlas en un formato común. Después, estos valores se almacenan para su posterior análisis. Los logs pueden ser bastante grandes y contienen gran cantidad de datos poco útiles. El análisis extrae únicamente la información relevante y descarta el resto.
Un ejemplo de análisis es asignar las marcas de tiempo originales a los valores de una sola zona horaria. Las marcas de tiempo son metadatos críticos relacionados con un evento, y es posible tener diferentes marcas de tiempo en los logs en función de dónde se encuentren las fuentes.
Un analizador puede extraer otros fragmentos importantes de información, como nombres de usuario, direcciones IP de origen y destino, el protocolo de red utilizado y el mensaje real del log. Así, el análisis puede filtrar los datos para mostrar solo los eventos del tipo ERROR y ADVERTENCIA, excluyendo todo lo que sea menos grave.
Procesamiento de logs
Después del análisis, la agrupación de logs puede realizar otras acciones al procesar las entradas.
La indexación crea un mapa de los datos analizados y almacenados basándose en una columna, similar a un índice de base de datos. La indexación hace que la consulta de logs sea más fácil y rápida. Los índices únicos también eliminan los datos de log duplicados.
El enriquecimiento de datos también puede ser muy útil para obtener información adicional de los logs. Entre los ejemplos de enriquecimiento de datos se incluyen:
- añadir información de geolocalización a los datos del log a partir de las direcciones IP;
- sustituir los códigos de estado HTTP por sus mensajes actuales;
- incluir detalles del sistema operativo y el navegador web.
El enmascaramiento de los datos es una técnica mediante la cual los datos confidenciales como las claves de cifrado, la información personal o los tokens y las credenciales de autenticación se eliminan de los mensajes del log.
Almacenamiento de logs
La mayoría de plataformas de gestión de logs comprimen los logs analizados, indexados y enriquecidos antes de almacenarlos. La compresión reduce el ancho de banda y el coste del almacenamiento de los logs. Por lo general, se comprimen en un formato propio.
Al agrupar los logs, también debes definir las directivas de retención. Estas directivas dictaminan el tiempo durante el que se conservarán los logs. Depende de muchos factores, como el espacio de almacenamiento disponible, los requisitos del sector o las directivas de la organización. Además, cada tipo de log tiene sus propios requisitos de retención. Una vez transcurrido el tiempo especificado, se pueden eliminar o archivar los logs en un almacenamiento menos caro y con mayor latencia. Eliminar y archivar los logs te ayudará a mejorar el rendimiento de las consultas al reducir el tamaño de los datos activos, y también es útil para fines de auditoría.
¿Qué tipos de logs deben agruparse?
Los tipos de log que se deben agrupar dependen del caso de uso. Esto forma parte de la fase de identificación de logs mencionada anteriormente. A continuación te ofrecemos una lista con algunas recomendaciones:
- logs del sistema generados por Syslog, journalctl o el servicio de logs de eventos;
- logs del servidor web;
- logs de middleware;
- logs de aplicaciones, incluidos los de microservicios;
- logs de flujo de red;
- logs de firewalls, antivirus o sistemas de detección de intrusiones;
- logs de bases de datos;
- logs de puerta de enlace de API;
- logs del balanceador de cargas;
- logs de DNS;
- logs del servicio de autenticación;
- logs del servidor proxy;
- changelogs de configuración;
- logs de recuperación y copia de seguridad.
En función de tus requisitos, puedes excluir determinados logs, como las verificaciones del estado o los inicios de sesión correctos. También puedes omitir la mayoría de logs de componentes como servidores bastión o servidores FTP en el DMZ. No obstante, puede que te interese seguir recopilando los logs de autenticación de esos sistemas.
Funciones de una plataforma de agrupación de logs
Existen muchas plataformas de agrupación de logs en el mercado actual. A la hora de escoger una, ten en cuenta los siguientes factores.
Recopilación de datos eficiente
La plataforma de agrupación de logs debería recopilar sin problemas logs de diferentes fuentes, como servidores de aplicación, bases de datos, endpoints de API o servidores web. Puede ser una función nativa de la plataforma o lograrse mediante complementos. También debe ser compatible con todos los principales formatos de log, como archivos de texto, CSV, JSON o XML.
Procesamiento sólido
La plataforma debe analizar, indexar, comprimir y almacenar eficazmente los datos a escala empresarial. Además, debe ofrecer un lenguaje de consulta sencillo y enriquecido para buscar, organizar, filtrar y analizar logs, junto con la capacidad de crear paneles e informes.
Supervisión en tiempo real
La ingesta, el análisis, la indexación, la compresión y el tiempo de almacenamiento de logs debería ser rápida. Los usuarios deben poder monitorizar los logs en tiempo real mientras se ingieren y procesan.
Escalabilidad
La plataforma debe ser capaz de gestionar un aumento repentino de los datos de log entrantes, así como evitar la pérdida de datos durante la transmisión. Además, el aumento gradual del volumen de datos no debe disminuir el rendimiento de las búsquedas y las consultas.
Seguridad
Los datos de log almacenados deben cifrarse tanto en reposo como en tránsito. Este suele ser un requisito obligatorio en algunos sectores. También deberían contar con medidas como el control del acceso basado en roles para limitar el acceso de los usuarios a los datos.
Envío de alertas e integración
La solución debe permitir a los operadores crear alertas basadas en los criterios específicos de los eventos registrados. También debe ser capaz de enviar estas alertas a varios sistemas de comunicación. La integración con herramientas y plataformas externas también es una característica útil, ya que permite a las soluciones de registro crear tickets de servicio automáticamente.
Rentabilidad
Por último, la plataforma de agrupación de logs debe justificar su valor mostrando una reducción del coste total de propiedad (TCO) y un alto retorno de la inversión (ROI) en los análisis de coste-beneficio.
Descubre la plataforma con IA nativa líder del mundo para SIEM de nueva generación y gestión de logs
Mejora tu ciberseguridad con CrowdStrike Falcon®, la principal plataforma nativa de IA para SIEM y gestión de logs. Disfruta de un registro de seguridad a escala de petabytes, con opciones de implementación nativas de la nube o de autoalojamiento. Registra tus datos con una arquitectura potente, sin índices y sin cuellos de botella, que hace posible el Threat Hunting con más de 1 PB de ingesta de datos al día. Disfruta de capacidades de búsqueda en tiempo real para superar al adversario y lograr una latencia inferior a un segundo en consultas complejas. Aprovecha una visibilidad integral que consolida los datos para acabar con los silos y permitir a los equipos de seguridad, TI y DevOps detectar amenazas, monitorizar el rendimiento y garantizar el cumplimiento sin problemas en 3 mil millones de eventos en menos de 1 segundo.
Arfan Sharif ocupa el cargo de Product Marketing Lead para la cartera de observabilidad en CrowdStrike. Ha dedicado más de 15 años al fomento de soluciones de gestión de logs, ITOps, observabilidad, seguridad y experiencia del cliente en empresas como Splunk, Genesys y Quest Software. Arfan se graduó en informática en la Universidad de Bucks and Chilterns y ha dedicado su carrera profesional al marketing de productos y la ingeniería de ventas.
