Los logs estructurados, semiestructurados y no estructurados abarcan un amplio espectro, cada uno con sus propios beneficios y retos. Si bien las personas pueden leer fácilmente los logs semiestructurados y no estructurados, las máquinas tienen más problemas para extraer la información. Por su parte, los log estructurados se pueden analizar fácilmente en un sistema de gestión de logs, pero son difíciles de usar sin una herramienta de este tipo.

¿Qué es el registro estructurado?

Los formatos de registro estructurado formatean los datos del log para facilitar las búsquedas, la aplicación de filtros y el procesamiento, lo que permite acceder a análisis más avanzados. El formato estándar para el registro estructurado es JSON, aunque se pueden usar otros. Es recomendable usar un marco de registro para implementar un registro estructurado e integrarlo con una solución de gestión de logs compatible con campos personalizados.

Diferencia entre logs estructurados, semiestructurados y no estructurados

Los logs no estructurados son archivos de texto de gran tamaño formados por cadenas, que son secuencias ordenadas de caracteres que pueden leer las personas. En los logs, estas cadenas contienen variables, que son marcadores de posición para cualidades que se definen en otro lugar. A veces, esta variable es un comodín, es decir, un marcador de posición que representa una cualidad desconocida, como en el póquer.

unstructured_data = ["Unstructured message","Hello Python World",str(datetime.now(timezone("EST")).isoformat())]

Aunque las personas pueden comprender fácilmente las variables, las máquinas suelen tener más problemas. No siempre son capaces de distinguir entre una variable en una cadena y una secuencia similar de caracteres en otra parte del log. Cuando esto sucede, los resultados pueden ser confusos, lo que ralentiza la productividad, aumenta los errores y desperdicia horas de trabajo y ciclos de procesamiento.

Los logs estructurados están formados por objetos en lugar de cadenas. Un objeto puede incluir variables, estructura de datos, métodos y funciones. Por ejemplo, un objeto que forma parte del mensaje de un log podría incluir información sobre una aplicación o plataforma. La organización puede definir los criterios que desean incluir en el objeto para que los logs les ayuden a satisfacer sus necesidades específicas. Esta es la "estructura" de un log estructurado.

El siguiente es un ejemplo de log estructurado:

structured_data = [
 {
          "tags": {
               "host": "str(ip)",
               "host_name": "str(host)",
               "filename": "str(caller.filename)",
               "line": "str(caller.lineno)",
               "error_level": "INFO"
          },
          "events": [
               {
                    "timestamp": str(datetime.now(timezone("EST")).isoformat()), #.strftime("%Y-%m-%d %H:%M:%S %Z"),
                    "attributes": {
                         "message": "Structured message",
                    }
               }
          ]
     }
 ]

Puesto que los logs estructurados están diseñados para que puedan leerlos las máquinas, estas realizan búsquedas más rápidas, ofrecen resultados más limpios y brindan coherencia entre plataformas. Aunque las personas pueden leer este tipo de logs, no van dirigidos a ellas específicamente. A ellas van destinados los resultados del análisis de los datos que realiza la máquina.

Los logs semiestructurados son aptos para máquinas y humanos, y están formados por cadenas y objetos. Suele ser necesario organizarlos en tablas antes de poder analizarlos correctamente. Los logs semiestructurados todavía no están estandarizados, por lo que algunos programas y sistemas tienen problemas para identificarlos y categorizarlos. Por ejemplo, las reglas de entrecomillado para el valor de un espacio en blanco no están definidas universalmente. CrowdStrike Falcon LogScale avanza en la dirección correcta y puede adaptarse a los logs semiestructurados de tu entorno.

¿Por qué usar el registro estructurado?

Encontrar un evento en un log no estructurado es difícil, ya que una sola consulta devuelve una gran cantidad de información y, a veces, esta no es la que se buscaba. Por ejemplo, un desarrollador que busca un evento de log específico creado en el momento en que una aplicación superó la cuota de disco en determinada cantidad, podría recibir todos los eventos de cuota de disco creados por todas las aplicaciones. En un entorno empresarial, este archivo sería de gran tamaño.

Para encontrar el evento adecuado, el desarrollador tendría que redactar una compleja expresión regular para definir la búsqueda. Y cuanto más específico sea el evento, más compleja será la expresión. Este enfoque resulta muy caro desde el punto de vista informático, ya que las condiciones definidas en la expresión de coincidencia deben compararse con el valor de cada fila del log. Si se utilizan comodines, el gasto computacional será todavía mayor. Y si los datos del log cambian, la expresión de coincidencia no funcionará de la forma esperada.

En algunas organizaciones, los desarrolladores escriben código en forma de cadenas, mientras que los equipos de operaciones escriben código que transforma dichas cadenas en datos estructurados. Este proceso lleva más tiempo y aumenta el gasto de recursos informáticos. Si un desarrollador o miembro del equipo de operaciones comete un error, el proceso de registro se interrumpe y se pierde mucho tiempo en buscar el origen del error.

El registro estructurado pone fin a estos problemas al estructurar los datos mientras se generan. La organización puede escoger el formato que mejor le funcione, como columnas fijas, pares clave-valor o JSON, entre otros. La mayoría de empresas actuales elige el formato JSON porque se integra bien con los sistemas de automatización, incluidos los sistemas de alertas.

Los logs de texto siguen teniendo un lugar en las empresas porque el registro estructurado tiene algunas desventajas. Los logs estructurados definen los datos a medida que se crean, por lo que solo es posible utilizar los datos para los fines indicados en la definición. Si los datos estructurados se almacenan de forma local o en un repositorio de datos con un esquema de datos rígido, cualquier cambio que se realice en el esquema obligará a actualizar los datos estructurados, lo que supone una tarea enorme y cara. A la hora de elegir una estrategia de registro, las organizaciones deben tener en cuenta quién utilizará los datos, qué tipo de datos se va a recopilar, dónde y cómo se almacenarán, y si será necesario preparar los datos antes de almacenarlos o, por el contrario, se podrán preparar cuando se vayan a utilizar.

Falcon LogScale es compatible con logs estructurados, semiestructurados y no estructurados

Para aprovechar las ventajas de un registro estructurado, es necesario contar con un sistema de gestión de registro flexible y ampliable que respalde las necesidades de desarrollo, cumplimiento y seguridad.

CrowdStrike Falcon LogScale de puede procesar mensajes no estructurados, semiestructurados y estructurados y, además, funciona con cualquier formato de datos. Además, es compatible con los principales transportadores de datos de código abierto. Los analizadores personalizados facilitan la compatibilidad con cualquier formato de texto, por lo que integrar Falcon LogScale es rápido y sencillo.

La mayoría de usuarios envían datos estructurados a Falcon LogScale como objetos JSON. No es necesario que tengan ningún formato especial, basta con que sean válidos. Se pueden enviar las marcas de tiempo como parte de la entrada del log, y Falcon LogScale las utilizará en lugar de sustituirlas por las suyas. Al enviar datos no estructurados, las marcas de tiempo se generan en el momento de la ingesta en forma de cadena larga delimitada por comas y no afectan la marca de tiempo de la ingesta.

Descubre la plataforma con IA nativa líder del mundo para SIEM de nueva generación y gestión de logs

Mejora tu ciberseguridad con CrowdStrike Falcon^®, la principal plataforma nativa de IA para SIEM y gestión de logs. Disfruta de un registro de seguridad a escala de petabytes, con opciones de implementación nativas de la nube o de autoalojamiento. Registra tus datos con una arquitectura potente, sin índices y sin cuellos de botella, que hace posible el Threat Hunting con más de 1 PB de ingesta de datos al día. Disfruta de capacidades de búsqueda en tiempo real para superar al adversario y lograr una latencia inferior a un segundo en consultas complejas. Aprovecha una visibilidad integral que consolida los datos para acabar con los silos y permitir a los equipos de seguridad, TI y DevOps detectar amenazas, monitorizar el rendimiento y garantizar el cumplimiento sin problemas en 3 mil millones de eventos en menos de 1 segundo.