O que é parsing de log?

Praticamente todo componente do seu ambiente de TI — servidores, aplicações, dispositivos de rede e outros — gera um log. Esses arquivos de log contêm informações sobre eventos internos ou externos do sistema, que variam de simples informações de status a erros críticos. As equipes e TI usam esses logs para depurar código, solucionar falhas e problemas de desempenho, investigar ataques de segurança e até mesmo analisar o comportamento do cliente.

A maioria das empresas utiliza soluções de gerenciamento de log para ingerir, armazenar e analisar logs. Os logs são provenientes de diferentes fontes, por isso, assumem diferente tipos e formatos.

Parsing de log é o processo de converter dados de log em um formato comum que os torna legíveis por máquinas. Você pode começar com logs ingeridos distribuídos em diversos formatos. No entanto, após o parsing, você pode usar seu sistema de gerenciamento de log para pesquisar e analisar seus eventos como se eles fossem uma única unidade.

Neste artigo, examinaremos mais detalhadamente o parsing de log, como ele funciona e quais são suas funcionalidades mais úteis. Também apresentaremos o CrowdStrike Falcon LogScale, um moderno sistema de gerenciamento de log.

O que é parsing de log?

O sistema de gerenciamento de log primeiro deve executar parsing nos arquivos para extrair informações significativas dos logs. O parsing de log converte arquivos de log estruturados e não estruturados, para que seu sistema de gerenciamento de log possa ler, indexar e armazenar esses dados. Dessa forma, você pode facilmente filtrar, analisar e manipular informações de chave-valor.

Exemplos de formatos de log comuns:

• JSON
• CSV
• Logs de eventos do Windows
• Formato de evento comum (CEF)
• Formato de log comum NCSA
• Formato de log estendido (ELF)
• W3C

Um dos formatos de dados estruturados mais usados é o JSON. JSON é a primeira escolha de muitos desenvolvedores de aplicações, pois a codificação Unicode as torna universalmente acessíveis e legíveis por humanos e máquinas. O snippet abaixo mostra um documento JSON simples com pares de chave-valor como elementos:

{
"userAccess":  {
"timestamp":  "2022-01-31 17:55.50”,
"client_ip": "10.2.31.21",
"username": "bob",
"status": "Error",
"message": "File not found"
}
}

Com o amplo apoio da comunidade ao formato JSON, a maiorias das soluções de gerenciamento de log oferece opções de parsing de JSON por padrão.

Como o parser de log funciona?

Geralmente, os parsers de log são integrados no mecanismo do software de gerenciamento de log. Isso significa que cada gerenciador de log terá um método proprietário para executar o parsing de logs.

A maioria das soluções de gerenciamento de log tem parsers integrados para tipos de dados comuns, como Logs de eventos do Windows, JSON, CSV ou W3C. Os parsers são configurados para reconhecer esses tipos de log com base na estrutura dos dados de origem e nas extensões de arquivo.

Assim que um arquivo de log é ingerido, o parser aplica suas regras integradas para extrair nomes de campos úteis e seus respectivos valores. Em alguns casos, o parser pode armazenar os dados extraídos em uma estrutura hierárquica. Com essa abordagem, o usuário pode pesquisar em qualquer campo e detalhar o conjunto de resultados retornado para ajustar a consulta.

Para tipos de log não padrão, os usuários podem definir regras de parsing de log personalizadas. Geralmente, isso é feito usando expressões regulares ou a linguagem proprietária da solução de registro em log. Algumas soluções de registro em log facilitam ainda mais essa personalização, pois permitem que os usuários criem a regra de parsing em uma interface gráfica. Os usuários podem destacar nomes de campo nos quais têm interesse. Enquanto isso, no segundo plano, a solução de gerenciamento de log define a regra de parsing.

Assim que os logs são submetidos a parsing, o sistema de registro em log ingere os dados para que os usuários possam consultar, analisar e visualizá-los.

Vamos considerar as entradas de log não padrão no snippet abaixo:

2022-05-15T12:51:40+00:00 [WARN] "This is a warning" id=123 user=jbloggs
2022-05-15T12:52:42+00:00 [ERROR] "This is an error" id=124 user=unknown
...

Para executar o parsing desse log, podemos usar a seguinte expressão regular para extrair o carimbo de data/hora, nível de log, mensagem, ID e campos de usuário das entradas:

(?d{4}-d{2}-d{2}Td{2}:d{2})
[(?.+)]
s"(?.+)"s
id=(?d+)
user=(?w+)

Na CrowdStrike, você pode usar a linguagem CrowdStrike para executar parsing do mesmo arquivo de log e extrair o carimbo de data/hora:

/^(?S+)/ |
parseTimestamp("yyyy-MM-dd'T'HH:mm:ss[.SSS]XXX", field=ts)

Quais funcionalidades de parsing de log procurar

As funcionalidades de parsing de log devem ser uma das principais áreas a serem avaliadas durante a escolha de uma solução de gerenciamento de log. É importante que a ingestão de logs ocorra da forma mais rápida e fácil possível, para que você possa dedicar mais tempo analisando-os.

Automação

Certifique-se de que a ferramenta escolhida venha com parsers automáticos para os formatos de log mais comuns. Para os logs personalizados, realize uma pesquisa de texto inteiro nos dados brutos antes de escrever as regras de parsing personalizadas.

Personalização

Os logs vêm em tantos formatos que seria impossível para qualquer sistema de gerenciamento de log ter suporte a todos eles por padrão. É por isso que a criação da sua configuração de parsing deve ser fácil e intuitiva. Algumas ferramentas de registro em log oferecem uma GUI para a criação de configurações de parsing personalizadas. Outras oferecem um editor que escreve regras de parsing personalizadas.

Visualização

Uma configuração de parsing incorreta pode mostrar valores de dados incorretos e levar a uma análise imprecisa. Uma boa solução de gerenciamento de log deve possibilitar um exercício de simulação da regra de parsing. Nessa simulação, você visualiza os pares de chave-valor de uma amostra de conjunto de dados antes de salvá-lo. Tal solução também deve fornecer dicas visuais para criação e atualização da sua configuração de parsing. Isso pode incluir codificação por cores e destaque de campos ou erros não correspondentes.

Descubra a plataforma nativa de IA líder global para SIEM e gerenciamento de log de última geração

Eleve sua cibersegurança com o CrowdStrike Falcon^®, a principal plataforma nativa de IA para SIEM e gerenciamento de log. Experimente registro de log de segurança em uma escala de petabytes, optando por nativo em nuvem ou implementação auto-hospedada. Registre seus dados com uma arquitetura avançada e livre de índices, sem gargalos e que permite investigação de ameaças com mais de 1 PB de ingestão de dados por dia. Assegure capacidades de pesquisa em tempo real para superar os adversários, atingindo latência de menos de um segundo para consultas complexas. Aproveite uma visibilidade completa, consolidando os dados para quebrar silos e possibilitar que as equipes de segurança, TI e DevOps investiguem ameaças, monitorem o desempenho e garantam a conformidade perfeitamente em 3 bilhões de eventos e em menos de um segundo.

Para saber mais sobre o CrowdStrike Parsing Standard (CPS) consulte: https://library.humio.com/integrations/packages-pasta.html