Transforme o SOC com um SIEM de última geração
Descubra o futuro da tecnologia SIEM. Aperfeiçoe o seu Centro de Operações de Segurança (SOC, na sigla em inglês) com estratégias de SIEM e automação de ponta.
Faça o download do guia agora
Transforme o SOC com um SIEM de última geração
Descubra o futuro da tecnologia SIEM. Aperfeiçoe o seu Centro de Operações de Segurança (SOC, na sigla em inglês) com estratégias de SIEM e automação de ponta.
Faça o download do guia agora
Agregação de logs: definição
Agregação de logs é o mecanismo para capturar, normalizar e consolidar logs de diferentes fontes em uma plataforma centralizada para fins de correlação e análise de dados. Em seguida, esses dados agregados servem como fonte única da verdade para diferentes casos de uso, incluindo solução de problemas ou erros de desempenho da aplicação, identificação de gargalos de infraestrutura ou identificação da causa-raiz de um ciberataque.
Neste artigo, aprenderemos por que é necessário agregar logs, as etapas envolvidas na agregação de logs e os tipos de logs que você deve coletar. Também abordaremos quais funcionalidades você precisa buscar ao escolher uma plataforma de gerenciamento e agregação de logs.
Por que agregar logs?
A agregação de logs permite reunir eventos de fontes distintas em um único local para que você possa pesquisar, analisar e compreender esses dados. A agregação de logs não só é fundamental para a observabilidade de ponta a ponta, mas também é útil em diversas aplicações, dentre elas:
- Análise e monitoramento em tempo real: as soluções de Gerenciamento e correlação de eventos de segurança (SIEM) dependem dos logs para identificar ataques de segurança, padrões e tendências de ataque.
- Monitoramento de aplicações: as soluções de Gerenciamento de desempenho das aplicações (APM) usam logs para detectar rapidamente quaisquer problemas funcionais ou de desempenho em uma aplicação, reduzindo assim o Tempo médio para resolução (MTTR) e aumentando a disponibilidade da aplicação.
- Planejamento de capacidade: muitas vezes, os logs do sistema indicam a saturação do recurso e os gargalos resultantes relacionados à infraestrutura. Isso facilita a rápida mitigação desses problemas e permite que as equipes de operações avaliem a utilização da capacidade de infraestrutura atual e planejem-se para o futuro.
- AIOps: alguns sistemas de gerenciamento de log modernos aplicam tecnologias sofisticadas de inteligência artificial (IA) e algoritmos de machine learning (ML) aos dados de log, com a finalidade de correlação de eventos, detecção de anomalias e análise de tendências.
- Auditoria e conformidade: os logs também são úteis para fins de auditoria, como registros de acesso ao bando de dados, logins no servidor ou solicitações de API com êxito ou com falha. Esses registros são frequentemente necessários para manter a conformidade com frameworks regulatórios, como PCI DSS ou HIPAA.
- Mitigação de ameaças de segurança: a análise de logs muitas vezes ajuda a identificar ameaças de segurança, como ataque de negação de serviço distribuído (DDoS) e ataques de força bruta. Os logs de fluxo de rede e os logs de firewall também podem ser usados para bloquear qualquer tráfego não autorizado.
- Visualização de dados: logs agregados podem ser usados para criar painéis e exibir os dados visualmente.
- Análise e visualização avançadas: a agregação de logs também facilita operações de análise avançada, como mineração de dados, pesquisas de texto livre, consultas complexas de RegEx para análise abrangente e criações de painéis. Isso pode ser útil para Centros de Operações de Rede (NOCs) ou Centros de Operações de Segurança (SOC, na sigla em inglês).
O que a agregação de logs envolve?
A agregação de logs de diferentes fontes e a análise deles envolve várias etapas.
Identificação de fontes de log
As modernas aplicações empresariais distribuídas têm várias peças móveis. Por isso, é necessário identificar todos os componentes cujos logs você deseja agregar. Para que esses logs continuem sendo gerenciáveis, você pode optar por capturar apenas determinados tipos de eventos (como tentativas falhas de login ou consultas que demoram mais do que um limite definido) ou níveis específicos de importância.
Por exemplo, você pode optar por coletar todas as tentativas falhas de conexão do seu sistema de detecção de intrusões na rede (NIDS), enquanto coleta somente mensagens de erro críticas referentes a pods com falha do seu cluster Kubernetes.
Logs de coleta
Após a identificação das fontes de log, a próxima etapa é coletar esses logs. A coleta de logs deve ser automática. Dentre as diversas formas existentes de coletar logs, estão as seguintes:
- As aplicações podem usar protocolos padrão de registro em log de mensagens, como o Syslog, para transferir seus logs continuamente para um sistema centralizado.
- Você pode instalar integrações e coletores personalizados (também chamados de agentes) nos servidores que leem logs da máquina local e os enviam para uma plataforma de registro em log.
- A instrumentação de código captura mensagens de partes específicas do programa, o que muitas vezes depende das condições específicas de erro encontradas.
- Os sistemas de gerenciamento de log podem acessar diretamente sistemas de origem e copiar os arquivos de log pela rede.
Saiba mais
Leia nossa publicação sobre Gerenciamento de log e saiba como ele pode ajudar sua organização a coletar eventos de log.
Parsing de logs
Antes de serem usados para extrair insights relevantes, os logs precisam ser submetidos a parsing. Parsing é o processo de extrair trechos-chave de informações de cada evento registrado e convertê-los para um formato comum. Em seguida, esses valores são armazenados para análise posterior. Os logs podem ser bem grandes e conter muitos dados inúteis. O parsing extrai apenas as partes relevantes dos dados e descarta o restante.
Um exemplo de parsing é o mapeamento de carimbos de data/hora originais para os valores de um único fuso horário. Os carimbos de data/hora são metadados críticos relacionados a um evento, e pode haver diferentes carimbos de data/hora em seus logs, dependendo das fontes desses logs.
Um parser pode extrair outras informações importantes, como nomes de usuário, endereços IP de origem e destino, o protocolo de rede usado e a mensagem real do log. Por exemplo, o parsing também pode filtrar dados para manter somente os eventos do tipo ERRO ou AVISO, excluindo todas as outras ocorrências menos graves.
Processamento de logs
Após o parsing, a agregação de logs pode executar algumas outras ações no processamento das entradas.
Indexação cria um mapa dos dados submetidos a parsing e armazenados com base em uma coluna, de forma semelhante a um índice de banco de dados. A indexação facilita a consulta e agiliza a consulta de logs. Índices exclusivos também eliminam dados de log duplicados.
O enriquecimento de dados também pode ser muito útil para obter insights adicionais dos seus logs. Alguns exemplos de enriquecimento de dados:
- Adição de geolocalização aos seus dados de log, a partir de endereços IP.
- Substituição dos códigos de status HTTP pelas mensagens reais.
- Inclusão de detalhes do sistema operacional e do navegador da Web.
Mascaramento ocorre quando dados confidenciais, como chaves de criptografia, informações pessoais ou credenciais e tokens de autenticação são removidos das mensagens registradas em log.
Armazenamento de logs
A maioria das plataformas de gerenciamento de log compacta os logs submetidos a parsing, indexados e enriquecidos, antes de armazená-los. A compactação reduz a largura de banda da rede e os custos de armazenamento dos logs. Geralmente, a compactação utiliza um formato proprietário.
Ao agregar logs, também é necessário definir as políticas de retenção deles. As políticas de retenção determinam por quanto tempo os logs devem ser armazenados. Isso pode depender de diversos fatores, como espaço de armazenamento disponível, requisitos do setor ou políticas organizacionais. Além disso, diferentes tipos de logs podem ter diferentes requisitos de retenção. Após o período especificado, logs antigos podem ser removidos do sistema ou arquivados em um armazenamento menos caro e com maior latência. A remoção e o arquivamento de logs aprimoram o desempenho da consulta, reduzindo o tamanho dos dados quentes, e também são úteis para auditorias.
Quais tipos de logs devem ser agregados?
Os tipos de logs que devem ser agregados dependem do caso de uso. Isso faz parte da fase de identificação do log, abordada previamente. Embora não se trate de uma lista completa, seguem algumas recomendações de logs a serem capturados.
- Logs de sistema gerados pelo serviço Syslog, journalctl ou Log de eventos
- Logs do servidor Web
- Logs de middleware
- Logs de aplicação, incluindo de microsserviços
- Logs do fluxo de rede
- Logs de firewall, antivírus ou outros sistemas de detecção de intrusões
- Logs de banco de dados
- Logs de gateway de API
- Logs do balanceador de carga
- Logs de DNS
- Logs do serviço de autenticação
- Logs do servidor proxy
- Logs de alterações de configuração
- Logs de backup e recuperação
De acordo com seus requisitos, você pode excluir alguns logs, como aqueles provenientes de logins ou de verificações de integridade bem-sucedidas. Você também pode decidir ignorar a maioria dos logs de componentes, como servidores bastion ou servidores FTP no DMZ. No entanto, você talvez queira capturar logs de autenticação até mesmo desses sistemas.
Funcionalidades de uma plataforma de agregação de logs
Atualmente, existem muitas plataformas de agregação de logs disponíveis no mercado. Ao escolher essa plataforma, considere os seguintes fatores.
Eficiente coleta de dados
A plataforma de agregação de logs deve integrar perfeitamente logs de coleta de diversas fontes, como servidores de aplicação, bancos de dados, endpoints de API ou servidores Web. Essas funcionalidades podem ser nativas da plataforma ou oferecidos por plug-in mantidos ativamente. A plataforma também deve oferecer suporte a todos os principais formatos de log, como arquivos de texto, CSV, JSON ou XML.
Processamento robusto
A plataforma deve ser capaz de executar parse, indexar, compactar, armazenar e analisar dados em escala empresarial e com eficiência. Ela também precisa oferecer uma linguagem de consulta simples e rica para pesquisar, classificar, filtrar e analisar logs, além da capacidade de gerar painéis e relatórios.
Monitoramento em tempo real
Os tempos de ingestão, parsing, indexação, compactação e armazenamento de logs devem ser curtos. Os usuários precisam ser capazes de monitorar os logs à medida que eles são ingeridos e processados, em tempo real.
Escalabilidade
A plataforma deve ter capacidade de processar um pico repentino de entrada de dados de log e evitar a perda de dados durante a transmissão. Além disso, o aumento gradual no volume de dados não deve degradar o desempenho de pesquisa e consulta.
Segurança
Os dados de log armazenados devem ser criptografados em repouso e em trânsito. Geralmente, este é um requisito obrigatório em alguns setores. A plataforma também deve dispor de mecanismos como controle de acesso baseado em função, para controlar o acesso dos usuários aos dados.
Alertas e integração
A solução deve oferecer a possibilidade de os operadores criarem alertas com base em critérios específicos em eventos registrados em log. Além disso, a solução deve ser capaz de enviar esses alertas para diversos sistemas de comunicação. A integração com ferramentas e plataformas de terceiros também é uma funcionalidade recomendável. Essa funcionalidade permite que as soluções de registro em log criem tíquetes de serviço automaticamente.
Custo-benefício
Por fim, em uma análise de custo-benefício, a plataforma de agregação de logs deve justificar seu valor pelo baixo Custo total de propriedade (TCO) e pelo alto Retorno sobre investimento (ROI).
Descubra a plataforma nativa de IA líder global para SIEM e gerenciamento de log de última geração
Eleve sua cibersegurança com o CrowdStrike Falcon®, a principal plataforma nativa de IA para SIEM e gerenciamento de log. Experimente registro de log de segurança em uma escala de petabytes, optando por nativo em nuvem ou implementação auto-hospedada. Registre seus dados com uma arquitetura avançada e livre de índices, sem gargalos e que permite investigação de ameaças com mais de 1 PB de ingestão de dados por dia. Assegure capacidades de pesquisa em tempo real para superar os adversários, atingindo latência de menos de um segundo para consultas complexas. Aproveite uma visibilidade completa, consolidando os dados para quebrar silos e possibilitar que as equipes de segurança, TI e DevOps investiguem ameaças, monitorem o desempenho e garantam a conformidade perfeitamente em 3 bilhões de eventos e em menos de um segundo.
Arfan Sharif é líder de marketing de produtos para o portfólio de observabilidade na CrowdStrike. Ele tem mais de 15 anos de experiência em gerenciamento de log, ITOps, observabilidade, segurança e soluções de CX para empresas como Splunk, Genesys e Quest Software. Arfan formou-se em Ciência da Computação na Universidade Bucks and Chilterns e sua carreira abrange as áreas de Marketing de Produtos e Engenharia de Vendas.
