O que é registro em log centralizado?

O registro em log centralizado é o processo de coletar logs de redes, infraestrutura e aplicações em um único local, para fins de armazenamento e análise. Isso oferece aos administradores uma visão consolidada de todas as atividades da rede, facilitando a identificação e a solução de problemas.

Neste artigo, exploraremos o valor da arquitetura do registro em log centralizado, como ela funciona e com criar um fluxo de trabalho de registro em log centralizado.

Por que os logs são necessários?

Os logs oferecem uma trilha de auditoria de atividades do sistema, eventos ou mudanças em um sistema de TI. Eles podem ajudar a solucionar problemas de funcionalidade do sistema, problemas de desempenho ou incidentes de segurança. Os logs do sistema são usados para identificar quando mudanças foram feitas no sistema e quem as fez. Além disso, os requisitos regulatórios costumam exigir a retenção de logs.

Sistemas tradicionais de registro em log de serviço único

Os sistemas tradicionais de registro em log se concentravam exclusivamente nas máquinas individuais onde estavam instalados. Na época, isso era considerado suficiente, quando servidores individuais autônomos operavam serviços completos. No entanto, na era de microsserviços multicamadas e da interconectividade de rede, se você olhar para uma única fonte de dados, estará deixando de ver o panorama total.

Por exemplo, se seu banco de dados estiver lento, analisar os logs de consulta lenta do banco de dados pode não ser a única resposta. A maioria dos sistemas está conectada a frontends, middlewares e, em seguida, a bancos de dados.  Pode ser necessário analisar os logs gerados pelo servidor subjacente e pelo subsistema de armazenamento, bem como o desempenho de resolução de nomes e a rede.

A necessidade da coleta de logs entre os componentes distribuídos

É por isso que a única forma de compreender o que realmente está acontecendo em um sistema distribuído é coletar todos os eventos registrados em log em toda a rede, em tempo real. Isso inclui logs provenientes das seguintes origens:

• Infraestrutura do servidor
• Armazenamento
• Banco de dados
• Gateways de API
• Balanceadores de carga
• Firewalls
• … e outros.

Para solucionar um problema, geralmente é necessário correlacionar eventos de diversas fontes de log, por isso, é preciso capturar logs de cada componente que contribui com o funcionamento das suas aplicações.

Realizar o registro em log de forma manual e diária para acessar múltiplos componentes de infraestrutura — talvez dezenas deles — simplesmente para ler centenas (ou milhares) de linhas de logs é uma tarefa tão trabalhosa que chega a ser impossível. Essa abordagem é um desperdício de tempo e praticamente uma garantia de que você perderá eventos importantes em um momento ou outro. Mesmo assim, você não pode se dar ao luxo de ignorar esses logs.

Por isso, a única solução prática é manter um único painel, isto é, uma solução capaz de se conectar automaticamente a todos os seus sistemas, coletar os logs deles em tempo real e, em seguida, apresentá-los em uma interface atrativa e fácil de entender. Vamos considerar algumas das vantagens do registro em log centralizado.

Benefícios do registro em log centralizado

Suporte a vários formatos de log

Sistemas multicamadas podem gerar logs em diferentes formatos. Por exemplo, sistemas Linux usam rsyslog ou journald, enquanto o Windows utiliza Logs de evento. Enquanto isso, outros sistemas, como bancos de dados, firewalls e sistemas SAN, podem usar os próprios formatos proprietários.

Armazenamento central eficiente

Não é incomum que os sistemas acumulem terabytes de logs. Isso pode rapidamente esgotar o espaço de dispositivos de armazenamento, ameaçar a integridade do sistema e aumentar significativamente as despesas operacionais de desempenho nas aplicações.

Uma moderna solução de gerenciamento de log é capaz de filtrar quaisquer logs ingeridos utilizando algoritmos de compactação para definir a eficiência das capacidades de armazenamento e retenção. Todos os logs ingeridos são armazenados em um local central. Assim, seus servidores podem rotacionar as cópias de logs a fim de preservar o espaço de armazenamento local. Os sistemas de registro em log centralizado geralmente armazenam logs em um formato compactado proprietário e também permitem configurar por quanto tempo você deseja manter os logs.

Mais agilidade na consulta de pesquisa em todos os logs

Um sistema de registro em log centralizado também possibilita pesquisar informações específicas em milhares de linhas de eventos ou extrair informações e resumi-las de forma rápida e eficiente. Com a redução das latências de ingestão, os clientes podem executar consultas e esperar resultados em frações de segundos.

Correlação de eventos

Da mesma forma, sistemas modernos de registro em log centralizado podem aprimorar e enriquecer eventos registrados com informações extras. Eles usam inteligência artificial para correlacionar informações que, à primeira vista, não parecem não ter ligação. A correlação de eventos é a capacidade conectar dois ou mais eventos relacionados a fim de identificar problemas e rastrear as causas-raízes. Essas plataformas podem mostrar tendências e anomalias em painéis e gráficos, incluindo configurações de alertas quando forem identificadas tendências significativas, anomalias ou correlações de eventos.

Os relatórios e painéis de um sistema de registro em log centralizado também podem ter fins secundários, como orçamento, planejamento de capacidade e comparativo de desempenho.

Análise de segurança

Uma solução sofisticada e centralizada de gerenciamento de log também é essencial para a implementar controles efetivos de cibersegurança via gerenciamento e correlação de eventos de segurança (SIEM) e via orquestração, automação e resposta de segurança (SOAR). Os benefícios adicionais são a redução de custos associada às soluções SIEM e SOAR. O gerenciamento de log moderno pode operar em conjunto e oferecer aos clientes mais tempo de retenção e armazenamento, a uma fração do custo.

Como funciona o registro em log centralizado?

O processo de registro em log, seja distribuído ou centralizado, é formado por quatro etapas:

1. Coleta
2. Processamento
3. Indexação
4. Visualização

Vamos analisar cada uma dessas etapas em mais detalhes.

Coleta

A primeira etapa da análise de logs é coletar todos os logs, centralizando-os em um local seguro para que sejam acessados e analisados quando necessário.

Essa etapa requer integração entre os sistemas de origem e a aplicação de registro em log. Uma forma de realizar a integração é executar um agente no servidor de origem. O agente lê os logs do servidor e os envia para a plataforma de registro em log centralizado, por uma porta específica.

Outras formas de executar a integração envolve métodos nativos. Por exemplo, o daemon Syslog do servidor pode ser configurado para enviar dados de log diretamente para o servidor de registro em log. No caso de serviços hospedados na nuvem, a integração pode envolver a conexão ao ambiente de registro em log do serviço na nuvem (como AWS CloudWatch ou Azure Monitor) e a leitura dos eventos.

Processamento

A próxima etapa, o processamento, transforma todos os dados de log brutos coletados em um formato para utilizável. A transformação pode incluir o parsing de eventos registrados em log e a extração de campos de interesse específicos, como data/hora, IP de origem, nome de usuário, nome da aplicação e mensagem do evento.

O processamento também pode incluir etapas para enriquecer as informações de registro em log. Por exemplo, para enriquecer um log com endereços IP, é possível consultar suas geolocalizações e adicionar essas informações ao fluxo do evento. Da mesma forma, carimbos de data/hora de logs distintos podem ser convertidos para um fuso horário comum.

Outra etapa de processamento pode filtrar registros desnecessários e compactar o restante.

Indexação

A etapa de indexação é um processo interno no qual a plataforma de registro em log indexa todos os eventos registrados após o processamento deles. Esse processo é semelhante à criação de um índice de texto completo ou de banco de dados. Em seguida, esse índice pode ser usado para otimizar a velocidade da pesquisa nos logs.

Assim que os eventos registrados em log são indexados, eles estão prontos para serem pesquisados e filtrados.

Visualização

Nesta etapa, o sistema de registro em log centralizado atualiza e renova todos os gráficos e painéis integrados e personalizados, trazendo assim uma imagem atualizada do sistema.

Embora as quatro etapas descritas assim sejam distintas, elas podem ocorrer simultaneamente e em tempo real. Isso significa que, enquanto você está olhando um gráfico de tendências criado com base em eventos ingeridos há um minuto, o sistema pode estar coletando, processando e indexando novos dados à medida que eles chegam e atualizando dinamicamente seus gráficos de visualização.

Práticas recomendadas do registro em log centralizado

Embora este assunto seja um tópico em si, listamos a seguir algumas práticas recomendadas para a adoção de um sistema de registro em log centralizado em sua empresa.

Envolva suas equipes

Primeiro, envolva as equipes e as pessoas que usarão a plataforma. Essas pessoas podem ser seus desenvolvedores, as equipes de DevOps e SecOps etc.

Determine o que coletar

Você precisa planejar quais logs são mais importantes para seus fins de monitoramento e quais eventos deseja capturar deles. Por exemplo, você pode ter interesse apenas nos eventos de recusa de conexão dos logs do firewall. Além disso, considere os seguintes detalhes:

• Por quanto tempo você deseja reter os logs?
• Qual fuso horário comum você usará para normalizar os carimbos de data/hora?
• Quais campos comuns de informação você quer que estejam disponíveis?

Esclareça as necessidades de saída

Em seguida, decida qual tipo de saída você deseja que os logs gerem. Anomalias em tempo real ou tendências históricas? Ou você deseja usar seus logs somente para alertas de eventos de segurança?

Verifique a existência de integrações para todos os seus sistemas de origem

Existem várias soluções de gerenciamento de log disponíveis. Algumas são melhores para hospedagem no local, enquanto outras são baseadas em SaaS. Cada uma tem suas vantagens e desvantagens. Apesar de a plataforma ser uma questão, a solução escolhida também deve ter integrações (sejam nativas ou por meio de plug-ins da comunidade) para todos os sistemas de origem que você deseja monitorar.

Tenha os requisitos de conformidade em mente

No caso de soluções SaaS, verifique se há restrições regulatórias. Algumas regulamentações proíbem o armazenamento de logs em data centers localizados no exterior. Da mesma forma, algumas normas do setor exigem a eliminação ou a criptografia de informações sensíveis nos logs.

Descubra a plataforma nativa de IA líder global para SIEM e gerenciamento de log de última geração

Eleve sua cibersegurança com o CrowdStrike Falcon®, a principal plataforma nativa de IA para SIEM e gerenciamento de log. Experimente registro de log de segurança em uma escala de petabytes, optando por nativo em nuvem ou implementação auto-hospedada. Registre seus dados com uma arquitetura avançada e livre de índices, sem gargalos e que permite investigação de ameaças com mais de 1 PB de ingestão de dados por dia. Assegure capacidades de pesquisa em tempo real para superar os adversários, atingindo latência de menos de um segundo para consultas complexas. Beneficie-se de uma visibilidade de 360 graus, consolidando os dados para quebrar silos e possibilitar que as equipes de segurança, TI e DevOps investiguem ameaças, monitorem o desempenho e garantem a conformidade perfeitamente em 3 bilhões de eventos e em menos de um segundo.