Log Real-time Management Scheme Based on LEK

Abstract

The growing importance of log analysis and the management play an important role in the era of big data especially. With mass log information increasing, it's difficult to extract the needed information quickly, What's more, most cases are related information. Logstash can solve this problem suitably because of a built-in logging service.It can be combined with help from many log slaves to find data easily. Strictly speaking, Logstash alone are unable to rationalize and centralized the log files. This article integrated Logstash, Elasticsearch and Kibana into an organic whole, which is applied to an insurance business trading system LEK. It implements collection, query, polymerization and visual function of the transaction log, and form the unified convenient log management and analysis tool.

Monitoramento de logs da Plataforma HPCC SYSTEMS em Cloud

“…A partir do log podem ser realizadas a monitoração das condições de operação do sistema, identificação de comportamentos anormais, bem como o acionamento de notificações automáticas para equipes de suporte. A análise de log e o seu gerenciamento desempenham um papel importante na era de big data, especialmente, e espera-se que o avanço das tecnologias também permitam a mineração de dados a partir do log para serem realizadas análises estatísticas, análises de desempenho e taxa de sucesso, por exemplo [1].…”

“…Por fim, caso a velocidade de consulta remota seja lenta, torna-se impraticável obter análise de log em tempo real [2]. Para lidar com esses desafios, novas tecnologias de busca e integração de log têm sido utilizadas [1].…”