日志分析是指对系统、应用程序或网络设备生成的日志进行收集、解析和分析的过程。通过对日志数据进行分析,可以获得有关系统运行状态、故障排查、性能优化、安全审计等方面的有用信息。

在日志分析过程中,通常会执行以下步骤:

  • 收集日志:将系统、应用程序或网络设备生成的日志数据进行收集。这些日志数据可以包括操作系统日志、应用程序日志、数据库日志、网络设备日志等。
  • 解析日志:对收集到的日志数据进行解析,将其转化为结构化的格式,以便后续的分析处理。解析过程可能涉及提取关键字段、识别事件类型、处理时间戳等操作。
  • 数据存储:将解析后的日志数据存储到适当的存储系统中,如关系型数据库、NoSQL数据库或日志管理平台。这样可以方便后续的查询和分析操作。
  • 分析日志:应用各种分析技术和工具来分析日志数据,以发现潜在的问题、异常行为、趋势和关联性等。常见的分析方法包括统计分析、数据挖掘、机器学习和人工智能等。
  • 生成报告和可视化:根据分析结果生成报告和可视化图表,以便用户更直观地理解和利用分析结果。这样可以帮助用户做出决策、改进系统性能或安全性。

系统日志分析

windows系统日志分析

系统日志 System.evtx

系统日志System.evtx中记录系统中硬件、软件和系统问题的信息,用户可以通过它来检查错误发生的原因或者寻找受到攻击时攻击者留下的痕迹。
系统日志默认位置:C:\Windows\System32\winevt\Logs\System.evtx

应用程序日志 Application.evtx

应用程序日志Application.evtx中记录程序在运行过程中的日志信息。
应用程序日志的默认位置:C:\Windows\System32\winevt\Logs\Application.evtx

安全日志 Security.evtx

安全日志Security.evtx:登录日志、对象访问日志、进程追踪日志、特权使用、账号管理、策略变更、系统事件。
安全日志的默认位置为:C:\Windows\System32\winevt\Logs\Security.evtx

windows日志审计

win+R—>gpedit.msc
在默认情况下,安全日志仅记录一些简单的登录日志,否则占用的使用空间过大。如果需要记录详细的安全日志,则需要通过修改本地策略来启用其它项的安全日志记录功能。

查看系统日志
win+R—>eventvwr

linux系统日志分析

用户登录日志位置

/var/log/lastlog:(每个用户最后的登录信息)
/var/log/wtmp:(每个用户登录/注销、系统启动/停机)
/var/log/utmp:(当前登录的用户信息)
/var/log/vtmp:(所有登录失败的信息)

例如:last命令读取/var/log/wtmp文件,该日志文件永久记录每个用户登录、注销及系统的启动、停机的事件

系统日志

/var 目录存放系统常态性变换的文件,如缓存、登录文件、程序运行产生的文件等。
/var/log 下存放日志文件。

secure 日志

用户登录服务器的相关日志。
cat /var/log/secure
一般用来记录安全相关的信息,记录最多的是用户登录服务器的相关日志。

cron日志

查看计划任务运行的相关情况,包括运行日期
cat /var/log/cron

yum日志

查看安装日志
cat /var/log/yum.log

shell日志

Bash 日志存储于用户目录的.bash_history文件中,有些攻击者 SSH 登陆进来之后可能会执行命令,所以该日志可能会记录下执行的命令。该日志存储条目数量与 shell 变量$HISTSIZE 有关。

其他日志

查看每次主机引导启动时加载的内容
cat /var/log/boot.log
/var/log/syslog
默认 RedHat Linux 不生成该日志文件,但可以配置/etc/syslog.conf让系统生成该日志文件。

/var/log/xferlog
该日志文件记录 FTP 会话,可以显示出用户向 FTP服务器或从服务器拷贝了什么文件。

linux日志查看技巧

1
2
3
4
5
6
7
8
9
| grep :检索过滤

Uniq命令:检查以删除文本文件重复出现的行/列;当重复的两行不相邻时不起作用,需要结合排序命令sort

sort 命令:将内容以行为单位进行排序,默认以ASCII码排序

cut命令:从文件的每一行剪切字节、字符和字段并将这些字节、字符和字段写至标准输出。如果不指定File参数,cut命令将读取标准输入。

awk命令:处理文本文件的命令