使用K-means对网站访问者进行聚类

2018 年 1 月 23 日 / 作者: Jeary / 标签: 记录 数据检索 网络安全 日志分析 Web安全 数据分析

在分析Web日志流程中，寻找可疑请求、寻找异常访问者为分析流程中的基础流程，传统的做法是使用正则进行筛选，而这些正则则是通过我们已知的安全经验编写出来的，此时我们可以通过尝试一些新的方法~ 一、数据准备 同上篇 二、算法测试 依赖库地址：[K-Means Java实现](https://sourceforge.net/p/yuanboshekmeans/code/ref/master/) 我们下载kmeans库之后将其引用到项目中，并编写测试Demo，测试库的可用性。测试Demo如图：  可以看到我们使用了4个3维的样本数据，数据...

阅读全文>>


分类：WebSec | 评论(1)

使用LOF（Local Outlier Factor）异常检测算法检测异常访问者

2018 年 1 月 23 日 / 作者: Jeary / 标签: 折腾 数据检索 日志分析 Web安全 数据分析

 在日常日志分析中，我们通常使用自己的“安全经验”编写出关于攻击的一些规则去寻找日志中攻击行为，从而得到一段时间内的异常访问者IP，即所有“命中过规则”的访问者，而面对千变万化的Web应用、不断更新迭代的技术以及攻击者变幻莫测的攻击手法，难免我们有时无法紧随攻击者的步伐，如果某一个攻击者发起过攻击但是所使用的攻击手法不在我们所已知的安全经验范围内，此时这个恶意的访问者便会从我们的关注范围溜走。      此时我们可以另辟蹊径，忘掉那些已知的安全规则，尝试使用不同的方法在日志中找到异常访问者。此时我们可以使用异常检测算法中的LOF算法（Loca...

阅读全文>>


分类：WebSec | 评论(0)