ClassUtils调用引发的几处Bug解决过程记录

前言: 由于Java不像其他语言具有天生的自带的动态特性,为了满足AOP开发模式,我们需要大量用到反射技术,而反射则先需要找到对应的类,这里记录一下在使用ClassUtils进行扫包的时候遇到的问题 最近因为工作需要,需要对原Storm数据处理流程进行重构,将其更换为Spark计算框架,并需要考虑其通用性、拓展性以及开发简易程度,于是着手在原有的基础上进行更改。由于本身接触过POC框架、Spring框架、AOP编程、反射调用、Logstash等技术思路。 所以借鉴这些优秀的框架或技术,基本实现了一个用于Spark集群中的数据处理框架。 由于此项目需要多人协作开发,且解析器需...

阅读全文>>

使用K-means对网站访问者进行聚类

在分析Web日志流程中,寻找可疑请求、寻找异常访问者为分析流程中的基础流程,传统的做法是使用正则进行筛选,而这些正则则是通过我们已知的安全经验编写出来的,此时我们可以通过尝试一些新的方法~ 一、数据准备 同上篇 二、算法测试 依赖库地址:[K-Means Java实现](https://sourceforge.net/p/yuanboshekmeans/code/ref/master/) 我们下载kmeans库之后将其引用到项目中,并编写测试Demo,测试库的可用性。测试Demo如图:  可以看到我们使用了4个3维的样本数据,数据...

阅读全文>>

使用LOF(Local Outlier Factor)异常检测算法检测异常访问者

 在日常日志分析中,我们通常使用自己的“安全经验”编写出关于攻击的一些规则去寻找日志中攻击行为,从而得到一段时间内的异常访问者IP,即所有“命中过规则”的访问者,而面对千变万化的Web应用、不断更新迭代的技术以及攻击者变幻莫测的攻击手法,难免我们有时无法紧随攻击者的步伐,如果某一个攻击者发起过攻击但是所使用的攻击手法不在我们所已知的安全经验范围内,此时这个恶意的访问者便会从我们的关注范围溜走。      此时我们可以另辟蹊径,忘掉那些已知的安全规则,尝试使用不同的方法在日志中找到异常访问者。此时我们可以使用异常检测算法中的LOF算法(Loca...

阅读全文>>

Web安全日志分析浅谈


阅读全文>>