大数据技能点

                路漫漫其修远兮,吾将上下而求索             一、大数据通用处理平台       &nb...

阅读全文>>

使用K-means对网站访问者进行聚类

在分析Web日志流程中,寻找可疑请求、寻找异常访问者为分析流程中的基础流程,传统的做法是使用正则进行筛选,而这些正则则是通过我们已知的安全经验编写出来的,此时我们可以通过尝试一些新的方法~ 一、数据准备 同...

阅读全文>>

使用LOF(Local Outlier Factor)异常检测算法检测异常访问者

 在日常日志分析中,我们通常使用自己的“安全经验”编写出关于攻击的一些规则去寻找日志中攻击行为,从而得到一段时间内的异常访问者IP,即所有“命中过规则”的访问者,而面对千变万化的Web应用、不断更新迭代的技...

阅读全文>>

安全圈关系可视化分析(安全圈也许就这么大续集)

即将迎来国庆+中秋小长假,部分同事已经请假提前回家,工作氛围感觉渐淡下来,于是开始整理最近以来的工作的总结,以及开始准备节后一个技术沙龙的议题,还有节后的工作计划,闲暇之余聊到了二哥(gainover)之前的“安...

阅读全文>>

使用Gephi可视化分析博客友链引用关系

最近工作中一直在研究数据分析,试图在传统安全上做一些新的尝试,分析过程中用到了Gephi,此工具号称为“数据可视化领域的 Photoshop”,研究之余,突然想到以前写的一个用于爬取友情链接的小工具,然后发现爬取的数据信...

阅读全文>>

Web安全日志分析浅谈


阅读全文>>

个人项目&工具导航

最近经常有人问我要脚本、工具啥的..其实你们仔细找找,就能找到。不过为了照顾小白,在此文章建立导航。 0.Web信息收集工具 地址:http://jeary.org/post-4.html 说明:此工具为初学c#所写,所以有些地方有bug,...

阅读全文>>

在线子域名、C段、同IP服务器查询[2016.5.9更新]

自从用习惯shodan、zoomeye等成熟的产品,意识到了数据的价值和重要性,于是开始尝试自己折腾,搭建数据检索系统,此域名查询系统为学习项目,仅为Demo版本,开放测试版本,不断完善中。 上图: ...

阅读全文>>