通过pre-trained基于HanLP的中文分词模型,对我们原始数据集进一步分词处理,由于情报库中网站大部分为中文和英文,选用合适的联合模型处理,进一步优化数据集。
使用分词模型,提取了其中的中文词语,进一步根据词性,去除了其中的介词、连词、助词、虚词等.
通过pre-trained基于HanLP的中文分词模型,对我们原始数据集进一步分词处理,由于情报库中网站大部分为中文和英文,选用合适的联合模型处理,进一步优化数据集。
使用分词模型,提取了其中的中文词语,进一步根据词性,去除了其中的介词、连词、助词、虚词等.
本地情报库中共有300多万条黑产告警域名,目前爬取了11万条,提取出4.7万条有效域名(无法访问、公安提醒诈骗、返回错误、无标题及超链接等的域名判定为无效),以及对应的标题、超链接名等信息存入了csv文件,共110M大小,作为搭建测试模型的初步语料库。
在爬取了数据后,由于原始数据中含有大量的非法字符及无效符号等信息(有些网站title与超链接均为图片,则提取出的是乱码)如’抱歉,站点已暂停‘ ’���‘’404 Not Found‘等,需要对其中的这些数据进行清洗。
有些网站超链接中含有大量\t,\n等符号,需要进一步去除噪声。
最终得到42629条数据。
需求:现有的情报库来源均为第三方接口,需要通过这些原始数据,基于深度学习网络,构建能够实现自动检测的恶意网址识别模型。首先需要通过爬虫,挖掘三百多万条恶意网址的信息,并进行标签化,从而构建原始的数据集。
由于单线程爬取速度慢,因此进行了改进,实现多线程爬取数据。
需求:现有的情报库来源均为第三方接口,需要通过这些原始数据,基于深度学习网络,构建能够实现自动检测的恶意网址识别模型。首先需要通过爬虫,挖掘三百多万条恶意网址的信息,并进行标签化,从而构建原始的数据集。
更新记录一下实习产出~