需要改进的功能: 搜索 渠道筛选 加下载
1.搜索的提高版,时间限制,省跟地域(只搜索微博) 2.抓取微博里,是否原创,转发层数,认证用户(加V)
3.关键词导入
4.极端账号 5级 5.极端关键词 5级
6.@加v账号(待定) 7.KOL 本地检索(待定)
8.加QQ好友
9.兼容IE 10.首页的较昨天趋势 11.3颗星 进入预警
12.处理展示——(是否加V,蓝V还是个人,性别,粉丝数,地域)
13.视频抓取爬虫有问题、土豆的、其他的用百度视频补充
14.进了预警中心的,进行关注(48小时)
15.关注信息,历史关注、正在关注
16.舆情展示 的 单条信息
17.预警中心的审核或忽略
18.热点时间: 当前、历史 (查看、关闭)
百度新闻 新华网 有乱码
系统配置相关
需要配置部分 1.数据库导入(a.清空soya中各个渠道的数据及分类结果和处理结果 b.添加label、keywords、label_keywords) 2.设置Python目录的数据库 3.导入php生成excel,设置数据库 4.进入spring 安装springside4 运行fix.sh 并在src/main/resource里设置数据库 5.