Skip to content

36Kr网站数据爬虫抓取工具,采用Jsoup,主要抓取了网站首页广告轮播,文章分类标签,分类列表数据以及文章详情和作者相关信息

Notifications You must be signed in to change notification settings

pythonzz/36Kr_Data_Crawler

 
 

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

9 Commits
 
 
 
 

Repository files navigation

36Kr_Data_Crawler

36Kr网站数据爬虫抓取工具,采用Jsoup,主要抓取了网站首页广告轮播,文章分类标签,分类列表数据以及文章详情和作者相关信息

本人CSDN博文地址http://blog.csdn.net/developer_jiangqq
###使用方法 ####01.首页广告轮播数据抓取使用方法

     Document document = Jsoup.connect(Config.CRAWLER_URL).timeout(100000).get();
		 List<AdHeadBean> adHeadBeans=new HeadDataManager().getHeadBeans_CNK(document);
		 Gson gson=new Gson();
		 System.out.println(gson.toJson(adHeadBeans));

####02.首页文章分类标签Tab数据抓取使用方法

   Document document = Jsoup.connect(Config.CRAWLER_URL).timeout(100000).get();  
   List<CategoriesBean> categoriesBeans=new CategoryDataManager().getCategoriesBeans_CNK(document);
	 Gson	gson=new Gson();
	 System.out.println(gson.toJson(categoriesBeans));

####03.文章根据分类标签的列表抓取使用方法

   Document document = Jsoup.connect(Config.CRAWLER_URL).timeout(100000).get();  
   List<HomeNewsBean> homeNewsBeans=new HomeNewsDataManager().getHomeNewsBeans_CNK(document);
	 Gson	gson=new Gson();
	 System.out.println(gson.toJson(homeNewsBeans));

####04.文章详情数据抓取使用方法

    new Gson().toJson(new ArticleDataManager(CTextUtils.getArticleId("http://36kr.com/p/5040442.html")).getArticleBean(Jsoup.connect("http://36kr.com/p/5040442.html").timeout(100000).get()))

###本人录制的其他视频 1.Android Annotations注入框架视频:http://www.cniao5.com/course/10074

###关于本人 邮箱:jiangqqlmj@163.com
本人微信/QQ:781931404
Android技术交流群:99787482

Android开发群1:107086751
Android开发群3:109244103

About

36Kr网站数据爬虫抓取工具,采用Jsoup,主要抓取了网站首页广告轮播,文章分类标签,分类列表数据以及文章详情和作者相关信息

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages

  • Java 100.0%