观察了一下马蜂窝网站,最终确定了采集路线:获取热门城市 -> 获取城市下的游记列表 -> 获取游记内容 -> 提取游记内容的游记标题、城市、出发时间等,接下来我们用三个步骤来实现它。。。
入队列 phpspider->add_url(url, options);}通过上面两个步骤,我们就把所有热门城市下的游记列表都放入到了队列,接下来我们进行第三步,从这些列表里面获取内容页URL,
selector > diva, required > true, ), 出发时间 array( name > date, selector > li, required > true, ),)设计一张数据表
到此程序就设计完了,总共不到200行的代码,得益于phpspider自带了多进程采集功能,数据很快就采集完成,总共7W多点。??得到这些数据以后,我们能干什么呢?!Top10 旅游城市分别是?
看得出3月底到4月中旬是杭州适合游玩的季节啊,那时候春暖花开,天气也不错,听说太子湾公园每年那时候都会有樱花和郁金花展,非常美,艾玛旅游病又犯了~_~!