嗯,首先在分析所爬网页的时候, 我们可以我们可以发现会出现两种情况,一种就是,这个页面我右键点击查看网页源代码,他HTML源码里面可以看到,你想爬取的那个数据,这样的话我们就可以通过,HTTP请求去把他的
image.png
第六页演讲稿:
接下来介绍如何进行爬虫代码编写. 如果是查看HTML源代码, 可以看到数据的网页.
代码中就是使用got去下载页面的HTML源码, 然后去使用cheerio获取指定的数据
image.png
第九页演讲稿:
然后是如果这个网页没办法使用下载源码的形式,去爬数据的话.
image.png
第十二页演讲稿:
接下来是扩展与总结. 我们看到有人问假如遇到登录,我们该怎么办?
我们就可以使用Puppeteer,然后获取输入框,然后进行模拟输入用户名密码,然后去模拟点击登录,进行登录; 或者去可以在自己的浏览器里去进行一次登录,然后去开发的工具去拿到当前的cookie或者token