用R/Rstudio进行网页数据下载的一般流程：

打开网页---F12 查看network--获取数据源网址--分析网页代码---

1 用GET POST
（1）GET/POST，request headers, Payload等， 返回 json，数据清洗、整理，保存为文件

（2）GET/POST，request headers, Payload等， 返回 html，用revst处理hmtl,获取html_table等，数据清洗、整理，保存为文件

2 用 Rselenium
（3）Rselenium 模拟浏览器，打开数据源网址，
>>>返回json/html,用revst处理hmtl，数据清洗、整理，保存为文件
>>>返回的是图片，用tesseract OCR 识别，traineddata用Mathematica的文件，系统环境变量设置TESSDATA_PREFIX D:\Program Files\R-Portable\App\R-Portable\library\tesseract\tessdata
>>>返回的是字符（各种混乱处理后的json等），用stringr等截取相应内容，处理字符、列表等，

转载本文请联系原作者获取授权，同时请注明本文来自张兵科学网博客。

链接地址：https://wap.sciencenet.cn/blog-331295-1408530.html?mobile=1

收藏

分享