Prompt:

将以下代码修改为并行处理代码  for (i in 0:900){ url <-   paste0(     '###### =',     i   ) resp <-   GET(url = url,       add_headers(.headers = myheaders),       encode = "raw") pg <- read_html(resp) #不会出现乱码 tables <- html_table(pg) #提取表格 tab <- html_table(pg, fill = TRUE)[[3]] %>%  as.data.frame() %>%   rename_all(~c('No','#','#',#','#','#')) %>%   slice(-1) #第一行作为列名 # 提取所有超链接 links <-read_html(url) %>%   html_nodes("a") %>%   html_attr("href") # 打印超链接 print(links) #提取站点编码 code <-  strapplyc(links, "[0-9-]{10,}", simplify = TRUE) # 取list的前10个字符 code <- unlist(lapply(code, function(x) substr(x, 1, 10))) tab$code <- code tab <-  rbind.fill(tab) }

ChatGPT的回复如下：比较规范，可以运行

library(foreach)
library(doParallel)

# 设置并行处理的核心数
num_cores <- detectCores()
registerDoParallel(cores = num_cores)

# 创建一个空的数据框用于存储结果
result_df <- data.frame()

# 并行处理循环
foreach(i = 0:900, .packages = c("httr", "rvest", "stringr")) %dopar% {
  url <- paste0('#######E=', i)
  resp <- GET(url = url, add_headers(.headers = myheaders), encode = "raw")
  pg <- read_html(resp)

  # 提取表格
  tab <- html_table(pg, fill = TRUE)[[3]] %>%
    as.data.frame() %>%
    rename_all(~c('No','##','##','##','##','###')) %>%
    slice(-1)

  # 提取所有超链接
  links <- read_html(url) %>%
    html_nodes("a") %>%
    html_attr("href")

  # 提取站点编码
  code <- strapplyc(links, "[0-9-]{10,}", simplify = TRUE)
  code <- unlist(lapply(code, function(x) substr(x, 1, 10)))

  # 添加站点编码列
  tab$code <- code

  # 将结果添加到结果数据框中
  result_df <<- rbind.fill(result_df, tab)
}

# 停止并行处理
stopImplicitCluster()

# 输出结果数据框
print(result_df)

转载本文请联系原作者获取授权，同时请注明本文来自张兵科学网博客。

链接地址：https://wap.sciencenet.cn/blog-331295-1395421.html?mobile=1

收藏

分享