yzhlinscau的个人博客分享 http://blog.sciencenet.cn/u/yzhlinscau

博文

用R语言批量处理文件文件夹和文件

已有 2988 次阅读 2020-2-29 10:02 |个人分类:R|系统分类:科研笔记

有时候,我们需要从一系列文件夹里提取一系列文件,比如pdf文件。再者,我们可能还需要对这些文件做一些处理,比如合并。那么就可以利用R语言来处理。一般来说,perl语言更适用于文件或文本的处理。不过,因perl语言很久没用,生疏了。


R语言自带的一系列函数处理如下:

file.remove(...) # 用于文件删除
file.rename(from, to) # 重命名
file.append(file1, file2) #合并文件
file.copy(from, to, overwrite = recursive, recursive = FALSE,
          copy.mode = TRUE, copy.date = FALSE) # 文件复制
list.files() # 罗列文件夹或工作目录里的所有文件名
dir() # 罗列文件名,同上
dir.create() # 创建文件夹
unlink(x, recursive = FALSE, force = FALSE) # 删除文件夹


1 批量重命名文件夹
文件夹new1里有一系列子文件夹,通过下述代码可以对它们重命名:

myfolderpath <- "D:/myworks/new1"
setwd(myfolderpath)
allfoldN <- dir(myfolderpath)
foldnewN <- paste0('nF',1:length(allfoldN))
file.rename(allfoldN,foldnewN)


通过上述代码,子文件夹会以‘nF1’,‘nF2’,…的方式重命名。

2 批量合并子文件夹里的所有文件
通过下述代码可以把子文件夹里的所有文件合并到每个子文件夹的第一个文件:

myfolderpath <- "D:/myworks/new1"
setwd(myfolderpath)
allfoldN <- dir(myfolderpath)
for(i in 1:length(allfoldN)){
  myfilepath <- paste(myfolderpath,allfoldN[i],sep='/')
  setwd(myfilepath)
  alltypefiles <- dir(myfilepath)
    for(j in 2:length(alltypefiles)){
    file.append(alltypefiles[1],alltypefiles[j])
  }
}


如果想删除某些特定文件,可以使用下述代码:

file.remove(dir(".", pattern="(.m3u8)$"))


如果想删除所有子文件夹,可以使用下述代码:

setwd(myfolderpath)
for(i in 1:length(allfoldN)) unlink(allfoldN[i],recursive =T, force=TRUE)



3 采用并行方式进行批量操作
如果子文件夹数量比较多时,可以使用并行命令来节省时间,将上述合并的for循环改为函数ref,然后来运行并行命令:

ref<-function(allfoldN){
  myfilepath <- paste(myfolderpath,allfoldN,sep='/')
  setwd(myfilepath)
  alltypefiles <- dir(myfilepath)
    for(j in 2:length(alltypefiles)){
    file.append(alltypefiles[1],alltypefiles[j])
  }
}


并行命令的代码如下:

myfolderpath <- "D:/myworks/new1"setwd(myfolderpath)
allfoldN <- dir(myfolderpath)
library(doParallel)
cl <- makePSOCKcluster(detectCores()-1)
registerDoParallel(cl)
foreach(allfoldN=allfoldN) %dopar% ref(allfoldN)
stopCluster(cl)


4 结语
再次证实,学会一定的编程能力,可以达到事半功倍。


————————————————
版权声明:本文为CSDN博主「yzhlinscau」的原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接及本声明。
原文链接:https://blog.csdn.net/yzhlinscau/article/details/104569173




https://wap.sciencenet.cn/blog-1114360-1220973.html

上一篇:【通告】AAfun4不再更新,也不再对外提供!
下一篇:家系模型之Echidna篇

0

该博文允许注册用户评论 请点击登录 评论 (0 个评论)

数据加载中...
扫一扫,分享此博文

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2021-10-23 01:35

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部