数据分析师

您的位置:首页 > 技术干货 > R语言处理大规模数据集的编程要点

R语言处理大规模数据集的编程要点

收藏

来源: CDA数据分析师 | 发布时间:2017-04-21 13:24:36

R语言处理大规模数据集的编程要点

1.提高程序效率,保证执行速度

(1)尽量使用向量化运算

(2)尽量使用矩阵,必要时才使用数据框

(3)使用read.table时,尽量显式设定colClasses和nrows,设定comment.char="",把不需要的列设置为NULL

(4)将外部数据导入矩阵时,使用scan函数

(5)删除临时对象和不再用的对象

(6)用ls.objects()列出工作区对象占用的内存大小

2.把数据存在外部

(1)ff包:将数据保存在硬盘,操作起来跟在内存中一样

(2)bigmemory包:支持大规模矩阵的创建

(3)filehash:keyvalue数据库,value在硬盘中

(4)ncdf,ncdf4:读取cndf格式

(5)RODBC,RMySQL,ROracle,RPostgreSQL,RSQLite

3.使用大规模数据专门的统计方法包

(1)biglm和speedglm包可以针对大数据集有效地拟合线性和广义线性模型

(2)biganalytics提供了k-means,column statistics和一个对biglm的封装

(3)bigtabulate提供了table,split和tapply

(4)bigalgebra提供了高等线性代数函数

(5)biglars提供了最小角回归,lasso回归以及针对大数据集的逐步回归

(6)brobdingnag包处理大数字

4.大型文本文档常用包

(1)fread:data.table包,大型文本文档读放

(2)read.table.ffdf,read.csv.ffdf:ff包

(3)read.big.matrix:bigmemory,无法在windows下

(4)read.csv.sql:sqldf包

(5)read.table


数据分析师 R语言

  CDA大数据分析圈是国内第一个汇聚大数据全面资源、数据人必备的APP。CDA整合了近千个大数据相关专业网站及媒体来源,汇聚了数百场国内大数据活动与会议,数千名名技术大牛、行业领袖,以及总结了最系统的优质学习课程资源。在这里,你可每天接触到最新行业资讯、前沿技术干货等信息;你可参与CDA俱乐部活动、各类大型会议,亲身与大牛接触,获得实务经验。你也可在专业课堂上与国内顶尖讲师进行交流切磋,最有效规划自身大数据职业发展。
  CDA大数据分析圈是数据人的家园,圈子里,资源流通,共享智慧,合作发展。CDA以“创新、开放、分享”的理念,期待你的加入!

分享到:

CDA数据分析师周边