什么是关系型数据库及数据库管理系统
数据库(Database)是一种数据的组织和存储方式,通常用于处理结构化的数据。
而关系型数据库(Relational Database)指的是创建在关系模型的基础上的数据库。它借助于集合代数等数学概念和方法来处理数据库中的数据。
数据库管理系统(DBMS,Database Management System),是一种专门用于存储、修改并从数据库提取信息的系统软件。
主流的关系型数据库管理系统主要有:MySQL,ORACLE, MS ACCESS,DB2等。
其中,MySQL属于开源软件,而其他的主流数据库管理系统基本都是商业软件。由于很多互联网公司数据库都是采用MySQL进行数据库的管理,所以今天我们主要介绍MySQL的安装、配置及其与R的交互。
SQL(Structured Query Language)是一种专门用来与数据库进行沟通的语言。
使用SQL可以对数据库中的数据进行增、删、查、改、权限管理等操作。
常用关键词:SELECT,UPDATE,DELETE,INSERT.
管理关键词:CREATE,ALTER,DROP
常用子句、关键词:FROM,WHERE,GROUP BY,ORDER BY
为什么要学习SQL
很多同学可能会很疑惑:对于数据的增删查改等需求,我们的R不是已经有非常方便的操作了吗?为什么还要多学一门语言呢?
R擅长的领域是数据分析,然而,对于数据存储,却存在很大的问题。一个非常明显的缺陷是:所有数据均要读入内存。这就造成了R能处理的数据量存在一个瓶颈。当我们要处理的数据观测数达到上亿级别的时候,R就显得力所不逮了。
数据库能解决的当然不止这一个问题。
当我们遇到如下情景时,数据库就显得非常重要了:
当你的数据需要通过网站在线展示;
当你在一个团队中工作,你和你的协作成员要同时操作同一个数据集;
当你需要为不同的数据用户赋予不同的使用权限;
当你要处理的数据量超过了你的电脑内存;
当你面对的数据集非常复杂,不能统一组织到一个数据集中时;
当你的数据量非常庞大,但你又经常要频繁地获取它的一些子集时;
当你的几个数据集关联性很大,更新一个数据集需要同时更新另外一些数据集时;
当你对数据的格式要求很严格时。
而如果我们经常与数据打交道,以上的问题是必不可免的。
可见,要想成为一名优秀的数据科学家,学习SQL还是非常有必要的。
当然,SQL虽然是一门语言,但是它有一些非常吸引人的优点:
几乎所有重要的DBMS都支持SQL;
SQL语法简明,简单易学;
SQL非常灵活,功能强大。
所以,虽然又得多学一门语言,但是也不必苦恼。想想能够几天掌握一门新的语言,也是挺让人激动的呢:)
MySQL的安装及环境配置
MySQL是一款开软的数据库管理系统,因此我们可以通过在官网进行软件的自由下载安装。
对于入门的同学来说,MySQL Community Server和MySQL Workbench CE结合起来使用是一个不错的开始。MySQL Workbench CE是MySQL的一个开发环境,具有非常友好的交互界面。它跟MySQL的关系如同Rstudio和R的关系。
SQL基本操作——案例学习
安装完毕,我们就可以启动MySQL Workbench进行数据库的创建等操作了。先使用root用户身份(在安装的过程中创建)进入管理界面。
建立一个数据库
新建一个SQL脚本,即可以开始MySQL的编程了。选中某一个代码块,使用CTRL+ENTER快捷键即可运行代码。
create database db1;
show databases;
-- 创建一个普通用户
CREATE USER yy@localhost IDENTIFIED BY '123';
建立一个表格
use db1;
create table birthdays(
nameid INTEGER NOT NULL AUTO_INCREMENT,
firstname varchar(100) not null,
lastname varchar(100) not null,
birthday date,
primary key (nameid)
);
添加观测数据
insert into birthdays(firstname,lastname,birthday)
values ('peter','Pascal','1991-02-01'),
('paul','panini','1992-03-02');
使用查询语句
select * from birthdays;
select birthday from birthdays;
追加数据
insert into birthdays(nameid,firstname,lastname,birthday)
values (10,"Donald","Docker","1934-06-09");
SQL与R的交互
R与SQL交互的拓展包非常丰富,不过大致可以分为三大类:
依赖于DBIpackage,如RMySQL,ROracle,RPosttgreSQL,RSQLite。这种方式通过与DBMS建立原始的连接实现数据库操作。
依赖于RODBCpackage。这个包通过打开数据库连接驱动的方式建立非直接的连接。如通过依赖于jre读入XLS/XLSX表格的数据。
通过dplyr package.
今天主要介绍第1种及第三种方式。
R连接MySQL
操作数据库中的数据
下面,我们通过R来操作前面在MySQL中建立的数据库db1。
library(RMySQL)
# 建立一个连接
mydb <- dbConnect(MySQL(),user="root",
password = "mycode",
dbname = "db1")
#查看表格
dbListTables(mydb)
## [1] "birthdays" "mtcars" "test"
#查看某一列
dbListFields(mydb,"birthdays")
## [1] "nameid" "firstname" "lastname" "birthday"
#
#dbClearResult(dbListResults(mydb)[[1]])
# 建立一个查询
rs <- dbSendQuery(mydb,"select * from birthdays")
data<-fetch(rs,n = -1)
head(data)
## nameid firstname lastname birthday
## 1 1 peter Pascal 1991-02-01
## 2 2 paul panini 1992-03-02
## 3 10 Donald Docker 1934-06-09
# 另一种方法:建立一个查询
dbGetQuery(mydb,"select * from birthdays")
## nameid firstname lastname birthday
## 1 1 peter Pascal 1991-02-01
## 2 2 paul panini 1992-03-02
## 3 10 Donald Docker 1934-06-09
将R中的data.frame存储到数据库
#将一个data frame对象存储为一个表格
dbWriteTable(mydb,name = "mtcars",value = mtcars,overwrite=TRUE)
## [1] TRUE
#查看结果
dbListTables(mydb)
## [1] "birthdays" "mtcars" "test"
使用dplyr进行数据库操作
dplyr是Hadley大神开发的一个专注于data frame类型的数据操作的一个包。它拥有非常简洁、便于记忆、异常丰富的一系列操作函数。更吸引人的是:它支持对sqlite,mysql,postgresql等开源数据库的操作。也就是说:你无需掌握SQL语言也能轻松进行数据库操作。
当然,dplyr并不能替代全部的SQL语言。它主要用于产生分析中最频繁使用的SELECT语句。
下面我们看看这是如何做到的。
library(dplyr)
conDplyr<-src_mysql(dbname = "db1",user = "root",password = "mycode",host = "localhost")
mydata<-conDplyr %>%
tbl("mtcars") %>%
select(mpg,cyl,gear) %>%
filter(gear == 4) %>%
collect()
head(mydata)
## Source: local data frame [6 x 3]
##
## mpg cyl gear
## (dbl) (dbl) (dbl)
## 1 21.0 6 4
## 2 21.0 6 4
## 3 22.8 4 4
## 4 24.4 4 4
## 5 22.8 4 4
## 6 19.2 6 4
dplyr中的惰性求值
dplyr只有在必要的情况下才会执行操作
它在必要的情况下才会从数据库中载入数据
每一个操作函数在执行的时候,并未开始真正从数据库中请求,而是在必要的情况下,一起执行.
如以下的一系列操作并未开始执行数据提取:
library(dplyr)
myDF <- tbl(conDplyr,"mtcars")
myDF1<-filter(myDF,gear == 4)
myDF2<-select(myDF1,mpg,cyl,gear)
直到执行以下语句,才真正开始从数据库中提取数据。
head(myDF2)
## mpg cyl gear
## 1 21.0 6 4
## 2 21.0 6 4
## 3 22.8 4 4
## 4 24.4 4 4
## 5 22.8 4 4
## 6 19.2 6
数据分析咨询请扫描二维码
CDA数据分析师在中国航信高科技产业园进行了面向测试度量的数据分析培训课程,培训人数近2 ...
2024-05-01CDA数据分析师走进深圳迈瑞生物医疗电子股份有限公司,在迈瑞总部展开了为期两天的培训,本次课程参训人员线上及线下近百人, ...
2024-05-01CDA数据分析师在合肥市对合肥阳光新能源科技有限公司开展了为期8天的企业内训。 合肥阳光新能源科技 ...
2024-05-01CDA数据分析师走进海尔大学,进行了《数据治理与数据中台建设的道与术》专题培训,培训现场爆满,近百人参加了此次培训。 ...
2024-05-01在中国银行苏州分行培训中心开始数据分析师培训,此次培训课程共10天内容,包括Excel、MySQL、概率论与数理统计、SPSS等内容, ...
2024-05-01从实际的业务需求出发,结合行业的典型应用特点,围绕实际的商业问题,探讨数据挖掘、机器学习模型在金融领域的应用,包括获客、信用评分、细分画像、交叉销售、反欺诈、违规识别、时序预测、运筹优化、流程挖掘九个方面,形成 ...
2024-05-01本次培训课程为线上+线下的模式,由于学员编程能力不一、部分学员没有编程基础,故提供统计学、python基 ...
2024-05-01华夏银行信用卡中心-机器学习培训 1、课程亮点 取材于业界一流企业和顶级咨询公司的行业实践;已经被证明是人人 ...
2024-05-01主 题:数据中台建设及数据分析应用主题分享 1. 数据中台市场洞察 2. 主流数据中台产品比较 3. 某企业数据中 ...
2024-05-01围绕“数据驱动”战略,全力打造我行 300 人数字化人才梯队,着力培养数字化管理人才、大数据专业团队 ...
2024-05-01在当今数据驱动的商业环境中,数据分析成为了企业决策的重要依据。通过对大量数据的收集、处理和分析,企业能够更好地理解市场 ...
2024-04-29在人工智能(AI)的世界里,提示词(Prompt)是一种强大的工具,它能够引导AI按照用户的需求产生特定的输出。本文将深入探讨AI ...
2024-04-29CDA立足未来职场,拓展前沿视野——对外经贸大学保险学院举办“三全育人大讲堂”分享行业最新动态。 ...
2024-04-294月2日,CDA数据分析师创始发起人兼协会理事长赵坚毅博士受邀在浙江万里学院举办了一场以“数字化能力在职场中的作用” ...
2024-04-29随机森林(Random Forests)现在机器学习中比较火的一个算法,是一种基于Bagging的集成学习方法,能够很好地处理分类和回归的问 ...
2022-12-23方差分析是数据分析中常用的一种统计分析方法,接下来让我们简单了解一下方差分析的基本思想和原理吧。 方差分析(Analysis ...
2022-12-23来源:关于数据分析与可视化 关于streamlit-aggrid 数据排序 表格样式的调整 数据 ...
2022-08-03作者:麦叔 定义 「把上面晦涩的概念汇成一句话就是:」 ❝ 回调函数就是一个被作为参 ...
2022-08-03现今,高学历人群日益增多,物以稀为贵的高学历光环淡去。无论本科生还是研究生,甚至博士生,求职竞争力都大不如前,就业压力越来越大。
2022-06-01某家企业10个人面试,有9个本科生……如何脱颖而出,除得体的举止和良好的沟通力外,证书成重要筹码,这也是很多人考证的关键所在。
2022-04-14