数据的质量直接关乎最后数据分析出来的结果，如果数据有错误，在计算和统计后，结果也会有误。
所以在进行数据分析前，我们必须对数据进行清洗。需要考虑数据是否需要修改、如何修改调整才能适用于之后的计算和分析等。
数据清洗也是一个迭代的过程，实际项目中可能需要不止一次地执行这些清洗操作。
缺省参数 nan
将元素只为None 则显示为缺省参数NaN

# 读取数据
file = './data/a.csv'
'''
AAPL, 342, 123, 42, 243, 138, 213
56, 432, 125, 34, 223, 613, ?
56, 123, 182, 44, 213, 313, 121
87, 234, 172, 46, 273, 213, 216
AAPL, 46, 912, 41, 923, 123, 218
AAPL, 23, 172, 46, ?, 213, 216
' ?', 111, 912, 41, 923, ?, 218
'''
# 获取文件共有多少行
# 这种方法简单，但是可能比较慢，当文件比较大时甚至不能工作。
lenNum = len(open(file).readlines())
print(lenNum)

# 读取大文件共多少行
count = 0
for index, line in enumerate(open(file,'r')):
count += 1
print(count)

读取数据 如果数据不存在或不符合数值规则 用nan填充

delimiter 以什么符号进行分割
skiprows=12 跳过开头12行 数据是从第13行开始的
usecols 就是获取下标为6，7列 的内容
unpack=True： 读取的内容是否分开显示，默认为False False返回一个大列表， 如果为True 必须多个参数接收数据，每个为一维数组
c,v=np.loadtxt('a.csv', delimiter=',', usecols=(6,7), unpack=True)
# 读取后的数据类型：numpy.ndarray

缺省数据处理

01 直接填充 适合格式 DataFrame， numpy.ndarray

from sklearn.preprocessing import Imputer

# axis 默认为0 是通过列的平均值来填充 1按行的平均值填充
imputer = Imputer(axis=1)
data = imputer.fit_transform(data)
print(data)

02 删除

# 过滤掉带缺省参数的内容 即删除
# how='all' 行或列只要存在就删除 axis=0 按行删除 axis=1 按列删除

# 将内容转为DataFrame 类型
data = pd.DataFrame(data)
# print(data)

data2 = data.dropna(axis=1)
print(data2)