扫码加入数据分析学习群

聚类

聚类(Clustering)：将数据集划分为若干相似对象组成的多个组(group) 或簇(cluster)的过程，使得同一组中对象间的相似度最大化，不同组 中对象间的相似度最小化。或者说一个簇(cluster)就是由彼此相似的 一组对象所构成的集合，不同簇中的对象通常不相似或相似度很低

聚类分析指将物理或抽象对象的集合分组为由类似的对象 组成的多个类的分析过程。它是一种重要的人类行为。

聚类源于很多领域，包括数学，计算机科学，统计学，生 物学和经济学。在不同的应用领域，很多聚类技术都得到 了发展，这些技术方法被用作描述数据，衡量不同数据源 间的相似性，以及把数据源分类到不同的簇中。

聚类的意义：

首先将大规模的、纷繁复杂的数据归档为不同的类别， 进而针对每一类数据，制定不同的管理、分析方式，因 为每一类的数据都是显著不同的。

聚类会从数据中发掘出很多分析和理解的视角，让我们 更深入的把握数据资源的价值、并据此指导生产生活。

聚类与分类的区别：

分类：监督学习，有限类别中的某一类

聚类：无监督学习，不依赖预先定义的类或带类标记的 训练实例，需要由聚类学习算法自动确定标记。聚类是 一种探索性的分析，聚类分析所使用方法的不同，常常 会得到不同的结论。不同研究者对于同一组数据进行聚 类分析，所得到的聚类数未必一致。

聚类基本流程：

对数据进行表示和预处理，包括数据清洗、特征选择或特征抽取

给定数据之间的相似度或相异度及其定义方法

根据相似度，对数据进行划分，即聚类

对聚类结果进行评估

主要聚类方法类别：

K-means

K-均值（K-Means）：K均值法是麦奎因（MacQueen，1967）提出的，这 种算法的基本思想是将每一个样本分配给最近中心（均值）的类中。

算法步骤：

先从没有标签的元素集合A中随机取k个元素作为k个子集各自的中心

分别计算剩下的元素到k个子集中心的距离，根据将这些元素分别划归到最 近的子集

根据聚类结果，重新计算中心（子集中所有元素各个维度的算数平均数）

将集合A中全部元素按照新的中心然后再重新聚类

重复以上步骤，直到聚类的结果不再发生变化

代码实现：

from sklearn.cluster import KMeans

import numpy as np

import matplotlib.pyplot as plt

# 载入数据

data = np.genfromtxt('data//kmeans.txt',delimiter=' ')

# 设置k值

k = 4

#只动n_clusters参数

model = KMeans(n_clusters=k)

model.fit(data) #聚类结束

model.cluster_centers_ #四个质心

model.labels_ #样本所对应的标签

model.n_iter_ #迭代次数

model.inertia_ #SSE,累加平方误差

#预测，执行分类

model.predict([[1,2]])

可视化：

predictions=model.predict(data)

centers=model.cluster_centers_

# 画样本点

mark = ['or','ob','og','oy']

for i,d in enumerate(data):

plt.plot(d[0],d[1],mark[predictions[i]])

# 画分类中心点

mark = ['*r','*b','*g','*y']

for i,center in enumerate(centers):

plt.plot(center[0],center[1],mark[i],markersize=20)

plt.show()

K-Means算法优化

根据经验：使用多次的随机初始化，计算每一次建模得到代价函数的值，选取代价 函数最小结果作为聚类结果

肘部法则优化k

from sklearn import metrics

silhouette_all=[]

for k in range(2,10):

model = KMeans(n_clusters=k)

model.fit(data)

labels = model.labels_

silhouette_score = metrics.silhouette_score(data, labels, metric='euclidean')

silhouette_all.append(silhouette_score)

plt.plot(range(2,10),silhouette_all)

plt.xlabel('k')

plt.ylabel('silhouette_score')

plt.show()

轮廓系数：Mini Batch K-Means算法

Mini Batch K-Means算法是K-Means算法的变种，采用小批量的数据子集减小计 算时间。这里所谓批是指每次训练算法时所随机抽取的数据子集，采用这些随 机产生的子集进行训练算法，大大减小了计算时间，结果一般只略差于标准算法。

算法的迭代步骤有两步：

从数据集中随机抽取一些数据形成小批量，把他们分配给最近的质心

更新质心

与K均值算法相比，数据的更新是在每一个小样本集上。Mini Batch K-Means比 K-Means有更快的收敛速度，略微降低聚类的效果。

DBSCAN

DBSCAN(Density-Based Spatial Clustering of Applications with Noise):它将簇定义为密度相连的点组成的最大集合，能够把具有足够高密度的区域划 分为簇，并可在噪声的空间数据库中发现任意形状的聚类

DBSCAN中的几个定义：

Ε邻域：给定对象半径为Ε内的区域称为该对象的Ε邻域

核心对象：如果给定对象Ε邻域内的样本点数大于等于Min-points，则称 该对象为核心对象

直接密度可达：对于样本集合D，如果样本点q在p的Ε邻域内，并且p为核 心对象，那么p到q直接密度可达

密度可达：对于样本集合D，给定一串样本点p1,p2….pn，p=p1,q=pn,假如 pi-1到pi直接密度可达，那么对象p到q密度可达

密度相连：存在样本集合D中的一点o，如果对象o到对象p和对象q都是密度 可达的，那么p和q密度相联

DBSCAN密度聚类思想：由密度可达关系导出的最大密度相连的样本集合，即为 我们最终聚类的一个类别，或者说一个簇

算法步骤：

指定合适的E和Min-points；

计算所有的样本点，如果p的E邻域里有超过Min-points个点，则创建一个 以p为核心点的新簇；

反复寻找这些核心点直接密度可达（之后能是密度可达）的点，将其加入 到相应簇，对于核心点发生“密度相连”状况的簇，给予合并；

当没有新的点可以被添加到任何簇时，算法结束。

DBSCAN的主要优点有：

不需要输入聚类个数，可以对任意形状的稠密数据集进行聚类，相对的， K-Means之类的聚类算法一般只适用于凸数据集

可以在聚类的同时发现异常点，对数据集中的异常点不敏感

聚类结果没有偏倚，相对的，K-Means之类的聚类算法初始值对聚类结果有 很大影响

DBSCAN的主要缺点有：

如果样本集的密度不均匀、聚类间距差相差很大时，聚类质量较差

如果样本集较大时，聚类收敛时间较长

调参相对于传统的K-Means之类的聚类算法稍复杂，需要对距离阈值E，邻域样本数阈值Min-points联合调参

数据集是稠密的，并且数据集不是凸的，DBSCAN会比K-Means聚类效果好很多

代码实现

import numpy as np

import matplotlib.pyplot as plt

from sklearn import datasets

%matplotlib inline

x1, y1 = datasets.make_circles(n_samples=2000, factor=.4, noise=.05)#x1为坐标，y1为标签，这里不需要标签

x2, y2 = datasets.make_blobs(n_samples=1000, centers=[[1.2,1.2]], cluster_std=[[.1]])

x = np.concatenate((x1, x2))

plt.scatter(x[:, 0], x[:, 1], marker='o')

plt.show()

from sklearn.cluster import DBSCAN

y_pred = DBSCAN(eps = 0.2,min_samples=50).fit_predict(x)

plt.scatter(x[:, 0], x[:, 1], c=y_pred)

plt.show()