关于层次聚类算法原理的简单理解及实现

层次聚类，即Hierarchical Clustering，是一种聚类算法，通过对不同类别数据点间的相似度的计算，从而创建一棵有层次的嵌套聚类树。

一、层次聚类算法原理

在聚类树中，树的最底层是不同类别的原始数据点，树的顶层则是一个聚类的根节点。层次聚类算法按照层次分解的顺序可分为：自下向上也，就是凝聚的层次聚类算法，以及自上向下即分裂的层次聚类算法(agglomerative和divisive)，又可以被称为自下而上法(bottom-up)和自上而下法(top-down)。自下而上法简单理解为：一开始每一个个体(object)都是一个类，然后再根据linkage寻找同类，最后合并，形成一个“类”。自上而下法与自下而上法相反，是开始所有个体都归属于一个“类”，然后通过linkage排除异类，最后每一个个体都成为一个“类”。

在层次聚类算法中, 最关键的在于计算两个聚类间的距离，根据计算两个聚类之间距离的算法的不同，能够分为以下四种聚类算法：

Single Linkage：两个数据集间的最小距离

Complete Linkage：两个数据集间的最大距离

以上两种方法很容易受到极端值的影响，计算大样本集效率较高。

Average Linkage：任意两个数据集的距离之和的平均值。这种方法虽然计算量比较大，但是这种度量方法更合理。

Ward：最小化簇内方差。假设聚类A的中心点为a，聚类B的中心点为b，A、B合并后的聚类为C，其中心点为c，则聚类A、B的距离为：

二、层次聚类的优缺点

优点：

1.距离和规则的相似度比较容易定义，限制很少;

2.不需要预先制定聚类数;

3.能够发现类的层次关系;

4.能够聚类成其它形状

缺点：

1.计算的复杂度很高;

2.即使是奇异值也会产生很大影响;

3.算法很可能会聚类成链状

三、sklearn中的层次聚类

##导入库

from sklearn.cluster import AgglomerativeClustering

##建模，并指定聚类个数

ward = AgglomerativeClustering(n_clusters=3)

##拟合并预测数据

ward_pred = ward.fit_predict(data)

绘制系统树：

from scipy.cluster.hierarchy import linkage,dendrogram

import matplotlib.pyplot as plt

#指定连接类型为离差平方和法

linkage_type = ‘ward’

#拟合数据，并得到关联矩阵

linkage_matrix = linkage(X, linkage_type)

#创建窗口

plt.figure(figsize=(22.18))

#将关联矩阵输送到系统方法

dendrogram(linkage_matrix)

#显示

plt.show()