热线电话:13121318867

登录
首页大数据时代关于层次聚类算法原理的简单理解及实现
关于层次聚类算法原理的简单理解及实现
2020-07-14
收藏

层次聚类,即Hierarchical Clustering,是一种聚类算法,通过对不同类别数据点间的相似度的计算,从而创建一棵有层次的嵌套聚类树。

一、层次聚类算法原理

在聚类树中,树的最底层是不同类别的原始数据点,树的顶层则是一个聚类的根节点。层次聚类算法按照层次分解的顺序可分为:自下向上也,就是凝聚的层次聚类算法,以及自上向下即分裂的层次聚类算法(agglomerative和divisive),又可以被称为自下而上法(bottom-up)和自上而下法(top-down)。自下而上法简单理解为:一开始每一个个体(object)都是一个类,然后再根据linkage寻找同类,最后合并,形成一个“类”。自上而下法与自下而上法相反,是开始所有个体都归属于一个“类”,然后通过linkage排除异类,最后每一个个体都成为一个“类”。

层次聚类算法中, 最关键的在于计算两个聚类间的距离,根据计算两个聚类之间距离的算法的不同,能够分为以下四种聚类算法:

Single Linkage:两个数据集间的最小距离

Complete Linkage:两个数据集间的最大距离

以上两种方法很容易受到极端值的影响,计算大样本集效率较高。

Average Linkage:任意两个数据集的距离之和的平均值。这种方法虽然计算量比较大,但是这种度量方法更合理。

Ward:最小化簇内方差。假设聚类A的中心点为a,聚类B的中心点为b,A、B合并后的聚类为C,其中心点为c,则聚类A、B的距离为:

二、层次聚类的优缺点

优点:

1.距离和规则的相似度比较容易定义,限制很少;

2.不需要预先制定聚类数;

3.能够发现类的层次关系;

4.能够聚类成其它形状

缺点:

1.计算的复杂度很高;

2.即使是奇异值也会产生很大影响;

3.算法很可能会聚类成链状

三、sklearn中的层次聚类

##导入库

from sklearn.cluster import AgglomerativeClustering

##建模,并指定聚类个数

ward = AgglomerativeClustering(n_clusters=3)

##拟合并预测数据

ward_pred = ward.fit_predict(data)

绘制系统树:

from scipy.cluster.hierarchy import linkage,dendrogram

import matplotlib.pyplot as plt

#指定连接类型为离差平方和法

linkage_type = ‘ward’

#拟合数据,并得到关联矩阵

linkage_matrix = linkage(X, linkage_type)

#创建窗口

plt.figure(figsize=(22.18))

#将关联矩阵输送到系统方法

dendrogram(linkage_matrix)

#显示

plt.show()

数据分析咨询请扫描二维码

最新资讯
更多
客服在线
立即咨询