1.信息论: 若一事假有 k 种结果,对应的概率为
2. 熵: 给定包含关于某个目标概念的正反样例的样例集 S,那么 S 相对这个布尔型分类的熵为:
3. 条件熵: 假设随机变量(X, Y), 其联合分布概率为 P(X=xi,Y=yi)=Pij,i=1,2,⋯,n;j=1,2,⋯,m
则条件熵 H(Y|X)表示在已知随机变量 X 的条件下随机变量 Y 的不确定性,其定义为 X 在给定条件下
Y 的条件概率分布的熵对 X 的数学期望
三个资料Q群下载不了也转发不了,先放这里Fine_tuning.zipLangChain.zipdata_clear.rar