基于随机梯度下降的矩阵分解推荐算法
SVD是矩阵分解常用的方法,其原理为:矩阵M可以写成矩阵A、B与C相乘得到,而B可以与A或者C合并,就变成了两个元素M1与M2的矩阵相乘可以得到M。
矩阵分解推荐的思想就是基于此,将每个user和item的内在feature构成的矩阵分别表示为M1与M2,则内在feature的乘积得到M;因此我们可以利用已有数据(user对item的打分)通过随机梯度下降的方法计算出现有user和item最可能的feature对应到的M1与M2(相当于得到每个user和每个item的内在属性),这样就可以得到通过feature之间的内积得到user没有打过分的item的分数。
本文所采用的数据是movielens中的数据,且自行切割成了train和test,但是由于数据量较大,没有用到全部数据。
代码如下:
[python] view plain copy
# -*- coding: utf-8 -*-
"""
Created on Mon Oct 9 19:33:00 2017
@author: wjw
"""
import pandas as pd
import numpy as np
import os
def difference(left,right,on): #求两个dataframe的差集
df = pd.merge(left,right,how='left',on=on) #参数on指的是用于连接的列索引名称
left_columns = left.columns
col_y = df.columns[-1] # 得到最后一列
df = df[df[col_y].isnull()]#得到boolean的list
df = df.iloc[:,0:left_columns.size]#得到的数据里面还有其他同列名的column
df.columns = left_columns # 重新定义columns
return df
def readfile(filepath): #读取文件,同时得到训练集和测试集
pwd = os.getcwd()#返回当前工程的工作目录
os.chdir(os.path.dirname(filepath))
#os.path.dirname()获得filepath文件的目录;chdir()切换到filepath目录下
initialData = pd.read_csv(os.path.basename(filepath))
#basename()获取指定目录的相对路径
os.chdir(pwd)#回到先前工作目录下
predData = initialData.iloc[:,0:3] #将最后一列数据去掉
newIndexData = predData.drop_duplicates()
trainData = newIndexData.sample(axis=0,frac = 0.1) #90%的数据作为训练集
testData = difference(newIndexData,trainData,['userId','movieId']).sample(axis=0,frac=0.1)
return trainData,testData
def getmodel(train):
slowRate = 0.99
preRmse = 10000000.0
max_iter = 100
features = 3
lamda = 0.2
gama = 0.01 #随机梯度下降中加入,防止更新过度
user = pd.DataFrame(train.userId.drop_duplicates(),columns=['userId']).reset_index(drop=True) #把在原来dataFrame中的索引重新设置,drop=True并抛弃
movie = pd.DataFrame(train.movieId.drop_duplicates(),columns=['movieId']).reset_index(drop=True)
userNum = user.count().loc['userId'] #671
movieNum = movie.count().loc['movieId']
userFeatures = np.random.rand(userNum,features) #构造user和movie的特征向量集合
movieFeatures = np.random.rand(movieNum,features)
#假设每个user和每个movie有3个feature
userFeaturesFrame =user.join(pd.DataFrame(userFeatures,columns = ['f1','f2','f3']))
movieFeaturesFrame =movie.join(pd.DataFrame(movieFeatures,columns= ['f1','f2','f3']))
userFeaturesFrame = userFeaturesFrame.set_index('userId')
movieFeaturesFrame = movieFeaturesFrame.set_index('movieId') #重新设置index
for i in range(max_iter):
rmse = 0
n = 0
for index,row in user.iterrows():
uId = row.userId
userFeature = userFeaturesFrame.loc[uId] #得到userFeatureFrame中对应uId的feature
u_m = train[train['userId'] == uId] #找到在train中userId点评过的movieId的data
for index,row in u_m.iterrows():
u_mId = int(row.movieId)
realRating = row.rating
movieFeature = movieFeaturesFrame.loc[u_mId]
eui = realRating-np.dot(userFeature,movieFeature)
rmse += pow(eui,2)
n += 1
userFeaturesFrame.loc[uId] += gama * (eui*movieFeature-lamda*userFeature)
movieFeaturesFrame.loc[u_mId] += gama*(eui*userFeature-lamda*movieFeature)
nowRmse = np.sqrt(rmse*1.0/n)
print('step:%f,rmse:%f'%((i+1),nowRmse))
if nowRmse<preRmse:
preRmse = nowRmse
elif nowRmse<0.5:
break
elif nowRmse-preRmse<=0.001:
break
gama*=slowRate
return userFeaturesFrame,movieFeaturesFrame
def evaluate(userFeaturesFrame,movieFeaturesFrame,test):
test['predictRating']='NAN' # 新增一列
for index,row in test.iterrows():
print(index)
userId = row.userId
movieId = row.movieId
if userId not in userFeaturesFrame.index or movieId not in movieFeaturesFrame.index:
continue
userFeature = userFeaturesFrame.loc[userId]
movieFeature = movieFeaturesFrame.loc[movieId]
test.loc[index,'predictRating'] = np.dot(userFeature,movieFeature) #不定位到不能修改值
return test
if __name__ == "__main__":
filepath = r"E:\学习\研究生\推荐系统\ml-latest-small\ratings.csv"
train,test = readfile(filepath)
userFeaturesFrame,movieFeaturesFrame = getmodel(train)
result = evaluate(userFeaturesFrame,movieFeaturesFrame,test)
在test中得到的结果为:
NAN则是训练集中没有的数据
数据分析咨询请扫描二维码
CDA数据分析师在中国航信高科技产业园进行了面向测试度量的数据分析培训课程,培训人数近2 ...
2024-05-01CDA数据分析师走进深圳迈瑞生物医疗电子股份有限公司,在迈瑞总部展开了为期两天的培训,本次课程参训人员线上及线下近百人, ...
2024-05-01CDA数据分析师在合肥市对合肥阳光新能源科技有限公司开展了为期8天的企业内训。 合肥阳光新能源科技 ...
2024-05-01CDA数据分析师走进海尔大学,进行了《数据治理与数据中台建设的道与术》专题培训,培训现场爆满,近百人参加了此次培训。 ...
2024-05-01在中国银行苏州分行培训中心开始数据分析师培训,此次培训课程共10天内容,包括Excel、MySQL、概率论与数理统计、SPSS等内容, ...
2024-05-01从实际的业务需求出发,结合行业的典型应用特点,围绕实际的商业问题,探讨数据挖掘、机器学习模型在金融领域的应用,包括获客、信用评分、细分画像、交叉销售、反欺诈、违规识别、时序预测、运筹优化、流程挖掘九个方面,形成 ...
2024-05-01本次培训课程为线上+线下的模式,由于学员编程能力不一、部分学员没有编程基础,故提供统计学、python基 ...
2024-05-01华夏银行信用卡中心-机器学习培训 1、课程亮点 取材于业界一流企业和顶级咨询公司的行业实践;已经被证明是人人 ...
2024-05-01主 题:数据中台建设及数据分析应用主题分享 1. 数据中台市场洞察 2. 主流数据中台产品比较 3. 某企业数据中 ...
2024-05-01围绕“数据驱动”战略,全力打造我行 300 人数字化人才梯队,着力培养数字化管理人才、大数据专业团队 ...
2024-05-01在当今数据驱动的商业环境中,数据分析成为了企业决策的重要依据。通过对大量数据的收集、处理和分析,企业能够更好地理解市场 ...
2024-04-29在人工智能(AI)的世界里,提示词(Prompt)是一种强大的工具,它能够引导AI按照用户的需求产生特定的输出。本文将深入探讨AI ...
2024-04-29CDA立足未来职场,拓展前沿视野——对外经贸大学保险学院举办“三全育人大讲堂”分享行业最新动态。 ...
2024-04-294月2日,CDA数据分析师创始发起人兼协会理事长赵坚毅博士受邀在浙江万里学院举办了一场以“数字化能力在职场中的作用” ...
2024-04-29随机森林(Random Forests)现在机器学习中比较火的一个算法,是一种基于Bagging的集成学习方法,能够很好地处理分类和回归的问 ...
2022-12-23方差分析是数据分析中常用的一种统计分析方法,接下来让我们简单了解一下方差分析的基本思想和原理吧。 方差分析(Analysis ...
2022-12-23来源:关于数据分析与可视化 关于streamlit-aggrid 数据排序 表格样式的调整 数据 ...
2022-08-03作者:麦叔 定义 「把上面晦涩的概念汇成一句话就是:」 ❝ 回调函数就是一个被作为参 ...
2022-08-03现今,高学历人群日益增多,物以稀为贵的高学历光环淡去。无论本科生还是研究生,甚至博士生,求职竞争力都大不如前,就业压力越来越大。
2022-06-01某家企业10个人面试,有9个本科生……如何脱颖而出,除得体的举止和良好的沟通力外,证书成重要筹码,这也是很多人考证的关键所在。
2022-04-14