2014-11-20
我在 如何使用MapReduce实现基于物品的协同过滤（1） 中介绍了一种通过基于物品的协同过滤向用户推荐电影的方法。不过， 如何使用MapReduce实现基于物品的协同过滤（1） 中使用的方法和我之前在文章 基于物品的协同过滤 介绍的方法有很大的不同。基于物品的协同过滤 不仅可以用于推荐系统，也可以用于预测用户对电影的评分。其实就是根据预测的用户对电影的评分向用户推荐电影，因为用户肯定会喜欢自己评分较高的电影。
本文讲讲如何使用MapReduce实现该方法，建议先阅读上文中提到的两篇文章。
在 如何使用MapRedue实现矩阵乘法 中我介绍了两种矩阵乘法的实现，本文中使用其中的实现方案2。
修改评分矩阵R的存储形式
MovieLens数据集中每一行是这样存储的：
user_id | item_id | rating
我们需要把它转换成这样的形式：
item_id_x user_id_1:rating, user_id_2:rating, ...
即，每一行的键是一部电影的id，值是所有用户对该电影的评分（未评分的用户除外）。
使用MapReduce实现这一步比较简单，不做描述。
计算物品（电影）之间的相似度矩阵S
Map的输入：
key: item_id_x
value: user_id_1:rating, user_id_2:rating, ...
Map的输出：
key: item_id_x, item_id_1 value: first, (user_id_1:rating, user_id_2:rating, ...)
key: item_id_x, item_id_2 value: first, (user_id_1:rating, user_id_2:rating, ...)
key: item_id_x, item_id_3 value: first, (user_id_1:rating, user_id_2:rating, ...)
......
key: item_id_1, item_id_x value: second, (user_id_1:rating, user_id_2:rating, ...)
key: item_id_2, item_id_x value: second, (user_id_1:rating, user_id_2:rating, ...)
key: item_id_3, item_id_x value: second, (user_id_1:rating, user_id_2:rating, ...)
......
Reduce的输入：
key: item_id_x, item_id_y
values: <first, 所有用户对电影item_id_x的评分>，<second, 所有用户对电影item_id_y的评分>
Reduce根据所有用户对电影item_id_x的评分和所有用户对电影item_id_y的评分这两个向量计算电影item_id_x与电影item_id_y的相似度。
Reduce的输出：
key: item_id_x, item_id_y
value: 两者的相似度
由此，相似度矩阵S就出来了。
相似度矩阵通过评分矩阵求推荐值
这一步骤类似于 如何使用MapRedue实现矩阵乘法 中的实现方案2。 在如何使用MapRedue实现矩阵乘法 中C=A*B，在这里S对应A，R对应B。Map阶段是类似的，不做介绍。由于
由于文章基于物品的协同过滤 中用到了加权平均值，所以Reduce阶段有些不同。
Reduce的输入：
key: item_id_x, user_id_y
value: 所有电影与电影item_id_x的相似度，用户user_id_y对所有电影的评分
设所有电影与电影item_id_x的相似度构成行向量v，v[i]表示电影item_id_i与电影item_id_x的相似度。设用户user_id_y对所有电影的评分构成列向量w，w[i]表示用户user_id_y对电影item_id_i的评分，0表示没有评分。
我们预测的用户user_id_y对电影item_id_x的评分用matlab类型的代码可表示为：
(v*w) /(v*(w>0))
过滤
这一步是过滤掉用户评价过的电影，在 如何使用MapReduce实现基于物品的协同过滤（1）已经做了介绍。