召回层-item与item之间相似度矩阵计算方式：①基于“共有用户”的相似性计算（考虑多种因素的权重计算最终的文章之间的相似度）；②基于item之间向量相似度计算（物品的向量可通过各种方式预先计算出）

妖狐艹你老母 2023-09-25 15:02 7阅读 0赞

## 一、 item与item之间基于“共有用户”的相似性计算相似度矩阵 ##

# 文章与文章之间的基于“共有用户”的相似性矩阵计算【考虑多种因素的权重计算最终的文章之间的相似度】
    def item_cf_sim(df, item_created_time_dict):
        """
            文章与文章之间的相似性矩阵计算
            :param df: 数据表
            :item_created_time_dict:  文章创建时间的字典
            return : 文章与文章的相似性矩阵
            
            思路: 基于物品的协同过滤 + 关联规则
        """
        if os.path.exists(save_path + 'itemcf_i2i_sim.pkl'):
            i2i_sim_cf_ = pickle.load(open(save_path + 'itemcf_i2i_sim.pkl', 'rb'))
        else:
            user_item_time_dict = get_user_item_time(df) # 根据点击时间获取用户的点击文章序列   {user1: [(item1, time1), (item2, time2)..]...}
            # 计算物品相似度
            i2i_sim_cf = {}
            item_cnt = defaultdict(int)
            for user, item_time_list in tqdm(user_item_time_dict.items()):
                # 在基于商品的协同过滤优化的时候可以考虑时间因素
                for loc1, (item_i, i_click_time) in enumerate(item_time_list):
                    item_cnt[item_i] += 1
                    i2i_sim_cf.setdefault(item_i, {})
                    for loc2, (item_j, j_click_time) in enumerate(item_time_list):
                        if(item_i == item_j):
                            continue
                        # 考虑文章的正向顺序点击和反向顺序点击    
                        loc_alpha = 1.0 if loc2 > loc1 else 0.7
                        # 位置信息权重，其中的参数可以调节
                        loc_weight = loc_alpha * (0.9 ** (np.abs(loc2 - loc1) - 1))
                        # 点击时间权重，其中的参数可以调节
                        click_time_weight = np.exp(0.7 ** np.abs(i_click_time - j_click_time))
                        # 两篇文章创建时间的权重，其中的参数可以调节
                        created_time_weight = np.exp(0.8 ** np.abs(item_created_time_dict[item_i] - item_created_time_dict[item_j]))
                        i2i_sim_cf[item_i].setdefault(item_j, 0)
                        # 考虑多种因素的权重计算最终的文章之间的相似度
                        i2i_sim_cf[item_i][item_j] += loc_weight * click_time_weight * created_time_weight / math.log(len(item_time_list) + 1)
                        
            i2i_sim_cf_ = i2i_sim_cf.copy()
            for item_i, related_items in i2i_sim_cf.items():
                for item_j, wij in related_items.items():
                    i2i_sim_cf_[item_i][item_j] = wij / math.sqrt(item_cnt[item_i] * item_cnt[item_j])
            
            # 将得到的相似性矩阵保存到本地
            pickle.dump(i2i_sim_cf_, open(save_path + 'itemcf_i2i_sim.pkl', 'wb'))
    
        return i2i_sim_cf_

## 二、item与item之间基于Embedding相似性计算相似度矩阵 ##

利用faiss加速

物品的向量可通过各种方式预先计算出：

*  word2vec
 *  kge

# 向量检索相似度计算【topk指的是每个item, faiss搜索后返回最相似的topk个item】
    def item_embdding_sim(click_df, item_emb_df, topk):
        """
            基于内容的文章embedding相似性矩阵计算
            :param click_df: 数据表
            :param item_emb_df: 文章的embedding
            :param save_path: 保存路径
            :patam topk: 找最相似的topk篇
            return 文章相似性矩阵
            
            思路: 对于每一篇文章， 基于embedding的相似性返回topk个与其最相似的文章， 只不过由于文章数量太多，这里用了faiss进行加速
        """
        if os.path.exists(save_path + 'i2i_sim_emb.pkl'):
            item_sim_dict = pickle.load(open(save_path + 'i2i_sim_emb.pkl', 'rb'))
        else:
            # 文章索引与文章id的字典映射
            item_idx_2_rawid_dict = dict(zip(item_emb_df.index, item_emb_df['article_id']))
            
            item_emb_cols = [x for x in item_emb_df.columns if 'emb' in x]
            item_emb_np = np.ascontiguousarray(item_emb_df[item_emb_cols].values, dtype=np.float32)
            # 向量进行单位化
            item_emb_np = item_emb_np / np.linalg.norm(item_emb_np, axis=1, keepdims=True)
            
            # 建立faiss索引
            item_index = faiss.IndexFlatIP(item_emb_np.shape[1])
            item_index.add(item_emb_np)
            # 相似度查询，给每个索引位置上的向量返回topk个item以及相似度
            sim, idx = item_index.search(item_emb_np, topk) # 返回的是列表【耗时】
            
            # 将向量检索的结果保存成原始id的对应关系
            item_sim_dict = collections.defaultdict(dict)
            for target_idx, sim_value_list, rele_idx_list in tqdm(zip(range(len(item_emb_np)), sim, idx)):
                target_raw_id = item_idx_2_rawid_dict[target_idx]
                # 从1开始是为了去掉商品本身, 所以最终获得的相似商品只有topk-1
                for rele_idx, sim_value in zip(rele_idx_list[1:], sim_value_list[1:]): 
                    rele_raw_id = item_idx_2_rawid_dict[rele_idx]
                    item_sim_dict[target_raw_id][rele_raw_id] = item_sim_dict.get(target_raw_id, {}).get(rele_raw_id, 0) + sim_value
            
            # 保存i2i相似度矩阵
            pickle.dump(item_sim_dict, open(save_path + 'i2i_sim_emb.pkl', 'wb'))   
        
        return item_sim_dict

[零基础入门推荐系统【多路召回】Task3\_天池notebook-阿里云天池][Task3_notebook-]

[Task3_notebook-]: https://tianchi.aliyun.com/notebook/144452