热度算法建模

① 个性化推荐是怎么做的

各种推荐算法不能仅仅是研发涉猎领域，作为PM，也要深入到算法内部，了解算法的设计，以及结合内容对算法不断“调教”，才能让产品的推荐算法不断完善，才能符合用户的口味。

目前比较流行的个性化推荐算法有以下几种：

基于内容的推荐：根据内容本身的属性(特征向量)所作的推荐。

基于关联规则的推荐：“啤酒与尿布”的方式，是一种动态的推荐，能够实时对用户的行为作出推荐。是基于物品之间的特征关联性所做的推荐，在某种情况下会退化为物品协同过滤推荐。

协同过滤推荐：与基于关联规则的推荐相比是一种静态方式的推荐，是根据用户已有的历史行为作分析的基础上做的推荐。可分为物品协同过滤、用户协同过滤、基于模型的协同过滤。其中，基于模型的协同又可以分为以下几种类型：基于距离的协同过滤;基于矩阵分解的协同过滤，即Latent

Factor Model(SVD)或者ALS;基于图模型协同，即Graph，也叫社会网络图模型。

1、产品冷启动通过热度算法进行内容推荐

产品发展初期，由于一方面没有用户行为、用户喜好、用户画像，另外也没有大量的内容样本基础，是很难开展个性化推荐的。所以在产品初期，一般采取“热度算法”，顾名思义就是把热点的内容优先推荐给用户。虽然无法做到基于兴趣和习惯为每一个用户做到精准化的推荐，但能覆盖到大部分的内容需求，而且启动成本比个性化推荐算法低太多。

热度算法基本原理：

新闻热度分 = 初始热度分 + 用户交互产生的热度分 – 随时间衰减的热度分

Score = S0 + S(Users) – S(Time)

1)以新闻或视频较有时效性的内容举例，热度随内容陈旧而分值衰减。

2)初始热度分不要一视同仁。

按照新闻类别给予新闻不同的初始热度，让用户关注度高的类别获得更高的初始热度分，从而获得更多的曝光。军事>娱乐>体育>财经....

对于重大事件的报道，如何让它入库时就有更高的热度，我们采用的是热词匹配的方式。

即对大型新闻站点的头条，Twitter热点，竞品的头条做监控和扒取，并将这批新闻的关键词维护到热词库并保持更新;每条新闻入库的时候，让新闻的关键词去匹配热词库，匹配度越高，就有越高的初始热度分。这样处理后，重大事件发生时，Twitter和门户网站的争相报道会导致热词集中化，所有匹配到这些热词的新闻，即报道同样事件的新闻，会获得很高的初始热度分。

3)用户交互的热度分值比重不一。首先明确用户的的哪些行为会提高新闻的热度值，然后对这些行为赋予一定的得分规则。

例如对于单条新闻，用户可以点击阅读(click)，收藏(favor)，分享(share)，评论(comment)这四种行为，我们为不同的行为赋予分数，就能得到新闻的实时用户行为分为：

S(Users) = 1*click + 5*favor + 10*comment + 20*share

这里对不同行为赋予的分数为1,5,10,20，但这个值不能是一成不变的;当用户规模小的时候，各项事件都小，此时需要提高每个事件的行为分来提升用户行为的影响力;当用户规模变大时，行为分也应该慢慢降低，因此做内容运营时，应该对行为分不断调整。

当然也有偷懒的办法，那就是把用户规模考虑进去，算固定用户数的行为分，即：

S(Users) = (1*click + 5*favor + 10*comment + 20*share)/ DAU * N(固定数)

这样就保证了在不同用户规模下，用户行为产生的行为分基本稳定。

2、基于内容特征与用户特征进行个性化推荐

对于此种推荐，有两个实体：内容和用户，因此需要有一个联系这两者的东西，即为标签。内容转换为标签即为内容特征化，用户则称为用户特征化。对于此种推荐，主要分为以下几个关键部分：

标签库

内容特征化

用户特征化

隐语义推荐

综合上面讲述的各个部分即可实现一个基于内容和用户画像的个性化推荐系统。

标签库

标签是联系用户与物品、内容以及物品、内容之间的纽带，也是反应用户兴趣的重要数据源。标签库的最终用途在于对用户进行行为、属性标记。是将其他实体转换为计算机可以理解的语言关键的一步。

标签库则是对标签进行聚合的系统，包括对标签的管理、更新等。

一般来说，标签是以层级的形式组织的。可以有一级维度、二级维度等。

标签的来源主要有：

已有内容的标签

网络抓取流行标签

对运营的内容进行关键词提取

对于内容的关键词提取，使用结巴分词+TFIDF即可。此外，也可以使用TextRank来提取内容关键词。

这里需要注意的一点是对于关联标签的处理，比如用户的标签是足球，而内容的标签是德甲、英超，那么用户和内容是无法联系在一起的。最简单的方式是人工设置关联标签，此外也可以使用word2vec一类工具对标签做聚类处理，构建主题模型，将德甲、英超聚类到足球下面。

内容特征化

内容特征化即给内容打标签。目前有两种方式：

人工打标签

机器自动打标签

针对机器自动打标签，需要采取机器学习的相关算法来实现，即针对一系列给定的标签，给内容选取其中匹配度最高的几个标签。这不同于通常的分类和聚类算法。可以采取使用分词 +Word2Vec来实现，过程如下：

将文本语料进行分词，以空格,tab隔开都可以，使用结巴分词。

使用word2vec训练词的相似度模型。

使用tfidf提取内容的关键词A,B,C。

遍历每一个标签，计算关键词与此标签的相似度之和。

取出TopN相似度最高的标签即为此内容的标签。

此外，可以使用文本主题挖掘相关技术，对内容进行特征化。这也分为两种情况:

通用情况下，只是为了效果优化的特征提取，那么可以使用非监督学习的主题模型算法。如LSA、PLSI和GaP模型或者LDA模型。

在和业务强相关时，需要在业务特定的标签体系下给内容打上适合的标签。这时候需要使用的是监督学习的主题模型。如sLDA、HSLDA等。

用户特征化

用户特征化即为用户打标签。通过用户的行为日志和一定的模型算法得到用户的每个标签的权重。

用户对内容的行为：点赞、不感兴趣、点击、浏览。对用户的反馈行为如点赞赋予权值1，不感兴趣赋予-1;对于用户的浏览行为，则可使用点击/浏览作为权值。

对内容发生的行为可以认为对此内容所带的标签的行为。

用户的兴趣是时间衰减的，即离当前时间越远的兴趣比重越低。时间衰减函数使用1/[log(t)+1], t为事件发生的时间距离当前时间的大小。

要考虑到热门内容会干预用户的标签，需要对热门内容进行降权。使用click/pv作为用户浏览行为权值即可达到此目的。

此外，还需要考虑噪声的干扰，如标题党等。

另，在非业务强相关的情况下，还可以考虑使用LSA主题模型等矩阵分解的方式对用户进行标签化。

隐语义推荐

有了内容特征和用户特征，可以使用隐语义模型进行推荐。这里可以使用其简化形式，以达到实时计算的目的。

用户对于某一个内容的兴趣度(可以认为是CTR)：

其中i=1…N是内容c具有的标签，m(ci)指的内容c和标签i的关联度(可以简单认为是1),n(ui)指的是用户u的标签i的权重值,当用户不具有此标签时n(ui)=0，q©指的是内容c的质量，可以使用点击率(click/pv)表示。

3、其他运用

除了个性化推荐，基于内容的相关性算法能精准地给出一篇新闻的相关推荐列表，对相关阅读的实现非常有意义。此外，标签系统对新闻分类的实现和提升准确性，也有重要的意义。

4、优缺点

基于内容的推荐算法有几个明显优点：

对用户数量没有要求，无论日活几千或是几百万，均可以采用;因此个性化推荐早期一般采用这种方式。

每个用户的特征都是由自己的行为来决定的，是独立存在的，不会有互相干扰，因此恶意刷阅读等新闻不会影响到推荐算法。

而最主要的缺点就是确定性太强了，所有推荐的内容都是由用户的阅读历史决定，所以没办法挖掘用户的潜在兴趣;也就是由于这一点，基于内容的推荐一般与其他推荐算法同时存在。

基于用户的协同推荐

终于，经过团队的努力，你的产品已经有了大量活跃用户了，这时候你开始不满足于现有的算法。虽然基于内容的推荐已经很精准了，但总是少了那么一点性感。因为你所有给用户的内容都是基于他们的阅读习惯推荐的，没能给用户“不期而遇”的感觉。

于是，你就开始做基于用户的协同过滤了。

基于用户的协同过滤推荐算法，简单来讲就是依据用户A的阅读喜好，为A找到与他兴趣最接近的群体，所谓“人以群分”，然后把这个群体里其他人喜欢的，但是A没有阅读过的内容推荐给A。

举例我是一个足球迷，系统找到与我类似的用户都是足球的重度阅读者，但与此同时，这些“足球群体”中有一部分人有看NBA新闻的习惯，系统就可能会给我推荐NBA内容，很可能我也对NBA也感兴趣，这样我在后台的兴趣图谱就更完善了。

1、用户群体划分

做基于用户的协同过滤，首先就要做用户的划分，可以从三方面着手：

(1)外部数据的借用

这里使用社交平台数据的居多，现在产品的登录体系一般都借用第三方社媒的登录体系，如国外的Facebook、Twitter，国内的微信、微博，借用第三方账户的好处多多，例如降低门槛，方便传播等，还能对个性化推荐起到重要作用。

因为第三方账户都是授权获取部分用户信息的，往往包括性别，年龄，工作甚至社交关系等，这些信息对用户群划分很有意义。

此外还有其他的一些数据也能借用，例如IP地址，手机语种等。

使用这些数据，你很容易就能得到一个用户是北京的还是上海的，是大学生还是创业者，并依据这些属性做准确的大类划分。

比如一篇行业投资分析出来后，“上海创业圈”这个群体80%的用户都看过，那就可以推荐给剩下的20%。

(2)产品内主动询问

常见在产品首次启动的时候，弹框询问用户是男是女，职业等，这样能对内容推荐的冷启动提供一些帮助。但总体来说，性价比偏低，只能询问两三个问题并对用户的推荐内容做非常粗略的划分，同时要避免打扰到用户;这种做法算是基于用户个性化的雏形。

(3)对比用户特征

新闻的特征加用户的阅读数据能得到用户的特征，那就可以通过用户特征的相似性来划分群体。

最后总结，没有一款完美的个性化推荐算法，毕竟用户的心里你别猜别猜别猜，但是产品经理还是要结合自身产品不断打磨算法。

② 个性化推荐算法

随着算法的普及，大量的产品有了个性化推荐的功能，这也成为内容类产品的标配。个性化定制化逐渐成为了互联网思维的新补充，被提升到了越来越重要的地位。算法推荐经过了很长一段时间的发展，才逐渐达到能给用户惊喜的阶段。比如在电商领域，推荐算法可以挖掘用户潜在购买需求，缩短用户选取商品的时间，提升用户的购物体验；在新闻或段视频领域，推荐算法可以推送用户喜欢的内容，提高用户的阅读效率，减少用户选择内容的时间，也增加了用户在产品上的停留时长。

算法应用阶段

内容类产品发展初期，推荐算法一般为“热度算法”，就是系统把热点内容优先推荐送给用户，完成热点内容的高阅读率。在积累了一定的用户数据后，会发现用户阅读内容过于集中于热点信息，长尾信息中的优质资源往往被忽略，造成资源浪费。“千人一面”的状况已不是一个优质的解决方案，所以算法逐渐演变为“个性化推荐”，也就是协同过滤的方法论支撑下的一种算法。协同过滤能很好的根据用户的喜好，推荐匹配的内容，减少资源浪费，增加用户使用的友好体验。真正做到“千人千面”。

推荐算法的信息来源

第三方数据

一个新系统在初期没有数据积累的情况下，可与第三方合作，互授部分信息共享。比如，很多系统支持微信登陆，这时候可以获取客户的微信信息，生活地点，部分生活习惯等。同时会获取用户的社交信息，共同好友越多表明圈子越相似，可以推荐更多相似的内容。

用户行为数据

记录用户在系统内的使用习惯，可以准确的描述单个用户的行为特征，爱好特征等有效的信息，系统根据提取出的分析结果，将内容与之匹配，完成更精准的推荐。如，某用户经常浏览体育信息，系统将对应推荐更多体育相关的咨询，省去用户搜索筛选的时间。

基于生活习惯

基于生活习惯，生活常识的推荐，往往也可以作为内置的一个信息来源途径。比如，外卖的app推荐用户的餐厅，一般默认是位置优先，就近推荐，如果是快中午的时间段使用，系统默认推荐午餐，其次是晚餐。靠生活常识作出的系统算法，可以更符合人类的习惯，给用户更好的体验。

热度算法

热度算法简单的说就是把最核心的内容优先推荐，用新闻举例，每一条新闻都具有实效性，随着时间的推移，该条新闻的关注度降低，关注点被新的热点新闻取代。量化以上的过程，把各个影响因素设定为变量，会得出以下的公式：

新闻热度=初始热度分+用户交互热度分-衰减热度分

初始热度分为新闻产生时，系统对新闻主体的预判热度值。预判的分值一般为以下两种模式，一种情况，按照新闻类别的不同，娱乐新闻大于财经新闻，大于国际新闻，大于文化新闻等等系统的预设，依次给出不同的初始热度分；另一种情况，系统预置热词词库，用新闻的关键词和词库的去匹配，匹配度高的，初始热度分高。

用户的交互热度分也是一个变量，先要明确用的哪些行为会影响新闻热度，然后对这些行为量化，加权或打分等方式。例如，网易云音乐，用户的听歌，重复循环，收藏，评论，分享等行为，系统为每一种行为打分，求和后得出用户交互的热度分：

用户交互热度分=听歌X10+循环X5+收藏X10+评论X5+分享X3

此公式还可以继续细化，每一种操作的分值也可以作为变量，在产品前期时，传播产品为主要任务，所以分享的加权要大一些，随着网易云的发展，社区的概念逐渐强化，评论区互动的加权会加大，所以评论的分值会增加，系统随时调整分数加权，得出更准确的用户交互的影响值。

衰减热度分是一个随时间变化而变化的数值，往往是一个函数的表达。用新闻举例，新闻的热度会随着时间的推移而衰减，并且趋势是越来越快，人们在接受新的热点后，迅速忘记“旧闻”，直至热度趋近于零。根据理论数据，构建函数，准确的表达衰减分值。

还有很多其他的影响因素，比如传播次数，传播层数，停留时长等等，都会影响热度值，要想更精准的表达，就需要把涉及到的因素都作为变量，不断完善算法，才能更精准的完成推荐。

个性化推荐算法

随着用户量的增加，产品日活的增加，用户也不能仅限于千人一面热点阅读的模式中，个性化推荐在此时显得尤为重要。个性化推荐有两种常见的解决方案，一种是基于内容的推荐算法，推荐内容往往是根据用户的使用习惯得来，较为精准；另一种是基于用户的协同推荐算法，系统会根据以往使用内容，为用户建模，然后根据群体中个体的使用习惯，推荐更多超预期的内容，达到预测推荐的效果。

基于内容的推荐算法-预期内

基于内容的推荐算法，靠收集用户的使用习惯，进而推荐相关的内容。系统使用分词库匹配、关键词匹配等等方式，达到内容的匹配，做到内容的精确划分。比如，用户浏览了某部科幻电影，系统就会按照该电影所对应的标签，如科幻，然后系统推荐相同标签的影片给用户。

这样的推荐方案，确定性强，推荐的内容都是根据用户的历史来确定，不能挖掘用户的潜在需求。

基于用户的协同推荐-超预期

做到精准推荐后，系统会继续挖掘更潜在的推荐需求，给用户超预期的推荐体验。这就到了基于用户协同推荐的阶段。简单的说，这种算法是增加了用户建模的环节，将同标签的用户群分，对比群体中单个个体的特征，默认这种特征为这类人的潜在特征，再将此特征内容推荐给同标签的用户，达到超预期的推荐效果。

比如，某用户购买了一个苹果手机，系统会将此用户归类为果粉，系统识别出很多果粉除了买苹果的商品，还会购买小米作为备用机，这个特征会被系统识别为潜在需求，推荐给果粉，减少果粉选择备用机的时间。

这样的推荐算法，不仅能完成精准的推荐，还能给用户小惊喜，让系统“有温度”。但是这样的推荐方式，往往需要积累了大量用户资料为基础，才可以精确的完成。

③ 基于Hacker News的内容热度推荐算法

近期公司产品需要做一个内容推荐的功能，但限于人员和能力有限，经过调研，确定了一个简单相对我们可以实现的方案。
一篇文章的产生，随着用户浏览、点赞、分享、收藏、评论，热度逐渐攀升，进入榜单到推荐页面，但随着时间的推移，这篇文章也不能永久的霸占榜单，让后面新产生的文章没有机会到推荐页，因此也就有了时间衰减的因素，从而可以让榜单能够动态的变化，除了上面基本的原理以外，还需要人为干预因素，通过加权或者降权的方式来影响排名。

与最后的推荐指数呈正相关（注意不是成正比），影响其的因素有：

与最后的推荐指数呈正相关（注意不是成正比），用户行为数据是决定一篇文章是否热门的重要因素，通过对这些数据评级来进行调整行为分：

比如： 浏览+1分，点赞+3分，评论+8分，收藏+10分，分享+15分。

与最后的推荐指数呈负相关（注意不是成反比）

大部分内容属于一次性消费品，用户看过也就过了，若推荐榜单总是那么几条， 可能很快就觉得乏味 ，从而转向别的产品。所以我们自然希望内容能不断更新，而若只看初始热度+互动热度，那么后来者必定很难超越前者。

所以还必须考虑一个因素就是时间衰减，通常这个也不是线性衰减，往往是一个指数函数：即过了一定时间后，持续衰减，热度直到无限趋于0

运营或编辑人为干预来调整权重也很重要，毕竟算法是死的，人是活的，虽然大部分都遵循这样一个规律，但也不排除偶然或者极端情况，比如恶意刷榜，这时候就需要人为的干预

图形曲线：

参数解释：

H _init ： 初始热度值，可以以用户活跃度来衡量，比如以积分的形式，积分积累的途径有：

在其他条件一定的情况下，初始热度越高，其最终热度也就越高

H _interact ：互动热度值，根据用户行为数据来衡量，参考点有以下几项：

在其他条件一定的情况下，互动热度越高，其最终热度也就越高

H _time ：时间衰减因子， 加2是为了防止最新发表的会导致分母过小 ，这个值可调，在前期平台人数较少时调整大一些，在后期人数增长起来后，可以调整的小一些，比如，因为用户对平台资源有一个消化时间。并不是一发出来就有数据的。

G ：重力因子，它决定了热度随时间下降的速度，前期平台人员较少时，相对应得发的资源也会比较少，这时可以把G调小一点，减缓时间推移对热度下降的影响，后期平台人员增多时，相对应的资源也会增加，这时可以把G调大一点，加速时间推移对热度下降的影响。比如：1.2-1.8

H _weight : 加减权重，初始值可以为0，在某些偶然或者极端情况下需要人为干预的时候，可以动态调整其值，使其能够及时的控制其热度。

④ 关于热度算法

热度算法基本原理

需要了解的是，热度算法也是需要不断优化去完善的，基本原理：

新闻热度分 = 初始热度分 + 用户交互产生的热度分 – 随时间衰减的热度分

Score = S0 + S(Users) – S(Time)

新闻入库后，系统为之赋予一个初始热度值，该新闻就进入了推荐列表进行排序；随着新闻不断被用户点击阅读，收藏，分享等，这些用户行为被视作帮助新闻提升热度，系统需要为每一种新闻赋予热度值；同时，新闻是有较强时效性的内容，因此新闻发布之后，热度必须随着新闻变得陈旧而衰减。

新闻的热度就在这些算法的综合作用下不断变化，推荐列表的排序也就不断变化。

初始热度不应该一致

上面的算法为每一条入库的新闻赋予了同样的热度值，但在现实使用后发现行不通，例如娱乐类别比文化类别受欢迎程度本身就高很多；或者突发了严重的灾害或事故；或是奥运会期间，体育类别的关注度突然高了起来；而此时如果还是每条新闻给同样的热度就不能贴合实际了。

解决办法就是把初始热度设置为变量：

（1）按照新闻类别给予新闻不同的初始热度，让用户关注度高的类别获得更高的初始热度分，从而获得更多的曝光，例如：

（2）对于重大事件的报道，如何让它入库时就有更高的热度，我们采用的是热词匹配的方式。

即对大型新闻站点的头条，Twitter热点，竞品的头条做监控和扒取，并将这批新闻的关键词维护到热词库并保持更新；每条新闻入库的时候，让新闻的关键词去匹配热词库，匹配度越高，就有越高的初始热度分。

这样处理后，重大事件发生时，Twitter和门户网站的争相报道会导致热词集中化，所有匹配到这些热词的新闻，即报道同样事件的新闻，会获得很高的初始热度分。

用户行为分规则不是固定不变的

解决了新闻入库的初始分之后，接下来是新闻热度分的变化。先要明确用户的的哪些行为会提高新闻的热度值，然后对这些行为赋予一定的得分规则。例如对于单条新闻，用户可以点击阅读（click），收藏（favor），分享（share），评论（comment）这四种行为，我们为不同的行为赋予分数，就能得到新闻的实时用户行为分为：

S(Users) = 1*click + 5*favor + 10*comment + 20*share

这里对不同行为赋予的分数为1,5,10,20，但这个值不能是一成不变的；当用户规模小的时候，各项事件都小，此时需要提高每个事件的行为分来提升用户行为的影响力；当用户规模变大时，行为分也应该慢慢降低，因此做内容运营时，应该对行为分不断调整。

当然也有偷懒的办法，那就是把用户规模考虑进去，算固定用户数的行为分，即：

S(Users) = (1*click + 5*favor + 10*comment + 20*share)/DAU * N(固定数）

这样就保证了在不同用户规模下，用户行为产生的行为分基本稳定。

热度随时间的衰减不是线性的

由于新闻的强时效性，已经发布的新闻的热度值必须随着时间流逝而衰减，并且趋势应该是衰减越来越快，直至趋近于零热度。换句话说，如果一条新闻要一直处于很靠前的位置，随着时间的推移它必须要有越来越多的用户来维持。

我们要求推荐给用户的新闻必须是24h以内，所以理论上讲，衰减算法必须保证在24h后新闻的热度一定会衰减到很低，如果是线性衰减，当某些新闻突然有大量用户阅读，获得很高的热度分时，可能会持续排名靠前很久，让用户觉得内容更新过慢。

参考牛顿冷却定律，时间衰减因子应该是一个类似于指数函数：

T(Time) = e ^ (k*(T1 – T0))

其中T0是新闻发布时间，T1是当前时间。

而由于热度的发展最终是一个无限趋近于零热度的结果，最终的新闻的热度算法也调整为：

Score = ( S0(Type) + S(Users) ) / T(Time)

其他影响因素

很多新闻产品会给用户“赞”，“踩”或“不在推荐此类”的选项，这些功能不仅适用于个性化推荐，对热度算法也有一定的作用。

新闻的推送会造成大量的打开，在计算热度的时候需要排除掉相关的影响。类似于这样的因素，都会对热度算法产生影响，因此热度算法上线后，依然需要不断地“调教”。建议把所有的调整指标做成可配项，例如初始热度分，行为事件分，衰减因子等，从而让产品和运营能实时调整和验证效果，达到最佳状态。