“一亿条Steam评论”大数据研究:游戏积极回复,真能扭转“差评轰炸”

图源:Pixabay

  GameLook 报道/每每点开 Steam 页面,最为显眼无疑就是映入眼帘的用户评价。只要拥有游戏,任何一名玩家都可以将自己对游戏的看法以好评或差评的形式公开发表并被所有人看见,这种公平公开的用户反馈体系是大量用户信任 Steam 平台的原因,但有时候也会成为玩家情绪宣泄的出口。

  比如在去年,我们看到《地狱潜兵2》因强制绑定 PSN 账号被狂刷差评,上演几天内好评率从“天胡开局”到“差评如潮”的崩塌,经过一年多的时间才勉强回暖至“多半好评”。虽说这种公开评价体系为玩家提供了相对可靠的购买参考,但偶尔也会为一款游戏带来“不可承受之重”,在长线对游戏的销量造成影响。

  而作为游戏公司,又该如何在日常运营种管理用户评价,尽可能面向玩家展示出一个更出色的好评率呢?就在近期,微软 Xbox 旗下 World’s Edge Studio 的工作室负责人 Will McCahill 撰写了一篇文章,他通过分析超过一亿条 Steam 用户评论数据发现,一个内置在 Steam 内部的小小工具可以帮助开发者有效扭转玩家差评——在评测区对玩家进行直接回复。

  根据 Will McCahill 统计,在收到开发者的诚恳回复后,有相当比例的玩家会把自己留下的 Steam 差评修改为好评(当然也存在反面案例),平均修改比例超过 10%,这意味着游戏的好评率能上升好几个百分比。这对于一些想要提升游戏好评率、或是好评率正好卡在了某个评价档位边缘的产品来说无疑是“救命稻草”,也让我们对 Steam 用户评价体系有了更多了解。

  GameLook 对 Will McCahill 的研究内容进行了全文编译:

  每隔一阵子,市场上就会出现一些评分低于预期的游戏。这无疑让人沮丧。一个团队可能花了 3 到 5 年时间投入到一个伟大的游戏创意的研发中,但因为一个在测试中错过的关键 bug,让全球用户的评分下滑。这是情感上的沉重打击,并且这种印象会成为永远伴随着你团队的包袱。

  正如我在关于《赛博朋克 2077》的文章中提到的,Steam 用户评价会直接影响游戏的可见度和收入,所以即使是那些只重视商业利益的高管也应该关注这些评价,尤其是当你的游戏处于“褒贬不一”或“特别好评”之间的关键区间时。

  每一个从评价泥潭中爬出来的游戏,都主要依赖于新的用户评价的补充。仅有 12.7% 的 Steam 用户评价曾被更新过,所以改善评价的第一步应该是确保新用户有一个好的体验。

  但在这篇文章里,我想专注于探讨我们能否对现有的差评做点什么。Steam 为开发者提供了直接回复用户评价的方式,但很少有开发者实际这么做。数据显示,只有不到 0.5% 的 Steam 用户评价得到了开发者的回复,其中有一半集中在 79 款游戏中。

  全文关键要点:

  • 开发者对 Steam 上的差评做出的回复,平均可以将其中 12.1% 进行扭转。这很值得你花时间。玩家希望被倾听到,而开发者回复是一个有效的工具。
  • 开发者对好评的回复也会对评分产生轻微的正面影响,但我们需要更多数据来证明这一点。
  • 以下这类 Steam 用户评价,虽然带来了很大影响,但不要过于较真。

  本文的研究方法

  文中会涉及一些不太精确的数学计算,我想解释一下我具体在做什么。

  Steam 的评价 API 会为每条用户评价提供一个记录,其中包含“评价创建”、“最新评价更新”和“开发者回复”的时间戳,以及当前评价是好评还是差评。不幸的是,除非我们在几个月内多次抓取评价数据,否则我们无法查看某条评价是否发生了变化,只能根据周边变量进行推测。在这种情况下,我做了以下几件事来估算用户更新评价前的回复效果:

  • 通过 AI 文本分析开发者的回复内容。
  • 将获得开发者回复的评价按游戏产品和评价更新时间进行分组,看看开发者主要回复了哪些类型的评价。

  比如说,如果“评价更新”时间戳早于“开发者回复”,我们就知道用户在开发者回复后没有更新评价。如果我们查看所有得到了开发者回复但未更新的评价,并发现它们全是负面的,就可以推测开发者主要在回复差评。

  找到平均值

  绝大多数评价(99.5% 以上)属于“无开发者回复”类别,但幸运的是,我们有 1 亿条评价可以分析,所以仍有超过 45 万条得到了开发者回复的评价可供研究。

  蓝色(未得到开发者回复):由评价者更新的评价比没有更新的评价负面情绪高出 10.4%。由于我们不知道初始评价是好评还是差评,因此无法排除用户在更新评价时可能会留下差评的可能性。我查看了上线时间较短的游戏(少于 3 个月),发现好评率差距要小得多,说明评价随时间推移可能会趋于负面。

  红色(得到了开发者回复):开发者倾向于回复差评。和蓝色柱状图类似地,在开发者回复之前更新过但之后没有更新的评价,其好评率比未更新的评价低 8.6%(从 36.0% 降至 27.4%)。不过在开发者回复后,更新的评价中有 63.5% 是好评!这是一个巨大的正面转变(36.1%),这强有力地表明开发者的回复对用户评价产生了显著的积极影响。

  按游戏进行分类

  接下来,我们按游戏产品将开发者回复的评价分为两组:“在开发者回复后更新的评价”和“在开发者回复后未更新的评价”。然后我们分别查看每组的好评率,目的是评估“开发者回复后的好评率”与“用户自行更新后的好评率”,并进行对比。

  我选取了在开发者回复后至少有 250 位玩家更新评价的游戏。好消息是,开发者会对不同类型的评价做出回复。一些开发者主要回复好评,另一些只回复差评,大多数则是混合的。

  假设我们将“用户更新评价后好评率下降 10.4%”作为平均基准,对好评者给出感谢似乎对提升好评率有微小的正面作用(如《Gordian Quest》这款游戏中的情况)。

  开发者对差评的回复似乎会带来显著影响。在《极限竞速:地平线4》中,80% 的差评在开发团队回复后,由用户更新为好评。其他游戏如《毁灭战士:永恒》、《枪火重生》、《战锤 40K:星际战士2》和《精英:危机四伏》也看到了 60% 以上的改善。

  按开发者的回复策略进行分类

  下一步是按开发者回复的评价类型汇总所有游戏。步骤如下:

  • 筛选出至少有 50 条开发者回复且导致评价更新的游戏(约 1000 款游戏)。
  • 按照“用户在开发者回复后未更新的评价”的好评率分组。我将其称为“开发者回复前的预估好评率”。
  • 按十分位分组。

  目的是平均各类开发者回复策略的影响,并希望能够揭示对差评回复的显著效果。

  以下为表格版本。为了确保清晰,表格有三列:

  • 开发者回复的好评率范围(例如,0-10% 组指的是那些主要或全部回复负面评论的开发者)
  • 好评率的变化(这个列计算了所有在开发者回复后更新的评论与未更新的评论之间的好评率变化)
  • 特定组中的游戏数量(这表示属于某一组的游戏数量)

  通过这种方式汇总后,趋势很明显。当开发者主要回复差评时,平均提升幅度为 55.9%。换句话说,半数留下差评的玩家在开发者回复后回来更新评价,将其变为好评。还有一些评价者在开发者感谢其好评后将评价更新为负面,这可能是我们方法的局限性。如果这是真实的,虽然比评价一般下降 10% 的趋势要好,但仍然让人觉得有些遗憾。

  用户对评价的更新比例

  另一个关键数字是开发者回复后,用户评价得到实际更新的比例。

  事实证明,开发者回复确实增加了用户更新评价的可能性。得到开发者回复的评价更新几率是其他评价的两倍。虽然对这个现象有多种解读方式,但我认为已有足够证据证明开发者的回复会增加用户更新评价的可能性。

  如果我们单独过滤出得到开发者回复后更新的用户评价,并将其加入到之前的图表中,可以看到下图中第三列(蓝色高亮部分)。

  关键要点

  • 正如之前提到的,得到开发者回复的用户评价更有可能被更新。
  • 留下差评的玩家比好评的玩家更有可能更新评价(21.6% 对 8.5%)。

  总结

  假设开发者正在修复 bug 并在适当的时候回复评价。如果开发者回复所有差评,我们可以预期其中约 12% 会变为正面。考虑到“得到更新评价”的一般趋势是好评率下降8-10%,开发者主动回复带来的改变可能比不做任何事情好 20% 左右。如果你的游戏处于“特别好评”或“褒贬不一”等关键评价区间,回复用户评价是一个强有力的工具,可以帮助你获得所需的小幅提升。