竞品分析之用户体验量化探索

竞品分析是在产品设计前期经常需要开展的一项工作内容。竞品分析的主要目的在于知己知彼,取长补短,进而提升产品的用户体验。现有的很多竞品分析方法以定性分析为主,存在一些局限性。因此我们引入一些定量分析方法来完善我们的竞品分析,本次主要探索了功能规格分析、信息架构分析、任务流程分析这3类分析方法的量化方式。

1.竞品分析概述

从广义上来说用户体验的范围就是竞品分析的范围,在《用户体验要素》一书中Garrett将用户体验要素分为战略层、范围层、结构层、框架层、表现层5个层级,每个层级依次递进、各个环环相扣,如下图所示。

战略层主要包括网站的目标和用户的需求;范围层主要包括功能规格和内容需要;结构层主要包括交互设计和信息架构;框架层主要包括信息设计、界面设计、导航设计;表现层主要包括视觉设计。根据产品定位的不同可以将设计的内容分为任务流和信息流两大类型。一般而言,在产品使用过程中任务流和信息流两者兼而有之,其中工具型产品如图片编辑、文档编辑等,主要更多是任务流;浏览型产品如视频、图片等,更多是信息流。

从战略层到表现层其实就是我们产品研发的一个流程,在此过程中我们的设计内容由抽象到具体,我们的产品由概念到完成。因为和竞品之间存在信息壁垒,因此竞品分析的流程往往是逆向的一个流程,即由表现层到战略层的一个分析过程。我们需要通过竞品的外在表现来推演竞争对手的深层目的。通过对用户体验要素不同层级进行竞品分析,能够让我们更加精确地定位用户体验问题之所在,为后期的优化提供方向。

针对不同层级的内容我们会采用不同的方式进行分析,如下图所示。在战略层会进行客户/用户识别、SWOT分析、SET分析、商业模式分析、运营策略分析、市场规模分析、趋势分析等;范围层会进行功能规格分析、功能数据分析、满意度分析、质量屋分析、KANO模型分析等;结构层会进行信息架构分析、任务流程分析等;框架层进行界面布局分析、导航分析、控件交互分析等;表现层进行LOGO分析、视觉风格分析等。在实践过程中产品经理通常较为关注战略层、范围层的内容;交互设计师通常较为关注范围层、结构层和框架层的内容;视觉设计师则较为关注表现层的内容。

纵观当前的这些分析方法主要都是以定性分析为主,虽然其中不乏采用定量分析的方法,但也仅仅是进行一些简单的描述性统计。因为掺杂了太多的主观因素,同时缺乏科学的理论推导和分析,产出的竞品分析结果存在以下4个问题:

  1. 不客观。定性分析过程中因为个体之间的认知差异导致主观分析评价存在很多偏差,造成了分析结果不够客观;
  2. 不直观。定性分析以评价为主,很难进行直观的呈现和表达;
  3. 不可比。分析结果不能直观地呈现导致了竞品之间的差异难以进行比较;
  4. 不可信。俗话说眼见为实,当结果不能进行直观呈现也无法明确比较的时候,其可信度也大大降低。

当前的分析方法面临着这4个明显的问题,使得我们的竞品分析难以让他人接受和解读,因而流于形式却耗费大量资源。因此我们希望引入定量分析的方法来完善我们的竞品分析,本次在对范围层、结构层、框架层的分析过程中进行了定量分析的尝试。

2.功能完整性

功能完整性主要是针对范围层的分析,用于比较现有产品功能的完整程度或对用户需求的满足程度。

一般对范围层的功能进行分析时会采用功能规格分析法,通过分析竞品信息架构、网站地图、帮助说明文档甚至联系竞品的客服人员来帮助我们确定竞品的功能规格。相同的功能在不同竞品之间可能存在差异,比如可能存在功能相同但是名称不同的情况,我们需要仔细甄别。最终可以汇总制作出如下的一张功能规格表。从这张表中我们可以看出不同竞品具备的功能分别有哪些,但是功能数量和产品完整性之间的关系却很模糊。例如:“竞品一的功能比竞品二功能少,是否能够说明竞品二功能更完整?”、“竞品二和竞品三功能一样多,那么竞品二和竞品三功能是否一样完整?”诸如此类的问题都很难回答。

通过分析我们发现之所以难以进行功能完整性比较是因为不同功能之间的重要性不一样,1个重点功能的重要性可能比2个甚至多个非重点功能的重要性更高。因此我们选择采用专家评分法来计算功能的权重,用功能权重修正由于重要性差异所产生的偏差。这里的专家需要由对产品和业务非常熟悉的角色来承担,例如资深产品经理或者深度用户。计算功能完整性主要可以分为以下4个步骤:

1、建立评价指标。评价指标可以采用李克特7点量表,也可以根据具体情况进行调整比如我们将产品的重要程度分为非常重要、重要、一般、不重要4个层级,对应的分值分别为5分、3分、1.5分、0.5分,如下图所示。

2、专家打分,计算功能权重。让专家对所有功能的重要性进行打分,打完分以后可以计算出各个功能的权重。同时为了让结果更加准确,最好有多个专家进行打分。下图展示了产品某个功能模块内各个功能的权重。

3、计算完整性得分。我们为之前的功能规格表进行赋值,具备某个功能赋值1,不具备某个功能赋值0,由此可以得到一张新的功能规格表。我们把功能规格表和功能权重表进行计算就可以得到这个模块的功能完整性的得分,以此类推可以计算各个功能模块的得分。在本次分析中各个功能模块相互独立无法进行比较,因此认为各个功能模块的权重一致,取各模块的平均值作为产品整体完整性的得分。

4、结果分析。对竞品之间的完整性进行比较分析,比较不同产品之间的差异。这里我们列出了两个结果,一个是没有加入权重得到的结果,一个是加入权重以后得到的结果。以域名管理模块为例我们可以看到没加权重时产品看起来优势明显,但是加完权重以后和其他产品相比优势大幅下降,由此可以看出功能权重对结果的重要影响。

 

功能权重不仅对功能完整性来说很有价值,对于后面其他分析也有重要意义。功能权重的计算经常用到的三种方法是专家评分法、层级分析法和模糊数学评价法。前面已经对专家评价法进行了介绍,这里再简单介绍一下层次分析法和模糊数学评价法,如有需要大家可以自行查找相关资料进行深入学习。

层次分析法

我们的产品通常可以按功能模块和及其下的具体功能分成2个或多个层次,每个层次内的功能都是相互独立的,如下图中的一层功能模块和二层具体功能。

在对此类产品进行层级分析法计算功能权重时主要包括以下4个步骤:

  1. 构造成对比较函数。将产品的一层和二层分别构造成对比较的函数矩阵。
  2. 成对比较评分。用成对比较法和1-9尺度对矩阵进行评分,如模块1对产品的重要性是模块2的一样则计为1;模块1对产品的重要性是模块3的两倍则计为2。
  3. 计算各级权重。通过矩阵计算,并进行一致性检验。
  4. 权重汇总。计算组合权向量并做一致性检验。

模糊数学评价法

模糊数学评价法是基于模糊数学的一种综合评价方法,能够较好地解决模糊的、难以量化的问题。利用模糊综合评价法计算功能权重时主要包括以下4个步骤:

  1. 建立隶属函数。将评价指标和功能建立成一个隶属函数矩阵,利用问卷统计或者专家评价的方法得出每个功能对于每个指标的隶属度,功能所有指标的隶属度和为1。
  2. 统计得隶属度矩阵。将建立的隶属度函数转换为隶属度矩阵。
  3. 评价指标权重。为评价指标赋予权重,如非常重要4、重要0.3、一般0.2、不重要0.1。
  4. 模糊合成运算。通过矩阵运算可以计算出各个功能对应的权重。

3.功能可寻性

功能可寻性是指产品功能被用户发现的概率,主要是针对产品结构层的分析。Louis Rosenfeld在《信息架构》一书中指出可寻性是决定可用性成败的关键因素。

在竞品分析时我们一般会通过分析竞品的导航系统、标签系统、搜索系统等来重构它们的信息架构,进而分析信息架构属于哪种类型,如宽而浅、窄而深、宽而深、窄而浅,或者分析功能所在层级来粗略判断功能的可寻性。但是信息层级和用户认知之间的关系并不明确,信息架构设计孰优孰劣也很难进行比较。

为了解决这个问题我们引入了功能可寻性的经验模型如下图所示。横轴是功能所在的层级,纵轴是功能的可寻性。一般认为产品信息架构层级最好不要超过3层,当信息架构层级超过3层其可寻性会大大降低。

因此功能可寻性计算主要可以分为以下4步:

  1. 功能可寻性简化模型。为了便于计算功能的可寻性,我们将经验模型简化成一个线性函数。当功能位于1级时计为5分,当功能位于2级时计为4分,以此类推直至功能位于6级及以上或功能不存在时都计为0分。
  2. 计算功能层级得分。根据第1步得到的模型,我们可以将之前获得的竞品信息架构整理成一份功能层级得分表。
  3. 计算功能可寻性得分。将功能层级得分表和功能权重表进行计算可以得到各个功能模块以及产品整体的功能可寻性得分。
  4. 结果分析。对竞品之间的可寻性进行比较分析,比较产品之间的差异。同功能完整性一样我们列出两个结果,一个是未加权的计算结果,另一个是加权重后的计算结果。两相比较也可以发现功能权重对最终结果所产品的重要影响。

4.绩效分析

绩效分析主要是针对框架层的一种分析方法,主要目的在于分析用户完成任务的认知效率和操作效率。产品的功能通常很丰富,在绩效分析时难以全面覆盖,一般我们会选择若干个重点功能作为样本进行绩效分析。

绩效分析的方法虽然很多,但竞品分析阶段大都以任务流程分析为主。通过梳理竞品的任务流程,绘制出任务流程图或者页面流程图,用来比较不同竞品之间的流程差异。但是影响绩效的因素众多且复杂,任务流程与绩效的关系难以明确。任务流程的步骤数量只是其中影响绩效的一个因素,页面结构、控件布局、控件尺寸等都会对绩效产生影响。

经过调研我们发现在缺少条件进行可用性实验的情况下,CogTool是一个很好的工具,能帮助我们快速对绩效分析。CogTool是卡内基梅隆大学研发的一款原型软件,最大的特点就是能够利用人类认知模型计算出任务的操作时间。

本次以定制缓存功能为例进行绩效分析,主要分为以下4步:

  1. 任务设定。在利用CogTool软件分析之前我们除了需要知道任务流程以外还需要对目标任务、任务场景和分析指标等进行更完整的设定,通过控制变量来排除其他因素对结果产生的影响。
  2. CogTool仿真。我们需要获得竞品所有流程的页面截图,在CogTool中搭建好页面流程,分析用户的认知流程,如下图所示。CogTool的具体使用方法会有独立的篇幅进行详细介绍,在此不做展开。
  3. 结果分析。汇总任务流程分析得到的操作步骤数、页面的滚动次数和CogTool仿真得到的操作时间等结果,进行分析比较。
  4. 关键路径分析及优化目标。通过和竞品进行对比,分析流程中的关键步骤和非关键步骤进行流程优化,为产品的优化制定优化目标。

5.总结优化

将前面各个环节得到的功能完整性得分、功能可寻性得分和绩效分析得到的操作时间进行比较,如下图所示。我们可以很清晰的定位到产品用户体验问题发生在结构层和框架层,其中框架层的问题尤为严重,该结果也为我们的产品优化提供了方向。

用户体验问题定位以后一般就需要对产品进行用户体验优化。因为开发资源是有限的,我们需要先确定优化的节奏,即功能优化的先后顺序。这里我们可以引入功能的使用频率,使用频率可以来自专家评价也可以是我们的后台统计数据,如下图所示。

将使用频率和功能权重数据构造成一张二维坐标图来确定现有功能的优化顺序,如下所示。图中的1、2、3、4代表了一般的优化顺序,1代表高权重、高频率功能,2代表高权重、低频率功能,3代表高频率、低权重功能,4代表低权重、低频率功能。

在完成竞品分析以后,我们会设计产品的优化方案。在前面竞品分析结果的基础上我们同样也可以很容易地对优化方案或优化前后的效果进行量化比较,为优化方案选择和优化结果比较提供了依据。

通过本次竞品分析量化的尝试我们发现把定性分析和定量分析相结合,让我们的竞品分析结果更加的客观、直观、可比、可信,这也是进行竞品分析量化的意义所在,希望在今后的工作过程中我们能探索出更多的方法来不断提升竞品分析的质量。

软件工具:

Xmind/MindManager:用于快速进行信息架构梳理;

Visio/Axure:用于绘制任务流程图或页面流程图;

QQ:用于快速截图;

CogTool:用于操作时间仿真计算;

Excel:用于数据分析和统计;

XYChartLabeler:Excel插件,用于绘制二维图的标签。

6