怎样评估BI项目成功与否

添加文章“讽刺的是，我们在组织中什么都要评估，但却没有一套好的方法来评估自己的效率。”
        这句话是我问Eric Colson如何评估BI分析团队的成功时他对我说的。Eric曾经是Netflix数据科学与工程部门的副总裁，现在是Stitch Fix的首席数据官。
        Eric表示，关于BI项目成功他能想到的最好的经验评估法就是业务部门领导在常规运营考核会议上提到自己团队的次数。如果业务部门负责人告诉高管他正在与BI团队实施一个战略性项目，Eric就会认为他的团队有信心在业务方面作出有价值的贡献。他说：“既然他们能把我们当做战略性合作伙伴，也就表示我们做的不错。”
        对于大多数BI经理来说，成功的评估通常都是后话。批准一个项目并从中获得成果本就不易，更别说还要启动另一个项目去评估你的团队绩效了。那么，如果条件允许，你会怎样评估呢？
       ·使用率追踪
        许多BI经理都会追踪使用率来评估绩效与价值。他们监控有多少用户持有BI授权、登陆的频率、运行报告的平均数量、针对哪些数据元素的查询数量等等。但是高使用率不一定代表用户获得了大量的价值或者收获的价值与组织的BI投入持平。举个例子，假设有1000名用户，其中25%的登陆频率为一周，但他们登陆上去只用五分钟运行了一个报告，这样用户的活动很多，但真正的摄入很少。
       ·调研
        有的BI经理会更进一步，向BI用户发送调研问卷以了解他们对于BI工具和报表的满意度。不幸的是，据我了解，调研参与的比率低的可怜（当然近两年来所有的调研现状都是如此），也就是说调研结果准确性不高。通常来讲，参与者不是好评就是差评，不够中肯；真正有价值的大众一般不会参与调研。个人认为，调研问卷作为成功的测量尺的价值有待商榷。
      ·社交媒体分析
        我认识一位BI经理，他希望在团队的BI报告中加入社交媒体特性，比如让用户打分、评论和分享，通过社交媒体分析来评估每一份报告的价值，经验和主观数据都不放过，甚至还应包括用户从BI交付中获取的价值。这一做法还能够帮助BI团队过滤未使用和被低估的报告，以更好地了解不同数据对于不同用户的价值。
       ·传播集市
        我过去开玩笑会说，BI项目的成功与环境中传播集市的数量成反比。从理论上讲，公司中存在的数据影子系统脱离的越少，用户从BI团队的报告、仪表盘和自助式报表工具中获取的价值就会越多。当然了，这就意味着BI经理必须在他的组织中发现并监控所有的传播集市。这与“打地鼠”游戏类似，一旦发现了一个传播集市并将其集成到数据仓库中，就会有更多的集市出乎意料地“跳”出来。
       ·成本效率
        优秀的BI经理会追踪决策制定的成本。在他们拟定BI项目之前，会先设立一套价格基准，考量硬件软件的授权费以及分析师每周在数据权限方面花费的时间。BI项目完成后，经理会再次评估这些条目，并将结果与基准比照，估算BI项目的金融提升。
        首次实施BI项目的企业为了使数据采集和传输流程变得更加高效，通常会在决策制定过程中徒增不少开支；然而拥有成熟BI项目的公司一般不会发生这种情况，因为他们的BI流程已经得到改进。对此，BI经理必须注重以组织战略性价值为基础的BI项目持续性投资，包括更优决策价值的评估、数据的关键任务流程和更广泛的员工知情权等。这些工作虽然不容易，但仍可以完成，只不过无法预料是否会被一位冷酷的上级否决。
       ·回到起点
        整条思路就像一个大圆，把我们带回了Eric Colson。也许追踪BI团队在会议中被提及的次数不是一个科学的方法，又或者它看起来有一点荒诞与自大，但至少在我看来，这是目前能够真正评估BI项目价值的最优指标