自助分析平台(一):快速入门三种数据可视化插件

数据中台的主要工作就是输出数据指标。数据中台要对接公司内部的多条产品线,每条产品线都会定期提一些数据需求,随着数据中台和各条产品线的合作越来越紧密,每条产品线都会积累很多指标。

自助分析平台(一):快速入门三种数据可视化插件

随着时间和产品线的增加,有个问题会凸显出来:数据中台的开发资源很快会满足不了业务部门日益增加的越来越多的需求。另外,每个部门、每个人的需求都是各种各样的,无论怎么做都无法满足所有的需求。

数据中台的每个数据指标的开发都涉及到多个步骤、多个角色,如果每个数据指标都按照上文定义的那套流程,每个数据指标的开发周期会很长,不能满足互联网产品快速迭代的需求。

我们在实战项目中确实也遇到了这个问题。一般来说,数据中台的迭代周期至少需要两周,而业务线普通功能的开发只需要一周,这样数据分析模块就会滞后一周左右,所以我们决定引入一套自助分析的工具,这样数据中台只需要负责数据指标的计算——也就是模型设计和数据开发,把最终的计算结果和自助分析工具结合,产品/运营人员就可以通过拖曳的方式形成自己的看板。

一些特殊的需求可以让后端开发工程师和前端开发工程师参与,这样后端开发工程师和前端开发工程师可以做一些其他大模块的开发。

按照之前的流程,每个数据指标的开发都需要架构师、项目经理、产品经理、模型设计师、数据开发工程师、后端开发工程师、前端开发工程师、测试人员、UI设计师参与,现在只有一些特殊的需求需要后端开发工程师、前端开发工程师的参与,如果少了后端开发工程师、前端开发工程师这两个角色,就大大降低了数据中台开发的人员成本。

另外比较重要的一点是,产品/运营人员可以制作自己感兴趣的看板,就形成了看板的“千人千面”,每个人看到的都是他关心的数据。

一、自助分析平台产品方案

我们先看下目前市场上的数据产品关于看板模块是怎么做的。笔者选了近年市场上比较成熟的数据产品:GrowingIO、诸葛io、神策。这三个产品的数据看板模块功能的设计有一个共同点,它们都有两个主要功能:一是制作看板,二是使用看板。

我们首先看一下看板的制作功能,如图9-1所示,通过设置指标、维度、过滤条件、特殊条件等选项,以拖曳的方式就可以定制自己的看板。在看板制作完成后,可以分类存储,形成自己的看板库。

自助分析平台(一):快速入门三种数据可视化插件

图9-1 制作看板

另外一个功能是使用看板,如图9-2所示,可以将看板库中的看板取出,自由组合成自己的看板界面。组合后的看板可以同时在移动端和PC端查看,也可以通过地址分享给其他人查看或者嵌入产品的网页中。

自助分析平台(一):快速入门三种数据可视化插件

图9-2 使用看板

这种看板功能和传统的看板功能有一个很大区别就是使用者看到的都是他关心的数据,形成了看板的“千人千面”

。另外由于看板都是可配置的,可以节省大量的前端开发工作和后端开发工作。基础的看板只要有数据源,产品/运营人员都可以完成配置,前端开发工程师只需要解决一些比较难操作的功能(比如时间的对比、环比等)。

有了自助看板功能,以后无论数据中台接入多少个产品线,都不需要一一开发这些产品线的看板前端界面,这样会节省大量的开发资源。

二、快速入门三种数据可视化插件

下来我们看一下如何实现强大的自助分析看板功能。如果公司自主研发该功能,会付出大量的人力成本和时间成本。市场上其实是有比较成熟的自助分析看板技术框架的。这些技术框架可以与公司的数据中台做集成,形成数据中台的自助分析看板模块。

让我们看一下市场上比较成熟的解决方案。

1.帆软自助看板模块介绍

第一个是商用收费的大数据可视化组件叫帆软,其在国内做得比较好。我们先看下帆软制作报表的过程。

(1)处理数据源,需要技术人员将数据中台的数据库与帆软连接,如图9-3所示。

自助分析平台(一):快速入门三种数据可视化插件

图9-3 帆软链接数据库

(2)需要针对数据库中的字段做进一步处理,如图9-4所示,主要的工作是将数据库的库表字段转化为产品/运营人员可以理解的名称。数据库的字段的初始命名往往偏技术化,产品/运营人员不一定能看懂。

自助分析平台(一):快速入门三种数据可视化插件

图9-4 修改数据库中相关字段命名

(3)产品/运营人员通过选择数据源、维度、指标,就可以通过拖曳的方式制作自己想要的图表,如图9-5所示。

自助分析平台(一):快速入门三种数据可视化插件

图9-5 配置图表

帆软支持丰富的图表显示方式,除了常规的报表、折线图、饼图、柱状图等,我们还可以做一些图表的组合,如图9-6所示。

自助分析平台(一):快速入门三种数据可视化插件

图9-6 图表组合显示

2.达芬奇自助看板模块介绍

我们介绍一下达芬奇数据可视化开源框架。达芬奇是国内开发者开发的开源组件。

(1)开发数据源管理功能,该功能主要是给数据开发工程师使用的。数据开发工程师需要把计算好的数据(一般是ADS层的数据)连接到达芬奇上。达芬奇支持多种数据源的连接。输入ADS层数据库的地址、账号、密码就可以在达芬奇中看到ADS层的数据,如图9-7所示。

自助分析平台(一):快速入门三种数据可视化插件

图9-7 达芬奇的数据源链接

(2)抽取数据。还是那个问题,产品/运营人员是看不懂数据库原始数据的,因为数据库的字段命名偏技术化,需要把字段重新命名,所以还是需要数据开发工程师使用SQL处理,如图9-8所示。

自助分析平台(一):快速入门三种数据可视化插件

图9-8 原始数据的抽取

(3)使用看板制作器,该功能是给产品/运营人员直接使用的。运营人员看到的数据是经过上一步的技术人员处理过的,如图9-9所示,通过拖曳维度、指标、过滤条件等指标,可以完成看板制作。

看板不但支持图表(类似Excel)的报表显示,还支持常规的柱状图、折线图、饼图等图标,还支持报表与图表的自由切换。制作看板后,可以把看板保存在看板库中。

自助分析平台(一):快速入门三种数据可视化插件

图9-9 原始数据的抽取

(4)使用看板管理器。运营人员可以快速找到自己制作的看板,形成自己的看板界面。

如图9-10所示,可以通过拖曳的形式调整看板各部分的位置,每个看板界面会生成一个分享链接。

达芬奇的看板是由H5制作的,能够在移动端自适应显示,我们可以在移动端针对此界面做一个集成,这样就能随时随地查看自己的看板。另外一旦制作完成看板,达芬奇还支持数据的自动导出,可以很方便地在PC端把看板数据导出。

自助分析平台(一):快速入门三种数据可视化插件

图9-10 管理看板

3、Superset自助看板模块介绍

接下来我们再看一下Superset。Superset是国外开发者开发的开源组件,和达芬奇功能类似,也有数据源接入、看板制作器功能,但是没有看板管理器功能。Superset也是比较偏技术化的,但是它的灵活性更高,图表的可视化功能可以与EChart对接。

Superset的数据源管理界面如图9-11所示,主要是给技术人员使用的。同样,我们可以通过数据库的地址、账号、密码直接连到数据中台的数据库。

自助分析平台(一):快速入门三种数据可视化插件

图9-11 Superset的数据源管理界面

Superset的看板制作器功能如图9-12所示,上面有很多术语(如SQL、JASON、CSS等)是技术人员使用的,对于业务人员来说,比较难理解。

自助分析平台(一):快速入门三种数据可视化插件

图9-12 Supset的看板制作器

Superset也有分享的功能,但是不能通过拖曳的形式改变看板各部分的位置。Superset可以与第三方的看板管理功能(比如百度的E-chart等)做集成,从而制作内容更丰富的图表。

Superset还有一项特殊功能,其专门为技术人员或者懂得SQL的人员提供SQL可视化工具,可以直接使用SQL查询数据,就可以形成报表,如图9-13所示。

自助分析平台(一):快速入门三种数据可视化插件

图9-13  Superset的SQL可视化功能

三、自助分析平台技术选型

以上对三个图表可视化组件做了介绍。帆软是数据可视化商用软件的代表,相对来说体验比较好,但是它不是开源产品,需要收费,如果公司有足够预算,那么在数据中台项目刚开始时就可以采购一套帆软。

Superset是数据可视化开源软件的代表。Superset比较偏技术化,只有懂得SQL的人才能用,虽然给数据分析师使用没有任何问题,但是如果给产品/运营人员使用,有些地方就很难理解,操作起来也不太方便。

Superset的优点是比较灵活,可以集成网上很多的开源插件,如果公司有足够的开发资源,也可以以Superset为基础做二次开发,来满足公司的自助看板的需求。

达芬奇和以上两个组件相比,属于折中的选择,其看板制作器、看板管理器功能可以直接给产品/运营人员使用,基本功能满足需求。另外因为达芬奇是开源的,可以直接集成到数据中台。

这里只是举三个比较有代表性的例子,在实际项目中可以根据公司情况选择。

如果公司有足够的预算,可以选择商业化的软件帆软,数据中台的前端数据展示全部由帆软支撑。

如果公司的开发资源相对充足,可以选择类似Superset的开源且灵活的框架,自己再进行二次开发,后期的扩展性会更好。

达芬奇也是不错的选择,其看板有一套基本的处理逻辑,不过功能层面比较简陋,从公司的长远考虑,还是需要对达芬奇的开源版本做二次开发,以满足公司的数据需求。

业界动态

“冷静期”制度扩围,消费金融加设“安全阀”

2021-3-2 9:13:02

业界动态

谁转产品经理更具优势?

2021-3-2 9:15:03

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索