一、现状&问题
重庆大数据可视化的解决方案,与普遍意义理解的大数据可视化不同,其面临的问题又分两个不同的层面:一是大数据层;二是可视化层。
大数据层面:
1. 大数据接入 即如何把不同渠道、不同格式的大数据接入进来,原始大数据不标准的结构化信息,不可以直接做可视化。
2. 大数据质量 即保证原大数据指标清晰、大数据内容直观、大数据无误,使关心业务、关心大数据的人得到大数据里面的价值。
3.大数据查询 大数据的呈现下,性能查询、大数据的实施,如何解决大规模计算带来的可视化挑战,包括易用性、大数据更新的频率,特别是大数据场景下,大数据更新频次非常高,这些都是全新的问题。
4.大数据安全 做大数据的人群,基本上都会建一个大数据中台,但不同业务层面的整体的大数据仓库一旦将不同来源的大数据汇集到一起,权限的问题是避不开的,不同的业务团队及角色之间根据业务场景的不同,都有非常大的差异。如何去指标维度级的鉴权、行级、列级鉴权,还有公司内部大数据交换的时候如何做脱敏都是我们面临的问题。权限的控制有两种,一是直接鉴权,二是后置审计。
可视化层面:核心主题
1. 组件 重庆大数据可视化过程中,我们要思考如何用组件化的方式做条件样式、联动、自定义的方式支持专业用户的可视化。
2. 功能特性 我们应思考如何做到常见的维度切换、自由排版、区域分组联动,最终使整个大数据可视化呈现形成一个活的页面,更为关键的是,如何将分析的思路套进去。以期实现通过可视化平台把相关的大数据思维与业务相结合,将专业用户的分析思路和视角用一种平台化的方式传递给业务同事,使分析的思路可复用化。
3. 预警和通知 我们希望将关键性的指标直接规则化,甚至系统内置,跟原大数据平台做打通,通过原大数据第一时间指示核心指标的异常波动,第一时间推送给相关的人员。
4. 多终端 多终端是体验层面的提升,我们不仅希望做PC端的网页页面和移动端APP的数据查看,还希望做行业级大数据报告(不一定外发),内部传递形成一个可复用的产品,把大数据的价值用更直观、更互动性的方式呈现出来,最后实现多端分享和互动。
二、当前目标
1. 基础功能 基础功能就是常见大数据源的支持。
2. 灵活扩展 灵活扩展可用于解决前置大数据层面的接入,80%的问题用平台化的方式解决,20%的问题提供插件化或者扩展的机制,即二八原则。
3. 体验优化 重庆大数据可视化不是C端服务,是专业的应用场景。关注点在功能和满足业务诉求的层面,先谈能解决,再谈解决的好坏。
4. 平台集成 我们希望重庆大数据平台不只解决大数据可视化问题,对于如何把大数据从底层公共架构模型里面一层层剥下来,也是我们需要解决的问题。
5. 场景封装 二八原则解决所有的业务后,接下来面临的问题是场景的封装和深入。解决了第一层的呈现问题以后,把大数据化运营的思路贯穿在重庆大数据可视化的最终结果里面,就是场景化的垂直封装。
我们做的是一个组件、是一个工具、是一个平台还是一个解决方案还是生态?在实际做决策的时候,前面三部分,甚至第四部分是都是要考虑到的,它会影响我们职业的里程碑。
最终决策的是结论,我们结论的优先级如下:
1、满足基础功能
2、有可扩展性、二八原则,至少解决所有业务
3、工具优先于平台,先是工具,然后用平台化的思路解决整个大数据流转过程中的价值变化问题
4、上下游的集成
三、实现方案
1. 定制 正因为市场上,很多商业化产品并非销售所说的那么优异。重庆大数据的可视化类型又要做一些特别细粒度的优化,所以我们基于这个考虑,为快速响应、满足自身的需求,优化自身的资源,我们采用少花钱的原则。毕竟商业化产品要付费,额外的定制费用同样不菲。
2. 产品集成 重庆大数据可视化平台希望和重庆企业大数据平台做深度的集成。当公司面临重大阶段性问题的时候,如果只做简单的服务是不行的,所以我们首先要重视大数据安全集成问题。 其次,分析引擎的集成问题也是我们要关注的。大多数做大数据可视化不一定有分析引擎的能力,异构大数据源的介入最常见的做法是给一个接入层,做简单的驱动接入或者连接的配置,最后的查验性能非常差。尤其多维分析,对大宽表的处理、高维大数据的降维可视化。所以分析引擎我们也是自己来进行定制、接入,我们内部大数据库的引擎,基于Hadoop生态有Hadoop或者这之上引入的开源场景等各种各样的类型。
最后,我们还要关注大数据化运营产品的集成。比如我们的推荐平台、大数据开放平台、精准营销平台、广告等,都会涉及大数据可视化的内容,也都会借助大数据可视化的能力。只不过在某个特定的业务场景里面有这个诉求,包括机器学习、图象识别等标签的结果,都跟大数据可视化有关系。很多商业化的产品,在这个维度一定要定制开发,内部系统有些历史包袱或者设计上的传带问题,都很难商业化做通用。
3. 复用 多点、大屏、PC、移动端等都可以页面复用。可视化的组件可以复用,可视化的区块在不同的业务场景里面都能用。这个复用不一定是平台级的复用,甚至可以做让业务系统、做区块级的可视化集成。大数据接口层面的集成,既然对接公司的分析引擎,有统一的分析入口,完全可以做大数据服务化。重庆大数据在可视化平台最终并不是简单的呈现,下面集成的分析引擎,下面对接的原大数据,各级的服务都可以拆分做服务化和平台化。