
通过大数据技术实现企业运营效率的提升是我们当前的一个重要目标,但这项工作并不是每个企业都那么容易上手。在1月21日的“10亿说 TalkingData移动互联网产业指数数据报告发布会”上,多名业内专家及TalkingData高层为我们分享了释放大数据价值现存的一些坑,以及我们可以怎么解决。
所谓10亿说,是指TalkingData的平台现在已经覆盖了10.6亿的移动智能设备,包括iOS、Android的系统平台,包括智能手机、平板、智能电视等等不同的设备形态。
专家说:真正的分析还在婴儿期
全国手机媒体委员会、中国手机移动互联产业联盟秘书长吴红晓,中国工程院院士、中国移动互联发展指数专家组首席科学家倪光南,以及北京大学新媒体研究院副院长刘德寰在发布会上分享了他们对大数据的观点,从不同的角度指出了目前大数据应用面临的许多挑战。
吴红晓:
目前很多单一的数据库的量都已经很大,已经超过了几个PB的规模,但是同时数据的规模越大,处理的难度也越来越大。有两方面的挑战:
倪光南:
刘德寰:
Talking Data说:大数据全面解析2014移动互联网
长期以来钻研的分布式的运算架构、海量的数据处理和数据挖掘的算法,TalkingData使用自研的一个移动大数据的统计分析平台,将这10亿部智能终端的数据作为数据蓝本,从多个维度对移动互联网用户的数据进行对比分析,给出整个行业观察的结果。
TalkingData数据平台部总监陶京琪在发布会上详细讲解这份2014年TalkingData移动互联网数据报告。报告围绕“移动互联网行业概况”、“移动互联网用户行为”、“移动应用整体盘点”、“移动互联网用户线下消费习惯”等不同主题,多维度分析了2014年中国移动产业的整体发展状况。(如果您对这份报告感兴趣,可通过访问TalkingData官方网站免费下载)
报告显示,移动互联网已经度过了需求集中于通讯与社交方面的“萌芽期”和以购物与娱乐为代表的“初步发展期”,迈入到“高速发展期”,这一时期,出行、医疗、教育、餐饮等与生活密切相关的细分领域应用纷纷涌现,多元化生活服务为用户带来极大便利,线上与线下联动(O2O)成趋势。典型应用的不断涌现,也让O2O行业迎来用户增长与资本市场融资双重热潮,移动端的消费闭环正逐渐形成。
对话Talking Data:技术、数据源与中立是关键
在发布会之后,TalkingData COO 徐懿、TalkingData产品副总裁闫辉、TalkingData售前总监戴民和TalkingData数据平台部总监陶京琪一同接受了CSDN记者的采访,更深入地解析了TalkingData的大数据实践经验,如何破解前述专家提到的问题,以及TalkingData的技术能为企业和开发者带来什么。
TalkingData认为,大数据最重要的,是运用分析结果为整个企业运营服务。然而,单个企业的数据,不足以反应整个行业的动态,我们更需要的通过对整个行业的数据的分析来获得最优决策的依据——这与舍恩伯格“不是随机数据,而是全体数据”的思想相吻合。也并不是所有全体数据都靠谱,TalkingData还强调,目前只有中立的第三方平台才能保证数据分析结果的参考价值。当然,实现整个行业数据的中立分析,其基础还是要有一个可靠的大数据技术平台,能够容纳收集整个行业的数据量及其多样性,有数据互联互通的统一接口,还要能保证分析的实时性、有效性。
问:如何理解中国大数据应用还处在起步阶段?
答:很多企业没有办法把存储的数据用到平常的销售优化、服务优化上来,因为他们还不具备这样的分析能力。大数据使用里面最关键的一点,就是怎么样把业务变成是大数据驱动的。从这点上来讲,无论是在传统的行业里,即使是在互联网行业里,大数据驱动业务这件事情都还在起步阶段。
以手游为例,很多游戏的运营还是靠具体负责人拍脑袋决做决策,而不是利用收集的大数据发现一些规律性的东西让运营更加顺畅——譬如有效预知和挽救可能会流失的用户,保持游戏的收入。数据量并不一定要多大,但是后面流失的模型是基于很多游戏,包括他自己的游戏,也包括其他的游戏,在很多游戏里面我们算出来一个模型,把这个模型用回到这个游戏里面,对游戏运营做指导。
TalkingData针对于此的做法,首先是做一些行业标准的东西,很容易把大家孤立的数据全部打通,或者汇总在一个DMP数据管理平台里面,对于企业来讲,先帮他建立第一方的数据,让他把数据能够管理起来,对用户做一个画像。第二,他的数据有可能跟第三方的数据进行打通,他可以利用很多第三方的数据。
所以说,大数据的应用范围可能会比我们原来简单的理解我有一大堆数据怎么去处理它,比这个更高级一点,更多的现在会产生在不同的领域跨界的一些数据的应用上面。
问:TalkingData的技术有什么独特的技术?
答:从数据的分析、挖掘角度来说,大家都是用OLAP模型,按照指标维度存起来,然后反复的切割、切片、抽取,这种技术模型大家基本上都是相似的。我们也采用了如Hadoop、Hive、Storm、Spark等开源的技术。但我们在大数据行业,在技术上还是小有贡献的,因为我们把自己的计算引擎和推荐的算法,还有一些挖掘算法,以及我们的存储模型,都有一些开源系统,我们内部有个代号叫派系统,这样的系统也经常跟市场上做技术框架的系统做交流和切磋。比如有一个系统开源的叫麒麟系统,都是做大数据运算的。我们也不能自己说自己谈得上领先,但是总是愿意去分享自己在这块的知识。
问:我们能为企业开发者提供哪些方便?
答:所有的生意都是要解决两个问题:怎么获得客人,以及怎么经营他们。基于此,我们用全行业的大数据平台帮助企业找到客户。第二个方面,我们提供一整套基于大数据的从分析到运营的闭环产品,支持企业根据客户的特点来经营客户,来获得更好的收益。这主要包括:
问:很多大数据平台也都提供了用户画像技术?
答:传统上做用户画像大都有忽悠的嫌疑,比如用户的性别、年龄段、所属省市,参考意义不大。我们的用户画像是更偏向于实际执行的兴趣,针对移动产品,我们从喜欢用哪些App,可以分析出哪些用户的兴趣与我们的定位更加贴合。知道用户喜欢逛哪些商场、买哪些商品,和知道他生活在哪个省市的意义不可同日而语。
问:我们会提供本地部署的方案,还是通过纯SaaS平台收集和分析数据并反馈结果?
答:我们的客户有两类,一类如招商银行这样的大客户,对私密性要求比较高,就要部署一个全维的第一方DMP平台到银行内部,所有的数据只能进不能出,公开的非商业性数据,则可以直接从我们官网获得报告;对于第二类客户,数据可以直接上传到我们的平台上。
以招商银行(掌上生活和手机银行业务额)为例:
问:数据出来可能有的是可信的,有的是不可信的,数据最终呈现的结果会有误差吗?
答:首先从行业视角看,还是从运营分析的视角看,一些大型公司都推出了这样的平台,它也是帮助开发者去做运营分析和运营工具,从单向的去分析这个市场来说,大家出的数据都是帮一个移动端的创业团队去做他的业务分析,这种数据的出入性当然不会特别大。但是从全行业的视角去看这个事情,可能是不太一样的。比如百度要去发一个报告的话,它结合的不光是它从中立市场采集的数据,更多的是来源于百度的搜索、百度的地图抓取的各种各样的数据,所以它对中立数据的采用可能只是它的一小块。作为一个行业性的数据报告来说,它会不会更侧重百度一些呢,有可能它自己不这么认为,但是它的样本本身都是偏自己的。同样,腾讯也是一样的,他们在TOP50应用里面占了很大的份额,他觉得他的用户量已经普及到一个程度,本身他做出来一个他认为中立的报告,结果也是比较偏他的用户群,就会有一定的偏差。比如有一个客户,也用了我们的统计分析的产品,只是分析他个人业务的,也用了百度的,也用了腾讯的,数据量会有多大差别吗,当然不会,因为大家做的是一样的活。
问:我们如何解决数据来源的问题?
答:TalkingData是行业中唯一一个中立的大数据平台,我们本身提供SDK插件这种服务,所以我们掌握了比较准确的一手数据,直接去采集和获取。采集当中,我们很在意开发者和最终用户的感受,所以会跟大家协商更好的用户许可协议,以及在不侵犯隐私的情况下,拿到一些大家会在意的数据,这是第一方面。另外,我们会采用一些数据交换和合作的方式,获取更多元的数据。这些数据一样是需要合规、合法,不侵犯任何合作方利益的情况下,可以去拿得到这样的数据。还有一方面的数据,我们会在线下做很多布局,包括到店的信息,去布Wi-Fi点,采集线下的数据,拿这样的数据可以跟线上数据打通和做很多匹配。总之会形成一个全行业遍布的数据网,让它更全面、更严重。
问:如何规避数据隐私的问题?
答:解决数据隐私是数据服务公司安身立命的基础,数据的收集和使用一定要注意合法性的问题:
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在 “神经网络与卡尔曼滤波融合” 的理论基础上,Python 凭借其丰富的科学计算库(NumPy、FilterPy)、深度学习框架(PyTorch、T ...
2025-10-23在工业控制、自动驾驶、机器人导航、气象预测等领域,“状态估计” 是核心任务 —— 即从含噪声的观测数据中,精准推断系统的真 ...
2025-10-23在数据分析全流程中,“数据清洗” 恰似烹饪前的食材处理:若食材(数据)腐烂变质、混杂异物(脏数据),即便拥有精湛的烹饪技 ...
2025-10-23在人工智能领域,“大模型” 已成为近年来的热点标签:从参数超 1750 亿的 GPT-3,到万亿级参数的 PaLM,再到多模态大模型 GPT-4 ...
2025-10-22在 MySQL 数据库的日常运维与开发中,“更新数据是否会影响读数据” 是一个高频疑问。这个问题的答案并非简单的 “是” 或 “否 ...
2025-10-22在企业数据分析中,“数据孤岛” 是制约分析深度的核心瓶颈 —— 用户数据散落在注册系统、APP 日志、客服记录中,订单数据分散 ...
2025-10-22在神经网络设计中,“隐藏层个数” 是决定模型能力的关键参数 —— 太少会导致 “欠拟合”(模型无法捕捉复杂数据规律,如用单隐 ...
2025-10-21在特征工程流程中,“单变量筛选” 是承上启下的关键步骤 —— 它通过分析单个特征与目标变量的关联强度,剔除无意义、冗余的特 ...
2025-10-21在数据分析全流程中,“数据读取” 常被误解为 “简单的文件打开”—— 双击 Excel、执行基础 SQL 查询即可完成。但对 CDA(Cert ...
2025-10-21在实际业务数据分析中,我们遇到的大多数数据并非理想的正态分布 —— 电商平台的用户消费金额(少数用户单次消费上万元,多数集 ...
2025-10-20在数字化交互中,用户的每一次操作 —— 从电商平台的 “浏览商品→加入购物车→查看评价→放弃下单”,到内容 APP 的 “点击短 ...
2025-10-20在数据分析的全流程中,“数据采集” 是最基础也最关键的环节 —— 如同烹饪前需备好新鲜食材,若采集的数据不完整、不准确或不 ...
2025-10-20在数据成为新时代“石油”的今天,几乎每个职场人都在焦虑: “为什么别人能用数据驱动决策、升职加薪,而我面对Excel表格却无从 ...
2025-10-18数据清洗是 “数据价值挖掘的前置关卡”—— 其核心目标是 “去除噪声、修正错误、规范格式”,但前提是不破坏数据的真实业务含 ...
2025-10-17在数据汇总分析中,透视表凭借灵活的字段重组能力成为核心工具,但原始透视表仅能呈现数值结果,缺乏对数据背景、异常原因或业务 ...
2025-10-17在企业管理中,“凭经验定策略” 的传统模式正逐渐失效 —— 金融机构靠 “研究员主观判断” 选股可能错失收益,电商靠 “运营拍 ...
2025-10-17在数据库日常操作中,INSERT INTO SELECT是实现 “批量数据迁移” 的核心 SQL 语句 —— 它能直接将一个表(或查询结果集)的数 ...
2025-10-16在机器学习建模中,“参数” 是决定模型效果的关键变量 —— 无论是线性回归的系数、随机森林的树深度,还是神经网络的权重,这 ...
2025-10-16在数字化浪潮中,“数据” 已从 “辅助决策的工具” 升级为 “驱动业务的核心资产”—— 电商平台靠用户行为数据优化推荐算法, ...
2025-10-16在大模型从实验室走向生产环境的过程中,“稳定性” 是决定其能否实用的关键 —— 一个在单轮测试中表现优异的模型,若在高并发 ...
2025-10-15