京公网安备 11010802034615号
经营许可证编号:京B2-20210330
2018,怎么缓解大数据的尴尬
关于大数据,最近爆出的一个笑话:在电影业一次内部行业会议上,一位巨无霸级别的电影业发言人说:通过数据挖掘,我们发现不同观众的相关卖品偏好。比如《芳华》的观众比《战狼Ⅱ》观众消费了更多的热饮。这些都是之前我们不知道的,也是无法预测的。
上面这样一个基于两部影片的观影数据分析得出来的结论,看似客观正确,实则因为模型不完善(缺少观影季节的考量)等原因,而闹出笑话。
在近期,我们在给金融科技做盘点的时候,就发现大数据自身就是一个“尴尬”。我们找遍新闻,也没有发现这个词有什么特别值得说道的地方。只能靠着一点时政资料凑齐了这个关键词的盘点。
2017年,大数据如此重要,却又如此没有料。
大数据模型不完善,是因为根基不牢大数据一直不温不火,和他的发展缺陷有很大的关系。虽然大家极力看好它,但未能迎来行业的爆发。
和一些做大数据的朋友聊天,他们甚至会很直白地吐槽自己家的数据模型。
“那些所谓的数据模型之类的鬼东西,你只需瞄上一眼,就能头疼一整天。模型里的数据巨大无比,线索逻辑纷繁复杂。很多数据看似很重要却极其无聊,对结果判断毫无意义,食之无味弃之可惜,鸡肋一般的存在。”
“说实在的,根本原因不在于技术的落后,而是整个行业的发展根基太浅,无法对数据的有效性进行勘误、归纳和合理解释。”
“粗略地说,合理的大数据架构是,数据模型完善,能根据特定领域做出全面合理的数据精简,去掉无关数据和干扰数据,梳理出一条合理的客观建议,并根据数据分析师的主观判断和勘误,再总结出合理的结论,对相关行业做出准确的预判。”
“现在呢?本来数据模型都存在这样和那样的漏洞,却还想着数据处理的完全自动化。”
“而完全依靠客观数据,完成所谓的人工智能演算,那都是扯淡的事儿。”
“刚才说的那个《芳华》和《战狼Ⅱ》的笑话其实就是一个看似客观,实则可笑的分析结论。”
“这是因为,大家一说到大数据,就太拿数据想当然了。如果只靠着这点意识去做消费金融领域的数据分析,肯定有很多投资人被坑得底儿朝天!”
“所以现在挣钱的还是那些靠着倒买倒卖用户资料的数据公司,一个数据包,加点水分,到处卖,收益无限。”
“不过,最近似乎也没那么容易整了,因为官方越查越严,有些所谓的大数据公司搞不动了,怕是要凉了。”
物联网或许是大数据公司的真正机会“除了行业经验的累积,还需要更多数据做线上支撑。”
“当然,并不是说数据越多越好,而是说,线上的数据越丰富,越有利于我们组织有效数据。”
“核心问题就在于,如何产生大量的有效数据。”
“有效数据,简单了说,就某个领域,比如,消费金融领域的某一个小细分的消费品的相关数据,在合理组合和解构之后,对行业发展做出合理预判,对投资人预期负责的数据。否则,数据越大,负担越重,越成不了事儿。”
积累经验到什么时候才算是个头呢?
“或许要等到物联网时代的真正到来。”
为什么?
“物联网可以让更多的消费金融数据和物流数据线上化,个人消费信用信息也将进一步线上化,数据的归集和处理将更加高效和全面。”
“不过,随着移动支付的快速发展,更多人的金融消费能力在线上就基本被呈现了出来,包括个人的消费习惯和个人征信信息都被线上化,而由此产生的物流信息、住房、贷款信息等都在逐步完成终极线上化,这些对大数据来说,都是极好的机会。”
“大数据行业机会很大,但大数据是一个不稳定的行业,因为一切的数据都归结到机器里,而机器由人来掌控,相关的操作风险完全看自己的风险意识和人品。行业随时爆发大规模风险,运气好只影响数据安全,运气不好,很企业和个人的信用会破产。这会给行业,甚至整个社会带来巨大的灾难。”
“因此,从业企业的相关准则需要进一步细化和规范,对人也需要有个职业操守方面的管制。”
什么样的人怎么用数据,其目的和效果都是不一样的。
这又和一个大数据相关的段子有点关系,正好段子开头,笑话结尾,也还算圆满。
俺家钟点工说:“俺儿子又被老师训了。”俺问又咋啦?她说:学校请了个政法大学的教授来给孩子们讲课,说还是个名人呢,见天在电视上忽悠。他告诫孩子们不要打架,他说他统计过,打架斗殴死了的人百分之九十五以上都是先动手那个,然后问孩子们这是为什么?俺儿子说因为没死的说是死了的先动手的。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
B+树作为数据库索引的核心数据结构,其高效的查询、插入、删除性能,离不开节点间指针的合理设计。在日常学习和数据库开发中,很 ...
2026-01-30在数据库开发中,UUID(通用唯一识别码)是生成唯一主键、唯一标识的常用方式,其标准格式包含4个短横线(如550e8400-e29b-41d4- ...
2026-01-30商业数据分析的价值落地,离不开标准化、系统化的总体流程作为支撑;而CDA(Certified Data Analyst)数据分析师,作为经过系统 ...
2026-01-30在数据分析、质量控制、科研实验等场景中,数据波动性(离散程度)的精准衡量是判断数据可靠性、稳定性的核心环节。标准差(Stan ...
2026-01-29在数据分析、质量检测、科研实验等领域,判断数据间是否存在本质差异是核心需求,而t检验、F检验是实现这一目标的经典统计方法。 ...
2026-01-29统计制图(数据可视化)是数据分析的核心呈现载体,它将抽象的数据转化为直观的图表、图形,让数据规律、业务差异与潜在问题一目 ...
2026-01-29箱线图(Box Plot)作为数据分布可视化的核心工具,能清晰呈现数据的中位数、四分位数、异常值等关键统计特征,广泛应用于数据分 ...
2026-01-28在回归分析、机器学习建模等数据分析场景中,多重共线性是高频数据问题——当多个自变量间存在较强的线性关联时,会导致模型系数 ...
2026-01-28数据分析的价值落地,离不开科学方法的支撑。六种核心分析方法——描述性分析、诊断性分析、预测性分析、规范性分析、对比分析、 ...
2026-01-28在机器学习与数据分析领域,特征是连接数据与模型的核心载体,而特征重要性分析则是挖掘数据价值、优化模型性能、赋能业务决策的 ...
2026-01-27关联分析是数据挖掘领域中挖掘数据间潜在关联关系的经典方法,广泛应用于零售购物篮分析、电商推荐、用户行为路径挖掘等场景。而 ...
2026-01-27数据分析的基础范式,是支撑数据工作从“零散操作”走向“标准化落地”的核心方法论框架,它定义了数据分析的核心逻辑、流程与目 ...
2026-01-27在数据分析、后端开发、业务运维等工作中,SQL语句是操作数据库的核心工具。面对复杂的表结构、多表关联逻辑及灵活的查询需求, ...
2026-01-26支持向量机(SVM)作为机器学习中经典的分类算法,凭借其在小样本、高维数据场景下的优异泛化能力,被广泛应用于图像识别、文本 ...
2026-01-26在数字化浪潮下,数据分析已成为企业决策的核心支撑,而CDA数据分析师作为标准化、专业化的数据人才代表,正逐步成为连接数据资 ...
2026-01-26数据分析的核心价值在于用数据驱动决策,而指标作为数据的“载体”,其选取的合理性直接决定分析结果的有效性。选对指标能精准定 ...
2026-01-23在MySQL查询编写中,我们习惯按“SELECT → FROM → WHERE → ORDER BY”的语法顺序组织语句,直觉上认为代码顺序即执行顺序。但 ...
2026-01-23数字化转型已从企业“可选项”升级为“必答题”,其核心本质是通过数据驱动业务重构、流程优化与模式创新,实现从传统运营向智能 ...
2026-01-23CDA持证人已遍布在世界范围各行各业,包括世界500强企业、顶尖科技独角兽、大型金融机构、国企事业单位、国家行政机关等等,“CDA数据分析师”人才队伍遵守着CDA职业道德准则,发挥着专业技能,已成为支撑科技发展的核心力量。 ...
2026-01-22在数字化时代,企业积累的海量数据如同散落的珍珠,而数据模型就是串联这些珍珠的线——它并非简单的数据集合,而是对现实业务场 ...
2026-01-22