你真的会玩SQL吗？之逻辑查询处理阶段 最近要对数据库进行优化，但由于工作项目中已经很少亲自写SQL而且用的都不是很复杂的语句，所以有些生疏了，于是翻翻N年前的笔记资料，想以此来记录回顾总结一些实用的SQL ...
2017-05-21
0基础搭建Hadoop大数据处理-环境 由于Hadoop需要运行在Linux环境中，而且是分布式的，因此个人学习只能装虚拟机，本文都以VMware Workstation为准，安装CentOS7，具体的安装此处不作过多介绍，只作需要用到的知 ...
2017-05-21
提升数据建模的10种技术措施 随着企业有了能够轻松访问和分析数据以提高性能的新机会，数据建模也是变形的。数据建模不仅仅是任意组织数据结构和关系，还必须与最终用户的需求和问题联系起来，并提供指导，帮助 ...
2017-05-21
0基础搭建Hadoop大数据处理-初识 在互联网的世界中数据都是以TB、PB的数量级来增加的，特别是像BAT光每天的日志文件一个盘都不够，更何况是还要基于这些数据进行分析挖掘，更甚者还要实时进行数据分析，学习， ...
2017-05-21
Hadoop集群搭建 目的 本文描述了如何安装、配置和管理有实际意义的Hadoop集群，其规模可从几个节点的小集群到几千个节点的超大集群。 如果你希望在单机上安装Hadoop玩玩，从这里能找到相关细节。 先决 ...
2017-05-21
Hadoop面试中6个常见的问题及答案 准备好面试了吗？呀，需要Hadoop的知识！！？不要慌！这里有一些可能会问到的问题以及你应该给出的答案。 Q1.什么是Hadoop？ Hadoop是一个开源软件框架，用于存储大量数 ...
2017-05-21
关于数据分析思路的4点心得 1.看数据的纬度 在对一款产品或者一款产品的其中的一个模块进行分析时，我们可以从两个大纬度去分析数据。 首先是从广阔的视角先去查看数据，这里需要对该产品所处的行业数据 ...
2017-05-20
商业数据挖掘的几种应用场景和主题 数据挖掘涉及到公司运营的方方面面，这包括对企业部门经营情况的评估、内部员工的管理、生产流程的监管、产品结构优化与新产品开发、财务成本优化、市场结构的分析和客户关系 ...
2017-05-20
关于如何解释机器学习的一些方法 到现在你可能听说过种种奇闻轶事，比如机器学习算法通过利用大数据能够预测某位慈善家是否会捐款给基金会啦，预测一个在新生儿重症病房的婴儿是否会罹患败血症啦，或者预测一位 ...
2017-05-20R语言并行计算的原理和案例 众所周知，在大数据时代R语言有两个弱项，其中一个就是只能使用单线程计算。但是R在2.14版本之后，R就内置了parallel包，强化了R的并行计算能力。 parallel包实际上整合了之前已 ...
2017-05-20
机器学习需要哪些数学基础 过去的几个月中，有几人联系我，诉说他们对尝试进入数据科学的世界，以及用机器学习的技术去探索统计规律并构建无可挑剔的数据驱动型产品的热忱。然而，我发现一些人实际上缺乏必要的 ...
2017-05-20
R语言：关联规则+时间因素=序贯关联规则 序贯模型=关联规则+时间因素。 今天下午基本上把通过arulesSequences来进行序列模式挖掘搞明白了，晚上又把arulesSequences中最重要的函数cspade查看了一下。Mark一下。 ...
2017-05-19
python实现六大分群质量评估指标（兰德系数、互信息、轮廓系数） 1 R语言中的分群质量——轮廓系数 因为先前惯用R语言，那么来看看R语言中的分群质量评估，节选自笔记︱多种常见聚类模型以及分群质量评估（聚类 ...
2017-05-19
R语言︱词典型情感分析文本操作技巧汇总（打标签、词典与数据匹配等） 情感分析中对文本处理的数据的小技巧要求比较高，笔者在学习时候会为一些小技巧感到头疼不已。 主要包括以下内容： 1 批量读取txt ...
2017-05-19
R语言︱集合运算—小而美法则 集合运算的一般规则如下： union(x,y) #求并集 intersect(x,y) #求交集 setdiff(x,y) #求属于x而不属于y的所有元素 setequal(x,y) #判断x与y是否相等 a %in% y #判断a是否为y ...
2017-05-19数据挖掘：层次性和时髦性 在银行做了两年的数据分析和挖掘工作，较少接触互联网的应用场景，因此，一直都在思考一个问题，“互联网和金融，在数据挖掘上，究竟存在什么样的区别”。在对这个问题的摸索和理解过 ...
2017-05-19做好数据挖掘模型必读的9条高端经验总结 数据挖掘是利用业务知识从数据中发现和解释知识(或称为模式)的过程，这种知识是以自然或者人工形式创造的新知识。 当前的数据挖掘形式，是在20世纪90年代实践领 ...
2017-05-19
用Python处理数据集中的缺失值 现实生活中的数据经常存在缺失值。产生缺失值的原因有很多，如观察资料未被记录、数据损坏等。由于很多机器学习算法不支持存在缺失值的数据集，正确处理缺失值就显得比较重要了。 ...
2017-05-18
Python做文本挖掘的情感极性分析 「情感极性分析」是对带有感情色彩的主观性文本进行分析、处理、归纳和推理的过程。按照处理文本的类别不同，可分为基于新闻评论的情感分析和基于产品评论的情感分析。其中，前 ...
2017-05-18
Python代码在实践过程中的经验总结 关于Python脚本，在具体的实践过程中经常会遇到一些问题，下面将其总结，便于使用。考虑使用 Logger(logger 怎么配置，需要输出哪些信息 — 可以反向考虑，比方说看到这个 lo ...
2017-05-18在数据分析与建模中，“显性特征”（如用户年龄、订单金额、商品类别）是直接可获取的基础数据，但真正驱动业务突破的往往是 “ ...
2025-11-07在大模型（LLM）商业化落地过程中，“结果稳定性” 是比 “单次输出质量” 更关键的指标 —— 对客服对话而言，相同问题需给出一 ...
2025-11-07在数据驱动与合规监管双重压力下，企业数据安全已从 “技术防护” 升级为 “战略刚需”—— 既要应对《个人信息保护法》《数据安 ...
2025-11-07在机器学习领域，“分类模型” 是解决 “类别预测” 问题的核心工具 —— 从 “垃圾邮件识别（是 / 否）” 到 “疾病诊断（良性 ...
2025-11-06在数据分析中，面对 “性别与购物偏好”“年龄段与消费频次”“职业与 APP 使用习惯” 这类成对的分类变量，我们常常需要回答： ...
2025-11-06在 CDA（Certified Data Analyst）数据分析师的工作中，“可解释性建模” 与 “业务规则提取” 是核心需求 —— 例如 “预测用户 ...
2025-11-06在分类变量关联分析中（如 “吸烟与肺癌的关系”“性别与疾病发病率的关联”），卡方检验 P 值与 OR 值（比值比，Odds Ratio）是 ...
2025-11-05CDA 数据分析师的核心价值，不在于复杂的模型公式，而在于将数据转化为可落地的商业行动。脱离业务场景的分析只是 “纸上谈兵” ...
2025-11-05教材入口：https://edu.cda.cn/goods/show/3151 “纲举目张，执本末从。” 若想在数据分析领域有所收获，一套合适的学习教材至 ...
2025-11-05教材入口：https://edu.cda.cn/goods/show/3151 “纲举目张，执本末从。” 若想在数据分析领域有所收获，一套合适的学习教材至 ...
2025-11-04【2025最新版】CDA考试教材：CDA教材一级：商业数据分析（2025）__商业数据分析_cda教材_考试教材 (cdaglobal.com) ...
2025-11-04在数字化时代，数据挖掘不再是实验室里的技术探索，而是驱动商业决策的核心能力 —— 它能从海量数据中挖掘出 “降低成本、提升 ...
2025-11-04在 DDPM（Denoising Diffusion Probabilistic Models）训练过程中，开发者最常困惑的问题莫过于：“我的模型 loss 降到多少才算 ...
2025-11-04在 CDA（Certified Data Analyst）数据分析师的工作中，“无监督样本分组” 是高频需求 —— 例如 “将用户按行为特征分为高价值 ...
2025-11-04当沃尔玛数据分析师首次发现 “啤酒与尿布” 的高频共现规律时，他们揭开了数据挖掘最迷人的面纱 —— 那些隐藏在消费行为背后 ...
2025-11-03这个问题精准切中了配对样本统计检验的核心差异点，理解二者区别是避免统计方法误用的关键。核心结论是：stats.ttest_rel（配对 ...
2025-11-03在 CDA（Certified Data Analyst）数据分析师的工作中，“高维数据的潜在规律挖掘” 是进阶需求 —— 例如用户行为包含 “浏览次 ...
2025-11-03在 MySQL 数据查询中，“按顺序计数” 是高频需求 —— 例如 “统计近 7 天每日订单量”“按用户 ID 顺序展示消费记录”“按产品 ...
2025-10-31在数据分析中，“累计百分比” 是衡量 “部分与整体关系” 的核心指标 —— 它通过 “逐步累加的占比”，直观呈现数据的分布特征 ...
2025-10-31在 CDA（Certified Data Analyst）数据分析师的工作中，“二分类预测” 是高频需求 —— 例如 “预测用户是否会流失”“判断客户 ...
2025-10-31
