你真的会玩SQL吗？之逻辑查询处理阶段 最近要对数据库进行优化，但由于工作项目中已经很少亲自写SQL而且用的都不是很复杂的语句，所以有些生疏了，于是翻翻N年前的笔记资料，想以此来记录回顾总结一些实用的SQL ...
2017-05-21
0基础搭建Hadoop大数据处理-环境 由于Hadoop需要运行在Linux环境中，而且是分布式的，因此个人学习只能装虚拟机，本文都以VMware Workstation为准，安装CentOS7，具体的安装此处不作过多介绍，只作需要用到的知 ...
2017-05-21
提升数据建模的10种技术措施 随着企业有了能够轻松访问和分析数据以提高性能的新机会，数据建模也是变形的。数据建模不仅仅是任意组织数据结构和关系，还必须与最终用户的需求和问题联系起来，并提供指导，帮助 ...
2017-05-21
0基础搭建Hadoop大数据处理-初识 在互联网的世界中数据都是以TB、PB的数量级来增加的，特别是像BAT光每天的日志文件一个盘都不够，更何况是还要基于这些数据进行分析挖掘，更甚者还要实时进行数据分析，学习， ...
2017-05-21
Hadoop集群搭建 目的 本文描述了如何安装、配置和管理有实际意义的Hadoop集群，其规模可从几个节点的小集群到几千个节点的超大集群。 如果你希望在单机上安装Hadoop玩玩，从这里能找到相关细节。 先决 ...
2017-05-21
Hadoop面试中6个常见的问题及答案 准备好面试了吗？呀，需要Hadoop的知识！！？不要慌！这里有一些可能会问到的问题以及你应该给出的答案。 Q1.什么是Hadoop？ Hadoop是一个开源软件框架，用于存储大量数 ...
2017-05-21
关于数据分析思路的4点心得 1.看数据的纬度 在对一款产品或者一款产品的其中的一个模块进行分析时，我们可以从两个大纬度去分析数据。 首先是从广阔的视角先去查看数据，这里需要对该产品所处的行业数据 ...
2017-05-20
商业数据挖掘的几种应用场景和主题 数据挖掘涉及到公司运营的方方面面，这包括对企业部门经营情况的评估、内部员工的管理、生产流程的监管、产品结构优化与新产品开发、财务成本优化、市场结构的分析和客户关系 ...
2017-05-20
关于如何解释机器学习的一些方法 到现在你可能听说过种种奇闻轶事，比如机器学习算法通过利用大数据能够预测某位慈善家是否会捐款给基金会啦，预测一个在新生儿重症病房的婴儿是否会罹患败血症啦，或者预测一位 ...
2017-05-20R语言并行计算的原理和案例 众所周知，在大数据时代R语言有两个弱项，其中一个就是只能使用单线程计算。但是R在2.14版本之后，R就内置了parallel包，强化了R的并行计算能力。 parallel包实际上整合了之前已 ...
2017-05-20
机器学习需要哪些数学基础 过去的几个月中，有几人联系我，诉说他们对尝试进入数据科学的世界，以及用机器学习的技术去探索统计规律并构建无可挑剔的数据驱动型产品的热忱。然而，我发现一些人实际上缺乏必要的 ...
2017-05-20
R语言：关联规则+时间因素=序贯关联规则 序贯模型=关联规则+时间因素。 今天下午基本上把通过arulesSequences来进行序列模式挖掘搞明白了，晚上又把arulesSequences中最重要的函数cspade查看了一下。Mark一下。 ...
2017-05-19
python实现六大分群质量评估指标（兰德系数、互信息、轮廓系数） 1 R语言中的分群质量——轮廓系数 因为先前惯用R语言，那么来看看R语言中的分群质量评估，节选自笔记︱多种常见聚类模型以及分群质量评估（聚类 ...
2017-05-19
R语言︱词典型情感分析文本操作技巧汇总（打标签、词典与数据匹配等） 情感分析中对文本处理的数据的小技巧要求比较高，笔者在学习时候会为一些小技巧感到头疼不已。 主要包括以下内容： 1 批量读取txt ...
2017-05-19
R语言︱集合运算—小而美法则 集合运算的一般规则如下： union(x,y) #求并集 intersect(x,y) #求交集 setdiff(x,y) #求属于x而不属于y的所有元素 setequal(x,y) #判断x与y是否相等 a %in% y #判断a是否为y ...
2017-05-19数据挖掘：层次性和时髦性 在银行做了两年的数据分析和挖掘工作，较少接触互联网的应用场景，因此，一直都在思考一个问题，“互联网和金融，在数据挖掘上，究竟存在什么样的区别”。在对这个问题的摸索和理解过 ...
2017-05-19做好数据挖掘模型必读的9条高端经验总结 数据挖掘是利用业务知识从数据中发现和解释知识(或称为模式)的过程，这种知识是以自然或者人工形式创造的新知识。 当前的数据挖掘形式，是在20世纪90年代实践领 ...
2017-05-19
用Python处理数据集中的缺失值 现实生活中的数据经常存在缺失值。产生缺失值的原因有很多，如观察资料未被记录、数据损坏等。由于很多机器学习算法不支持存在缺失值的数据集，正确处理缺失值就显得比较重要了。 ...
2017-05-18
Python做文本挖掘的情感极性分析 「情感极性分析」是对带有感情色彩的主观性文本进行分析、处理、归纳和推理的过程。按照处理文本的类别不同，可分为基于新闻评论的情感分析和基于产品评论的情感分析。其中，前 ...
2017-05-18
Python代码在实践过程中的经验总结 关于Python脚本，在具体的实践过程中经常会遇到一些问题，下面将其总结，便于使用。考虑使用 Logger(logger 怎么配置，需要输出哪些信息 — 可以反向考虑，比方说看到这个 lo ...
2017-05-18CDA数据分析师 出品 作者：李诗怡 一、数据分析四大思维 1. 对比思维：没有对比就没有分析 核心观点：单独一个数字没有意义，有 ...
2026-10-05Kimball 是方法，星型模型是它产出的形状。 很多人把"Kimball vs 星型模型"当成一道选择题——这本身就是个误会：Kimball 是动词 ...
2026-10-05写在开头 老板在微信上甩来一句： "帮我看下为什么销量跌了。" ” 你回工位，打开 SQL，开始写。查订单表、拉近三个月、按 ...
2026-10-03CDA数据分析师 出品 作者：李诗怡 1. 事实表 vs 维度表 对比维度 事实表 维度表 核心问题 记录“业务发生了什么事” 描述 ...
2026-10-02做数据聚合时，PySpark的groupBy()确实能完成统计，这也是它的本职工作。但它有一个根本性局限：每一组数据，最终只能返回一行 ...
2026-10-01热力地图是数据可视化中极具辨识度与实用性的空间分析图表，结合地理空间维度与数据密度特征，通过颜色深浅、色阶渐变直观展示数 ...
2026-09-30 很多数据分析师做过按月份的销售额趋势图，画过按天的流量折线图，但当被问到“时间序列和普通数据有什么本质区别”“季节性 ...
2026-09-30同样是“银行数据岗”，在国有大行总行数据中心、在一家城商行的零售部、在银行系金融科技子公司、在保险公司，工作内容、成长节 ...
2026-09-29在数据分析与统计学研究中，数据往往不是独立存在的，不同变量之间普遍存在相互关联、相互影响的关系。相关性统计分析是挖掘变量 ...
2026-09-29 导读：大多数人只把 dataclasses 当成偷懒工具，用来少写 __init__、__repr__ 这类魔法方法。但它的能力远不止于此。本文带 ...
2026-09-29 很多数据分析师能熟练地计算指标、搭建标签体系，但当被问到“画像到底在解决什么问题”“画像和标签是什么关系”“画像如何 ...
2026-09-29在MySQL数据库运维与业务开发中，行业普遍存在“数据达到千万级就必须分表”的说法。但在实际生产环境中，千万条数据并不是强制 ...
2026-09-28CDA数据分析师 出品 作者：李诗怡 1. 5W1H 分析法 定义：经典系统性思维框架，通过六个核心维度对问题进行全方位拆解与剖析，确 ...
2026-09-28 很多分析师在设计标签时思路清晰，但真到落地环节却面临“数据在手，不知如何转化为可用标签”的困境：或因加工方式选择不当 ...
2026-09-28CDA数据分析师 出品 作者：李诗怡 1. 用户标签体系 定义： 通过一系列高度精炼的特征标识，对用户属性、行为与偏好进行量化刻画 ...
2026-09-24Pandas是Python生态中用于表格数据处理的核心库，广泛应用于数据清洗、统计运算、报表输出、数据分析建模等场景。在处理极大数值 ...
2026-09-24随着数字经济快速发展，数据已成为核心生产要素，各行各业的业务沉淀、用户行为、设备运行、市场交易均产生海量数据。数据处理作 ...
2026-09-24 很多分析师每天和数据打交道，但当被问到“标签是什么”“标签和指标有什么区别”“标签体系如何设计”时，却常常答不上来。 ...
2026-09-24在时序数据分析中，大部分业务数据并非持续平稳变化，而是会在某些时间节点出现突然抬升、断崖下跌、趋势反转、波动异变等现象， ...
2026-09-23在统计学与数据分析中，研究多组数据差异最常用的方法为单因素方差分析与事后多重比较。很多数据分析初学者容易混淆两者功能，认 ...
2026-09-23
