数据挖掘中常用的基本降维思路及方法总结

2021-06-29

来源：数据STUDIO 作者：云朵君 01、降维的意义 降低无效、错误数据对建模的影响，提高建模的准确性。 少量切具有代表性的数据将大幅 ...

盘点Python加密解密模块hashlib的7种加密算法

2021-05-28

来源：Python爬虫与数据挖掘 作者： 黄伟 前言 在程序中我们经常可以看到有很多的加密算法，比如说MD5 sha1等，今天我们就来了解下这下加密算法的吧，在了解之前我们需要知道一个模块嘛就是hashlib，他就 ...

再见云服务器！教你将 Python 脚本快速部署在手机上（详细）

2021-05-19

来源：AirPython 作者：星安果 1. 前言 大家好，我是安果！ 最近有读者后台给我留言，说这段时间云服务器涨价了，自己日常就运行一些简单的脚本，因此不太想入坑云服务器，问我能不能提供一个不一 ...

数据分析师知识点汇总（主成分分析）

2021-02-19

一、具体方法 1.主成分分析的具体方法 主成分分析是一类常用的针对连续变量的降维方法，选取能够最大化解释数据变异的成分，将数据从高维降到低维，同时 保证各个维度之间正交。 对变量的协方差矩阵或相关系 ...

聊聊python 办公自动化之 Word（中）

2020-11-24

作者：星安果  来源：AirPython（公众号） 上一篇文章，对 Word 写入数据的一些常见操作进行了总结，详情请看聊聊python 办公自动化之 Word（上）。相比写入数据，读取数据同样很实用！本篇文章， ...

数据分析师，这样才能指导运营，而不是被人追着要数!

2020-10-30

作者：接地气的陈老师 来源：接地气学堂 数据分析如何助力运营，直接上干货，开整！ 问题场景：某电商公司，近期通过数据发现有大量用户出现添加商品至购物车但不付款（简称：加购未购）的情况，运营 ...

6种数据格式对比，用Jupyter+pandas高效数据分析

2020-10-27

编译：刘早起(有删改) 来源：towardsdatascience、GitHub等 在使用python进行数据分析时，Jupyter Notebook是一个非常强力的工具，在数据集不是很大的情况下，我们可以使用pandas轻松对txt或csv等纯文 ...

刷爆网络的动态条形图，3行Python代码就能搞定

2020-10-26

作者：小伍哥 来源：AI入门学习 上次出了一个在网站「Flourish」画动态条形图的文章【动态条形图视频教程】，需要登录网址很多人可能觉得不方便，现在有大佬出了个python包，只需几行代码就能搞定动态条形图 ...

python之shutil模块11个常用函数详解

2020-09-03

作者：小伍哥  来源：AI入门学习 shutil 是 篇python 中的高级文件操作模块，与os模块形成互补的关系，os主要提供了文件或文件夹的新建、删除、查看等方法，还提供了对文件以及目录的路径操作 ...

深入浅出|深度学习算法之BP神经网络 详细公式推导

2018-08-29

深入浅出|深度学习算法之BP神经网络 详细公式推导 所谓神经网络，目前用得最广泛的一个定义是“的神经网络是由具有适应性简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体所做出 ...

海量数据分析处理方法

2018-08-24

海量数据分析处理方法 一、Bloom filter 适用范围：可以用来实现数据字典，进行数据的判重，或者集合求交集 基本原理及要点： 对于原理来说很简单，位数组+k个独立hash函数。将hash函数对应的值的位数 ...

用机器学习检测异常点击流

2018-08-18

用机器学习检测异常点击流 本文内容是我学习ML时做的一个练手项目，描述应用机器学习的一般步骤。该项目的目标是从点击流数据中找出恶意用户的请求。点击流数据长下图这样子，包括请求时间、IP、平台等特征： ...

9种人人都应该掌握的数据分析思维

2018-08-13

9种人人都应该掌握的数据分析思维 1. 分类 分类分析的目标是：给一批人（或者物）分成几个类别，或者预测他们属于每个类别的概率大小。    举个栗子：“京东的用户中，有哪些会在618中下单？” ...

当天文学遇到大数据

2018-08-02

当天文学遇到大数据 浩瀚的宇宙自古以来就一直吸引着人类进行不懈探索。天文学这门基于观测的最古老的自然科学，随着科技的进步，目前也迈进了大数据时代。 天文学是最早的数据驱动学科，云计算与大数据技术 ...

关于大数据与人工智能的未来

2018-07-24

关于大数据与人工智能的未来 看过几本大数据的书，吴博士这本，思路清晰，可读性强，于是，我不辞辛劳，从23万余字的著述中，摘要5千余字，试图厘清和记忆，并以此为基础拓展阅读。比如，李彦宏的《智能 ...

中国大数据算法大赛京东赛区冠军出炉 看京东如何玩转大数据

2018-07-22

中国大数据算法大赛京东赛区冠军出炉 看京东如何玩转大数据 7月19日，中国大数据算法大赛京东赛区——京东JDATA算法大赛决赛在京东总部举行，经过激烈角逐，Trident团队夺得大赛冠军，独得50万大奖。本次大赛是 ...

实现潜在大数据交付的七个步骤

2018-07-12

实现潜在大数据交付的七个步骤 大数据趋势代表了不断变化的处理大量数据的需求，需要新的技术解决方案，而不一定是老一代的数据库处理方式。那么，企业开始与大数据打交道时需要考虑哪些因素呢？   & ...

用大数据更好地为群众服务

2018-06-30

用大数据更好地为群众服务 从房产证到不动产权证,两年半的时间变化的不只是名称,更是服务和效率。数据联网、一窗式办理、减少资料提交、“T+1”隔日办结、零跑腿、驻点服务……每一项便民措施的背后,都是济南市 ...

透视数据中心变更 应对“大数据”分析

2018-06-29

透视数据中心变更 应对“大数据”分析 到目前为止，你的大数据分析和商业智能项目还在顺畅地自行运转。但从长远来看，通过对现有架构进行简单扩展来保持顺畅的数据访问可能不是最好的解决办法。   &n ...

如何对混合型数据做聚类分析

2018-06-10

如何对混合型数据做聚类分析  利用聚类分析，我们可以很容易地看清数据集中样本的分布情况。以往介绍聚类分析的文章中通常只介绍如何处理连续型变量，这些文字并没有过多地介绍如何处理混合型数据（如同 ...