Hadoop：分布式集群HDFS 、YARN等初次启动！

2020-06-03

上篇文章中我们通过克隆已有虚拟机并修改相应的参数配置将hadoop分布式集群搭建完成，接下来我们启动Hadoop分布式集群。 1、ssh免密登录 首先打开虚拟机软件VMware然后开启master、slave1、slave2三个虚拟机 ...

分布式集群参数master节点：DataNode、NameNode等相关配置

2020-06-03

之前的文章中我们已经将master节点的网络IP、hostname文件、hosts文件配置完成，接下来还有hadoop相关配置文件需要修改。今天我们来讲master节点hadoop的配置。 1、hdfs-site.xml 在hadoop的配置文件中与HDF ...

如何成为优秀的数据科学家

2022-11-07

数据科学就业市场正在迅速变化。能够建立机器学习模型曾经是只有少数杰出科学家才具备的一项精英技能。但是现在，任何具有基本编程经验的人都可以按照以下步骤来训练一个简单的scikit-learn或keras模型。招聘人员 ...

python初学者的自我修养，找到自己的方向

2020-09-23

作者：梁唐 来源： 早起Python 早起导读 今天这篇文章咱们来聊聊这个问题。对于我来说python的应用场景主要是机器学习、深度学习相关，对于其他的场景涉猎不多。因此本文的目的并不是列举出一系列小 ...

大数据与云计算相辅相成

2018-08-23

大数据与云计算相辅相成 大数据的价值开始日益受到重视，人们对数据处理的实时性和有效性的要求也在不断提高。现在对大数据的应用己经不局限于BI（商业智能）领域，在公共服务、科学研究等各方面，大数据也都在 ...

【智协慧同(北京)科技有限公司】招聘数据分析师

2018-07-04

【智协慧同(北京)科技有限公司】招聘数据分析师 智协慧同（北京）科技有限公司成立于2012年，致力成为世界领先的车辆数据智能公司，为汽车产业赋能。我们帮助汽车产业解决车辆数据分析的难题、感知复杂的行为/工况/ ...

普通程序员，如何转为当前紧缺的大数据相关人才？

2017-03-07

普通程序员，如何转为当前紧缺的大数据相关人才？ 前段时间跟候选人聊天，一个有多年工作经验的资深 iOS 工程师告诉我，他最近正在学习 Machine Learning 相关的知识。他觉得，对于程序员来说，技术进步大大超 ...

数据挖掘与数据分析梳理

2016-10-11

数据挖掘与数据分析梳理 一、数据挖掘和数据分析概述 数据挖掘和数据分析都是从数据中提取一些有价值的信息，二者有很多联系，但是二者的侧重点和实现手法有所区分。 数据挖掘和数据分析的不同之处： ...

【上海智树信息科技有限公司】招聘数据分析师

2016-01-07

【上海智树信息科技有限公司】招聘数据分析师 上海智树信息科技有限公司（AtomTree），专业大数据平台技术服务商。 专注于提供分布式集群管理与服务，降低用户IT 成本，可视化操作让一切清晰可见，提高业务生 ...

Hadoop：集群网络介绍，及相关文件配置指南

2020-06-05

上篇文章中我们已经将之前配置好的伪分布集群虚拟机复制出来做为master节点的虚拟机，接下来我们还需对该虚拟机做进一步的配置来达到我们的要求。对master虚拟机的配置将从网络、hostname、更改Hadoop相关配置等几 ...

Hadoop：伪分布模式启动步骤分解及HDFS基本操作

2020-06-03

1、格式化HDFS 在运行伪分布式前，需先对NameNode进行格式化，在命令行中输入 hdfs namenode -format          # 格式化hdfs 若出现successfully formatted字 ...

大数据：Hadoop多节点集群搭建指南

2020-06-04

1、多节点集群架构设计 后续介绍的Hadoop多节点集群由三台计算机构成:一台主节点为master，两台从节点为slave1、slave2。 master节点上主要运行namenode、Resourcemanager 进程；slave节点上运行datanode、 ...

一文读懂非关系型数据库（NoSQL）

2020-04-20

NoSQL(NoSQL = Not Only SQL )，意即\"不仅仅是SQL\"。 现代计算系统每天在网络上都会产生庞大的数据量。这些数据有很大一部分是由关系型数据库管理系统（RDBMSs）来处理，其严谨成熟的数学理 ...

是什么让数据科学家从优秀变得伟大？

2019-09-04

作者 | Amadeus Magrabi 来源｜ 数据派THU 数据科学领域的劳动力市场正发生着快速的变化。曾经，能够搭建机器学习模型被认为是只有少数顶尖的数据科学家才能掌握的尖端技能，但如今，有一点 ...

不到两年，他是如何从外行进阶到参与Google人工智能项目

2018-02-09

不到两年，他是如何从外行进阶到参与Google人工智能项目 这篇访谈稿采访到成文用时约三周的时间，虽然对今天的这位嘉宾认识不深，但是你会发现从他的字里行间满满的谦恭，对知识的渴求，和自己进步的鞭策。 ...

什么是大数据？你需要知道的…..

2017-11-05

什么是大数据？你需要知道的….. 分析大量数据只是使大数据与以前的数据分析不同的部分原因之一。让我们来从下面三个方面看看。 我们每天都在吃饭，睡觉，工作，玩耍，与此同时产生大量的数据。根据IBM调 ...

大数据分析如何在企业中落地？

2017-07-24

一、大数据分析师和JAVA程序员有什么区别？ Hadoop架构基于java程序设计，因此大批的IT人士在大数据时代找到了自己的职业锚，而且最快地进入了这个行业，成为了最早的大数据分析师。但IT人士的宿命就在 ...

一文读懂19款数据分析软件,解救选择困难症！

2016-10-20

一、什么是数据分析？ 数据分析既是一门艺术，所谓艺术就是结合技术、想象、经验和意愿等综合因素的平衡和融合。数据分析的目的就是帮助我们把数据（Data）变成信息（Information），再从信息变成知识（Knowledge） ...

电信级数据流量与监控系统部署案例分享

2016-04-17

电信级数据流量与监控系统部署案例分享 编者按：挖掘用户的行为习惯和喜好，在凌乱纷繁的数据背后找到更符合用户兴趣和习惯的产品和服务，并对产品和服务进行针对性地调整和优化，这就是大数据的价值。今天 ...

重构数据处理架构 让大数据更智能

2015-12-08

重构数据处理架构 让大数据更智能 智慧城市的管理中，视频监控发挥着越来越重要的作用。随着视频监控数据量的飞速增长，工作人员在用传统方式对视频进行分析和检索的时候遇到了很大的挑战。而大数据技术 ...