如何获取kafka某一topic中最新的offset？

2023-03-31

获取 Kafka 中某个 topic 最新的 offset 是一个常见的需求，特别是在数据处理和监控中。下面将简单介绍如何获取 Kafka 中某个 topic 的最新 offset。 在 Kafka 中，每个消息都有一个唯一的偏移量（offset），它表示 ...

Kubernetes和OpenStack到底是什么关系？

2023-03-27

Kubernetes和OpenStack都是开源软件，它们各自解决不同的问题。Kubernetes是一个容器编排平台，用于在云计算环境中管理和部署容器化应用程序。而OpenStack则是一个云计算平台，提供了一系列的基础设施服务，如虚拟机 ...

高并发的情况下（100W）,数据先存在Redis保证快速响应，然后怎么往MySql里面写？

2023-03-27

在高并发的情况下，为了保证系统的稳定性和性能，往往采用将数据先存储在Redis中，以保证快速响应。但是，Redis属于内存数据库，数据存储在内存中，当服务器宕机或者Redis进程被杀掉时，数据会丢失。因此，需要将数 ...

kafka和mqtt的区别是什么？

2023-03-23

Kafka和MQTT是两种不同的消息传递协议，它们都被广泛地应用于分布式系统中，为开发人员提供了高效、可靠和实时的消息传递机制。本文将会比较与总结这两种协议的特点和区别，并探讨如何选择适合自己的协议。 一、Kafk ...

部署Kubernetes(k8s)时，为什么要关闭swap、selinux、firewalld？

2023-03-22

在部署Kubernetes(k8s)时，关闭swap、selinux、firewalld是一些常见的最佳实践。这些步骤可以帮助确保你的集群以安全和稳定的方式运行。下面将逐一讨论这些最佳实践。 关闭swap Swap是Linux系统用来临时存储内存过 ...

大数据零基础学习

2022-11-07

虽说人生没有白走的路，新的一年来到，会的还是原来的知识，人的身价就摆在那里，无论怎么折腾，也不会拿到更好的offer。所以在年轻还有拼劲的时候多学学知识，寻找自身的不足，查漏补缺非常重要。今天小编给大家 ...

大数据工程师的必备技能有哪些

2022-11-07

1、大数据平台 目前很火，数据源头，各种炫酷新技术，搭建Hadoop、Hive、Spark、Kylin、Druid、Beam~，前提是你要懂Java，很多平台都是用Java开发的。 目前很多企业都把数据采集下来了，对于传统的业务数据 ...

如何成为优秀的数据科学家

2022-11-07

数据科学就业市场正在迅速变化。能够建立机器学习模型曾经是只有少数杰出科学家才具备的一项精英技能。但是现在，任何具有基本编程经验的人都可以按照以下步骤来训练一个简单的scikit-learn或keras模型。招聘人员 ...

什么是大数据分析？大数据分析常用方法有哪些？

2022-10-18

大数据分析是指对规模巨大的数据进行分析。大数据可以概括为5个V， 数据量大(Volume)、速度快(Velocity)、类型多(Variety)、价值（Value）、真实性（Veracity）。 大数据分析包含那些方面 不管是对数据分析专 ...

Hadoop招聘面试常见的问题和答案详解

2022-10-18

Q1.什么是 Hadoop? Hadoop 是一个开源软件框架，用于存储大量数据，并发处理/查询在具有多个商用硬件(即低成本硬件)节点的集群上的那些数据。总之，Hadoop 包括以下内容： HDFS(Hadoop Distributed File Sys ...

A/B测试：数据科学面试中的7个常见问题和答案，第1部分

2022-03-14

注意:这是本文的第一部分。您可以在这里阅读第二部分。 A/B测试，又称受控实验，在工业上被广泛应用于产品上市决策。它允许科技公司用一个用户子集来评估一个产品/特性，从而推断该产品可能如何被所有用户 ...

2021年成为数据科学家要学什么

2022-03-14

作者安德里亚·劳拉，自由作家 “数据科学家”的工作岗位和个人资料每年都在变化。它的工资也是如此，有趣的是，两者都在不断上涨。 随着数据科学家的平均工资突破12.5万美元大关，职位空缺数量增长65 ...

成为一名数据科学家后，我的学习道路发生了怎样的变化

2022-02-28

我对数据科学的热情始于大约两年半前。我在做一份与数据科学无关的工作。对我来说，转行是一个很大的挑战，因为我有很多东西要学。 经过两年的学习和奉献，我终于找到了第一份数据科学家的工作。当然，我 ...

数据科学不会在10年内灭绝，你的技能可能

2022-02-28

作为一个在数据科学领域工作了十多年的人，看到人们预言该领域将在10年内如何灭绝是令人沮丧的。给出的典型原因是emergingAutoMLtools将如何消除从业者开发自己算法的需求。 我发现这样的观点特别令人沮丧 ...

2022年最实用的11项数据科学技能

2022-02-28

许多“如何将科学数据化”的课程和文章，包括我自己的课程和文章，都倾向于强调统计学、数学和编程等基本技能。然而，最近，我通过自己的经历注意到，这些基本技能很难转化为实际技能，从而使你能够就业。 ...

我如何在18个月内把数据科学的收入增加了两倍

2022-02-21

大约18个月前，由于新冠肺炎疫情，我失去了工作。我在大学里做兼职家教。我从家教中得到的钱被用来支付食物、汽油和汽车等费用。 在政府对全国实施封锁限制后，我无法继续教学。我也上不了大学，只能在家学习。 ...

干货 | 数据分析实战案例——用户行为预测

2021-12-22

CDA数据分析师 出品 作者：CDA教研组 编辑：Mika 案例介绍 背景：以某大型电商平台的用户行为数据为数据集，使用大数据处理技术分析海量数据下的用户行为特征，并通过建立逻辑回归模型、随机森林 ...

神器 Spider！几分钟入门分布式爬虫

2021-09-27

作者：闲欢 来源：Python 技术 在上一篇文章《神器！五分钟完成大型爬虫项目！》，我们介绍了一个类似于 Scrapy 的开源爬虫框架——feapder，并着重介绍了该框架的一种应用——AirSpider，它是一个 ...

世界首富贝索斯环游太空11分钟，这些数据告诉你，值不值这2800万

2021-07-21

图中的四个人便是这次太空之旅的乘客，其中包括贝索斯本人，以及他的兄弟马克·贝索斯，83岁的女飞行员沃利·芬克，以及一名18岁的付费旅客奥利弗·戴曼。（说到这里要讲一下，2800万11分钟的太空之旅，这位 ...

人品大于能力？你身边是否有这种人，如果有，请远离他

2021-11-17

相信我们每一个人都听过一句话，在职场上能力重要还是人品重要？这个问题一直没有明确的答案，不少人认为人品大于能力，人品应居首位，其次是能力。还有人认为公司不会请一个没有能力的大好人。今天，我们就来 ...