京公网安备 11010802034615号
经营许可证编号:京B2-20210330
关于Kafka,相信大家都不陌生,一个消息流的处理平台,目前很多开发人员都把它当做一个生产&消费的中间件。今天小编就跟大家系统介绍一下Kafka,希望对大家有所帮助。
一、Kafka概念
Kafka是一个消息系统,用作LinkedIn的活动流(Activity Stream)和运营数据处理管道(Pipeline)的基础。Kafka是由LinkedIn开发出来的,一个分布式基于发布/订阅的消息系统,使用Scala进行编写。 Kafka具有更高的吞吐量,内置的分区也使得kafka具有更好的容错和伸缩性,这些特性使得 Kafka应用广泛,是大型消息处理应用的首选之策。
Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据。简单来理解,Kafka就像是一个邮箱,生产者可以当做发送邮件的人,消费者就是收邮件的人,Kafka是用来存东西的平台,只不过Kafka提供了一些处理邮件的机制。
二、Kafka基本架构
Broker:Kafka节点,一个Kafka节点就是一个broker,多个broker能够组成一个Kafka集群
Topic:一类消息,消息存放的目录也就是主题,比兔page view日志、click日志等,都能够以topic的形式存在,Kafka集群可以同时负责多个topic的分发
massage: Kafka中最基本的传递对象。
Partition:topic物理上的分组,每个topic包含partition,每个partition是一个有序的队列
Segment:partition物理上由多个segment组成,每个Segment存着message信息
Producer : 生产者,负责生产message发布到topic
Consumer : 消息消费者,订阅topic并消费message, consumer从broker拉取(pull)数据并进行处理。
Consumer Group:消费者组,一个Consumer Group包含多个consumer
Offset:偏移量,消息partition中的索引即可
三、Kafka优势
1. 分布式
大数据处理业务中极为重要的流处理框架,分布式是Kafka的天然属性。
2. 高性能:
Kafka高性能体现在两方面:(1)高吞吐量,最高能达到几十万每秒的级别的吞吐量;(2)低延时,这使得Kafka能够很好的配合SparkStreaming等其它流式处理框架的进行数据实时性处理。
3. 持久性和扩展性:
这两点是Kafka区别于其它消息队列的重要特点,主要体现在:(1)数据可持久化,(2) 容错性;(3)大水平方向上扩展;(4) 消息自动平等,避免热点问题。
四、Kafka常用场景
(1)消息队列
(2)网站活性跟踪
(3)可操作的监控数据
(4)日志收集
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
一、什么是本体 在知识图谱和语义建模里,本体(Ontology)是对一个领域内概念、属性、关系和实例的形式化描述。它回答三个问题 ...
2026-11-18一、K-S 曲线解决什么问题 风控评分卡、客户流失模型、欺诈识别模型建好之后,最核心的一个问题是:模型能不能把"会变坏"和"不会 ...
2026-11-18核心资源推荐 CDA教材(2025):https://edu.cda.cn/goods/show/3151CDA模拟题(2025):https://edu.cda.cn/goods/show/2845CD ...
2026-11-18核心资源推荐 CDA教材(2025):https://edu.cda.cn/goods/show/3151CDA模拟题(2025):https://edu.cda.cn/goods/show/2845CD ...
2026-11-18产品上线之后,真正回答"用户是谁、想要什么、卡在哪里"的,往往不是调研问卷,而是用户留下的一条条行为记录。点击、浏览、停留 ...
2026-11-17在日常数据库开发与报表查询中,日期格式几乎是最高频的"打交道"对象:页面上要展示 yyyy-MM-dd,接口要返回 ISO 8601 字符串, ...
2026-11-17核心资源推荐 CDA教材(2025):https://edu.cda.cn/goods/show/3151CDA模拟题(2025):https://edu.cda.cn/goods/show/2845CD ...
2026-11-17一、销售行业为什么离不开大数据分析 销售行业的本质是"把合适的产品,在合适的时间,卖给合适的人,并持续复购"。传统销售靠经 ...
2026-11-16一、什么是频数分布 拿到一批连续数据(员工年龄、商品价格、考试分数、订单金额),最想先看的往往不是平均值,而是数据集中在 ...
2026-11-16教育部办公厅关于成立全国数据职业教育教学指导委员会(2026—2030年)的通知 教职成厅函〔2026〕25号 各省、自治区、直辖市教 ...
2026-11-16CDA数据分析师 出品 作者:李诗怡 基础与单表查询 四大类语言 · 数据库基础 · DQL 单表查询 ” 一、SQL 四大类语言与数据 ...
2026-11-13核心资源推荐 CDA教材(2025):https://edu.cda.cn/goods/show/3151CDA模拟题(2025):https://edu.cda.cn/goods/show/2845CD ...
2026-11-13一、问题从哪来 财务分析里算增长率,常规公式所有人都会写: 增长率本年数上年数上年数 这个公式在"上年为正"时完全成立。但一 ...
2026-11-12一、什么是加权聚类 普通聚类默认"每个样本、每个指标都同等重要":距离公式里每个样本权重都是 1,每个指标在距离计算里占比相 ...
2026-11-12“纲举目张,执本末从。”若想在数据分析领域有所收获,一套合适的学习教材至关重要。一套优质且契合需求的学习教材无疑是那关键 ...
2026-11-12一、需求从哪来 做 Excel 报表时,"从一个透视表取数据"这个需求通常有三种来源: 汇总页引用:明细透视表在另一个 sheet,汇总 ...
2026-11-11一、透视表的价值在哪 一句话概括:数据透视表把"写公式汇总"变成了"拖字段看结果"。 传统做法要写 SUMIFS、COUNTIFS,改一个维 ...
2026-11-11核心资源推荐 CDA教材(2025):https://edu.cda.cn/goods/show/3151CDA模拟题(2025):https://edu.cda.cn/goods/show/2845CD ...
2026-11-11一、回归分析到底在解决什么问题 很多人学回归分析,是从公式开始的:最小二乘法、残差平方和、R²、t 检验。公式记住了,但一到 ...
2026-11-10一、等级聚类法是什么 等级聚类法(Hierarchical Clustering),中文也叫系统聚类法、层次聚类法,是聚类分析里最经典的一类方法 ...
2026-11-10