大数据-数据科学专业问答社区-CDA答疑社区

热线电话：13121318867

登录

gracejpw1117

1、图的定义图是一个顶点集合Vertex和一个顶点间关系的集合Edge组成，记G=(V,E) V(Vertex)：顶点的有限非空集合。 E(Edge)：顶点间关系的有限集合（边集）。存在一个结点v，可能含有多个前驱节点和后继结点。例如：2、无向图和有向图无向图在G=(V,E)中，如果对于任意的结点a,b∈V，当(a,b)∈E时，必有(b,a)∈E（即关系R对称），此图称为无向图。无向图中

18.4267

2

3

0

关注作者

收藏

永洪科技

数据圈都在看，永洪新品发布直播大会干货集锦！

“BI是企业转型数字化最高效的方式之一。”知名调研分析机构很早就做出了这样的判断。7月9日，以《绽放科技创新力量，推进BI国产化替代》为主题的2020永洪科技新产品发布会与业界见面，聚焦BI与数据分析领域，以新态势、新产品、新方案助力企业数字化转型。1、新态势：国产化替代提速日本科学史学家汤浅光朝提出当一个国家的科学成果数量占世界科学成果总量25%的时候，就可以称之为世界科学中心，世界科学中心转移

18.4267

2

4

0

关注作者

收藏

张敏玉

MySQL的分组查询

在 select 语句中，允许使用 group by 子句将查询结果按照一个或多个字段进行分组，字段值相同的为一组，对每个组进行聚合计算，实现数据的分组汇总。语法：select from [where ] group by select 后的字段名应该是分组字段和聚合字段。group by分组字段可

18.9188

5

2

0

关注作者

收藏

gracejpw1117

Flink的执行图（ExecutionGraph）

由Flink程序直接映射成的数据流图是StreamGraph，也被称为逻辑流图，因为它们表示的是计算逻辑的高级视图。为了执行一个流处理程序，Flink需要将逻辑流图转换为物理数据流图（也叫执行图），详细说明程序的执行方式。 Flink 中的执行图可以分成四层：StreamGraph -> JobGraph -> ExecutionGraph -> 物理执行图。StreamGraph：是根据用户通过

18.3890

2

1

0

关注作者

收藏

gracejpw1117

Flink程序与数据流（DataFlow）

所有的Flink程序都是由三部分组成的： Source 、Transformation和Sink。Source负责读取数据源，Transformation利用各种算子进行处理加工，Sink负责输出。在运行时，Flink上运行的程序会被映射成“逻辑数据流”（dataflows），它包含了这三部分。每一个dataflow以一个或多个sources开始以一个或多个sinks结束。dataflow类似于

18.3890

2

2

0

关注作者

收藏

gracejpw1117

Flink的分层api

最底层级的抽象仅仅提供了有状态流，它将通过过程函数（Process Function）被嵌入到DataStream API中。底层过程函数（Process Function）与 DataStream API 相集成，使其可以对某些特定的操作进行底层的抽象，它允许用户可以自由地处理来自一个或多个数据流的事件，并使用一致的容错的状态。除此之外，用户可以注册事件时间并处理时间回调，从而使程序可以处理复

18.3890

2

1

0

关注作者

收藏

gracejpw1117

流与批的世界观

批处理的特点是有界、持久、大量，非常适合需要访问全套记录才能完成的计算工作，一般用于离线统计。流处理的特点是无界、实时, 无需针对整个数据集执行操作，而是对通过系统传输的每个数据项执行操作，一般用于实时统计。在spark的世界观中，一切都是由批次组成的，离线数据是一个大批次，而实时数据是由一个一个无限的小批次组成的。而在flink的世界观中，一切都是由流组成的，离线数据是有界限的流，实时数据是一

18.3890

2

2

0

关注作者

收藏

gracejpw1117

事件驱动型(Event-driven)

事件驱动型应用是一类具有状态的应用，它从一个或多个事件流提取数据，并根据到来的事件触发计算、状态更新或其他外部动作。比较典型的就是以kafka为代表的消息队列几乎都是事件驱动型应用。与之不同的就是SparkStreaming微批次，如图：事件驱动型：

18.3890

2

1

0

关注作者

收藏

gracejpw1117

“Apache Flink是为分布式、高性能、随时可用以及准确的流处理应用程序打造的开源流处理框架”。Apache Flink是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。Flink被设计在所有常见的集群环境中运行，以内存执行速度和任意规模来执行计算。

0.0145

1

2

0

关注作者

收藏

gracejpw1117

Slot是对TaskManager的内存切分，所有Slot平均分配TaskManager的内存，每个Slot都有自己独立的内存，相互隔离。可以说Slot是Flink中的task的执行器，可以共享，即来自同一个Job的不同Task的Sub-Task（理解为Task的子集就行）进入同一个Slot，而且一个sub-task会以单独的线程来运行。这样一个Slot就可以跑玩一整个pipeline，Slot的

0.0145

1

4

0

关注作者

收藏

gracejpw1117

大数据平台+离线/实时数仓架构流程图

一张完整的大数据平台+离线/实时数仓架构流程图

18.3890

2

2

0

关注作者

收藏

gracejpw1117

Flink的JobManagers和TaskManager

与Hadoop、Yarn、Spark与K8S等分布式框架类似，Flink集群的软件架构也是经典的主从（Master/Worker）模式。Flink的主从部分分别为JobManager与TaskManager，两者的本质都是JVM进程，它们的具体职责为JobManagers：负责整个job的生命周期管理，包括资源申请，状态监控，协调、控制的执行过程如处理调度任务、保存checkpoint、容错等。T

0.0145

1

4

0

关注作者

收藏

指点迷金

刘铭诚：7.9原油利空出尽先涨后跌？现货黄金走势分析附今日操作建议

趋势做反了，要么转换思路跟随，要么就离场观望，不可以再行情创一次新高刚停下来时就马上空，再拉再空，一路空，路路空，这就有点带堵的味道了，真正赚钱的人未必是出手次数最多的人，在堵场，呆的时间越久，出手押注的频率越高，输的概率就越大，交易也是一样，涨跌都想做，看似累小成多，但常在海边走，哪有不湿鞋的道理，铭诚的建议就是看准了一次，尽量减少假设性的交易。因为，交易它不是计件的活，盈利与交易的次数没有必然

32.0260

2

1

0

关注作者

收藏

gracejpw1117

实时数仓和离线数仓数据架构的联系和区别

从数据架构图来看，实时数仓的数据架构会跟离线数仓有很多类似的地方。比如分层结构；比如说 ODS 、DWD、DWS、ADS，它们命名的模式可能都是一样的。尽管如此，实时数仓和离线数仓还是有很多的区别的。跟离线数仓主要不一样的地方，就是实时数仓的层次更少一些。DWD层以我们目前建设离线数仓的经验来看，数仓的第二层远远不止这么简单，一般都会有一些轻度汇总层这样的概念，其实第二层会包含很多层。ADS层另外

21.2509

3

2

0

关注作者

收藏

gracejpw1117

离线数仓数据的计算执行周期

大规模的数据往往无法通过一次或一个时间段计算完成，比如我需要统计今年的总收入。那我们不希望把计算压力都集中在最后，要统计数据的时候才把全年数据进行计算。我们要把计算压力分摊开，比如我们如果能提前把每个月的数据计算好，统计年的时候一加就可以了。要用月度或者周数据时候，就把每日算好的数据进行汇总。所以作为离线数据我们计算的单位周期是日。也就是每日进行一次计算，这样当日用户可以查看到截至前一日的数据的计

21.2097

2

0

0

关注作者

收藏

gracejpw1117

区分数据集市和数据仓库

数据集市：Date Market早在数据仓库诞生之初，一同并存的就有数据集市的概念。狭义上来讲数据集市，可以理解为数据仓库中为用户提供数据支撑的应用层，比如ADS层。广义上，数据集市，所有以主题划分的数据仓库中可供查阅的都可以成为数据集市，包括DWD,DWS,ADS层，甚至包括从hadoop中同步到RDS（关系型数据库服务(Relational Database Service)）的数据都可以成为

21.1955

1

1

0

关注作者

收藏

gracejpw1117

数仓分层结构图

ODS 层原始数据层，存放原始数据，直接加载原始日志、数据，数据保持原貌不做处理。DWD层明细数据层结构和粒度与ods层保持一致，对ods层数据进行清洗(去除空值，脏数据，超过极限范围的数据)，也有公司叫dwi。DWS层服务数据层以dwd为基础，进行轻度汇总。一般聚集到以用户当日，设备当日，商家当日，商品当日等等的粒度。在这层通常会有以某一个维度为线索，组成跨主题的宽表，比如一个用户的当日的签到

21.1955

1

2

0

关注作者

收藏

gracejpw1117

为什么要对数仓进行分层

1 把复杂问题简单化将一个复杂的任务分解成多个步骤来完成，每一层只处理单一的步骤，比较简单和容易理解。2 数据结构清晰每一个数据分层都有它的作用域，这样我们在使用表的时候能更方便地定位和理解。便于维护数据的准确性，当数据出现问题之后，可以不用修复所有的数据，只需要从有问题的步骤开始修复。3 提高数据的复用性规范数据分层，通过的中间层数据，能够减少极大的重复计算，增加一次计算结果的复用性。4 隔离原

21.1955

1

1

0

关注作者

收藏

gracejpw1117

数据仓库的概念

数据仓库，英文名称为Data Warehouse，可简写为DW或DWH。数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。它是单个数据存储，出于分析性报告和决策支持目的而创建。为需要业务智能的企业，提供指导业务流程改进、监视时间、成本、质量以及控制。分以下几层：ODS（原始数据）：Operation Data StoreDWD(数据清洗/DWI) data warehou

0.0000

0

3

0

关注作者

收藏

gracejpw1117

数据仓库的输入数据源和输出系统分别是什么？

输入系统：埋点产生的用户行为数据、JavaEE后台产生的业务数据、个别公司有爬虫数据。输出系统：报表系统、用户画像系统、推荐系统

21.1955

1

1

0

关注作者

收藏

<1…91011…75>

CDA考试动态

CDA报考指南