gracejpw1117

Tensorflow介绍(六)

压缩的必要性很显然,在计算图中,张量在节点之间流动。在流到达可以处理的节点之前,减少流造成的延迟非常重要。一个方法是使用有损压缩减小尺寸。张量的数据类型可以发挥重要作用,让我们来理解为什么。很明显机器学习中的操作中有更高的精度。例如,如果我们使用float32作为张量的数据类型,那么每个值都表示为32位浮点数,因此每个值占用32位的大小,这同样适用于64位。假设一个形状为(1000,440,440

24.7062 5 0
  • 关注作者
  • 收藏
gracejpw1117

Tensorflow介绍(五)

在worker之间交换数据现在我们知道Tensorflow将其所有操作分配到由worker管理的不同设备上。更常见的是,worker之间交换张量形式的数据,例如在e =(c)*(d)的图表中,一旦计算出c,就需要将其进一步传递给e,因此Tensor在节点间前向流动。 该流动如图所示:此处张量从设备A传递到设备B。这在分布式系统中引起了一些性能延迟。延迟取决于一个重要属性:张量大小。设备B处于空闲模

24.6765 4 2
  • 关注作者
  • 收藏
gracejpw1117

Tensorflow介绍(四)

计算子图子图是主图的一部分,其本身就是计算图。例如,在上面的图中,我们可以获得许多子图,其中之一如下所示上面的图是主图的一部分,从属性2我们可以说子图总是表示一个子表达式,因为c是e的子表达式。 子图也满足最后一个属性。同一级别的子图也相互独立,可以并行执行。因此可以在一台设备上调度整个子图。上图解释了子图的并行执行。这里有2个矩阵乘法运算,因为它们都处于同一级别,彼此独立,这符合最后一个属性。由

0.3821 3 2
  • 关注作者
  • 收藏
gracejpw1117

Tensorflow介绍(三)

分布执行Tensorflow允许用户使用并行计算设备更快地执行操作。计算的节点或操作自动调度进行并行计算。这一切都发生在内部,例如在上图中,可以在CPU上调度操作c,在GPU上调度操作d。下图展示了两种分布式执行的过程:第一种是单个系统分布式执行,其中单个Tensorflow会话(将在稍后解释)创建单个worker,并且该worker负责在各设备上调度任务。在第二种系统下,有多个worker,他们

0.3821 3 5
  • 关注作者
  • 收藏
gracejpw1117

Tensorflow介绍(二)

计算图(流, flow)现在我们理解了Tensor的含义,是时候了解流(Flow)了。流是指一个计算图或简单的一个图,图不能形成环路,图中的每个节点代表一个操作,如加法、减法等。每个操作都会导致新的张量形成。上图展示了一个简单的计算图,所对应的表达式为:e = (a+b)x(b+1)计算图具有以下属性:· 叶子顶点或起始顶点始终是张量。意即,操作永远不会发生在图的开头,由此我们可以推断

0.3821 3 1
  • 关注作者
  • 收藏
gracejpw1117

Tensorflow介绍(一)

Tensorflow是广泛使用的实现机器学习以及其它涉及大量数学运算的算法库之一。Tensorflow由Google开发,是GitHub上最受欢迎的机器学习库之一。Google几乎在所有应用程序中都使用Tensorflow来实现机器学习。TensorFlow的核心组件是通过边遍历所有节点的计算图和张量。张量(Tensor)在数学上,张量是N维向量,这意味着张量可以用来表示N维数据集。上面的图有点复

0.3821 3 0
  • 关注作者
  • 收藏

热门用户 换一批

本月PGC排行 总奖励

暂无数据