大数据时代下的生活_数据分析师

最近几年IT都成长在一个大数据的环境下，大家动不动就要分布式，想想就搞大数据。有的网站明明访问量几台普通的服务器就可以搞定，非要弄分布式，挂着云计算的名字，却做着屌丝的事情。

　　虽然，大环境如此，但是为了沾上这种高大上的气息，也着手看一下这方面的书。

　　刚刚看完《大数据时代》这本书，感觉收获也蛮多的。习惯性的整理了一下书籍的思维导图

 　　这本书是国外人写的，但是内容上还比较符合国内目前的环境，毕竟国内的大数据发展起步还是要晚一点的。

　　个人吐槽

　　就从法律这方面来说，感觉国内的个人隐私方面法律就不怎么看重，因此即便某些软件或者网站侵犯了用户的个人隐私，用户也极少会采取一定的措施。况且很多网站或者软件在不显眼或者让人不在意的地方使用了 声明许可......简直是推卸责任的最佳方案。

　　就这点来说，书中提倡，不应该采用个人许可这种类似的手段来避免大数据的使用责任，而是应该由使用方来承担责任。

　　这样，使用数据的人就会在使用过程中，去了解什么地方可能触犯了用户的隐私，什么地方可能会让用户陷入尴尬的困境，从而使用模糊化或者匿名化的手段来避免。

　　模糊化就是不给出数据的具体内容，只是粗略的描述。

　　而匿名化就好理解了，就是隐藏掉用户的关键信息。

　　就目前的互联网公司，也有很多公司根本不注重这种细节，就我特别反感的一点来说：

　　京东目前应该说是互联网产业很火的一个产品了...由于它的东西很多都是京东自营的，质量上总是感觉比淘宝要有保障。因此，我买东西能在京东上买，就绝对不会去淘宝。但是京东的购物历史，却很是让人尴尬！

　　比如下面这些标红的地方，是购物的评价区

 　　点击上面的用户名，就直接可以看到这个人的消费历史。当然这个历史记录是可以关闭，不显示的。但是默认上来都是开启的，一般用户也不会在意。但是如果查看某XX斯这种尴尬的产品，查看其用户，就可以发现很多有意思的购物历史。

　　这里就当做一个吐槽吧！这虽然不是什么大数据，购物历史应该说是简单的历史数据了。但是这也算是泄露了用户的隐私吧。

　　大数据流程

　　其次呢，我们目前的这种生活环境，每天会产生大量的数据，这些数据利用好了，可以为我们进行一定的数据可视化，分析或者预测出生活中一些即将发生，我们有意去关注的事情。

　　因此好坏参半，大数据的使用还要看具体来做什么。

　　总的来说，其中的商机以及潜在的机会都是非常大的，如何有效的搜集数据，如何有效的利用分析数据才是目前最应该关注的事情。

　　大体上无非都是这些步骤：

　　1 数据一般都是某些应用的记录，或者消息

　　2 有了数据，需要对数据进行有效的采集，存储，查询。

　　这里就涉及到 一定的技术了，采集需要对业务进行分析，在有效的地方进行记录。存储需要考虑数据的增长量，或者安全性，是否会由于庞大的数据而存不存下，是否会因为某些 故障而漏掉信息，这个时候就要高一些分布式存储之类的了。最后的查询，可能会设计到一些搜索啊，MapReduce之类的。

　　3 数据已经有了，就要对数据进行分析了。这一块基于某些业务肯定有不同的搜集方法，具体看业务而定吧。

　　4 数据的用途：既可以采取数据的可视化进行数据的直观展现，也可以利用数据进行一些趋势动向的分析预测，还可以进行某些特定预测的预警等等。

　　大数据的时代，重要的是数据的搜集，相关的技术，以及如何使用这些数据。

　　以上的博文，纯属个人的无聊记录与吐槽，设计到某些互联网的公司的部分，也是纯属希望能够做得更好。

　　正如书中的最后一句话，凡是过去，皆为序曲。

　　个人理解，过去的历史数据可能就直接丢掉了，但是现在我们应该利用这些数据，去做更有价值的事情。

最近几年IT都成长在一个大数据的环境下，大家动不动就要分布式，想想就搞大数据。有的网站明明访问量几台普通的服务器就可以搞定，非要弄分布式，挂着云计算的名字，却做着屌丝的事情。

　　虽然，大环境如此，但是为了沾上这种高大上的气息，也着手看一下这方面的书。

　　刚刚看完《大数据时代》这本书，感觉收获也蛮多的。习惯性的整理了一下书籍的思维导图

 　　这本书是国外人写的，但是内容上还比较符合国内目前的环境，毕竟国内的大数据发展起步还是要晚一点的。

　　个人吐槽

　　就从法律这方面来说，感觉国内的个人隐私方面法律就不怎么看重，因此即便某些软件或者网站侵犯了用户的个人隐私，用户也极少会采取一定的措施。况且很多网站或者软件在不显眼或者让人不在意的地方使用了 声明许可......简直是推卸责任的最佳方案。

　　就这点来说，书中提倡，不应该采用个人许可这种类似的手段来避免大数据的使用责任，而是应该由使用方来承担责任。

　　这样，使用数据的人就会在使用过程中，去了解什么地方可能触犯了用户的隐私，什么地方可能会让用户陷入尴尬的困境，从而使用模糊化或者匿名化的手段来避免。

　　模糊化就是不给出数据的具体内容，只是粗略的描述。

　　而匿名化就好理解了，就是隐藏掉用户的关键信息。

　　就目前的互联网公司，也有很多公司根本不注重这种细节，就我特别反感的一点来说：

　　京东目前应该说是互联网产业很火的一个产品了...由于它的东西很多都是京东自营的，质量上总是感觉比淘宝要有保障。因此，我买东西能在京东上买，就绝对不会去淘宝。但是京东的购物历史，却很是让人尴尬！

　　比如下面这些标红的地方，是购物的评价区

 　　点击上面的用户名，就直接可以看到这个人的消费历史。当然这个历史记录是可以关闭，不显示的。但是默认上来都是开启的，一般用户也不会在意。但是如果查看某XX斯这种尴尬的产品，查看其用户，就可以发现很多有意思的购物历史。

　　这里就当做一个吐槽吧！这虽然不是什么大数据，购物历史应该说是简单的历史数据了。但是这也算是泄露了用户的隐私吧。

　　大数据流程

　　其次呢，我们目前的这种生活环境，每天会产生大量的数据，这些数据利用好了，可以为我们进行一定的数据可视化，分析或者预测出生活中一些即将发生，我们有意去关注的事情。

　　因此好坏参半，大数据的使用还要看具体来做什么。

　　总的来说，其中的商机以及潜在的机会都是非常大的，如何有效的搜集数据，如何有效的利用分析数据才是目前最应该关注的事情。

　　大体上无非都是这些步骤：

　　1 数据一般都是某些应用的记录，或者消息

　　2 有了数据，需要对数据进行有效的采集，存储，查询。

　　这里就涉及到 一定的技术了，采集需要对业务进行分析，在有效的地方进行记录。存储需要考虑数据的增长量，或者安全性，是否会由于庞大的数据而存不存下，是否会因为某些 故障而漏掉信息，这个时候就要高一些分布式存储之类的了。最后的查询，可能会设计到一些搜索啊，MapReduce之类的。

　　3 数据已经有了，就要对数据进行分析了。这一块基于某些业务肯定有不同的搜集方法，具体看业务而定吧。

　　4 数据的用途：既可以采取数据的可视化进行数据的直观展现，也可以利用数据进行一些趋势动向的分析预测，还可以进行某些特定预测的预警等等。

　　大数据的时代，重要的是数据的搜集，相关的技术，以及如何使用这些数据。

　　以上的博文，纯属个人的无聊记录与吐槽，设计到某些互联网的公司的部分，也是纯属希望能够做得更好。

　　正如书中的最后一句话，凡是过去，皆为序曲。

　　个人理解，过去的历史数据可能就直接丢掉了，但是现在我们应该利用这些数据，去做更有价值的事情。CDA数据分析师培训官网