东哥IT笔记

东哥和系统设计开荒小分队的基地

Category: Big Data

0

Big Data

十个让你大吃一惊的大数据统计

所谓的大数据其实就真的是大的数据，所以我们在做这些统计的时候都需要仔细再仔细，那我们来看看这十个有关大数据的统计。 全球数据圈会从2018的33ZB增长到2025年的175ZB，每年大概会有26%的增长。然而只有大概9ZB的数据被真正的存储了，而这个数据在2015年才0.9ZB。而这些存储的数据大概只有三分之一的数据真的被使用了。 全球的HDD,SSD,以及LTO的年产量在2020年大概是1300十亿字节，到2025年大概是4500十亿字节，这其中HDD占据了大头，有机构预测在2025年，HDD将会占有超过80%的量， 另外SSD占有15%的量，另外最新的NVMe-NAND大概会占有5%的量。 HDD出货量在2010年的时候到达了峰值，大概是6.513亿单元，然后再2019年就降到3.163亿单元。HDD的出货量预计在后面几年会有所增长，因为存储的需求会继续增加。...

0

Big Data

商业洞察力所必须的数据探索和数据准备

什么是数据探索？ 数据探索或者探索数据分析（EDA）提供了一系列探索工具把我们对实时数据的基本理解变成数据分析。数据探索最终的结果是可以极大地提高我们对数据结构，数据的分布以及相互之间的关系的理解。数据探索也可以让数据科学家拥有之前难以获得的对商业的更好的洞悉。 数据探索是数据分析的第一步，理解商业数据是我们做出一个很好的决策的必要步骤，这其中就包括总结数据集的主要功能，比如它的大小，规律，特性，准确性等等。 这整个流程都是由数据分析的一个团队使用相应的分析工具以及一些高级的软件（比如R）来进行的。数据探索可以集合一些手工的方法加上一些自动化的工具比如数据可视化，图表以及初步的报告等。 什么是数据准备？...