国家大力支持5G、人工智能、区块链、云计算、和大数据等前沿科技的发展。而随着存储数据的增加,存储服务器也慢慢变得多,同时存储压力也不断的上升,不仅增加了存储的高成本,同时这种传统的存储方式也在数据存储的安全性和可靠性方面存在很大的风险,一旦一台大型机器发生故障,那么总系统将可能处于不可用的状态,后果非常的严重。相比传统的集中式存储存在数据安全性和可靠性的问题,分布式存储就可以很好地解决这一痛点。
而在信息爆炸的时代,人类能获取的数据呈指数倍的增长,单纯在固定某个地点进行硬盘的扩充在容量大小、扩充速度、读写速度和数据备份等方面上的表现都无法达到一定的要求; 而且大数据处理系统的数据多是来自于客户,数据的种类多,存储系统要存储各种半结构化、非结构化的数据,如文档、图片、视频等,因此大数据的存储宜使用分布式文件系统来管理这些非结构化数据。
分布式存储是将数据分散存储在多立的设备上。传统的网络存储系统采用集中的存储服务器存放所有数据,存储服务器成为系统性能的瓶颈,也是可靠性和安全性的焦点,不能够满足大规模存储应用的需要。分布式网络存储系统采用可扩展的系统结构,利用多台存储服务器分担存储负荷,利用位置服务器定位存储信息,它不但提高了系统的可靠性、可用性和存取效率,还易于扩展。
星际文件系统,IPFS是一个互联网的底层协议,IPFS目标是打造一个更加开放、快速、安全的互联网。利用分布式哈希表解决数据的传输和定位问题,把点对点的单点传输改变成P2P(多点对多点)的传输,其中存储数据的结构是哈希链。
IPFS采用去中心化分布式存储彻底变革传统的HTTP集中式数据存储管理模式,使数据存储更安全,更长久,更高效,更经济。使用http协议每次需要从中心化的服务器下载完整的文件,比如说网页、视频、图片等,而ipfs“精确”搜索,大大节约成本。
IPFS分布式存储有着非常大的成长潜力,在美国45家云服务上市企业,总市值近2千亿美元,平均市值达16亿美元。整个云服务市场的份额大约在1万亿美金。