14 October 2022

分布式存储系统理论笔记

• 戌米的论文笔记的笔记
• 分布式数据存储系统的CAP理论
• GFS的设计架构

戌米的论文笔记的笔记

逛B站发现一个很不错的up主，他会发一些计算机方面的论文解析视频，我观看后有许多新的知识收获,以此文来作为我的观看笔记.

分布式数据存储系统的CAP理论

• Consistency(一致性) Every read receives the most recent write or an error.
• Availability(可用性) Every request receives a (non-error) response, without the guarantee that it contains the most recent write.
• Partition tolerance(分区容错) The system continues to operate despite an arbitrary number of messages being dropped (or delayed) by the network between nodes. 该理论认为在任何的分布式数据存储系统中这三个因素只能完整的兼顾到两个，另一个不能百分百的兼顾到。 因此在分布式数据存储系统中需要根据实际应用场景来权衡这三个因素。 最开始提出时只是一个假设，后来被证明了。

GFS的设计架构

1. 整体架构 GFS 由一个master 节点和多个chunkcluster 组成。 master 主要存储元数据，即数据存储的结构以及所在的位置来 GFS 通过将大文件分割成 chunk,把chunk 存储在集群中的的不同节点来保证大文件存储时的效率。 通过对数据的多副本（3份）分布来保证数据的冗余，不会因为单个节点宕机，造成数据丢失的问题。