S3mper
9月13日#成都#源创会,Swift、Docker、云计算、大数据!
S3mper 是通过一致的,二级索引对亚马逊 S3 索引做额外的一致性检查。
S3mper 利用面向方面编程和 AspectJ 实现来引导 Hadoop 文件系统实现(主要是实现 NativeS3FileSystem),和额外的逻辑,进行反复的二次索引的一致性检查。
二级索引默认使用 DynamoDB,因为它的服务提供速度,一致性和可用性的保证。轻量级的表模式设计速度非常快,不会影响文件系统的性能。
表结构:
Hash Key: path | Range Key: file | epoch | deleted | dir | linkPath | linkFile |
---|---|---|---|---|---|---|
//<bucket>/<path> | <filename> | <timestamp> | <flag> | <flag> | N/A | N/A |
epoch[^2] | <timestamp+entropy> | N/A | N/A | N/A | //<bucket>/<path> | <filename> |