一种分布式文件系统的推送式数据预取机制

夏苑<sup>1</sup>,何映思<sup>2</sup>

doi:10.13718/j.cnki.xsxb.2018.05.017

西南师范大学学报(自然科学版)

留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
	姓名不能为空！
邮箱
	邮箱不能为空！非法的邮箱地址。
手机号码
	电话不能为空！请输入有效手机号!
标题
	标题不能为空！
留言内容
	内容不能为空！
验证码
	验证码不能为空！验证码错误！

一种分布式文件系统的推送式数据预取机制

夏苑1,何映思2. 一种分布式文件系统的推送式数据预取机制[J]. 西南师范大学学报(自然科学版), 2018, 43(5): 101-105. doi: 10.13718/j.cnki.xsxb.2018.05.017

引用本文:

夏苑¹,何映思². 一种分布式文件系统的推送式数据预取机制[J]. 西南师范大学学报(自然科学版), 2018, 43(5): 101-105. doi: 10.13718/j.cnki.xsxb.2018.05.017

XIA Yuan1, HE Ying-si2. Push Data Prefetching Scheme in a Distributed File System[J]. Journal of Southwest China Normal University(Natural Science Edition), 2018, 43(5): 101-105. doi: 10.13718/j.cnki.xsxb.2018.05.017

Citation:

XIA Yuan¹, HE Ying-si². Push Data Prefetching Scheme in a Distributed File System[J]. Journal of Southwest China Normal University(Natural Science Edition), 2018, 43(5): 101-105. doi: 10.13718/j.cnki.xsxb.2018.05.017

一种分布式文件系统的推送式数据预取机制

夏苑¹,何映思²

1. 西南大学经济管理学院, 重庆 400715;
2. 西南大学计算机与信息科学学院, 重庆 400715

Push Data Prefetching Scheme in a Distributed File System

XIA Yuan¹, HE Ying-si²

1. College of Economics and Management, Southwest University, Chongqing, 400715, China;
2. School of Computer and Information Science, Southwest University, Chongqing, 400715, China

摘要: 为了克服传统的数据预取机制的不足，提出了一种在分布式文件系统中存储服务器端的推送式数据预取机制.在达到减少网络通信的数据量和通信时延目的的同时，可以让运行客户端文件系统的计算节点从跟踪I/O操作和预测I/O操作的工作中脱离出来，减轻了客户端的工作负担，提高了存储系统的性能.
- 分布式系统 /
- 数据预取 /
- 云计算 /
- 大数据
Abstract: In order to overcome the shortcomings of the traditional data prefetching scheme, this paper proposes a push data prefetching scheme in a distributed file system. It can reduce the amount of data communication and network communication delay. At the same time, it can reduce the client's burden of work by freeing the computing nodes running the client file system from tracking I/O operation and predicting I/O operation. So our data prefetching scheme improves the performance of storage system.
- distributed system /
- data prefetching /
- cloud computing /
- big data .

[1]	YU W,VETTER J,CANON R S,et al.Exploiting Lustre File Joining for Effective Collective I/O[C]//IEEE International Symposium on CLUSTER Computing and the Grid (CCGRID '07). New York:IEEE Computer Society Press,2007.
[2]	SEHRISH S,SON S W,LIAO W K,et al.Improving Collective I/O Performance by Pipelining Request Aggregation and File Access[C]//Proceedings of the 20th European MPI Users' Group Meeting.Providence:ACM Press,2013.
[3]	周斌,毕传美.一种基于频繁项挖掘的大量小文件动态合并算法[J].中南民族大学学报(自然科学版),2016, 42(5):708-714.
[4]	KALLURKAR P,SARANGI S R.pTask:A Smart Prefetching Scheme for OS Intensive Applications[C]//IEEE/ACM International Symposium on Microarchitecture.New York:IEEE Computer Society Press,2016:1-12.
[5]	HE J,BENT J,TORRES A,et al.I/O Acceleration with Pattern Detection[C]//International Symposium on High-Performance Parallel and Distributed Computing.Providence:ACM Press,2013:25-36.
[6]	吴峰光,奚宏生,徐陈锋.一种支持并发访问流的文件预取算法[J].软件学报,2010,21(8):1820-1833.
[7]	郝杰, 逯彦博, 刘鑫吉, 等. 分布式存储中的再生码综述[J]. 重庆邮电大学学报(自然科学版), 2013, 25(1):30-38.
[8]	CHANG F,DEAN J,GHEMAWAT S,et al.Bigtable:A Distributed Storage System for Structured Data[J].Acm Transactions on Computer Systems,2008,26(2):1-26.
[9]	DEAN J,GHEMAWAT S.MapReduce:Simplified Data Processing on Large Clusters[J].Communication of ACM,2008,51(1):107-113.
[10]	温昱晖, 陈广勇, 赵劲涛, 等. 基于CP-ABE在云计算中实现数据访问控制的方案[J]. 重庆邮电大学学报(自然科学版), 2013, 25(5):658-664.