溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務條款》

使用mmap實現多進程對大文件拷貝

發布時間:2020-10-18 19:41:21 來源:腳本之家 閱讀:224 作者:hj605635529 欄目:編程語言

本文實例為大家分享了mmap實現文件多進程拷貝,供大家參考,具體內容如下

假設有一個超大文件,需對其完成拷貝工作。為提高效率,可采用多進程并行拷貝的方法來實現。假設文件大小為len,共有n個進程對該文件進行拷貝。那每個進程拷貝的字節數應為len/n。但未必一定能整除,我們可以選擇讓最后一個進程負責剩余部分拷貝工作??墒褂胠en % (len/n)將剩余部分大小求出。

為降低實現復雜度,可選用mmap來實現源、目標文件的映射,通過指針操作內存地址,設置每個進程拷貝的起始、結束位置。借助MAP_SHARED選項將內存中所做的修改反映到物理磁盤上。

使用mmap實現多進程對大文件拷貝

思路:

//1. 指定創建子進程的個數
//2. 打開源文件
//3. 打開目的文件, 不存在則創建
//4. 獲取文件大小
//5. 根據文件大小拓展目標文件
//6. 為源文件創建映射
//7. 為目標文件創建映射
//8. 求出每個子進程該拷貝的字節數
//9. 創建N個子進程
//10. 子進程完成分塊拷貝(注意最后一個子進程拷貝起始位置)
//11. 釋放映射區

代碼如下:

#include<stdio.h>
#include<stdlib.h>
#include <sys/types.h>
#include <sys/stat.h>
#include <unistd.h>
#include <sys/mman.h>
#include<sys/wait.h>
#include<string.h>
#include <fcntl.h>
 
 
int main(int argc,char*argv[])
{
 int n;
 if(argc < 3 || argc > 4)
 {
 printf("Enter like this : ./a.out file_src file_dst [proc_number]\n");
 exit(1);
 }
 else if(argc == 3) //用戶未指定,默認創建5個進程。
 n = 5;
 else
 n = atoi(argv[3]);
 
 //2.打開源文件
 int fd_src = open(argv[1],O_RDONLY);
 if(fd_src < 0)
 {
 perror("open");
 exit(2);
 }
 //3.打開目標文件,不存在就創建,存在則截斷為0的大小。
 int fd_dst = open(argv[2],O_RDWR |O_CREAT |O_TRUNC,0664);
 if(fd_dst < 0)
 {
 perror("open");
 exit(3);
 }
 //4.獲取源文件大小。
 struct stat sbuf;
 int ret = fstat(fd_src,&sbuf); //fd_src所指向的文件信息保存到結構體sbuf中。
 if(ret < 0)
 {
 perror("fstat");
 exit(4);
 }
 int flen = sbuf.st_size; //源文件大小。
 if(flen < n) //文件長度小于進程個數。
 {
 n = flen;
 }
 //5.根據文件大小拓展目標文件。
 ret = ftruncate(fd_dst,flen);//將參數fd指定的文件大小改為參數length指定的大小
 if(ret < 0)
 {
 perror("ftruncate");
 exit(5);
 }
 //6.為源文件創建映射。
// void *mmap(void *addr, size_t length, int prot, int flags, int fd, off_t offset);
//addr == NULL,表示內核選擇一個合適的地址創建一個length大小的共享內存,
 char *mp_src = (char*)mmap(NULL,flen,PROT_READ,MAP_SHARED,fd_src,0); //0,表示將fd_src所指向的文件從起始映射到共享內存中,共享內存的權限為只讀,進程間共享。
 if(mp_src == MAP_FAILED) //mmap一定要檢查返回值。
 {
 perror("mmap");
 exit(6);
 }
 close(fd_src);
 
 //7.為目標文件創建映射。
 char *mp_dst = (char*)mmap(NULL,flen,PROT_READ|PROT_WRITE,MAP_SHARED,fd_dst,0);
 if(mp_dst == MAP_FAILED) //mmap一定要檢查返回值。
 {
 perror("mmap");
 exit(7);
 }
 close(fd_dst);
 
 //8.求出每個進程拷貝的字節數。
 int bs = flen / n;
 int mod = flen % bs; //求出均分后余下的字節數,讓最后一個子進程處理。
 
 char *temp_src = mp_src;
 char *temp_dst = mp_dst;
 
 //9.創建n個子進程。
 int i ;
 pid_t pid;
 for(i = 0; i < n; ++i)
 {
 printf("create %dth proc\n",i);
 if( (pid =fork()) == 0 )
  break;
 }
 if(n == i) //父進程。
 {
 int j = 0;
 for(j = 0; j < n; ++j)
  wait(NULL);
 }
 else if(i == (n-1)) //10.子進程拷貝,最后一個子進程,它多處理均分后剩下的字節數。
 {
 printf("i = %d\n",i);
 memcpy(temp_dst+i*bs,temp_src+i*bs,bs+mod);
 }
 else if(i == 0)
 {
 printf("i = %d\n",i);
 memcpy(temp_dst,temp_src,bs);
 }
 else 
 {
 printf("i = %d\n",i);
 memcpy(temp_dst+i*bs,temp_src+i*bs,bs);
 }
 
 //11.釋放映射區。
 
 munmap(mp_src,flen);
 munmap(mp_dst,flen);
 
 return 0;
}

以上就是本文的全部內容,希望對大家的學習有所幫助,也希望大家多多支持億速云。

向AI問一下細節

免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。

AI

亚洲午夜精品一区二区_中文无码日韩欧免_久久香蕉精品视频_欧美主播一区二区三区美女