Linux readdir如何實現大文件讀取

在Linux中，readdir函數用于讀取目錄中的條目。如果你需要處理大文件或大量文件，可以考慮以下方法來優化readdir的使用：

1. 使用opendir和readdir循環遍歷目錄：

   • 使用opendir打開目錄。
   • 使用readdir循環讀取目錄中的每個條目。
   • 使用closedir關閉目錄。

   #include <dirent.h>
   #include <stdio.h>
   
   int main() {
       DIR *dir;
       struct dirent *entry;
   
       dir = opendir(".");
       if (dir == NULL) {
           perror("opendir");
           return EXIT_FAILURE;
       }
   
       while ((entry = readdir(dir)) != NULL) {
           printf("%s\n", entry->d_name);
       }
   
       closedir(dir);
       return EXIT_SUCCESS;
   }
   

2. 處理大文件名：

   • readdir返回的d_name是一個固定長度的緩沖區（通常是256字節），可以容納大多數文件名。
   • 如果你需要處理非常長的文件名，可以使用readdir_r（線程安全版本）并手動管理緩沖區。

3. 過濾特定類型的文件：

   • 在循環中添加條件判斷，只處理特定類型的文件（例如，只處理.txt文件）。

   while ((entry = readdir(dir)) != NULL) {
       if (strstr(entry->d_name, ".txt")) {
           printf("%s\n", entry->d_name);
       }
   }
   

4. 處理符號鏈接：

   • 使用lstat而不是stat來檢查文件類型，以避免跟隨符號鏈接。

   struct stat file_stat;
   if (lstat(entry->d_name, &file_stat) == -1) {
       perror("lstat");
       continue;
   }
   
   if (S_ISREG(file_stat.st_mode)) {
       printf("%s is a regular file\n", entry->d_name);
   }
   

5. 并發處理：

   • 如果需要處理大量文件，可以考慮使用多線程或多進程來并發處理目錄條目。

   #include <pthread.h>
   #include <dirent.h>
   #include <stdio.h>
   #include <stdlib.h>
   
   void *process_file(void *arg) {
       char *filename = (char *)arg;
       printf("Processing file: %s\n", filename);
       // 在這里添加處理文件的代碼
       return NULL;
   }
   
   int main() {
       DIR *dir;
       struct dirent *entry;
       pthread_t threads[10];
       int i = 0;
   
       dir = opendir(".");
       if (dir == NULL) {
           perror("opendir");
           return EXIT_FAILURE;
       }
   
       while ((entry = readdir(dir)) != NULL) {
           if (strstr(entry->d_name, ".txt")) {
               char *filename = malloc(strlen(entry->d_name) + 1);
               strcpy(filename, entry->d_name);
               pthread_create(&threads[i % 10], NULL, process_file, filename);
               i++;
           }
       }
   
       for (int j = 0; j < i; j++) {
           pthread_join(threads[j], NULL);
       }
   
       closedir(dir);
       return EXIT_SUCCESS;
   }
   

通過這些方法，你可以更有效地使用readdir來處理大文件和大量文件。