基于curl數據采集之正則處理函數get_matches怎么用

這篇文章將為大家詳細講解有關基于curl數據采集之正則處理函數get_matches怎么用，小編覺得挺實用的，因此分享給大家做個參考，希望大家閱讀完這篇文章后可以有所收獲。

之前已經可以得到了我們需要的html文件，現在需要處理得到的文件獲取到我們需要的采集的數據。

對于html文檔的解析，沒有像XML那樣的解析類，因為HTML文檔有很多不成對的標簽，很不嚴格。這個時候就需要采用其他的一些輔助類了，simplehtmldom是一個類似于JQuery方式操作HTML文檔的解析類?？梢院芊奖愕牡玫较胍臄祿?，可惜速度慢。這里不是我們這里討論的重點，我主要使用正則來匹配我所需要的采集的數據，可以很快速的得到我需要采集的信息。

考慮到get_html可以判斷返回的數據,但是get_htmls沒有辦法判斷，為了方便調式和調用寫了如下兩個函數：

復制代碼 代碼如下:

function get_matches($pattern,$html,$err_msg,$multi=false,$flags=0,$offset=0){
     if(!$multi){
         if(!preg_match($pattern,$html,$matches,$flags,$offset)){
             echo $err_msg."! 錯誤信息: ".get_preg_err_msg()."\n";
             return false;
         }
     }else{
         if(!preg_match_all($pattern,$html,$matches,$flags,$offset)){
             echo $err_msg."! 錯誤信息: ".get_preg_err_msg()."\n";
             return false;
         }
     }
     return $matches;
 }
 function get_preg_err_msg(){
     $error_code = preg_last_error();
     switch($error_code){
         case PREG_NO_ERROR :
             $err_msg = 'PREG_NO_ERROR';
             break;
         case PREG_INTERNAL_ERROR:
             $err_msg = 'PREG_INTERNAL_ERROR';
             break;
         case PREG_BACKTRACK_LIMIT_ERROR:
             $err_msg = 'PREG_BACKTRACK_LIMIT_ERROR';
             break;
         case PREG_RECURSION_LIMIT_ERROR:
             $err_msg = 'PREG_RECURSION_LIMIT_ERROR';
             break;
         case PREG_BAD_UTF8_ERROR:
             $err_msg = 'PREG_BAD_UTF8_ERROR';
             break;
         case PREG_BAD_UTF8_OFFSET_ERROR:
             $err_msg = 'PREG_BAD_UTF8_OFFSET_ERROR';
             break;
         default:
             return '未知錯誤!';
     }
     return $err_msg.': '.$error_code;
 }

可以這樣調用：

復制代碼 代碼如下:

$url = 'http://www.baidu.com';
 $html = get_html($url);
 $matches = get_matches('!<a[^<]+</a>!',$html,'沒有找到鏈接',true);
 if($matches){
     var_dump($matches);
 }

或者這樣調用：

復制代碼 代碼如下:

$urls = array('http://www.baidu.com','http://www.hao123.com');
 $htmls = get_htmls($urls);
 foreach($htmls as $html){
     $matches = get_matches('!<a[^<]+</a>!',$html,'沒有找到鏈接',true);
     if($matches){
         var_dump($matches);
     }
 }

就可以得到所需的信息，無論單頁面采集還是多頁面采集，最終PHP還是只能處理一個頁面，由于使用get_matches了，可以對返回的值進行判斷真假，得到正確的數據，由于使用正則的時候遇到了超過正則回溯的問題，增加get_preg_err_msg來提示正則信息。

由于采集數據的時候，經常是采集列表頁，根據列表頁得到的內容頁鏈接再采集內容頁，或者更多的層次，那么循環嵌套會很多，對于代碼的控制會感覺力不從心。那我們是否可以把采集列表頁的代碼和采集內容頁的代碼，或者更多的層次的采集代碼分離開，甚至循環都簡化呢？

關于“基于curl數據采集之正則處理函數get_matches怎么用”這篇文章就分享到這里了，希望以上內容可以對大家有一定的幫助，使各位可以學到更多知識，如果覺得文章不錯，請把它分享出去讓更多的人看到。