詳解android 人臉檢測你一定會遇到的坑

筆者今年做了一個和人臉有關的android產品，主要是獲取攝像頭返回的預覽數據流，判斷該數據流是否包含了人臉，有人臉時顯示攝像頭預覽框，無人臉時攝像頭預覽框隱藏，看上去這個功能并不復雜，其實在開發過程中，遇到的問題也不多，全部都處理了，在正式推出前，這個產品在公司內部也測試了幾個月，也沒發現bug，但最近實施人員，在客戶公司做實施時，反饋回來各種問題，這些問題有部分是程序bug,也有一部分是和硬件有關，因為測試環境有限，筆者無法對各種型號，各個廠家的硬件進行測試，這篇文章主要是記錄，攝像頭給我們帶來的一些坑，分享給涉及到人臉開發的朋友，讓大家少走彎路。

一：概述

Android SDK 中支持人臉檢測,它提供了一個直接在位圖上進行人臉檢測的方法,這個 API 是android.media.FaceDetector,源文件路徑是:

frameworks/base/media/java/android/media/FaceDetector.java

調用 findFaces 方法就可進行人臉檢測,該方法返回檢測到的人臉總數,并且會將每個”人臉”的信息保存在FaceDetector.Face 的數組中。每個 Face 都包含下面幾點信息:

1. 該 Face 為人臉的可信度.取值范圍是 0~1,大于 0.3 則表明可信度較高。
2. 雙眼之間的距離
3. 雙眼中點的 x,y 坐標
4. 臉部的歐拉角度,可用于判斷抬頭,側臉的角度等。

識別流程是這樣的:

1. 讀取一張圖片至 Bitmap,且該 Bitmap 必須是 565 格式。

2. 調用 findFaces 方法分析 Bitmap(注意待分析的 Bitmap 寬度必須是偶數),將探測到的人臉數據存儲在一個FaceDetector.Face 數組中,并返回檢測到的人臉總數。Android SDK 中的 FaceDetector 介紹

android有原生的api做人臉檢測，通過android.media.FaceDetector來檢測bitmap是否包含人臉，android.media.FaceDetector.Face來檢測人臉位置信息，我們需要在activity中實現Carema.PreviewCallBack接口，該接口有一個onPreviewFrame方法，這個方法返回攝像頭實時圖像的數據流，由于這個方法返回的數據流時nv21格式，我們需要轉換bitmap才能進行人臉檢測，轉換過程如下：byte[] --> YuvImage --> ByteArrayOutputStream --> byte[] -->  bitmap ，具體轉換的代碼如下：

Camera.Size size = mtCamera.getParameters().getPreviewSize();
YuvImage yuvImage = new YuvImage(mData, ImageFormat.NV21, size.width, size.height, null);
yuvImage.compressToJpeg(new Rect(0, 0, size.width, size.height), 100, mBitmapOutput);
options.inPreferredConfig = Bitmap.Config.RGB_565;
bitmap = BitmapFactory.decodeByteArray(mBitmapOutput.toByteArray(), 0, mBitmapOutput.toByteArray().length, options);
mBitmapOutput.reset();
bitmap = Bitmap.createBitmap(bitmap, 0, 0, bitmap.getWidth(), bitmap.getHeight(), mMatrix, false);

通過上面的轉換，我們已經得到了人臉檢測的bitmap,此時只需要進行人臉檢測就ok了，代碼如下:

detector = new FaceDetector(source.getWidth(),source.getHeight(), maxFaceNum);
Face[] faces = new Face[maxFaceNum];
detector.findFaces(source, faces);

代碼基本上就哪么多，由于受到硬件的影響，上面的代碼有很多地雷。

二：人臉檢測常見問題

產品上線后，主要問題有，人站在攝像頭面前，app無法識別人臉，軟件運行性能也會下降，出現嚴重卡頓等問題，當前我比較郁悶，明明在測試環境都運行幾個月了，都沒有出現這些問題，正式實施的時候，問題不斷，通過近兩個月的整理，主要問題有以下幾個。

2.1   無法識別人臉

1）：相機角度問題

由于我在測試的時候，攝像頭圖像是垂直的，沒有任何問題，但正式使用時，攝像頭來自不同商家，導致攝像頭圖像是水平的了，如下圖：

圖像角度都不對了，當然無法識別人臉了，此時我們需要得到攝像頭的默認旋轉的角度，再作處理，特別聲明：setDisplayOrientation() 這個方法是逆時針旋轉，代碼如下：

public void setCameraDisplayOrientation (Activity activity, int cameraId, android.hardware.Camera camera) {
  android.hardware.Camera.CameraInfo info = new android.hardware.Camera.CameraInfo();
  android.hardware.Camera.getCameraInfo (cameraId , info);
  int rotation = activity.getWindowManager ().getDefaultDisplay ().getRotation ();
  int degrees = 0;
  switch (rotation) {
   case Surface.ROTATION_0:
    degrees = 0;
    break;
   case Surface.ROTATION_90:
    degrees = 90;
    break;
   case Surface.ROTATION_180:
    degrees = 180;
    break;
   case Surface.ROTATION_270:
    degrees = 270;
    break;
  }
  int result;
  if (info.facing == Camera.CameraInfo.CAMERA_FACING_FRONT) {
   result = (info.orientation + degrees) % 360;
   result = (360 - result) % 360; // compensate the mirror
  } else {
   // back-facing
   result = ( info.orientation - degrees + 360) % 360;
  }
  mOrienta = result;//該值有其它用途
  camera.setDisplayOrientation (result);
 }

2）：相機設置旋轉后，預覽圖片和相機返回實時流角度問題

這個坑太惡心了，當我把相機角度旋轉后，把app打包發一個給同事，結果同事告訴我，還是不行，還好在公司借到一個銳士達1080p的攝像頭，然后我把onPreviewFrame返回的流畫到imageView，發現返回的圖像，和預覽的圖像，根本不一樣，我勒個去，雖然預覽圖像旋轉了，我們還需要對onPreviewFrame返回的流進行處理，這個坑也讓我比較無語，害我找了好久。雖然說解決的代碼只有簡短的幾句，但找出原因過程只有自己能體會，然后我使用Matrix來旋轉onPreviewFrame返回的流，關于Matrix，完全是參考android Matrix詳細，這篇文章寫得非常好，然而matrix的postRotate是順時針旋轉，和camera.setDisplayOrientation()剛好相反，我勒個去，這兩個難兄難弟太不讓人省心，一個順時針，一個逆時針，超級無語,修改后的代碼如下。

//mOrienta來源于setCameraDisplayOrientation
mMatrix = new Matrix();
    switch (mOrienta){
     case 90:
      mMatrix.postRotate(270);
      break;
     case 270:
      mMatrix.postRotate(90);
      break;
     default:
      mMatrix.postRotate(mOrienta);
      break;
    }

 

2.2   720p攝像頭和1080p攝像頭涉及到的問題

1）：獲取攝像頭支持預覽尺寸遇到的問題

初始化相機時，我們需要設置攝像頭支持的預覽尺寸，如果不是相機支持的尺寸，會出現異常，根據項目需要，本地環境我直接指定一個下標，然后硬件變化后，這個值也跟著變了，如下圖：

此處根據實際情況獲取，可以計算每一個尺寸的面積，通過一個基礎面積獲取適應的預覽尺寸。具體代碼就不帖了，只需要清楚有這一個坑就ok了。

2）：獲取預覽偵寬高大小帶來的問題

如果程序的lock，和線程問題沒處理好，性能問題顯而易見。

如果只是簡單的識別人臉，我們可以通過壓縮圖片的方法來解決這個問題。

BitmapFactory.Options options = new BitmapFactory.Options();
options.inSampleSize =2;
options.inPreferredConfig = Bitmap.Config.RGB_565;
bitmap = BitmapFactory.decodeByteArray(mBitmapOutput.toByteArray(), 0, mBitmapOutput.toByteArray().length, options);

3)：攝像頭返回的流頻率過快，導致人臉識別處理速度根不上的解決辦法

最初軟件運行的時候，運行一段時間，app直接崩潰了，最后發現是，onPreviewFrame返回的流太快，網上說可以在啟動相機時，設置流的頻率,常見設置的代碼

Camera.Parameters parameters = mCamera.getParameters();
parameters.setPreviewFrameRate(3);//設置每秒3幀,沒有效果

然而這樣設置后，完全沒有用，如圖：

處理這個問題并不是很復雜，只是判斷一個兩次處理流的時候，大于300毫秒（具體時間，根據需求變動）

 public void onPreviewFrame(byte[] data, Camera camera) {
  Logger.i(TAG+"收到相機回調：onpreviewframe()"+index);
  if(data!=null&&data.length>0&&System.currentTimeMillis()-time>200){
   time=System.currentTimeMillis();
   mFaceHandle.post(new FaceThread(data,camera,(++index)));
  }
 }

2.3 刷臉的人員走開后，屏幕仍然顯示和人臉相關信息

通過以上描述我們知道，相機預覽圖尺寸過大，導致刷臉人員走開幾秒鐘內，android設備屏，仍然顯示和人臉有關的信息，因為onPreviewFrame頻率較快，而處理人臉的時間過長，導致人臉對列越來越大，所以人走開后，屏才會顯示相關信息，這里需要控制，onPreviewFrame處理人臉的頻率大于，以及提升人臉識別的時間.

完整demo 下載地址:https://github.com/jlq023/democamera

以上就是本文的全部內容，希望對大家的學習有所幫助，也希望大家多多支持億速云。