今天的相機應用可以做的不僅僅是拍完美的照片。無論是添加過濾器到您的圖像或讓您調整焦點和手動曝光，應用程序可以從根本上把你變成一個專業攝影師。雖然應用商店中的眾多應用程序讓你用相機做很多事情，還有其他人可以實時地對你的圖像進行巧妙的操作，例如在臉上添加自定義掩碼，操縱你的臉看起來更老或更年輕，和更多的。今天的社交媒體應用程序有這樣的智能，所以你不必打開另一個應用程序讓你的自拍看起來平凡的在你與朋友和家人分享。
無論是構建一個提供有趣過濾器的用戶應用程序，還是一個識別收入的企業應用程序，添加像這樣的智能輪胎讓你比其他人更有優勢。通過像微軟認知服務API這樣的服務，您只需添加幾行代碼即可快速分析和處理照片。
在這篇文章中，您將學習如何在Android應用程序中顯示一個攝像頭，通過使用Google的移動視覺的APIs添加面部跟蹤并使用微軟認知服務的API通過前置相機來識別人臉。
Google的移動視覺提供了一組用于“檢測面部”和“掃描條碼”的API。對于這個示例，我將使用面部API從應用程序中的實時攝像機流中檢測人臉。
開始， 添加 Xamarin.GooglePlayServices.Vision的 NuGet包。
為了在Android上訪問相機，你需要在你的Android的mainifest中添加你的用戶權限請求和相機功能：
點擊(此處)折疊或打開
if (ActivityCompat.CheckSelfPermission(this, Manifest.Permission.Camera) == Permission.Granted)
{
CreateCameraSource();
//...
}
else
{
Log.Warn(TAG, "Camera permission is not granted. Requesting permission");
var permissions = new string[] { Manifest.Permission.Camera };
if (!ActivityCompat.ShouldShowRequestPermissionRationale(this,
Manifest.Permission.Camera))
{
ActivityCompat.RequestPermissions(this, permissions, RC_HANDLE_CAMERA_PERM);
return;
}
Snackbar.Make(mGraphicOverlay, Resource.String.permission_camera_rationale,
Snackbar.LengthIndefinite)
.SetAction(Resource.String.ok, (o) => { ActivityCompat.RequestPermissions(this, permissions, RC_HANDLE_CAMERA_PERM); })
.Show();
}
通過指定的屬性使用FaceDetector.Builder創建FaceDetector的一個實例。在本例中，我們使用默認的面部檢測器設置，并將處理器關聯到它。
點擊(此處)折疊或打開
private void CreateCameraSource()
{
var context = Application.Context;
FaceDetector detector = new FaceDetector.Builder(context)
.SetClassificationType(ClassificationType.All)
.Build();
detector.SetProcessor(
new MultiProcessor.Builder(this)
.Build());
if (!detector.IsOperational)
{
// Note: The first time that an app using face API is installed on a device, GMS will
// download a native library to the device in order to do detection. Usually this
// completes before the app is run for the first time. But if that download has not yet
// completed, then the above call will not detect any faces.
//
// isOperational() can be used to check if the required native library is currently
// available. The detector will automatically become operational once the library
// download completes on the device.
Log.Warn(TAG, "Face detector dependencies are not yet available.");
}
mCameraSource = new CameraSource.Builder(context, detector)
.SetRequestedPreviewSize(640, 480)
.SetFacing(CameraFacing.Front)
.SetRequestedFps(30.0f)
.Build();
}
在上面的代碼中， MultiProcessor被用來接收偵測結果，CameraSource.Builder用來創建一個指定預覽尺寸，相機面對面和所需的FPS的相機源。
現在我們已經進入相機并且建立CameraSource，我們也可以通過自定義一個SurfaceView開始預覽；本例中CameraSourcePreview.GraphicOverlay實例也被傳遞，以便在檢測時繪制面部邊界。
點擊(此處)折疊或打開
private void StartCameraSource()
{
// check that the device has play services available.
int code = GoogleApiAvailability.Instance.IsGooglePlayServicesAvailable(
this.ApplicationContext);
if (code != ConnectionResult.Success)
{
var dlg =
GoogleApiAvailability.Instance.GetErrorDialog(this, code, RC_HANDLE_GMS);
dlg.Show();
}
if (mCameraSource != null)
{
try
{
mPreview.Start(mCameraSource, mGraphicOverlay);
}
catch (System.Exception e)
{
Log.Error(TAG, "Unable to start camera source.", e);
mCameraSource.Release();
mCameraSource = null;
}
}
}
調用StartCameraSource()最好的地方是在Activity的OnResume()中，在OnPause()中停止預覽。它將確保只有在用戶使用應用程序時才使用相機資源。
從相機源接收的每個圖像幀可以包含多個面，并且每個面對應由由多處理器創建的跟蹤器表示的明顯的面部標識。
MultiProcessor要求實現IFactory，在相機檢測到一個人臉時以便回調。在本例中，在MainActivity中實現了IFactory，包含了Create()：
點擊(此處)折疊或打開
public Tracker Create(Java.Lang.Object item)
{
return new GraphicFaceTracker(mGraphicOverlay, mCameraSource);
}
在上面的代碼中，在每檢測到一張人臉時都會創建GraphicFaceTracker的一個實例，每個構建人臉框圖形對象在使用構造函數通過GraphicOverlay查看視頻流。
下面是GraphicFaceTracker的一個實現：
點擊(此處)折疊或打開
class GraphicFaceTracker : Tracker
{
private GraphicOverlay mOverlay;
private FaceGraphic mFaceGraphic;
public GraphicFaceTracker(GraphicOverlay overlay)
{
mOverlay = overlay;
mFaceGraphic = new FaceGraphic(overlay);
}
public override void OnNewItem(int id, Java.Lang.Object item)
{
mFaceGraphic.SetId(id);
}
public override void OnUpdate(Detector.Detections detections, Java.Lang.Object item)
{
var face = item as Face;
mOverlay.Add(mFaceGraphic);
mFaceGraphic.UpdateFace(face);
}
public override void OnMissing(Detector.Detections detections)
{
mOverlay.Remove(mFaceGraphic);
}
public override void OnDone()
{
mOverlay.Remove(mFaceGraphic);
}
}
在第一次檢測到一張臉時會創建FaceGraphic的一個實例，在臉發生變化時會更新，當臉離開時會隱藏。
正是這樣，我們成功地在應用程序中自定義的相機表面上創建了人臉跟蹤！接下來，我們將識別幀內的人。
從實時視頻幀中識別臉，每當檢測到新的人臉并將其發送給微軟認知服務API來識別此人時，我們就捕捉圖像。人臉識別需要人工智能和高效的機器學習算法，提供給您的服務和免費開始。如果你是認知服務新手，我強烈推薦閱讀博客文章，增加對移動應用程序的面部識別。
捕捉新發現的人臉，首先改變GraphicFaceTracker實現CameraSource.IPictureCallback。
點擊(此處)折疊或打開
class GraphicFaceTracker : Tracker, CameraSource.IPictureCallback
{
//...
}
修改OnNewItem()捕捉面部圖像幀
點擊(此處)折疊或打開
public override void OnNewItem(int id, Java.Lang.Object item)
{
mFaceGraphic.SetId(id);
if (mCameraSource != null && !isProcessing)
mCameraSource.TakePicture(null, this);
}
最后，使用助手類ImageAnalyzer 和iveCamHelper （這些抽象了COGs API調用），我們從視頻流中識別一個人。
點擊(此處)折疊或打開
public void OnPictureTaken(byte[] data)
{
Task.Run(async () =>
{
try
{
isProcessing = true;
Console.WriteLine("face detected: ");
var p_w_picpathAnalyzer = new ImageAnalyzer(data);
await LiveCamHelper.ProcessCameraCapture(p_w_picpathAnalyzer);
}
finally
{
isProcessing = false;
}
});
}
https://s3.amazonaws.com/blog.xamarin.com/wp-content/uploads/2017/06/12050912/En-Face.mp4
人臉識別在許多場景中被廣泛使用，包括安全性，自然用戶界面、機器人技術等等。通過使用這些服務和平臺API的組合，你可以建立無與倫比的移動應用程序，智能和五星級用戶提供經驗。在這個博客文章，我們使用谷歌移動視覺API來檢測視頻流和微軟認知服務中的人臉以識別幀內的人。在iOS上構建相同的示例，請閱讀如何在iOS應用程序中顯示相機 和 添加面部識別到您的移動應用程序。
在這篇文章中構建并解釋的示例是由谷歌開發人員關于面部跟蹤的文檔啟發的。
對于iOS和Android從我的GitHub的回購下載樣本。 注意：對于這個演示，我編寫了代碼來識別框架中的一個單獨的面。不過，請隨意修改并使之變得更好。
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
