Oggi Apple ha pubblicato un nuovo post sul blog di Machine Learning Journal lanciato in estate.
Intitolato "Una rete neurale profonda su dispositivo per il rilevamento dei volti", l'ultimo post del blog fa di tutto per dettagliare i processi ad alta intensità di risorse di riconoscimento dei volti nelle tue foto sfruttando la potenza delle CPU e GPU personalizzate di Apple.
Apple riconosce che il suo forte impegno per la privacy degli utenti gli impedisce di utilizzare la potenza del cloud per i calcoli della visione artificiale. Inoltre, ogni foto e video inviata a iCloud Photo Library viene crittografato sul dispositivo prima di essere inviato a iCloud e può essere decrittografato solo da dispositivi registrati con l'account iCloud.
Alcune delle sfide che hanno dovuto affrontare per ottenere algoritmi di deep learning da eseguire su iPhone:
I modelli di apprendimento profondo devono essere spediti come parte del sistema operativo, occupando prezioso spazio di archiviazione NAND. Devono anche essere caricati nella RAM e richiedono tempo di calcolo significativo sulla GPU e / o sulla CPU. A differenza dei servizi basati su cloud, le cui risorse possono essere dedicate esclusivamente a un problema di visione, il calcolo sul dispositivo deve essere effettuato condividendo queste risorse di sistema con altre applicazioni in esecuzione.
Ancora più importante, il calcolo deve essere abbastanza efficiente per elaborare una grande libreria di foto in un periodo di tempo ragionevolmente breve, ma senza un significativo consumo di energia o aumento termico.
MANCIA: Insegna al tuo iPhone o iPad a riconoscere i volti delle persone
Per superare queste sfide, Apple utilizza BNNS e Metal per sbloccare e sfruttare appieno la potenza delle sue GPU e CPU progettate internamente integrate nei dispositivi iOS. Puoi effettivamente sentire questo rilevamento facciale sul dispositivo al lavoro dopo l'aggiornamento a una nuova versione di iOS.
Questo di solito richiede a iOS di eseguire nuovamente la scansione dell'intera libreria di Foto ed eseguire l'algoritmo di rilevamento facciale su tutte le foto da zero, il che può causare il surriscaldamento del dispositivo o rallentare fino a quando Photos ha terminato la scansione della libreria.
Apple ha iniziato a utilizzare il deep learning per il rilevamento dei volti in iOS 10.
Con il rilascio del nuovo framework Vision in iOS 11, gli sviluppatori possono ora utilizzare questa tecnologia e molti altri algoritmi di visione artificiale nelle loro app.
Apple rileva di aver affrontato "sfide significative" nello sviluppo del framework Vision per preservare la privacy degli utenti e consentire al framework di funzionare in modo efficiente sul dispositivo.
