Iryss un'app che utilizza Machine Learning per identificare gli oggetti

Ci sono innumerevoli nuove funzionalità da sfruttare in iOS 11, ma molte di esse sono sotto il cofano sotto forma di API e richiedono app dell'App Store per ottenere il massimo effetto.

Iryss è una nuova app sviluppata da Florian Hebrard, meglio conosciuta dalla comunità di jailbreak come Ziph0n, che sfrutta la nuovissima API CoreML (Machine Learning) di Apple per riconoscere oggetti intorno a te in tempo reale.

Usare Iryss è semplice come puntare la fotocamera verso qualcosa. In pochi millisecondi, l'app indovina quale sia l'oggetto nella cornice tramite il testo sullo schermo. In alternativa, puoi configurare l'app per annunciare ad alta voce i rilevamenti di oggetti.

Gli irys possono riconoscere oggetti animati e inanimati. Nel caso degli animali, l'app è abbastanza intelligente da distinguere tra razze o specie comuni.

Ci sono un paio di impostazioni che puoi configurare nell'app Iryss per farlo funzionare come desideri:

Qui, puoi forzare l'app ad annunciare ciò che rileva ad alta voce piuttosto che visualizzarlo come testo e puoi anche abilitare il feedback tattile per indicare l'identificazione corretta dell'oggetto. Poiché l'app è supportata dalla pubblicità, troverai anche un acquisto in-app in questo riquadro delle preferenze per acquistare gli annunci.

Quindi, come funziona l'app? Va bene, ma non è perfetto. Forse più spesso di quanto potresti desiderare, l'app identificherà erroneamente un oggetto come qualcosa che non lo è. Come primo esempio, questa macchina gumball viene rilevata come una "bottiglia di pillola", probabilmente a causa dei punti colorati all'interno:

Una cosa che ho trovato essere un ostacolo significativo alla funzionalità dell'app sono le cattive condizioni fotografiche. Per assicurarti di ottenere letture più accurate, ti consiglio di assicurarti le migliori condizioni di illuminazione possibili e di essere abbastanza lontano da un oggetto da far sì che tutto sia nella cornice.

Lo sviluppatore mi dice che mentre i rilevamenti di oggetti non possono essere sempre corretti, possono sempre essere migliorati. Grazie alla semplicità con cui Machine Learning consente agli sviluppatori di creare app di questo tipo, gli aggiornamenti regolari a Iryss dovrebbero essere in grado di migliorarne l'accuratezza nel tempo.

Iryss sembra certamente ingannevole per la maggior parte degli utenti a prima vista, ma dalla parte superiore della mia testa, riesco a pensare ad almeno due usi nel mondo reale in cui l'app potrebbe essere utile, come ad esempio:

  1. Quando qualcuno è difficile da vedere e ha bisogno che l'iPhone lo faccia per loro, Iryss può fare annunci vocali per dire a quella persona cosa c'è intorno a loro.
  2. Quando i genitori vogliono facilitare l'apprendimento di oggetti / nomi per il loro bambino in giovane età, il bambino può giocare con Iryss per conoscere gli oggetti che li circondano e come vengono chiamati.

Per gli altri utenti, Iryss è davvero solo una prova dell'app concept con cui puoi giocare per divertimento.

Se sei interessato a provare Iryss da solo, è un download gratuito dall'App Store. È un ottimo modo per vedere di cosa è capace l'apprendimento automatico in iOS 11 e puoi aspettarti che questa API renderà possibili molte altre incredibili app in futuro.

Ti piace il concetto dietro Iryss? Condividi i tuoi pensieri nei commenti qui sotto.