appbibliotek.no logo

Seeing AI

Beskrevet av Frank Lunde.


Seeing AI
Denne appen bruker kameraet på iPhonen for å gi en bruker en beskrivelse av omgivelsene. Den kan være særlig nyttig for personer med synshemming.



Hvordan virker den?

Du kan velge mellom 9 ulike kanaler som beskriver ulike ting i dine omgivelser: Korte tekster, dokumenter, produkter, personer, scene, farger, pengesedler, fotoer i din iPhone og håndskrift.

Innstillinger/ funksjoner

Microsoft Corp. har i noen år satset på forsking innen de man kaller Artificial Intelligence (AI) eller kunstig intelligens. Denne appen er et resultat av denne forskningen, og deler av det som finnes av løsninger i appen regnes fortsatt å være på eksperimentstadiet. Likevel kan den være nyttig, selv om noe av det som kommer ut som resultat ikke alltid stemmer helt.

Seeing Ai har et engelsk brukergrensesnitt, og resultater av bildebeskrivelser, farger, produktbeskrivelser kommer foreløpig med engelsk tale. Dokumenter og korte tekster leses med norsk tale, dersom man bruker appen sammen med VoiceOver med norsk tale.

Når du starter appen første gang, må du gi appen tillatelse til å bruke kameraet. Velg den kanalen du vil bruke og rett kameraet mot det du ønsker å få informasjon om. Du velger kanal i menyen nederst på skjermen. Dersom du bruker VoiceOver, markerer du menyen og stryker opp eller ned for å vandre mellom kanalvalgene, og dobbeltrykk for å åpne kanalen.

Innstillinger

Hovedmenyen til Seeing AI finner du øverst til venstre i startbildet til hver kanal. Her finner du disse valgene:

  • Browse photos: Gå til bildene du har lagret på telefonen din, for å velge et av dem og få det beskrevet i Seeing AI.
  • Face Recognition: Legg inn bilder av ansikter til personer du ønsker skal gjenkjennes av appen.
  • Help: Veiledning i bruk av appen, og videodemoer.
  • Feedback: Send en e-post med tilbakemelding til utviklerne av appen.
  • Settings: Her finner du disse innstillingsvalgene:
    • Currency: Velg aktuell valuta.
    • Configure 3d shortcuts: Velg hvilke snarveier som dukker opp når du trykker litt hardere på ikonet på hjemskjermen. Gjelder iPhone 6s eller nyere.
    • Manage Lightning Av/På: Hvis valget står på vil appen slå på kameralyset på telefonen når det er nødvendig å bruke det.
    • Speech.
    • Select voice: Velg mellom ulike engelske stemmer.
    • Talehastighet.
    • Show newest photo first Av/På: Vis den nye bildet først når du leter blant bildene dine på telefonen.

Slik virker den enkelte kanal

  • Short Text: Kort tekst leter etter tekster i kameravinduet, og vil starter opplesingen straks den finner tekster å lese opp. Rettover kanalvalgene finner du en pauseknapp som pauser eller starter søket etter tekst.
  • Document: I denne kanalen søker kameraet etter objekter som ser ut som tekst skrevet på papirark. Du bli veiledet av appen slik at du får hele arket innenfor kameravinduet, og straks det skjer vil du bli bedt om å holde kameraet rolig, og dokumentet blir skannet inn. Denne prosessen går ganske raskt, og du blir sendt videre til et vindu som viser teksten som ble funnet i dokumentet. Denne kan du få lest opp ved å trykke på avspillingsknappen. Her finner du også en deleknapp for å kunne sende teksten til andre apper, skrive den ut, kopiere den eller sende den til noen andre. Du kan også velge bokstavstørrelse i visningsvinduet. Øverst til venstre finner du en tilbakeknapp.
  • Product: Her vil kameraet lete etter strekkoder. Dersom den finner en strekkode, vil du høre et lydsignal og en melding om at koden prosesseres. Hvis produktet blir funnet, vil du få informasjon om hva produktet heter, produktnummer med mer. Noen produkter har også en mer detaljert beskrivelse, og denne kan du få tilgang til ved å trykke på knappen nederst til høyre. Her er det også mulig å få teksten lest opp eller dele teksten.
  • Person: I denne kanalen leter kameraet etter ansikter. Når den finner et ansikt vil appen fortelle deg det, og du kan trykke på kamerabildet for å få vite mer om personen; avstand til personen, kjønn, følelsesuttrykk og omtrentlig alder. Du kan lagre bildet i bildedatabasen din hvis du vil. I Innstillingene kan du legge inn ansikter og knytte dem til navn.
  • Currency: Denne delen av appen gjenkjenner foreløpig pengesedler fra fem ulike valutaer: US Dollar, Euro, Kanadiske Dollar og Indisk Rupee.
  • Scene: Dette er en kanal som foreløpig er på eksperimentstadiet. Pek kameraet mot det du vil vite noe om og ta et bilde ved å trykke midt på skjermen. Du vil så få høre hvordan bildet har blitt tolket av appen. Her kan du også velge å lagre bildet.
  • Color: Dette er en kanal som foreløpig er på eksperimentstadiet. I denne kanalen vil det dukke opp et lite kvadrat midt i kameravinduet. Appen vil så fortelle deg hvilken farge som er den dominerende innenfor dette kvadratet. Dersom det er to farger som deler kvadratet vil du få høre navnet på to farger.
  • Handwriting: Dette er en kanal som foreløpig er på eksperimentstadiet. Kameraet ser etter håndskrevet tekst, og vil forsøke å tolke denne når den har blitt funnet. Virker foreløpig dårlig på norsk.
  • Light: Ved å høre på en tone, mens du leter med kameraet rundt deg, kan du lytte deg til hvor lyskilder befinner seg. Det høyeste toneleiet representerer den sterkeste lyskilden.

Kompatibilitet

Kompatibel med iPad, iPhone og iPod touch.

Veiledning til bruk av appen

Kort videodemo av appen fra utvikleren:

Videobloggen ”The Blind Life” har testet appen, og her viser Sam hvordan den virker:

 

Tilgjengelighet

Skjermleser

Relaterte apper

TapTapSee Aipoly Vision KNFB READER

Spor fra din side.

Brukererfaringer

nav_pos_logo_RGB Nav samarbeider om innhold med Statped Læringsressurs Statped Læringsressurs