[ In English ]

FantomatenTM - The PHANToMTM för handikappade barn


Calle Sjöström
CERTECs rapport 1:96



Tack till
Bodil Jönsson för idéer och uppmuntran
Marika Östman för foto och hjälp med korrektur och textbearbetning


Sammanfattning

The PHANToM är en uppfinning från MIT, Massachussets Institute of Technology, som möjliggör kommunikation mellan en människa och en dator med hjälp av känsel. The PHANToM är utvecklad som ett allmänt känselgränssnitt. På CERTEC har vi sett möjligheten att ge handikappade personer, framförallt synskadade och rörelsehindrade barn, nya möjligheter med hjälp av the PHANToM. Vi har valt att kalla konceptet Fantomaten.

CERTEC har utvecklat flera olika program för Fantomaten. Programmen är såväl egna fungerande enheter, som en grund för framtida utveckling. Vi har utvecklat program för att göra matematik mer lättförståelig, ett känselbaserat datorspel och ett måla-med-färg-program för synskadade.

För att kunna använda Fantomaten behöver man inte ha rörlighet i mer än en hand. Alla program kan användas av blinda och synsvaga personer. Vårt känselbaserade datorspel är ett av de första som kan användas av dövblinda människor.

Denna rapport är en dokumentation av det som hittills har gjorts. Vi intensifierar nu utvecklingen av Fantomaten, bland annat genom ett examensarbete och mer omfattande provanvändning.

Ledare för projektet är Bodil Jönsson.

Sökord: barn, datorspel, dövblinda, Fantomaten, handikapphjälpmedel, känselgränssnitt, PHANToM, rörelsehinder, synskadade

Innehåll


Inledning

CERTEC och Fantomaten

CERTEC, Centrum för Rehabiliteringsteknik, vid Lunds tekniska högskola arbetar med mötet mellan mänskliga behov och tekniska möjligheter. Normalt utgår vi från människans olika behov och utvecklar teknik från den aspekten. Ibland kan det vara motiverat att börja i andra änden.

I detta fall har vi utnyttjat en teknik som tagits fram för andra ändamål, nämligen the PHANToM. Vi har modifierat och byggt ut systemet så att den kan svara mot olika behov hos en funktionshindrad människa.


The PHANToM är en liten, lätt robotarm som man kan sätta fast i bordet som en bordslampa. Längst ut på robotarmen sitter en hylsa som man sätter in sitt pekfinger i. Vad fingret sedan får uppleva, styrs av vad som finns programmerat i en persondator. En tydlig skillnad mellan the PHANToM och en vanlig robot är att användaren rör roboten, istället för att roboten rör sig själv. Roboten kan sedan tala om för användaren vad som händer genom att hålla emot och röra sig på olika sätt.

Med the PHANToM kan man till exempel flytta omkring sitt pekfinger och känna hur fingret stöter emot väggar, hur det på golvet ligger ett halvklot, hur det fritt hängande i luften finns en sfär. Man kan också få känna hur man puttar till en boll, som efter ett tag kommer tillbaka och slår mot fingret. Bollarna kan kännas olika beroende på hur tunga och stora de är. Och det tar olika lång tid för dem att komma tillbaka beroende på hur långt bort väggen är. Man behöver alltså inte kunna röra mer än ett finger för att få erfara en del av det som man annars måste ha en hög rörelseförmåga för att kunna utföra.

Avsikten med att göra en "Fantomat" av the PHANToM är att människor, framförallt barn, med olika handikapp skall kunna få nya känselupplevelser som kompensation för bristande möjligheter att se eller vidröra saker på annat sätt. Till känselupplevelsen kan man för dem som har nytta av det också lägga bild och ljud. Därmed blir Fantomaten multimedial på ett mycket mer komplett sätt än det som annars brukar betecknas multimedia.

Hur vi upptäckte the PHANToM

Sommaren 1994 upptäckte Karin Jönsson och Ulf Larsson the PHANToM på MIT (Massachussets Institute of Technology). Karin och Ulf arbetar normalt på HADAR i Malmö med datorhjälpmedel för handikappade barn och vuxna. De såg omedelbart att the PHANToM skulle kunna utgöra ett viktigt hjälpmedel för handikappade. The PHANToM fanns färdig att köpa, och en dator att koppla den till är lätt att få tag på. Det som saknades, och det som CERTEC arbetat mest med, är programvara för handikappade.

En beskrivning av the PHANToM

The PHANToM kan kallas ett känselgränssnitt mellan en människa och en dator. Det vanliga är att man bara kan använda synen och hörseln för att förmedla något från dator till användare. Med the PHANToM finns nu ett sätt att använda känsel och dessutom rörelse för kommunikation mellan dator och användare.

Människa-dator-interaktion

Ett interaktivt program är ett program där användaren hela tiden styr vad som skall hända. Motsatsen är t.ex. ett beräkningsprogram som kan arbeta själv under lång tid när det väl fått värden att utgå ifrån. Interaktiva program har funnits länge och är vanliga, speciellt på persondatorer. Tyvärr är det inte självklart enkelt att utforma bra användargränssnitt, och därmed finns det många datorprogram där växelverkan mellan datorn och användaren är ineffektiv, svårförståelig och svår att lära sig. Några av målen för forskning inom ämnet människa-dator-interaktion, är att finna konkreta former för utveckling av bra gränssnitt, samt att avgöra vilka vinster som förbättringar av gränssnitten kan ge.

The PHANToM är ett bra exempel på banbrytande tänkande inom ämnet människa-dator-interaktion. Man har länge kopplat robotar till datorer för att göra saker. Det speciella med the PHANToM är att känsel och rörelse används för interaktion mellan människa och dator. Med the PHANToM kan användaren på olika sätt känna objekt som finns representerade i datorn. Samtidigt kan en användare utnyttja rörelse för att ge datorn information och/eller kommandon och få återkoppling från programmet. Både känsel och rörelse används alltså för kommunikationen mellan användaren och datorn. Denna dubbelriktade kommunikation lägger en ny dimension till begreppet interaktion och det är den som gör the PHANToM unik.

Mer om the PHANToM

The PHANToM är ett resultat av forskning och utveckling som skett vid MIT. The PHANToM har lanserats som ett generellt verktyg för datorinteraktion med hjälp av känsel och rörelse.

Numera har uppfinnarna ett företag som tillverkar och säljer the PHANToM. Firman heter Sensable Devices Inc. och finns i Cambridge nära Boston, USA.

Namnet "the PHANToM" har två dimensioner. Förutom att namnet antyder att man kan känna saker som inte finns, är det en initialförkortning av Personal HAptic iNTerface Mechanism. Mot den bakgrunden kan man också förstå varför o:et i the PHANToM skrivs med liten bokstav.

Till vardags använder vi ibland det försvenskade namnet fantomen istället för the PHANToM.

Möjligheter med the PHANToM


På den normala nivån används endast en PHANToM och ett finger. Det finns dock inget som hindrar att man kopplar flera fantomer till samma dator. Då kan man använda flera fingrar samtidigt, och man kan uppleva hur man t.ex. griper tag i ett objekt och flyttar det mellan olika ställen. Det går också bra att byta ut hylsan där man sticker in sitt finger mot något annat, t.ex. ett pennskaft eller en ring.

När the PHANToM är igång läser den kontinuerligt av i vilken position fingret befinner sig. Positionsvärdena skickas till datorn, som utifrån en matematisk beskrivning beräknar vilken kraft som fantomen skall trycka tillbaka med. För att systemet skall fungera bra måste datorn hinna beräkna nya styrvärden på mindre än 1/1000 sekund. För komplicerade objekt kan det alltså krävas en mycket snabb dator, speciellt om samma dator skall kopplas till flera fantomer.

I ett normalt PHANToM-system ingår följande komponenter:

När the PHANToM blir Fantomaten


När the PHANToM byggs ut för att passa handikappades behov bildas en helhet. Denna helhet innefattar dels själva the PHANToM, dels CERTECs programvara, och dessutom olika tankar och idéer om hur allt skall användas. Allt detta tillsammans är det vi kallar för Fantomaten. Projektet Fantomaten har sedan våren 1995 drivits inom tre huvudområden. Dessa områden är:

Här följer en kort presentation av de olika projektgrenarna.

Utveckling

CERTEC har utvecklat flera olika program för Fantomaten. De belyser olika delar av vad som kan göras, och använder olika kombinationer av känsel-, syn- och ljudintryck. Utvecklingen har skett både av anställda på CERTEC, och av teknologer på kurserna i rehabiliteringsteknik.

Provanvändning

Den Fantomat som finns på CERTEC har provats av många människor, både med och utan handikapp. Tyvärr är det inte möjligt att göra några större studier med denna enda maskin, men vi har ändå märkt ett mycket stort intresse för Fantomaten och allt som kan göras med den.

Vi har nyligen beslutat att köpa in ytterligare två fantomer och provanvändningen kommer därmed att gå in i en ny fas. Fantomater kommer att placeras ut i olika miljöer, t.ex. på datatek och i skolor. Utförlig provanvändning är en förutsättning för att kunna utveckla fler och bättre program till Fantomaten.

Demoverksamhet

Vi demonstrerar kontinuerligt Fantomaten för elever, gäster och andra som kommer till CERTEC. Vi vill ge så många som möjligt chansen att se och prova de nya möjligheter som Fantomaten ger. Därmed inspireras många funktionshindrade människor och andra i deras omgivning till ett intresse för framtidens teknik. Utvecklingen inom det här området går fort, och det är viktigt att många intresserar sig för tekniken och arbetar för att påverka den åt ett håll som gagnar olika handikappades intressen.

Samarbete mellan CERTEC, HADAR, SIH och Handikappinstitutet

Representanter för CERTEC, HADAR, SIH och Handikappinstitutet har träffats och initierat ett samarbete kring Fantomaten. Alla är överens om att Fantomaten är en spännande möjlighet att prova ett helt nytt multimediakoncept för dövblinda, blinda och rörelsehindrade personer. Det samarbete som inletts skall fortsätta och kan antingen utmynna i ett stort gemensamt projekt eller ett antal småprojekt med mycket samspel. Mer om detta samarbete finns i appendix.

Programutveckling för Fantomaten

Programvaran till Fantomaten har utvecklats av tre personer på CERTEC; Niclas Melin, Charlotte Magnusson och Calle Sjöström.

Basprogrammet

Niclas Melin har gjort den första programutvecklingen för Fantomaten. Niclas är D-teknolog och har gjort större delen av sina Fantomatprogram som ett projekt inom CERTECs kurs Rehabiliteringsteknik FK. Ett betydelsefullt arbete var att utveckla en stukturerad bas för vidare programutveckling i C++. Basen består av programklasser som täcker kommunikation med the PHANToM och generering av virtuella rum och objekt i rummet.

Rita med fingrarna/ytor med struktur

Niclas Melin har också gjort ett program som gör att man så att säga kan måla datorbilder med fingrarna. Man väljer en färg från en palett, och målar med den på duken. Ju hårdare man trycker med fingret, desto tjockare blir linjen. Varje färg har en associerad struktur som man kan känna med Fantomaten. Presentationen av bilden som målas sker både på skärmen och med the PHANToM. När man målar känner man hela tiden strukturen som bildas. Man kan också känna på hela bilden genom att byta läge i programmet med en enkel knapptryckning.


Kurvor och ytor

Matematik är ett delvis visuellt ämne. Det märker man när man skall förklara matematik för blinda människor. Med Fantomatens hjälp kan också blinda människor lära sig tolka ekvationer som kurvor och få matematiken "sensualiserad" istället för visualiserad. Charlotte Magnusson, anställd vid CERTEC, har gjort ett program som gör att en godtycklig kurva eller yta kan göras kännbar med Fantomaten. Ekvationerna programmeras in i datorn och styr vad fingret i the PHANToM skall känna. En kurva känner man som en list eller ett spår på en vägg i fantomenrummet. Ytor känns som om de vore ett litet berg på skrivbordet.

Godtyckliga former

Många former är svåra att beskriva matematiskt och leder till komplicerade uttryck. Eftersom datorn hela tiden måste räkna ut vilken kraft som the PHANToM skall använda är det problematiskt att använda sådana komplicerade uttryck, beräkningarna tar för lång tid. Istället kan man representera formen genom att ange ett antal punkter som ingår i objektets kontur.

Med hjälp av en sådan punktvis beskrivning av objektet kan man känna på det med the PHANToM. Problemet är att tala om för the PHANToM vad som händer mellan punkterna. Charlotte Magnusson har gjort ett program som löser detta problem. Programmet förbinder punkterna tre och tre med plana ytor, och ger på detta sätt en bild av föremålet. Ytan som man känner blir visserligen lite ojämn, men man får ändå en uppfattning om vilken form föremålet har. Ojämnheten kan minskas genom att man väljer kortare avstånd mellan punkterna, eller använder en annan strategi för att sammanbinda punkterna.

"Ubåtar eller minkar"

Programmet "Ubåtar eller minkar" är variant av sänka skepp som spelas på dator. Med hjälp av the PHANToM känner man ett rutnät på 10·10 rutor. Som spelare flyttar man sitt finger mellan de olika rutorna, och man känner gränserna som ett lätt motstånd. I spelet är fingret en helikopter som skall hitta och sänka ubåtarna med sjunkbomber. Om man lägger sitt finger mot "vattenytan" kan man känna vågorna som rör sig upp och ner. Vattnet känns annorlunda om man har släppt en bomb, och om man fått in en träff så känns det också på ett speciellt sätt.

Programmet använder fantomen, skärmen och tangentbordet för interaktionen. Dessutom används ljudeffekter för att komplettera intrycket och öka spelupplevelsen. Spelet använder flera olika kommunikationskanaler i interaktionen med användaren, vilket gör det intressant för många. Samtidigt som spelet använder många sinnen ges alltid tillräcklig information via känseln, så spelet är kanske det första datorspelet som också kan spelas av dövblinda. Spelet "ubåtar eller minkar" har skrivits av Calle Sjöström som är E-teknolog.

Vilka kan ha nytta av Fantomaten?

I början av utvecklingarbetet har vi valt att inrikta oss på barn med synskador eller rörelsehinder. Vi är dock övertygade om att många andra grupper av handikappade barn och vuxna också kan ha nytta av Fantomaten. De erfarenheter och kunskaper som vi har fått och får genom arbete med barn kan sedan komma även andra grupper till del.

Blinda och synsvaga barn

En grupp av människor som naturligt använder känseln mer än andra är blinda och synsvaga personer. Därför passar Fantomaten dem väl. Andra moderna gränssnitt är dessvärre uttalat visuella. Fantomaten kan mycket väl utnyttjas till att göra visuella och kännbara datorgränssnitt som är gemensamma för blinda och seende, detta skulle kunna innebära ett stort steg för synskadade människor som vill använda datorer och utbyta information med seende datoranvändare.

Det är intressant att notera att många seende har svårt att tolka det man känner med the PHANToM. Synen är normalt ett av de viktigaste sinnena, och eftersom det man ser är en svart robotarm med en hylsa i änden, och inte de olika former man känner, så uppstår en konflikt och det man ser slår ut vad man känner. Efter ett tag löser sig konflikten genom att man börjar tänka sig osynliga objekt, och då går det bra att titta igen.

Rörelsehindrade barn

En annan grupp människor, som skulle kunna ha stor nytta av the PHANTOM är de rörelsehindrade som kan röra ett finger eller en hel hand. Rörelsehindrade barn kan faktiskt få uppleva en rörelsens glädje via Fantomaten.

Med Fantomaten känner man objektet bredvid skärmen som samtidigt visar en bild av detsamma. Man skulle kunna tänka sig att detta att se på ett ställe och känna på ett annat, skulle kunna verka förvirrande och därmed inte bidra till den ökade förståelse man önskar. Vi har dock inte kunnat se att detta skulle vara fallet.

Om man verkligen vill göra bild, ljud och känsel till en enhet kan man prova att använda den "bildskärmshjälm" som idag kännetecknar "Virtual Reality". Dessa hjälmar finns nu i flera olika fabrikat och är inte alltför svåra att få tag på.

Vilka andra använder the PHANToM?

När the PHANToM togs fram på MIT hade man inget speciellt användningsområde i åtanke. Men så fort den blivit klar har den tagits emot väl och börjat användas på universitet och företag världen över.

Följande lista över företag och institutioner som använder the PHANToM är hämtad från Sensable Device's WWW-sidor.
(http://www.tiac.net/users/sensable)

MIT Artificial Intelligence Laboratory
http://www.ai.mit.edu/projects/handarm-haptics/haptics.html

University of North Carolina, Chapel Hill developed the nanomanipulator
http://www.cs.unc.edu/nano/etc/www/doc/overview.html

Boston Dynamics, Inc. is a value added reseller
http://www.bdi.com/tangible_reality.html

VTT - Finland is doing virtual prototyping
http://www.ele.vtt.fi/projects/vrp/html/Environment.html

MIT Research Laboratory for Electronics, has a virtual workbench
http://vetrec.mit.edu:80/people/tew/VWBpage.htm

University of Delaware
http://www.asel.udel.edu/sem/vreality.html

MIT Media Laboratory
http://www.media.mit.edu/groups/spi

Digital Image FX
http://www.digital-fx.ca/firms/difx/allies.htm

High Techsplanations, Inc.
http://www.ht.com/index.htm

University of Colorado, Center for Human Simulation
http://www.hsc.colorado.edu:80/chs/surgsim.html

U.S. Navy
http://www.nrl.navy.mil/nrl/related.html

U.S. Air Force, Wright-Patterson
http://www.nrl.navy.mil/nrl/related.html

DLR (Germany)
http://www.op.dlr.de/FF-DR/ff_dr_homepage_engl.html

Interval Research Corp.
http://www.interval.com

Mitsubishi Electronic Research
http://www.merl.com/Contents.html

MIT Human Machine Laboratory
http://me.mit.edu/research/faculty/ThomasSheridan.html

GTE

Eastern Pennsylvania Psychiatric Institute

General Electric Company

Sandia National Labs

Carnegie Mellon University

Hershey Medical Center

Swarthmore College

Projektets ekonomi

CERTEC och HADAR har båda bedrivit egenfinansierat utvecklingsarbete kring the PHANToM.

CERTEC har fått ekonomiskt stöd för att köpa ett exemplar av the PHANToM. Detta stöd kommer från Stiftelsen Svenska kommittén för rehabilitering och Helfrid och Lorentz Nilssons stiftelse.

Statens institut för handikappfrågor - SIH - har bidragit med 100 kkr för inledande utveckling av testprogram för funktionshindrade elever. Testprogram ska utvecklas såväl för elever med fysiska som kognitiva funktionshinder.

Norrbacka-Eugenia-stiftelsen har via Handikappinstitutet anvisat 250 kkr . Detta belopp är avsett att användas för Fantomaten och rörelsehindrade barn.

Projektets framtid

Under 1996 kommer projektet Fantomaten att accelerera kraftigt. Dels kommer minst en Fantomat att placeras ut för intensiv provanvändning, dels kommer både CERTEC och HADAR att kraftigt öka arbetet med att ta fram nya program och användningsområden för Fantomaten.

Examensarbete

Under våren 1996 kommer ett examensarbete på Fantomaten att inledas. Inom examensarbetet är det meningen att känselstyrningen i sig ska utvecklas. En uppgift kan vara att styra något, t.ex. en dator eller en robot, genom att känna i stället för att se vad man gör. Speciellt intressant är om det går att hitta former för hur man kan skaffa sig "överkänsel" i stället för överblick. Man kan också undersöka möjligheterna att utveckla gemensamma datorgränssnitt för seende och blinda enligt tidigare resonemang.

Visning av Fantomaten

Bland folk som sysslar med människa-dator-interaktion märker man ett ökat intresse för det som kallas "technology for people with special needs". Teknik som är avsedd att hjälpa handikappade syns ofta på mässor, och nu kommer till och med speciella mässor för kombinationen handikapp och "Virtual Reality".

Vi på CERTEC vill gärna visa upp våra idéer och tillämpningar om och med Fantomaten för en internationell publik. Två mässor som är aktuella är CHI 96 och EDCVRAT 96.

CHI 96

Computer - Human - Interaction 1996. En mässa på ämnet människa-dator-interaktion som har hållits flera gånger både i Europa och Nordamerika. CHI 96 kommer att hållas i Vancouver, British Columbia i Kanada. Datumen är 13-18 april 1996. Årets konferens har temat "Common Ground", vilket syftar på de gemensamma perspektiv som måste finnas hos alla parter för att de ska kunna kommunicera och förstå varandra. Mer information om CHI 96 finns på http://www.acm.org/sigchi/chi96/ .

EDCVRAT 96

European Conference on Disability, Virtual Reality and Associated Technologies 1996. Detta är förmodligen Europas första konferens på ämnet handikapp och Virtual Reality. Konferensen kommer att hållas den 8-10 juli 1996 i Maidenhead i England. Ämnen som finns med är bl.a.

Mer information om EDCVRAT finns på http://www.cyber.reading.ac.uk/edcvrat96/edcvrat96.html.