keskiviikko 2. joulukuuta 2009

Tulostettavaa elektroniikkaa ja kanditöitä

Tänään ensimmäisellä tunnilla SGN-laitoksen tutkimusapulainen Tapio Manninen kävi esittelemässä diplomityönsä aihetta: konenäköjärjestelmää tulostettavan elektroniikan käyttöön. Erityisenä tutkimuskohteena tarkasteltiin menetelmää piirilevyn korvaajaksi. Tässä tapauksessa elektroniikan komponentit kytketään toisiinsa tulostetuilla johtimilla, jossa muste on sähköisesti johtavaa. Menetelmässä on haasteellista komponenttien siirtymät ennen tulostusta, mistä johtuu etteivät kytkentäpisteet välttämättä olekaan siellä missä niiden pitäisi. Tapion diplomityössä on kehitetty menetelmä kytkentäpisteiden todellisen sijainnin selvittämiseksi. Todellisia kytkentäpisteitä verrataan kytkentäkaavion sijainteihin: ratkaistaan siis missä pisteiden pitäisi olla ja missä ne todellisuudessa ovat. Tämä tehdään ns. Point Pattern Matching -algoritmilla. Kun pisteiden poikkeamat saadaan ratkaistua, täytyy kytkentäkaaviota korjata niin että se sopii kullekin modulille.

Toisella tunnilla luotiin katsaus laitoksella viime aikoina tehtyihin kanditöihin. Työt löytyvät zip-paketista. Latauksen tunnus on sgnkandi ja salasana motiivi.

keskiviikko 25. marraskuuta 2009

Epälineaarinen suodatus ja tilastollinen signaalinkäsittely

Päivän aihe oli epälineaarinen signaalinkäsittely (kappale 7), jonka lisäksi tutkailtiin varovasti tilastollisen signaalinkäsittelyn aihepiiriä. Epälineaariset suotimet saattavat tarjota vaihtoehdon lineaarisille suotimille (FIR ja IIR) silloin kun häiriö ja signaali sijaitsevat samalla taajuusalueella. Klassisin epälineaarinen suodin on mediaanisuodin, jonka ulostulo on suuruusjärjestyksessä keskimmäinen ikkunan sisällä olevista arvoista. Tätä vertailtiin demossa lineaarisen suotimen kanssa sekä äänen että kuvan suodatuksessa. Lopuksi tarkasteltiin vielä suotimen robustisuusmittoja, ja erityisesti murtumapistettä.

Viimeisen 15 minuutin aikana luotiin katsaus tilastolliseen signaalinkäsittelyyn ja erityisesti parametrien estimointiin. Ideana on luoda malli signaalista, joka riippuu tietyistä parametreista. Ongelmana on tämän jälkeen kehittää menetelmä näiden parametrien valintaan mitatun datan perusteella. Esimerkkinä voisi olla signaali, jonka tiedetään olevan sinimuotoinen, mutta amplitudi, vaihe sekä taajuus eivät ole tiedossa. Tähän ongelmaan on olemassa estimaattori, joka arvioi optimaalisesti kohinaisesta datasta näitä kolmea parametria.

Seuraavaksi vilkaistiin esimerkkiä käytännön elämästä, jossa erään järjestelmän tilasta voidaan tehdä mittaus, jonka perusteella halutaan säätää järjestelmän erästä toista parametria. Käsin mittaamalla voidaan kehittää opetusaineisto "hyvistä" kombinaatioista (xk, yk), k = 1,2,...,N. Nämä ovat siis käsin mitattuja arvoja: kun mittaus on xk, kannattaa säätöruuvin olla asennossa yk. Näiden perusteella halutaan laskea funktio y = f(x), jolla voidaan ennustaa hyvä lukuarvo y:lle myös kun x ei ole mikään käsin mitatuista. Tätä varten muodostetaan ns. havaintomatriisi (observation matrix), jossa on mukana ne funktiot, joista f pystytään toivottavasti koostamaan. Esimerkiksi seuraavat rivit laskevat parhaan toisen asteen polynomin arvioimaan xk:n ja yk:n välistä riippuvuutta:

x = [1,2,3,4,5,6,7,8];
y = [18,15,12,11,11,11,13,16];
H = [ones(8,1), x, x.^2];

t = inv(H'*H)*H'*y;


Tuloksena saadaan vektoriksi t = [22.5893, -4.9821, 0.5179]T, eli paras toisen asteen relaatio vektoreiden x ja y välille on y = 22.5893 - 4.9821 * x + 0.5179 * x2. Menetelmä on ns. pienimmän neliösumman estimaatti, jonka Gauss keksi jo 18-vuotiaana pohdiskellessaan mallia Ceres-kääpiöplaneetan radalle.

Viimeisen 15 minuutin tavoitteena oli osin antaa rehellinen kuva signaalinkäsittelyn oppiaineesta: aihe vaatii matematiikan osaamista (tai ainakaan kaavoja ei saa pelätä). Toisaalta matematiikkaa pelkäämättömälle aihe tarjoaa hienon mahdollisuuden toteuttaa itseään mielenkiintoisten sovellusten parissa. Kriittisiä taitoja signaalinkäsittelijälle on mm. ohjelmointitaito, koska menetelmät miltei aina tullaan toteuttamaan ohjelmiston osana. Näin ollen ilman ohjelmointitaitoa ei kannata valmistua signaalinkäsittely pääaineenaan.

keskiviikko 18. marraskuuta 2009

Signaaliprosessorit

Tämän päivän luennolla käsiteltiin kappale signaaliprosessoreista. Tärkeimmät syyt niiden käyttöön ovat yksinkertaisuus, halvempi hinta sekä pienempi virrankulutus. Kuitenkin niistä saa riittävästi tehoa signaalinkäsittelyn tarpeisiin, koska alan tarvitsemat operaatiot ovat nopeita (kertolasku, yhteenlasku). Esimerkiksi FIR-suodatuksen tarvitsemat kertolaskut ja yhteenlaskut voidaan suurelta osin laskea rinnakkain ns. MAC-operaation avulla. Vastaavia operaatioita on nykyisin myös tavallisissa prosessoreissa, ja ensimmäinen tällainen laajennus oli Intelin MMX-käskykanta vuodelta 1997.

Ensi viikon viikkoharjoituksissa koodataan FIR-suodin luokan TC303 signaaliprosessoreille. Olennaisimmat vaiheet olivat:
  1. Suodin suunniteltiin Matlabin fir1-rutiinilla.
  2. Kertoimet kopioitiin C-koodiin.
  3. C-kieliseen pohjaan kirjoitettiin for-silmukka, jossa kertoimet käydään läpi.
  4. Ulostulonäyte kirjoitetaan D/A-muuntimelle.
Vaiheessa 3 on kiinnitettävä huomiota circular buffering-tekniikkaan, jotta viitataan oikeisiin aiemmin sisään tulleisiin alkioihin.

keskiviikko 11. marraskuuta 2009

Oppivat järjestelmät

Tänään käytiin läpi kappale 8, joka prujussa on nimellä Hermoverkot, mutta uudessa versiossa on nimeltään Oppivat järjestelmät.

Oppivien järjestelmien ideana on esittää järjestelmälle näytteitä ja opettaa se tuottamaan oikea ulostulo kun sille esitetään opetusjoukkoon kuulumaton uusi näyte. Yksi oppivien järjestelmien osajoukko ovat luokittelijat, jossa ulostulo kertoo luokan johon esitetty näyte kuuluu.

Suosittuja luokittelualgoritmeja ovat ainakin seuraavat (kasvavan monimutkaisuuden järjestyksessä):
Kaikki näistä käsiteltiin luennolla, ja luentomonisteen uudessa versiossa esitellään kolme viimeisintä. KNN on ideana yksinkertaisin: kaikki opetusdata pidetään muistissa ja uuden näytteen tullessa etsitään k samanlaisinta näytettä, ja valitaan näistä yleisin luokka. Tyypillisesti k on vajaan kymmenen luokkaa, mutta voi olla suurempikin; esim. 30. Mitä suurempi k on, sitä sileämpi luokkarajasta tulee. Vaikka KNN:n luokittelutulos onkin melko hyvä, on sen ongelmana suuri muistin tarve sekä laskennallinen kompleksisuus. Koko opetusjoukko täytyy nimittäin säilyttää muistissa, josta etsitään k lähintä naapuria jokaisen luokittelun yhteydessä. Sekä tilantarve että etsinnän vaatima aika voivat olla ongelmallisia jos opetusjoukossa on esim. 100000 alkiota.

Luentomonisteen ensimmäinen menetelmä on LDA. Ennen sitä pruju esittelee yksinkertaisemman version samasta ideasta, jossa raja piirretään luokkien keskipisteiden puoliväliin. Tämä ei kuitenkaan toimi, jos luokat ovat "limittäin". Näin päädytäänkin LDA:han, joka ottaa limittäisyyden huomioon.

LDA:ta parempi tulos saadaan (yleensä) käyttämällä SVM:ää. SVM:n ominaisuutena on luokkien välisen marginaalin maksimointi. Tästä on iloa eritoten, jos data on korkeaulotteista. Lisäksi se tarjoaa paremman vaihtoehdon haluttaessa käyttää ns. kernelitemppua, joka kuvaa datan keinotekoisesti korkeampiulotteiseen avaruuteen. Korkeampiulotteisessa avaruudessa on enemmän tilaa, ja siellä on tyypillisesti helpompi löytää lineaarinen päätöspinta joukkojen väliin. Dataa ei konkreettisesti tarvitse kuitenkaan kuvata toiseen avaruuteen, koska kernelitemppu tekee saman yksinkertaisesti korvaamalla kaikki sisätulot sopivalla kernel-funktiolla.

SVM on ollut suosituin luokittelualgoritmi tällä vuosikymmenellä, koska se ei ole herkkä ylioppimisilmiölle. Lisäksi suosion syynä on sen yksinkertainen ja laskennallisesti tehokas toteutus, mutta mukana lienee myös hypeä liittyen optimointialgoritmin syvälliseen matematiikkaan jonka vain harva ymmärtää kunnolla.

Tämän jälkeen paneuduttiin hermoverkkojen opetukseen, ja mainittiin lyhyesti opetusalgoritmin perustuvan derivaattaan ja ketjusääntöön. Näiden avulla voidaan päätellä suunta, jossa luokitteluvirhe pienenee jyrkimmin, ja kyseiset kaavat löytyvät esim. täältä. Perus- backpropagationin lisäksi on olemassa kehittyneempiä ja nopeampia opetusalgoritmeja, ja esim. Matlabissa niitä on lähes parikymmentä. Olennaisin ero algoritmien välillä on niiden nopeudessa ja muistin tarpeessa.

Luennon lopussa laitettiin verkon opetus pyörimään, ja opetettiin sitä luokittelemaan suomalaisissa rekisterikilvissä olevia kirjaimia ja numeroita (vrt. prujun esimerkki). Opetusaineistona oli n. 7000 kirjainta ja ajo kesti vain 5 minuuttia. Tulosta demottiin skriptillä, jossa hiirellä voitiin näyttää merkin summittainen sijainti isossa kuvassa, ja verkko luokitteli sen johonkin luokkaan. Todettiin, että luokittelun suhteen oli kriittistä mikä kohta tarkalleen verkolle syötettiin. Yleisemminkin käytetty GIGO-periaate pitää siis paikkansa tässäkin yhteydessä. Luennolla ei otettu kantaa siihen miten järjestelmä löytää verkolle syötettävät merkit, mutta joitain yleisimpiä ratkaisuja kuvaillaan wikipedian feature detection -artikkelissa.

Lisäksi aivan alussa vilkaistiin OpenCV-pakettia, jonka kasvontunnistusesimerkkiä demottiin luennolla sekä alkuviikon opintosuunnistuksessa. OpenCV on vapaan lähdekoodin C++-kielinen paketti, joka on hyvä lähtökohta tutustua konenäköön lähemmin (CV = computer vision). Kasvontunnistusdemo toimii useiden webbikameroiden kanssa "heittämällä". OpenCV:n kasvontunnistus perustuu yksinkertaisten luokittelijoiden yhdistämiseen, niin että jokainen pyrki löytämään mahdollisimman suuren osan ei-kasvoista. Koska näitä on paljon enemmän kuin kasvoja, tulee toteutuksesta tehokas. Menetelmä esiteltiin v. 2004 ja sitä on kutsuttu läpimurroksi.

Perinteisempi tapa etsii kasvokandidaatteja ihonvärin perusteella ja syöttää ne hermoverkolle. Koska kasvojen ala kuvassa voi olla melko suuri, pudotetaan kasvokandidaatin dimensiota esim. 100 x 100 = 10000 komponentista esim. neljäänkymmeneen käyttäen ns. pääkomponenttianalyysiä.

OpenCV on myös muuten lupaava alusta konenäköprojektien toteutukseen Matlabin sijaan. Toinen yleinen vaihtoehto on Java-kielinen ImageJ.

keskiviikko 4. marraskuuta 2009

Audiokompressio

Tänään käsiteltiin kappale 6: audiokompressio. Audiokompression ideana on tallentaa äänisignaali häviöllisesti poistaen bittejä sieltä missä kuulo ei niitä havaitse. Tässä auttaa kuulon ominaisuuksien tuntemus, joista olennaisin osa on s. 81 kuulokäyrä. Kuulo havaitsee matalia ja korkeitä ääniä heikommin kuin keskiääniä. Tämän vuoksi epätarkemmin havaittavat taajuudet voidaan esittää pienemmällä bittimäärällä. Tässä yhteydessä on hyvä muistaa että jokainen poistettu bitti lisää kvantisointikohinaa kuudella desibelillä. Kysymys voidaan siis asettaa muotoon: "montako kuuden desibelin palikkaa kuulokäyrän alle mahtuu kullakin taajuudella". Lisätilaa kuuden desibelin palikoille saadaan havaitsemalla, että äänet peittävät heikompia ääniä alleen. Tässä tapauksessa siis itse kompressoitava signaali peittää näitä heikompia kuuden desibelin palikoita. Luennolla nähtiin myös esimerkki siitä miltä tulosmaski saattaisi näyttää yksittäisen piippauksen ympäristössä.

Jotta kuulomallia voitaisiin käyttää, täytyy signaali jakaa taajuuskaistoihin. Tämä tehdään kaistanpäästösuotimilla, ja kaistoja mp3-standardissa on 32. Kukin kaista voidaan alinäytteistää kertoimella 32, jolloin dataa on saman verran kuin alun perin. Nämä kaistat voidaan sitten kvantisoida kuulomallin mukaisesti. Palautettaessa alkuperäistä näytteenottotaajuutta riittää tehdä ylinäytteistys (nollien lisääminen) kertoimella 32, jolloin havaitaan, että aiemmin laskostunut signaali pomppaakin oikealle paikalleen ja vieläpä oikein päin --- siinäkin tapauksessa, että se olisi sattunut laskostumaan peilikuvakseen.

keskiviikko 28. lokakuuta 2009

28.10: Spektrin estimointia

Tämän päivän luennon aiheena oli signaalin taajuusjakauman laskenta mahdollisimman tarkasti. Tarkkuutta tarvitaan eritoten signaalianalyysissä, jossa taajuussisällön perusteella tehdään johtopäätöksiä esimerkiksi potilaan taudin laadusta. Jakauman laskenta eli spektrin estimointi onnistuu toki normaalilla diskreetillä Fourier-muunnoksella, mutta ei tuota täysin oikeaa tulosta, jos signaalin taajuuskomponenttien jaksot eivät ole samat kuin tarkasteluikkunan pituus. Sivun 66 alimmassa kuvassa on tilanne, jossa signaalin taajuus osuu juuri kahden muunnoskomponentin väliin, jolloin energia jakautuu lähellä oleville taajuuskomponenteille.

Ongelmaa voidaan lähestyä kahdesta suunnasta: ensimmäinen ratkaisu on käyttää pidempää ikkunaa, jolloin kaytettävissä olevien taajuuskomponenttien määräkin kasvaa. Joissain tilanteissa pituutta ei kuitenkaan voida määrättömästi kasvattaa esim. seuraavista syistä:
  • Mittaus on hidasta tai kallista. Esimerkiksi laitoksen systeemibiologian ryhmä tarkastelee eri organismien geenien aktiivisuutta ns. microarraymenetelmällä. Vaikka mittausten hinta onkin laskenut rajusti viime vuosina, saattaa jokainen aikasarjan näyte maksaa edelleenkin tuhansia euroja. Tutkittaessa esimerkiksi eri geenien toiminnan jaksollisuutta solusyklin aikana täytyy jaksollisuuden eli taajuuksien analyysin toimia luotettavasti hyvinkin pienellä näytemäärällä.
  • Sovellus ei salli viivettä spektrin estimoinnissa. Esimerkiksi moottorin tai työkoneen toiminnan optimaalisuuden tarkastelu saattaa vaatia jaksollisuuden tarkastelua vaikkapa käynnin tasaisuuden arvioinnissa. Jotta saatua tietoa voitaisiin käyttää tehokkaasti säädön apuna, täytyy viiveen olla melko lyhyt.
  • Laskenta-aikaa on vain rajallinen määrä. Reaaliaikaisissa sovelluksissa, joissa laskentakapasiteettia ei voida lisätä rajatta, täytyy ottaa huomioon menetelmän laskennallinen kompleksisuus. Fourier-muunnoksen laskenta on kompleksisuudeltaan O(n2), eli pituuden tuplaus nostaa laskennan määrän nelinkertaiseksi. Vaikka käytettäisiinkin alempana mainittua nollien lisäystä, voidaan näistä aiheutuva pituuden lisäys optimoida osin pois laskennasta.
Spektriin saadaan lisää taajuuskomponentteja lisäämällä näytteitä keinotekoisesti. Pienimmät sivuvaikutukset saadaan kun lisätään signaalin loppuun nollia. Tämä auttaa esimerkiksi sivujen 67-68 kuvien mukaisesti löytämään voimakkaimman taajuuden, joka 16 pisteellä suoraan ei löytyisi.

Sivuvaikutuksena nollien lisäämisellä on spektriin ilmestyvät komponentit jota ei todellisuudessa ole. Luennolla todettiin, että yksittäisen taajuuden tapauksessa Fourier-muunnos näyttääkin ikkunan Fourier-muunnoksen siirrettynä oikeaan paikkaan. Käytettävät ikkunat ovat samoja kuin suodinsuunnittelun yhteydessäkin, ja niiden avulla voidaan poistaa spektrin sivukeiloja (lisää ikkunoita harrisin artikkelista). Sivukeilojen poistumisen sivuvaikutuksena pääkeila kuitenkin leviää, joten ikkunan valinta on aina kompromissi samalla lailla kuin suodinsuunnittelussakin. Ikkunoiden vertailun helpottamiseksi niille voidaan laskea kuvaavia tunnuslukuja, joita esitellään kappaleissa 5.2.1-5.2.4.

Varsinaisen prujun asian lisäksi demottiin oskilloskooppia, jossa on myös spektriestimointi-toiminto. Havaittiin, että käytetyssä mallissa on mahdollista valita joko suorakulmainen ikkuna tai Hanning-ikkuna. Lisäksi nähtiin, että tietokoneen äänikortin epäideaalisuudet löytyivät spektristä vain Hanning-ikkunan avulla; ei pelkällä suorakulmaisella ikkunalla. Riittävän kovalla äänenvoimakkuudella tietokone nimittäin leikkaa sinisignaalin huiput tasaisiksi. Tämän säröefektin Fourier-sarja olisi mahdollista laskea analyyttisestikin, ja sen avulla voidaan ääni saada kuulostamaan voimakkaammalta keinotekoisesti---temppu jota käytetään esimerkiksi tekemään mainoksista kovaäänisempiä.

keskiviikko 14. lokakuuta 2009

Akustinen paikannus ja adaptiivinen signaalinkäsittely

Ensimmäisellä tunnilla Pasi Pertilä laitokselta esitteli tutkimuskohdettaan: akustista paikannusta. Akustinen paikannus käyttää useaa mikrofonia, ja arvioi eroja näihin saapuvan äänen viiveissä; tästä menetelmästä käytetään englanninkielistä nimeä Time Difference of Arrival (TDOA). Samaa ideaa käyttävät myös ihmiset sekä luultavasti muutkin kaksikorvaiset olennot: alitajuisesti aivosi arvioivat viivettä sekä taajuusvastetta, ja voit päätellä mistä suunnasta ääni tulee vaikka silmät kiinni. Jos puhuja on oikealla puolellasi, kuulet äänen muutaman millisekunnin aikaisemmin oikealla korvallasi. Lisäksi osaat myös silmät kiinni päätellä onko puhuja takanasi vai edessäsi äänen vaimentumien perusteella (keskiäänet läpäisevät korvalehden keskimääräistä paremmin, joten takaa tulevassa äänessä matalat ja korkeat taajuudet ovat vaimentuneet).

Tietokoneella tehtävä ääneen perustuva paikannus perustuu suurelta osin todennäköisyyslaskentaan. Kunkin mikrofonin kohdalta voidaan laskea tiheysfunktio siitä mistä suunnasta ääni sen mielestä tulee. Yhdistämällä eri mikrofonien tiheysfunktiot (todennäköisyyslaskennan kertolaskusäännöllä) saadaan todennäköisin alue mistä ääni tulee. Sen lisäksi voidaan arvioida paikan estimoinniin tarkkuutta ns. Dilution of Precision (DOP) -menetelmällä. Muita esillä olleita matemaattisia termejä olivat mm. tilastollisesta signaalinkäsittelystä tutut pienimmän neliösumman sovitus, Bayesin kaava sekä Cramer-Rao-alaraja. Kaavarykelmän tarkoitus ei ollut pelotella, vaan paremminkin näyttää ettei joissakin sovelluksissa selvitä ilman syvällisempää matematiikkaa. Samoja asioita tutkitaan myös matematiikan laitoksella mutta hieman eri sovelluksen yhteydessä.

(Tästä tuli mieleeni tarina, jonka mukaan teekkarisaunalla fukseilta oli kysytty vuoronperään minkä ovat ajatelleet pääaineekseen. Kun kymmenen ohjelmistofuksin jälkeen yksi oli maininnut signaalinkäsittelyn, oli seurauksena ollut naurunrämäkkä. Signaalinkäsittely on kuulemma niin vaikeaa ja irti tästä maailmasta ettei siellä voi pärjätä. Tästä on jo 10 v aikaa, ja sen jälkeen opetusta on pyritty tekemään ymmärrettävämmäksi ja sovellukset ovat vallanneet tietokoneiden työpöydät ja ihmisten taskut, joten epäilen että ei enää naurata.)

Toisella tunnilla käytiin kappale 4 loppuun. Tarkastelimme vielä LMS-algoritmia ja sen toimintaa. Lisäksi mietittiin mitä tapahtuu jos parametri mu on liian iso: ratkaisu alkaa heittelehtiä kauemmas ja kauemmas optimista, poukkoillen sen molemmin puolin. Tämähän on luonnollinen seuraus kaavasta

w := w - mu * grad (c(w)),

missä grad (c(w)) on kustannusfunktion gradientti. Kustannusfunktio on paraboloidin muotoinen, joten kauempana optimista myös gradientti kasvaa. Näin värähtely optimin molemmin puolin vahvistuu ja vahvistaa itseään. Ensi maanantaina on ensimmäinen välikoe. Ilmoittautuminen tähän päättyi jo, mutta poikkeuksellisesti tällä kertaa jälki-ilmoittautuminen on mahdollista. Syynä että en tarpeeksi mainostanut asiaa, ja POP:in bugi on estänyt ilmoittautumisen joiltakin. Jos et ole ilmoittautunut vielä, lähetä sähköposti otsikolla Jälki-ilmoittautuminen välikokeeseen osoitteeseen heikki.huttunen@tut.fi keskiviikkoiltaan 14.10 klo 21:00 mennessä. Liitä viestiin nimesi ja opiskelijanumerosi. Välikokeen 19.10 koealue on monisteen sivut 1-63. Siis myös kappaleen 4 harjoitustehtäviin (ainakin ei-matlab-tehtäviin) kannattaa perehtyä.