Velkommen til Regn Lyden Ud i fysiktimen - et online undervisningsmateriale, der sætter fokus på lydens fysik og på kunstig intelligens. Materialet giver dig et fagligt og underholdende indblik i lyds grundlæggende egenskaber.

Materialet bygger videre på den viden om lyds bølgelængde, frekvens, udbredelsesfart og fysiske egenskaber, som du har fra fysikundervisningen (Fysik C). Du bliver klogere på, hvordan man kan forstå lyd ved at kigge på energien ved forskellige frekvenser. Du skal se på, hvordan energien varierer i tid og finder ud af, hvordan du kan forstå lyds egenskaber ved at forstå spektrogrammet. Sidst men ikke mindst får du et crash-course i at bruge kunstig intelligens til at forstå lyd som data og en introduktion til at arbejde med neurale netværk.

Efter den teoretiske introduktion kommer en holdøvelse med videnskabeligt feltarbejde og teamwork, og en quiz, hvor I dyster på forståelse af lyd samt evnen til at arbejde med neurale netværk. Rent praktisk skal I ud og opsamle lyd og lære at analysere og forstå spektrogrammer.

Når I er færdige med forløbet, vil I være klogere på lyd og hvordan man kan bruge kunstig intelligens til at kategorisere lyd.

Dette undervisningsmateriale bygger på en forelæsning afholdt i forbindelse med Forskningens Døgn 2019.

I videoerne vil du møde Rasmus Høegh, der er ingeniør og erhvervs-ph.d. ved WSAudiology og DTU. Rasmus' forskning handler om at udvikle machine learning til brug på data inden for områderne biologi, medicin og menneskekroppen. Især har Rasmus fokus på kunstig intelligens (eller mere specifikt: deep learning) til forståelse af lyd og tale. De systemer, som han udvikler, kan for eksempel bruges til at lave bedre høreapparater eller til at finde sygdom i signaler fra hjernen.

Rigtig god fornøjelse!

Lyd er - som I ved fra fysikundervisningen - forplantning af trykbølger gennem luft. Bølgerne kan beskrives ved deres frekvens - antallet af bølger per tidsenhed (måles i Hz eller s^-1). Desuden kan de beskrives ved deres bølgelængde, som er afstanden fra én bølgetop til den næste. Bølgelængden står i et omvendt forhold til frekvensen: Frekvens kan beregnes som lydens hastighed divideret med bølgelængden. Endelig kan lydbølger beskrives ved deres amplitude - lydstyrken (måles i dB).

I kan prøve en tonegenerator her. Prøv at afspille toner ved forskellige frekvenser og se, hvor høje frekvenser I selv kan høre:

TONEGENERATOR

Lydbølger kan også beskrives ved hjælp af lydspektre, som viser, hvor meget energi, der er ved forskellige frekvenser - se figuren. Det øverste lydspektrum viser meget energi omkring 1 Hz, mens det nederste lydspektrum viser det ved 2 Hz.

Viden om frekvens og lydspektre er relevant for at forstå hørelsen, som kan opfattes som en slags frekvensanalyse i øret: Lyd opfanges af det ydre øre. Trykket fra lydbølgen forplanter sig derefter ind i mellemøret, hvor det får trommehinden til at vibrere. Den sætter de tre små knogler: hammeren, ambolten og stigbøjlen i bevægelse, så de viderefører lydsignalet til sneglen - det lilla organ på illustrationen. Sneglen er indvendigt dækket med tusindvis af fimrehår, der opfanger bevægelsen og sender signal til hørenerven. Når en lyd rammer øret og sætter vibrationer i gang, vil forskellige dele af sneglen vibrere - alt efter, hvilke frekvenser lyden indeholder. Jo længere man kommer ind i sneglen, jo lavere frekvenser skal der til for at sætte vibrationerne i gang.

De lyde, vores ører opfanger og omdanner til sanseindtryk, der gør os klogere på vores omgivelser, er vældigt komplekse: Tale, fuglekvidder, motorstøj og klokkespil består alle af en blanding af rene toner, overtoner, støj, pauser osv. I tale kombinerer vi forskellige toner, og der er masser af dynamik. Lydene kan med andre ord ikke beskrives med den samme type enkle kurver, som man starter med indenfor bølgelære. Figuren her viser, hvordan komplekse lyde kan nedbrydes i delsignaler: Den røde kurve viser et signal med lav frekvens, mens de orange og grønne kurver viser signaler med højere frekvenser. Det samlede signal kan beskrives med det spektrum, som ses i lilla.

Når vi vil beskrive komplekse lyde - for eksempel tale - bruger vi spektrogrammer. Figur 1 viser dels en klassisk lydbølge, dels den samme bølge i et spektrogram: Her viser x-aksen tid og y-aksen frekvens. Figuren viser altså, hvor meget energi, der er på de forskellige frekvenser på et givent tidspunkt. Blå farve betyder 'ingen eller næsten ingen energi', grøn eller gul betyder 'mere energi'. Spektrogrammet viser en ren tone på omkring 500 Hz.

Nu kan vi begynde at forstå mere komplekse lydsignaler. På figur 2 ser vi et signal med tre frekvenser omkring 500 Hz, 1000 Hz og 2000 Hz. Amplitude og energi er forskellige: Ved 500 Hz er der en smule energi, mere ved 2000 Hz og rigtig meget energi omkring 1000 Hz.

I beskrivelsen af lyd har vi nu bevæget os fra en simpel graf med en bølgeform til spektrogrammer, der er fyldt med information om frekvenserne i en lydoptagelse og dynamikken over tid.

Karakteristiske lyde har nogle meget karakteristiske spektrogrammer. Se figuren her. Hvis man kigger på bølgeformen øverst alene, har man ingen idé om, hvilken lyd, der kan være tale om. Men putter man den samme lydoptagelse ind i et spektrogram, kan man se, at der er tale om en næsten ren tone som stiger og falder - igen og igen. Lyden stiger også i amplitude og falder igen - det ses på at farven bliver mere gul over tid og derefter mere grøn igen.

Spektrogrammet er en lydoptagelse af en ambulance under udrykning, som først kommer tættere og tættere på - for efterfølgende at bevæge sig væk igen.

Når man ser lyde som spektrogram i realtime kan man tydeligt se dynamikken i forskellige lyde. Når man slår en tone an på en singing bowl kan man for eksempel se sammenspillet mellem rene toner og overtoner som Rasmus Høegh viser her:

Ud over den rene tone kan man også se og høre overtoner. Se Rasmus vise på en guitar, hvordan rene toner og overtoner hænger sammen:

Hvis man kigger på et spektrogram for tale, kan vi se noget meget karakteristisk: Spektrogrammet viser nogle kombinerede toner, som går lidt op og ned henover denne skala af tid, og der er pauser ind imellem. Det vi ser, er 'fonemerne' - de byggeklodser, vores ord og sprog er opbygget af.

Fonemerne har et meget karakteristisk udseende i et spektrogram som Rasmus viser her:

Klik her for at se og lege med spektrogrammer i det samme program, som Rasmus bruger i videoerne ovenfor.

SPEKTROGRAM

Med spektrogrammer har vi et værktøj til at beskrive lyde og se forskel på forskellige lyde. Vi kan også bruge dem til at skabe en repræsentation af lyde, som kan bruges til at optræne kunstig intelligens i at forstå og genkende lyde.

Mange tænker robotter, når de tænker kunstig intelligens. Men i virkeligheden handler kunstig intelligens i langt højere grad om programmering og kode. Og om at efterligne biologi - vores hjerne og måden vi tænker på.

Hjernen består af et kæmpe netværk af neuroner - små celler, der modtager, behandler og sender signaler, og som kommunikerer med hinanden ved at gøre det. Det system prøver man at efterligne med kunstig intelligens - og man bruger matematik til det: Grundlæggende forsøger vi med kunstig intelligens at opbygge et system, hvor vi giver et neuron input - og tester det output, det giver. Når vi kombinerer neuroner opstår netværk - og større netværk, der behandler større mængder data, begynder at minde om den måde, hjerner fungerer: Vi har skabt et neuralt netværk, som kan lære ting.

Hvordan træner man så et neuralt netværk? Start med at se på et enkelt neuron: I figuren til højre ses et neuron med to forskellige input og ét output. Vores to input kender vi, og vi ved også hvilket output, vi ønsker. I første omgang laver vi et tilfældigt gæt på, hvordan input og output hænger sammen - og forholder os til fejlen i det gæt, som det utrænede netværk laver. Derefter justerer vi og prøver igen. Netværket virker rigtig dårligt til at starte med, men efterhånden som det laver fejl og justerer igen og igen, bliver netværkets forudsigelser bedre og bedre.

Et eksempel: Vi vil træne et neuron til at forudsige, om noget er et menneske eller en hund. Som input bruger vi højde og antal ben. Vi lader som om vi ikke ved, hvordan sammenhængen er mellem højde og antal ben i forhold til om noget er menneske eller hund - men vi giver netværket de to input og får et output. Vi bestemmer os for, at -1 skal være neuronets forudsigelse af 'menneske', mens 1 skal være neuronets forudsigelse af 'hund'.

Nu indsætter vi data: Vi tjekker noget med højden 170 cm og to ben. Hvis output bliver 1 forudsiger netværket 'hund', og det ved vi er forkert: Vi ville gerne have et output på -1 for 'menneske'. Rent matematisk går vi ind og regner på fejlen - og finder ud af, at vi har trukket for meget fra antallet af ben og lagt for meget til højden. Så i stedet gør vi det omvendt: Med den nye model vil vores netværk sige, at jo flere ben noget har, jo mere er det en hund, og jo højere det er, jo mindre er det en hund. Helt intuitivt giver det jo også mening.

Den måde, man træner kunstig intelligens på, er altså ved at lave tilfældige gæt, lade netværket lave fejl og prøve at rette fejlene ind. Matematisk ser det ud som figuren her.

På samme måde kan man lære kunstig intelligens at forholde sig til lyd i form af spektrogrammer. Et eksempel på, hvor man kan have brug for det, er støjreduktion: Man viser den kunstige intelligens en masse eksempler på, hvordan støj ser ud - og efterhånden begynder netværket at kunne forudsige, hvad der er støj, og hvad der ikke er støj. På den baggrund kan den kunstige intelligens udpege og fjerne støj i eksempelvis telefonsamtaler.

Kunstig intelligens og behandling af spektrogrammer bliver brugt i projektet Lyden af Danmark. Det er et projekt, der har til formål at kortlægge det danske lydlandskab.

Igennem de seneste hundreder af år er der kommet flere og flere menneskeskabte lyde til. Men hvad betyder det for os mennesker? Og for naturen? Det ved vi helt grundlæggende ikke. Vi ved, at huse er billigere, når de ligger tæt på en larmende motorvej, end når de ligger mere stille. Vi ved, at for eksempel stress og hjertekarsygdomme kan kobles til støj. Vi ved også, at nogle fugle synger højere, når de er omgivet af larm i byen, eller at de efterligner menneskeskabte lyde, som de ofte hører. Men vi har ikke noget overblik. Kortlægningen af det danske lydlandskab kan forhåbentlig hjælpe os med en mere detaljeret forståelse af, hvordan menneskeskabte lyde påvirker naturen - og herunder mennesket.

For at kortlægge lyden af Danmark har man brug for data - masser af data. Projektet bygger derfor på citizen science, hvor alle i hele Danmark inviteres til at optage lyde, hvor de færdes - også dig. For den enkelte er det nemt: Du downloader en app på din smartphone - og går udenfor og optager lyd. Når du cykler i skole, går tur med hunden i skoven, bader på stranden, går forbi en byggeplads eller bare åbner gadedøren herhjemme. Hvad enten du bor i Brønderslev, Bagsværd, Bagenkop eller Bylderup Bov. Jo flere lydoptagelser, jo mere data - og jo bedre bliver kortlægningen af lydene i Danmark.

Hver gang du laver en optagelse til Lyden af Danmark, gætter app'en på, om det er en fugl, en motorvej eller noget helt tredje, som du lige har optaget. Det er fordi forskere på DTU har kodet en række elementer ind i app'en, så den kan kende forskel på lyde. Vi har dog ikke lært app'en, hvordan alle lyde i hele Danmark ser ud - i form af et-taller og nuller - når de kommer ind i en computer. Det ville nemlig tage utrolig lang tid... Til gengæld har det været både nemmere og bedre at kode et stykke kunstig intelligens, og bede den kunstige intelligens om selv at finde ud af Danmarks mange forskellige lyde.

Projektet gør os derfor også bedre til at forstå og træne kunstig intelligens. I et projekt som Lyden af Danmark får vi en meget stor datamængde, som kan bruges til at udvikle og træne kunstig intelligens. Det kan på sigt også gøre os bedre til for eksempel at træne kunstig intelligens på vores telefoner til bedre at kunne forstå os.

Undervisningsmaterialet Regn Lyden Ud er udviklet på DTU, Danmarks Tekniske Universitet.

Regn Lyden Ud - i fysiktimen er en bearbejdet udgave af et oplæg ved ph.d. studerende Rasmus Høegh, DTU Compute, afholdt i forbindelse med Forskningens Døgn 2019. Undervisningsmaterialet tager afsæt i et forskningsprojekt ved Center for Makroøkologi, Københavns Universitet, der havde til formål at kortlægge lyden af Danmark. Forskningsprojektet brugte kunstig intelligens til at analysere de indsamlede lyde – og den del af projektet var DTU ansvarlig for. Regn Lyden Ud – i fysiktimen kobler derfor fysik og kunstig intelligens.

Tak til gymnasielærer Simon Pedersen for faglig bistand - ikke mindst hjælp til at koble materialet til gymnasiets undervisning.

Redaktion: DTU (Andreas Ussingø, Christina Madvig Christensen & Jesper Spangsmark Nielsen).

Undervisningsmaterialet er økonomisk støttet af Uddannelses- og Forskningsministeriet / Forskningens Døgn.