Het MonteVideo Toonbeeldklavier

In 1911 schreef de Russische componist en pianist Alexander Scriabin voor een instrument dat niet bestond: een 'clavier à luce', ook wel 'keyboard of light' of 'kleurenklavier'. In zijn Prometheus of Poem of Fire zou een orgel bespeeld moeten worden, dat geen klank voortbracht maar kleur, in harmonie met zijn instrumentatie en harmonisch systeem. In zijn partituur schreef hij er gewoon een partij voor. Maar het is Scriabin niet gelukt zijn kleurenklavier te laten bouwen. Hij heeft zijn gedachte machine nooit in werkelijkheid mogen aanschouwen.

We kunnen ons dat nu moeilijk voorstellen. Ieder theater, hoe klein ook, heeft een lichtorgel, sinds een jaar of tien bijna zonder uitzondering computergestuurd. De relatie tussen licht en muziek zit in onze genen. Een popconcert zonder zee van licht is geen popconcert. In de klassieke muziek staat niemand ervan te kijken als Olivier Messiaen in de onlangs uitgezonden documentaire van Cherry Duins beweert dat een E majeur-accoord rood is, hoewel het wel gek wordt gevonden. De interviewer, Reinbert de Leeuw, liet Messiaen er niet over uitpraten.

Maar Jaap Dercksen ging het niet om kleur. Hij had enkele jaren geleden een paar (video-)films van Eddie Duinkerken, een Enschedese kunstenaar, gezien en was daardoor geraakt. Met shots van een druppelende kraan, een slaande deur, vallende regen, brekend glas e.d. maakte eddie d, zoals hij zich bij voorkeur noemt, korte, ritmische videofilms, die klonken als muziek en eruit zagen als stukken uit Haanstra's film Glas. Soms duurde een shot een paar seconden, maar vaker niet langer dan enkele fracties van seconden. Alleen, een videofilm is een opname die je afspeelt. Dercksen wilde geen opname maken, maar een concert geven. Hij vroeg zich af of het mogelijk was 'videobeelden van eddie d te spelen'. Het verbazingwekkende is dat dat bij de huidige stand van de techniek eigenlijk niet kan.

Het probleem is tijd. Tussen het aanslaan van een piano en het horen van de toon ligt een tijdinterval dat we ervaren als direct. Nul seconde. Maar in de snelste machine die we kennen, de computer, zit er tussen het aanslaan van een toets en een gebeurtenis op het scherm nog altijd een wachttijd. Het typen van een letter gaat snel, bijna zo snel als het aanslaan van een piano. Maar het openen van een document gaat al beduidend langzamer. De snelheid waarmee een berekening wordt uitgevoerd, kan een onderzoeker mateloos irriteren. Een grafisch ontwerper springt uit zijn vel als hij een vlakje van kleur wil veranderen en de computer daarna seconden nodig heeft om het scherm weer op te bouwen.

In vakjargon heet de barrière de 'Von Neuman-bottleneck'. Systeemtheoretisch bestaat de computer uit twee compartimenten, een geheugen en een verwerkingseenheid. Tussen de twee moet voortdurend informatie worden uitgewisseld. De snelheid waarmee dat gebeurt is de zwakke schakel in de keten. Zolang de computer bestaat, zijn computerbouwers en softwareontwikkelaars bezig die snelheid op te voeren. Wat ze het mooist vinden is om te kunnen werken in wat ze noemen 'real time'. De computer doet direkt wat er van hem gevraagd wordt. Met enorme computers, soms van een heel bijzondere configuratie, lukt dat tegenwoordig voor bepaalde toepassingen heel aardig. Bij flauwe tekenfilmpjes bijvoorbeeld. Of in de sfeer van de 'virtual reality', maar dan moet je 'reality' met een grote korrel zout nemen. Ruimtes zijn lijnen en mensen draadfiguren.

Terug naar Dercksen en Duinkerken. Zij wilden een machine die videobeelden speelde en legden hun probleem voor aan een centrum voor mediakunst, MonteVideo/Time Based Arts. Ze vonden een gewillig oor want 'muzikale omgang met beeld en geluid' was en is één van de werkterreinen van het centrum. Zo'n machine stond al op het verlanglijstje. Shaun O'Neil, de technische man bij Montevideo, nam het project ter hand. Een ongelooflijk grote computer zou de eenvoudigste oplossing zijn. Als je alle videobeelden in de verwerkingseenheid van een computer zou zetten, ben je van het hele probleem van de 'Von Neuman-bottleneck' af. Maar zo'n computer is onbetaalbaar en heeft niets van een muziekinstrument. Dus begon O'Neil aan een praktischer oplossing te denken. Je zet videobeelden op een harde schijf, gebruikt een programma om de beelden op te roepen en laat dat programma besturen door een elektronisch klavier. Het kwam O'Neil voor dat het programma het grootste probleem zou zijn. Hij meende dat de oplossing zou liggen in gloednieuwe videomontage-programma's als AVID en Lightworks. Die programma's zijn in staat videobeelden te monteren zoals een menselijke cutter filmbeelden monteert: de shots staan ieder afzonderlijk op een plank en tijdens de montage kun je shots naar believen in je film met plakband tussenvoegen of eruit halen. Bij videomontage kan dat niet omdat je in videobanden niet kunt knippen. Als je een shot wilt tussenvoegen, moet je alles wat daarna komt opnieuw monteren. Zet je je videobeelden echter op een harde schijf en monteer je met behulp van de computer, dan ben je van videoband af en kun je 'niet-lineair' monteren. Alleen, dat kost veel rekentijd. Shots, combinaties van bewegend beeld en geluid, zijn grote hoeveelheden informatie die een computer niet in 'real time' kan verwerken. Op alle mogelijke manieren probeerde O'Neil met informatici de rekentijd te bekorten. Ze beloofden hem dat ze de informatie konden indikken. 'Compressie' heet dat. De beeldkwaliteit van de shots gaat nauwelijks verloren terwijl de hoeveelheid informatie op de harde schijf dertig keer zo klein zou worden. Maar de informatici konden hun beloftes nog niet nakomen. Het resultaat leek in de verste verte niet op een piano. Tussen het oproepen van maar één videobeeldje en het aanslaan van een toets lag een kwart seconde. Voor een pianist is dat dezelfde ellende als die van een bezoeker in een techniekmuseum die bij één van de attracties probeert door te praten als hij in een koptelefoon zijn eigen stem een fractie later hoort.

Zo was de situatie een paar maanden geleden. Bij toeval trof O'Neil op een beurs in Duitsland een softwarepakket dat een videobeeld van schijf kon oproepen in de tijd die één videobeeld in beslag neemt. Eén vijfentwintigste seconde. Dat kwam in de buurt. Met een supersnelle harddisc erbij moest het mogelijk zijn het 'toonbeeldklavier' te ontwikkelen.

In een week was het prototype klaar. O'Neil kocht een harddisc van 1 Gb die 3.5 Mb per seconde kan lezen. Hij 'vereenvoudigde' de videobeelden zodat ze minder schijfruimte in beslag namen. Ze hadden niet meer, zoals dat heet, 'uitzendkwaliteit' maar waren grofkorreliger. Zo erg is dat niet want tijdens het concert zullen de beelden geprojecteerd worden op een groot scherm. Vierkante pixels veranderen dan in vaag ronde punten die elkaar goed overlappen. Het beeld is mooi. Geluid neemt minder informatie in beslag dan beeld dus daar hoefde niets aan te gebeuren. O'Neil verbond de harddisc aan een 'gewone' Amiga 4000 computer met 18 Mb interngeheugen en verving het standaardtoetsenbord door een klavier. Tussen het aanslaan van een toets en het verschijnen van een videoscène ligt nu een tiende seconde. Op de harde schijf staan vijftien scènes. Op het klavier is iets meer dan een octaaf videobeelden te spelen.

Hoe speelt het toonbeeldklavier? Jaap Derksen: 'Ik heb het toonbeeldklavier naast mijn piano staan. Ik bespeel het met de rechterhand. Ik kan maar één toon tegelijk spelen. Polyfonie is nog niet mogelijk omdat de computer alleen maar snel videoshots kan oproepen, maar ze niet kan mengen. De vertraging van het instrument vereist een andere motoriek. Als ik het bespeel, kan ik met mijn linkerhand geen snelle passages spelen. Gelukkig kon ik die stukken uit mijn partij wegschrijven naar de gitaren.' Derksen heeft in zijn partituur de partij voor het toonbeeldklavier, net als Scriabin, gewoon uitgeschreven. Het notenbeeld is overigens totaal anders. Voor Scriabin waren de kleuren een bijna religieuze ervaring. De partij voor zijn 'clavier à luce' leest als een koraal. Hij moet gedacht hebben aan een orgel. Dercksen beschouwt het toonbeeldklavier als een piano en een piano bijna als percussieinstrument. Hij schrijft in achtsten en zestienden. Snel. En hadden bij Scriabin de noten voor zijn kleurenklavier betekenis binnen de harmoniën van zijn muziek, 'ik heb ze zo geschreven dat ze niets met mijn muziek te maken hebben' zegt Dercksen. 'Ze moeten gewoon lekker liggen voor mijn rechterhand.'

Bij een repetitie wordt duidelijk wat het nieuwe instrument aan muziek toevoegt. Zodra Dercksen het bespeelt, wordt de aandacht van de kijker getrokken door de getoonde beelden. Tegelijkertijd verandert de klankkleur van het orkest. Een vallende meloen, een leeglopende ballon, een duikster, een leeglopende gootsteen, een vallende druppel, een openschietende beugelfles, snelstromend water, het zijn klanken die zich naadloos mengen met bekende klanken als die van een piano, gitaar, basgitaar, saxofoon, trompet en slagwerk. Dercksen heeft zijn stuk zo opgebouwd dat in het begin nieuwsgierigheid voor het nieuwe instrument bevredigd kan worden. De toeschouwer krijgt alle tijd om te zien en te horen wat het doet. Het toonbeeldklavier lijkt dan een machine om videos, of clips te maken. De videos lijken op de werkstukken van Eddie Duinkerken. 'Maar ze zijn niet van mij, hè' zegt hij 'Jaap Dercksen heeft ze gecomponeerd. Het is merkwaardig voor een kunstenaar om zo via de omweg van een machine je werk uit handen te geven. Anderzijds laat ik me graag verrassen, dus zit ik steeds weer op het puntje van mijn stoel.' Maar al gauw bespeelt Dercksen het toonbeeldklavier als een percussieinstrument. Zo snel, dat van de videobeelden maar fracties worden getoond. Ook de klanken worden zo kort gehoord dat ze hun betekenis verliezen. De toeschouwer zal meer luisteren dan kijken. Het speeltje wordt een muziekinstrument. In het tweede deel heeft Dercksen de klanken van het toonbeeldklavier beschouwd als noten en zijn compositie er wèl bij aangepast. Dan duiken muzikale problemen op. De bassist: 'Het ritme van die duikster is wè-wè-wèèè en dat past slecht op mijn triolen.' En de trompettist: 'De stemming van dat klavier is afschuwelijk. Ik moet tegen die ballon een bes aanzetten en dan lijkt het of ìk vals zit te spelen in plaats van dat ding.' In het derde deel krijgt de machine een solo. Dan wordt een beeld- en geluidvolgorde afgedraaid die eddie d heeft bedacht. De componist is dan niet aan het woord, maar één van de mensen die aan het werken van de machine heeft bijgedragen, de beeldend kunstenaar.

Waar alle partijen het over eens zijn, is dat deze uitvoering van het toonbeeldklavier een prototype is. Het is serieus vormgegeven door Peter Giele, het ziet eruit als een keyboard, het heeft mooie beelden en klanken, maar het is niet meer dan een begin. Als de ontwikkelingen in de informatica van beeld en geluid voortzetten, kan het toonbeeldklavier een instrument worden met een bereik van enkele octaven waarop meerstemmig gespeeld kan worden, beelden zich kunnen mengen of in elkaar geprojecteerd kunnen worden.

Dat zal nog wel even duren. De 'Von Neuman-bottleneck' is een geduchte tegenstander. Het door dit toonbeeldklavier gestelde probleem zal moeten leiden tot samenwerking van MonteVideo/Time Based Arts met softwarehuizen en wetenschappelijke instellingen. Ondertussen zitten Louis Andriessen en Mauricio Kagel met jeukende vingers in de wachtkamer.