Randomdot-Stereo

Peter Weibel: Anatomie des Sehens

Aus: Alfons Schilling. Ich / Auge / Welt. The Art of Vision. Springer-Verlag. Wien, New York, 1997. S.115-124

I. (Das Malen von Bewegung) 

Kunstrichtungen wie Impressionismus, Pointilismus, Postimpressionismus und Divisionismus bezeugen, dass im 19. Jahrhundert die Farbe, ihre Zusammensetzung und ihre Wirkung auf das Auge, für die Malerei eine zentrale Rolle gespielt haben. Die revolutionäre Funktion der von der lokalen Gegenstandstreue verabsolutierten Farbe, die den eigentlichen Motor der Entwicklung der Malerei bildete,  gelang den Malern bekanntlich nur im Dialog mit den wissenschaftlichen Farbtheorien des 19. Jahrhunderts, von Eugène Chevreul über Hermann von Helmholtz bis Ernst Brücke.   

Die katalytische Funktion, welche im 19. Jahrhundert die Farbe für die Entwicklung der Kunst innehatte, übernahm im 20. Jahrhundert die Bewegungs- und Wahrnehmungsproblematik. Diese Verschiebung der künstlerischen Fragestellung zum Bewegungsphänomen, die zu Beginn des 20. Jahrhunderts erstmals von Kubismus und Futurismus zum künstlerischen Programm erklärt wurde, war durch das Aufkommen der Maschinen im Zuge der industriellen Revolution erzwungen worden. Diese Maschinen waren von der Eisenbahn bis zum Auto Transportmaschinen für materielle Güter, die sich einer fortgeschrittenen Rad-Technologie verdankten. Die Geschwindigkeit der Bewegung dieser Maschinen war bereits im 19. Jahrhundert schneller als alle bekannten historischen Formen der Fortbewegung, insbesondere von natürlichen Lebewesen. Die Trägheit der Retina in Relation zur maschinellen Geschwindigkeit wurde 1824 durch den Arzt Dr. Peter Mark Roget entdeckt, worauf die Nachbildwirkung, der zentrale Wahrnehmungsmechanismus für alle maschinengestützten optischen Täuschungsapparate von Film bis Cyberspace, beruht. Als es nämlich Maschinen gab, die sich schneller bewegen konnten als der menschliche und tierische Körper, und als es zweitens auch solche Maschinen gab, welche die Bewegung von Maschinen, Tieren und Menschen präziser dokumentieren konnten als die Malerei, nämlich die fotografischen und kinematographischen Maschinen von Étienne-Jules Marey, Eadweard Muybridge, Ernst Mach, mussten auch die historischen visuellen Künste sich intensiver mit dem Problem der Bewegung beschäftigen.   

Die neue Fragestellung war, wie kann Bewegung, die in vier Dimensionen stattfindet, nämlich im dreidimensionalen Raum und in der Zeit, auf den zwei Dimensionen des Tafelbildes repräsentiert werden. Um die Darstellung von statischen Objekten durch Beobachter in Bewegung bemühte sich der Kubismus. Die Gegenstandswelt wurde in eine simultane Darstellung mehrerer Perspektiven aufgesplittert. Die Simultanperspektive durch Bewegung ersetzte den Simultankontrast der Farbe als künstlerische Idee. Um die Darstellung von bewegten Objekten bei statischem Beobachten bemühte sich der Futurismus. Die Gegenstandswelt wurde in einer sukzessiven Darstellung mehrerer Bewegungsphasen auf ein und derselben Fläche aufgesplittert. So entstand eine immer abstraktere geometrische Formensprache aus Linien, Kreisen und Flächen, eine dynamische Geometrie, welche das Formenrepertoire der Rad-Technologie wiederholte. Visuelle Zeichen für Bewegung, Beschleunigung und Geschwindigkeit fanden Eingang in die Malerei. Aus der realistischen Darstellung von Bewegungsmaschinen entwickelte sich sehr schnell eine abstrahierte Darstellung der Bewegung, weil diese der subjektiven Empfindung des Sehens mehr entsprach. Da die Elemente der Bewegungsmaschinen, die Räder, Kolben etc., ohnehin geometrische Figuren wie Kreise, Linien Quadrate waren, erfolgte die Abstraktion auf geometrische Weise. Die "More geometrico" als Methode der visuellen Repräsentation stand darüber hinaus in der Tradition der Malerei  seit der Entwicklung der Perspektive in der Renaissance. Aus der durch das Bewegungsproblem gestellten Aufgabe der 2-dimensionalen Darstellung eines 4-dimensionalen Ereignisses entstand also die Notwendigkeit zur Abstraktion. Die geometrische Abstraktion war also das logische Ergebnis der Malerei auf der Suche nach einem visuellen Vokabular, das die 4-dimensionale Bewegung (in Raum und Zeit) 2-dimensional (auf der Fläche) darstellen könne.   

Parallel dazu entwickelten die technischen Bildmedien wie Fotografie und Film neue Zugänge zum Problem der Darstellung von Bewegung, die zum Teil künstlerisch avancierter und überzeugender waren als die malerischen, weil der Film über drei Dimensionen (nämlich Fläche und Zeit) verfüge und damit den Wandel der Formen in der Zeit, was ja ein Aspekt des Bewegungsphänomens ist, besser darstellen konnte. Der Film wurde dadurch zur eigentlichen Bewegungskunst, zur Schrift der Bewegung, zur Kinematografie. Erst im Laufe seiner eigenen künstlerischen Entwicklung wurde der Film zur Schrift des Sehens, zur Opseografie.  
  
 

II. (Das Bild in Bewegung) 

Georges Mathieu schrieb 1963 in Au-déla du Tachisme: "Die Geschwindigkeit hat Vorrang vor allem anderen. Die Einführung der Geschwindigkeit in die westliche Ästhetik scheint mir ein Hauptphänomen zu sein." Alfons Schillings Malerei Ende der 50er Jahre experimentierte zwischen Abstraktem Expressionismus, Aktionsmalerei und Informel besonders unter dem Gesichtspunkt eben der Bewegung und der Geschwindigkeit. Zusammen mit Günter Brus hat er damit bekanntlich Ende der 50er Jahre die abstrakte Malerei der Gruppe um die Galerie nächst St. Stephan (Arnulf Rainer, Markus Prachensky, Josef Mikl, Wolfgang Hollegha) radikalisiert. Den nächsten Schritt, der aus der Materialmalerei folgte, die Anwesenheit des Körpers beim Malakt bzw. beim Schaumalen vor Publikum zu betonen, wie es von Jackson Pollock, Georges Mathieu und Yves Klein bereits vorexerziert wurde, überließ er allerdings Günter Brus, da er weiterhin an der Lösung des Bewegungsproblems im Bild festhalten wollte. Er konzentrierte sich auf einen spezifischen Teil des Körpers und dessen Präsenz im Bild, nämlich das Auge. Also kam er Anfang der 60er Jahre in Paris zu einer einzigartigen Lösung des Bewegungsproblems, nämlich zur Synthese der gestischen informellen Aktionsmalerei mit der kinetischen Skulptur: Runde Bilder, die gestisch bemalt wurden und zwar beim Rotieren der Scheiben selbst, wurden wiederum durch einen Motor in Bewegung versetzt und als Gemälde in Kreis-Bewegung präsentiert. Die Malfläche geriet also selbst in Bewegung.  

Was Alexander Calder für die Skulptur geleistet hat, das Mobile, die Skulptur in Bewegung, hat Schilling für das Bild getan, nämlich es als Fläche in Bewegung zu versetzen. Calder verdankt übrigens seine Idee einer motorisierten beweglichen Plastik einem Besuch im Atelier Piet Mondrians1930. Dort sah er farbige Rechtecke an der Wand, die er nach eigener Aussage "gern in Bewegung sähe". Die bewegliche Skulptur wurde also bei Schilling zum beweglichen Bild bzw. zum bemalten Rundbild in Bewegung, übrigens ein Echo der stroboskopischen Scheiben von J. A. F. Plateau und Simon Stampfer, der Farbkreisel von James Clerk Maxwell und Robert Delauney , der Rotoreliefs von Marcel Duchamp. Die Ausstellung Le Mouvement von 1955 in Paris markierte den Beginn dieser kinetischen Kunst. Der Skulptur in Bewegung von Nicolas Schöffer bis Jean Tinguely antwortete Schilling mit einem bemalten Bild in Bewegung.   
Die Fläche des Bildes drehte sich selbst. Es ging also nicht mehr um die Darstellung von Bewegung, sondern um das Erleben von Bewegung. Das Repräsentationsmedium von Bewegung bewegte sich selbst. Das Trägermedium geriet in Bewegung. Durch diese Auffassung des Bildes als kinetische Skulptur, als Kunst der Bewegung, wurde der Bildbegriff revolutioniert. Schilling war durch seine avancierte Position gegenüber dem Bewegungsphänomen gezwungen worden, aus dem Bild auszusteigen, zumindest aus dem historischen Begriff des Bildes.   

III. (Sehen von Bewegung) 

In der zweiten Jahrhunderthälfte wurde ein Re-Start bei der Analyse des Bewegungsphänomens vorgenommen, indem sich die künstlerische Problematik nicht auf die bewegten Objekte, sondern auf die eigentliche Quelle der Wahrnehmung, das Auge, zentrierte. Das Sehen von Bewegung, die Analyse der Wahrnehmungsprozesse selbst, nicht die Darstellung von Bewegung, war die neue künstlerische Problemstellung, wie es der Buchtitel Vision in Motion von László Moholy-Nagy 1947 bezeichnend zum Ausdruck bringt. Aus der Problematik der Darstellung von Bewegung entwickelte sich die Problematik der Darstellung von Wahrnehmung: Kinetik und Op Art. Dabei wurde auf die Ergebnisse der experimentellen Physiologie und von Wahrnehmungspsychologie sowohl des 19. wie des 20. Jahrhunderts zurückgegriffen.   

In dieser zweiten Phase der Bewegungsanalyse wurden die Gesetze der Form in Beziehung zu den Gesetzen der Wahrnehmung gesetzt. Die optischen Effekte, hervorgerufen durch autonome Linien, Farben, Flächen, wurden selbst zum Inhalt der Bilder. Die geometrische Abstraktion erreichte einen Abstraktionsgrad, bei dem die Wahrnehmung selbst zum Thema wurde. Der Sehvorgang selbst wurde zum künstlerischen Medium. 

  
Um den Sehvorgang genauer zu untersuchen, um das Sehen von Bewegung zu einem Programm der Vision in Motion, des Sehens in Bewegung, zu verwandeln, musste sich Schilling zumindest für eine Zeit maschinengestützten Bildvorstellungen zuwenden. Er verlagerte daher sein Interesse beim Studium der Kinesis (griech. Bewegung) von der Kinetik zur Kinematografie. Bald traten die Untersuchungen der optischen Phänomene über den Rahmen der traditionellen Bilder und Skulpturen hinaus und verbanden sich mit Maschinen und Medien zur Produktion optischer Bilderfahrungen jenseits der Scheinbewegungen des Films. Das Interessante und Relevante bei Schillings revolutionären Bilduntersuchungen und Bildtransformationen ist, dass er zwar zur maschinengestützten Wahrnehmung vordringt, aber gleichzeitig im Rahmen des traditionellen Tafelbildes bleiben möchte. Schilling springt also bewusst nicht über zum bewegten Bild des Films oder zum Video. Schilling will im Rahmen des flachen Tafelbildes, das er von der Malerei ererbt hat, die Erfolge der neuen technischen Bildmedien ansiedeln. Hätte er nicht so hartnäckig auf diesem Lösungsansatz insistiert und wäre er einfach zum Film als Kunst des bewegten Bildes übergegangen, hätte er seine künstlerische Zukunft verspielt, die darin bestand, an der Ausbildung der Wahrnehmung von Scheinkörpern in Scheinbewegung, was wir heute Cyberspace nennen, wesentlich mitgewirkt zu haben. Die 2D-Illusionen der optischen Kunst erweiterten sich Anfang der 70er Jahren zu 3D-Virtualitäten. Scheinräume und Scheinkörper entstanden als Vorläufer des elektronischen Cyberspace mit Hilfe maschinengestützter Wahrnehmung: Sehmaschinen.   
 

IV. (Raumsehen) 

Die Frage, wie sieht man Bewegung, ist nicht zu trennen von der Frage, wie sieht man Raum, genauer, wie entsteht räumliches Sehen, das Sehen von Raumtiefe. Klassischerweise ist die Antwort, dass der Augenabstand zwei verschiedene Bilder ein und desselben Gegenstandes liefert und dass die Differenz dieser räumlich unterschiedlichen Bilder, im Gehirn zusammengesetzt, die räumliche Wahrnehmung von Gegenständen ermöglicht. Wenn man aber nun an das Bewegungsphänomen denkt, weiß man, dass dieses nicht nur ein Ereignis im Raum, sondern auch in der Zeit ist. Daraus hat Schilling konsequenterweise geschlossen, dass auch die räumliche Wahrnehmung ein Ereignis in Raum und Zeit ist. Die Raumtiefe entsteht also nicht nur durch zwei verschiedene Standpunkte, sondern auch durch die Gleichzeitigkeit zweiter verschiedener Zeitpunkte. Das führt zur scheinbar paradoxen Aussage Schillings, dass das Auge nicht als Standpunkt, sondern als Zeitpunkt zu behandeln ist. Das Pulfrich-Phänomen, angewendet auf eine Autofahrt, bei der vom Fenster aus eine Landschaft mit nahe stehenden Bäumen gefilmt wird, zeigt dies deutlich. Das Pulfrich-Phänomen ist ein Pendel, das in einer geraden Linie schwingt, aber so gesehen wird, dass eines der beiden offenen Augen ein dunkles Glas davor hat. Da bei Dunkelheit die Feuerungsrate der Neuronen-Signale langsamer ist, kommt es daher beim verdunkelten Auge zu einer Verspätung der retinalen Signale. Die steigende effektive Trennung für die beiden Augen in der Mitte der Schwingung bewirkt, dass die zeitliche Differenz als räumliche Differenz interpretiert wird und daher die Gerade der Pendelbewegung als Ellipse erscheint. 1975 hat Schilling seine Theorie der Zeitpunkte anstelle der Standpunkte zum Gegenstand einer Performance gemacht mit dem bezeichnenden Titel: "2 T^s = Sp." (Two different times simultaneously equals space). 

Wenn Schilling also das Wesen der Stereovision analysieren und für seine Absichten brauchbar machen wollte, ging dies nur mittels einer multifunktionellen Analyse, wobei die einzelnen Faktoren eben der Abstand der beiden Augen voneinander, der Standpunkt, der Zeitpunkt, die Helligkeit, Sehprozesse mit oder ohne Apparate waren. So experimentierte er mit diesen Faktoren als Variable in der Zeit von 1972-74 besonders intensiv. Er verwendete dabei alle Medien: die Zeichnung, die Fotografie, die Videografie. Die Variabilität der Faktoren war dabei seine erste wichtige Entdeckung. Er stellte fest, dass je größer der Augenabstand wird, desto länger auch die Zeit und desto größer auch der Raum wird. In sogenannten "binokularen Performances" demonstrierte Schilling öffentlich, was geschieht, wenn die Variablen geändert werden. Vor einem Stereo-Diaprojektor mit zwei Augen bzw. Projektionsausgängen, durch die zwei Dias simultan auf eine gemeinsame Fläche projiziert werden, spannte er eine drehende Scheibe, die abwechselnd den Lichtfluss unterbrach, deren Rotationsgeschwindigkeit er ändern konnte. Gleichzeitig konnte er die Linsen lateral bewegen. Durch diese laterale Bewegung konnte er die Stelle steuern, bei der das Auge in den panumschen Bereich eindringt, wo also aus der diskreten Wahrnehmung verschiedener Bilder die Verschmelzung eines Teilbereichs zu einer Einheit entstand. Er konnte also gleichsam durch den Bildraum fahren und zuerst in Landschaftsbildern den Vordergrund und schließlich den Hintergrund scharf und plastisch zeigen, oder in einem seiner abstrakten Bilder, bestehend aus zwei random-dot-Stereogrammen, zuerst ein Quadrat, dann ein Dreieck und schließlich eine Pyramide hervorholen. Die Bildfläche verwandelt sich also in ein Gebilde von Schichten oder Zonen, die variabel sind. Die räumliche Wahrnehmung mit Hilfe von Instrumenten erlaubt also dem Künstler eine ganz neue Art des Umgangs mit der Vision. Der Renaissance-Künstler blieb dem Raum verhaftet, weil er die drei Dimensionen des Raumes auf der 2D-Fläche der Malerei abbilden wollte. Schilling unterscheidet sich radikal vom Renaissance-Künstler der Perspektive, da er den Standort um den Zeitpunkt ergänzt hat. Er ist einer der wenigen Künstler, der in und mit dem Zeitraum arbeitet, der den Begriff Bild von der Fläche und vom Raum getrennt und in die Zeit und den Zeitraum hineingeschoben hat. Er ist also Künstler und Innovator gleichzeitig. Durch die apparativ und instrumental gestützten Experimente mit dem Bild und der Wahrnehmung führt er uns nicht nur in neue Bildräume ein, sondern auch in neue Vorstellungen vom "Bild". Nicht nur im Gegensatz zu den Renaissance-Künstlern, sondern auch im Gegensatz zu den Künstlern der 1920er Jahre und der daraus sich entwickelnden Kinetik bzw. Op Art hat Schilling die Wahrnehmungskunst weit in das Kognitive hinein getrieben: Er zeigt nicht nur neue Raum- und Bewegungsbilder, sondern auch die Bedingungen, unter denen diese Bilder entstehen, und wie diese Bedingungen variabel sind und welchen Anteil dabei das Auge bzw. das Gehirn haben. Vom binokularen Sehen kommt es daher zum "binokularen Geist". Er zeigt Wahrnehmen als Operation der Erkenntnisfähigkeit, als Tätigkeit des Gehirns mehr als des Auges. Durch den Einsatz der Instrumente entdeckte er als eigentliche Landschaft der Vision nicht das Auge, sondern das Gehirn. "Brainscape" nennt er daher antizipierend eine Reihe seiner Arbeiten. Beim Experimentieren mit den variablen Faktoren der Stereovision, mit Vektografien, mit parallaktischen Verschiebungen, mit der Größe der stereoskopischen Felder etc., entstehen natürlich auch Ideen, die weit über das normale Maß hinaus, gelegentlich beinahe kosmologische Ausmaße haben. Wenn bei den Performances deutlich wird, wie die Geschwindigkeit des Shutters, die Verschiebung der Dias usw. die Wahrnehmung der Raumtiefe verändert und sogar verschiedenen Muster zu verschiedenen temporalen, apparativen und spatialen Bedingungen erzeugt, ist man natürlich versucht, diese Erfahrungen modellartig auf den Kosmos zu übertragen. Dann fragt er sich: vielleicht ist auch der sogenannte natürliche Raum des Kosmos etwas durch die Wahrnehmungsbedingungen Veränderbares, beispielsweise könnte die beschleunigte Geschwindigkeit des Beobachters den Raum komprimieren und die Verlangsamung erst die Unendlichkeit des Raumes erzeugen. Oder wie die Veränderung des Abstandes zwischen den Augen die Größe eines Objekts bei veränderbarer Entfernung beeinflusst, bzw. die Größe eines Objekts durch die binokulare Distanz bestimmt wird, oder eine plane Oberfläche durch die binokulare Verschmelzung gekrümmt wird. Verschiedene Projekte Schillings, z.B. "Visuelle Unendlichkeit, konserviert" (1973) und "Die1400 Kubikmeter meines gemieteten Raumes räumlich in den Nachthimmel projiziert", räumlich in die Unendlichkeit gestellt" (1973), "Zeitdistanz-Größenkonstanz" (1974), sind Folgen solcher Überlegungen.  

Die Grunderfahrung und für die Zukunft der Vision entscheidende Erfahrung ist, dass die apparative Wahrnehmung eine neue Wahrnehmung von Raum und Zeit ermöglicht, und zwar genauer, dass spezifische Gebilde (Objekte, Zeichnungen, 2-dimensionale Ereignisse) geschaffen werden können, die in Zusammenhang mit optischen Apparaten und Instrumenten neue optische Sachverhalte wahrnehmen lassen. Mit klassischen Worten: Scheinkörper bewegen sich in Scheinräumen und sind vom Betrachter durch die Apparate steuerbar. Dies ist das Grundkonzept von Cyberspace.   
 

V. (maschinengestütztes Sehen im elektronischen Raum) 

Die ersten Versuche in dieser Richtung machte Schilling um 1970 mit Vektografien, Nadelloch-Kameras oder Linsen-Raster-Fotografien (lenticulars), die bis zu 30 verschiedenen Bildern optisch komprimieren und wiedergeben konnten. Gleichzeitig arbeitete er mit Film und Videokameras, oft zusammen mit Woody Vasulka. "Die Spinne" (1970) und viele andere experimentelle Kameras und Projektoren (z.B. der "Sequenzvergrößerungsapparat" von 1970) sind überzeugende Versuche, ein komplett subjektives Environment herstellen zu können.   

Am entscheidendsten in diesem Zusammenhang ist wohl die Entwicklung eines "binokularen stereoskopischen Videosystems" (1973) zur künstlichen Herstellung bzw. Simulation einer subjektiven oder künstlichen Umwelt. Diese vor die Augen gespannten Mini-Monitore, die ihre Signale über Kabel empfingen, später über Mini-Sender, die diese wiederum von Videokameras empfingen, waren nur technisch noch zu früh und daher störanfällig. In seinem Manifest von 1973, mit dem signifikanten Titel "Electronic Spaces" manifestiert sich Schilling als der wahrscheinlich erste Künstler, der eine künstlerische Vision von Cyberspace entwirft. Schilling schlägt ein "binokuläres Video Spektakel (Video-head-set)" vor, das den Betrachter in ein lebensgroßes, 3-dimensionales, geschlossenes, visuelles künstliches Environment taucht, in dem er sich vollkommen frei bewegen kann. Die Prinzipien des stereoskopischen 3D Sehens überträgt er auf zwei Videokameras (die künstlichen Augen), die über Monitore zwei perspektivisch verschiedene Bilder liefern. Diese Miniatur-Monitore (CRT) sind den Augen vorgespannt, und deren Bilder werden vom Gehirn zur 3D Wahrnehmung verschmolzen. Der Benutzer kann sich also in einer realen Umwelt sehen oder in einer vergangenen (z.B. Szenen aus dem US-Bürgerkrieg). Es können aber auch vorfabrizierte, synthetische oder auch andere visuelle Räume als Bänder eingespielt werden, sodass man sich vollkommen in einem "artificially created environment", in einer "künstlich kreierten Umgebung" befindet. Schilling macht auch Vorschläge, wie durch verschiedene Anordnung der Kamera oder der Linsen die Wahrnehmung des Betrachters verändert werden kann oder durch die Befestigung der Videokameras irgendwo am Körper oder irgendwo im Raum, sodass der Raum gezeigt wird, in dem sich der Betrachter befindet, "the viewer sees himself functioning in the space". Der Betrachter sieht sich also selbst im abgebildeten Raum, der Betrachter tritt in das Bild ein, das er betrachtet. Auch könnte die Information des linken Auges an das rechte Auge weitergegeben werden und die Bilder überhaupt elektronisch verändert und vertauscht werden, auch zeitverzögert. Diese "artificial spaces" könnten auch komplett "computer generated" sein. In solche künstlichen elektronischen Räume könnte die Person in Echtzeit inseriert sein, sich frei bewegen und in jeder gewünschten Größe im Raum existieren, der real oder künstlich sein kann. Dies ist eine perfekte Beschreibung von Cyberspace, bis ins sprachliche Detail hinein ("head-mounted", "mounted on a head set"). Leider konnten die dem TV Laboratory  des New Yorker Fernsehen WNET, Channel 13 (wo auch gleichzeitig Woody Vasulka, Ed Emshwiller, Bill Etra und Nam June Paik als artist-in-residence arbeiteten) vorgeschlagenen Ideen früher Cyber Art, wegen der damaligen unterentwickelten Technik nur in Ansätzen verwirklicht werden. 

Das Konzept künstlicher elektronischer Räume wollte Schilling später von Video- auf Computer-Systeme ausdehnen. Damit wäre die ursprüngliche Fokussierung auf das Auge bei der künstlerischen Untersuchung der Wahrnehmungsprozesse immer mehr einer Fokussierung auf das Gehirn gewichen, weil das Gehirn offensichtlich der zentrale Agent bei der Entstehung der 3-dimensionalen Wahrnehmung ist. Schilling spricht daher in dieser Zeit von "brain space" oder "brainscape", Gehirnlandschaft. Er sprach auch nicht mehr von "binocular vision", sondern von "binocular mind".  

In den frühen 70er Jahren wurden auch von Wissenschaftlern, die den Arbeiten der 60er Jahre von Ivan Sutherland[1] an der University of Utah, Salt Lake City, folgten, bewegliche Computergraphiken entwickelt, die von innerhalb des vaskulären Systems gesehen werden konnten. Insbesondere von Harvey Greenfield, Donald Lee Vickers und Jim Clark. 1974 wurde unter dem Titel Sorcerer's Apprentice: Head-mounted display and wand von D. L. Vickers[2] ein interaktives computergrafisches System vorgestellt, das ein am Kopf befestigtes Display und einen Steuerungsstab (wand) benützte. Das System erlaubte 3-dimensionale Interaktion mit Linienzeichnungen in Echtzeit, d.h. 20 Kader pro Sekunde. Das am Kopf montierte Display, wie Augengläser, gibt dem Betrachter die Illusion, von 3-dimensionalen, computererzeugten Objekten umgeben zu sein. Der Steuerungsstab erlaubt dem Betrachter, diese künstlichen Objekte zu berühren und zu verändern oder sogar neue Objekte zu den alten dazu zu erfinden. Er kann z.B. die Linien eines "virtuellen" Würfels nehmen und sie verzerren, wegziehen und einen Kegel dazu zeichnen.  

VI (binokuläres Sehen virtueller Objekte) 

Alle visuell erlebbaren Raumaufzeichnungen, wo Raum nicht erdacht werden muss wie beispielsweise in der Perspektive oder durch Drehbewegung, beruhen darauf, dass jedes der beiden Augen ein voneinander abweichendes separates Bild sieht. Das selbe gilt auch für die Holografie. 1967 führte Schilling in den Bell Laboratorien in Murray Hill, zusammen mit seinem Freund dem Wissenschaftler Don White, Experimente zur Herstellung von Hologrammen durch. Aus dieser Zeit stammt auch sein besonderes Interesse an Möglichkeiten der Darstellung des dem Objekt anhaftenden und umgebenden "leeren" Raums. Um die Erlebbarkeit dieses Raumes zu steigern, fing er an - nach den ersten fotografischen Arbeiten mit Linsenrasterplatten- Einzelbilder für das linke und das rechte Auge zu malen, deren Inhalt er so verschleierte (camouflierte), dass dieser für den monokularen Blick nicht mehr sichtbar war. Die durch Linien und Punkte verschleiert gemalten Bilder enthüllten sich nur im binokularen Stereo-Sehen, d. h. durch die Verschmelzung der beiden Bilder im Hirn. Das "Unsichtbare" verwandelte sich dabei in virtuelle räumliche Gegenstände, z. B. eine Pyramide, eine liegende Frau, usw. Diese Figuren oder geometrischen Formen wurden sichtbar, obwohl ihre Darstellung weder lineare Abgrenzungen, noch Farbe, noch Licht oder Schatten beinhaltete. Schilling hatte eine Zufallspunkt-Methode (random-dot) entwickelt, bei der er ohne die Hilfe eines Computers direkt auf die Leinwand malen konnte. 

Don White leitete daraufhin ein Treffen mit Béla Julesz in die Wege, der 1960 seinen ersten Artikel über binokulare Raumwahrnehmung[3] publiziert hatte. Aus der Summe seiner Experimente folgerte Julesz die Theorie der zyklopischen Wahrnehmung in computergenerierten Random-dot-Stereogrammen, die er 1971 veröffentlichte.[4] Schilling, dem das Werk Julesz' vor dem persönlichen Zusammentreffen mit ihm unbekannt war, arbeitete in der Folge einige Male an dessen Computerprogrammen am Bell Lab., doch war er bald von den beschränkten Möglichkeiten dieses damals riesigen Computers enttäuscht. 

1974 veröffentlichte Alfons Schilling anlässlich seiner Ausstellung in der Galerie Ariadne New York einen Katalog "Binocularis" mit einigen überraschenden Skizzen. Sie beschreiben eine neue Methode zur Herstellung von Random-dot-Stereogrammen. Mehrere Reihen enger, senkrechter Streifen, die parallaktisch bearbeitet sind, werden horizontal aneinandergereiht und ergeben so ein zusammenhängendes 3D Bild. Ein solches Gesamtbild-Stereogramm kann mit "freiem" Auge (free vision) wahrgenommen werden. Diese Methode wurde 1979 auch von Christopher Tyler, einem Schüler von B. Julesz, aufgegriffen, mit Hilfe des Computers weiterentwickelt und 1983 als "Autostereogramm" publiziert. Weltweit populär wurden diese Gesamtbild-Stereogramme als "Magische Bilder" (magic eye). Der Russe Boris Kompaneysky hatte schon 1939 unbemerkt camouflierte Stereogramme der Venus publiziert. 

Ob elektronische Kameras, ob Sehmaschinen oder apparatfreie Wahrnehmung, ob maschinengestützte oder maschinenfreie Vision, ob monokular sichtbar bzw. unsichtbar, ob nur binokular sichtbar, im Spiel der Variablen der Wahrnehmungsfaktoren hat Schilling die 3-dimensionale Wahrnehmung als Künstler am meisten und weitestgehend erforscht. Er hat die optischen Künste und deren Bildbegriff weit über traditionelle Vorstellungen hinaus verändert. 

Peter Weibel: Anatomy of Vision

From: Alfons Schilling. Ich / Auge / Welt. The Art of Vision. Springer-Verlag. Wien, New York, 1997. pp. 115-124

I. (The Painting of Motion)

Art movements like Impressionism, Pointillism, Postimpressionism, and Divisionism all bear testimony to the fact that color, its composition, and effect on the eye played a central role for 19th century painting. The revolutionary function of color, which was the actual motor of development in painting, absolutized from local object fidelity, could be established by painters only in dialogue with the scientific color theories of the 19th century, from Eugène Chevreul to Hermann von Helmholtz and to Ernst Brücke.

The catalytic function that color had for the development of art in the 19th century was taken over by the problem of motion and perception in the 20th century. This shifting of the artistic examination to the phenomenon of motion, which was first proclaimed to be an artistic program by Cubism and Futurism in the early 20th century, was actually forced by the emergence of machines in the course of the Industrial Revolution. From the railway to the car, these machines all were transportation vehicles for material goods, which owed their existence to advanced wheel technology. Already in the 19th century, the speed of movement of these machines was much faster than any known historical type of motion, particularly of natural creatures. The phenomenon of retinal inertia in relation to machine velocity was first discovered by British physician Peter Mark Roget in 1824; it is the basis of the afterimage effect, the central perceptual mechanism for all machine-based optical illusion apparatuses, from film to cyberspace. When there were machines that could move faster than human and animal bodies, and when, secondly, there also were machines able to document more precisely the movement of machines, animals, and humans, namely, the photographic and cinematographic machines conceived by Étienne-Jules Marey, Eadweard Muybridge, Ernst Mach, the historic visual arts were compelled to readdress the problem of motion more intensively.

The new question was how to represent motion, which takes place in four dimensions, namely, in three-dimensional space and in time, within the two dimensions of the panel painting. Cubism sought to represent static objects as seen by a moving observer. The object world was split up into simultaneous representations of several perspectives. The simultaneity of perspectives caused by motion replaces, as an artistic idea, the simultaneity of color contrast. Futurism sought to represent moving objects as seen by a static observer. The object world was split up into a successive representation of several phases of motion in one and the same picture surface. This resulted in an ever more abstract language of geometric shapes—lines, circles, and planes—a dynamic geometry that reproduces the formal repertoire of wheel technology. Visual signs of motion, acceleration, and velocity made access into painting. Realistic representation of machines of motion very quickly developed into an abstracted representation of motion itself, because it corresponded more to the subjective sensation of vision. With the elements of those motion machines—the wheels, pistons, etc.— being geometric shapes anyway, abstraction was effected in a geometric manner. In fact, as a method of visual representation, “more geometrico” has been part of the tradition of painting ever since the development of perspective in the Renaissance period. The task, posed by the motion problem, of two-dimensional representation of a four-dimensional event thus lead to the necessity of abstraction. Geometrical abstraction therefore was the logical outcome of painting in search of a visual vocabulary that would enable four-dimensional motion (in space and time) to be represented in a two-dimensional (flat) plane.

In parallel, technical visual media such as photography and film developed new takes on the problem of representing motion, which were, in part, artistically more advanced and more convincing than the painterly ones, as film has three dimensions to it (the flat surface plus time) and therefore is better able to depict the modification of shapes over time, which is one aspect of the phenomenon of motion. Film thus becomes the real art of motion, the script of motion, cinematography. It was only in the course of its own development as an art that film became the script of vision, opseography.

II. (The Picture in Motion)

Georges Mathieu wrote in his 1963 Au-delà du Tachism: “Speed has preeminence over everything else. The introduction of speed into Western aesthetics appears to me to be a capital phenomenon.” Alfons Schilling’s painting of the late 1950s was experimenting somewhere between Abstract Expressionism, Action Painting, and Informalism with particular respect to motion and speed. He is known to have been the one to radicalize, together with Günter Brus, the abstract painting of the group around the Galerie nächst St. Stephan (A. Rainer, M. Prachensky, J. Mikl, W. Hollegha) in the late 1950s. But he left the next step that evolved from material painting—emphasizing the physical presence of the body in the painterly act or in painting demonstrations in front of an audience, as had been done before by Pollock, Mathieu, and Klein—to Brus, as he wanted to continue trying to solve the problem of motion in the picture. In so doing, he concentrated on one specific part of the body and its presence in the picture, namely, the eye. He also arrived at a unique solution of the motion problem in the early 1960s in Paris, namely, at the synthesis of gestural informal Action Painting and kinetic sculpture: round pictures, gesturally painted with the substrates themselves rotating, which were in turn set in rotation by a motor and presented as paintings in circular motion. It thus was the painting surface itself that was moving.

What Calder did for sculpture, the mobile, the sculpture in motion, was done by Schilling for the picture, namely, setting its very surface in motion. Calder, by the way, got his idea for a motorized movable sculpture from a visit he paid to Mondrian’s studio in 1930. There, he saw colored rectangular canvases on the wall, which he said he would “love to see in motion.” The moving sculpture thus turned into a movable picture with Schilling, or rather the painted round picture set in motion, which, incidentally, echoed the stroboscopic disks of J. A. F. Plateau and Simon Stampfer, the spinning color disks of J. C. Maxwell and R. Delauney, the Rotoreliefs of M. Duchamp. The 1955 exhibition Le Mouvement in Paris marked the beginning of this kinetic art. To the moving sculpture, from Nicolas Schöffer to Jean Tinguely, Schilling responded with the painted picture set in motion.

It is the picture surface itself that is revolving. So, it was no longer about the representation, but about the experience of motion. The representation medium of motion was itself moving. The supporting medium was set in motion. The reconception of the picture as a kinetic sculpture, as an art of motion, revolutionized the very concept of the picture. The advanced position that he had taken toward the phenomenon of motion compelled Schilling to move away of the painting, at least out of any historical concept of what makes a painting.

III. (Vision of Motion)

In the second half of the 20th century, a new start was made in the analysis of the phenomenon of motion, in which the artistic problem view focused not on the moving objects, but on the actual source of perception, the eye. The viewing of motion, the analysis of perceptual processes themselves, not the representation of motion was the new artistic problem, as is aptly expressed by the title of László Moholy-Nagy’s 1947 book Vision in Motion. Out of the problem of representing motion evolved the problem of representing perception: kinetics and Op Art. This involved falling back on the results of experimental physiology and perceptual psychology of both the 19th and 20th centuries.

In the second stage of motion analysis, the laws of form were set in relation to the laws of perception. Optical effects, evoked by autonomous lines, colors, areas, became, in and of themselves, the content of the pictures. Geometrical abstraction reached a degree of abstraction in which perception itself became the subject matter. The process of vision itself was turned into an art medium.

In order to examine the process of vision more closely, to transform vision of motion into a program of vision in motion, Schilling, for some time at least, had to turn to machine-based pictorial concepts. He therefore shifted his interest in studying kinesis (greek: movement) from kinetics to cinematography. The examinations of optical phenomena soon went beyond the framework of traditional pictures and sculptures and joined forces with machines and media for the production of optical picture experiences beyond the seeming movements of film. What is interesting and relevant about Schilling’s revolutionary picture examinations and transformations is that he, while in fact getting to the point of machine-aided perception, also prefers to stay within the frame of reference of the traditional panel picture. Schilling thus deliberately does not take the step toward the moving image of film or video. He wants to keep the successes of the new technical visual media within the framework of the panel picture that he had inherited from painting. If he had not insisted on this approach so stubbornly and had simply changed side and crossed over to film as the art of the moving image, he would have gambled away his artistic future, which consisted in making an essential contribution to the formation of a perception of apparent bodies in apparent motion, the thing that we call cyberspace today. The 2-D illusions of optical art expanded into 3-D virtualities in the early 1970s.

Apparent spaces and apparent bodies emerged as precursors of electronic cyberspace with the help of machine-assisted perception: vision machines.

IV. (Spatial Vision)

The question of how motion is viewed cannot be divorced from the question of how space is viewed, more precisely, of how spatial vision unfolds, the perception of depth. The classical answer would be that the distance between the eyes provides for different-angled images of one and the same object and that the difference between those different spatial images, put together in the brain, enables spatial object perception. Thinking about the phenomenon of motion, one knows that this is an event not just in space but also in time. From this, Schilling drew the logical conclusion that spatial perception, too, is an event in space and time. Spatial depth therefore is not only generated by different viewpoints, but also by the simultaneity of different points in time. This prompted Schillings apparently paradoxical statement that the eye should not be treated as a viewpoint but as a point in time. The Pulfrich phenomenon—applied to a car ride in which a landscape with a line of nearby trees is filmed through the car window—clearly demonstrates this. The Pulfrich phenomenon involves a pendulum swinging in a straight line that is viewed with a piece of dark glass in front of one of two open eyes. The slowing down of the firing rate of neuron signals in darkness leads to a delay of retinal signals in the shaded eye. The increasing effective disparity between both eyes in the middle of the swing is the cause that the time difference is interpreted as a spatial difference and the straight line of the movement of the pendulum therefore appears as an ellipse. In 1975, Schilling made his theory of points in time instead of viewpoints the subject of a performance with the telling title “Ts = Sp.” (two different times simultaneously equals space).

If Schilling wanted to analyze the nature of stereovision to put it to use for his purposes, this could only be done by means of a multifunctional analysis, with the individual factors being eye distance, viewpoint, point in time, amount of light, vision processes with or without the help of apparatuses. Between 1972 and ’74, he engaged in intensive experimentation with these factors as variables. He used all types of media: drawing, photography, videography. His first significant discovery was the variability of the factors. He found out that the wider the distance between the eyes was, the longer the time and the larger the space became. In so called “binocular performances” Schilling gave public demonstrations of what happens if variables are changed. In front of a stereo slide projector with two eyes, or projection lenses, which simultaneously projected two slides onto one shared surface, he mounted a revolving disk which intermittently blocked the flow of light and the rotational speed of which he could vary. At the same time, he was able to move the lenses laterally. With this lateral movement, he was able to control the position at which the eye activates Panum’s area, that is, where, from the discrete perception of different images, the fusion of a section into a unity occurs. He thus was able to zoom, as it were, through the picture and, in landscapes, first bring out the foreground, sharply and sculpturally, and then the background, or extract from one of his abstract pictures, consisting of two random-dot stereograms, first a square shape, then a triangle, and eventually a pyramid. The picture surface thus turns into an array of layers or zones that are variable. Instrument-aided spatial perception allowed the artist an entirely new take on dealing with vision. The Renaissance artist remained captive to space in that he tried to represent three-dimensional space in the two-dimensional painting surface. Schilling distinguishes himself radically from the Renaissance technique of perspective in that he adds a point in time to the viewpoint. He is one of very few artists who works in and with the space of time, who divorced the notion of the picture from the flat surface and from space, and instead shifted it into time and into the space of time. He is therefore at once an artist and an innovator. With machine and instrument-based experimentation with the image and perception, he introduces us not only into new picture spaces, but also to new concepts of what a “picture” is. In contrast not only to Renaissance artists, but also to the artists of the 1920s and the Kinetic and Op Art that developed from them, Schilling has taken perceptual art far out into the field of the cognitive: he shows not only new pictures of space and motion but also the conditions in which these pictures originate and how they are variable and what role the eye and the brain have in the process. Binocular vision thus leads to the “binocular spirit.” He shows perception to be an operation of cognition, an activity more of the brain than the eye. Through his use of instruments he is able to discover that not the eye but the brain is the real landscape of vison. In experimenting with the variable factors of stereovision, vectographs, with parallactic shifts, the size of stereoscopic fields, etc., ideas come up, of course, that have an almost cosmological dimension, far beyond any normal measure. When it becomes visible in the performances how shutter speed, the shifting of the slides etc. transform the perception of spatial depth and even generate different patterns for different temporal, machine-dependent, and spatial conditions, it is, of course, tempting to translate these experiences, like a model, to the cosmos at large. He then starts asking himself if maybe even the so-called natural space of the cosmos is something that is modifiable by perceptual conditions, if, for example, an observer’s accelerated speed could compress space and deceleration might only generate the infinity of space. Or how the distance between the eyes influences the size of an object, with distance from it adjustable, or how the size of an object is determined by binocular distance or a plane surface is curved by binocular fusion. Different projects of Schilling, such as “Visual Infinity, Preserved” (1973) and “The 1400 Cubic Meters of My Rented Space Spatially Projected Onto The Night Sky” (1973), “Time distance - size constancy” (1974) are results of such considerations.

The fundamental experience and the one that is crucial for the future of vision, is that machine-based perception enables a different perception of space and time, and more precisely, that specific formations (objects, drawings, 2-dimensional events) can be created which, in conjunction with optical apparatuses and instruments, make new optical states of affairs perceptible. In classical words: apparent bodies move in apparent spaces and are controllable by the observer using machines. That is the very concept of cyberspace.

V. (Machine-Based Vision in Electronic Space)

The first tests of this kind were done by Schilling around 1970 using vectographs, pinhole cameras, lenticular photographs, which were able to compress into one, and render, as many as 30 different pictures. At the same time, he worked with film and video cameras, often together with Woody Vasulka. The “Spider” (1970) and many other experimental cameras and projectors (e.g. the “Sequence Enlargement Apparatus” of 1970) are convincing attempts to create a completely subjective environment.

Most crucial in this context is perhaps the development of a “binocular stereoscopic video system” (1973) for the technological creation, or simulation, of a subjective or artificial environment. The mini monitors, which were mounted in front of the eyes and received their signals over cable lines, later over mini transmitters, which in turn received theirs from video cameras, just came too early technologically and hence were prone to malfunctioning. In his 1973 manifesto significantly entitled “Electronic Spaces,” Schilling manifests himself as perhaps the first artist ever to design an artistic vision of cyberspace. He proposed a “binocular video spectacle (video-head set)” that immerses viewers in a life-sized three-dimensional closed visual artificial environment in which they can move around freely. The principles of stereoscopic 3-D vision are transposed to two video cameras (artificial eyes) which feed different-perspective images to two monitors. These miniature CRT monitors are mounted in front of the viewer’s eyes, and the images displayed on them are fused into a 3-D perception by the brain. Viewers can thus see themselves in all sorts of environments, real-life or historical (e.g. a scene from the American Civil War). But there are also pre-taped synthetic and other visual spaces available that can be played in for viewers to be totally immersed in an “artificially created environment.” Schilling also makes suggestions for how to transform the viewer’s perception by changing the position of the camera or lenses, or by mounting the video cameras somewhere on the body or in the room so that the space is shown that the viewer finds himself in and “the viewer sees himself functioning in the space.” The viewer thus views himself in the space depicted, the viewer steps into the very picture he views. Also, the information supplied to the left eye might be passed on to the right eye and the images themselves might be electronically modified or even switched, also with a time delay. These “artificial spaces” might also be completely “computer generated.” The person could be inserted in real time into such artificial electronic spaces and move around freely and exist in any size desired in a space that could be real or artificial. This is a perfect description of cyberspace, down to terminological details (“head-mounted,” “mounted on a head set”). Unfortunately, the ideas for an early Cyber Art, which were suggested to the TV Laboratory of WNET, Channel 13, New York (where Woody Vasulka, Ed Emshwiller, Bill Etra, and Nam June Paik were also working as artists-in-residence at the time), could be implemented only rudimentarily due to the then still underdeveloped technology.

Schilling later wanted to extend the concept of artificial electronic spaces to video and computer systems. In the artistic examination of perception processes, the original focus on the eye would have shifted more and more to the brain, as the brain obviously is the central agent in the formation of three-dimensional perception. This is why, at that time, Schilling started speaking of the “brain space” or “brainscape.” Also, he no longer spoke of “binocular vision” but of the “binocular mind.”

In the early 1970s, scientists who followed up on the work done in the ’60s by Ivan Sutherland[1] at the University of Utah in Salt Lake City developed movable computer graphics that could be viewed from inside the vascular system. It was, in particular, Harvey Greenfield, Donald Lee Vickers, and Jim Clark. In 1974, an interactive computer-graphics system, named Sorcerer's Apprentice: Head-mounted display and wand, was presented by D. L. Vickers[2], which used a head-mounted display and a control stick (the wand). The system allowed for three-dimensional interaction with linear drawings in real time, that is, at a rate of 20 frames per second. The head-mounted display, like eyeglasses, gives the viewer the illusion of being surrounded by computer-generated three-dimensional objects. A control stick enables the viewer to touch and transform these artificial objects and even to invent new objects to add to the existing ones. He can, for example, seize the lines of a “virtual” cube and distort them, pull them apart, and add a new drawn cone.

VI. (Binocular Vision of Virtual Objects)

All visually experienceable representations of space, where space is not thought up in the mind, like in perspective or as if by some rotational movement, are based on the fact that each one of two eyes sees a disparate separate image. The same is true for holography. In 1967, Schilling conducted, together with his friend, scientist Don White, experiments to generate holograms at the Bell Laboratories in Murray Hill, New Jersey. The special interest he had in possibilities of representing the “empty” space inherent in, and ambient to, the object goes back to that time. To enhance the experienceability of this space, he started painting—after first photographic works using lenticular plates—individualized pictures for the left and the right eye, whose content he obscured (camouflaged) so that it was no longer visible to the monocular gaze. Veiled under patterns of lines and dots, the paintings only revealed themselves to binocular stereoscopic vision, i.e. through the retinal fusion of both pictures in the brain. The “invisible” transforms into virtual spatial objects, e.g. a pyramid, a reclining woman, etc. These figures or geometric shapes become visible although their representation does not have outlines, nor color, nor light and shadow. Schilling had developed a random dot method that enabled him to paint directly on a canvas without the help of a computer.

Don White then set up a meeting with Béla Julesz who had published his first article on binocular depth perception[3] in 1960. From the sum of his experiments, Julesz derived his theory of Cyclopean perception in computer-generated random-dot stereograms which he published in 1971.[4] Schilling, who had been unfamiliar with Julesz’s work prior to their personal encounter, subsequently used his computer programs a couple of times at the Bell Lab, but soon felt disappointed by the limited possibilities of the then huge computer.

In 1974, Alfons Schilling published, on the occasion of his exhibition at Ariadne Gallery, New York, a catalogue entitled “BINOCULARIS” that contained a number of surprising sketches. They outlined a new method for the creation of random-dot stereograms. Several rows of narrow vertical stripes that are parallactically altered are lined up horizontally, adding up into a continuous 3-D image. Such a single-image stereogram is viewable by “free vision,” i.e. with unaided eyesight. This method was also taken up in 1979 and further developed with the help of computers by Christopher Tyler, a student of B. Julesz, and published under the title of “autostereograms” in 1983. These single-image stereograms became popular worldwide as “Magic Eye” pictures. Already in 1939, Russian artists Boris Kompaneysky had unnoticedly published camouflaged stereograms showing the face of Venus.

Whether it is electronic cameras, vision machines or unaided perception, whether machine-based or machine-free vision, whether monocularly visible or invisible, or only binocularly visible—in the play of variable perceptual factors, Schilling went farthest and deepest in exploring three-dimensional perception as an artist. He has transformed the optical arts and pushed their concept of the picture far beyond traditional notions.

Translation: Michael Strand, Vienna