Aktuell Interview Smartphone

„Wir gehen bis an die physikalischen Beugungsgrenzen“

Oliver Schindelbeck, Senior Smartphone Technology Manager bei ZEISS (c) ZEISS

Oliver Schindelbeck, Senior Smartphone Technology Manager bei ZEISS (c) ZEISS

Auf welche Neuerungen sind Sie beim X200 Pro besonders stolz? 

Schindelbeck: Das sind vor allem zwei Highlights: die Telekamera, die mithilfe von Software einen Zoom-Rahmen bis zum 60-fachen vorgibt. Das ist natürlich extrem. Auch in einem alltäglichen Zoom-Bereich liefert das X200 Pro hervorragende Bildergebnisse und auch das Makro-Zoom ist bei hoher Auflösung beeindruckend. Das gemeinsam mit Vivo entwickelte Kameramodul ist wirklich einmalig. Es ist faszinierend, wie groß die Module sind, die in das Gerät verbaut werden. So wird verständlich, dass das Kamerafeld auf dem Phone so riesig ist, da das Gerät komplett mit dem Kameramodul gefüllt ist. 

Als wir die Kooperation im Bereich Mobile Imaging anfingen, hatten wir uns zunächst sehr stark auf die Optik fokussiert. Das haben wir Stück für Stück erweitert, denn wichtig ist das Gesamtpaket. Es müssen Elektronik, Optik und Software zusammenspielen, um ein optimales Ergebnis zu erhalten. Wir haben es mit dem sogenannten „ZEISS Master Color Display“, dem zweiten Highlight  geschafft, diese Bildkette komplett zu schließen.

Wir bieten bereits seit längerer Zeit Modi wie Natural Color, die natürliche Aufnahmen ermöglichen. Allerdings kann es in der Kalibrierung jedes einzelnen Displays noch zu Abweichungen in der natürlichen Farbwiedergabe kommen. Das haben wir jetzt mit dem Display des X200 geschafft, das Display entspricht dem „what you see is what you get“.

Wie farbecht werden die Farben am Display dargestellt? 

Es gibt verschiedenen Farbräume. Ein Standardfarbraum ist etwa der sRGB-Raum, der eine gewisse Anzahl Farbtöne darstellen kann. Wir können den erweiterten P3-Farbraum mit dem Display darstellen. Im Labor messen wir die Wiedergabe auf dem Display und achten bei der Zertifizierung der Geräte darauf, dass die Abweichungen zum Soll innerhalb der vorgegebenen engen Toleranzen bleiben.

Verstehe ich das richtig: Nicht jedes Handy, das auf den Markt kommt, ist genau ident, weswegen es Abweichungen von Gerät zu Gerät gibt. Aber die Farbwiedergabe muss von Gerät zu Gerät innerhalb dieser Toleranz bleiben? 

Jedes Display hat gewisse Toleranzen. Als Laie glaubt man, Display ist Display. Aber selbst die Fertigungstoleranzen eines Displays zum anderen sind durchaus signifikant. Und dann gibt es natürlich Unterschiede von Display-Typ zu Display-Typ. Hier kommt es natürlich auch auf das Farbtuning an, wie die Farbe dargestellt wird – das ist je nach Bildinhalt unterschiedlich. Deswegen braucht man ein gewisses Toleranzfeld, wobei man natürlich versucht, dieses möglichst eng einzugrenzen. 

Greift hier Software korrigierend ein? Wenn also etwa die Software erkennt, welches Motiv dargestellt wird und daher ungefähr weiß, welche Farben das sein sollen, greifen dann Algorithmen korrigierend ein oder ist das eine rein technisch-optische Sache, die Sie beschreiben?

Gegenwärtig ist es eine rein technisch-optische Sache. Aber was Sie hier beschreiben, ist natürlich auch möglich. Wir sehen jetzt gerade, in was für einem atemberaubenden Tempo die KI, die Bildinhaltserkennung voranschreitet. Das sind natürlich Potenziale, an denen wir arbeiten. Hier hilft uns KI extrem, nicht nur bei der Farbe, sondern beispielsweise auch bei den Style Bokehs[CM2] . Hier können wir wesentlich bessere Tiefenkarten, Detailinformationen zu den Bildern generieren, die uns dann helfen, solche Software-Features möglichst realistisch abzubilden. Hier sehen wir im Moment eine extrem schnelle Entwicklung und es wird auch bei den Displays nicht haltmachen. Ganz im Gegenteil: wichtig ist eine integrative Herangehensweise. Wir müssen die gesamte Bildkette betrachten, nicht nur die Optik. Denn der Fokus einzig auf die Optik bringt herzlich wenig. Man kann viel Energie hineinstecken und eine hervorragende Optik machen. Wenn der Rest nicht passt, hat man viel Geld und Zeit investiert und es kommt nichts dabei heraus beziehungsweise kommt nicht das heraus, was man investiert hat. Erst wenn man die gesamte Kette im Blick hat, dann ergibt am Schluss alles wieder Sinn. Bei den Displays ist es ähnlich.

Es ist sinnvoll, auf einem Gerät nur Natural Colors aufzunehmen, wenn ich sie mir tatsächlich als Natural Color betrachten kann. Für einen Profi ist das weniger ein Thema. Der macht seine Aufnahmen, spielt sie auf den Rechner und betrachtet sie dann auf dem kalibrierten Display. Aber jetzt können wir es auch dem Consumer so anbieten. 

Bei der modernen Smartphone-Fotografie spielen Optik, Sensor und Software zusammen. Wie wichtig ist dabei die Optik, wie wichtig die Software und wie wichtig der Sensor?

Eine Gewichtung kann man nicht geben. Ich könnte natürlich sagen, die Optik ist das Allerwichtigste. Das ist richtig, weil alles, was die Optik nicht in guter Art und Weise zum Sensor bringt, im weiteren Verlauf fehlt. Alle Informationen, die da auf diesem Weg verloren gehen, sind weg. Aber das lässt sich auch für den Sensor und das Image Processing sagen. Das Allerwichtigste ist tatsächlich das Zusammenspiel von Software, Elektronik und Optik zu optimieren, so dass jede dieser Komponenten, harmonisch ineinandergreifen. 

Wir haben jetzt bei dem Vivo X200 Pro einen 200-Megapixel-Sensor, die Auflösung der Sensoren wird immer höher, aber die Sensoren werden nicht wesentlich größer. Wie begegnen Sie dieser Herausforderung bei der Objektiventwicklung?

Ja klar, die Strukturen werden immer kleiner, das ist richtig. Diese Entwicklung passiert bei den Sensoren nicht bloß in der Größe, sondern auch in der Qualität. Vor 20 Jahren lagen wir bei Pixelgrößen von 3,2 µ. Heute ist das eine Pixelgröße, die vielleicht bei manchen Profikameras noch verwendet wird. Wir bewegen uns jetzt schon irgendwo in der Größenordnung 0,5 µ aufwärts. Bei jeder neuen Sensorgeneration hieß es, dass immer kleinere Pixel immer schlechtere Ergebnisse liefern. Irgendwie ist es dennoch immer wieder möglich gewesen, trotz kleiner werdenden Pixeln gleichzeitig die Qualität verbessern zu können. Dieser Prozess setzt sich gegenwärtig fort. 

Was wir natürlich machen müssen, ist die Auflösung bei den Optiken entsprechend zu steigern. Die Optiken müssen natürlich auch in der Lage sein, die Auflösung des Sensors zu unterstützen. Deswegen sind die Optiken über die letzten Jahre gesehen wesentlich komplexer geworden. Vor 20 Jahren waren drei bis vier Linsen ein Standard. Auch die Blende, die verwendet worden ist, war wesentlich höher als sie heute ist. Durch komplexere Optik-Designs, durch höhere Öffnungen, halten wir Schritt, so dass die optische Auflösung der Objektive auch mit den Sensorauflösungen parallel läuft.

Aber wir begeben uns hier wirklich an die physikalischen Beugungsgrenzen. Es ist eine Gratwanderung und muss in jeder Gerätegeneration erneut aufeinander abgestimmt werden. 

Wie sieht es mit den verwendeten Materialien im Objektiv aus? Wie wichtig sind diese, um hier Verbesserungen zu erreichen? 

Bei den optischen Materialien für Smartphones haben wir leider nach wie vor eine relativ kleine Auswahl. Beim Glas können wir locker auf über 200 verschiedene Gläser mit unterschiedlichen Eigenschaften zugreifen. Bei optischen Kunststoffen sind wir im niedrigen zweistelligen Bereich an verschiedenen Materialien, die auch nicht die Bandbreite an unterschiedlichen Eigenschaften haben, wie wir sie vom Glas kennen.

Beim Dispersionsverhalten der optischen Materialien, sprich die Farbfehler, die Farbsäume, die hier entstehen und die chromatischen Aberrationen, die wir korrigieren können, hilft natürlich jedes neue Kunststoffmaterial, um besser zu werden. Aber man hat gewisse Begrenzungen. Gerade wenn es ums Highend geht, begegnet man dem teilweise damit, dass man hybride Objektive fertigt, bei denen auch Glaselemente mit in das Optikdesign einfließen können, um gerade diese chromatischen Aberrationen zu reduzieren. Aber das hängt sehr stark vom Aufbau der Optik ab, ob ein Glas sinnvoll ist oder nicht.

Sie konzentrieren sich ja auf die Fotografie. Im Smartphone-Bereich wird aber auch die Videografie immer wichtiger. Gibt es Aspekte, auf die Sie sich bei der Videografie konzentrieren müssen, die sich von jenen bei der Fotografie unterscheiden?

Was die Bildqualität angeht, ist es ja grundsätzlich das Gleiche. In der Laborarbeit, bei der Entwicklung und Zertifizierung von Geräten, liegt der Schwerpunkt ganz klar auf dem Still Image, also auf dem Foto. Hier können wir alle diese Eigenschaften der Kamera entsprechend prüfen und abgleichen.

Im Videobereich gehen wir einen Schritt weiter. Wir haben eine qualifizierte Kamera, von der wir wissen, dass die mit ihr aufgenommenen Fotos passen. Das Video ist die nächste Stufe. Wir sehen uns das Zusammenspiel mit der Software genau an. Der Videodreh ist extrem zeit- und datenkritisch. Sie müssen einen Videostream von 30, 60 oder noch mehr Frames pro Sekunde verarbeiten können. Teilweise ist eine extrem hohe Kompression der Daten notwendig, um Video zu ermöglichen. Auch Themen, wie Bildstabilisierung spielen hier hinein. Die Bildqualität eines Videostreams muss anders geprüft werden als jene eines Standbilds. 

Wenn ich mit Smartphone-Fotografen spreche, und es sind Amateure, dann ist immer der Zoom-Faktor sehr wichtig. Spreche ich mit Profis rückt die Lichtstärke und das Bokeh in den Fokus. Ist das auch Ihr Eindruck? Und welche Zoomfaktoren sind künftig möglich? 

Das ist natürlich eine sehr individuelle Frage. Letztendlich zählt, was der Anwender haben möchte. Ich persönlich tendiere ein bisschen zu der Profi-Einstellung. Mir hat vor vielen Jahren ein Fotograf gesagt, der beste Zoom sind noch immer die eigenen Beine. Bevor man sich sehr viel auf den Zoom verlässt, sollte man versuchen, ob man seine Perspektive ändern oder näher ans Motiv herangehen kann.

Aber es gibt natürlich auch Anwendungsfälle, wo die Beine nicht ausreichen, etwa wenn es um wilde Tiere geht, denen man nicht nahe kommen kann oder will. Dann braucht man einen Zoom – und der eine möchte gerne dreifach, der andere gerne dreißigfach zoomen.

Das sieht man auch bei klassischen Kameras. Es werden für alle diese Wünsche entsprechende Produkte angeboten. Bei Kompaktkameras hat sich hier ein 3- bis 5-fach Zoom als gängiger Standard etabliert, mit dem man noch vernünftig fotografieren kann. Wenn Sie hingegen einen 10-fach-Zoom haben, ist natürlich auch die Bildstabilisierung ein Thema. Wenn wir jenseits des Zehnfachzooms sind, sollte man schon das Smartphone auflegen oder ein Stativ verwenden. 

Ich nutze persönlich auch deutlich höhere Zoomfaktoren. Dabei geht es mir gar nicht darum, ein schönes Foto zu machen, sondern darum Details zu erkennen, etwa wenn die Schrift eines Texts sehr klein ist. Dann mache ich schnell ein Foto davon, zoome es heran und kann Dinge lesen, die ich vorher nicht lesen konnte. Deswegen kommt es immer auf die Anforderungen an, wofür ein Zoom sinnvoll ist und eingesetzt wird. 

Aus der Entwicklungsperspektive sehen wir die heute angebotenen Zoomfaktoren gerade von solchen Telekameras verwirklicht, die wir in der X200-Serie verbauen. Das ist längst kein Marketingversprechen mehr, sondern wir arbeiten hier mit Zoom-Faktoren, die eine hervorragende Bildqualität liefern, die bis vor wenigen Jahren völlig undenkbar war.

Ich persönlich habe überhaupt keine Sorge, einen 10-fach-Zoom bei so einer Kamera zu verwenden. Es ist verblüffend, wie gut die Optik, die Sensorik, und auch die Algorithmen zusammenspielen – das sind mittlerweile echte Hybrid-Zooms.

Früher war es Standard bei einer Digitalkamera oder einem Smartphone zuallererst den Digitalzoom zu deaktivieren. Das ist heute bei den Vivo-Smartphones völlig überflüssig und man merkt auch nicht mehr, wann sie den optischen Zoom-Bereich verlassen und wann sie tatsächlich schon im Digital-Zoom sind.

Wir haben mittlerweile einen nutzbaren Zoom-Bereich, der absolut beeindruckend ist. Mit diesen Phones haben wir ein Alleinstellungsmerkmal im Markt. Mir ist nichts bekannt, was annähernd an das X200 Pro herankommt.

Wo sehen Sie außer dem Zoom noch Entwicklungsbereiche? Woran arbeiten Sie? 

Wir arbeiten natürlich an der Verbesserung der bekannten Technologie, ob das jetzt das klassische Optikdesign ist oder die Sensorik, denn die Pixel werden kleiner, die Pixel werden mehr. Hier hat man beispielsweise bessere Motoren, die eine bessere Bildstabilisierung ermöglichen. Es ist die tägliche Kleinarbeit in der Entwicklung, alle diese bestehenden Technologien noch weiter auszureizen. Darüber hinaus schauen wir auch über den Tellerrand und beobachten, was sich im Bereich der Materialien, der Elektronik und der Software tut.

KI ist ein Thema, das uns einen massiven Sprung vorwärts ermöglicht und hilft, bei den letzten Features die Qualität zu erhöhen. Das wird in den nächsten Jahren mit Sicherheit noch mindestens in dem gleichen Tempo weitergehen oder sich sogar beschleunigen. KI hilft noch mehr professionelle Features in die Phones zu bringen, die bis jetzt durch Limitierung der Rechenpower sowie Limitierung der Integration bisher nicht möglich waren. Hier hat Vivo mit den selbst entwickelten V3+ Imaging Chip einen massiven Beitrag zur Integration solcher Rechenleistung geleistet.

Das sind Technologien, die sich im Hintergrund spielen abspielen, und die uns zum Beispiel erlauben, für die Fotos Tiefenkarten in einem Detaillierungsgrad zu erstellen und so Software-Features derart zu verfeinern, so dass fast kein Unterschied zu klassischen Kameras mehr feststellbar ist.

Ich habe vorhin die gemeinsam mit Vivo entwickelten Bokeh-Styles angesprochen. Die vor acht bis zehn Jahren entstandenen ersten Software-Bokehs erinnern mich stark an das, was wir jetzt in einem Teams-Meeting sehen. Man hatte noch nicht die Möglichkeit, Details so fein zu erfassen und darzustellen. Heute können wir mittels Kombination der optischen Auflösung der verschiedenen Kameras mit KI einzelne Haare detektieren, so dass wir hier noch realistischere, noch lebensnahere Features integrieren können.

Ein sehr großer Teil in der gemeinsamen Entwicklung mit Vivo ist, Innovationen für  Phones zu adaptieren, die man von klassischen Kameras und Objektiven her kennt. 

KI ist sicher eine tolle Hilfe, um die Bildqualität zu heben, aber sie ist auch eine Quelle von „Fake News“, falschen und manipulativen Bildern. Hier haben sich manche Kamerahersteller zusammengeschlossen, etwa Leica, Sony, Canon, Nikon, und die Coalition for Content Provenance and Authenticity (C2PA) gegründet. Dabei bestätigt ein Algorithmus bzw. ein Chip, dass ein Bild ohne manipulative Veränderung aus einer Kamera stammt. Ist sowas für Handys auch angedacht?

Das ist natürlich auch im Handybereich ein Thema, das wir mit Vivo seit einer Weile verfolgen. Es ist ein sehr facettenreiches Thema, und es stellt sich die Frage, was kann und was will man in die Geräte integrieren.

Ich bin überzeugt davon, wir in naher Zukunft Lösungen sehen werden, die ausweisen, ob und wie sehr ein Foto per Bildbearbeitung oder KI nachbearbeitet wurde oder ob es sich um ein KI-generiertes Bild handelt. Da gibt es viele Grade, die man darstellen kann. Es gibt auch Ansätze in der professionellen Fotografie, dass man ähnlich wie bei Bitcoin, per Blockchain nachvollziehen kann, auf welchem Gerät diese oder jene Bilder gemacht wurden. Da kommen dann weitere Probleme auf, wie Datenschutz und auch Datensicherheit.

Es ist definitiv ein Thema, an dem wir dran sind.