Deep Fusion ist Apples Antwort auf Googles Night Sight Feature für Low-Light-Fotografien

Das Feature Deep Fusion ist dem iPhone 11 Pro vorbehalten

In der Keynote, in der unter anderem das iPhone 11 Pro vorgestellt wurde, gab Phil Schiller einen kleinen Einblick in ein Feature, das Apple “Deep Fusion” nennt. Laut Phil Schiller handelt es sich hier um computergestützte Fotografie in Verbindung mit verrückter Wissenschaft (sein O-Ton war “computational photography mad science”). Mir war beim Anschauen der Keynote nicht sofort klar, was das Feature denn macht, denn gute Low-Light-Fotos wurden auch vorher schon in der Keynote im Zusammenhang mit dem iPhone 11 präsentiert, sodass ich davon ausgehe, dass hier noch etwas mehr dahinter steckt.

Mit dem Feature

Mit dem Feature “Deep Fusion” rechnet das iPHone 11 Pro aus neun Einzelbildern eine große 24 MP Aufnahme zusammen.

Was macht Deep Fusion genau?

Genau diese Frage habe ich mir gestellt und die entsprechende Stelle in der Keynote nochmals angeschaut. Für die Leser, die gerne mitschauen möchten: Es beginnt in der Keynote bei der Zeitmarke 1:21:55.

Im Detail passiert Folgendes: Das iPhone 11 Pro (nur die Version mit den 3 Linsen und nicht das normale iPhone 11 ohne Pro!) schießt schon vor dem Drücken des Auslösers neun Bilder. Davon sind vier kurz belichtete Fotos und vier etwas länger belichtete Fotos. Das letzte Foto wird direkt beim Drücken des Auslösers gespeichert (so kommt man auf neun Fotos), wo bei dieses eine lange belichtete Aufnahme ist.

Innerhalb von einer Sekunde nach dem Drücken des Auslösers analysiert und kombiniert die Neural-Engine des iPhone 11 Pro die ganzen Einzelaufnahmen Pixel für Pixel zu einem Bild, wobei nur die besten Aufnahmen für das Zusammenrechnen verwendet werden.

Das Endergebnis ist eine Fotografie mit 24 Megapixeln, welches sich durch einen besonders hohen Detailreichtum und ein geringes Bildrauschen auszeichnet.

Laut Phil Schiller ist es das erste Mal, dass die Neural-Engine für die Ausgabe von Fotos verwendet wird und in diesem Zusammenhang fiel der Begriff “computational photography mad science”.

Dieses Demo-Foto war das einzige, das Apple für die Vorstellung von Deep Fusion zur Verfügung gestellt hat.

Dieses Demo-Foto war das einzige, das Apple für die Vorstellung von Deep Fusion zur Verfügung gestellt hat.

iPhone 11 Pro Deep Fusion Kamera: 24 MP statt 12 MP Auflösung

Wer sich mit den technischen Daten des iPhone 11 Pro beschäftigt hat, wird sicher bemerkt haben, dass die drei eingebauten Kameras nur eine Sensorgröße von 12 Megapixeln haben. Dies war auch schon beim iPhone XS der Fall, weshalb die höchste Auflösung von iPhone-Fotos bisher bei 12 MP lag.

Mit dem Deep Fusion Kamera-Feature spuckt das iPhone 11 Pro nun allerdings Fotos mit 24 Megapixeln aus, was technisch nur so realisiert sein kann, dass mehrere Fotos zu einem größeren kombiniert werden und die Details dadurch zustande kommen, dass man bei der Aufnahme minimal verwackelt. Es gibt eine Foto-App namens “Hydra”, die einen ähnlichen Ansatz hat und Fotos mit 32 MP auswirft. Beispielfotos könnt ihr hier auf der Seite der Entwickler unter “Super Resolution (Zoom / Hi-Res)” sehen.

Auch wenn Hydra sicher nicht schlecht ist, so dürfte das Ergebnis, das man mit dem iPhone 11 Pro erreicht deutlich komfortabler und besser sein.

Google Night Sight Alternative von Apple

Man muss Google zugestehen, dass sie mit den Night-Sight Aufnahmen alle Low-Light-Aufnahmen von bisherigen iPhones deutlich in den Schatten gestellt haben. Der technische Hintergrund ist, dass – soweit ich es gelesen habe – die Google Pixel Smartphones, die gemachten Aufnahmen in der Google-Wolke bearbeiten lassen und dadurch die beeindruckende Qualität der Fotos im Night-Sight-Modus erreichen. Die Aussage ist nicht richtig. Ich habe nochmals nachgelesen und erfahren, dass die ganze Bearbeitung auf dem Pixel erfolgt und keine Daten in die Cloud geladen werden.

Mit Erscheinen des Google Pixel 3 mit dem Night Sight Feature hat Google Fotos von einem iPhone X mit dem Google Pixel 3 verglichen. Damals sah das iPhone X nicht gut aus – mit dem iPhone 11 Pro hält Apple nun mit.

Mit Erscheinen des Google Pixel 3 mit dem Night Sight Feature hat Google Aufnahmen eines iPhone X mit Fotos des Google Pixel 3 verglichen. Damals sah das iPhone X nicht gut aus – mit dem iPhone 11 Pro hält Apple nun mit.

Beim Deep Fusion Modus des iPhone wandern keine Fotos durch die Gegend und schon gar nicht auf fremde Server – es sei denn, man hat explizit eingestellt, dass man sie in der iCloud-Fotomediathek haben möchte. Apple ist bekannt dafür, dass sie versuchen, solche Sachen immer lokal auf dem Gerät zu lösen. Aus dem Grund kommt Deep Fusion eventuell erst jetzt, wo es ein neues iPhone mit schnellerem Prozessor gibt.

In jedem Fall dürfte Apple durch dieses Feature aber in Bezug auf Low-Light-Aufnahmen mit Google gleichziehen. Die Frage ist nur, ob Google schon etwas in der Hinterhand hat, um mit dem nächsten Pixel Phone die Messlatte wieder etwas höher zu legen.

Google Night Sight vs. Apple Night Mode

Alle iPhone 11 Modelle sind mit einem Feature namens “Night Mode” ausgestattet, während Deep Fusion wohl den Pro-Modellen vorbehalten ist. Der Night Mode entspricht technisch noch eher dem Google Night Sight Modus, da beide Modi auf längere Belichtungszeiten aufbauen und dann die Fotos, ähnlich dem HDR-Modus, zusammen rechnen. Bei Deep Fusion scheint dagegen noch deutlich mehr Technikmagie” im Hintergrund zu passieren.

Interessant ist in dem Fall aber, wie sich der Night Mode der iPhone von dem Night Sight Mode der Pixel Phones unterscheiden. Was ich bisherigen Testberichten entnehmen konnte, wirkt der Night Mode von Apple wohl deutlich natürlicher, da die Fotos immer noch deutlich erkennen lassen, dass die Aufnahme in der Dunkelheit entstanden ist. Beim Night Sight Modus der Pixel Phones wirken die Fotos dagegen eher so, als wären sie am Tag aufgenommen worden.

Aus Fotografen-Sicht gefällt mir da der Ansatz von Apple deutlich besser, da ich es mag, wenn die nächtliche Stimmung auf den Fotos erhalten bleibt, aber die Farben und Details trotzdem deutlich besser sind als beim Night Mode der iPhone-Modelle XR, XS und XS Max.

Wann kommt Deep Fusion aufs iPhone?

Ich bin gespannt, wie gut sich Deep Fusion in der Praxis schlägt. Laut Phil Schiller ist es nicht nur für Aufnahmen bei schlechten Lichtverhältnissen geeignet, sondern kann auch bei besserem Licht beeindruckende Ergebnisse erzielen.

Mit der Auslieferung der iPhone 11 Pro Modelle ist Deep Fusion jedoch noch nicht verfügbar. Erst mit einem Software-Update in diesem Herbst soll es von Apple auf die Pro-Modelle nachgeliefert werden.

 

Sir Apfelot auf SteadyHQ unterstützen

2 Kommentare

  1. Mario sagt:

    “Der technische Hintergrund ist, dass – soweit ich es gelesen habe – die Google Pixel Smartphones, die gemachten Aufnahmen in der Google-Wolke bearbeiten lassen und dadurch die beeindruckende Qualität der Fotos im Night-Sight-Modus erreichen.” – So ein Schwachsinn, das würde bedeuten, dass Night Sight nicht funktioniert, wenn man offline ist. Außerdem muss niemand seine Foto irgendwo hochladen. Quelle bitte für solche Behauptungen.

    • Sir Apfelot sagt:

      Hallo Mario! Du hast vollkommen recht. Ich habe eben nochmal auf englischen Blogs über Night Sight gelesen und da steht nirgendwo, dass die Fotos in der Cloud bearbeitet werden. Es passiert also alles auf dem Google Pixel. Ich korrigiere die Stelle oben im Artikel. Danke für deinen Hinweis. Ich hatte diese Aussage in einem Podcast gehört, aber die waren scheinbar auch falsch informiert.

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.