PhoneAgent: iPhone komplett sprachgesteuert, ohne Jailbreak

Der Developer Rounak Jain hat in einem Video auf YouTube gezeigt, wie er eine selbst programmierte KI-Assistenz am iPhone nutzt, um verschiedenste Funktionen nur per Sprachbefehl zu verwenden. Er demonstriert die Aufnahme eines Fotos, dessen Weiterleitung per iMessage, das automatische Buchen einer Uber-Mitfahrgelegenheit und die Nutzung des Kontrollzentrums. Das Projekt PhoneAgent ist Open Source und setzt einen OpenAI API-Key sowie Xcode voraus.

Mac-Tipp: Große Dateien finden und löschen mit Daisy Disk (Werbung)

Die PhoneAgent-Demo zeigt die App-übergreifende Nutzung des Open-Source-Projekts am iPhone. Quelle: Rounak Jain / YouTube

Kapitel in diesem Beitrag:

1 Open-Source-Projekt „PhoneAgent“ ist frei verfügbar
2 GPT 4.1 und „Always On“-Funktion als kompletter Siri-Ersatz
3 Verschiedene Projekte stellen Siri-Entwicklung in den Schatten

Open-Source-Projekt „PhoneAgent“ ist frei verfügbar

Rounak Jain stellt seine Siri-Alternative über die Developer-Plattform GitHub zur Verfügung. Nach eigenen Angaben ist das Projekt letztes Jahr im Rahmen eines OpenAI Hackathon entstanden. Um das Projekt auf dem eigenen iPhone zu nutzen, lädt man sich die GitHub-Daten herunter, öffnet sie in Apples Programmier-App Xcode und fügt für die KI-Verwendung den Key für die OpenAI-API ein. Über einen Testlauf lässt sich der PhoneAgent am angeschlossenen iPhone verwenden.

Mit dem Laden des Videos akzeptieren Sie die Datenschutzerklärung von YouTube.
Mehr erfahren

Video laden

YouTube immer entsperren

GPT 4.1 und „Always On“-Funktion als kompletter Siri-Ersatz

Nicht nur kommt mit GPT 4.1 ein umfangreich nutzbares KI-Modell zum Einsatz, auch lässt sich für den PhoneAgent die „Always On“-Funktion aktivieren. Diese reagiert, ähnlich wie Siri, auf eine Sprachaktivierung und führt den darauf folgenden Befehl aus. Das funktioniert sogar App-übergreifend, indem z. B. in einem Programm Daten erstellt werden, um sie dann über ein anderes Programm zu teilen.

Natürlich ist bei diesem Projekt immer zu beachten, dass man einem Drittanbieter erlaubt, ständig hinzuhören. Auch die Systemeinbindung der Fremd-KI sowie der Zugriff auf Kontakte und andere sensible Daten ist zu beachten. Etwa bei der Buchung eines Uber oder einer anderen Dienstleistung sollte man zudem schauen, dass nichts schief geht. Insgesamt ist das Projekt von Rounak Jain aber eine interessante Machbarkeitsstudie.

Verschiedene Projekte stellen Siri-Entwicklung in den Schatten

Der Zeitpunkt der Veröffentlichung von PhoneAgent und anderen Projekten für die KI-Steuerung von Apple-Geräten ist sicher nicht zufällig gewählt. Denn vor knapp einem Jahr hatte Apple die KI-Version der Sprachassistenz Siri angekündigt. Diese sollte personalisiert und kontextbezogen agieren können. Auf die gezeigten Konzepte folgten aber weder Demos noch eine vollwertige Veröffentlichung. Apple hat diese seither verschoben und die angekündigten Features als „in Entwicklung“ ausgewiesen.

Am kommenden Montag, dem 9. Juni 2025, startet die WWDC25. Für dieses Developer-Event werden keine großen „Apple Intelligence“-Ankündigungen erwartet. Stattdessen soll es ein großes Redesign der Apple-Betriebssysteme sowie ggf. neue Apps geben. Neue Frameworks und andere für Developer wichtige Aktualisierungen sind weiterhin zu erwarten. Das Auslassen von Apple Intelligence würde zeigen, dass Apple den eigenen KI-Versprechen hinterherhinkt – zumal mit PhoneAgent fürs iPhone sowie mit Sky für den Mac aktuell immer wieder Drittanbieter-Lösungen aus dem Boden sprießen, welche die Einhaltung dieser Versprechen für sich beanspruchen.