I built an app called Queryable, which integrates the CLIP model on iOS to search the Photos album OFFLINE. […]

CLIP (Contrastive Language-Image Pre-Training) is a model proposed by OpenAI in 2021. CLIP can encode images and text into representations that can be compared in the same space. CLIP is the basis for many text-to-image models (e.g. Stable Diffusion) to calculate the distance between the generated image and the prompt during training.

„Run CLIP on iPhone to Search Photos“

Diese zwei Screenshots demonstrieren, wie viel mehr Treffer Queryable findet, und gleichzeitig wie ungenau es dabei ist. Das geschulte Auge erkennt, dass das hervorgehobene Bild natürlich kein „lightning cable“ ist.

Aber warum zeigt Apples Suche in der Fotos-App ein iPhone? Beim genaueren Hinschauen zeigt sich der erkannte Text.

Queryable erkennt mit seinem KI-Modell nicht spezifisch Text, ordnet aber Wörter und Begriffe dem Bildmaterial zu. Dazu muss es einmalig durch eure Fotodatenbank schauen. 68.000 Bilder indexierte die Neural Engine im iPhone in zirka 15 Minuten. Das geschieht komplett Offline und klappt auch dann, wenn eure Bilder in der iCloud liegen und das iPhone lediglich ein Vorschau-Bild bereithält.

Voraussetzung ist mindestens ein iPhone 11 sowie iOS 16. Bei mir belegt die App nach ihrer Installation und Indexierung zirka 700 Megabyte. Jede einzelne Suchanfrage durch meine Fotobibliothek dauert auf dem iPhone 14 ungefähr fünf Sekunden.

Die Ergebnisse sind lustig, faszinierend, überraschend und zum Haare raufen. Oft sind die Assoziationen nachvollziehbar und geben einen anderen Blick auf die eigenen Bilder.

Die App ist jedoch karg. Es fehlt eine Zählung, wie viele Bilder gefunden wurden. Eine ausgeführte Suche lässt sich nicht erweitern oder modifizieren. Es existiert kein Suchverlauf und neue Bilder müssen von Hand in den Index aufgenommen werden.

Die Technikdemonstration würde ungemein an Wert gewinnen, wenn man ein gefundenes Foto in Queryable an der korrekten Zeitmarke in Apples Foto-App öffnet könnte. Derzeit bekommt man nur das Datum angezeigt und muss selbst scrollen.

Und trotzdem: Der Bildzuordnung zuzuschauen, insbesondere wenn mehr als nur einzelne Begriffe gesucht werden („We fight“, „We fell in love“), macht den Reiz von Queryable aus.

Die macOS-App Downie bleibt das beste FFmpeg-Frontend um Web-Videos zuverlässig auf die eigene Platte zu laden. So sah im letzten Jahr der Shortcut aus, der dies vom iPhone aus anstößt. Mit iOS 16 vereinfacht sich der „Run Script Over SSH“-Kurzbefehl und sieht jetzt wie folgt aus.

Am Mac muss unter ➝ „Sharing“ die Option ➝ „Remote Login“ aktiviert sein. Als „Host“ habe ich meine Tailscale-Adresse hinterlegt. So ist es egal, ob ich mich im gleichen Netzwerk befinde, oder unterwegs bin.

Und weil ich den Kurzbefehl häufiger nur aus der Ferne auslöse, speichere ich die Videodateien gleich in einen für mich von überall zugänglichen iCloud-Ordner.

Für den Empfang einer (YouTube-)URL muss Downie am Mac nicht einmal geöffnet sein: Es startet (und schließt) sich von selbst („Run in Automated Mode“). Optional lädt man so auch gleichzeitig eine separate Untertitel-Datei (.srt) oder extrahiert mit Permute die Audiospur des Videos.

Probleme? Einige Video-URLs schaffen es nicht über das Teilen-Menü zum Mac. Kopiert man sich die Webadresse jedoch in die Zwischenablage, und startet den Kurzbefehl von Hand, dann klappt’s. Außerdem stößt sich der Shortcut an URL-Anhängseln wie „?feature=share“.

In Episode #323 über die neuen Sperrbildschirm-Widgets hielt ich fest: „Der Nachteil von automatisch gesetzten Hintergrundbildern: Darauf lassen sich keine Widgets platzieren.“

Apple ändert das Verhalten mit iOS 16.3. Für mich bedeutet das: Meine Automation von Cuto, die zu jedem Sonnenaufgang den bestehenden Lockscreen mit einem neuen Hintergrundbild bestückt, kann nun Widgets besitzen.

Als Alternative zur klassischen „Spreizgeste“, lege ich oft nur einen Finger aufs Display und zoome durch eine Streichgeste mit einem einzelnen Finger der anderen Hand.

Insbesondere wenn ich im „Tastatur-Griff“ das iPhone halte, greife ich nicht um zur „Zwickgeste“ mit zwei Fingern der gleichen Hand, sondern vergrößere/verkleinere den Bildschirminhalt über jeweils einen Finger von beiden Händen.

Benjamin Mayo erinnert an einen alten (kuriosen!) Tipp für alle (vielleicht neuen?) HomePod-Besitzer:innen.

„One controller to rule them all…“, egal ob iPhone, iPad, Mac oder Apple TV: Der Nacon MG-X verbindet sich über Bluetooth überallhin, klemmt jedoch Telefone auch „Handheld-Style“ für unterwegs ins Taschenformat.

Er ist eine Konkurrenz für den Backbone One – zwei Jahre später. Die Ziehharmonika-Konstruktion bleibt; der Lightning-Stecker fliegt. Bluetooth 5.0 ist unter den Vorzeichen des Wechsels von Apples Telefonen auf USB-C im Moment eine bessere Wahl.

Allerdings verschwindet damit auch die Möglichkeit, kabelgebundene Kopfhörer anzuschließen. Während der Backbone One den Sound an einen Klickenausgang durchschleust, setzt der MG-X ausschließlich auf kabellose Kopfhörer. Die Sprungfeder-gespannte Halterung verdeckt den letzten verbleibenden Port.

Während das iPhone klemmt, lässt es sich deshalb nicht aufladen. Außerdem muss der integrierte Akku des Controllers gelegentlich geladen werden. Mit seiner prognostizierten Laufzeit von 20 Stunden solltet das kein Problem sein, vorausgesetzt man vergisst ihn – als Gelegenheitsspieler – nicht zu laden (ein USB-C-Kabel liegt für die veranschlagten 120 Euro bei).

Die Bauart verdient sich mein größtes Kompliment. Die Klemme sitzt firm; das verbindende Zwischenstück ist breit und verwindungssteif. Es bietet genug Spielraum für jede iPhone-Größe – vom iPhone SE bis zum 14 Pro Max. Sogar ein iPad mini lässt sich im Hochformat einsetzen und funktioniert damit vergleichbar zum Flip Grip der Nintendo Switch – für den gelegentlichen Top-Down-Shooter oder eine vertikale Pinball-Session.

Die Gummierung ist solide und erstreckt sich auch über die Rückseite. Zu keinem Zeitpunkt hat man die Sorge, dass das iPhone verrutscht oder gar herausspringt. Jedes Einsetzen und Entfernen des Telefons gibt ein gutes Gefühl.

Nacon bietet zwei Varianten dieses Controllers. Der „MG-X pro“ folgt eher dem Dual-Shock-Design der PlayStation. Ich bevorzuge den Joycon-ähnlichen Aufbau mit seinem flachen Profil. Die zwei Analogsticks sind hier asymmetrisch angeordnet. Keiner der Buttons klickt hörbar und stört die euch umgebenden Personen. Die Druckpunkte der Buttons sind trotzdem präzise. Wer die alten SNES-Controller mag, fühlt hier seine Präferenzen erfüllt. Nur die Schultertasten fallen sehr (!) steif aus.

Apples Betriebssysteme – von tvOS über iPadOS bis iOS – lassen euch die Buttons dieses offiziellen „Made for iPhone“-Controllers konfigurieren. Unter ➝ Einstellungen ➝ Allgemein ➝ Gamecontroller legt man Profile an, die sogar je nach Titel unterschiedlich ausfallen können.

Drückt zweimal den „Options button“ und knipst einen Screenshot. Wenn ihr diesen Knopf kurz gedrückt haltet, startet ein Screenrecording. Das sind zwei Funktionen, die ich am Backbone One sehr schätze.

Auch Nacon hat eine eigene (rudimentäre) App, verzichtet dort jedoch auf jegliche Community, will euch andererseits aber auch kein Abo-Modell aufschwatzen.

Über den Home-Button springt ihr in Apples Game Center. So startet ihr andere Spiele, ladet Freund:innen ein oder werft einen Blick auf die Ranglisten.

„Bluetooth ist kein Lightning-Port“, sagt Captain Obvious. Nacon hat eine „Quick Change“-Funktion, die den Controller flott zwischen zwei (vorab registrierten) Geräten tauscht. Generell verbindet sich das Zubehör beim Einschalten mit dem zuletzt verbundenen Gerät.

Trotzdem bleibt es eine kabellose Verbindung – mit allen seinen Vor- und Nachteilen. Durch den anstehenden Wechsel der iPhones auf USB-C, fällt es mir jedoch schwer derzeit noch den Backbone One mit Lightning-Port zu empfehlen. Natürlich kauft nicht jeder im Herbst direkt ein neues iPhone; die garantierte Kompatibilität bietet jedoch Bluetooth.

Außerdem legt sich der MG-X auf keine Telefongröße fest; hier klemmen auch iPhones in Hüllen problemlos. Und dieser Joystick funktioniert natürlich nicht nur für App-Store-Spiele, sondern auch Cloud-Gaming.

Dieser Kurzbefehl funktionierte unter iOS/iPadOS 15; „Battery Check“ durchstöbert „Analytics“-Dateien auf iPhones und iPads in Version 16.

Der Shortcut filtert den Wert für „MaximumCapacityPercent“ sowie „CycleCount”. Zwei Werte, die man unter ➝ Einstellungen ➝ Datenschutz ➝ Analyse & Verbesserungen ➝ Analysedaten auch selbst ablesen kann.

Zum Ausführen schickt ihr ein aktuelles „Analytics-2023-XX.ips.ca.synced“-File über das Teilen-Menü an den Kurzbefehl.