Private LLM: ein Offline-LLM in der Westentasche

10. Januar 2024 – 12:13 Uhr

Private LLM bringt dieses Large Language Model (LLM) für eine Offline-Nutzung auf die letzten iPhone-Generationen. Für euch ausprobiert: im Flugzeug von Hamburg zurück nach Helsinki.

2x iOS-Screenshots von Private LLM mit exemplarischen Suchanfragen.

Die KI-Anwendung lädt nicht augenblicklich und das Telefon wird handwarm. Die macOS-Version der Universal-App unterstützt bereits eine Auswahl aus verschiedenen Modellen, von denen einige zukünftig auch auf iPhones und iPads zur Auswahl stehen sollen.

macOS-Screenshot zeigt Private-LLM-Einstellungen mit der Auswahl an LLMs.

Auf dem iPhone steckt die Software noch in der „schwierig zu glauben, dass das überhaupt geht“-Phase, liefert allerdings schon (rudimentären) Shortcuts-Support.

Screenshot der iOS-Kurzbefehle-Einstelungen.

Als Chatbot für Informationen bevorzuge ich derzeit Perplexity; ohne Internet und „on device“ existieren allerdings nicht viele (keine?) App-Store-Alternativen zu Private LLM. Die 10-Euro-Software ist hoffentlich der Vorgeschmack auf eine „turbo-charged version of Siri“.

Apple is eyeing adding features like auto-summarizing and auto-complete to its core apps and productivity software such as Pages and Keynote. It also is working to merge AI into services like Apple Music, where the company wants to use the technology to better automate playlist creation. And Apple is planning a big overhaul to its digital assistant, Siri.

Mark Gurman | Bloomberg