M5 iPad Pro – zwei Anmerkungen

These dedicated neural accelerators in each core lead to that 4x speedup of compute! In compute heavy parts of LLMs, like the pre-fill stage (the processing that happens during the time to first token) this should lead to massive speed-ups in performance! The decode, generating each token, should be accelerated by the memory bandwidth improvements of the SoC.

Now, I would have loved to show this off! Unfortunately, full support for the Neural Accelerators isn’t in MLX yet. There is preliminary support, though! There will be an update later this year with full support, but that doesn’t mean we can’t test now! Unfortunately, I don’t have an M4 Mac on me (traveling at the moment) but what I was able to do was compare M5 performance before and after tensor core optimization! We’re seeing between a 3x and 4x speedup in prefill performance!

Creative Strategies | Max Weinbach

Apple versprach „dramatisch beschleunigte KI Performance“ und liefert. In der Praxis bleibt die lokale Token-Generierung weitestgehend ohne Anwendung. 

Zwei konträre Statements, die beide stimmen. Was mich zu der alten Weisheit führt: Kauft heute keine Hardware für die Software-Versprechen von morgen.

Wie zentral Offline-Sprachmodelle für unsere alltägliche Arbeit werden, bleibt derzeit noch offen. Nicht nur, weil iPadOS keine Software aus dem Web installiert, sondern weil die OpenAIs und Nvidias dieser Welt auf Cloud-Modelle setzen – nicht auf On-Device-Rechenleistung. Auch Apple will mit „Private Cloud Compute“ bekanntlich zweigleisig fahren.

Der M5 ist mit seinen Neural Accelerators absolut faszinierend. Apple sollte immer nach „höher und weiter“ streben. Das ChatGPT-Webfenster bleibt jedoch nur einen Trackpad-Klick entfernt…

Den tatsächlich größten Sprung für Apples Tablets leistet iPadOS. Sein Fenstermanagement in Version 26(.1) rockt. Es verleiht allen iPads einen ganz anderen Stellenwert. Eine Relevanz, die ich tagtäglich am M1 aus dem Jahr 2022 erlebe.

There was a time when it seemed like Apple viewed the iPad as the future of the computer, and the Mac was seemingly consigned to be the past. It’s ironic that today, at a moment where the Mac seems to have come back to the center of Apple’s computing universe, the iPad feels the closest it’s ever been to fulfilling that earlier desire. It’s better this way, because the iPad can be as much of the Mac as it needs to be to fulfill its own destiny, without needing to carry the burden of replacing the Mac.

Sixcolors | Jason Snell