Open-Weight-KI-Modelle bleiben teuer: Auch nach dem Training kostet jede einzelne Inferenz entsprechenden Rechenaufwand. One of the most common misconceptions undergirding discussion of open weights models is that they are cheaper — free, even. After all, you can just download the weights, and skip the time and expense and capabilities necessary to create your own model.…

Ergänzend zu „lokale LLM-Sprachmodelle auch unterwegs“: On-Device AI beinhaltet direkt einen Server Mode, der eure (An-)Fragen vom iPhone auf dem eigenen Mac rechnet – gleichermaßen ein privates „Private Cloud Compute“. Dort laufen leistungsfähigere Modelle, die auf mehr Arbeitsspeicher zugreifen und die den Stromverbrauch nicht interessieren. Mit Tailscale (+ Exit Node) klappt das von überall aus, solange…