# Content-type: matter-transport/sentient-life-form

2026-07-17

mlx-community/ThinkingCap-Qwen3.6-27B-OptiQ-4bit · Hugging Face - mit dem Modell muss ich mal rumspielen, das verspricht besseres Reasoning mit weniger Token und liefert gute Performance auf meinem MacBook Pro - wenn das sich bewährt, könnte das für lokale Agents durchaus interessant sein.

hunk — review-first terminal diff viewer ist ein Diff-Viewer, der speziell mit Herdr: one terminal for the whole herd zusammenarbeitet. Ein Agent kann Diff erzeugen und über einen Skill Kommentare in den Diff einarbeiten und dann lässt sich das in Hunk anzeigen und der Benutzer kann ebenfalls im Diff kommentieren - also klassischer Review-Prozess, nur eben rein lokal und im Terminal.

Herdr: one terminal for the whole herd - ich bin ja alter screen User, aber ich glaube es wird wirklich Zeit, dass ich mich mal mental modernisiere. Herdr ist screen auf steroiden. Es hat eine Client-Server Architektur, remote-Installation und Nutzung, und eine sehr gute Agent-Integration. Agent Sessions tauchen in der Übersicht auf, genauso wie Projektstatus (Branch etc.), alles schön in einem Sidebar. Tabs können geöffnet werden, Screens gesplittet werden und obwohl es eine Terminal-Anwendung ist, unterstützt es die Maus. Fühlt sich wirklich gut in der Benutzung an.

2026-07-14

JustVugg/colibri: Run GLM-5.2 (744B MoE) on a 25GB-RAM consumer machine — pure C, zero deps, experts streamed from disk. Tiny engine, immense model. 🐦 - eines der wildesten Projekte in der letzten Zeit, weil darüber ein frontier Modell auf völlig ungeeigneter Hardware betrieben werden kann. Mit grausigen Token/Sekunde, aber laufen. Und es gibt schon Metal und Cuda Backends, also ein bisschen Beschleunigung ist schon da.

2026-07-13

567-labs/instructor: structured outputs for llms - und hier die Alternative zu dottxt-ai/outlines: Structured Outputs, aber hinter dem LLM und nicht in der Generierung. Im Prinzip ist das die klassische Korrekturschleife für LLM Antworten, die man ständig baut. Also parsen, prüfen, validieren, konkrete Fehler zurückmelden und Prompt anpassen und wiederholen, bis es passt.

dottxt-ai/outlines: Structured Outputs - ein sehr spannendes Tooling das sich direkt in vLLM einhängt und Replies von LLMs gegen definierte Schemas für Antworten prüft und direkt in der Generierung illegale Token rejected und damit garantiert, dass der Output den erwarteten Formaten entspricht. Gerade für kleinere Modelle interessant die oft Schwächen bei Toolformaten haben. Gerade für stringente Workflows in denen man genau weiss, was das LLM antworten soll, kann das hilfreich sein.

datalab-to/marker: Convert PDF to markdown + JSON quickly with high accuracy - eine interessante Lösung für ein PDF Preprocessing, dass aus PDF Markdown macht, aber die Struktur und die Lesefolge berücksichtigt. Gerade für Dokumentenverständnis ist das essentiell, da Tabellen in ihrerer Anordnung eine Menge an Information transportieren und das tool dabei helfen kann.

2026-07-06

jakobdylanc/llmcord: Make Discord your LLM frontend - Supports any OpenAI compatible API (OpenRouter, Ollama and more) ist ein discord bot in Python geschrieben, der ein LLM integriert und als Chatbot in Discord verfügbar macht. Das ganze als simpler Docker Container. Leicht einzurichten und simpel.

Forest Shuffle ist ein netter Tableau-Builder mit ziemlich coolen Kartencombos. Das ganze ist relativ leicht zu lernen und zu spielen, einzig der etwas geringe Kartenpool könnte den Wiederspiel-Reiz etwas dämpfen, aber die Erweiterungen helfen dabei.

2026-07-05

LMCache – Building the foundation of AI memory tensor with KV Cache Infrastructure ist ein kv cache manager, der den cache über GPU Speicher und SSD verteilen kann und auch hilft, wenn ein Modell über mehrere Maschinen verteilt läuft. Ich selbst benutze ihn primär als offloader für kvcache auf die Platte beim Qwen3.6 27B, weil das einen etwas heftigeren Bedarf an Speicher für kvcache hat als das 35B Modell.

2026-06-30

Supacode ist ein weiteres sehr nettes Terminal dass glaube ich cmux — Das Terminal für Multitasking für mich ersetzen kann. Es wirkt jedenfalls sehr gut auf den ersten Blick, irgendwie ausgereifter als cmux.

deepreinforce-ai/Ornith-1.0-35B · Hugging Face ist ein Modell basierend auf Qwen3.5 35B 8bit mit Post-Training für explizite Unterstützung von Coding. Es soll deutlich besser für Coding sein als andere 35B MoE Modelle und auch gegenüber Qwen 3.6 35B besser abschneiden. Erste Experimente von mir zeigen soliden Tool-Use mit wenig Fehlersituationen, das lässt schon mal hoffen. Ich könnte mir gut vorstellen das als Basismodell für einen Hermes Agent einzusetzen, zum Beispiel, einfach weil es rasend schnell ist (lokal auf meinem M5 Max MacBook Pro >80 Token pro Sekunde).

2026-06-21

DietrichGebert/ponytail: Makes your AI agent think like the laziest senior dev in the room. The best code is the code you never wrote. - ein sehr interessantes Plugin für diverse coding agents (unter anderem Pi und OpenCode, die ich am häufigsten benutze, aber auch alle großen bekannten Agenten aus dem kommerziellen Umfeld), mit dem unnötiger Code gefunden werden kann. Es zielt direkt auf die typischen Schwächen von angentisch erstelltem Code, der oft unnötige Abstraktionen und Indirektionen und Code-Duplikate enthält, die deutlich einfacher abbildbar sind. Auch Re-Implementierungen von Sachen die schon im Standard enthalten sind oder unnötige Abhängigkeiten von externen Bibliotheken, die man leicht durch wenige Inlines und Standardfunktionen ersetzen kann.

2026-06-20

AbarthJoe/Qwopus3.6-27B-v2-oQ8-mtp · Hugging Face ist ein sehr interessantes Modell: Qwen 3.6 27B - eines der besten dichten Modelle für Coding - mit fine-tuning basierend auf Opus Thinking Bubbles. Das Ziel ist eine gute Basis für ein Coding-Modell zu haben, dass mit relativ geringem Speicher auskommen kann. Und in dieser Version ist es die MLX konvertierte Variante mit 8bit Quantisierung und allen Gewichten für natives MTP. Auch wenn das nicht der aller schnellste Renner ist, ist es immerhin benutzbar und ziemlich gut schon bei der Analyse von Code in meinen kleinen Tests.

2026-06-18

antirez/ds4: DeepSeek 4 Flash and PRO local inference engine for Metal, CUDA and ROCm ist ein ziemlich interessantes Projekt, mit dem Deepseek (spezielle Q2 Quants) möglichst effizient auf verschiedenen UMA Notebooks läuft. Unterstützt sind MacBook, DGX Spark und ROCm Strix Halo Rechner. Ziemlich cool, wenn das auch funktioniert - Deepseek V4 Flash ist schon ziemlich gut als Basismodell für verschiedene Zwecke, wie zum Beispiel als Main-Modell für Hermes.

2026-05-30

oMLX — LLM inference, optimized for your Mac ist so ein bisschen wie mein MLX Server, aber hat mehr Fokus auf effiziente Ausführung und als Gimmick einen persistierten KV Cache, so dass alte Prefixe wiederbelebt werde. Könnte ich mit meinem kommenden MacBook Pro mal testen, ob das interessant für mich ist, insbesondere das Beispiel mit dem Qwen 3.5 122B A10B sieht gut aus, das ist auch im Moment auf meine DGX mein favorisiertes Modell.

2026-05-29

MTPLX — Twice as fast on MLX gemerkt für später, wenn mein neues MacBook Pro kommt. Dann habe ich die nötige Hardware, um das Modell laufen zu lassen und MTPLX wird dann extrem wichtig für die Geschwindigkeit.

2026-05-28

Livebook.dev ist sowas wie Jupyter Notebooks, aber für Elixir. Sieht sehr spannend aus und hat viele eingebaute Elixir Features und Erweiterungen mit im Bauch (z.B. Bumblebee für AI Anwendungen).

2026-04-27

opencode - nach den hundsmiserablen Preiserhöhungen der diversen Coding Agent Betreibern (Microsoft jetzt als letztes mit massiven Preiserhöhungen) wirds immer wichtiger auf alternativen zu gucken und OpenCode Go ist im Moment ein durchaus ernstzunehmendes Angebot mit einigen ziemlich guten Modellen im Mix, die auch noch open weight sind und dadurch auch über mehr als einen Anbieter betrieben werden können. Hat sich bei mir für meinen OpenClaw gut bewährt bisher.

2026-04-10

Dicklesworthstone/pi_agent_rust: High-performance AI coding agent CLI written in Rust with zero unsafe code ist ein ganz interessantes Projekt, das eine Reimplementierung von pi.dev in Rust ist, mit stärkerem Fokus auf Sicherheit, aber weiterhin der Offenheit von Pi, also nicht tausende von Tools und Workflows schon im Kern, sondern einfach ein m inimalistischer Agent.

2026-04-04

nearai/ironclaw: IronClaw is OpenClaw inspired implementation in Rust focused on privacy and security könnte irgendwann mal interessant werden. Im Prinzip OpenClaw aber in Rust. Mir sind bei OpenClaw eine ganze Reihe von Sachen um die Ohren geflogen. OpenAI subscriptions (die 20 pro Monat) ist zu klein für einen Agenten, das Wochenlimit läuft zu schnell voll. Wechsel auf billigere open weight Modelle hat dann gezeigt, dass bei OpenClaw wirklich nur die primären Pfade im Code getestet werden, da sind mir reihenweise Sachen um die Ohren geflogen, die vorher funkmtioniert haben. Dazu kommt dann noch, dass es eine ganze Reihe von erfolgreichen Supply Chain Attacks gegen NPM gegeben hat - offensichtlich ist die Absicherung von NPM mehr als mangelhaft. Also erstmal den OpenClaw VPS gelöscht. Das Leben ist zu kurz für schlechte Software.

2026-04-01

stonerl/Thaw: Menu bar manager for macOS 26 - hilft gegen das Notch auf Apple MacBooks. Schon peinlich, dass man ein extra Programm braucht, um das zu machen, und dass das System das nicht von Hause aus unterstützt.

2026-03-29

Fission-AI/OpenSpec: Spec-driven development (SDD) for AI coding assistants. ist eine leichtgewichtigere Variante zu juxt/allium: A language for sharpening intent alongside implementation.. Könnte auch ganz interessant sein, das Tooling ist weiter ausgebaut, dafür die Sprache schwächer. Allium ist wesentlich formaler und in Richtung Pseudocode.

2026-03-27

juxt/allium: A language for sharpening intent alongside implementation. ist ein sehr spannendes Projekt. Und zwar eine Spezifikationssprache für Verhalten von Softwaresystemen. Eine Sprache, für die es keine Laufzeitumgebung oder Compiler gibt, außer der LLM. Implementiert als Agent Skills. Super spannend, weil es unter anderem auch ein Distill gibt, mit dem man bestehende Software analysieren und retroaktiv Spezifikationen aufbauen kann, oder im Interviewverfahren mit der KI eine Spezifikation ausarbeiten kann, die für ein LLM deutlich präziser verständlich ist als allgemeines Englisch. Witziges Detail am Rande: ich habe Allium mit Qwen3-Coder-Next ausprobiert, meinem derzeitigen Lieblingsmodell für lokales Hosting, in pi.dev. Ich konnte das binary für Allium (ein Syntaxchecker und Linter) nicht mit homebrew installieren, pi.dev hat einfach kurzerhand das Binary runtergeladen und selber installiert.

scitrera/cuda-containers: Scitrera builds of various CUDA containers for version consistency, starting primarily with NVIDIA DGX Spark Containers bin ja im Moment ein großer Fan von eugr/vllm-node als Basispaket, weil es immer aktuelle Versionen für vLLM bietet, aber wenn ich mal mit sglang spielen will, ist das hier vermutlich das ähnlichste Projekt. Mich interessiert da speziell EAGLE-3 spekulatives Dekodieren - im Prinzip werden dabei über ein sehr kleines Modell parallel Token generiert und das Hauptmodell guckt was passt und nimmt das, oder generiert selber wenn nötig. Dadurch kann man oft ein drittel der Token über ein viel schnelleres banales Modell im <3B Bereich generieren lassen und nur jedes dritte wirklich über das große Modell.

thushan/olla: High-performance lightweight proxy and load balancer for LLM infrastructure. Intelligent routing, automatic failover and unified model discovery across local and remote inference backend ist nach dem Debakel von LiteLLM (gehackte supply-chain mit Datenextraktor im Paket) vielleicht die bessere Wahl. Für mich auf jeden Fall interessant, weil ich einfach nur zwei Modelle betreiben will und diese unter einem Endpunkt verfügbar machen will, und da sind alle anderen Pakete deutlicher Overkill.

2026-03-25

Running Mistral Small 4 119B NVFP4 on NVIDIA DGX Spark (GB10) - DGX Spark / GB10 User Forum / DGX Spark / GB10 - NVIDIA Developer Forums - live-saver Diskussion in den NVIDIA Foren. Mit dem was da steht habe ich Mistral Small 4 zum Fliegen bekommen. Und es läuft sauber mit 150K Context und 100 Token/Sekunde in der Generierung. Wow. Das ist das erste Mal, dass ich die Power der Kiste wirklich bemerke.

2026-03-22

Zed: The Fastest AI Code Editor — Zed's Blog ist ein ziemlich cooler Editor, der endlich auch mit einer guten VIM Implementation daher kommt. Unterstützt Coding Agents und ist offen für Open Weight und home-hosted Modelle. Gefällt mir ehrlich gesagt sehr gut und ist wirklich schnell. Und ist in Rust geschrieben, was mich nochmal mehr begeistert.

Introducing Mistral Small 4 | Mistral AI ist ein weiterer interessanter Kandidat für die ASUS Ascent GX10｜｜ASUS Deutschland, vor allem brauche ich dort keine Side-car Modelle für Vision, weil das Modell selber auch schon gleich Vision mitbring. Und als MoE Modell dürfte es auch gut Speed hinlegen.

nvidia/NVIDIA-Nemotron-3-Super-120B-A12B-NVFP4 · Hugging Face wird wahrscheinlich das erste große Modell auf der ASUS Ascent GX10｜｜ASUS Deutschland werden, weil es optimiert auf NVFP4 trainiert wurde - und damit nicht eine "verdummung" erfährt, wegen der Quantisierung, sondern ganz normal wie erwartet funktioniert. Und es ist auf agentische Workflows optimiert, was OpenClaw begünstigen sollte, genauso wie der 1M Context, der in dem Modell vermutlich sogar genutzt werden kann (andere Architektur als klassische Transformer basierte Modelle).

WireGuard® for Enterprise klingt komisch auf einem rein privaten Blog mit dem Namen, aber die haben recht günstige Tarife für VPN-ähnliche Konstrukte, mit denen man sehr leicht seine lokalen Geräte zu Hause auch von Unterwegs erreichbar machen kann. Gibt sicherlich auch andere Alternativen, aber ich glaube wenn ich meinen Agent lokal laufen lasse, stecke ich das Geld für Subscriptions lieber in einen ordentlichen VPN Dienst, da habe ich generell mehr von. Update: ist kostenlos für Privatbenutzer bis 3 User. Nett.

ASUS Ascent GX10｜｜ASUS Deutschland kommt in den nächsten Tagen. KI Bolide, der es mir erlauben wird, auch größere Modelle lokal zu betreiben und z.B. einen OpenClaw Agent autonom zu Hause zu betreiben, ohne dafür dann auch noch Subscriptions zu brauchen. Bin schon echt gespannt, was damit geht. Kommt mit angepasstem Ubuntu, auch ein nettes Detail.

2026-03-19

topoteretes/cognee: Knowledge Engine for AI Agent Memory in 6 lines of code ist auch etwas, das ich mir für später merke. Im Prinzip ein Wissens-Graph der über eine LLM gesteuert aufgebaut wird, um Memory für eine andere LLM verfügbar zu machen. Sicherlich spannend damit zu spielen, wenn ich mal eine gute lokale Hardware habe, auf der ich größere Modelle betreiben kann. Aber für jetzt nur ein Merker.

Docker Model Runner Adds vLLM Support on macOS | Docker - erstmal nur gemerkt, das könnte später interessant werden, weil ich darüber Modelle über Docker mit vllm betreiben kann, bei gleichzeitiger Nutzung von Apple Silicon. Interessant daran ist hier, dass es als Docker Image fertig konfiguriert kommt und ich mich nicht mit Setup rumschlagen muss. Im Moment arbeite ich ja eher mit meinem eigenen rfc1437/MLXServer: a simple MLX based server for small models to run locally, einfach weil ich es eh nur für den Offline-Betrieb brauche, aber für später könnte vllm-metal sehr spannend sein.

2026-03-18

rfc1437/MLXServer: a simple MLX based server for small models to run locally ist ein Tool, das ich mir (KI-gestützt) gebaut habe, um kleine Modelle direkt lokal auszuführen, ohne großen Ballast. Das frisst nicht viel Speicher, hat gleich einen lokalen Chat eingebaut für eigene Experimente und fühlt sich für mich deutlich praktischer an als die großen Alternativen - weniger Knöpfe zum Einstellen, aber dadurch auch weniger Verwirrung. Ich will ja einfach nur ein kleines Modell lokal betreiben für mein Blog on-the-road.

mlx-community/Qwen3.5-9B-MLX-4bit · Hugging Face ist noch ein weiteres nettes kleines Modell - größer als die anderen, dadurch aber auch etwas konsistenter in der Ausführung, aber immer noch echt fix. Und ist so die Obergrenze, was man auf einem MacBook Air M4 mit 16G Ram betreiben kann, ohne den Rechner zu crashen.

2026-03-16

google/gemma-3-4b-it · Hugging Face ist ein ziemlich nettes Modell, dass für viele europäische Sprachen trainiert ist und daher gut für Übersetzungen lokal benutzt werden kann - es lädt unter 4G in den Speicher und belegt im Betrieb in der Interferenz ca. 6.5G. Und es hat Vision Capability, kann also auch benutzt werden um Bildbeschreibungen zu bekommen. Ideal, um z.B. mit bDS als lokales Modell benutzt zu werden wenn man offline unterwegs sein will. Und deutlich kleiner als mlx-community/gemma-3-12b-it-4bit · Hugging Face - das war bei meinem Macbook Air grenzwertig.

2026-03-15

Inferencer | Run and Deeply Control Local AI Models ist ein interessantes Tool, mit dem man LLMs lokal betreiben kann. Das kann natürlich LM Studio oder Ollama oder vllm-mlx auch. Aber Inferencer hat ein Feature namens "Model streaming", das ziemlich cool ist: es kann Modelle betreiben, die eigentlich zu groß für den Speicher sind. Natürlich tauscht man da Zeit gegen Speicher, aber für ein lokales Modell zur Bildbetitelung oder ähnliche kleinere Sachen kann man das durchaus mal benutzen. Ich habe aber das Gefühl, dass das Modell dadurch irgendwie fragiler wird - z.B. nutzt es Tools plötzlich nicht mehr richtig (ich habs mit gemma3 12b probiert, das so gerade an der Speichergrenze meines Laptops kratzt).

Pagefind | Pagefind — Static low-bandwidth search at scale ist eine statische Suchmaschine für statisch generiertes HTML, so wie mein Blog. Und wird demnächst die Suche auf diesem Blog betreiben. Keine externen abhängigkeiten, kein Server, keine Komplexität der Infrastruktur - einfach nur ein paar zusätzliche Files, die mit hochgeladen werden. Und natürlich aktives JavaScript im Browser.

2026-03-14

pi.dev ist ein minimalistischer Harness für agentic coding, dessen Fokus nicht auf Features, sondern auf Erweiterbarkeit liegt. Die Grundidee ist solide:. eine sehr einfache Harness die durch Typescript-Plugins erweitert werden kann, so dass sich die Harness an den eigenen Workflow anpassen und an die eigenen Anforderungen. Werde ich mir vielleicht demnächst mal angucken.

2026-03-13

steveyegge/beads: Beads - A memory upgrade for your coding agent ist ein Todo-Listen-Tool für Agenten. Im Prinzip ein Gedächtnis für Projekte über das sich Agenten steuern können (hinterlegen von Tasks und Features) und auch komplexere Abläufe gesteuert werden können, bei denen ein Agent über eine ganze Reihe von Issues laufen muss und diese lösen muss, wo Tasks abhängigkeiten haben können und Agenten nur den Satz an Aufgaben sehen, die auch wirklich gerade angegangen werden können. Interessant für Projekte, in denen man Agenten in Loops laufen lassen will, um größere Aufgaben zu lösen.

dolthub/doltgresql: DoltgreSQL - Version Controlled PostgreSQL ist der PostgreSQL-flavored Partner von dolthub/dolt: Dolt – Git for Data und bietet die gleichen Features, nur mit Anlehnung an PostgreSQL und einem Binär-Interface das zu PostgreSQL kompatibel ist.

dolthub/dolt: Dolt – Git for Data ist eine SQL Datenbank, die intern mit Mechanismen wie git arbeitet und dadurch Daten-Branches und Merges unterstützt und allgemein die Möglichkeit bietet, dass Daten in der Datenbank versioniert und mit History funktionieren. Und das ganze auch analog zu git erlaubt die Datenchanges über die Versionsverwaltung zu verteilen. Im Prinzip "slow transaction shipping".

paperclipai/paperclip: Open-source orchestration for zero-human companies ist ein Ansatz um Agenten zu orchestrieren und zu verwalten. Das interessante hier ist, dass es mit einer Organisation angelehnt an eine Firmenorganisation arbeitet und mit Mitteln die Kommunikation der Agenten abbildet, die eine gute Transparenz bieten könnte. Ich habe es noch nicht ausprobiert, aber neben gastown eines der interessanteren Projekte zu diesem Thema. Das ganze Umfeld von Agent-Orchestrierung ist alles noch recht neu, von daher ist das noch ein großes Feld an Experimenten, aber spannend zu beobachten.

Ghostty ist die Basis, auf der cmux — Das Terminal für Multitasking aufgebaut wurde. Generell ebenfalls ein sehr nettes Terminal, das auch deutlich schneller reagiert als das Standardterminal und auch schon sehr gut funktioniert. Was mir nicht gefiel, war dass Tabs nicht automatisch in den passenden Pfaden wieder neu geöffnet wurden, wenn das Programm beendet wurde. Ich habe einfach zu lange persistente Sessions, die ich immer wieder aufgreife. Das macht cmux einfach besser.

cmux — Das Terminal für Multitasking ist ein ziemlich geniales Terminal-Programm für die gerade durch Agentic Coding wieder verstärkt kommenden CLI Workflows. Und was mich begeistert: es hat eine saubere Persistierung von offenen Workspaces in denen man dann mehrere Tabs haben kann, so dass ich meine Arbeitsumgebung nicht ständig offen lassen muss. Ich habe immer gerne diverse Verzeichnisse direkt offen, weil ich zwischen mehreren hin und her wechsel wärend der Programmierung, das läuft mit CMUX deutlich besser als mit allen anderen.

2026-03-12

NuGet Gallery | Photino.Blazor.CustomWindow 1.3.1 ist eine Library für Photino Blazor, mit der man Fenster Chrome-less machen kann. Also Titelbalken und Standarddekorationen entfernen kann. Idee dahinter ist darüber mehr Kontrolle über das Look-and-Feel zu bekommen und kompaktere UIs zu schaffen. Mit dieser Library bekommt man dann Grundfunktionen zurück wie Fenstergrößenänderungen und andere Standardelemente, die Benutzer erwarten, aber unter voller Kontrolle der Anwendung.

2026-03-07

OpenClaw Memory Masterclass: The complete guide to agent memory that survives • VelvetShark - interessante Zusammenstellung des Memory-Systems und der Fallstricke mit Compaction bei Openclaw. Der Agent ist ja dazu da, über lange Zeit zu laufen, dadurch ist aber auch immer die Gefahr, dass Compaction gerade in komplexeren Situationen mitten drin zuschlägt. Und openclaw läuft autonom, also will man sicher sein, dass es auch kontinuierlich weitergeht.

2026-03-05

unum-cloud/USearch - drin was drauf steht. Also eine Library, die einen Index für Vektoren bietet, die z.B. aus Embedding stammen können und so semantisch ähnliche Texte finden können. Nicht Text-ähnlich, sondern semantisch, also Inhalt. Spannendes Thema, die dafür nötigen Modelle sind mit den LLMs verwandt, aber eben nicht large, sondern small - sie brauchen nicht voll zu verstehen und zu generieren, weil sie nur Vektoren erstellen, die dann gegeneinander verglichen werden können und je höher die Ähnlichkeit, desto höher die Ähnlichkeit der Texte im Thema. Cooles kleines Feature für bDS.

2026-03-02

waybarrios/vllm-mlx: OpenAI and Anthropic compatible server for Apple Silicon. Den benutze ich, um mlx-community/gemma-3-12b-it-4bit auf meinem MacBook Air zu betreiben. Klappt sehr gut, kleines Shell-Script zum Starten des Servers und dann bin ich autonom. Nicht so komfortabel wie Ollama, aber dafür unterstützt es perfekt Apple's MLX und nutzt damit Silicon gut aus.