Eduard Ebel
Moderator AI Morons
Maximale Output-Tokens lokal: Quantisierung, Kernel-Settings und Config für LLMs
Eduard bringt lokale Modelle an die Grenze der Output-Tokens und zeigt, welche Quantisierung mit welchen Kernel-Einstellungen und welcher Config den maximalen Output für lokale LLMs liefert. Konkrete Trade-offs zwischen Quant, Kernel und Runtime-Config – messbar, reproduzierbar, ohne Cloud-Zwang. Kein High-Level-Talk, sondern Inference-Tuning-Tiefe für Entwickler, die lokale Modelle wirklich ausreizen wollen.
Focus areas
Lokale LLMs, Output-Tokens, Quantisierung, Kernel-Settings, Inference-Config. Im Mittelpunkt steht, wie lokale Modelle auf maximale Output-Tokens getuned werden. Welche Quantisierung mit welchen Kernel-Einstellungen und welcher Config den höchsten Output liefert. Als Moderator der AI-WhatsApp-Gruppe AI Morons und Member der SpaceXAI Community Cologne verbindet Eduard Ebel Community-Praxis mit Inference-Tiefe.
Bio
Eduard Ebel ist Moderator der bekannten AI-WhatsApp-Gruppe AI Morons und Member der SpaceXAI Community Cologne. Er verfügt über tiefes Know-how zu lokalen LLMs, Harness, Softwareentwicklung mit AI und Agentic Engineering. Wohnort Dittelbrunn (Bayern). Zuvor Bezirksleiter bei Gustavo Gusto GmbH & Co. KG sowie Stationen im Automotive-Vertrieb (Auto Zentrum Am Marienbach, Auto Uhlmann) und selbstständige Vertriebsarbeit. Aktuell keine Firma.