llm via Tokonomix

//Was ist llm?

llm ist Simon Willison’s Kommandozeilen-Client und Python-Bibliothek für große Sprachmodelle. Er protokolliert jeden Prompt und jede Antwort in SQLite, unterstützt Plugins und kann jedes OpenAI-kompatible Modell über eine YAML-Datei registrieren — genau so bindet sich Tokonomix ein.

• Führt Prompts aus der Shell aus und leitet stdin durch ein Modell.
• Registriert zusätzliche OpenAI-kompatible Modelle in extra-openai-models.yaml (model_id, model_name, api_base, api_key_name).
• Unterstützt Tool-Calling über das supports_tools-Flag an einem Modelleintrag.
• Open Source; Schlüssel werden mit llm keys set gespeichert, nicht in der YAML-Datei.

//Warum llm über Tokonomix leiten?

• Ein Tokonomix-Schlüssel in extra-openai-models.yaml erreicht 130+ Modelle, ohne per-Provider-Schlüssel jonglieren zu müssen.
• Richte eine model_id auf tokonomix-consensus, damit schwierige Anfragen ein Multi-Modell-Urteil erhalten; nutze einen direkten Slug für routinemäßige Einzeiler.
• Per-Call-Ausgabenlimits begrenzen die Nutzung, und Regions-/Ursprungs-Routing hält sensitive Prompts konform.
• Jeder Aufruf wird centgenau in deinem Tokonomix-Dashboard gemessen.

//Tokonomix in extra-openai-models.yaml verbinden

Füge einen Tokonomix-Modelleintrag zu extra-openai-models.yaml hinzu und speichere den Schlüssel mit llm keys set.

# ~/.config/io.datasette.llm/extra-openai-models.yaml
- model_id: anthropic/claude-sonnet-4-6
  model_name: anthropic/claude-sonnet-4-6
  api_base: "https://tokonomix.ai/api/v1"
  api_key_name: tokonomix
  supports_tools: true
# Opt-in (planning/review only, no tool-calling): add a second entry with model_id/model_name: tokonomix-consensus

# then: llm keys set tokonomix   (paste tok-your-key)
# llm -m anthropic/claude-sonnet-4-6 "Explain quorum sensing"

//Funktionsfähigkeit prüfen

• Füge den Modelleintrag hinzu und führe llm keys set tokonomix aus, um deinen Schlüssel zu speichern.
• Sende einen kleinen Prompt: llm -m tokonomix-consensus "Explain quorum sensing".
• Bestätige den Aufruf und die Token-Nutzung in deinem Tokonomix-Dashboard.