Wat is llm?
llm is Simon Willison’s command-line client en Python-bibliotheek voor grote taalmodellen. Het logt elke prompt en respons naar SQLite, ondersteunt plugins en kan elk OpenAI-compatible model registreren via een YAML-bestand — precies hoe Tokonomix inplugt.
- Voert prompts uit vanuit de shell en leidt stdin door een model.
- Registreert extra OpenAI-compatible modellen in
extra-openai-models.yaml(model_id,model_name,api_base,api_key_name). - Ondersteunt tool calling via de
supports_tools-vlag op een model-vermelding. - Open source; sleutels worden opgeslagen met
llm keys set, niet in de YAML.
Waarom llm via Tokonomix routeren?
- Één Tokonomix-sleutel in
extra-openai-models.yamlbereikt 130+ modellen zonder per-provider sleutels bij te houden. - Wijs een
model_idnaartokonomix-consensuszodat zware queries een multi-model verdict krijgen; gebruik een directe slug voor routinematige eenvoudige opdrachten. - Per-aanroep uitgavenlimieten begrenzen het gebruik, en regio- en herkomst-routing houdt gevoelige prompts compliant.
- Elke aanroep wordt tot op de cent bijgehouden in je Tokonomix dashboard.
Verbind Tokonomix in extra-openai-models.yaml
Voeg een Tokonomix model-vermelding toe aan extra-openai-models.yaml en sla vervolgens de sleutel op met llm keys set.
# ~/.config/io.datasette.llm/extra-openai-models.yaml
- model_id: anthropic/claude-sonnet-4-6
model_name: anthropic/claude-sonnet-4-6
api_base: "https://tokonomix.ai/api/v1"
api_key_name: tokonomix
supports_tools: true
# Opt-in (planning/review only, no tool-calling): add a second entry with model_id/model_name: tokonomix-consensus
# then: llm keys set tokonomix (paste tok-your-key)
# llm -m anthropic/claude-sonnet-4-6 "Explain quorum sensing"Controleer of het werkt
- Voeg de model-vermelding toe en voer
llm keys set tokonomixuit om je sleutel op te slaan. - Stuur een kleine prompt:
llm -m tokonomix-consensus "Explain quorum sensing". - Bevestig de aanroep en het tokenverbruik in je Tokonomix dashboard.