llm vía Tokonomix

Añade Tokonomix al extra-openai-models.yaml de llm — accede a más de 130 modelos y consenso con una sola clave desde el CLI de Simon Willison.

extra-openai-models.yamlCLIApache-2.0 · código abiertomacOS · Windows · Linux

¿Qué es llm?

llm es el cliente de línea de comandos y librería Python de Simon Willison para modelos de lenguaje. Registra cada prompt y respuesta en SQLite, admite plugins y puede registrar cualquier modelo compatible con OpenAI mediante un archivo YAML — que es exactamente como Tokonomix se integra.

Ejecuta prompts desde el shell y pasa stdin por un modelo.
Registra modelos OpenAI-compatible adicionales en extra-openai-models.yaml (model_id, model_name, api_base, api_key_name).
Admite llamadas a herramientas mediante el flag supports_tools en una entrada de modelo.
Código abierto; las claves se guardan con llm keys set, no en el YAML.

¿Por qué enrutar llm a través de Tokonomix?

Una clave Tokonomix en extra-openai-models.yaml accede a más de 130 modelos sin gestionar claves por proveedor.
Apunta un model_id a tokonomix-consensus para que las consultas difíciles obtengan un veredicto multi-modelo; usa un slug directo para one-liners rutinarios.
Los límites de gasto por llamada acotan el uso, y el enrutamiento por región y origen mantiene los prompts sensibles en cumplimiento.
Cada llamada se mide al céntimo en tu panel de Tokonomix.

Conectar Tokonomix en extra-openai-models.yaml

Añade una entrada de modelo Tokonomix en extra-openai-models.yaml, luego almacena la clave con llm keys set.

# ~/.config/io.datasette.llm/extra-openai-models.yaml
- model_id: anthropic/claude-sonnet-4-6
  model_name: anthropic/claude-sonnet-4-6
  api_base: "https://tokonomix.ai/api/v1"
  api_key_name: tokonomix
  supports_tools: true
# Opt-in (planning/review only, no tool-calling): add a second entry with model_id/model_name: tokonomix-consensus

# then: llm keys set tokonomix   (paste tok-your-key)
# llm -m anthropic/claude-sonnet-4-6 "Explain quorum sensing"

Verificar que funciona

Añade la entrada del modelo y ejecuta llm keys set tokonomix para guardar tu clave.
Envía un prompt pequeño: llm -m tokonomix-consensus "Explain quorum sensing".
Confirma la llamada y el uso de tokens en tu panel de Tokonomix.

Selección de modelo

¿Qué modelo y endpoint debe usar mi agente?

Elige según lo que hace tu agente y cambia el id de modelo en cualquier momento — todos los modelos del catálogo funcionan con la misma clave.

Lo que hace tu agente	Usa esto
Edita archivos / llama a herramientas y transmite respuestas (la mayoría de agentes de codificación)	Un modelo Anthropic a través del endpoint Anthropic (herramientas + streaming ambos funcionan)
Llama a herramientas pero no necesita streaming (cualquier modelo)	El endpoint compatible con OpenAI con un único id de modelo
Necesita herramientas y streaming en un modelo no-Anthropic	Usa non-streaming por ahora — las llamadas a herramientas con streaming en otros proveedores aún no están disponibles
Chat normal, sin herramientas	Cualquier endpoint; el streaming está bien
Quiere un veredicto multi-modelo (consenso) sobre una respuesta de alto impacto	Establece el modelo en tokonomix-consensus en el endpoint compatible con OpenAI — nota: el consenso rechaza las solicitudes de herramientas (sin llamadas a herramientas)

Endpoint y referencia de API (técnico)

anthropic-messages → https://tokonomix.ai/api/anthropic — tools ✓, streaming ✓ (usa un modelo Anthropic). openai-completions → https://tokonomix.ai/api/v1 — tools ✓ (passthrough de modelo único), streaming con herramientas aún no disponible. Chat normal: el streaming funciona en ambos. Consenso: openai-completions, modelo tokonomix-consensus, sin herramientas. Cambia el id de modelo por cualquier slug devuelto por GET /api/v1/models.

Ver todos los modelos →