Token Calculator

Token Calculator - Programa calculador de tokens centrado en la privacidad, que funciona directamente en el navegador para contar tokens en textos, archivos e imágenes para todos los proveedores de LLM principales

Lanzado hoy

TokenCalculator.dev es un programa de conteo de tokens alojado en el navegador centrado en la privacidad, que ejecuta todos los cálculos de forma local en tu dispositivo. Ningún contenido de usuario se sube a servidores externos. Es compatible con prompts de texto, archivos de código, documentos PDF y DOCX, así como formatos de imagen comunes. Devuelve conteos de tokens en tiempo real y costos estimados de API para más de 35 modelos pertenecientes a 9 proveedores populares de LLM. Está diseñado para desarrolladores de IA, personas que planifican Workflows para LLM y equipos que comparan precios entre distintos servicios de IA generativa para estimar los costos de carga de trabajo de forma precisa antes de realizar llamadas a la API.

1VistasDevTools IAGratisPrivacidadUso OfflineModelo de Lenguaje (LLM)ClaudeGPTGemini

Características principales

Todo el procesamiento se ejecuta completamente en tu navegador. Ningún texto que pegues, documento subido o contenido de imagen abandona tu dispositivo local en ningún momento. Únicamente los metadatos públicos de los modelos se pueden actualizar de forma remota para las actualizaciones de precios.

Los tipos de entrada compatibles incluyen texto plano, archivos de código (JavaScript, TypeScript, Python, Go, Rust, Java, C/C++, HTML, CSS, XML, YAML, TOML, SQL, shell), archivos de datos (CSV, JSON), PDF basados en texto, DOCX y formatos de imagen rasterizada (PNG, JPEG, WebP, GIF). El tamaño máximo de cada archivo por subida es de 12 MB. Los PDFs escaneados se rechazan automáticamente para evitar devolver resultados de conteo de tokens bajos que no se ajusten a la realidad.

El programa es compatible con 35 modelos actuales de 9 proveedores principales de LLM: OpenAI, Anthropic, Google, DeepSeek, Qwen, Moonshot Kimi, xAI Grok, Z.ai GLM y Meta. Muestra el conteo de tokens de entrada, el estado de ajuste en la ventana de contexto y el costo estimado de entrada para cada modelo.

Metodología de cálculo

Los conteos de tokens de OpenAI usan la tokenización BPE o200k_base local exacta para alcanzar un 100% de precisión. Los conteos de tokens de Claude, Gemini y DeepSeek usan proyecciones de tokens UTF-8 deterministas calibradas por el proveedor, y los resultados se marcan explícitamente como proyectados en lugar de exactos. Los cálculos de tokens de imagen siguen las reglas de tokens visuales publicadas por cada proveedor, incluidos los parámetros de parches, teselas y capacidad de detalle. El programa nunca genera una estimación inventada para un modelo que no tenga reglas de tokens de imagen documentadas de forma pública.

Los datos de precios se actualizan desde el registro público de Models.dev, y cuenta con un respaldo sin conexión integrado para usarse cuando no hay conexión de red. Todas las tarifas listadas incluyen elementos separados para tokens de entrada estándar, tokens de entrada en caché con descuento y tokens de salida por cada millón de unidades.

Workflows compatibles

Planificación de ingesta de bases de conocimiento

Sube un PDF basado en texto, combínalo con instrucciones de Prompt Engineering y compara el ajuste total de contexto de la carga y el costo de entrada entre todos los proveedores antes de procesar el conjunto completo de documentos para sistemas RAG.

Presupuesto de solicitudes de visión

Combina una imagen con el texto del prompt adjunto, luego calcula la huella total de tokens y el costo estimado para solicitudes multimodales en todos los modelos de visión compatibles.

Estimación de revisión de repositorios de código

Adjunta varios archivos de código, configuración y documentación como una sola carga de trabajo para encontrar modelos que tengan suficiente capacidad de ventana de contexto para procesar el fragmento completo de la base de código en una sola solicitud.

Comparación de procesamiento por lotes de datos

Combina datos CSV estructurados con instrucciones de procesamiento para comparar el costo por solicitud entre proveedores para cargas de trabajo de procesamiento por lotes recurrentes, para seleccionar la opción de menor costo que cumpla con tus requisitos de rendimiento.

Limitaciones

Los PDFs no textuales escaneados no son compatibles y requieren OCR externo para extraer texto legible antes de realizar el conteo. El programa devuelve estimaciones para conteos de tokens de texto que no pertenecen a OpenAI y valores de tokens de imagen, que pueden diferir ligeramente de los conteos devueltos directamente por las APIs de los proveedores, debido a los envoltorios de procesamiento interno de los proveedores y los tokens de sistema ocultos. La facturación final de cada proveedor de LLM sigue siendo la fuente autorizada de los costos reales.

Comentarios

Comentarios

Aún no hay comentarios. ¡Sé el primero en compartir tu opinión!