Guías, comparativas y novedades sobre herramientas de IA

Las agent evals son el proceso de medir sistemáticamente si un agente —uno que usa herramientas y da múltiples pasos para alcanzar un objetivo— puede realmente cumplir sus tareas. Son una evolución de las LLM evals, que amplía el objetivo de "una salida" a "una secuencia de acciones". Como un agente planifica, llama a herramientas y actualiza el estado, la salida final por sí sola no basta; Google señala que hay que entender el "por qué" detrás de las acciones de un agente y divide la evaluación en respuesta final y trajectory. Las cinco dimensiones son: resultado (éxito de la tarea, juzgado por el estado final —si existe una reserva en la DB, no la frase "lo reservé"), trajectory (pasos razonables, herramientas correctas en el orden correcto), corrección en el uso de herramientas (herramienta y argumentos correctos, comprobando nombres de función y tipos), eficiencia (pasos, tokens, coste, latencia —a menudo señales de observabilidad llevadas a la evaluación) y calidad de la respuesta final (via LLM-as-judge o una rúbrica). Los evaluadores son código (rápido/barato/reproducible pero frágil), LLM-as-judge (flexible pero no determinista y necesita calibración) y humano (estándar de oro pero caro —evítalo si es posible). Anthropic recomienda puntuar el resultado, no el camino: el emparejamiento mecánico de trajectory es "demasiado rígido y frágil" porque los agentes encuentran alternativas válidas, mientras que Google y Microsoft ofrecen métricas de coincidencia de trajectory para diagnosticar fallos. Los escollos exclusivos son el no determinismo (pass^k), los errores que se acumulan (p^t), el reward hacking (el brazo robótico de DeepMind fingiendo un agarre) y los conjuntos de eval obsoletos o contaminados. La jugada práctica, según Anthropic: convertir 20-50 fallos de producción en casos de prueba, ejecutar puntuación automatizada en CI, separar capability y regression evals, y escribirlas pronto. Benchmarks como SWE-bench, tau-bench, WebArena, GAIA, OSWorld y BFCL son referencias útiles (las puntuaciones cambian según la versión, así que no las tomes al pie de la letra). Basado en información oficial, con las incertidumbres señaladas.

Los hooks de Claude Code son comandos de shell definidos por el usuario que se ejecutan automáticamente en puntos concretos del ciclo de vida de Claude Code, haciendo que el "esto siempre debe ocurrir" sea real y determinista sin depender del criterio del LLM. Los eventos clásicos son nueve —SessionStart, UserPromptSubmit, PreToolUse, PostToolUse, Notification, Stop, SubagentStop, SessionEnd, PreCompact—, de los cuales PreToolUse y otros pueden bloquear (deteniendo ediciones a archivos protegidos o comandos peligrosos). Se configuran en settings.json bajo la clave "hooks" como nombre de evento -> matcher -> type + command. El contrato de E/S: un hook recibe JSON en stdin (session_id, tool_input, etc.) y devuelve mediante el código de salida 0 (éxito) / 2 (bloquear, con stderr devuelto a Claude) o JSON estructurado (continue, decision:block, permissionDecision: deny/allow/ask). El principio clave es "los hooks pueden endurecer pero no relajar las restricciones" (deny siempre gana, bloquea incluso bajo bypassPermissions; un mod de plugin puede anularlo en algunos casos). Casos de uso clásicos: formateo automático tras editar (PostToolUse + Edit|Write), proteger archivos críticos, detener comandos peligrosos, reinyectar contexto (SessionStart), notificaciones/registro de auditoría y probar antes de detenerse (Stop). Sobre seguridad, los hooks ejecutan comandos de shell arbitrarios con tus privilegios, así que configura solo los de confianza y valida/entrecomilla las entradas; en las sesiones interactivas, los hooks de los archivos de configuración no se ejecutan hasta que confías en la carpeta (una función de seguridad), y los cambios directos en esos archivos normalmente se aplican solos. Con base en la documentación oficial, anclado en los nueve eventos clásicos y el contrato de E/S.

El checkpointing y /rewind son una red de seguridad: Claude Code rastrea automáticamente las ediciones de archivos de Claude mientras trabajas, para que puedas volver a "antes de que saliera mal" con unas pocas pulsaciones. Se toma una instantánea antes de cada edición, cada prompt que envías se convierte en un punto de restauración, y los checkpoints persisten entre sesiones. Para usarlo, escribe /rewind o pulsa Esc dos veces cuando la entrada está vacía para abrir el menú, luego elige un punto y selecciona Restaurar código y conversación / Restaurar conversación / Restaurar código (nota: si la entrada tiene texto, Esc dos veces la borra en su lugar). La advertencia más importante: solo se restauran los cambios hechos por las herramientas de edición de Claude (Write/Edit/NotebookEdit) — los cambios de archivos por comandos bash (rm/mv/cp), los cambios fuera de la sesión o de otras sesiones, las ediciones de subagentes, los archivos con enlaces simbólicos o duros y el estado de la base de datos NO se deshacen al hacer rewind. La documentación describe los checkpoints como "diseñados para una recuperación rápida a nivel de sesión" y pide seguir usando un control de versiones como Git para el historial permanente y la colaboración, por lo que hacer commit en Git en los hitos es la regla. /rewind es también la recuperación para el error 400 ligado a la concurrencia de tool-use y los bloques de pensamiento (el propio producto te pide ejecutarlo), aunque las versiones anteriores a v2.1.156 pueden no eliminarlo, así que claude update va primero. Está activado por defecto en la CLI interactiva, es opcional en el Agent SDK y se retiene con las sesiones durante 30 días (configurable). Basado en la documentación oficial, con las incertidumbres señaladas.

Claude Managed Agents se lanzó como beta pública el 8 de abril de 2026 como un conjunto de APIs componibles para crear y desplegar agentes alojados en la nube a gran escala. En lugar de construir tu propio bucle de agente, ejecución de herramientas y runtime, obtienes un entorno totalmente gestionado donde Claude puede leer archivos, ejecutar comandos, navegar por la web y ejecutar código de forma segura, con prompt caching, compactación de contexto, sandboxing y persistencia de estado integrados. Se organiza en torno a cuatro conceptos (Agent, Environment, Session, Events), y el Environment puede ser un sandbox en la nube gestionado por Anthropic o uno autoalojado. La diferencia con el Agent SDK autoalojado (donde tú ejecutas el bucle, las herramientas y la infraestructura) es "lo ejecutas tú vs. lo ejecuta Anthropic": no competidores, sino una elección sobre cuánto de la operación retienes. Una característica distintiva es la memoria persistente con alcance de workspace (un memory store) montada en el sandbox en /mnt/memory, que el agente lee y escribe con operaciones de archivo normales y que persiste entre sesiones (versiones inmutables, versiones anteriores guardadas 30 días y las recientes siempre, límites como 100 kB por memoria). El dreaming es un trabajo asíncrono que lee la memoria existente y transcripciones anteriores para producir un memory store reorganizado: fusiona duplicados, actualiza valores obsoletos y pone de relieve nuevas observaciones (una vista previa de investigación que requiere acceso; el anuncio de Anthropic lo llama "programado", pero la documentación de la API describe un trabajo asíncrono que tú creas y consultas). También tiene evaluación basada en resultados (un evaluador independiente evalúa frente a tu rúbrica; hasta 10 puntos de mejora en pruebas de la propia Anthropic) y orquestación multiagente. El precio es tokens + $0.08 por hora de sesión (medido al milisegundo, solo mientras se ejecuta; alrededor de $0.705 para una sesión de 1 hora en el ejemplo de Anthropic con tarifas de Claude Opus 5). Activado por defecto para todas las cuentas de API, pero con estado, por lo que no es elegible para ZDR ni para un HIPAA BAA. Con base en información oficial, con las incertidumbres señaladas.

Los plugins de Claude Code agrupan skills, subagentes, hooks, configuración MCP y otras extensiones para distribuirlas. Un marketplace es un catálogo que indica dónde obtenerlas. Este artículo explica los catálogos oficial y comunitario, el registro, la instalación y la habilitación; después muestra cómo crear una skill, validar su plugin y catálogo y distribuirlos mediante Git con una estructura de directorios coherente. También aborda los ámbitos de instalación, las condiciones de actualización según la versión y lo que una revisión de seguridad no garantiza.

Claude Code tiene dos mecanismos parecidos pero distintos para repartir el trabajo entre varias IA: subagents y Agent Teams. Los subagents son una función integrada que delega tareas acotadas y devuelve solo un resumen; los Agent Teams son experimentales y están desactivados por defecto. Aclaramos la diferencia decisiva y cuál usar.

Claude Design permite crear UI, prototipos y one-pagers mediante conversación, y desde el 16 de septiembre de 2026 funciona dentro de cualquier conversación. La renovación de junio de 2026 añadió la importación de sistemas de diseño y el ir y venir con Claude Code: /design-sync lleva el sistema de diseño de tu repo a Claude Design, y el traspaso a Claude Code y /design pasan los diseños al código. Repasamos qué cambió, su disponibilidad (fuera de la beta desde el 8 de octubre de 2026 y en todos los planes, incluido el gratuito; claude.ai/design cierra el 14 de diciembre de 2026) y por qué reduce el ida y vuelta entre diseñadores y desarrolladores.

El 18 de junio de 2026, Anthropic anunció Claude Code Artifacts, una función que convierte una sesión de programación en la terminal en una página web viva que tu equipo puede compartir. En lugar de volcar sin fin git diff y registros como texto, Claude Code publica un recorrido anotado de un PR, un panel que se actualiza solo, una cronología de incidentes o una lista de verificación que se marca sola, como una página en una URL privada de claude.ai. Este artículo explica qué es, en qué se diferencia de los Artifacts tipo canvas de claude.ai de 2024 (se origina en la sesión, se actualiza solo, es privado por defecto), cómo usarlo (sin comando /artifact: se pide en lenguaje natural; Claude escribe un .html, lo publica y muestra la URL; Share permite compartir en la organización o con un enlace público), sus límites (una captura del trabajo: sin backend, una CSP estricta limita las solicitudes externas, una sola página, 16 MiB como máximo) y su disponibilidad (Pro/Max/Team/Enterprise, inicio de sesión con /login obligatorio, solo la API de Anthropic), según la documentación oficial.

Los errores de autenticación de Claude Code (Not logged in, Invalid API key, organization disabled, OAuth token expired) son en su mayoría 401/403 por credenciales. La causa más frecuente es que la variable de entorno ANTHROPIC_API_KEY anula silenciosamente tu suscripción Pro/Max. Aprende a diagnosticarlo con /status y a corregirlo con un flujo de pasos claro.

Instalaste Claude Code pero al escribir claude sale «command not found»: casi siempre la carpeta de instalación no está en el PATH. Cubrimos cómo arreglar el PATH, evitar el EACCES de npm, resolver conflictos entre instalaciones y las trampas de Windows, además del flujo de diagnóstico con claude doctor.

Los errores "Can't reach the API server", "Connection refused", "SSL certificate verification failed" y fetch failed de Claude Code significan que la solicitud nunca llegó al servidor de Anthropic; antes de la v2.1.227 se mostraban como "Unable to connect to API (ECONNREFUSED)". Se explica qué significa cada mensaje actual, el cierre en la configuración inicial con "Unable to connect to Anthropic services", el aviso "Streaming response ended before any complete data was received" cuando un proxy altera la respuesta, y cómo configurar HTTPS_PROXY, NODE_EXTRA_CA_CERTS y los dominios a permitir, con un flujo de diagnóstico que empieza por curl.

¿Te ha detenido en Claude Code un "API Error: 529 Overloaded" o un "500 Internal server error"? Son eventos del lado del servidor: la API de Anthropic está saturada o tuvo un error interno, no es culpa tuya y no consumen cuota. Te explicamos el reintento automático, qué puedes hacer y cómo distinguirlo del 429 y del usage limit.