# AI Staff Engineer (Fever) — Resources Fuentes de primera mano para la misión. Prioridad absoluta a lo que escriben quienes construyen los sistemas, no a quienes los comentan. ## Knowledge ### Evals y análisis de error (el núcleo de la misión) - [Your AI Product Needs Evals — Hamel Husain](https://hamel.dev/blog/posts/evals/index.html) El texto fundacional del campo. Tesis: los productos de IA que fracasan comparten una causa raíz — no construyeron un sistema de evaluación, así que no podían iterar rápido. Define la jerarquía unit tests → LLM-as-judge → A/B, y el bucle evaluar→analizar→mejorar. **Úsalo para:** justificar por qué evals antes que features, y para el vocabulario que usarás en la entrevista. - [AI Evals for Engineers & PMs — Hamel Husain & Shreya Shankar (curso, Maven)](https://maven.com/parlance-labs/evals) El curso de referencia de la industria. Caro; el valor está en su material público derivado. **Úsalo para:** decidir si merece la pena pagar; su temario es un buen índice de lo que "profundidad de Staff" significa en evals. - [AI Evals for PMs — Aakash Gupta (resumen extenso)](https://www.news.aakashg.com/p/ai-evals) Destilación pública de la metodología de Hamel/Shankar: error analysis, open coding, axial coding, LLM-as-judge alineado con juicio experto. **Úsalo para:** el proceso paso a paso de análisis de error sin pagar el curso. ### Harness, agentes y context engineering (fuente primaria: Anthropic) - [Effective context engineering for AI agents — Anthropic Engineering (29 sep 2025)](https://www.anthropic.com/engineering/effective-context-engineering-for-ai-agents) Define *context engineering* como la evolución del prompt engineering: curar el conjunto óptimo de tokens durante la inferencia, no solo escribir buenos prompts. **Úsalo para:** el vocabulario exacto que Fever usa en la oferta ("context engineering"). - [Effective harnesses for long-running agents — Anthropic Engineering](https://www.anthropic.com/engineering/effective-harnesses-for-long-running-agents) Directamente sobre lo que Sergio construye. **Úsalo para:** contrastar tus decisiones de diseño en `developer-skills` con las de Anthropic, y detectar qué te falta (verificación, guardrails, recuperación de fallos). - [Writing effective tools for AI agents — Anthropic Engineering](https://www.anthropic.com/engineering/writing-tools-for-agents) Cómo diseñar las herramientas que el agente consume. **Úsalo para:** la parte de "tools" de la oferta; diseño de superficie de herramienta y su impacto en la tasa de éxito. - [Context engineering: memory, compaction, and tool clearing — Claude Cookbook](https://platform.claude.com/cookbook/tool-use-context-engineering-context-engineering-tools) Código ejecutable, no prosa. **Úsalo para:** implementar compaction y limpieza de herramientas en sesiones largas. ### Economía de inferencia - [Prompt caching — Claude Docs](https://platform.claude.com/docs/build-with-claude/prompt-caching) Fuente primaria de precios y semántica de caché (breakpoints, TTL, qué invalida la caché). **Úsalo para:** calcular el ahorro real de tu harness. No cites cifras de blogs: cita la doc. *(Nota: verificar en la doc oficial; las cifras de "hasta 90% de ahorro / 85% de latencia" circulan por blogs de terceros y hay que confirmarlas contra la fuente.)* ### Medición y adopción (la parte "Staff" de la oferta) - [Measuring developer productivity with the DX Core 4 — DX](https://getdx.com/research/measuring-developer-productivity-with-the-dx-core-4/) Framework que unifica DORA + SPACE + DevEx en cuatro dimensiones: velocidad, efectividad, calidad e impacto de negocio. Explícitamente diseñado para el problema "no sé si la IA me está dando productividad o deuda oculta". **Úsalo para:** la respuesta a *"¿cómo medirías el impacto de los agentes en un equipo?"* — que es LA pregunta de Staff en esta entrevista. - [What are DORA metrics? — DX (guía completa)](https://getdx.com/blog/dora-metrics/) Las cuatro métricas clásicas: deployment frequency, lead time for changes, change failure rate, time to restore. **Úsalo para:** tener los baselines correctos antes de introducir agentes. ### La oferta - [AI Staff Engineer — Fever Careers](https://careers.feverup.com/jobs/4912834101/ai-staff-engineer/) Reléela antes de cada lección. Es el brief del cliente. ## Wisdom (Communities) - **[Latent Space Discord / newsletter](https://www.latent.space/)** — la comunidad de referencia de "AI Engineers". Alta señal, gente que opera esto en producción. Úsala para: contrastar decisiones de arquitectura de agentes con gente que ya ha chocado con el mismo muro. - **[r/LocalLLaMA](https://reddit.com/r/LocalLLaMA)** — pese al nombre, es el foro más técnico y menos hypeado sobre inferencia y economía de modelos. Úsalo para: costes, routing, benchmarks reales. - **Publicar es la comunidad.** La oferta pide explícitamente *"public contributions (open source, talks, blog posts) on agent harnesses or AI tooling"* como nice-to-have. Para Sergio, escribir un post sobre el análisis de error de su propio harness **es simultáneamente el ejercicio de aprendizaje y la evidencia de candidatura**. La retroalimentación de HN / Reddit / Twitter sobre ese post es la sabiduría real. - **Meetups en España:** buscar grupos locales de AI Engineering (Madrid/Barcelona) para dar una charla corta sobre `developer-skills`. Una charla grabada vale más que diez líneas de CV. *(Pendiente: identificar meetups concretos y activos.)* ## Gaps - **Fever por dentro.** No hay fuente pública sobre cómo Fever usa agentes internamente. Buscar: charlas de ingeniería de Fever, su blog técnico, perfiles de LinkedIn del equipo de AI & DevEx. Esto es investigación de candidatura, no de conocimiento. - **Cifras verificadas de prompt caching.** Todo lo encontrado hasta ahora sobre ahorros viene de blogs de vendors. Necesitamos la doc oficial de Anthropic y, mejor aún, **tus propios números medidos**. - **Evals específicos para agentes de código.** Hamel/Shankar cubren evals de apps LLM en general. Falta material de primera mano sobre evaluar agentes que escriben código (más allá de SWE-bench). Posible hueco de mercado para tu post.