Lo que cambió en el sustrato de optimización de preferencias durante el Q2 2026
El pipeline canónico de post-entrenamiento que cada laboratorio importante está corriendo en 2026 es pre-entrenamiento → SFT → optimización de preferencias → RLVR-para-razonamiento, y dentro de ese pipeline la etapa de optimización de preferencias dejó de tener RLHF por defecto y empezó a tener DPO por defecto. El patrón no es una preferencia académica — es una reducción del 40-75% en costo de cómputo contra el mismo objetivo de alineación, un bucle de entrenamiento sustancialmente más estable (menos rescates de colapso PPO por corrida de entrenamiento), y una ruta de entrenamiento de un-solo-modelo en lugar del triple RLHF (modelo política + modelo de recompensa + modelo de referencia). Para mediados de 2026 el cambio deja de parecer una tendencia de investigación y empieza a parecer el default que un laboratorio de tamaño medio adopta cuando se lanza un nuevo fine-tune.
Las lecturas operativamente importantes para el comprador de entrenamiento-de-IA:
- El delta de costo de cómputo es real y pone precio contra un presupuesto de datos diferente, no uno más pequeño. DPO reduce la mitad de cómputo del presupuesto de alineación en 40-75% contra el mismo objetivo de preferencias. No reduce la mitad de datos del presupuesto por el mismo factor. DPO todavía consume un dataset de pares-de-preferencia (completions elegidos versus rechazados), el dataset todavía tiene que ser calificado por humanos que puedan distinguir calidad de preferencia sobre la carga de trabajo, y la tarifa por comparación que carga el etiquetador no se ha movido con el delta de costo de cómputo. El comprador cuyo presupuesto de alineación de FY27 fue escrito contra la línea de cómputo RLHF está sobrestimando la línea de cómputo y subestimando la línea de datos-de-preferencia contra el sustrato DPO.
- La mezcla de fuerza laboral se desplaza del ranking-de-preferencias RLHF a una mezcla más amplia de demostraciones SFT, escenarios red-team, y etiquetas de eval. La fuerza laboral RLHF gastaba la mayor parte de su presupuesto en labor de ranking comparativo (dados dos completions, ¿cuál es mejor?) con una cuña más pequeña en demostraciones y escritura de escenarios de seguridad. El sustrato DPO mantiene el ranking comparativo en la mezcla de fuerza laboral pero encoge la cuña, mientras que el patrón SFT-primer-80% que cada laboratorio está corriendo contra DPO hace crecer la cuña de escritura-de-demostraciones y salida-estructurada. El contrato de fuerza laboral que se firmó contra una mezcla de 60% ranking-RLHF / 20% demostración-SFT / 20% seguridad está subvalorado contra la forma que el pipeline de FY27 realmente consume.
- El delta de estabilidad sobre el bucle de entrenamiento abre la cadencia de corrida de alineación de trimestral a escala de sprint. Las corridas RLHF basadas en PPO cargan el impuesto operativo de corridas de rescate-de-colapso, calibración de modelo-de-recompensa por corrida, y búsqueda de hiperparámetros por corrida que la mayoría de laboratorios empresariales pagaron limitando la corrida de alineación a una cadencia trimestral. Las corridas DPO corren contra un dataset de preferencias offline estático con un bucle de entrenamiento de un-solo-modelo, convergen de forma más estable, y ponen precio contra una cadencia a escala de sprint que el bucle RLHF no podía sostener. La cadencia de corrida de alineación es el artefacto contra el que la envolvente de tono-y-seguridad de la característica cara-al-cliente califica; una cadencia a escala de sprint superficie la deriva de preferencias por ciclo que la cadencia trimestral enterraba bajo el ciclo de release.
La lectura estructural no es DPO reemplaza a RLHF. Es que el sustrato de optimización de preferencias es ahora un menú — DPO para el bucle de alineación de preferencias por defecto, RLHF-PPO para las cargas de trabajo cuya señal de recompensa es no-trivialmente online, RLVR para la superficie de razonamiento con recompensa verificable — el presupuesto de fuerza laboral se desplaza contra el menú, y el plan de alineación de FY27 que se escribió contra la suposición de sustrato-RLHF-único está subvalorado contra cada eje que el menú introduce.
Lo que el sustrato DPO cambia sobre el contrato de fuerza laboral de entrenamiento-de-IA
El listón de calidad por comparación sube cuando el sustrato deja de tolerar ruido. RLHF-PPO toleraba un piso de ruido más amplio sobre la tarea de etiquetado-de-preferencias porque el modelo de recompensa promediaba a través de la señal ruidosa y el bucle de muestreo on-policy mantenía fresca la señal de entrenamiento. DPO califica contra el dataset de preferencias como un artefacto estático — el piso de ruido del dataset es el piso de ruido de la señal de entrenamiento. El contrato de fuerza laboral cuya criba por etiquetador fue calibrada contra el presupuesto de ruido RLHF está sub-cribando contra el presupuesto DPO; el costo de re-trabajo de calibración dentro del contrato de fuerza laboral es el costo que el comprador de entrenamiento-de-IA subestimó cuando el sustrato cambió.
El esquema de dataset de pares-de-preferencia necesita una superficie de metadatos por carga-de-trabajo de primer nivel, no un default por instrucción. La salida de ranking-comparativo que la fuerza laboral RLHF lanzaba era un par elegido / rechazado por instrucción. El sustrato DPO carga una señal más fuerte contra metadatos por par — la clase de carga de trabajo, la forma del prompt, la persona de audiencia, el tag de envolvente-de-seguridad, la clase de experticia-de-dominio del etiquetador. El contrato de fuerza laboral que lanza pares de preferencia sin la superficie de metadatos por par deja el presupuesto de alineación por clase-de-carga-de-trabajo sub-instrumentado; la superficie de metadatos es lo que hace la corrida DPO calificable por clase-de-carga-de-trabajo, y la calificabilidad es la entrada a la cadencia a escala de sprint que el sustrato habilita.
La cuña de experto-de-dominio dentro del contrato de fuerza laboral crece contra la forma que el pipeline de FY27 consume. El patrón SFT-primer-80% hace crecer la cuña de escritura-de-demostraciones, y la cuña de escritura-de-demostraciones califica contra la profundidad de experticia por dominio del etiquetador. Los pools de etiquetadores generalistas producen demostraciones al piso de ruido que la etapa SFT no puede exceder; los pools de etiquetadores expertos-de-dominio producen demostraciones al techo que el plan de alineación de FY27 necesita. El contrato de fuerza laboral que califica contra la tarifa por hora por etiquetador sin credencial de experticia por dominio está calificando la línea de fuerza laboral contra la forma de la era RLHF, no contra la forma de la era DPO.
La cuña de escenario red-team es la clase de carga de trabajo donde el menú de sustrato aparece más nítidamente. La escritura de escenarios red-team es la clase de carga de trabajo donde el sustrato de alineación cambia más a menudo entre DPO (para envolvente de tono y rechazo), RLHF-PPO (para escenarios cuya señal de recompensa tiene que medirse contra una salida de modelo en vivo), y revisión manual (para escenarios cuya envolvente de seguridad requiere una decisión humana sobre cada salida). El contrato de fuerza laboral que codifica la cuña de escenario red-team como una única línea de labor subvalora la decisión de menú-de-sustrato que el comprador de entrenamiento-de-IA toma sobre la base carga-de-trabajo-por-carga-de-trabajo.
Cómo se ve el mapa de diligencia del comprador-de-entrenamiento-de-IA contra el sustrato DPO
El mapa de diligencia del plan de alineación de FY27 tiene cuatro líneas que el menú de sustrato cambia.
El menú de sustrato de alineación por clase-de-carga-de-trabajo es el artefacto de primer nivel, no la suposición de sustrato-por-defecto. Para cada superficie de alineación que el equipo lanza — tono de atención al cliente, envolvente de rechazo del agente-de-código, conformidad de esquema de extracción estructurada, envolvente de seguridad de chatbot — el mapa codifica qué sustrato (DPO / RLHF-PPO / RLVR / revisión manual) la clase-de-carga-de-trabajo califica contra, por qué ese sustrato es la elección honesta para la forma de la señal-de-recompensa de la carga de trabajo, y cuál es el sustrato de fallback cuando la convergencia del sustrato primario se estanca. El artefacto es una tabla por clase-de-carga-de-trabajo, no un default de familia-de-sustrato.
El listón de calidad de datos-de-preferencia por clase-de-carga-de-trabajo califica contra el menú de sustrato. La señal más fuerte de DPO contra un dataset offline estático sube el listón de criba por etiquetador, la superficie de metadatos por par, y el umbral de acuerdo-entre-anotadores por par que el contrato de fuerza laboral tiene que hacer cumplir. El mapa codifica el listón de calidad por clase-de-carga-de-trabajo como una entrada al contrato de fuerza laboral, no como un default derivado de la calibración de línea base del pool de etiquetadores.
La cadencia de corrida de alineación por clase-de-carga-de-trabajo califica contra la envolvente de tono-y-seguridad de la característica cara-al-cliente. La cadencia a escala de sprint de DPO es una capacidad, no un mandato — algunas clases de carga de trabajo cargan una envolvente de preferencias que deriva en una cadencia mensual y califica contra la re-corrida a escala de sprint; otras clases de carga de trabajo cargan una envolvente de preferencias que deriva en una cadencia trimestral y califica contra la re-corrida trimestral. El mapa codifica la cadencia por clase-de-carga-de-trabajo contra la superficie cara-al-cliente, no contra el default de familia-de-sustrato.
La mezcla de cuñas del contrato-de-fuerza-laboral por clase-de-carga-de-trabajo califica contra el menú de sustrato y la cadencia. El contrato de fuerza laboral carga una cuña por clase-de-carga-de-trabajo para ranking-de-preferencias RLHF, escritura de pares-de-preferencia DPO, escritura de demostraciones SFT, escritura de escenarios red-team, y revisión manual de seguridad. La mezcla de cuñas por clase-de-carga-de-trabajo es lo que codifica la línea de fuerza laboral contra el presupuesto del plan de alineación de FY27; la mezcla de cuñas escrita contra la suposición de sustrato-único de la era RLHF está subvalorada contra cada sustrato que el menú introduce.
Dónde el sustrato DPO es señal y dónde es ruido
Señal: DPO es el sustrato por defecto de optimización de preferencias para la mayoría de las cargas de trabajo de alineación empresarial, y el plan de alineación de FY27 debería calificar contra él como el sustrato primario. El delta de costo de cómputo, el delta de estabilidad, y la ruta de entrenamiento de un-solo-modelo son propiedades duraderas del sustrato, no un artefacto transitorio de tuning. El equipo cuyo plan de FY27 por defecto va a RLHF-PPO está sub-consumiendo el menú de sustrato contra la cadencia de alineación de la característica cara-al-cliente.
Señal: el dataset de pares-de-preferencia es el activo portante que el cambio de sustrato no obvia. La caída del costo de cómputo no se traduce en una caída del costo de datos; la señal más fuerte del sustrato DPO contra un dataset estático sube el listón de calidad por etiquetador y desplaza la cuña por etiquetador del contrato de fuerza laboral contra el mapa de diligencia del comprador de entrenamiento-de-IA.
Ruido: DPO hace obsoleto el presupuesto de fuerza laboral RLHF es la lectura equivocada. El presupuesto de fuerza laboral de la era RLHF no se perdió; se movió. La cuña de ranking-de-preferencias encoge, la cuña de demostración experto-de-dominio crece, la cuña de escenario red-team se mantiene plana, y la cuña de revisión manual de seguridad crece contra el menú de sustrato. El comprador que lee el cambio de sustrato como un recorte de presupuesto-de-fuerza-laboral está subvalorando el plan de alineación de FY27 contra la mezcla de cuñas que el menú de sustrato introduce.
Ruido: DPO es una alternativa de investigación y RLHF sigue siendo el default de producción subestima el cambio de sustrato de mediados de 2026. Cada laboratorio importante está corriendo DPO como la etapa por defecto de optimización de preferencias en el pipeline 2026. El comprador empresarial cuyo pitch deck del proveedor sigue liderando con RLHF está comprando contra un sustrato que ya no es el default en los laboratorios cuyo pipeline el fine-tune del comprador hereda.
Lo que el equipo de entrenamiento-de-IA debería hacer en las próximas cuatro semanas
Lanzar el menú de sustrato-de-alineación por clase-de-carga-de-trabajo contra el plan de alineación de FY27. Para cada superficie de alineación que el equipo posee, codificar el sustrato (DPO / RLHF-PPO / RLVR / revisión manual) contra el que la clase-de-carga-de-trabajo califica, el sustrato de fallback en estancamiento de convergencia, y la cadencia de corrida de alineación por clase-de-carga-de-trabajo contra la envolvente de tono-y-seguridad de la característica cara-al-cliente.
Re-calificar la mezcla de cuñas del contrato-de-fuerza-laboral contra el sustrato DPO. La mezcla de cuñas escrita contra la suposición de sustrato-único de la era RLHF necesita la re-calificación por clase-de-carga-de-trabajo: la cuña de ranking-de-preferencias RLHF encoge, la cuña de demostración-SFT experto-de-dominio crece, la cuña de escenario red-team se mantiene plana, la cuña de revisión manual de seguridad crece. La mezcla de cuñas re-calificada es la entrada a la negociación del contrato de fuerza laboral de FY27.
Instrumentar el esquema del dataset de pares-de-preferencia con la superficie de metadatos por par contra la que califica la señal de DPO. La clase de carga de trabajo, la forma del prompt, la persona de audiencia, el tag de envolvente-de-seguridad, y la clase de experticia-de-dominio del etiquetador son las columnas de metadatos de primer nivel que el esquema carga. El esquema es lo que hace la corrida DPO calificable por clase-de-carga-de-trabajo; el esquema es lo que hace honesta la cadencia a escala de sprint.
Correr el shootout de sustrato-de-alineación por clase-de-carga-de-trabajo dentro de dos semanas. Para las tres clases-de-carga-de-trabajo tope contra las que el equipo lanza, correr DPO contra RLHF-PPO sobre el mismo dataset de pares-de-preferencia, medir el delta de convergencia por clase-de-carga-de-trabajo, el logro del objetivo-de-alineación por clase-de-carga-de-trabajo, el costo de cómputo por clase-de-carga-de-trabajo, y la envolvente de deriva post-corrida por clase-de-carga-de-trabajo. La salida es el menú de sustrato contra el que el plan de alineación de FY27 califica.
En SONNET CODE corremos el engagement de Entrenamiento de IA contra el sustrato de alineación por clase-de-carga-de-trabajo — esquemas de dataset de pares-de-preferencia con forma DPO con la superficie de metadatos por par, mezclas de cuñas de contrato-de-fuerza-laboral calificadas contra el menú de sustrato, cadencias de corrida de alineación por clase-de-carga-de-trabajo contra la envolvente de tono-y-seguridad de la característica cara-al-cliente, y shootouts de sustrato por clase-de-carga-de-trabajo dentro de un engagement de dos semanas. Si tu plan de alineación de FY27 está escrito contra la suposición de sustrato-RLHF-único, agenda una llamada — te llevamos por el artefacto de menú-de-sustrato que lanzamos en cuatro semanas.
