Orca 2: el modelo de lenguaje de Microsoft que desafía a los gigantes de la IA

OpenAI ha sufrido una reestructuración de su liderazgo que ha afectado al (ahora ex) CEO Sam Altman, al consejo de administración de la empresa y a Microsoft, su socio estratégico. Mientras tanto, el gigante tecnológico con sede en Redmond ha presentado «discretamente» sus nuevos modelos de lenguaje pequeño. Se trata de Orca 2, que podría ser la solución de Microsoft al creciente reto de la IA.

Orca 2 no solo habla, sino que también actúa. Ha logrado superar a modelos de su mismo tamaño y competir de igual a igual con modelos que son casi diez veces más grandes, especialmente en tareas complejas que requieren un razonamiento avanzado. Orca 2 está demostrando su valor.

Microsoft ofrece dos versiones de Orca 2, 7,000 y 13,000 millones de parámetros, ambas entrenadas en datos sintéticos especiales. Microsoft dice que está compartiendo los pesos con el público para «promover la investigación» de modelos de lenguaje más pequeños.

Puedes ver los gráficos a continuación para ver cómo se comporta Orca 2 en una variedad de pruebas en comparación con otros modelos de su mismo tamaño e incluso modelos que son de 5 a 10 veces más grandes.

«Los datos de entrenamiento se generaron de tal manera que le enseñan a Orca 2 varias técnicas de razonamiento, como el procesamiento paso a paso, recordar y luego generar, recordar-razonar-generar, extraer-generar y métodos de respuesta directa, al mismo tiempo que le enseña a elegir diferentes estrategias de solución para diferentes tareas», dice Microsoft en el anuncio oficial .