Falcon, inteligencia artificial de código abierto les planta cara a modelos de lenguaje de código cerrado como LLaMA

En el campo de la inteligencia artificial de código abierto, ha aparecido un competidor prometedor que tiene el potencial de transformar el panorama de los modelos de lenguaje a gran escala. Falcon, creado por el Instituto de Innovación Tecnológica (TII) en Abu Dhabi, Emiratos Árabes Unidos, ha llegado con fuerza.

Inteligencia Artificial de código abierto

Gracias a su rendimiento sobresaliente y a una licencia modificada de Apache que permite su personalización y uso con fines comerciales, Falcon se sitúa en la cima en esta nueva era de la inteligencia artificial de código abierto.

Falcon ha demostrado un rendimiento excepcional en comparación con su competencia. Las variantes Falcon 1B, 7B y 40B han superado en rendimiento a su predecesor, LLaMA de Meta. Según el Instituto de Innovación Tecnológica (TII), FalconLM es actualmente el modelo de lenguaje de código abierto más potente disponible.

Es importante destacar la variante Falcon 40B, que cuenta con 40 mil millones de parámetros, aunque sea relativamente más pequeña que LLaMA, que tiene 65 mil millones de parámetros.

Faisal Al Bannai, secretario general del Consejo de Investigación de Tecnología Avanzada (ATRC), señala que el lanzamiento de Falcon marcará un antes y un después en el acceso a los modelos de lenguaje a gran escala, brindando a investigadores y emprendedores la oportunidad de desarrollar casos de uso aún más innovadores.

Falcon bien rankeada en benchmarks

Encabezando las listas de rendimiento, dos variantes de FalconLM, Falcon 40B Instruct y Falcon 40B, se sitúan en la cima del ranking de modelos de lenguaje de código abierto en Hugging Face. En tercer lugar, se encuentra LLaMA de Meta. Hugging Face evalúa el rendimiento de los modelos en base a cuatro benchmarks populares: AI2 Reasoning Challenge, HellaSwag, MMLU y TruthfulQA.

Aunque el artículo científico sobre Falcon aún no ha sido publicado, se sabe que el modelo Falcon 40B ha sido sometido a un entrenamiento exhaustivo utilizando un vasto conjunto de datos compuesto por 1 billón de tokens extraídos del dataset “refined-web”.

Este conjunto de datos ha pasado por un riguroso proceso de filtrado y eliminación de duplicados para asegurar su calidad y relevancia. Es importante destacar que la calidad de los datos de entrenamiento es crucial para los modelos de lenguaje, por lo que se ha dedicado un esfuerzo considerable en la creación de una eficiente tubería de datos capaz de procesar decenas de miles de núcleos de CPU.

IA “políglota”

Los modelos Falcon destacan por sus capacidades multilingües. Además del inglés, tienen conocimiento en alemán, español y francés, y también poseen habilidades limitadas en otros idiomas europeos como neerlandés, italiano, rumano, portugués, checo, polaco y sueco.

Un aspecto notable de Falcon es su licencia modificada de Apache, que permite el ajuste fino y el uso comercial de los modelos. Esto contrasta con LLaMA, cuyos pesos nunca fueron de código abierto y su uso comercial estaba restringido.

El impulso de la inteligencia artificial de código abierto ha tenido un impacto significativo en el campo. La IA de código abierto fomenta la colaboración, la transparencia y la innovación, y los modelos de código abierto, como Falcon, juegan un papel fundamental en este proceso. Estos modelos permiten una mayor colaboración y el intercambio de conocimientos, lo que acelera el progreso y la innovación en el campo de la inteligencia artificial.