Mi Entorno Local para Pruebas de IA con LLMs

¡Hola a todos! Chema aquí. Hacía tiempo que no escribía, pero hoy vuelvo para compartir con ustedes detalles sobre mi entorno local para pruebas de IA con LLMs.

Mi Equipo

Mi equipo consta de un Intel Core i7 con 64 GB DDR5 y dos GPUs nVidia RTX 3090 Ti. Con un total de 48 GB de VRAM, este setup me permite correr en local una gran cantidad de modelos LLM cuantificados.

Sobre las nVidia RTX 3090 Ti

Las nVidia RTX 3090 Ti son unas GPUs de alto rendimiento diseñadas para computación gráfica y de propósito general. Cuentan con 24 GB de VRAM cada una, permitiendo la ejecución simultánea de múltiples procesos de IA, incluso los que requieren grandes cantidades de memoria.

Además, las RTX 3090 Ti soportan NVIDIA DLSS, una tecnología de renderizado AI que aumenta la velocidad de fotogramas y genera imágenes de hermosa calidad. Esto las convierte en una excelente opción para cualquier profesional o entusiasta de la IA.

Modelos LLM Cuantificados y Finetunning con QLoRa

Entre los modelos que suelo probar se encuentran Mixtral, Llama 3 y el nuevo Codestral, que es absolutamente increíble para el desarrollo de código.

Además, este entorno me permite hacer finetunning utilizando la técnica de QLoRa. Esta técnica se basa en la cuantización y el aprendizaje de tasas de aprendizaje para refinar los modelos LLM. Suele proporcionar excelentes resultados, especialmente en términos de eficiencia y rendimiento.

Gracias a este robusto entorno local, tengo la capacidad de realizar pruebas y experimentos con múltiples modelos de manera eficiente y efectiva. Esto me permite desarrollar y optimizar modelos de manera más rápida y segura. ¡Hasta la próxima!