OdySseus: y la odisea de correr un modelo bueno en una GPU de 8GB.
Hoy me di la tarea de abrir la red interna con la externa del LAB (tengo dos vlan que no conversaban por temas de seguridad, ninguna IP expuesta al exterior protegidas por un firewall de borde) para que acceda a mi GPU dedicada de mi desktop personal, para solo la gran idea de correr y tener mis preguntas mas intimas con un modelo de lenguaje el cual me pueda responder en LOCAL, ya me aburrí de consumir tokens en diferentes plataformas de IA, aun que debo decir que GEMINI free, me funciona super bien (con la consecuente de que sabe todo sobre mi y nunca recuerda nada).
Por ende me embarqué en la tarea de gestionar mi propio servidor de LLM, así poder codear y también poder preguntarle mis preguntas preguntonas a un modelo local y privado. Así conocí Odysseus de PewdiePie (si, el youtuber streamer exiliado en japón por el mismo, si).
https://github.com/pewdiepie-archdaemon/odysseus
Puedes tener tu chat interno, con memoria, con recordatorios sobre quien eres, sincronizar tu correo y poder hacer resúmenes del mismo, el cual almacenará en la memoria para hacer consultas en el futuro. Es un "super" ambiente de trabajo con IA integrada con chats, agentes, documentos, correos, notas, calendarios. Veré como me va en mi migración y además de eso, también ocuparé un modelo para poder programar (ahí estará un poco mas complicado por la vista de contexto de los chat) pero ajustando el mismo, no será tan dificil.
La infra es así:
Por ende, para conectarse debe primero pasar por el filtro del firewall de mi red interna. El cual fue el primer desafío.
El segundo fue compilar el modelo con mis especificaciones necesarias para ocupar la mayor parte de mi VGA sin ocupar toda la VRAM y dejar espacio, para eso bajamos el modelo:
gemma-4-12b-it-iq3_m.gg
Y lo compilamos en OLLAMA, luego nos quedo instalar en nuestro servidor docker la imagen de Odysseus y, vincular nuestro servidor OLLAMA a el mismo (además tb de configurar Visual Studio Code con el mismo para traer el modelo).
Silla.