Cuando hablamos de agentes de IA, a menudo pasamos por alto la opción del despliegue localizado. Para ser sincero, mi reciente experiencia de crear un agente de IA localmente con Gemma ha cambiado por completo mi opinión: resulta que se puede jugar con la IA sin depender de los servicios en la nube.A las 11 de la noche, esa misma noche, ejecuté realmente un asistente de IA en mi portátil que podía manejar datos sensibles, y fue una sensación mucho más realista que utilizar un servicio basado en la nube.

Control absoluto de la protección de la intimidad
Por si no lo sabías, el año pasado una organización de investigación médica redujo el riesgo de filtración de datos en 87% al utilizar un agente local de IA para procesar los datos de los pacientes, gracias a que los datos se procesaban localmente y no era necesario subirlos a la nube en absoluto. Yo mismo sé lo que es tratar con datos financieros: ver los datos dando vueltas en tu propio disco duro es una sensación de seguridad que los servicios basados en la nube no pueden darte.
Experiencias sorprendentes disponibles sin conexión
Recuerdo que una vez, en un avión, el ingeniero que estaba a mi lado estaba depurando código con IA local. Dijo que era un asistente de programación personalizado desarrollado por su equipo, y que funcionaba sin red. Más tarde lo probé y cargué un modelo con 7B parámetros utilizando LM Studio y funcionaba sin problemas en un MacBook con un chip M1, ¡y el tiempo de respuesta era realmente más rápido que algunos servicios basados en la nube!
Ajustar los costes a largo plazo
Al principio también creo que el despliegue local de gran inversión, pero después de calcular una cuenta de un cambio completo de punto de vista: para hacer frente a 1 millón de llamadas a la API, por ejemplo, el costo de los servicios en la nube durante tres años es suficiente para comprar dos estaciones de trabajo de gama alta. Por no hablar de que algunos modelos de código abierto, como Gemma3, ya se acercan a los niveles comerciales de rendimiento. ¡Ahora mi equipo va a dar la lógica de negocio principal para el procesamiento de IA local, sólo en la necesidad de ampliar la llamada a la nube, el ahorro de costes mensual suficiente para construir un grupo de tres veces!
Por supuesto, la IA local no es la panacea. El rendimiento del modelo está limitado por el hardware, y tienes que preocuparte tú mismo de las actualizaciones y el mantenimiento. Pero si valoras la soberanía de los datos, necesitas un servicio estable 24 horas al día, 7 días a la semana, o disfrutas como yo lanzando tecnología, los agentes locales de IA son sin duda una opción que merece la pena probar. Hace poco vi cómo un equipo optimizaba un modelo con 7B parámetros para ejecutarlo en Raspberry Pi, así que parece que la velocidad de desarrollo en este campo puede ser mucho mayor de lo que pensamos.
评论列表 (3条):
加载更多评论 Cargando...