Inteligencia Artificial

NVIDIA presentó su nueva tecnología basada en Inteligencia Artificial llamada: Avatar Cloud Engine (ACE).

Lo que básicamente hace esta tecnología es ''darle vida'' a los NPCs dentro de los videojuegos, con los cuales podrás entablar conversaciones (mediante tu micrófono) y el NPC te escuchará para darte una respuesta coherente y variada dentro del marco que el desarrollador se lo permita.

En este video podemos ver un ejemplo simple. Tu nombre es Kai (jugador) y el NPC se llama Jim. Kai le hace una cierta cantidad de preguntas simples a Jim mediante el micrófono y Jim (NPC) responde que no está muy contento porque su puesto de ramen está en una zona conflictiva, seguido de indicarte quién es el que está causando todo esto.

La conversación es fluida y entendible de ambas partes (jugador y computadora) y siempre llegan al fin planeado gracias a que se puso un límite que evita que el NPC salga de sus parámetros de roll. Esto para evitar que se le pregunten cosas indebidas, puesto que toda la información que la computadora te da está en la nube.
 
  • Me gusta
Reacciones: juliaco
Tengo una duda, cuantos de Uds pagan chatgpt plus? Yo llevo 4 meses, y creo que pago con más amor eso que cualquier otra suscripción
 
Tengo una duda, cuantos de Uds pagan chatgpt plus? Yo llevo 4 meses, y creo que pago con más amor eso que cualquier otra suscripción
Soy de los que no me gusta gastarme el $ para chatear con una IA los humanos se la pasan la gran parte del tiempo chateando, las IA solo están disponibles en un servidor para dar respuesta rápidas y complejas a cualquier inquietud o sugerencia. 🤷🏻‍♂️
 
Última edición:
Tengo una duda, cuantos de Uds pagan chatgpt plus? Yo llevo 4 meses, y creo que pago con más amor eso que cualquier otra suscripción

Yo uso ChatGPT Plus, Github Copilot (free) y Cody de Sourcegraph OSS (free).

ChatGPT lo uso para consultas con ejemplos, code reviews, generar test-cases y boilerplate de código repetitivo. Es como un "StackOverflow" + Github on steroids. En mi caso lo veo mas como un junior que sabe muchas cosas de memoria pero "evitativo" y "complaciente", siempre tiende a querer darte la razón (aún cuando no la tengas) y no discutir como lo haría una persona a tu lado.

Copilot es muy bueno autocompletando lineas de código individuales dandole un buen contexto (con el archivo actual y otros archivos relacionados abiertos). Aún le falta poder inferir automaticamente a partir del proyecto actual. Aunque es la herramienta menos poderosa de las que uso es probablemente la que mas trabajo me ahorra en el día a día mientras desarrollo.

Cody es el mejor para discutir, hacer consultas, pedir explicaciones y generar código a partir del contexto del proyecto, al usar un algoritmo parecido al PageRank para detectar archivos relevantes a la consulta y Claude de Anthropic con 100K tokens de contexto[1] (en contraste ChatGPT es ~4K y el default de GPT-4 via API es ~8K) es capaz de incluir mucho contexto dentro de los prompts para obtener muy buenas respuestas a las consultas.

Personalmente me parece que todas son útiles en lo que hacen.

[1] https://www.anthropic.com/index/100k-context-windows
 
Buenas, estoy intentando meterme a cacharrear con la IA como estudiante desarrollador de software y estoy buscando armar un PC que me sirva para practicar con ella de manera local.

De momento tengo:

Core i5 12400
64GB de RAM(32GB x 2)
1TB SSD M2 2280
DeskMeet B660 para la placa madre, case y PSU.


El plan a futuro es comprar una RTX 3060 con 12GB de VRAM y subir la RAM al máximo con otros 64GB.


Ahora me gusta escuchar consejo de qué debería priorizar los recursos primero: RAM o GPU?

Segundo está el almacenamiento. No me he decidido entre un disco duro de 12/14TB o un M2 de 4TB.

Que debería escoger para tomar la mejor decisión?



Por último, comentar que ya he cacharreando con Whisper en mi portátil con 32GB de RAM en el modelo alto y he aprendido a generar subtítulos de una película con la IA.

He buscado sobre GGML y no entiendo nada, alguna guía al respecto?


Gracias de antemano.
 
Buenas, estoy intentando meterme a cacharrear con la IA como estudiante desarrollador de software y estoy buscando armar un PC que me sirva para practicar con ella de manera local.

De momento tengo:

Core i5 12400
64GB de RAM(32GB x 2)
1TB SSD M2 2280
DeskMeet B660 para la placa madre, case y PSU.


El plan a futuro es comprar una RTX 3060 con 12GB de VRAM y subir la RAM al máximo con otros 64GB.


Ahora me gusta escuchar consejo de qué debería priorizar los recursos primero: RAM o GPU?

Segundo está el almacenamiento. No me he decidido entre un disco duro de 12/14TB o un M2 de 4TB.

Que debería escoger para tomar la mejor decisión?



Por último, comentar que ya he cacharreando con Whisper en mi portátil con 32GB de RAM en el modelo alto y he aprendido a generar subtítulos de una película con la IA.

He buscado sobre GGML y no entiendo nada, alguna guía al respecto?


Gracias de antemano.
¡Hola! Parece que ya tienes una configuración bastante sólida para empezar a trabajar con IA en tu PC. Actualmente trabajo como desarrollador RPA intentando meterme por los lados en IA y estudio una especialización en inteligencia artificial, quizás mis consejos te puedan ser de utilidad.

Si piensas probar con grandes modelos, ya sean de vision artificial, audio, LLM o en general cualquier modelo entrenado de un dataset muy grande o cualquier modelo de deep learning con pesos y sesgos de gran tamaño, la recomendación clara y estándar siempre va a ser la misma, primero una tarjeta de video teniendo en cuenta como prioridad el siguiente orden:

Nvidia > VRAM > nucleos cuda > nucleos tensor
Completamente descartado AMD por más que tenga ROCm y descartado intel, por más que también tengan intel extension for tensorflow o pytorch , lo seguro es Nvidia.

En cuanto a la memoria RAM, tener grandes cantidades solamente es util cuando tu ejecutas los modelos en CPU, osea haces inferencia de estos directamente en la CPU, que resumiéndolo es hacer uso directamente de un modelo, en este escenario, es válido tener un buen procesador y suficiente memoria RAM para cargar el modelo, pero su inferencia va a ser extremadamente lenta a comparación de cualquier GPU, pero claro es más barato comprar 32GB de memoria ram que una GPU con 32GB de memoria VRAM.

No intentes entrenar modelos pesados en CPU, va a demorar una eternidad.

La memoria RAM Tambien es util cuando tú vas a entrenar un modelo y preparas un dataset especifico para este caso, pero solamente cuando estas manipulando esta data. Cuando realizas el entrenamiento se usa la VRAM de la GPU o la RAM si lo entrenas en CPU, como recomendación tu memoria RAM debe ser ligeramente superior a la VRAM que tenga tu GPU, si tienes más, mejor obviamente.

Como recomendación la RTX 3060 con 12GB de VRAM es perfecta para que puedas comenzar, pero teniendo en cuenta que vas a estar limitado al uso de ciertos modelos, por ejemplo en modelos de lenguaje podrás cargar en el mejor de los casos los de 7B y 13B pero en 4Bit. La RAM puedes dejarla en 32GB por ahora, si vas a aprender a crear tu mismo los modelos y entrenarlos desde 0, a hacerle fine tunning o transfer learning a modelos no muy grandes con el objetivo de aprender, esta GPU va a ser la mejor opción, pero si puedes conseguir una con mas VRAM, el dinero no es un impedimento y te interesa mucho el tema, adelante, pero solo cuando realmente entiendas más del tema y puedas sacarle mejor provecho, ya que siempre puedes hacer uso de google colab pro o el entorno de ejecución de kaggle, obviamente pagando un pequeño precio de suscripción.

En cuanto al disco duro, lo normal es que continuamente estes descargando y eliminando modelos pesados, vas a estar constantemente reescribiendo datos y esto a los SSD no les gusta mucho porque tienen un TBW limitado, pero claro hacer uso de un HDD te va a generar cuello de botella, te recomiendo un SSD sata que no sea tan rápido ya que estos no suelen calentarse mucho y también tienen un TBW mucho mayor a un SSD pci express de gran velocidad.

GGML es una técnica que se utiliza mediante una libreria para entrenar y usar modelos en CPU, pero solamente con procesadores compatibles con las instrucciones AVX o AVX2, tiene bastantes opciones interesantes para reducir el tamaño de los modelos y hacer que funcione un poco más rápido, pero la GPU siempre va a ser mejor, para usar GGML puedes hacer uso de ejecutables que ya están echos con esta técnica y super ajustados para que funcionen bien, o tú mismo cargar un modelo y ajustarlo haciendo uso de GGML, desconozco si esto se pueda usar con pytorch, tensorflow o si directamente sea a bajo nivel en c++.
 
Nvidia > VRAM > nucleos cuda > nucleos tensor
Gracias por la respuesta, precisamente me enteré que la RTX 4060 TI tiene 16GB de RAM y ya hay modelos de 8GB en configuración SFF perfecto para mi PC.

Toca esperar a que lleguen los modelos 16GB. Por ese lado descartada la RTX 3060 ya y mejor empezar a ahorrar.
 
¡Hola! Parece que ya tienes una configuración bastante sólida para empezar a trabajar con IA en tu PC. Actualmente trabajo como desarrollador RPA intentando meterme por los lados en IA y estudio una especialización en inteligencia artificial, quizás mis consejos te puedan ser de utilidad.

Si piensas probar con grandes modelos, ya sean de vision artificial, audio, LLM o en general cualquier modelo entrenado de un dataset muy grande o cualquier modelo de deep learning con pesos y sesgos de gran tamaño, la recomendación clara y estándar siempre va a ser la misma, primero una tarjeta de video teniendo en cuenta como prioridad el siguiente orden:

Nvidia > VRAM > nucleos cuda > nucleos tensor
Completamente descartado AMD por más que tenga ROCm y descartado intel, por más que también tengan intel extension for tensorflow o pytorch , lo seguro es Nvidia.

En cuanto a la memoria RAM, tener grandes cantidades solamente es util cuando tu ejecutas los modelos en CPU, osea haces inferencia de estos directamente en la CPU, que resumiéndolo es hacer uso directamente de un modelo, en este escenario, es válido tener un buen procesador y suficiente memoria RAM para cargar el modelo, pero su inferencia va a ser extremadamente lenta a comparación de cualquier GPU, pero claro es más barato comprar 32GB de memoria ram que una GPU con 32GB de memoria VRAM.

No intentes entrenar modelos pesados en CPU, va a demorar una eternidad.

La memoria RAM Tambien es util cuando tú vas a entrenar un modelo y preparas un dataset especifico para este caso, pero solamente cuando estas manipulando esta data. Cuando realizas el entrenamiento se usa la VRAM de la GPU o la RAM si lo entrenas en CPU, como recomendación tu memoria RAM debe ser ligeramente superior a la VRAM que tenga tu GPU, si tienes más, mejor obviamente.

Como recomendación la RTX 3060 con 12GB de VRAM es perfecta para que puedas comenzar, pero teniendo en cuenta que vas a estar limitado al uso de ciertos modelos, por ejemplo en modelos de lenguaje podrás cargar en el mejor de los casos los de 7B y 13B pero en 4Bit. La RAM puedes dejarla en 32GB por ahora, si vas a aprender a crear tu mismo los modelos y entrenarlos desde 0, a hacerle fine tunning o transfer learning a modelos no muy grandes con el objetivo de aprender, esta GPU va a ser la mejor opción, pero si puedes conseguir una con mas VRAM, el dinero no es un impedimento y te interesa mucho el tema, adelante, pero solo cuando realmente entiendas más del tema y puedas sacarle mejor provecho, ya que siempre puedes hacer uso de google colab pro o el entorno de ejecución de kaggle, obviamente pagando un pequeño precio de suscripción.

En cuanto al disco duro, lo normal es que continuamente estes descargando y eliminando modelos pesados, vas a estar constantemente reescribiendo datos y esto a los SSD no les gusta mucho porque tienen un TBW limitado, pero claro hacer uso de un HDD te va a generar cuello de botella, te recomiendo un SSD sata que no sea tan rápido ya que estos no suelen calentarse mucho y también tienen un TBW mucho mayor a un SSD pci express de gran velocidad.

GGML es una técnica que se utiliza mediante una libreria para entrenar y usar modelos en CPU, pero solamente con procesadores compatibles con las instrucciones AVX o AVX2, tiene bastantes opciones interesantes para reducir el tamaño de los modelos y hacer que funcione un poco más rápido, pero la GPU siempre va a ser mejor, para usar GGML puedes hacer uso de ejecutables que ya están echos con esta técnica y super ajustados para que funcionen bien, o tú mismo cargar un modelo y ajustarlo haciendo uso de GGML, desconozco si esto se pueda usar con pytorch, tensorflow o si directamente sea a bajo nivel en c++.

Ha tenido la opotunidad de probar un mac con chip M2 para ML?, tiene una ventaja y es si el equipo tiene por ejemplo 32GB de RAM la podria usar en principio casi toda para la GPU, para esto la memoria de GPU es muy importante
 
IMG_20230615_232608_572.jpg
 

Los últimos temas