como aumentar la velocidad de procesamiento de mysql

[Sponsored links]

[cesar1907]

hola amigos laneros......

Estoy realizando una transferencia de datos de archivos de texto a tablas mysql, la cantidad de informacion es algo alta y pues una vez transferida una gran cantidad de informacion el proceso de estar agregando un registro se vuelve mas lento, la pc lleva 4 dias pasando la informacion y no he pasado ni la mitad de la informacion. por lo que necesito saber si hay alguna forma de configurar el mysql para acelerar el procesamiento y la informacion se agregue mas rapido. o no se si necesite cambiarme a sql server. (ese motor de bd no lo he provado).

Por favor amigos sus sugerencias seran bien venidas

[Dak]

Depronto es cuello de botella de donde esta leyendo los datos, mas que del motor.

[poppetmaster]

que metodo estas utilizando?¿ LOAD DATA? para llevar 4 dias debes ser de varios GB ese archivo que estas cargando..

[cesar1907]

que metodo estas utilizando?¿ LOAD DATA? para llevar 4 dias debes ser de varios GB ese archivo que estas cargando..
lo hago mediante un sistema, esta programado en genexus y las instrucciones son propias del lenguaje, y pues es un archivop de texto de 250MB el cual mediante identificadores voy sabiendo donde inicia un campo y donde termina otro al igual para saber donde comienza un registro y donde termina otro.
pero la informacion le voy corriegiendo errores voy identificando que va y que no o sustituir unas letras por otras

[poppetmaster]

ha ver si te entiendo... tu lees el archivo, procesas la info, armas el sql y lo ejecutas en mysql? entonces la afirmacion de Dak puede ser cierta.. lo lento no es el motor,, sino la forma como estas procesando el archivo... la otra que puedes hacer es realizar lotes de archivos con la estructura de la tabla en mysql y luego exportar el archivo generado con LOAD DATA INFILE y te daras cuenta que la carga de datos es muy rapida..

Prueba y nos comentas...

[Rachmaninov]

Es que con ese Genexus :S ... quién sabe qué método estará empleando por allá debajo para cargar y recorrer el archivo, porque la verdad en un método tradicional de programación Ud sube el archivo, o gran parte de él por lo menos, a un buffer y eso es veloz.

¿También toca que mire cuantas transacciones está levantando? ... ¿una por registro en el archivo?, ¿una por archivo? ... según sean los requerimientos de la integridad de su información no levante ninguna transacción en lo posible.

[cesar1907]

hola amigos laneros..

configure el mysql como si fuera servidor y aumenta el memory_cache_size y con esto acelera un poco mas sus consultas.. ahora creo que lo esta haciendo en la mitad de tiempo pero sigue en observacion

[cesar1907]

hola amigos acabo de verificar que si se configura el mysql como servidor dedicado aumenta mas la potencia de las consultas y eso acelera el proceso de vaciar la informacion