Importacion desde SQLite eterna.....


([N1] leonardo daniel velazquez fuentes) #1

Hola pues resulta que tuve que importar una tabla de 88 mil y pelos de registros con 10 campos a Velneo… tiene desde las 4 de la tarde, apenas lleva 33mil y pelos de registros importados (4 horas despues), de verdad esto es una pesadilla, intente subir el archivo al servidor, pero al parecer no tenemos ese permiso de escritura de archivos en el servidor de desarrollo, total opte por subirla desde sqlite, algunos diran que 126 transacciones promedio por minuto esta muy bien, pero nooooooooooooooooo… eso es terrible para quienes venimos de otras herramientas como Powerbuilder donde importar 40 mil registros se tarda 8 minutos, utilizando un datastore y luego un update… y ni hablar de Visual FoxPro que realmente era una flechaaaaa para explorar informacion… SI YA SE QUE NO PODEMOS TENER TODO jaja… pero creo que en proximas versiones deberian de optimizar eso… actualmente en mi trabajo me dicen oye pasame la nomina ( nos las pasan de informatica en archivos de texto y las bajamos a visual foxpro para explotarlas ) 30, 40 mil registros se van en segundos a otro archivo dbf o excel, alguna vez se hizo un historial de todas las quincenas de pago de 1 año (38mil registros promedio) por 24 quincenas… digo no voy a hacer eso con Velneo, pero si es muy DESESPERANTE no poder importar rapidamente un archivo, que para colmo solo tiene de momento el indice principal por lo mismo para evitar que se actualizen mas indices…

o si alguien me puede iluminar… o recomendarme algunas pastillas tipo Dalay. jjaja


([N1] leonardo daniel velazquez fuentes) #2

y estoy que me tiemblan las piernass… porque aun faltan archivos de importar… y es demasiado tiempo perdido esperando a que se suban esos registros…!


([N4] mconde) #3

Hola Leonel.

Como suscriptor de nivel 2, te aconsejo que contactes con nosotros a través del portal de soporte donde te aconsejaremos cómo realizar importaciones masivas de datos para agilizar al máximo el rendimiento.

Quedamos a la espera de tu consulta.

Un saludo.


([N3] pacosatu) #4

Hola leonardo daniel velazquez fuentes.

Este tema ya se ha tratado mucho en el foro.

  • Una importación de 88.000 registros con 10 campos a Velneo no debe suponer ningun problema. Todo dependerá de si cada transacción (INSERT) genera la ejecución de Triggers y/o Actualizaciones en cascada. Me imagino que no será este el problema porque dices que solo tiene el índice ID.
  • Si estás haciendo la importación en “Primer plano y en cloud” el desastre estará asegurado.
  • Visual Foxpro es de las herramientas más rápidas con nucha diferencia para la gestión de datos (es puro C++), pero no se puede comparar con Velneo u otros sistemas Cliente/Servidor. Son tecnologías totalmente diferentes.
  • Importar desde Ficheros planos es lo más rápido y sencillo. Usar el driver nativo de SQLite es también una excelente opción porque te permite personalizar y hacer dinámica la importación, porque puedes usar sentencias SQL contra las tablas originales.

Conclución:

  • Mueve los ficheros planos o base de datos SQLite al 3º plano. Usa el SDV de Velneo, solo necesitas acceso al servidor a través de vAdmin y definir una carpeta de Datos. No tienes que tener derechos específicos en carpetas del servidor.
  • Divide la importación en bloques para no crear transacciones grandes, de lo contrario tirarás el servidor.

En la 7.18 vendrán las tareas asíncronas en 3º plano y todo será más fácil para crear un interface en 1º plano que informe la usuario de cómo va el proceso en 3º plano.

La importación masiva es un tema recurrente en Velneo. Debería de plantearse la posibilidad de disponer de comandos específicos para la importación masiva (Bulk Insert), en los que se prescinde de generar transacción y ejecución de Triggers. En estos casos la importación deja de ser un problema.

Saludos
Paco Satué


([N1] leonardo daniel velazquez fuentes) #5

Hola, ok gracias ya envie la solicitud hace varias horas… seguire esperando

[quote quote=43232]Hola Leonel.

Como suscriptor de nivel 2, te aconsejo que contactes con nosotros a través del portal de soporte donde te aconsejaremos cómo realizar importaciones masivas de datos para agilizar al máximo el rendimiento.

Quedamos a la espera de tu consulta.

Un saludo.

[/quote]

([N1] wikan) #6

Eres n2, por que no haces la importación en tu servidor local y luego creas un vin con la solución completa, proyectos y datos.

Yo he hecho importaciones más grandes desde MySQL y han durado minutos, lo dicho, depende del plano, número de campos, actualizaciones, triggers y demás.


([N1] leonardo daniel velazquez fuentes) #7

Pues yo creo que tendre que hacer eso compañero Manuel… aprovechare el fin de semana

[quote quote=43246]Eres n2, por que no haces la importación en tu servidor local y luego creas un vin con la solución completa, proyectos y datos.

Yo he hecho importaciones más grandes desde MySQL y han durado minutos, lo dicho, depende del plano, número de campos, actualizaciones, triggers y demás.

[/quote]

([N1] mrv1) #8

Saludos!!! a todos los participantes del foro.

Para este caso, muestro en el siguiente enlace el modo como subo archivos TXT al servidor.

Se puede importar usando vDevelop, Soluciones, Importar Componentes

vatp://v7cloud6.velneo.com:12724
Usuario: invitado

Hay una carpeta “Ejercicios SERVIDOR”. Con este modo evito saturar el numero de transacciones. Tambien adjunto un archivo txt con datos a utilizar

Gracias por la atencion prestada.

Mario

vContactos.rar (110 KB)