Consultar datos de un CSV gigante con SQL y SQLite

SQLite es un sistema ligero y opensource, personalmente me ha ayudado en este caso para consultar el contenido de ficheros de varios GBs, proporcionando los medios de SQL para consultar el contenido de un csv gigante con SQL y SQLite.

Problema: Excel e incluso editores de texto ligeros se quedan colgados al abrir ficheros CSV de varios Gigabytes.

Una de las ventajas de este método es que con la línea de comandos(y también con interfaces mostradas al final), podremos consultar el contenido del fichero, el principio de funcionamiento es similar al del comando fileopen(). No tiene las características avanzadas de otros motores de base datos, por ejemplo acceso remoto, estableciendo conexiones a través de puertos, etc, pero para eso ya están otros sistemas de bases de datos relacionadas.

SQLite instalación

Sin necesidad de instalación, instalación USB o portable, como se quiera llamar, tiene hoy en día una gran importancia, ya que nos permite ejecutarlos en la mayoría de casos sin ser administradores de la máquina, a menos que se encuentre extremadamente bloqueado en cuyo caso, no podremos ejecutar ningún .exe que no sea autorizado por el administrador.

¡VAMOS! Primero descargar el ejecutable contenido en las herramientas de la web oficial de SQLite https://www.sqlite.org/download.html y bajar hasta el grupo de Precompiled Binaries for Windows, y descargar el zip de menos de 2MB, con el nombre sqlite-tools-win32-x86-00000000.zip, descomprimirlo, abrir la línea de comandos si no tenemos permiso para doble click sobre sqlite3.exe con los siguientes pasos:

-Tecla de Windows + R -> cmd

– Escribe cd y pega la ruta entre dobles comillas, donde se encuentra descomprimido sqlite3.exe

– Una vez ubicado en la carpeta donde se descomprimió el sqlite-tools-win… escribir sqlite3.exe y un nombre para la base de datos que vamos a utilizar, y será creada en este momento, de otro modo SQLite la creará de forma temporal en memoria, y cuando cerremos, desaparecerá:

sqlite3.exe audit

Insertar datos en la nueva base de datos

Para proceder con la importación de los datos en CSV hay que al modo CSV, aunque otros formatos también están disponibles:

sqlite> .mode csv

Después utilizar el comando .import para insertar el contenido del fichero en una tabla cuyo nombre especificaremos a continuación

sqlite> .import C:/datos_bk.csv auditoria

SQLite automáticamente tomará la primera fila del CSV para determinar los nombres de las columnas de la nueva tabla.

Para comprobar el funcionamiento correcto de la importación, podemos hacer que muestre el schema de la tabla:

sqlite> .schema auditoria

Una vez importados los datos desde esta propia línea de comandos, se puede realizar consultas SQL o utilizar un gestor de base de datos compatible con SQLite para consultar.

Gestores de bases de datos compatibles con SQLite

Nota, antes de continuar con los gestores de bases de datos para SQLite, se deberá conocer la ubicación de la BBDD que se ha creado para establecer la conexión, si anteriormente no la hemos especificado, se debe de encontrar en el mismo directorio que “sqlite3.exe”

https://sqlitestudio.pl gestor para SQLite, con instalación portable, facilitando el uso de la funcionalidad tanto de consulta como importación y exportación.

Finalmente el gestor de base datos, no específico para SQLite, pero que conecta y actúa sin problema sobre BBDD de tipo SQLite, también con la ventaja de que dispone de versión portable, es DBeaver, también compatible con infinidad de bases de datos, tanto distribuidas, en el cloud, o embebidas.

Este último caso portado a JS permite su uso desde un navegador ampliando las opciones de uso online: https://github.com/sql-js/sql.js

Otros aspectos de SQLite, integraciones

Por ejemplo, su compatibilidad con motores de Machine learning automáticos como mindsdb.com