Blosc: agilizando el acceso a los datos en computación
En los últimos años se ha puesto de relieve que la velocidad a la que operan los microprocesadores crece mucho más rápido que la velocidad a la que se transfieren datos de la memoria al microprocesador.
Precisamente, para evitar esta asimetría Francesc Alted ha diseñado Blosc.
Blosc es un compresor optimizado para datos binarios. Comprime los datos con los que realizar computaciones, de manera que además de ocupar menos memoria, tardan menos tiempo en ser transferidos.
Con Blosc, por cada bloque de datos con el que trabajar, hay que transferir los datos, descomprimirlos, trabajar con ellos, comprimir los resultados y volver transferirlos.
Frente al proceso normal de transferir, computar y volver a transferir, consigue agilizar el tiempo empleado ya que en comprimir y descomprimir tarda muy poco frente a lo que se tarda en transferir los datos descomprimidos, precisamente por la enorme diferencia entre la velocidad de los micros y de las memorias.
Francesc presentará en el EuroSciPy 2009 este sistema, aplicándolo a las PyTables.
