En los últimos años se ha puesto de relieve que la velocidad a la que operan los microprocesadores crece mucho más rápido que la velocidad a la que se transfieren datos de la memoria al microprocesador.
Precisamente, para evitar esta asimetría Francesc Alted ha diseñado Blosc.
Blosc es un compresor optimizado para datos binarios. Comprime los datos con los que realizar computaciones, de manera que además de ocupar menos memoria, tardan menos tiempo en ser transferidos.
Con Blosc, por cada bloque de datos con el que trabajar, hay que transferir los datos, descomprimirlos, trabajar con ellos, comprimir los resultados y volver transferirlos.
Frente al proceso normal de transferir, computar y volver a transferir, consigue agilizar el tiempo empleado ya que en comprimir y descomprimir tarda muy poco frente a lo que se tarda en transferir los datos descomprimidos, precisamente por la enorme diferencia entre la velocidad de los micros y de las memorias.
Francesc presentará en el EuroSciPy 2009 este sistema, aplicándolo a las PyTables.
MD | 09-Jun-09 at 2:43 pm | Permalink
Interesante, interesante, si las cuentas salen de que es mas barato en ciclos descomprimir y comprimir frente a traerlo descomprimido. ¿Bueno parece que va ser libre por lo de pytables nou? Lo interesante es que se implementara de forma trasparente en el gcc.