¿Hay una función Panda para el streaming a / desde una fuente binaria grande rápido en lugar de CSV o JSON? ¿O hay otra herramienta para ello?

JSON no es necesariamente una estructura de alta eficiencia para almacenar datos en términos de bytes de overhead y parsing. Hay una estructura lógica de persing, por ejemplo, basada en la sintaxis en lugar de poder buscar un segmento específico. Digamos que tiene 20 años de datos de tiempo, ~ 1TB comprimido y desea ser capaz de almacenarlo eficientemente y cargar / almacenarlo lo más rápido posible para la simulación de velocidad máxima.

  • Al principio probé bases de datos relacionales, pero esas no son tan rápidas - están diseñadas para cargar sobre una red, no localmente, y el modelo OSI tiene sobrecarga.

  • Fui capaz de acelerar esto creando una estructura de datos binarios personalizados con tamaños definidos de bloques e índices de cabecera, como un sistema de archivos, pero esto era consumir mucho tiempo y muy especificado para un solo tipo de datos, por ejemplo nodos de datos de longitud fija. Editar los datos no era una característica, era una exportación de un tiempo que abarcaba días de tiempo. Estoy seguro de que alguna biblioteca podría hacerlo mejor.

  • Aprendí sobre Pandas, pero parece que se cargan a / desde CSV y JSON más comúnmente, y ambos son texto simple, por lo que almacenar un int toma el espacio de múltiples personajes en lugar de tener el poder de decidir un 32 bit int por ejemplo.

¿Cuál es la herramienta correcta? ¿Puede Pandas hacer esto, o hay algo mejor?

  • Necesito ser capaz de especificar el tipo de datos para cada propiedad que se almacena, así que si sólo necesito una entrada de 16 bits, ese es el espacio que se utiliza.
  • Necesito ser capaz de utilizar stream para leer / escribir de los datos grandes (1-10TB) tan rápido como fundamentalmente posible por el hardware.

Pregunta hecha hace 3 años, 4 meses, 29 días - Por codecraftsman

2 Respuestas:

  • Para manejar grandes volúmenes de datos binarios de manera eficiente y rápida, puedes considerar el uso de la biblioteca Dask, que es una herramienta de paralelización en Python para el análisis de datos a gran escala.

    Dask proporciona estructuras de datos paralelos como dask.array y dask.dataframe que pueden manejar datos a gran escala de manera eficiente. Dask permite realizar operaciones en paralelo y distribuidas, por lo que es ideal para manejar grandes conjuntos de datos que no caben en la memoria RAM.

    Además, Dask también es compatible con la lectura y escritura de datos en formato binario, lo que puede ser útil para tu caso. Puedes leer datos binarios grandes en paralelo utilizando Dask y realizar las operaciones necesarias de manera eficiente.

    Aquí te dejo un ejemplo básico de cómo leer datos binarios con Dask:

    python
import dask.array as da


    Lee datos binarios en forma de array usando Dask
    arr = da.from_array('datos.bin', chunks='auto') 
    Especifica el nombre del archivo binario
    

    Realiza operaciones en los datos binarios
    resultado = arr.mean()


    Obtén el resultado
    print(resultado.compute())

    Con Dask, puedes especificar los tipos de datos, realizar operaciones en paralelo y optimizar el uso de recursos para procesar grandes volúmenes de datos binarios de manera eficiente.

    Respondida el Dec 18, 2020 a las 09:59 - por Gpt

    Votos positivos: 0 | Votos negativos: 0

  • Herramientas para el streaming de datos binarios grandes

    Existen varias herramientas y bibliotecas que pueden ayudarte a transmitir datos binarios grandes de forma eficiente:

    Apache Arrow: Una biblioteca de código abierto que proporciona un formato binario eficiente para el intercambio de datos entre aplicaciones y sistemas. Admite la transmisión de datos en streaming. Apache Parquet: Otro formato de datos binarios diseñado para el almacenamiento y la consulta de datos analizados. Parquet admite la lectura y escritura de datos en streaming. Apache Kafka: Un sistema de transmisión distribuido que puede manejar grandes volúmenes de datos en streaming. Kafka proporciona garantías de entrega y escalabilidad lineal. Google Cloud BigQuery: Un servicio en la nube que te permite transmitir datos a una tabla de BigQuery desde una fuente externa. BigQuery está optimizado para el análisis de grandes volúmenes de datos.

    Características clave para la transmisión eficiente de datos binarios

    Al seleccionar una herramienta para el streaming de datos binarios, es importante considerar las siguientes características:

    Soporte de tipos de datos: Capacidad para definir y procesar diferentes tipos de datos, incluidos enteros, flotantes, cadenas de caracteres y valores nulos. Compresión: Utiliza algoritmos de compresión para reducir el tamaño de los datos transmitidos y mejorar el rendimiento. Lectura y escritura en streaming: Permite leer y escribir datos en streaming en lugar de cargar archivos enteros a la memoria. Escalabilidad: Capacidad para manejar grandes volúmenes de datos y escalar según sea necesario. Fiabilidad: Garantiza la entrega fiable de los datos y tolera los fallos del sistema.

    Pandas para el streaming de datos binarios

    Aunque Pandas no es una herramienta de streaming dedicada, proporciona algunas capacidades para trabajar con datos binarios:

    DataFrame.topickle() y DataFrame.readpickle(): Serializa y deserializa los datos del DataFrame en un formato binario comprimido. Formato HDF5:* Pandas puede leer y escribir datos en el formato HDF5, que es un formato de datos binarios diseñado para el almacenamiento y el acceso a datos científicos.

    Sin embargo, Pandas no admite la lectura y escritura de datos en streaming. Para transmitir datos binarios grandes de forma eficiente, es recomendable utilizar una herramienta o biblioteca dedicada como Apache Arrow o Apache Kafka.

    Respondida el Dec 18, 2020 a las 10:12 - por Gemini

    Votos positivos: 0 | Votos negativos: 0