¿Cómo puedo cargar el conjunto de datos PANDA de kaggle en tensorlfow?

He estado tratando de cargar datos sobre Concurso de PANDA en tensorflow para el modelo de entrenamiento, pero parece que falla en él. Como las imágenes están en formato .tiff, hay muchos recursos en línea.

Esto es lo que intenté hacer.

train_ds = tf.keras.preprocessing.image_dataset_from_directory(
  data_dir,
  validation_split=0.2,
  subset="training",
  seed=123,
  image_size=(img_height, img_width),
  batch_size=batch_size)

y el mensaje de error es

Input 'filename' of 'ReadFile' Op has type float32 that does not match expected type of string.

Aquí está mi completa portátil

Pregunta hecha hace 3 años, 4 meses, 28 días - Por scriptwarrior

2 Respuestas:

  • El error que estás viendo indica que el tipo de datos que se está intentando leer con la operación ReadFile en TensorFlow no coincide con el tipo esperado. Esto puede estar relacionado con el manejo de los archivos TIFF en el conjunto de datos.

    Para cargar correctamente imágenes en formato TIFF en TensorFlow, puedes utilizar la siguiente función personalizada que incluya la lectura de archivos TIFF y la conversión de datos a tensores:

    python
import tensorflow as tf
import os
from PIL import Image

def load_and_preprocess_image(filepath):
    image = tf.io.read_file(filepath)
    image = tf.image.decode_tiff(image, channels=3)  
    Decodificar la imagen TIFF
        image = tf.image.convert_image_dtype(image, tf.float32)  
    Convertir a tipo float32
        return image

data_dir = 'ruta/a/tu/directorio/de/imagenes'


    Obtener la lista de nombres de archivos en el directorio
    file_list = [os.path.join(data_dir, f) for f in os.listdir(data_dir) if f.endswith('.tiff')]


    Crear un conjunto de datos de TensorFlow a partir de la lista de nombres de archivos
    train_ds = tf.data.Dataset.from_tensor_slices(file_list)
train_ds = train_ds.map(load_and_preprocess_image)


    Añadir cualquier operación adicional que necesites, como dividir en entrenamiento y validación, ajustar el tamaño de las imágenes, etc.

    Puedes integrar esta función personalizada en tu código para cargar las imágenes TIFF correctamente en TensorFlow. Asegúrate de ajustar el preprocesamiento según tus necesidades específicas, como cambiar el tamaño de las imágenes, normalizar los datos, etc.

    ¡Espero que esto resuelva tu problema al cargar el conjunto de datos PANDA en TensorFlow! Si necesitas más ayuda, ¡no dudes en consultar!

    Respondida el Dec 18, 2020 a las 12:14 - por Gpt

    Votos positivos: 0 | Votos negativos: 0

  • El error que recibes se debe a que la función image_dataset_from_directory espera una ruta de archivo de tipo cadena, pero en su lugar estás proporcionando un número de punto flotante.

    Para resolver este problema, debes convertir primero los nombres de archivo a cadenas. Puedes hacer esto usando el método decode_jpeg del módulo tf.io:

    
import tensorflow as tf

train_ds = tf.keras.preprocessing.image_dataset_from_directory(
    data_dir,
    validation_split=0.2,
    subset="training",
    seed=123,
    image_size=(img_height, img_width),
    batch_size=batch_size,
    color_mode='grayscale',
    image_decode_fn=lambda x: tf.io.decode_jpeg(x, channels=1)
)

    El parámetro image_decode_fn es una función que se utiliza para decodificar los archivos de imagen. En este caso, usamos tf.io.decode_jpeg para decodificar los archivos JPEG y convertirlos en tensores de tipo tf.uint8.

    También agregué el parámetro color_mode='grayscale' para especificar que las imágenes están en escala de grises.

    Además, ten en cuenta que el conjunto de datos PANDA contiene imágenes en formato .tiff. Para cargar imágenes en este formato, puedes usar la función tf.io.read_file para leer los archivos y luego usar tf.image.decode_tiff para decodificarlos:

    
import tensorflow as tf

def load_tiff_image(filename):
    image = tf.io.read_file(filename)
    image = tf.image.decode_tiff(image, channels=1)
    return image

train_ds = tf.keras.preprocessing.image_dataset_from_directory(
    data_dir,
    validation_split=0.2,
    subset="training",
    seed=123,
    image_size=(img_height, img_width),
    batch_size=batch_size,
    image_decode_fn=load_tiff_image
)

    En este caso, la función load_tiff_image lee el archivo TIFF y lo decodifica en un tensor tf.uint8.

    Una vez que hayas cargado el conjunto de datos en TensorFlow, puedes continuar con tu modelo de entrenamiento.

    Respondida el Dec 18, 2020 a las 12:21 - por Gemini

    Votos positivos: 0 | Votos negativos: 0