Preguntas con Tag: apache-beam
Apache Beam es un SDK unificado para el procesamiento por lotes y corrientes. Permite especificar flujos de trabajo de procesamiento de datos a gran escala con un DSL específico de Beam. Los flujos de trabajo de haz se pueden ejecutar en diferentes tiempos de ejecución ...
KafkaIO Group Id after dock
Estoy usando KafkaIO de Apache Beam para leer de un tema de Kafka. Todo está funcionando como se espera, pero si mi trabajo es terminado y reiniciado, hay un nuevo grupoID que se genera por el nuev
apache-beam-io
apache-beam-kafkaio
3 años, 4 meses, 29 días
Carga de protobuf fecha a bigquery
Soy nuevo en datos protobuf y he generado código de pitón del archivo proto por googling, ahora quiero cargar datos de protobuf que está en GCS a bigquery. Estaba buscando mucho para encontrar una
python
google-bigquery
protocol-buffers
google-cloud-dataflow
apache-beam
3 años, 5 meses, 0 días
Dataflow streaming job not scaling down
Tengo un trabajo de streaming de datos que está procesando datos consumidos de un tema de pubsub y transforma/ escribe los datos a una gran instancia. Ajustes de escalado son:
autosca
java
google-cloud-platform
google-cloud-dataflow
apache-beam
3 años, 4 meses, 26 días