Preguntas con Tag: airflow
Apache Airflow es una plataforma de gestión del flujo de trabajo para autor, programar y monitorear los flujos de trabajo como gráficos acíclicos dirigidos (DAGs) de tareas.
Cómo establecer un estado S3KeySensor para saltar en el flujo de aire
Tengo que decir cinco s3keysensors que están escaneando cinco teclas de s3 diferentes y conseguirse reprogramado de vez en cuando si nada encontrado
Si uno de los cinco encontró el archivo de llega
python
airflow
3 años, 5 meses, 0 días
¿Es posible configurar dinámicamente el host en el flujo de aire SSHHook?
Consigo los parámetros de la API para conectarse al host remoto. Son diferentes cada vez y no sé cuáles de antemano. Can Paso estos parámetros a SSHHook?
El código es el siguiente:
python
ssh
airflow-scheduler
airflow
3 años, 4 meses, 29 días
Bigquery Scripting en un flujo de aire de gran operador
¿Es posible hacer una guionería en el flujo de aire BigQueryOperator (airflow 1.10.12)? ¿Alguien consigue hacerlo?
Traté de calmar así:
test = BigQueryOperator(
task_id='test',
sql=""
google-cloud-platform
google-bigquery
airflow
google-cloud-composer
3 años, 4 meses, 29 días
Cómo modificar el parámetro DAG que tiene un valor predeterminado al activar un DAG manualmente
Estoy interesado en usar un parámetro al desencadenar un dag manualmente con <a href="https://airflow.apache.org/docs/apache-airflow/stable/dag-run.html#passing-parameters-when-triggering-dags" rel
airflow
3 años, 4 meses, 29 días
Airflow Debugging: Cómo saltar la ejecución del trabajo de backfill cuando se ejecuta DAG en vscode
Tengo el flujo de aire de configuración y estoy ejecutando un DAG usando la siguiente configuración de depuración de vscode:
{
"version": "0.2.0",
"configurations": [
airflow
3 años, 5 meses, 0 días
Flujo de aire: Cómo pasar variable de script python ejecutado por BaseOperator a on_failure_callback arg en DAG
Tengo un DAG simple con una tarea que necesita ser dockerized. Basado en la ejecución de ese script que tiene variable1 dentro de él necesito proporcionarlo a la función callback creada en el archi
python
callback
airflow
3 años, 4 meses, 28 días
Compositor en la nube $$ (Mejor / Opciones más baratas para tomar Firebase File drop > Cloud Storage > BigQuery √ Pocos Python / SQL Queries)
Estoy buscando algunos consejos sobre las mejores soluciones / más rentables para usar para mi caso de uso en Google Cloud (descrito abajo).
Actualmente, estoy usando Cloud Composer, y es dem
google-cloud-platform
airflow
google-cloud-dataflow
google-cloud-composer
cost-management
3 años, 5 meses, 0 días
¿Cómo actualizar a Airflow 2.0?
Ahora que Airflow 2.0 es LiberadoEstamos emocionados de probar algunas de las nuevas características.
airflow
3 años, 5 meses, 0 días
ValorError: inválido literal para int() con base 10: '30.0' cuando se ejecuta unidadtest
Estoy tratando de hacer una prueba que estaba trabajando antes pero de repente ha dejado de correr pero ahora parece que tengo un error en todas mis pruebas, por ejemplo.
from httmock
python
unit-testing
airflow
3 años, 4 meses, 26 días