¿Cómo manejar tareas asincrónicas con colas definidas sobre una base de usuario (o de otro atributo) con django y apio?

Gracias por ver mi pregunta. Soy nuevo en el apio y estoy tratando de envolver mi cabeza alrededor del mundo de rosca y multiprocesamiento, pero no puedo encontrar ninguna información que se ajuste a mi caso de uso específico.

Considere esto, tengo una API de django-rest-framework para mi software de trading personal que recibe solicitudes de correo para realizar una compra o vender orden a la API REST de mi corredor.

Ahora, quiero asegurarme de que mi API pueda manejar numerosas solicitudes simultáneas y colar esas solicitudes y procesarlas en el orden en que fueron recibidas. Una tarea no puede suceder antes de la otra si se termina porque la siguiente tarea se basará en la información de la base de datos que la anterior tarea ha escrito.

He implementado una instancia de apio para procesar una cola de FIFO. Aquí está mi pregunta, digamos que tengo múltiples estrategias, y no quiero que las colas de múltiples estrategias sean mezcladas en la misma cola. Quiero una cola asincrónica por estrategia. ¿Ahora necesito múltiples instancias de trabajo, o puedo separar colas en una instancia de trabajo?

¿Cómo sería esa sintaxis o qué métodos de apio debería estar buscando?

Vista de la solicitud de correo

@csrf_exempt
def webhook(request, username, slug):
    webhook_data = json.loads(request.body)
    if request.method == 'POST':
        webhook_queue.delay(username,slug,request.body)
        return HttpResponse(response)

La tarea del apio

@task(name='webhook_queue')
def webhook_queue(username,slug,webhook_data):
    strategy = UserStrategyModel.objects.get(slug__iexact=slug,user__username__iexact=username)
    user = User.objects.get(username__iexact=username)
    webhook = Webhook(webhook=webhook_data,strategy=strategy,user=user).process_webhook() 
    logger.info('Webhook processing.')

Pregunta hecha hace 3 años, 4 meses, 28 días - Por binarybard

2 Respuestas:

  • Para manejar tareas asincrónicas con colas definidas sobre una base de usuario con Django y Celery (apio), puedes usar colas personalizadas en Celery para cada estrategia. De esta forma, puedes asegurarte de que las tareas de una estrategia específica se manejen en la cola asignada a esa estrategia.

    Para lograr esto, puedes definir colas separadas para cada estrategia en tu archivo de configuración de Celery (celery.py) de la siguiente manera:

    python
app.conf.task_queues = (
    Queue('strategy1', routing_key='strategy1'),
    Queue('strategy2', routing_key='strategy2'),
    Queue('strategy3', routing_key='strategy3'),
    
    Define más colas para otras estrategias según sea necesario
    )

    Luego, al definir tu tarea webhook_queue, puedes especificar la cola en la que deseas que se ejecute la tarea utilizando el atributo queue:

    python
@task(name='webhook_queue')
def webhook_queue(username, slug, webhook_data):
    strategy = UserStrategyModel.objects.get(slug__iexact=slug, user__username__iexact=username)
    user = User.objects.get(username__iexact=username)
    webhook = Webhook(webhook=webhook_data, strategy=strategy, user=user).process_webhook()
    logger.info('Webhook processing.')

    Debes modificar la llamada a la tarea en tu vista para especificar la cola correspondiente a la estrategia utilizada:

    python
webhook_queue.apply_async(args=[username, slug, request.body], queue=strategy.slug)

    De esta manera, puedes separar las colas por estrategia y asegurarte de que las tareas se ejecuten en las colas adecuadas. No necesitas múltiples instancias de trabajo, puedes simplemente separar las colas en una instancia de trabajo utilizando esta configuración.

    Espero que esta respuesta te ayude a lograr la separación de tareas por estrategia en tu aplicación Django con Celery. ¡Déjame saber si tienes alguna otra pregunta!

    Respondida el Dec 19, 2020 a las 02:58 - por Gpt

    Votos positivos: 0 | Votos negativos: 0

  • Manejo de tareas asincrónicas con colas separadas por atributos con Django y Apio

    Para manejar tareas asincrónicas con colas separadas por atributos utilizando Django y Apio, puedes utilizar las siguientes estrategias:

    1. Múltiples instancias de trabajo con colas separadas:

    Crea una instancia de trabajo para cada atributo o conjunto de atributos que desees separar. Configura cada instancia de trabajo para que utilice una cola diferente. En tu código, especifica la cola que deseas utilizar para cada tarea basada en el atributo correspondiente.

    2. Colas separadas en una sola instancia de trabajo:

    Utiliza el argumento queue en la decoración de la tarea para especificar la cola que se utilizará para cada tarea. En tu código, especifica el nombre de la cola en el argumento queue de la tarea.

    Sintaxis:

    Instancias de trabajo múltiples:

    python
app = Celery()

app.conf.update(
    CELERY_DEFAULT_QUEUE='default',
    CELERY_QUEUES={
        'queue_1': {
            'routing_key': 'queue_1'
        },
        'queue_2': {
            'routing_key': 'queue_2'
        }
    }
)

    Colas separadas en una sola instancia de trabajo:

    python
@task(name='webhook_queue', queue='my_queue')
def webhook_queue(...)

    Aplicación a tu caso de uso:

    En tu caso, tienes múltiples estrategias y deseas crear colas separadas para cada una. Puedes utilizar cualquiera de las estrategias anteriores para lograr esto.

    Instancias de trabajo múltiples:

    Crea una instancia de trabajo para cada estrategia. Configura cada instancia de trabajo para que utilice una cola diferente. En tu vista de solicitud de correo, especifica la cola que se utilizará para cada tarea basándose en la estrategia.

    Colas separadas en una sola instancia de trabajo:

    Utiliza el argumento queue en la decoración de la tarea para especificar la cola que se utilizará para cada tarea. En tu vista de solicitud de correo, especifica el nombre de la cola en el argumento queue de la tarea basándote en la estrategia.

    Al separar las colas por estrategias, garantizas que las tareas de diferentes estrategias no se mezclen y se procesen en el orden correcto.

    Respondida el Dec 19, 2020 a las 03:09 - por Gemini

    Votos positivos: 0 | Votos negativos: 0