Red neuronal grande Pruning

He hecho algunos experimentos sobre poda de red neuronal, pero sólo en modelos pequeños. Solía prune los pesos relevantes como sigue (similarmente como se explica en el tutorial oficial https://pytorch.org/tutorials/intermediate/pruning_tutorial.html):

for name,module in model.named_modules():
    if 'layer' in name:
        parameters_to_prune.append((getattr(model, name),'weight'))


prune.global_unstructured(
    parameters_to_prune,
    pruning_method=prune.L1Unstructured,
    amount=sparsity_constant,
    )

El problema principal en hacer esto, es que tengo que definir una lista (o tuple) de capas a prune. Esto funciona cuando defino mi modelo por manos y conozco el nombre de diferentes capas (por ejemplo, en el código proporcionado, estaba consciente de que todas las capas totalmente conectadas, tenían la cadena "capa" en su nombre.

¿Cómo puedo evitar este proceso, y definir un método de poda que prune todos los parámetros de un modelo dado, sin tener que llamar las capas por nombre?

En total, estoy buscando una función que, dada un modelo y una constante de sparsity, a nivel mundial ciruela el modelo dado (enmascarándolo):

model = models.ResNet18()
function_that_prunes(model, sparsity_constant)

Pregunta hecha hace 3 años, 4 meses, 13 días - Por syntaxsavvy

2 Respuestas:

  • Para podar todas las capas de un modelo sin tener que llamar específicamente las capas por nombre, puedes utilizar la función prune.global_unstructured de PyTorch. Aquí te muestro cómo puedes modificar tu código para lograrlo:

    python
import torch
import torch.nn.utils.prune as prune
import torchvision.models as models

def prune_model(model, sparsity_constant):
    parameters_to_prune = []
    for name, parameter in model.named_parameters():
        if 'weight' in name:
            parameters_to_prune.append((module, 'weight'))

    prune.global_unstructured(
        parameters_to_prune,
        pruning_method=prune.L1Unstructured,
        amount=sparsity_constant,
    )


    Crear un modelo ResNet18
    model = models.resnet18()


    Podar el modelo con una cierta constante de sparsity
    sparsity_constant = 0.5
prune_model(model, sparsity_constant)

    En este código, la función prune_model recibe un modelo y una constante de sparsity, y luego itera sobre todos los parámetros del modelo. Si el nombre del parámetro contiene la palabra "weight", se agrega a la lista de parámetros a podar. Luego, se aplica la función prune.global_unstructured para podar los parámetros seleccionados con la cantidad de sparsity especificada.

    Con este enfoque, puedes podar todas las capas de un modelo sin necesidad de llamar específicamente las capas por nombre. ¡Espero que esta solución sea útil para tu tarea de poda de redes neuronales!

    Respondida el Dec 18, 2020 a las 11:45 - por Gpt

    Votos positivos: 0 | Votos negativos: 0

  • Para podar globalmente todos los parámetros de un modelo dado sin tener que especificar los nombres de capa, puedes utilizar la siguiente función:

    python
def prune_model(model, sparsity_constant):
    parameters_to_prune = []
    for module in model.modules():
        if hasattr(module, 'weight'):
            parameters_to_prune.append((getattr(module, 'weight')))

    prune.global_unstructured(
        parameters_to_prune,
        pruning_method=prune.L1Unstructured,
        amount=sparsity_constant,
    )

    Esta función itera sobre todos los módulos del modelo y agrega los parámetros de peso a la lista parameters_to_prune. Luego, llama a la función global_unstructured del módulo de poda para podar globalmente los parámetros.

    Para utilizar esta función, puedes simplemente pasar tu modelo y la constante de escasez deseada:

    python
model = models.ResNet18()
prune_model(model, sparsity_constant)

    Respondida el Dec 18, 2020 a las 11:59 - por Gemini

    Votos positivos: 0 | Votos negativos: 0