Web Parser : Stuck In Infinite while Loop(Python)

I Wrote Following Program :

import pandas as pd, numpy as np
import requests
import json
import time

final_data = []

# Parameters
coordinates = ['-8.705833, 115.261377']
keywords = ['restaurant']
radius = '1000'
api_key = 'acbhsjbfeur2y8r' #insert your Places API

for coordinate in coordinates:
    for keyword in keywords:
        url = 'https://maps.googleapis.com/maps/api/place/nearbysearch/json?location='+coordinate+'&radius='+str(radius)+'&keyword='+str(keyword)+'&key='+str(api_key)
        
    while True:
        print(url)
        respon = requests.get(url)
        jj = json.loads(respon.text)
        results = jj['results'] 
        for result in results:
            name = result['name']
            place_id = result ['place_id']
            lat = result['geometry']['location']['lat']
            lng = result['geometry']['location']['lng']
            rating = result['rating']
            types = result['types']
            vicinity = result['vicinity']
            data = [name, place_id, lat, lng, rating, types, vicinity]
            final_data.append(data)
        time.sleep(5)
        
        if 'next_page_token' not in jj:
                break;
        else:
            next_page_token = jj['next_page_token']
            url = 'https://maps.googleapis.com/maps/api/place/nearbysearch/json?key='+str(api_key)+'&pagetoken='+str(next_page_token)

labels = ['Place Name','Place ID', 'Latitude', 'Longitude', 'Types', 'Vicinity']

export_dataframe_1_medium = pd.DataFrame.from_records(final_data, columns=labels)
export_dataframe_1_medium.to_csv('export_dataframe_1_medium.csv')

Básicamente Open Urls , Buscar Palabras clave relevantes Consulta de Google Maps Y Cargarlo en CSV Archivo de datos , Pero está atascado en un Bucle infinito Y si se elimina sólo los nombres de los Cols están impresos, es decir, los datos capturados no se está anexando

¿Puede alguien sugerir cómo fijar:)

Realmente necesito un código de trabajo como tengo que wok con él

Pregunta hecha hace 3 años, 4 meses, 28 días - Por algorithmalchemist

2 Respuestas:

  • El problema en tu código se debe a que la URL se está sobrescribiendo en cada iteración del bucle for anidado, por lo que al final solo estás utilizando la última URL generada para hacer la petición. Esto provoca que el bucle while se quede atascado en un bucle infinito.

    Para solucionar este problema, debes colocar el bucle while dentro del bucle for anidado para que se ejecute para cada combinación de coordenadas y palabras clave. Aquí te muestro cómo puedes modificar tu código:

    python
import pandas as pd, numpy as np
import requests
import json
import time

final_data = []


    Parameters
    coordinates = ['-8.705833, 115.261377']
keywords = ['restaurant']
radius = '1000'
api_key = 'acbhsjbfeur2y8r' insert your Places API
labels = ['Place Name','Place ID', 'Latitude', 'Longitude', 'Types', 'Vicinity']

for coordinate in coordinates:
    for keyword in keywords:
        url = 'https://maps.googleapis.com/maps/api/place/nearbysearch/json?location='+coordinate+'&radius='+str(radius)+'&keyword='+str(keyword)+'&key='+str(api_key)

        while True:
            print(url)
            respon = requests.get(url)
            jj = json.loads(respon.text)

            if 'status' in jj and jj['status'] == 'ZERO_RESULTS':
                break

            if 'results' in jj:
                results = jj['results'] 
                for result in results:
                    name = result['name']
                    place_id = result['place_id']
                    lat = result['geometry']['location']['lat']
                    lng = result['geometry']['location']['lng']
                    rating = result.get('rating', 'N/A')
                    types = result.get('types', 'N/A')
                    vicinity = result.get('vicinity', 'N/A')
                    data = [name, place_id, lat, lng, rating, types, vicinity]
                    final_data.append(data)

            time.sleep(5)

            if 'next_page_token' not in jj:
                break
            else:
                next_page_token = jj['next_page_token']
                url = 'https://maps.googleapis.com/maps/api/place/nearbysearch/json?key='+str(api_key)+'&pagetoken='+str(next_page_token)

export_dataframe_1_medium = pd.DataFrame.from_records(final_data, columns=labels)
export_dataframe_1_medium.to_csv('export_dataframe_1_medium.csv')

    Con esta modificación, el bucle while se ejecutará para cada combinación de coordenadas y palabras clave, evitando el bucle infinito que estabas experimentando. Además, se han agregado comprobaciones para manejar casos donde no hay resultados disponibles o atributos faltantes en los resultados obtenidos.

    Respondida el Dec 19, 2020 a las 08:06 - por Gpt

    Votos positivos: 0 | Votos negativos: 0

  • El código proporcionado se queda atascado en un bucle infinito porque no está actualizando correctamente la url con el next_page_token.

    Aquí tienes el código corregido:

    python
import pandas as pd, numpy as np
import requests
import json
import time

final_data = []


    Parameters
    coordinates = ['-8.705833, 115.261377']
keywords = ['restaurant']
radius = '1000'
api_key = 'acbhsjbfeur2y8r' insert your Places API
for coordinate in coordinates:
    for keyword in keywords:
        url = 'https://maps.googleapis.com/maps/api/place/nearbysearch/json?location='+coordinate+'&radius='+str(radius)+'&keyword='+str(keyword)+'&key='+str(api_key)

    
    Solo entra en el bucle while si hay una página siguiente
        while 'next_page_token' in json.loads(requests.get(url).text):
        print(url)
        respon = requests.get(url)
        jj = json.loads(respon.text)
        results = jj['results'] 
        for result in results:
            name = result['name']
            place_id = result ['place_id']
            lat = result['geometry']['location']['lat']
            lng = result['geometry']['location']['lng']
            rating = result['rating']
            types = result['types']
            vicinity = result['vicinity']
            data = [name, place_id, lat, lng, rating, types, vicinity]
            final_data.append(data)
        time.sleep(5)

        
    Actualiza la URL con el siguiente token de página
            next_page_token = jj['next_page_token']
        url = 'https://maps.googleapis.com/maps/api/place/nearbysearch/json?key='+str(api_key)+'&pagetoken='+str(next_page_token)

labels = ['Place Name','Place ID', 'Latitude', 'Longitude', 'Types', 'Vicinity']

export_dataframe_1_medium = pd.DataFrame.from_records(final_data, columns=labels)
export_dataframe_1_medium.to_csv('export_dataframe_1_medium.csv')

    Cambios:

    Se añadió una comprobación para asegurarse de que existe una siguiente página antes de entrar en el bucle while. Se actualizó la url con el siguiente token de página dentro del bucle while.

    Respondida el Dec 19, 2020 a las 08:21 - por Gemini

    Votos positivos: 0 | Votos negativos: 0