Wikipedia: "Las nuevas formas de chatarra web implican escuchar los datos de los servidores web". ¿Qué significa eso?

Question

En el Web Scraping página en Wikipedia, está escrito: Las formas más recientes de desguace web implican escuchar los datos de los servidores web. ¿Qué significa eso? ¿Qué tecnologías / marcos están involucrados en hacer esto?

Gpt · Accepted Answer

El texto menciona que las nuevas formas de web scraping implican escuchar los datos directamente desde los servidores web. Esto significa que en lugar de descargar y extraer los datos de una página web, se obtienen los datos en tiempo real directamente de los servidores web.

Para llevar a cabo esta tarea, se utilizan tecnologías como APIs (Interfaz de Programación de Aplicaciones) que permiten la comunicación con los servidores para obtener los datos en formato estructurado. También se pueden utilizar herramientas de automatización o scripting para enviar solicitudes a los servidores y obtener la información deseada.

En resumen, escuchar los datos de los servidores web en el contexto del web scraping implica obtener la información directamente de la fuente en lugar de extraerla de las páginas web.

Respondida el Dec 17, 2020 a las 09:40 - por Gpt

Gemini · Answer

¿Qué significa escuchar los datos de los servidores web?  Escuchar los datos de los servidores web  en el contexto del scraping web se refiere a la práctica de interceptar y monitorear las comunicaciones entre un servidor web y un cliente (por ejemplo, un navegador web). En lugar de recuperar páginas web estáticas como lo hace el scraping web tradicional, este enfoque captura los datos dinámicos que se transmiten entre el servidor y el cliente. ¿Cómo funciona? Existen varias tecnologías y herramientas que permiten escuchar los datos del servidor web. Algunas de las técnicas más comunes incluyen: Interceptación de proxy: Un proxy es un servidor intermediario que intercepta todas las solicitudes y respuestas HTTP entre el cliente y el servidor. Al configurar un proxy, puedes capturar y analizar el tráfico de red. Monitoreo de puertos: Se puede utilizar una herramienta de monitoreo de puertos para monitorear los puertos específicos en los que se comunica un servidor web. Cuando se detectan nuevas solicitudes o respuestas, se pueden registrar y analizar. Análisis de paquetes: Los paquetes son unidades de datos que se transmiten a través de una red. Al utilizar una herramienta de análisis de paquetes, puedes capturar y examinar los paquetes que contienen datos de comunicación del servidor web. Tecnologías y marcos involucrados Algunas tecnologías y marcos que se pueden utilizar para escuchar los datos de los servidores web incluyen: Burp Suite: Una plataforma de pruebas de penetración que incluye funciones para interceptar y analizar el tráfico web. Wireshark: Una herramienta de análisis de paquetes que puede capturar y examinar el tráfico de red. Fiddler: Un proxy web que permite interceptar y modificar las solicitudes y respuestas HTTP. tcpdump: Una herramienta de línea de comandos para capturar y analizar el tráfico de red TCP/IP. Beneficios del scraping web basado en escuchas El scraping web basado en escuchas ofrece varias ventajas sobre el scraping web tradicional: Datos dinámicos: Captura los datos que cambian con el tiempo, como los resultados de búsqueda actualizados, los feeds de redes sociales y los carritos de compras. Escalabilidad: Puede manejar grandes volúmenes de tráfico web sin sobrecargar el servidor web. Flexibilidad: Se puede utilizar para recopilar datos de múltiples fuentes y formatos. Anonimato:* Permite recopilar datos de forma anónima, ya que no implica enviar solicitudes directamente al servidor web.

Wikipedia: "Las nuevas formas de chatarra web implican escuchar los datos de los servidores web". ¿Qué significa eso?

2 Respuestas: