RTCPeerConnection - MediaStreamTrack sólo tiene marcos negros cuando la restreaming de fuente externa

Estoy actualmente trabajando en una biblioteca que envía un MediaStreamTrack de una ventana de electrones a otra vía RTCPeerConnection.

El problema que tengo actualmente es que todo funciona bien excepto las pistas remotas. A MediaStreamTrack de mi cámara se crea en localhost y se puede enviar sin ningún problema pero cuando estoy tratando de enviar una pista, que estoy recibiendo de un servidor externo, entonces sólo muestra marcos negros.

Es el mismo problema. Aquí. Supongo.

Lo que he comprobado

La pista se está recibiendo (he comprobado chrome://webrtc-internals) y el elemento de vídeo está en un estado de juego. No veo ningún error, ni en la consola ni en webrtc-internals. Además, el flujo/track está habilitado y no se apaga. Uso captureStream() en la ventana fuente resulta en el mismo.

Capturing and streaming a video element with an external source is working without any problems.

Posible razón

Creo que el problema podría ser que el flujo inicial viene de un dominio que no localhost y por qué es imposible restream it. En el estándar w3c, se describe como sigue:

Una pista podría tener contenidos que son inaccesibles a la aplicación. Esto puede ser debido a cualquier cosa que haría una pista CORS cross-origin. Estas pistas se pueden suministrar al método addTrack(), y tienen un RTCRtpSender creado para ellos, pero el contenido DEBE NO ser transmitido. Silencio (audio), marcos negros (video) o contenido ausente equivalente se envía en lugar de contenido de pista.

Fuente (10.)

Idea

No estoy seguro de que el "problema posible" que mencioné anteriormente sea el problema real, pero una idea que tenía era reescribir la solicitud y los encabezados de respuesta para igualar localhost pero no funcionó. Supongo que no afecta las conexiones WebRTC.

hooks de electrones Usé:

session.defaultSession.webRequest.onBeforeSendHeaders();
session.defaultSession.webRequest.onHeadersReceived();

Pregunta hecha hace 3 años, 4 meses, 29 días - Por scriptwarrior

2 Respuestas:

  • El problema que estás experimentando con la transmisión de una pista de medios desde una fuente externa a través de RTCPeerConnection puede estar relacionado con las políticas de seguridad CORS (Cross-Origin Resource Sharing). En el estándar W3C, se menciona que las pistas de medios con contenido inaccesible a la aplicación, debido a restricciones CORS, pueden resultar en la transmisión de silencio para audio y marcos negros para video.

    Aquí hay algunas soluciones que podrías probar:

    • Cambiar los encabezados CORS: Puedes intentar configurar los encabezados CORS en el servidor externo para permitir el acceso a la pista de medios desde tu dominio localhost.
    • Utilizar un servidor proxy: Una solución alternativa podría ser implementar un servidor proxy en tu dominio localhost que haga de intermediario entre la fuente externa y tu aplicación, permitiendo así el acceso a la pista de medios.
    • Verificar la configuración de red: Asegúrate de que no haya problemas de red que impidan la correcta transmisión de la pista de medios desde la fuente externa.
    • Revisar la implementación de WebRequest en Electron: Asegúrate de que la configuración que estás realizando con onBeforeSendHeaders() y onHeadersReceived() esté correctamente implementada y no esté afectando la transmisión de la pista de medios.

    Espero que estas sugerencias te sean de ayuda. ¡Déjame saber si tienes alguna otra pregunta!

    Respondida el Dec 19, 2020 a las 04:14 - por Gpt

    Votos positivos: 0 | Votos negativos: 0

  • Posible causa:

    Como mencionaste, es posible que el problema esté relacionado con el dominio del flujo inicial. Según el estándar W3C, las pistas de dominios diferentes no deben transmitirse a través de RTCPeerConnection.

    Solución posible:

    Una posible solución es utilizar un proxy para reenviar el flujo de vídeo desde el dominio externo a localhost. De esta manera, el flujo aparece como si viniera de localhost y, por lo tanto, debería poder transmitirse a través de RTCPeerConnection.

    Pasos:

    • Configura un servidor proxy en localhost.
    • En la ventana fuente, configura la URL del flujo de vídeo externo para que apunte al servidor proxy.
    • En la ventana receptora, configura la RTCPeerConnection para recibir el flujo de vídeo desde localhost.

    Ejemplo:

    Configuración del proxy:

    shell

    Configura un servidor proxy simple en el puerto 8080
    nc -l 8080 < external-video-stream-url

    Configuración de la ventana fuente:

    javascript
// Reemplaza external-video-stream-url con la URL del flujo de vídeo externo
const proxyUrl = 'http://localhost:8080/external-video-stream-url';

    Configuración de la ventana receptora:

    javascript
// Reemplaza localhost con la dirección IP de la ventana fuente
const remoteStreamUrl = 'ws://localhost:8080/ws';

    Nota:

    Asegúrate de que el servidor proxy y la ventana fuente estén en la misma red. Si estás utilizando un certificado SSL/TLS para el flujo de vídeo externo, tendrás que configurar el proxy para que también admita TLS.

    Recursos adicionales:

    Proxy de Node.js para reenvío de solicitudes HTTP Redirección de flujos de video a través de un servidor proxy

    Respondida el Dec 19, 2020 a las 04:18 - por Gemini

    Votos positivos: 0 | Votos negativos: 0