El problema tambien es el software que muchas veces esta programado en lenguajes de alto nivel (con muchas capas de abstraccion por debajo) ineficiente y lento, desaprovechando el hardware. Tanto en Android como en las Smart TV.
Por ejemplo Freetube esta programado en javascript.
Kodi en Java para android tampoco es algo eficiente que vaya directamente a maquina, ademas de usar sus guano internas para addons etc.
Algo eficiente y rapido seria OMXPlayer en una raspberry pi (en c++, pasando directamente el contenido de video al decodificador de video y de ahi a la pantalla)
Por otro lado, para empezar a recibir contenido con HLS es necesario 2 conexiones TCP que hay que establecer (con sus respectivos handshakes etc, se suma la latencia en cada direccion, 2 veces).
La forma mas rapida y eficiente seria recibir por UDP los primeros frames enteros con una raspberry pi y pasarlo con Omxplayer al monitor directamente. Ahi el retardo deberia ser de pocas decenas de milisegundos. Y luego ya se podria cambiar a HLS o lo que se quiera.
La prueba de como de lento puede ser el software/hardware y afectar al streaming, es simplemente probar a cambiar la reproduccion de un video .mp4 local, el retardo que tenga en eso, no se va a poder mejorar en streaming con otra app similar.
En una raspberry con omxplayer es cero, pero en una android box barata con apps en lenguajes de alto nivel no es cero.