Não sou do tipo que fica lendo a especificação do container ou das vantagens de compreensão do vídeo e áudio, etc tal. Mas curto muito acompanhar o processo de evolução de formatos livres e aplicações software livre para streaming.
Quando comecei usamos indiscutivelmente o formato ogg (ou ogv), pois era o único livre. Usando Theora para a parte de vídeo e Vorbis para áudio era o que tínhamos e aqui e ali ouvi as reclamações da qualidade diante do MP4 ou mesmo a necessidade de bastante hardware para obter um transcodificação legal.
Passou o tempo e logo ficamos conhecendo o Webm, usando como conteiner o Matroska, com o vídeo e áudio usando codecs webm, o Google comprou por 133 milhões doláres a empresa que detinha os direitos sobre o formato e continuo por mantê-la livre sob a licença BSD. Fosse pela guerra de qual seria o formato padrão em HTML5 ou do impacto que poderia ter o relicenciamento do formato MP4 pelo Cisco, o Google não esperou e já começo a implementar em seus serviços o formato webm como padrão, deixando o FLV (que até então usada o h261 para vídeo e mp3 para áudio).
Passou o tempo e a Cisco vai lá e libera o MP4 como opensource e na sequencia a Mozilla coloca codec por padrão do Firefox.
Para o streaming a escolha do formato é importante também, tanto para escolher o equipamento como software de transmissão enquanto cliente e/ou servidor, compatibilidade de browsers e dispositivos móveis.
Hoje o webm está na versão VP9, com várias reestruturações. Já a implementação H26x para MP4 está não versão 5, H265. O OGV não teve avanços e vale lembrar que ele surgiu a partir de uma implementação do VP3.
Tem outros formatos como o DIRAC, desenvolvido pela BBC, que tem chamado atenção também, na busca de melhores compressão em vídeo e economizar um pouco mais no tráfego pela internet onde o vídeo lidera no consumo.