Normalmente as soluções free e open source tem como base o GStreamer e FFmpeg. Há muita documentação de utilização de ambos diretamente, via linha de comando, para transmissão. Eu já usei em várias ocasiões o Gstreamer em suas várias pipelines 🙂
Mas as interfaces gráficas estão aí para facilitar a vida. Por muito tempo usei o Theorur, que é uma versão gráfica em GTK combinado os programas dvgrab, ffmpeg2theora e oggfwd. Sua versão mais recente é de 2006 e rolava transmitir em ogv e webm para o Icecast.
Outra solução que era muito recomendada foi o Flumotion, mas parou com suas atualizações e o último release é de 2012. Mas creio que segue o seu desenvolvimento mais para o lado comercial e de código restrito, pois o site Fluendo mostra que o desenvolvedores ainda utilizam como solução comercial e com várias funcionalidades modernas.
O pessoal do FISL segue usando o Landell, desenvolvimento um pessoal de Minas Gerais sob encomenda da ASL /Pontão de Cultura. Mas desde o seu lançamento oficial teve poucas implementações de melhorias e seu último release é de 2011.
Há outras soluções como o FreeJ e WebcamStudio, que já fiz algumas pessoas experimentando, mas não chegou a serem de grande utilização.
O que tem de mais moderno hoje é o Open Broadcaster Software. Muito utilizados por gamers no mundo inteiro, tem atualizações semanais em seu código. Além de suporte padrão há vários serviços comerciais de broadcast como Twitch, Youtube, hitbox, beam, DailyMotion, Livecoding. Diferente das outras soluções citadas ele é multi-plataforma e com possibilidade de criação de plugins. Irei estudar melhor ele e documentar aqui em novos posts.