Fiz alguns testes e instalei o OBS em minha máquina. Abaixo as instruções para instalação. Vale lembrar que é necessário ter uma placa de vídeo com GPU.
É necessário ter o repositório non-free habilitado no sources.list
Instalando as dependências
sudo apt-get install libx11-dev libgl1-mesa-dev libpulse-dev libxcomposite-dev \ libxinerama-dev libv4l-dev libudev-dev libfreetype6-dev \ libfontconfig1-dev qtbase5-dev libqt5x11extras5-dev libx264-dev \ libxcb-xinerama0-dev libxcb-shm0-dev libjack-jackd2-dev libcurl4-openssl-dev \ build-essential pkg-config cmake git checkinstall libfdk-aac-dev yasm
Compilando FFmpeg
git clone --depth 1 git://source.ffmpeg.org/ffmpeg.git cd ffmpeg ./configure --enable-shared --prefix=/usr make -j4 sudo checkinstall --pkgname=FFmpeg --fstrans=no --backup=no --pkgversion="$(date +%Y%m%d)-git" --deldoc=yes sudo dpkg -i ffmpeg*.deb
Compilando OBS
git clone https://github.com/jp9000/obs-studio.git cd obs-studio mkdir build && cd build cmake -DUNIX_STRUCTURE=1 -DCMAKE_INSTALL_PREFIX=/usr .. make -j4 sudo checkinstall --pkgname=obs-studio --fstrans=no --backup=no --pkgversion="$(date +%Y%m%d)-git" --deldoc=yes sudo dpkg -i obs-studio_*.deb
Referências