Fiz alguns testes e instalei o OBS em minha máquina. Abaixo as instruções para instalação. Vale lembrar que é necessário ter uma placa de vídeo com GPU.
É necessário ter o repositório non-free habilitado no sources.list
Instalando as dependências
sudo apt-get install libx11-dev libgl1-mesa-dev libpulse-dev libxcomposite-dev \
libxinerama-dev libv4l-dev libudev-dev libfreetype6-dev \
libfontconfig1-dev qtbase5-dev libqt5x11extras5-dev libx264-dev \
libxcb-xinerama0-dev libxcb-shm0-dev libjack-jackd2-dev libcurl4-openssl-dev \
build-essential pkg-config cmake git checkinstall libfdk-aac-dev yasm
Compilando FFmpeg
git clone --depth 1 git://source.ffmpeg.org/ffmpeg.git
cd ffmpeg
./configure --enable-shared --prefix=/usr
make -j4
sudo checkinstall --pkgname=FFmpeg --fstrans=no --backup=no --pkgversion="$(date +%Y%m%d)-git" --deldoc=yes
sudo dpkg -i ffmpeg*.deb
Compilando OBS
git clone https://github.com/jp9000/obs-studio.git
cd obs-studio
mkdir build && cd build
cmake -DUNIX_STRUCTURE=1 -DCMAKE_INSTALL_PREFIX=/usr ..
make -j4
sudo checkinstall --pkgname=obs-studio --fstrans=no --backup=no --pkgversion="$(date +%Y%m%d)-git" --deldoc=yes
sudo dpkg -i obs-studio_*.deb
Referências