Jag skulle tippa på att youtube kör med on2's flix engine.
Den är nog inte billig då man måste emaila dem för att får ett pris:
https://flix.on2.com/
ffmpeg klarar dock de flesta format, annars kanske sothink's command-line produkt klarar några av de format med slutna licenser som inte ingår i ffmpeg:
http://www.sothinkmedia.com/flash-video-en...r-command-line/
Den kostar 4000 kr.
Själva jobbet att implementera lösningen tar inte många timmar med ffmpeg i.a.f.
Det är några enstaka rader med kod man lägger till uppladdningskriptet.