Har inte testat något liknande själv, men kanske något sådant här kan funka (eller i alla fall ge dig något att kika närmare på):
Rent teoretiskt skulle du nog kunna använda VLC (
http://www.videolan.org/).
Finns ett webinterface för att styra spelaren, osäker på hur det går att browsa alla filer dock. Alternativt kan du ju skriva din egen filbrowser och köra den valda filen genom vlc på servern.
Jag har för mig VLC kan lämna ifrån sig en ström som du borde kunna visa i valfri spelare (inkl flash spelare på en webbsida?).
Är det bara för ditt eget bruk spelar det kanske inte någon roll om det är aningen krångligt. I övrigt har jag inget annat förslag.