Testování kodérů MPEG4 - výsledky projektu
Technická zpráva CESNETu
číslo 8/2003
k dispozici též ve formátech
PDF,
PostScript a
XML.
Tomáš Kutina, Jan Svoboda, Lukáš Soudek, Martin Lešner, Petr
Kněz, Petr Čížek, Aleš Sobotka, Pavel Stánek, Michal Krsek, Pavel
Lederbuch
14. 5. 2003
1 Úvod
1.1 Účel projektu
Projekt "Testování kodérů MPEG4" vznikl na základě požadavků a specifikace zadavatele, kterým je sdružení CESNET. Na základě těchto požadavků byly vyhledány požadované informace o kodecích, vytvořena a nafilmována testovací videa, vypracovány metodiky a otestovány jednotlivé kodeky. Vyhotovitelem a dodavatelem je tým sestavený v rámci předmětu Multimediální a hypermediální systémy, vyučujícím je ing. Pavel Lederbuch. Tým se jmenovitě skládal z těchto řešitelů: Tomáš Kutina, Jan Svoboda, Lukáš Soudek, Martin Lešner, Petr Kněz, Petr Čížek, Aleš Sobotka, Pavel Stánek. Účelem projektu je poskytnout důležité informace a srovnání některých kodeků podporujících kódování MPEG4. Porovnání je zaměřené na poměr kvalita, velikost datového toku. Pro klasický datový tok a mobilní zařízení.
Forma a metodika, jakož i časový rámec testování byly specifikovány v menším týmu ve složení Michal Krsek, Tomáš Kutina a Pavel Lederbuch. Následně širší tým provedl testování a vyhodnocení.
V dokumentu jsou používány pojmy kodér a kodek, které jsou pro účely testování plně zaměnitelné.
V různých částech dokumentu jsou používány různé názvy pro testované technologie. Je to způsobeno tím, že každý proudovací systém je tvořen několika komponentami a při testování jsme se snažili maximálně podržet věrnost daného terminologie vůči jednotlivým komponentám. Termíny v následujících dvou řádcích představují subsystémy téhož systému.
- Windows Media 9, Windows Media Encoder, WM9
- Real Video, Real video 9, Real Producer Plus, RV9
1.2 Účel dokumentu
Tento dokument je popisem všech zjištěných, nalezených nebo změřených, vlastností o vybraných kodecích. Popisuje je tak, jak bylo zadavatelem požadováno a týmem provedeno.
1.3 Rozsah testování
Velikost a rozsah provedeného testování byl omezen technickými možnostmi a dostupností veřejně přístupných informací.
1.4 Definice, zkratky a akronymy
Zde jsou vysvětleny pojmu užívané dále v tomto dokumentu:
- bitrate
- je rychlost přenosu dat, jednotlivých bitů. Nejčastěji v bitech za sekundu ( b/s, kbps, ldots; ).
- bitstream
- je velikost datového toku bitů. Nejčastěji v bitech za sekundu (bps, kbps, ldots;).
- proudování
- se nazývá proces vysílání videa po síti (např. počítačové)
- fps
- (frames per second) udává zobrazených snímků za sekundu.
- pal
- je systém barevné televize, který je používán u nás. Rozlišení obrazu je 720×576.
1.5 Přehled dokumentu
Tento dokument se sestává z následujících částí:
- úvod
- popis projektu, vymezení pojmů, zaměření projektu
- specifikace požadavků
- vymezeni účelu projektu
- zpracování
- popis postupů a zhodnocení výsledků
- přílohy
- detailní informace k výsledkům projektu
2 Specifikace požadavků
V této části jsou popsány požadavky na zjištěné vlastnosti specifikované zadavatelem. Požadavky jsou rozděleny podle jednotlivých částí i s dodatky, které byly specifikovány v průběhu zpracovávání projektu.
2.1 Požadavky specifikované zadavatelem
- Úkolem je prověřit vlastnosti tří kodeků/formátů Real Video, Windows Media 9 a Envivio MPEG4. (Jelikož se nepodařilo získat kodér Envivio MPEG 4, bylo testování omezeno na první dvě technologie.)
- Získat, případně vytvořit testovací materiál
- video s malými objekty a velkým počtem změn (např. natočit mravence)
- vytvořit video s bílým šumem
- video s "mluvící hlavou"
- Otestovat kodeky z objektivního hlediska
- zjistit parametry deklarované výrobci
- vybrat parametry, které se budou testovat
- definovat metodiky pro testování
- otestovat vybrané parametry
- Otestovat kodeky ze subjektivního (vizuálního) hlediska
- definovat metodiky pro subjektivní testování
- zakódovat videa, promítnout je skupině lidí a nechat je ohodnotit kvalitu zobrazení
- Testování provést na dvou typech videí
- nízká kvalita s rozlišením blízkým 144 x 90, bitstream cca 30 kb/s, vhodné pro mobilní zařízení
- kvalita PAL, rozlišení 720 x 576 x 25 snímků za sekundu, bitstream 1Mb/s
- Délka jednotlivých videosekvencí: 30-60 sekund
- Vyhledat a přidat k dokumentům nezávislé technické testy kodeků
- Otestovat kodeky křížově proti sobě podle parametrů, které o nich uvádějí výrobci
3 Analýza požadavků
3.1 Metodiky testování
Podle zadání bylo rozděleno testování na tři části. A to objektivní testování, subjektivní testování a testování vlastností kodeků proti sobě podle porovnání výrobců.
- objektivní testování
- porovnat výslednou velikost souboru
- porovnat dobu komprese na jednom počítači
- porovnat zatížení procesoru na jednom počítači
- porovnat paměťovou náročnost
- na zakódovaném materiálu porovnat zatížení procesoru při přehrávání
- subjektivní testování
- přehrát maximálně 30-ti sekundovou část z každého videa zakódovaného jiným kodekem
- nechat každého člověka ohodnotit věrnost barev obrazu
- nechat každého člověka ohodnotit ostrost obrazu
- nechat každého člověka ohodnotit celkový dojem
- přehrát video s rychlým pohybem a dát ohodnotit dojem z obrazu
- křížové testování
- na stránkách výrobců vyhledat jejich vlastní porovnání kodeků. Pro testování použít to porovnání, které se dá aplikovat na všechen materiál a kodeky.
4 Zpracování
4.1 Popis testovaných videí
Zde je popis získaných videí na testování. Pokud byla videa natáčena, byla použita digitální kamera Sony DCR-TRV330E. Animovaný materiál byly vytvořen na počítači v programu 3D studio Max. Video s bílým šumem bylo vytvořeno pomocí funkce v programu matlab 6.0. Použitým stříhacím programem byl VirtualDub.
- Jako video s velkým počtem změn a malých objektů jsme natočili digitální kamerou cvrčky v zoologické zahradě, jako jedinou dostupnou alternativu k doporučení natočit mravence, které v době akvizice materiálu nebylo možné natočit. Na videu je vidět velké množství cvrčků rychle se pohybujících jeden přes druhého. Video muselo být sestříháno ze dvou částí a má délku 60 sekund.
- Video s bílým šumem bylo vytvořeno skriptem, který je v přílozeF. Video má délku 60 sekund.
- Video s "mluvící hlavou" bylo získáno natočením přednášejícího předmětu MHS. Použita byla vystřižená část s nejmenšími změnami v obraze. Na videu je vidět hlava a ramena ing. Lederbucha. Video má délku 60 sekund.
- Videa s počítačovou animací jsou dvě. První zobrazuje přelet létajícího mimozemského plavidla ve vesmíru a jeho přistání se spuštěním mimozemšana. Na druhém videu je otáčející se propletenec z trubek zlatavé barvy měnících rychlost svého otáčení. První video má délku 33 sekund, druhé 60 sekund.
4.2 Vyhledané parametry o kodecích
Pro vyhledání parametrů o kodecích jsme použili informace ze stránek producentů jednotlivých systémů jako relevantního zdroje informací. Zjištěné informace jsou vypsány v příloze A. U každé vlastnosti je buď napsána hodnota nebo ano, pokud software tuto vlastnost má, slovo ne pokud tomu tak není, případně ani jedna z těchto možností jestliže tuto informaci producent na svých stránkách neuvedl. V tomto přehledu je ještě zahrnut software společnosti Envivio. Stránky producentů pro jednotlivé kodeky jsou pro RW9 [1], WM9 [2], Envivio [3].
4.3 Objektivní testování
4.3.1 Testování videa s nízkým rozlišením
Testování probíhalo na počítači s procesorem AMD Athlon XP 2100+, 512 MB 333MHz RAM. Všechna videa (až na ufo.avi) byla o délce 1 minuty. U videa ufo.avi byl tedy výsledný čas a velikost zdvojnásobeny. Porovnávali jsme dva kodéry - Windows media Encoder a Helix Producer Plus (RealNetworks). Zadaná videa jsme dvouprůchodově zakódovali do výstupní velikosti 144 x 92, 34 kbps bitrate, bez zvuku.
Téměř ve všech testech dopadl Windows media encoder o poznání lépe než Helix Producer. Výsledky testů jsou uvedeny níže.
- Zatížení CPU během komprese:
- Real media - 100 %
- Windows media - 65%
- Využití operační paměti během komprese:
- Real media - 13,8 MB
- Windows media - 1,7 MB
- Průměrná délka komprese:
- Real media - 147 s
- Windows media - 72,8 s
- Zatížení CPU zakódovaných videí:
- Real media - 5%
- Windows media - 3%
- Výsledná velikost souborů - poměr komprese (původní velikost / nová
velikost)
- Real media - 3460 times; menší nový soubor (v průměru při zadaných vstupech)
- Windows media - 3016 times; menší nový soubor (v průměru při zadaných vstupech)
Jednotlivé změřené údaje jsou vypsány v příloze B1.
4.3.2 Závěr
Z výše uvedených výsledků testování vyvozujeme, že Windows Media Encoder poskytuje lepší výsledky než Helix Producer Plus od RealNetworks. Jediným opačným výsledkem je výsledná velikost souborů po kompresi, kde Windows Media Encoder poskytuje větší soubor než Helix Producer Plus.
4.3.3 Testování videa s vysokým rozlišením
Testování probíhalo na počítači s procesorem AMD Athlon ThunderBird 1400, 392 MB PC133 RAM. Všechna videa (až na ufo.avi) byla o délce 1 minuty. U videa ufo.avi byl tedy výsledný čas a velikost zdvojnásobeny.
Porovnávali jsme dva kodéry - Windows media Encoder a Helix producer Plus ( RealNetworks).
Zadaná videa se dvouprůchodově zakódovala do výstupní velikosti 720 x 576, 25 fps, 1000 kbps bitrate, bez audia.
Téměř ve všech testech dopadl Helix Producer Plus o poznání lépe než Windows Media encoder. Největší rozdíl jsme zaznamenali u doby komprese, výsledky v ostatních testech byly vyrovnanější. Níže jsou uvedeny průměrné hodnoty testů.
- Zatížení CPU během komprese:
- Real media - 100 %
- Windows media - 100%
- Využití operační paměti během komprese:
- Real media - 55,8 MB
- Windows media - 59,7 MB
- Průměrná délka komprese:
- Real media - 342 s
- Windows media - 694,4 s
- Zatížení CPU zakódovaných videí:
- Real media - 58,2%
- Windows media - 23,6%
- Výsledná velikost souborů - poměr komprese (původní velikost / nová
velikost)
- Real media - 141,7 times; menší nový soubor (v průměru při zadaných vstupech)
- Windows media - 137,3 times; menší nový soubor (v průměru při zadaných vstupech)
4.3.4 Závěr
Z předešlých hodnot a z grafů je vidět, že ve většině parametrů jsou kodéky srovnatelné. Helix Producer Plus je výrazně lepší v čase potřebném k zakódování videa, který je i o více než polovinu kratší.
4.4 Křížové testování
U křížového testování bylo úkolem vyhledat informace od producentů kodeků, podle kterých by bylo možné otestovat všechny kodeky. Porovnání, aplikovatelné na všechny kodeky, které producenti uváděli bylo srovnání s kódováním MPEG2.
- Výrobce Real Video 9 uvedl, že kódované video jeho kodekem má stejnou
kvalitu oproti MPEG2 s dvojnásobným bitrate. Pro porovnání jsme zvolili tyto
parametry.
- rozlišení PAL, 1Mbps bitrate pro WM9 a RV9, MPEG2 2Mbps bitrate
- rozlišení 144x92, 30kbps bitrate pro WM9 a RV9, 60kbps pro MPEG 2
- Výrobce Windows Media 9 uvedl více hodnot k porovnání a to stejnou kvalitu
pro 1,3 až 2 Mbps u WM9 a 4 až 6 Mbps u MPEG 2, 2 až 4 pro WM9 a 6 až 8 pro
MPEG 2 oboje pro rozlišení 720x480x 24fps, 5 až 8 Mbps pro WM9 a 19Mbps MPEG2
pro rozlišení 1280x720x24fps. Pro porovnání jsme zvolili tyto parametry.
- rozlišení PAL, 1,5 Mbps pro RV9 a WM9, 5Mbps pro MPEG2
- rozlišení 1280x720, 6Mbps bitrate pro WM9 a RV9, 19 Mbps pro MPEG 2
- křížové testování
- na stránkách výrobců vyhledat jejich vlastní porovnání kodeků. Pro testování použít to porovnání, které se dá aplikovat na všechen materiál a kodeky.
Protože proces zakódování materiálu ještě nevypovídá o kvalitě kódování, doplnili jsme ještě slovním popisem toho, jak video po zakódování vypadalo. Celkový přehled je k nalezení v příloze C.
4.4.1 Závěr
Jako výsledek porovnání lze uvést, že tvrzení producentů kodeků nebyla na testovacích vzorcích potvrzena. Při největším rozlišení se ukázala ztrátovost komprese testovaných kodeků, když na všech testovaných videích měl MPEG2 výrazně lepší výsledky. Ve všech případech se jak u R9 tak u WM9 tvořily velké bloky a obraz celkově ztrácel na detailech. Při nejmenším rozlišení MPEG2 naopak viditelně ztrácel a pouze u video sekvence, která zachycovala cvrčky, obstál. S tímto rozlišením se nejlépe vypořádal WM9, ačkoli i tento kodek měl v případě animace nemalé problémy s barevnými přechody. Nejzajímavějším zjištěným faktem testování byla komprese natočených cvrčků. Zde vykazoval MPEG2 mnohem lepší vizuální vlastnosti než oba kodeky, především Real Video 9 měl s touto video sekvencí nemalé problémy a v největším rozlišení se obraz změnil ve velké bloky, kde se ztrácela i ostrost barev.
4.5 Subjektivní testování
- věrnost barev
- ostrost hran
- celkový dojem
Testování se zúčastnilo deset náhodně vybraných studentů. Videa byla zakódována jak pro nízké rozlišení a nízký datový tok ( 30kbps ), tak pro vysoké rozlišení (pal) a vysoký datový tok (1Mbps), dle zadání. Diváci hodnotili, zda se jim daná vlastnost, např. (ostrost hran) líbí nebo ne.
Výsledky u nízkého datového toku jsou následující:
- při hodnocení věrohodnosti barev získal WM9 oproti RV9 23 ku 17 bodům
- při hodnocení ostrosti hran získal naopak RV9 oproti WM 9 22 ku 18 bodům
- při hodnocení celkového dojmu zvítězil těsně RV9 proti WM9 ziskem 21 ku 19
Výsledky u vysokého datového toku následují:
- při hodnocení věrohodnosti barev zvítězil výrazně WM9 oproti RV9 26 bodů ku 14
- při hodnocení ostrosti hran získal naopak RV9 oproti WM9 zisk 22 ku 18
- při hodnocení celkového dojmu zvítězil RV9 proti WM9 ziskem 22 ku 18
Přehled o hodnocení je možné nalézt v příloze.
4.5.1 Závěr
Lze konstatovat, že ve věrnosti barev jednoznačně zvítězil WM9. U hodnocení ostrosti hran hodnotící považovali za lepší videa kódovaná RV9. A ve výsledném dojmu opět těsně RV9 zvítězil.
4.6 Vyhledané nezávislé testy kodeků
Cílem bylo vyhledat nejrelevantnější informace o testování kodeků od třetích stran. Tedy nezávislé na producentech kodeků, protože by výsledné testy mohly být zadavatelem ovlivněny. Přestože záměrem bylo vyhledat informace spíše technického rázu, zařadili jsme do popisu všechna relevantní testování, protože jsme nalezli pouze tři takové dokumenty. U většiny z nich se technické údaje prolínají s údaji subjektivními, tedy závislými na pozorovateli.
Následuje výtah výsledků, ke kterým hodnotitelé došli. Jednotlivé výtahy z článků a technických zpráv jsou k nalezeni v příloze E.
Článek v PC Magazine [4] s názvem RealVideo: solidní kódování videa (RealVideo 9: Solid Video Encoding) pojednává především o kodéru od Realu, porovnává je Microsoft Windows Media Technologies (WMV 8), Sorenson Media's Sorenson Video 3, and On2 Technologies' VP5. V tomto porovnání autor vyslovuje názor, že video kódované kodekem od Realu je ostřejší. Dále se snaží odpovědět na otázku, zda, je pravdivé, co tvrdí reklama od Realu na svůj a to, že nový kodek znamená úsporu 30% v datovém toku oproti RealVideo8 při všech úrovních kvality. Autor píše, že tato informace podle jeho testování neukázala jako pravdivá. V dalším testu se mu stejně tak nepodařilo potvrdit, že RV9 je lepší při kódování na výsledném videu, než kódování MPEG2 na čtvrtině datového toku a oproti MPEG4 na polovině datového toku. Přesto jej ve výsledku považuje za nejlepší kodek na trhu.
Další článek [5] v PC Magazine zabývající se testováním má název Audio a video formáty (Audio and Video Formats). Autor v něm testuje QuickTime Pro 6, Helix Producer, and Windows Media Encoder 9 na čtyřech typech videí. Nejvíce úspěchů zaznamenaly Real a Windows Media; QuickTime není vhodný na proudování, používá sice standard MPEG4, ale nemůže v kvalitě soupeřit s R9 a WM9.
Studie laboratoří [6]. Tato studie byla zadána firmou RealNetworks, Inc., aby porovnala dva softwary na kompresi videa a to RealVideo 9 a Windows Media Video 9 beta. Cílem bylo porovnat klipy, které měly stejný bitrate a s využitím přehrávačů videa od těch samých firem. Testovaný materiál videa byl přehrán skupině 4 uživatelů a to jak přehrávacích od RealNetworks tak i od Microsoftu. Uživatelům byly přehrávány vždy ve stejném pořadí a uživatel byl ve dvou různých vzdálenostech od monitoru. Konkretně 24 palců a 72 palců. Testovala se jen obrazová složka a ne zvuková. Shrnutí studie je takové, ze RealVideo9 preferovalo 48,29% uživatelů pro hladkost při pohybu, 73.14% pro jasnost obrazu a 65.71% pro celkovou preferenci.
5 Přílohy
5.1 Vyhledané parametry o kodecích
| vlastnost | Win. Media 9 | Real Video 9 | Envivio Mpeg |
|---|---|---|---|
| proměnný bitrate | ano | ano | ano |
| jednoprůchodové kódování | ano | ano | ano |
| dvou-průchodové kódování | ano | ano | ano |
| dávkové kódování | ano | ||
| streaming | ano | ano | ano |
| 5.1 zvuk | ano | ano | |
| 7.1 zvuk | |||
| prokládaný mód | ano | ano | |
| max.rozl.výst.soub. | 1920x1080 | HDTV | |
| max.kvalita zvuku | 24bit x 96 | 24bit x 96 | |
| max.vel.výst.soub. | 30 GB |
Tabulka 1: Možnosti kodeků
| formát | Win. Media 9 | Real Video 9 | Envivio Mpeg |
|---|---|---|---|
| avi | ano | ano | ano |
| mov | ano | ano | |
| mpeg 1 | ano | ano | ano |
| mpeg 2 | ne | ano | |
| dv | ano | ||
| wav | ano | ano | ano |
| mp3 | ano | ano | |
| asf | ano | ||
| wma | ano | ||
| wmw | ano | ||
| bmp | ano | ||
| jpg | ano | ano |
Tabulka 2: Možné vstupní formáty
| filtr | Win. Media 9 | Real Video 9 | Envivio Mpeg |
|---|---|---|---|
| intense telecine filter | ano | ano | |
| deinterlace filter | ano | ano | ano |
| black level correction filter | ano | ||
| filtr redukce šumu | ano |
Tabulka 3: Filtry kodeků
| platforma | Win. Media 9 | Real Video 9 | Envivio Mpeg |
|---|---|---|---|
| Windows 2000 | ano | ano | ano |
| Windows XP | ano | ano | ano |
| .NET | ano | ||
| linux/unix | ne | ano | ne |
| mac | starší verze |
Tabulka 4: Platformy
5.2 Parametry zjištěné ze softwaru
5.2.1 Helix (tm) Producer Plus 9.0.1
Hlavní oblasti:
- Kódování
- Použití video filtrů
Kódování:
Nastavení se nazývá Audiences (obecenstvo). Umožňuje zvolit si šablonu pro
kódování sekvence.
Šablony:
šablony jsou profily s nastavením podrobnějších kódovacích parametrů pro určité
druhy přenosů či různých kvalit videí. Šablony mohou být s konstantním bitovým
tokem (bit rate) a proměnným bitovým tokem. Program také rozlišuje tyto dva
formáty jinou příponou zakódovaného souboru. Přípona rm pro soubor s
konstantním bitovým tokem a rmvb pro video s proměnným bitovým tokem. Lze si
vytvořit vlastní šablonu nebo editovat vestavěné šablony.
U šablony můžeme nastavit jméno, velikost bitového toku (u proměnného bitového toku můžeme nastavit minimum a maximum), počet snímků za sekundu, maximální čas mezi klíčovými snímky.
- audio:
- no audio
- voice
- music
- video:
- normal
- slide show
- smothest motion
- sharpest image
- no video
- video kodek:
- RealVideo 9
- RealVideo 8
- RealVideo G2 with SVT
Velikost videa (obrazový rozměr) i se zachováním proporcí. Jedno či dvou průchodovou kompresi.
Video filtry:
- croping - ořezávání (s vizuální ukázkou vyřezávaného okna)
- deinterlace / Inverse telecine - nastavení prokládání videa a přestavení snímkování
- video noise reducion - nastavení redukce šumu
Program nabízí i vytváření logů, informace o zdrojovém souboru, spouštění více komprimací zároveň a připojování informací o zkomprimovaném video souboru (titulek, autor, popis atd.).
5.2.2 Microsoft(tm) Windows Media (tm) Encoder 9 Series, verze 9.0
Hlavní oblasti:
- Kódování
- Použití video filtrů
Kódování:
Pro nastavení kódování videí se používají Windows Media Encoder profily.
Nastavení je obdobné jako u předchozího programu, navíc je zde možné zvolit
nastavení videa podle norem NTSC (29.97/30 fps) nebo PAL (25 fps). Nastavení je
také podrobnější, lze například nastavit procento zahlazení.
Kódovat lze prostřednictvím video kodeků:
- Windows Media Video 9
- Windows Media Video 9 Screen
- Windows Media Video V8
- Windows Media Video V7
- Full frames (nekódovat)
Audio kodeky:
- Windows Media Audio 9
- Windows Media Audio 9 Voice
- Windows Media Audio 9 Professional
- None (PCM)
Video filtry:
- Croping - ořezávání (s vizuální ukázkou vyřezávaného okna).
- Deinterlace - nastavení prokládání videa.
- Inverse telecine - inverzní snímač (přestavení snímkování)
- Video noise reducion - nastavení redukce šumu.
Změna rozměru (proporční / neproporční), nastavení geometrie obrazu (Square pixels aj.). Program nabízí i vytváření logů, spouštění více komprimací zároveň a připojování informací o zkomprimovaném video souboru (titulek, autor, popis, atd.).
| Vlastnost | Helix Producer | WM9 |
|---|---|---|
| Víceprůchodová komprese | Ano (1 a 2 průchody) | Ano (1 a 2 průchody) |
| Možnost komprese | ||
| pouze videa či audia | Ano | Ano |
| Kompatibilita se staršími kodeky | Ano | Ano |
| Předdefinované formáty NTSC / PAL | Ano | Ne |
| Croping | Ano | Ano |
| Noise reducion | Ano | Ano |
| Smoothness | Ano (procentuálně) | Ano (napevno) |
| Deinterlace | Ano (implic. interlaced) | Ano |
| Inverse telecine | Ano | Ano |
Tabulka 5: Hrubé srovnání možností nastavení komprimace v programech
| Vlastnost | Helix Producer | WM9 |
|---|---|---|
| Podrobnější informace o zdrojovém souboru | Ne | Ano |
| Připojení informací k výstupnímu souboru | Ano | Ano |
| Propojení na sí / Internet | Ano | Ano |
| Možnost zobrazovat při kompresi vstup a výstup v různých režimech | Ano (input, output, both,split) | Ne (dvě okna napevno) |
| Otevírané formáty | Aif, Aifc, Aiff Avi, Mpg, Mpeg, Mov M1v, Mp2, Mp3 Wma, Wmf, Wmv Au, Wav, Snd Qt, Dv | Asf, Avi, Mpg Bmp, Jpg Mp3, Wav Wmv, Wma |
Tabulka 6: Hrubé srovnání možností programů
5.3 Změřené údaje pro objektivní testování
5.3.1 Pro videa s nízkým rozlišením
| celkový | výsledná | zatížení | paměť | CPU | |
|---|---|---|---|---|---|
| video | čas [s] | velikost[KB] | [%] | průměr [MB] | průměr [%] |
| cvrčci | 177 | 262 | 1 | 24,5 | 100 |
| bílý šum | 100 | 254 | 15 | 14 | 100 |
| animace | 159 | 256 | 1 | 13,5 | 100 |
| ufo | 62 | 138 | 7 | 5,5 | 100 |
| "mluvící hlava" | 175 | 256 | 1 | 11,5 | 100 |
Tabulka 7: Real media
| celkový | výsledná | zatížení | paměť | CPU | |
|---|---|---|---|---|---|
| video | čas [s] | velikost[KB] | [%] | průměr [MB] | průměr [%] |
| cvrčci | 53 | 298 | 4 | 0 | 100 |
| bílý šum | 70 | 289 | 0 | 0,5 | 47,5 |
| animace | 125 | 291 | 5 | 1 | 37,5 |
| ufo | 33 | 164 | 4 | 0 | 40 |
| "mluvící hlava" | 50 | 289 | 2 | 7 | 100 |
Tabulka 8: Windows media
| video | zatížení [%] |
|---|---|
| cvrčci | 11 |
| bílý šum | 18 |
| animace | 30 |
| ufo | 25 |
| "mluvící hlava" | 11 |
Tabulka 9: Originální videa
Obrázek 1: Délka komprese
Obrázek 2: Poměr komprese
Obrázek 3: Spotřeba paměti při kompresi
Obrázek 4: Výsledná velikost souboru
Obrázek 5: Zatížení CPU při kompresi
Obrázek 6: Zatížení počítače při přehrávání
5.3.2 Pro videa s vysokým rozlišením
| celkový | výsledná | zatížení | paměť | CPU | |
|---|---|---|---|---|---|
| video | čas [s] | velikost[KB] | [%] | průměr [MB] | průměr [%] |
| cvrčci | 426 | 8017 | 71 | 64 | 100 |
| bílý šum | 284 | 7566 | 58 | 63 | 100 |
| animace | 458 | 7522 | 67 | 52 | 100 |
| ufo | 102 | 4100 | 60 | 46 | 100 |
| "mluvící hlava" | 440 | 7469 | 77 | 55 | 100 |
Tabulka 10: Windows media
| celkový | výsledná | zatížení | paměť | CPU | |
|---|---|---|---|---|---|
| video | čas [s] | velikost[KB] | [%] | průměr [MB] | průměr [%] |
| cvrčci | 953 | 7861 | 13 | 63 | 100 |
| bílý šum | 656 | 7593 | 18 | 64 | 100 |
| animace | 641 | 7663 | 30 | 63 | 100 |
| ufo | 373 | 4393 | 28 | 54 | 100 |
| "mluvící hlava" | 849 | 7653 | 29 | 54 | 100 |
Tabulka 11: Real media
| video | zatížení [%] |
|---|---|
| cvrčci | 25 |
| bílý šum | 10 |
| animace | 20 |
| ufo | 8 |
| "mluvící hlava" | 25 |
Tabulka 12: Originální videa
Obrázek 7: Délka komprese
Obrázek 8: Poměr komprese
Obrázek 9: Spotřeba paměti při kompresi
Obrázek 10: Výsledná velikost souboru
Obrázek 11: Zatížení CPU při kompresi
Obrázek 12: Zatížení počítače při přehrávání
5.4 Křížové testování
5.4.1 Stejná kvalita oproti dvakrát většímu bitrate (podle RealNetworks)
| video | R9 | WM9 | MPEG2 | Poznámky |
|---|---|---|---|---|
| animace | Bez artefaktů, ale rozmyté | Na hranách artefakty, hrubé barevné přechody šum | Na změnách a na hranách artefakty, jinak docela pěkné; nejhezčí | |
| bílý šum | Nejlepší jemnost | Ne tak jemné jako R9 | Nejhorší, velké makrobloky | |
| cvrčci | Sem-tam kostky, ale znatelně rozmyté | Příliš mnoho makrobloků | Celkem pěkné, ale už je znát ztráta detailu | |
| hlava | Neostré, rozmyté ale koukatelné | Nejlepší, ostré, trocha šumu (+) | Celkem pěkné, ale už je znát ztráta detailu | |
| ufo | neostré, bez artefaktů | Dobrý detail, nejlepší | V pohybu známky komprese, neostré | Hodně tmavý |
Tabulka 13: PAL @1 Mbps, MPEG2 @ 2Mbps
| video | R9 | WM9 | MPEG2 | Poznámky |
|---|---|---|---|---|
| animace | Vymyté, nejméně makrobloků | patné barevné přechody | Nejlepší; zachován kontrast, ale šum a makrobloky | |
| bílý šum | Větší makrobloky než WM9, trochu ztrácí barvy | nejlepší | Největší makrobloky a hodně ztrácí barvu | |
| cvrčci | Vymyté neostré nic-moc | Méně ostré, než MPEG2 | Nejlepší Ostřejší, než *9 | |
| hlava | Méně detailů než MPEG2 | nejlepší | um, ale ostré | |
| ufo | Rozmyté a bez detailů | Nejvíce detailů opravdu pěkné nejlepší | Patrná ztráta detailů |
Tabulka 14: 144x92 *9 @ 30kbps MPEG2 @ 60kbps
5.4.2 Stejná kvalita při 1,2 až 5 Mbps a 4 až 6 pro mpeg2 (podle MS)
| video | R9 | WM9 | MPEG2 | Poznámky |
|---|---|---|---|---|
| animace | Lepší než WM9, lepší přechody ale méně výrazné. | Neodpovídá zdaleka MPEG2; hrubé barevné přechody,šum. | Nejlépe dopadl MPEG2 jen malé známky komprese-téměř dokonalé. | |
| bílý šum | Velké makrobloky | Jemnější než R9 | nejjemnější | *9 ztrácely oproti MPEG2 jas |
| cvrčci | Rozpité, rozmazané | Ostřejší než R9, ale výraznější známky komprese, kostkování, neodpovídá MPEG2 | Pěkný obraz, ostré;kostek jen málo, trochu rozmazané | |
| hlava | Patrná ztráta detailu, méně výrazné než WM9 výrazné než WM9, trochu rozmazané | Ostřejší kontrastnější než R9, ale více šumu, který budí spíše pozitivní dojem oproti rozmazání | Detaily, jen trochu lepší než WM9 | |
| ufo | Dost tmavý zdroj a také díky menšímu rozlišení vypadají soubory téměř shodně. |
Tabulka 15: PAL @ 1.5Mbps, MPEG2 @ 5Mbps
5.4.3 Stejná kvalita videa při 5-8 Mbps a 19 Mbps pro MPEG2
| video | R9 | WM9 | MPEG2 | Poznámky |
|---|---|---|---|---|
| animace | Horší přechody mezi barvami než MPEG2; podobná kvalita obou kodeků | |||
| bílý šum | Velké makrobloky | Velké makrobloky, ale zachovává barvu lépe než R9 | Nejjemnější, nejlépe zachovaná barvu | |
| cvrčci | Velké makrobloky, malé detaily méně výrazné barvy | Stejné jako jako Real až na lepší ostrost a výraznost barev. | Ve všech uvedených bodech lepší než WM9 a Real9 | |
| hlava | Velké makrobloky, malé detaily, méně výrazné barvy. Ostré přechody mezi barvami. | nejlepší | Srovnatelná ostrost s MPEG2. Makrobloky, ostré přechody mezi barvami - lepší než u Real9. | Nejlepší. Ostrost je srovnatelná s WM9. |
| ufo | Horší přechody mezi barvami než MPEG2; podobná kvalita obou kodeků |
Tabulka 16: 1280x720 @ 6Mbps MPEG2 @ 19Mbps
5.5 Subjektivní porovnání
| cvrčci | animace | ufo | hlava | |||||
|---|---|---|---|---|---|---|---|---|
| hodnotící | Real | WM9 | Real | WM9 | Real | WM | Real | WM9 |
| Milan V. | - | + | + | - | + | - | - | + |
| Pavel S. | - | + | - | + | - | + | - | + |
| Kuba V. | - | + | + | - | + | - | + | - |
| Tomáš | - | + | + | - | + | - | - | + |
| Petr . | - | + | - | + | - | + | - | + |
| Daniela K. | - | + | - | + | + | - | - | + |
| Roman T. | + | - | - | + | + | - | - | + |
| Pavel S. | - | + | + | - | - | + | + | - |
| Aleš S. | - | + | + | - | - | + | + | - |
| Petr | - | + | - | + | - | + | - | + |
Tabulka 17: 30 kbps - věrohodnost barev
| cvrčci | animace | ufo | hlava | |||||
|---|---|---|---|---|---|---|---|---|
| hodnotící | Real | WM9 | Real | WM9 | Real | WM | Real | WM9 |
| Milan V. | - | + | + | - | - | + | + | - |
| Pavel S. | - | + | + | - | + | - | + | - |
| Kuba V. | - | + | + | - | - | + | + | - |
| Tomáš | - | + | + | - | - | + | + | - |
| Petr . | - | + | - | + | - | + | - | + |
| Daniela K. | - | + | + | - | - | + | - | + |
| Roman T. | + | - | + | - | - | + | + | - |
| Pavel S. | + | - | + | - | + | - | + | - |
| Aleš S. | - | + | + | - | + | - | + | - |
| Petr | - | + | + | - | - | + | + | - |
Tabulka 18: 30 kbps - ostrost hran
| cvrčci | animace | ufo | hlava | |||||
|---|---|---|---|---|---|---|---|---|
| hodnotící | Real | WM9 | Real | WM9 | Real | WM | Real | WM9 |
| Milan V. | - | + | + | - | - | + | + | - |
| Pavel S. | - | + | + | - | + | - | + | - |
| Kuba V. | - | + | + | - | - | + | + | - |
| Tomáš | - | + | + | - | - | + | + | - |
| Petr . | - | + | + | - | - | + | + | - |
| Daniela K. | - | + | + | - | - | + | - | + |
| Roman T. | + | - | + | - | - | + | + | - |
| Pavel S. | - | + | + | - | - | + | + | - |
| Aleš S. | - | + | + | - | - | + | - | + |
| Petr | + | - | + | - | - | + | + | - |
Tabulka 19: 30 kbps - celkový dojem
| cvrčci | animace | ufo | hlava | |||||
|---|---|---|---|---|---|---|---|---|
| hodnotící | Real | WM9 | Real | WM9 | Real | WM | Real | WM9 |
| Milan V. | - | + | + | - | + | - | - | + |
| Pavel S. | - | + | - | + | - | + | - | + |
| Kuba V. | - | + | + | - | + | - | + | - |
| Tomáš | - | + | + | - | + | - | - | + |
| Petr . | - | + | - | + | - | + | - | + |
| Daniela K. | - | + | - | + | + | - | - | + |
| Roman T. | + | - | - | + | + | - | - | + |
| Pavel S. | - | + | + | - | - | + | + | - |
| Aleš S. | - | + | + | - | - | + | + | - |
| Petr | - | + | - | + | - | + | - | + |
Tabulka 20: 1 Mbps - věrohodnost barev
| cvrčci | animace | ufo | hlava | |||||
|---|---|---|---|---|---|---|---|---|
| hodnotící | Real | WM9 | Real | WM9 | Real | WM | Real | WM9 |
| Milan V. | - | + | - | + | - | + | + | - |
| Pavel S. | + | - | + | - | - | + | + | - |
| Kuba V. | + | - | + | - | + | - | + | - |
| Tomáš | - | + | - | + | + | - | - | + |
| Petr . | - | + | + | - | - | + | - | + |
| Daniela K. | - | + | + | - | + | - | + | - |
| Roman T. | - | + | + | - | + | - | - | + |
| Pavel S. | - | + | - | + | + | - | - | + |
| Aleš S. | - | + | + | - | + | - | + | - |
| Petr | - | + | + | - | + | - | + | - |
Tabulka 21: 1 Mbps - ostrost hran
| cvrčci | animace | ufo | hlava | |||||
|---|---|---|---|---|---|---|---|---|
| hodnotící | Real | WM9 | Real | WM9 | Real | WM | Real | WM9 |
| Milan V. | - | + | + | - | + | - | - | + |
| Pavel S. | - | + | - | + | + | - | + | - |
| Kuba V. | - | + | + | - | + | - | - | + |
| Tomáš | - | + | + | - | + | - | - | + |
| Petr . | - | + | - | + | + | - | - | + |
| Daniela K. | - | + | - | + | + | - | - | + |
| Roman T. | + | - | + | - | + | - | + | - |
| Pavel S. | + | - | + | - | + | - | + | - |
| Aleš S. | - | + | - | + | + | - | + | - |
| Petr | - | + | + | - | + | - | - | + |
Tabulka 22: 1 Mbps - celkový dojem
5.6 Testování třetích stran - výtahy ze zpráv
5.6.1 Článek v PC Magazine
Článek je k dispozici na adrese [4]
RealVideo 9: Solid Video Encoding
Test kvality kodeků RV9 a vlastnosti udávané výrobcem.
Datum testu: 15.5.2002
Produkt: RealVideo 9
Cena: Zdarma ke stažení (Free download)
Požadavky:
- 200-MHz Pentium MMX nebo lepší
- 32MB RAM (static encoding)
- 64MB RAM (live broadcast)
- Microsoft Windows-compatible video capture card
- Microsoft Windows 98SE, 2000, Me nebo NT 4.0
- Linux with Kernel 2.4 nebo lepší a glibc 2.1 nebo lepší
- Company Info: RealNetworks Inc., 206-674-2700, www.realnetworks.com
Největší konkurenti RV9:
- Microsoft Windows Media Technologies (WMV 8)
- Sorenson Media's Sorenson Video 3
- On2 Technologies' VP5
Test1:
Testovací sekvence měly přenosové rychlosti: 34, 100, 200 a 500 Kbps. Vizuální
porovnání všech zmíněných kodeků při plynulém přehrávání (okna běžela vedle
sebe).
Výsledek:
Kodek RV9 ukazoval lepší kvalitu než ostatní, ale ne vždy.
Test2:
RealNetworks tvrdí, že RV9 má až třicetiprocentní úsporu datové šířky pásma ve
všech kvalitativních úrovních oproti RV8. Byla provedena porovnání: soubor
70Kbps v RV9 proti souboru 100-Kbps RV8 a 150-Kbps RV9 proti 200-Kbps RV8.
Výsledek:
RV9 má zřetelné zlepšení proti RV8, ale tvrzení třicetiprocentní úspory nebylo
potvrzeno.Nenašli u RV9 souboru s 70% šířkou pásma ani u statického či
přehrávání v reálném čase, že by byl lepší jak soubor v RV8. Pouze byla
nalezena obrazová kvalita v pásmech nižších jak RV8. Zajímavé bylo časté trhání
videa u RV9, což ukazuje na výpadky rámců.
Test3:
Výrobce tvrdí, že RV9 dodává kvalitu srovnatelnou s MPEG-2, ale jen s 1/4
datovým tokem. Toto tvrzení se autorovi nepodařilo potvrdit.
Závěr:
V tomto testu kodeků RV9 nemohla být potvrzena tvrzení výrobce. Přesto autor
považuje kodek za nejlepší na trhu.
5.6.2 Článek v PC Magazine
Článek je k dispozici na adrese [5]
Audio and Video Formats
- Testovány kodeky - QuickTime,Real,Windows Media 9
- Na 4 typech scén - "akční" hudební klip, klidný hudební klip, akční scéna z filmu, záběr na mluvící obličej
- Ve 2 bitratech - 38kbps, 300kbps
Výsledky:
Nejvíce úspěchů zaznamenaly Real a Windows Media; QuickTime není vhodný na
proudování, používá sice standard MPEG4, ale nemůže v kvalitě soupeřit s R9 a
WM9.
Jak si stojí jednotlivá prostředí pro kódování videa:
- Media Development Tools QT6 API 5/5
- RealOne Player & Helix DNA klient 4/5
- Windows Media 9 SDK 5/5
QuickTime API:
- obsahuje asi 2400 funkcí pro přehrávání, modifikování a editování QT souborů ve vyvíjené aplikaci.
- dovoluje používat pokročilé funkce např. pro echo ve zvuku (DSP), efekty pro video, a také vyvíjení nových kodeků
- vlastní skiny pro přehrávač - velmi jednoduše jen přes XML
- skvělá zpětná kompatibilita s předchozími verzemi
- Apple nabízí "open-source" streaming servery pro MacOS, Win, Solaris i Linux (možná v budoucnu pro Palm, PocketPC a Symbian)
- Apple slibuje, že široká použitelnost QT vyústí v použití jejich řešení v hardwarových přehrávačích
RealOne Player & Helix DNA klient:
- RealNetworks sponzoruje Helix projekt - open-source pro RealOne Player. Dostupné pro Win, Mac, Linux.
- dostupné pod dvěma licencemi RPSL (realnetworks public source license) a RCSL (real comunity src license - placené); Helix server pod ještě přísnější RCSL
- RealOne - skriptovatelný přehrávač (IE přes ActiveX a NN přes Plug-in), JavaScript a SMIL, video lze přehrát přímo v prohlížeči nebo mimo ve vlastním okně přehrávače, dají se snadno vytvořit nové skiny pro
- Real Visualization SDK dovoluje použít animace pro doprovod přehrávaného obsahu
- robustní sada COM objektů dovoluje kontrolovat vnitřní funkce přehrávače. Tyto funkce umožní psaní vlastních plug-inů pro vlastní formát obsahu, optimalizaci proudování atd.
- pokročilí programátoři mohou přeložit zdrojový kód Helix klienta s vlastními úpravami na vytvoření nového přehrávače
Windows Media 9 SDK:
- robustní a pružná sada nástrojů volně ke stažení
- kolem 20 COM objektů, na nich pracuje WM-Player
- skriptování - video ve webové stránce (JavaScript Visual Basic), ale v IE a ActiveX ovládací prvek
- vývojáři mohou zdokonalit přehrávací funkce přes Visual Basic nebo Visual C++; možnost vytvoření vlastních DLL plug-inů
- vlastní vzhled přehrávače (skining přes JavaScript), přidávání vlastních prvků při přehrávání (např. bannery)
- vizualizační nástroje (barevná hudba) přes DirectX
- DMO (direct media object) umožňuje použití DSP efektů, vlastní typ vykreslení obsahu; přes COM
- dá se naprogramovat server pro distribuci obsahu, server playlisty na bázi XML, dá se logovat aktivita a kontrolovat distribuovaný obsah v budoucnu .NET verze API
Obrázek 13: Test Pc magazine
5.6.3 Studie Laboratoří KeyLabs
Tato studie byla zadána firmou RealNetworks, Inc., aby porovnala dva softwary na kompresi videa a to RealVideo 9 a Windows Media Video 9 beta. Cílem bylo porovnat klipy, které měli stejné bitraty a s využitím přehrávačů dotyčných firem.
Zpracovaný materiál byl přehrán skupině 4 uživatelů a to jak přehrávačích od RealNetworks tak i od Microsoftu. Uživatelům byly přehrávány vždy ve stejném pořadí a uživatel byl ve dvou různých vzdálenostech od monitoru. Konkretně 24 palců a 72 palců. Testovala se pouze obrazová složka.
Výsledky studie:
RealVideo9 preferovalo
- 48,29% uživatelů pro hladkost při pohybu
- 73.14% pro jasnost obrazu
- 65.71% pro celkovou preferenci
Prohlížení bylo prováděno na jednom počítači pro zachování objektivity a všechny klipy byli uloženy lokálně na tomto počítači.
Byli použity tyto verze kódovacího SW:
- Helix Producer Plus (v9.0.0972)
- WMcmd.vbs (v9.00.00.2799)
přehrávačů:
- RealNetworks RealOne Player (build 6.0.11.780)
- Microsoft Windows Media Player (v9.00.00.2799)
Bylo použito 7 klipů s délkou do 60s. Pro zkomprimování byly použity 4 datové toky a to:
- 56K - Dialup Modem kvalita
- 160K - VHS kvalita
- 350K broadband kvalita
- 500K - blízká DVD kvalita
Prováděla se dvouprůchodová komprese při konstantním datovém toku.
Obrázek 14: Test KeyLabs
5.7 Skript v programu matlab na vygenerování bílého šumu
clear all
mov = avifile('bily_sum.avi')
mov.compression='none'; %zadna komprese
mov.quality=100;
for i=1:900
I = ones(576,720,3); %velikost obrazu
J(:,:,1) = imnoise(I(:,:,1),'gaussian');
J(:,:,2) = imnoise(I(:,:,2),'gaussian');
J(:,:,3) = imnoise(I(:,:,3),'gaussian');
F=im2frame(J);
mov=addframe(mov,F);
end;
mov=close(mov);
5.8 Relevantní odkazy
Použitá literatura
| [1] | http://www.realnetworks.com |
| [2] | http://www.microsoft.com |
| [3] | http://www.nvivio.com |
| [4] | http://www.pcmag.com/article2/0,4149,6080,00.asp |
| [5] | http://www.keylabs.com/results/realnetworks/vidperf9.shtml |
| [6] | http://www.keylabs.com/results/realnetworks/videocomparison.shtml |