Anotační možnosti standardu MPEG7 a jeho použití pro film

MPEG-7 je standard ISO/IEC vyvinutý konzorciem MPEG (Moving Picture Experts Group), tedy tím, které stojí za úspěšnými standardy MPEG-1 (1992), MPEG-2 (1994), a MPEG-4 (1998 a 1999). Standardy kódování videa MPEG-1 a MPEG-2 jsou základem celého segmentu produktů a technologií, jako Video CD, MP3, DVD, digitální televize DVB aj. MPEG-4 je první standard pro reprezentaci multimédií, umožňující interaktivitu a kombinaci přirozeného a syntetického obrazu ve formě objektů (jeho základem je model audiovizuálních dat jako kompozice těchto objetů). MPEG4 standardizuje technologické prvky, umožnující integraci produkčních i distribučních procesů na poli interaktivních a mobilních multimédií, včetně digitální televize. To je třeba říci jako úvod do kontextu pro MPEG7

Standard MPEG-7, formálně také zvaný "Multimedia Content Description Interface", není formátem pro kódování videa jako ty výše zmiňované. Je řadou standardizovaných nástrojů pro popis multimediálního obsahu. V MPEG7 tedy jde o textový popis nějakého videa, např. jaký je jeho název, autor a co se v něm děje. Textový v tomto případě znamená, že je lidsky i strojově čitelný, což je dosaženo použitím značkovacího jazyka XML. MPEG-7 definuje takových nástrojů pro audiovizuální popis rozsáhlou sadu (Description Tools jsou metadatové elementy, jejich struktura a vztahy, které standard definuje ve formě deskriptorů a deskripčních schémat). Ty jsou základem pro aplikace, kterým umožní efektivní přístup k multimediálnímu obsahu.

MPEG-7 se dotýká mnoha různých aplikací v různých prostředích, což znamená, že musí nabízet rozšiřitelný a flexibilní rámec pro popis audiovizuálních dat. Proto není monolitickým systémem, ale spíš sadou metod a nástrojů pro různé přístupy k popisu obsahu. MPEG-7 byl navržen, aby bral v úvahu všechny přístupy, které mohou hrát roli v jiných důležitých standardech jako např. TV Anytime, Dublin Core, SMPTE Metadata Dictionary, a EBU P/Meta. Tyto standardizační aktivity jsou zaměřeny na specifické aplikace, zatímco MPEG-7 je pokud možno co nejobecnější. MPEG-7 používá pro textovou reprezentaci XML a XML Schema je základem jeho DDL (Description Definition Language). To mj. znamená, že jeho Description Tools jsou rozšiřitelné podle potřeb specifických aplikací. Populární formát XML zaručuje snadnou interoperabilitu s databázemi a informačními systémy založenými třeba i na jiných metadatových standardech.

Hlavní oblasti použití MPEG7:

• Katalogizace - metadata pro indexaci rešeršními systémy, videobankami apod.
• Produkce - příprava verzí - označení scén s různým ratingem apod.
• Editování - editační pokyny a poznámky

Příklady programů pro přípravu MPEG7 popisu a ukázky práce s nimi

Frameline 47

http://www.frameline.tv/

Generuje popis videa ve formě XML plně kompatibilní s MPEG-7 Metadata Standardem, takže může být použita různými způsoby v informačních systémech a procesech. Metadatové schema MPEG-7 je základem rozhraní pro popis obsahu Frameline47. Program má tři úrovně anotací. Anotaci souboru, která se vztahuje k celému videu, slovní notaci (Word notation) pro popisy a klíčová slova scén a sekvencí a nakonec anotaci obsahu, která pracuje přístupem Kdo-Co-Kdy-Kde?

Frameline47 pracuje na Mac OS X a načítá video přes QuickTime. V první fázi je video segmentováno na jednotlivé záběry a v editačním rozhraní pak probíhá popis. Program má těchto rozhraní více, funguje i jako hypertextový (či hyperfilmový) přehrávač, kdy může zobrazovat přiřazení popisy a na jejich základě také řídit přehrávání. V jakémkoli bodě lze pomocí menu zvolit, že dále chceme přehrávat např. pouze scény s vybranou postavou, scény odehrávající se na uřčitém místě apod.

Frameline umožňuje uložit výsledek jako MPEG7 XML i jako MPEG4 video s vloženými MPEG7 metadaty.

IBM VideoAnnEx
http://www.research.ibm.com/VideoAnnEx/

Anotační nástroj VideoAnnEx od IBM pomáhá popsat video použitím MPEG7 metadat. Každý záběr může být popsán statickými deskriptory scén, deskriptory klíčových objektů, událostí a dalšími řízenými slovníky. Tyto slovníky umožňuje VideoAnnEx vytvářet i ukládat. S každým záběrem se pak pojí MPEG7 popisy ve výsledném XML souboru. Takové soubory umí program i otevřít a zobrazit k odpovídající videosekvenci.

VideoAnnEx jako vstup potřebuje MPEG video sekvenci a odpovídající soubor se segmentací na záběry. Tento soubor lze načíst již vytvořený z jiných zdrojů, nebo vygenerovat při prvním otevření videa. Poté, co je provedena detekce, je možné ji uložit v MPEG7 schematu. Alternativně lze soubor vygenerovat pomocí IBM CueVideo Shot Detection Toolkit.