PL183090B1

PL183090B1 - Sposób ukrywania danych i sposób wydzielania danych

Info

Publication number: PL183090B1
Application number: PL97332701A
Authority: PL
Inventors: Norishige Morimoto; Junji Maeda
Original assignee: Ibm
Priority date: 1996-10-15
Filing date: 1997-02-13
Publication date: 2002-05-31
Also published as: CN1233371A; CA2264625A1; PL183593B1; EP0935392A4; WO1998017061A1; HUP0100650A3; DE69738502D1; HK1022066A1; KR100368352B1; RU2181930C2; KR20000036133A; HUP0100650A2; PL332701A1; EP0935392A1; CA2264625C; TW312770B; CN1115876C; MY122045A; CZ290838B6; DE69738502T2

Abstract

1. Sposób ukrywania danych, w którym wstawia sie dane jako informacje dodatko- wa do obrazu ruchomego, utworzonego przez wiele ramek, znamienny tym, ze wyszczególnia sie co najmniej jeden obszar wstawiania w ramkach obrazu ruchomego, kojarzy sie zgodnie z regula wstawiania dane do wstawienia ze zbiorem cech cha- rakterystycznych obszaru wstawiania, po czym ceche charakterystyczna kazdego obszaru wstawiania ustala sie przez odnie- sienie do reguly wstawiania wedlug za- wartosci danych do wstawienia. FIG. 3 PL PL PL PL PL PL PL

Description

Przedmiotem wynalazku jest sposób ukrywania danych i sposób wydzielania danych, zwłaszcza danych jako informacji dodatkowej do obrazu ruchomego.

Wraz z rozwojem technik multimedialnych, duże ilości cyfrowych informacji wizyjnych i akustycznych były obecne w systemach intemetu lub oprogramowaniu CD-ROM. Dla cyfrowych informacji wizyjnych i akustycznych można łatwo stworzyć doskonałą kopię bez pogarszania jakości, więc nielegalne użycie i ochrona prawa autorskiego stają się problemem. W celu zapobiegania nielegalnemu kopiowaniu przez osoby trzecie danych nośnika, takich jak dane wizyjne i akustyczne, ośrodkiem zainteresowania staje się technika ukrywania dodatkowej informacji, na przykład podpisu twórcy (autora), w danych źródłowych nośnika. Wówczas gdy cyfrowe dane wizyjne lub inne podobne dane są kopiowane nielegalnie, można poznać, czy kopia jest nielegalna czy nie przez potwierdzenie podpisu ukrytego w kopii i określenie źródła. Technika ukrywania taka jak ta jest nazywana ukrywaniem danych.

Na figurze 1 przedstawiono obraz półtonowy, otrzymany gdy dane cyfrowe są obrazowane na monitorze ekranowym. W danych nośnika z fig. 1, która jest obrazem cyfrowym, wiadomości, takie jak opiekunka, rzeka, przedszkolak i ptaki, zostały ukryte, jak to pokazano na fig. l(b). Dane nośnika są otrzymywane przez segmentowanie obrazu, otrzymanego na przykład z fotografii, w bardzo małe części i wyrażają liczbowo jasność i odcień barwy każdej części. W tym czasie pierwotna wartość liczbowa obrazu dla obrazu jest nieznacznie zmieniona w sposób zamierzony. Jeżeli występuje mała zmiana wartości liczbowej, nie będzie prawie żadnego zakłócenia obrazu i nie będzie można wyczuwać zakłóceń. Jeżeli ta cecha jest wykorzystana umiejętnie, całkowicie różna informacja (dane wiadomości) mogą być ukryte w źródłowym sygnale wizyjnym. Te dane wiadomości mogą być dowolną informacją, na przykład wzorami siatki, linii tabulatora lub podpisami twórców obrazu wizyjnego. Dane wiadomości ukryte w danych nośnika mogą być wydzielone przez przetwarzanie ich przy pomocy specjalnego programu. Wobec tego w oparciu o wydzielone dane wiadomości, można sprawdzić, czy dane nośnika zostały zmienione.

Znany jest także sposób kompresji obrazów ruchomych (danych wizyjnych) w technice MPEG. W przypadku, gdy pewna dodatkowa informacja jest wprowadzana do strumienia bitów wizyjnych MPEG, zwykle był wykorzystywany sposób ukrywania dodatkowej informacji w polu danych użytkownika. Jednak w takim sposobie pole może być łatwo oddzielone od danych nośnika, więc występuje problem, że wykrywanie i usuwanie dodatkowej ukrytej informacji są łatwe.

Istotą sposobu ukrywania danych według wynalazku, w którym wstawia się dane jako informację dodatkową do obrazu ruchomego utworzonego przez wiele ramek, jest to, że wyszczególnia się co najmniej jeden obszar wstawiania w ramkach obrazu ruchomego, kojarzy się zgodnie z regułą wstawiania dane do wstawienia ze zbiorem cech charakterystycznych obszaru wstawiania, po czym cechę charakterystyczną każdego obszaru wstawiania ustala się przez odniesienie do reguły wstawiania według zawartości danych do wstawienia.

Korzystnie jako cechę charakterystyczną stosuje się typ przewidywania międzyramkowego obszaru wstawiania.

Korzystnie jako ramkę, w której występuje obszar wstawiania, stosuje się zakodowaną ramkę przewidywaną dwukierunkowo.

183 090

Korzystnie typ przewidywania międzyramkowego wybiera się spośród przewidywania w przód, przewidywania wstecznego, przewidywania dwukierunkowego i kodowania międzyramkowego.

Korzystnie w regule wstawiania określa się, że pierwsza zawartość danych odpowiada przewidywaniu dwukierunkowemu, zaś druga zawartość danych odpowiada przewidywaniu w przód lub przewidywaniu wstecznemu.

Korzystnie w regule wstawiania określa się następnie, że dane wstawiające zakaz odpowiadają kodowaniu międzyramkowemu.

Korzystnie zakazuje się wstawiania informacji do pewnego obszaru wstawiania, gdy błąd przewidywania w typie przewidywania międzyramkowego pewnego obszaru wstawiania, określony w oparciu o regułę wstawiania, przekracza wstępnie określoną wartość progową.

Korzystnie zakazuje się wstawiania informacji do obszaru wstawiania zakodowanej ramki przewidywanej dwukierunkowo, gdy liczba odniesień przewidywania w przód lub liczba odniesień przewidywania wstecznego w zakodowanej ramce przewidywanej dwukierunkowo jest mniejsza niż wstępnie określona liczba.

Korzystnie wyszczególnia się wiele obszarów wstawiania w ramce takich, że obszary wstawiania mają takie same cechy charakterystyczne zgodnie z zawartością danych do wstawiania według reguły wstawiania, oraz taką informację wstawia się do wielu obszarów wstawiania.

Istotą sposobu wydzielania danych według wynalazku, wstawionych jako informacja dodatkowa do obrazu ruchomego utworzonego przez wiele ramek poprzez wyszczególnienie co najmniej jednego obszaru wstawiania w ramkach obrazu ruchomego, kojarzenie zgodnie z regułą wstawiania danych do wstawienia ze zbiorem cech charakterystycznych obszaru wstawiania i ustalenie cechy charakterystycznej każdego obszaru wstawiania przez odniesienie do reguły wstawiania według zawartości danych do wstawienia jest to, że wydziela się wstawione dane z każdego obszaru wstawiania przez odniesienie do reguły wydzielania według cech charakterystycznych.

Korzystnie w regule wydzielania określa się, że pierwsza zawartość danych odpowiada przewidywaniu dwukierunkowemu, zaś druga zawartość danych odpowiada przewidywaniu w przód lub przewidywaniu wstecznemu.

Korzystnie w regule wydzielania określa się następnie, że kodowanie międzyramkowe odpowiada danym wstawiającym zakaz.

Korzystnie gdy wydziela się różne informacje z wielu obszarów wstawiania w ramce, to wstawia się informację z nadmiarem, porównuje się liczbę obszarów wstawiania dla każdej z wydzielanych różnych informacji oraz wyszczególnia się informację o większej liczbie jako informację wstawioną.

Sposoby według wynalazku zostaną dokładniej opisane w oparciu o przykład wykonania przedstawiony na rysunku, na którym fig. 1 przedstawia połówkowy obraz otrzymany, gdy dane cyfrowe są obrazowane na monitorze ekranowym, fig. 2 - schemat sekwencji ramek, fig. 3 - schemat układu makrobloków w ramce B, fig. 4 - schemat zależności pomiędzy typem przewidywania i błędem przewidywania makrobloku, fig. 5 - obrazy odniesienia w przypadku, gdy ma miejsce zmiana obrazów.

Początkowo zostanie dokonany opis przypadku, w którym pewna dodatkowa informacja (dane komunikatu) jest wstawiana do strumienia bitów wizyjnych poddanego kompresji w technice MPEG (danych nośnika). Technika MPEG wykorzystuje przewidywanie w przód w oparciu o ramkę odniesienia w przeszłości, przewidywanie wsteczne w oparciu o ramkę odniesienia w przyszłości i przewidywanie dwukierunkowe w oparciu o ramki odniesienia zarówno w przeszłości jak i przyszłości. Na figurze 2 przedstawiono sekwencję ramek, która

183 090 zawiera trzy typy ramek, ramkę I, ramki P i ramki B w celu realizacji przewidywania dwukierunkowego.

Ramka I jest ramką kodowaną wewnętrznie i wszystkie makrobloki w tej ramce są poddawane kompresji przez kodowanie wewnątrzramkowe (bez przewidywania międzyramkowego). Ramka P jest zakodowaną ramką przewidywaną (w przód) i wszystkie makrobloki w tej ramce są poddawane kompresji przez kodowanie wewnątrzramkowe lub kodowanie przewidywane w przód. Ponadto ramka B jest ramką przewidywaną dwukierunkowo, zakodowaną interpolacyjnie. Makrobloki w ramce B mogą być głównie kodowane przez wykorzystanie przewidywania w przód, przewidywania wstecznego, przewidywania dwukierunkowego lub kodowania wewnątrzramkowego. Ramka I i ramki P są kodowane w tej samej kolejności, jak pierwotny obraz ruchomy. Z drugiej strony ramki B są wprowadzane pomiędzy ramkę I i ramki P, a po przetworzeniu ramek I i P są kodowane ramki B.

Obszar wstawiania informacji (danych komunikatu) stanowi makrobloki ramki B i 1 bit informacji może być wstawiony względem 1 makrobloku. Wobec tego, gdy dane komunikatu sąutworzone przez pewną liczbę bitów, występuje konieczność realizacji procesu wstawiania względem makrobloków odpowiadających co do liczby bitom. Na figurze 3 przedstawiono schemat układ makrobloków w ramce B. Makroblok jest jednostką 16 x 16 kompensacji ruchu, która poddaje kompresji dane wizyjne przez zmniejszenie ich czasowej nadmiarowości.

Makrobloki w ramce B mogą być sklasyfikowane do następujących czterech grup jako typy przewidywania.

1. Makroblok kodowany wewnętrznie.

Makroblok kodowany wewnętrznie jest makroblokiem, który jest kodowany jedynie przez informację w samym makrobloku, bez realizacji przewidywania międzyramkowego.

2. Makroblok przewidywany w przód.

Makroblok przewidywany w przód jest makroblokiem, który jest przewidywany w przód i kodowany przez odniesienie albo do ramki zakodowanej wewnętrznie (ramki I) w przeszłości albo do zakodowanej ramki przewidywanej w przód (ramki P) w przeszłości. W szczególności jest odzyskiwany obszar kwadratowy 16 pikseli x 16 pikseli, który jest najbardziej podobny w przeszłej ramce odniesienia i makroblok ma błąd przewidywania ΔΡ, który jest różnicą pomiędzy nim i odzyskiwanym obszarem kwadratowym, a także ma informację o przestrzennym położeniu względnym (wektorze ruchu). Tutaj błąd przewidywania ΔΡ jest wyrażony jako różnica jasności lub różnica barw otrzymywana dla 16 x 16 pikseli. Sposób, w jaki podobny obszar kwadratowy jest wybrany, zależy od koderów.

3. Makroblok przewidywany wstecznie.

Makroblok przewidywany wstecznie jest makroblokiem, który jest przewidywany wstecznie i kodowany przez odniesienie albo do ramki kodowanej wewnętrznie (ramki I) w przyszłości albo zakodowanej ramki przewidywanej w przód (ramki P) w przyszłości. Odzyskiwany jest obszar, który jest najbardziej podobny w przyszłej ramce odniesienia i ten makroblok ma błąd przewidywania ΔΝ, który jest różnicą pomiędzy nim i odzyskiwanym obszarem, a także ma informację o przestrzennym położeniu względnym (wektor ruchu).

4. Makroblok przewidywany dwukierunkowo.

Makroblok przewidywany dwukierunkowo jest makroblokiem, który jest przewidywany dwukierunkowo i kodowany przez odniesienie do przeszłej ramki odniesienia i przyszłej ramki odniesienia. Są odzyskiwane zarówno obszar najbardziej podobny w przeszłej ramce odniesienia i obszar najbardziej podobny w przyszłej ramce odniesienia i ten makroblok ma błąd przewidywania (ΔΝ + ΔΡ)/2, który jest różnicą pomiędzy nim i średnią (na piksel) tych dwóch obszarów, a także ma informację o przestrzennym położeniu względnym (dwóch wektorów ruchu) pomiędzy nimi.

W celu wstawienia danych komunikatu, musi być najpierw wyszczególniony w ramce B co najmniej jeden makroblok, który jest dany w procesie wstawiania. To może być określone na przykład jako poszczególne makrobloki (obszary wstawiania), które występują pomiędzy pierwszą linią i trzecią linią ramki B, lub może być określone jako wszystkie makrobloki w pewnej ramce. W uzupełnieniu do makrobloku poprzednio określonego jako format w ten

183 090 sposób, to może być także określone przez wykorzystanie algorytmu, który wytwarza sekwencję położenia.

Następnie, w odniesieniu do makrobloku wyszczególnionego jako przedmiot procesu wstawiania, 1 bit danych jest wstawiany do 1 makrobloku, w oparciu o regułę wstawiania, że bity informacji odpowiadają typowi przewidywania makrobloku. Dla przykładu, występuje następująca reguła wstawiania:

Wstawiany bit informacji Typ przewidywania międzyramkowego makrobloku

Bit 1 Makroblok przewidywany dwukierunkowo (reprezentowany przez B)

Bit 0 Makroblok przewidywany w przód (reprezentowany przez P) lub makroblok przewidywany wstecznie (reprezentowany przez N)

Zakaz wstawiania Makroblok kodowany wewnętrznie

Dla przykładu rozważmy przypadek, w którym są wstawiane dane komunikatu 1010. 4 bity danych są wstawiane w sekwencji w 4 obszarach wstawiania (makroblokach) pomiędzy pierwszym lewym makroblokiem i czwartym lewym makroblokiem pierwszej linii pokazanej na fig. 3. Po pierwsze, pierwszy bit danych jest 1, więc typ przewidywania najbardziej lewego makrobloku (pierwszy obszar wstawiania) jest określony jako przewidywanie dwukierunkowe B zgodnie z podaną regułą. Błąd przewidywania w tym przypadku staje się błędem przewidywania, który jest różnicą względem średniego obszaru, który jest najbardziej podobny w przeszłej ramce odniesienia i obszaru, który jest najbardziej podobny w przyszłej ramce odniesienia.

Następny bit danych jest 0. Wobec tego typ przewidywania drugiego makrobloku (drugi obszar wstawiania) jest albo przewidywaniem w przód P albo przewidywaniem w tył N zgodnie z regułą wstawiania. W tym przypadku, w celu eliminacji pogorszenia jakości obrazu, błąd przewidywania przy przewidywaniu w przód i błąd przewidywania przy przewidywaniu wstecznym są porównywane w celu wyboru typu, przy czym błąd przewidywania jest mniejszy. W przykładzie z fig. 3, ponieważ błąd przewidywania przy przewidywaniu w przód jest mniejszy niż przy przewidywaniu wstecznym, przewidywanie w przód P jest wybrane dla drugiego makrobloku.

Podobna procedura jest stosowana powtarzalnie dla trzeciego obszaru wstawiania i czwartego obszaru wstawiania. W wyniku tego typ przewidywania trzeciego makrobloku staje się przewidywaniem dwukierunkowym B, a typ przewidywania czwartego makrobloku jest określany jako przewidywanie w tył N, ponieważ błąd przewidywania przy przewidywaniu wstecznym jest mniejszy.

W opisany wyżej sposób, typy przewidywania międzyramkowego od pierwszego do czwartego obszaru wstawiania sąjako typy BPBN, a 4 bity 1010 (4 bity danych komunikatu) są wstawiane do tych obszarów. Jeżeli jest dokonywana próba wstawienia bitów danych do pewnego obszaru wstawiania, wystąpią przypadki, w których jakość obrazu jest znacznie pogorszona. W takich przypadkach wstawianie bitów danych do obszaru wstawiania nie jest realizowane, a typ przewidywania obszaru wstawiania jest makroblokiem kodowanym wewnętrznie, który reprezentuje zakaz wstawiania66.

Następnie zostanie przedstawiony opis sposobu wydzielania danych komunikatu wstawionych w uprzednio wzmiankowanej procedurze. W przypadku, gdy dane komunikatu są wydzielane, musi być najpierw podana informacja do wyszczególnienia makrobloku, w którym dane komunikatu zostały wstawione. Informacja wyszczególniająca może być podana przez jednostkę zewnętrzną. Również jest możliwe uprzednie wstawienie informacji wyszczególniającej do samych danych. Poza tym, w przypadku, gdy położenie obszaru wstawiania jest standardowe lub jeżeli jest znany algorytm do wytwarzania sekwencji położenia, dane komunikatu mogą być wydzielone.

Na podstawie typu przewidywania w wyszczególnionym obszarze wstawiania, informacja wstawiona w tym obszarze jest wydzielana z odniesieniem do reguły wydzielania. Ta re183 090 gula wydzielania jest regułą zgodnie z którą typ przewidywania makrobloku odpowiada bitom informacji, przy czym ta reguła wydzielania musi być podana jako informacja, gdy jest realizowane wydzielanie.

Dla przykładu zostanie podana poniżej reguła wydzielania. Należy zaznaczyć, że odpowiedni związek pomiędzy typem przewidywania w tej regule wydzielania i bity informacji są takie same, jak dla podanej reguły wstawiania. Również w przypadku, gdy typ przewidywania jest makroblokiem kodowanym wewnętrznie, ocenia się, że w obszarze wstawiania bit danych nie został wstawiony.

Wydzielany bit informacji

Bit 1

BitO

Bit danych nie został wstawiony

Typ przewidywania miedzyramkowego makrobloku

Makroblok przewidywany dwukierunkowo (reprezentowany przez B)

Makroblok przewidywany w przód (reprezentowany przez P) lub makroblok przewidywany wstecznie reprezentowany przez N)

Makroblok kodowany wewnętrznie

Poniżej przedstawiono opis przypadku, w którym dane komunikatu zostały wstawione, jak to pokazano na fig. 3. Załóżmy, że było już znane, że bity danych komunikatu zostały wstawione jako przesłanka w obszarach wstawiania z pierwszego makrobloku, po lewej stronie, do czwartego makrobloku pierwszej linii z fig. 3. Ponieważ typ przewidywania makrobloku najbardziej na lewo jest przewidywaniem dwukierunkowym B, wartość bitu równa 1 jest wydzielana przez odniesienie do reguły wydzielania. Typ przewidywania drugiego makrobloku jest przewidywaniem do przodu P, więc wartość bitu równa 0 jest wydzielana zgodnie z regułą wydzielania. Przez powtarzalne stosowanie tej samej procedury do dwóch innych makrobloków, wartość bitu równa 1 i wartość bitu równa 0 są wydzielane w kolejności. W wyniku tego bity danych komunikatu 1010 są wydzielane z tych obszarów.

Jeżeli typ przewidywania makrobloku najbardziej na prawo jest makroblokiem kodowanym wewnętrznie, będzie ocenione, zgodnie z podaną regułą wydzielania, że bit danych nie został wstawiony do tego makrobloku. W wyniku tego bity danych komunikatu są następujące: 101.

Typ przewidywania makrobloku w zakresie dozwolonym dla każdej ramki może być swobodnie wybrany przez koder. Zwykle jest wybrany typ przewidywania makrobloku, w którym błąd przewidywania jest najmniejszy. Jednak charakterystyczne dla tego przykładu wykonania jest to, że typ przewidywania makrobloku jest wybrany zgodnie z podaną regułą wstawiania. Ponieważ związek pomiędzy typem przewidywania i bitami informacji w regule wydzielania jest identyczny, jak zadany w regule wstawianią wstawione dane mogą być dokładnie wydzielone przez odniesienie do reguły wydzielania.

Jednak, jeżeli typ przewidywania jest określony zgodnie z regułą wstawianią będzie istniała możliwość, że zostanie wybrany typ przewidywania, w którym błąd przewidywania jest tak duży, że pogorszenie jakości obrazu może być rozpoznawane wizualnie. Dla błędu przewidywania istnieje wiele przypadków, w których jest wykorzystywana suma wartości bezwzględnych lub suma wartości kwadratowych błędów przewidywania dla każdego pikselą lecz technika kodowania MPEG nie określą który standard jest zastosowany, więc koder może swobodnie zastosować dowolny standard dla błędów przewidywania. Jednak bez względu na to, jaki standard występuje, jeżeli jest wybrany typ przewidywanią w którym błąd przewidywania jest zbyt duży, wystąpi pogorszenie jakości obrazu. W związku z tym dla błędu przewidywania jest ustalana pewna wartość progowa. W przypadku, gdy błąd przewidywania w wybranym typie przewidywania jest większy niż wartość progowa, jest pożądane, żeby wstawianie bitu danych nie było realizowane w makrobloku. W tym makrobloku jest czyniony makroblok kodowany wewnętrznie zgodnie z podaną regułą wstawiania. Ten punkt zostanie opisany bardziej szczegółowo w odniesieniu do figury 4.

Figura 4 przedstawia schemat wyjaśniający zależności pomiędzy typem przewidywania i błędem przewidywania makrobloku. Na tej figurze oś rzędnych reprezentuje błąd przewi

183 090 dywania, przy czym większy błąd przewidywania wskazuje większe pogorszenie jakości obrazu. Również wartość progowa została ustalona jako stopień dopuszczalnego błędu przewidywania, to jest standard oceny, w której nie występuje żadne dostrzegalne pogorszenie jakości obrazu. Na fig. 4 trzy krótkie kreski poziome (i), (ii) i (iii), połączone przez pojedynczą kreskę pionową, wskazują dowolne z 3 błędów przewidywania dla przewidywania w przód, przewidywania wstecznego i przewidywania dwukierunkowego makrobloku. Ze związku pomiędzy wartością progową i 3 błędami przewidywania, makroblok może być sklasyfikowany do 4 typów (a), (b), (c) i (d). To jest, te 4 typy obejmują przypadek (typ(a)), gdzie 3 błędy przewidywania są wszystkie mniejsze niż wartość progowa, przypadek (typ(b)), gdzie dowolny z błędów przewidywania przekracza wartość progową, przypadek (typ(c)), gdzie 2 błędy przewidywania przekraczają wartość progową i przypadek (typ(d)), gdzie wszystkie błędy przewidywania przekraczają wartość progową.

Dla makrobloku typu (d), nawet jeżeli jest wybrany dowolny typ przewidywania, wszystkie błędy przewidywania będą przekraczały wartość progową i wystąpi znaczne pogorszenie jakości obrazu, więc jest niepożądane zastosowanie tego typu makrobloku jako obszaru wstawiania. W tym przypadku ten makroblok staje się makroblokiem kodowanym wewnętrznie zgodnie z regułą wstawiania. Jednak w technice kodowania MPEG większość makrobloków w ramce B ma przewidywanie międzyramkowe (przewidywanie w przód, przewidywanie wsteczne lub przewidywanie dwukierunkowe) i rzeczywiście istnieje małe prawdopodobieństwo, że wystąpi ten typ makrobloku.

Dla makrobloku typu (a), nawet jeżeli jest wybrany dowolny rodzaj przewidywania, nie ma możliwości, żeby błąd przewidywania przekroczył wartość progową. To znaczy, nawet jeżeli są wstawione dowolne dane, że pogorszenie jakości obrazu nie będzie widoczne, więc ten typ makrobloku może być zastosowany jako obszar wstawiania. Również nawet dla typu (b), nawet jeżeli ten blok jest stosowany jako obszar wstawiania, okaże się, że dostrzegalne pogorszenie jakości obrazu nie wystąpi. Zwykle nie ma możliwości, żeby błąd przewidywania dwukierunkowego stał się najgorszy spośród trzech błędów przewidywania, to jest nie ma możliwości, żeby błąd przewidywania dwukierunkowego stanowił kreskę poziomą (i). Zgodnie z podaną regułą wstawiania, zarówno wartość bitu równa 1 jak i wartość bitu równa 0 mogą być wstawione do tego typu bloku bez przekraczania wartości progowej. Wobec tego, gdy jest wykorzystywana podana reguła wstawiania, bity danych mogą być wstawione do makrobloków typów (a) i (b) bez zasadniczego powodowania pogorszenia jakości obrazu.

Dla typu (c) jest niepożądane z podanej reguły wykorzystanie tego typu bloku jako obszaru wstawiania. W przypadku, w którym błąd przewidywania dwukierunkowego jest kreską poziomą (iii), zarówno błąd przewidywania w przód, jak i błąd przewidywania wstecznego przekraczają wartość progową i w wyniku tego pogorszenie jakości obrazu wystąpi w zależności od wstawianego bitu danych. Jednak nawet w tym przypadku, gdy błąd przewidywania w typie przewidywania, odpowiadającym bitowi danych aktualnie wstawianemu, nie przekracza wartości progowej, na przykład w przypadku, w którym błąd przewidywania, gdy pewna wartość bitu jest wstawiona zgodnie z regułą wstawiania, jest mniejszy niż wartość progowa wskazana przez kreskę poziomą (iii), jest możliwe zastosowanie tego typu bloku jako obszaru wstawiania.

Zgodnie z powyższymi punktami, są otrzymywane trzy typy błędów przewidywania dla pewnego makrobloku, do którego są wstawiane dane. Następnie, w przypadku, w którym błąd przewidywania o typie przewidywania określonym w oparciu o regule wstawiania, przekracza uprzednio określoną wartość progowa, jest pożądane zakazanie wstawiania danych do tego makrobloku. W tym przypadku typ przewidywania makrobloku, do którego jest zakazane wstawianie danych, jest kodowaniem wewnątrzramkowym zgodnie z podaną regułą wstawiania.

Należy zauważyć, że makrobloki kodowane wewnętrznie typu (c) i (d) stają się bitami niedopuszczalnymi, które nie mogą być zastosowane jako obszar wstawiania danych. Jednak, jak to opisano, rzeczywista szybkość występowania jest mała, tak że bity niedopuszczalne mogą być kompensowane przez kodowanie korekcji błędu, w przypadku, w którym dopuszcza się, że wstawiana informacja ma nadmiar.

183 090

Według przykładu wykonania wynalazku, typ makrobloku i bit wstawianych danych są związane i określane przy kodowaniu obrazu ruchomego. Wobec tego dane komunikatu mogą być wstawione do obrazu ruchomego bez zasadniczego wpływu na skuteczność kompresji obrazu ruchomego, a także bez zasadniczego powodowania pogorszenia jakości obrazu. Poza tym jest bardzo trudno usunąć dane komunikatu wstawione w ten sposób z obrazu ruchomego. Ponadto, ponieważ ilość wstawianej informacji jest prawie niezależna od zawartości obrazu, jest możliwe skuteczne wstawianie danych komunikatu.

Wówczas gdy ma miejsce zmiana obrazów, większość makrobloków w ramkach B pomiędzy ramką I i ramką P lub pomiędzy ramkami P, przed lub po zmianie, jest typu (c) pokazanego na fig. 4. Na figurze 5 przedstawiono z kolei obrazy odniesienia w przypadku, gdy ma miejsce zmiana obrazów. Fig. 5(a) przedstawia przypadek, w którym nie ma żadnej zmiany obrazów i fig. 5(b) przedstawia przypadek, w którym zmiana obrazów ma miejsce pomiędzy ramką 2 i ramką 3. Na figurach dwie przeciwległe ramki końcowe są ramkami I lub P oraz dwie środkowe ramki są ramkami B.

Ponadto strzałka pokazana na figurach wskazuje związek odniesienia pomiędzy ramkami.

Jeżeli nie ma żadnej zmiany obrazów, w ramce B występuje duża liczba makrobloków skierowanych dwukierunkowo. Jednak, jeżeli występuje zmiana obrazów, taka jak pokazana na fig. 5(b), liczba makrobloków przewidywanych wstecznie i dwukierunkowo w ramce 2 będzie znacznie zmniejszona i większość makrobloków stanie się makroblokami przewidywanymi w przód, tak że błędy przewidywania staną się mniejsze niż wartość progowa z fig. 4. Również liczba makrobloków przewidywanych w przód i dwukierunkowo w ramce 3 będzie znacznie zmniejszona i większość makrobloków stanie się makroblokami przewidywanymi wstecznie, tak że błędy przewidywania staną się mniejsze niż wartość progowa z fig. 4. Zatem jest niepożądane wstawianie danych do takich ramek. Wobec tego liczba makrobloków przewidywanych w przód i liczba makrobloków przewidywanych wstecznie jest kontrolowana i gdy te liczby są mniejsze niż pewna wartość progowa, ocenia się, że miała miejsce zmiana obrazu. W takim przypadku jest pożądane nie wstawianie danych do takich ramek, to jest zgodnie z regułą wstawiania, jest pożądane, żeby typ przewidywania był uczyniony makroblokiem kodowanym wewnętrznie.

Przy rozważaniach dotyczących jakości obrazu, należy zwrócić uwagę na zjawisko okluzji, które oznacza, że przez poruszenie pewnego obiektu, coś ukrytego za obiektem nagle pojawi się lub odwrotnie, ukryje się. Wówczas gdy ma miejsce okluzja, makrobloki związane z okluzją w całej ramce są typu (c) pokazanego na fig. 4. W tym przypadku, jak to opisano, jeżeli błąd przewidywania typu przewidywania określonego zgodnie z regułą wstawiania jest mniejszy niż wartość progowa, nie będzie żadnego problemu, lecz w przypadku innym niż ten, wystąpi dostrzegalne pogorszenie jakości obrazu. Wówczas gdy jakość obrazu ma wielkie znaczenie, pogorszeniu można zapobiec przez zastosowanie kodu korekcji błędu. To znaczy, 1 bit informacji nie jest wyrażany przez pojedynczy makroblok, lecz zamiast tego do informacji jest wprowadzany nadmiar i równoważnik informacji 1 bitu jest wyrażany przez wiele makrobloków. W tym przypadku pojedynczy obszar wstawiania jest utworzony przez zestaw makrobloków.

Dla przykładu można zauważyć przypadek, w którym równoważnik informacji 1 bitu jest wyrażany przez trzy makrobloki. W tym przypadku, nawet jeżeli jeden z trzech makrobloków byłby o typie przewidywania przeciwnym do wyrażanego bitu danych, bit danych mógłby być dokładnie wyrażony przez dwa pozostałe makrobloki. Jeżeli makrobloki kodowane wewnętrznie, w ilości większej niż wstępnie określona liczba, są zawarte w pewnym zestawie makrobloków, które wyrażają 1 bit informacji, bit danych nie będzie wstawiony do zestawu makrobloków. Odwrotnie, jeżeli dwa lub więcej makrobloków jest typu (c) pokazanego na fig. 4, jest konieczne, żeby pewne makrobloki stały się makroblokami kodowanymi wewnętrznie w celu jasnego wskazania, że dana nie została wstawiona. To może być także wykorzystane przy wstawianiu i wydzielaniu, przy zastosowaniu techniki statystycznej. To znaczy, za każdym razem, gdy wystąpi własność statystyczna, jest przygotowanych wiele obszarów wstawiania, na przykład 100 obszarów, i 1 bit informacji może być wyrażony przez wiele obszarów. W tym sensie nadmiarowość oznacza, że nie powoduje się, że 1 bit informa

183 090 cji odpowiada pojedynczemu przetwarzanemu obszarowi w stosunku jeden do jednego, lecz raczej powoduje się, że odpowiada wielu obszarom.

Wówczas gdy okluzja ma miejsce, rozważa się, że wiele wzajemnie sąsiednich makrobloków istniejących w części związanej z okluzjąjest typu (c) pokazanego na fig. 4. Z takiego punktu widzenia, dla zestawu makrobloków, który tworzy kod korekcji błędu, jest pożądane wykorzystanie makrobloków, które występują w położeniu w pewnej odległości od siebie w ramce.

Chociaż podany przykład wykonania został opisany w odniesieniu do techniki MPEG, rozwiązanie według wynalazku nie jest ograniczone do technik MPEG. Praktycznie wynalazek jest możliwy do zastosowania w innych metodach kompresji obrazu, przy zastosowaniu techniki kodowania przewidywania międzyramkowego, i w tym sensie obszar wstawiania nie jest ograniczony do makrobloków.

Ponadto rozwiązanie według wynalazku może wykorzystywać różne reguły, nie tylko podane reguły wstawiania i wydzielania. Dla przykładu, jest również możliwe wstawianie trzech wartości danych do pojedynczego makrobloku tak, że makroblok przewidywany w przód, makroblok przewidywany wstecznie i makroblok przewidywany dwukierunkowo odpowiadają kolej no wartościom bitów równym 0, 1 i 2.

Możliwe jest również wstawianie danych do opisanej ramki P. Ponieważ makrobloki stanowiące ramkę P są makroblokami przewidywanymi w przód i makroblokiem kodowanym wewnętrznie, to wartości bitów odpowiadają tym makroblokom. Jednak z punktu widzenia tłumienia, pogarszania się jakości obrazu i wzrostu jakości danych, jak to opisano powyżej, jest pożądane wstawianie danych do ramki B zamiast do ramki P. Przyczyną jest to, że jeżeli makroblok, który jest makroblokiem kodowanym wewnętrznie, jest makroblokiem przewidywanym w przód przez regułę wstawiania, jakość obrazu będzie pogorszona i w przeciwnym przypadku ilość danych będzie zwiększona.

W technice MPEG ramki B nie są odnoszone do innych ramek, więc nawet jeżeli typ przewidywania makrobloku w ramce B byłby zmieniony, nie byłoby możliwości, żeby zmiana miała wpływ na inne ramki. Przez wykorzystanie tego faktu mogą być wstawione dane odcisku palca. Dane odcisku palca są specyficzną informacją różną dla każdego właściciela. Typowym przykładem wykorzystania danych odcisku palca jest przypadek, w którym, gdy dane obrazu ruchomego są wydawane osobie trzeciej, wydawca wstawia znak do danych obrazu ruchomego, tak że osoba trzecia, która odbiera stacje, może być wyszczególniona. Jeżeli jest to dokonywane w ten sposób, źródło kopii może być wyszczególnione, gdy jest realizowany niedozwolony dokument, taki jak niedozwolona kopia. Wobec tego, jeżeli dane wizyjne obiegają w sposób niedozwolony, mogłaby mieć miejsce opłata za dowolną niedozwoloną kopię. Również do zaszyfrowanego produktu wizyjnego jest wprowadzana informacja o rejestracji prawnego właściciela, a dane odcisku palca mogą być wstawione zgodnie z informacją o rejestracji.

W przypadku, w którym są wstawiane dane odcisku palca, zostały utrzymane głównie zarówno makroblok przewidywany dwukierunkowo i makroblok przewidywany w przód lub makroblok przewidywany wstecznie, gdzie błąd przewidywania jest mniejszy, które są wytwarzane, gdy jest realizowane kodowanie w technice MPEG. Następnie właściwy makroblok zostaje wybrany zgodnie z trzecią osobą która odbiera stacje. Nawet jeżeli jest to dokonane w ten sposób, nie byłoby żadnego wpływu na inne ramki lub warstwę danych, na przykład warstwę odciętą która jest większa niż warstwa makrobloku odpowiedniej ramki.

183 090

FIG, 2

352 PIKSELI

DANE

Γ1 O 1 Oj

MAKROBLOKI

MAKROBLOK —(16 x 16 pikseli)

Ig: i^j

M M z H 1-1

O

CM

3: O SC O U CG O a < 2 in

FIG. 3

183 090

FIG. 4

2 ^: 3 4 (b) FIG, 5

183 090

Departament Wydawnictw UP RP Nakład 60 egz. Cena 4,00 zł.

Claims

Zastrzeżenia patentowe

1. Sposób ukrywania danych, w którym wstawia się dane jako informację dodatkową do obrazu ruchomego, utworzonego przez wiele ramek, znamienny tym, że wyszczególnia się co najmniej jeden obszar wstawiania w ramkach obrazu ruchomego, kojarzy się zgodnie z regułą wstawiania dane do wstawienia ze zbiorem cech charakterystycznych obszaru wstawiania, po czym cechę charakterystyczną każdego obszaru wstawiania ustala się przez odniesienie do reguły wstawiania według zawartości danych do wstawienia.
2. Sposób według zastrz. 1, znamienny tym, że jako cechę charakterystyczną stosuje się typ przewidywania międzyramkowego obszaru wstawiania.
3. Sposób według zastrz.l, znamienny tym, że jako ramkę, w której występuje obszar wstawiania, stosuje się zakodowaną ramkę przewidywaną dwukierunkowo.
4. Sposób według zastrz. 2, znamienny tym, że typ przewidywania międzyramkowego wybiera się spośród przewidywania w przód, przewidywania wstecznego, przewidywania dwukierunkowego i kodowania międzyramkowego.
5. Sposób według zastrz. 4, znamienny tym, że w regule wstawiania określa się, że pierwsza zawartość danych odpowiada przewidywaniu dwukierunkowemu, zaś druga zawartość danych odpowiada przewidywaniu w przód lub przewidywaniu wstecznemu.
6. Sposób według zastrz. 5, znamienny tym, że w regule wstawiania określa się następnie, że dane wstawiające zakaz odpowiadają kodowaniu międzyramkowemu.
7. Sposób według zastrz. 2, znamienny tym, że zakazuje się wstawiania informacji do pewnego obszaru wstawiania, gdy błąd przewidywania w typie przewidywania międzyramkowego pewnego obszaru wstawiania, określony w oparciu o regułę wstawiania, przekracza wstępnie określoną wartość progową.
8. Sposób według zastrz. 7, znamienny tym, że zakazuje się wstawiania informacji do obszaru wstawiania zakodowanej ramki przewidywanej dwukierunkowo, gdy liczba odniesień przewidywania w przód lub liczba odniesień przewidywania wstecznego w zakodowanej ramce przewidywanej dwukierunkowo jest mniejsza niż wstępnie określona liczba.
9. Sposób według zastrz. 1, znamienny tym, że wyszczególnia się wiele obszarów wstawiania w ramce takich, że obszary wstawiania mają takie same cechy charakterystyczne zgodnie z zawartością danych do wstawiania według reguły wstawiania, oraz taką informację wstawia się do wielu obszarów wstawiania.
10. Sposób wydzielania danych wstawionych jako informacja dodatkowa do obrazu ruchomego utworzonego przez wiele ramek poprzez wyszczególnienie co najmniej jednego obszaru wstawiania w ramkach obrazu ruchomego, kojarzenie zgodnie z regułą wstawiania danych do wstawienia ze zbiorem cech charakterystycznych obszaru wstawiania i ustalenie cechy charakterystycznej każdego obszaru wstawiania przez odniesienie do reguły wstawiania według zawartości danych do wstawienia, znamienny tym, że wydziela się wstawione dane z każdego obszaru wstawiania przez odniesienie do reguły wydzielania według cech charakterystycznych.
11. Sposób według zastrz. 10, znamienny tym, że jako cechę charakterystyczną stosuje się typ przewidywania międzyramkowego obszaru wstawiania.
12. Sposób według zastrz. 10, znamienny tym, że jako ramkę, w której występuje obszar wstawiania, stosuje się zakodowaną ramkę przewidywaną dwukierunkowo.
13. Sposób według zastrz. 11, znamienny tym, że typ przewidywania międzyramkowego wybiera się spośród przewidywania w przód, przewidywania wstecznego, przewidywania dwukierunkowego i kodowania międzyramkowego.
14. Sposób według zastrz. 13, znamienny tym, że w regule wydzielania określa się, że pierwsza zawartość danych odpowiada przewidywaniu dwukierunkowemu, zaś druga zawartość danych odpowiada przewidywaniu w przód lub przewidywaniu wstecznemu.

183 090
15. Sposób według zastrz. 14, znamienny tym, że w regule wydzielania określa się następnie, że kodowanie międzyramkowe odpowiada danym wstawiającym zakaz.
16. Sposób według zastrz. 1, znamienny tym, że gdy wydziela się różne informacje z wielu obszarów wstawiania w ramce, to wstawia się informację z nadmiarem, porównuje się liczbę obszarów wstawiania dla każdej z wydzielanych różnych informacji oraz wyszczególnia się informację o większej liczbie jako informację wstawioną.

♦ * *