-
Hintergrund der Erfindung
-
1. Gebiet der Erfindung
-
Die
vorliegende Erfindung bezieht sich auf eine Vorrichtung und ein
Verfahren zum Anzeigen von Bildern in einem mobilen Endgerät, und insbesondere
auf eine Vorrichtung und ein Verfahren zum Anzeigen von Standbildern
in der Form von Bewegtbildern.
-
2. Beschreibung des Standes
der Technik
-
Mobile
Endgeräte
sind nun fähig,
Hochgeschwindigkeitsdaten zu übertragen.
Insbesondere können
mobile Kommunikationsnetzwerke, welche auf einem (IMT-2000) International
Mobile Telecommunications-2000 (IMT-2000)-Standard basieren, Hochgeschwindigkeitsdatenkommunikation
sowie Sprachkommunikation unter Verwendung von mobilen Telefonen
implementieren. Die mobilen Endgeräte können Paketdaten und/oder Bilddaten
verarbeiten.
-
Eine
konventionelle bildverarbeitende Vorrichtung enthält eine
Kamera zum Erfassen eines Bildes und eine Anzeigeeinheit zum Anzeigen
des Bildes, welches durch die Kamera erfasst wird. Die Kamera kann
einen Charge-Coupled-Device-(CCD)-Bildsensor
oder einen Complementary-Metal-Oxid-Semiconductor-(CMOS)-Bildsensor verwenden.
Weil kleinformatige Kameravorrichtungen entwickelt worden sind,
wurden Bilderfassungsvorrichtungen miniaturisiert. Der Trend ist,
mobile Endgeräte
mit Kameravorrichtungen auszustatten. Ein mobiles Endgerät kann Bilder
erfassen und Bewegt- und Standbilder anzeigen. Das mobile Endgerät kann auch
die erfassten Bilder an eine Basisstation übertragen.
-
Weil
der Bedarf nach Bewegtbildmail von Kommunikationsprovidern und Konsumenten
gestiegen ist, werden Dienste zum Bereitstellen der Bewegtbildmail
implementiert. Es wird erwartet, dass sich die Bewegtbild-Maildienste
vergrößern. Wenn Bewegtbilder übertragen
werden, kann ein Bildkompressionsproblem wegen der großen Menge
an Daten auftreten. Außerdem
ist, wenn die Bewegtbilder durch das mobile Endgerät übertragen
werden, das Bildkonversionsproblem schlechter.
-
Konventionelle
Bewegtbildsignalkompression basiert auf Moving-Picture-Expert-Group 4 (MPEG 4).
Wenn Bewegtbildsignale komprimiert werden, kann eine MPEG-4-basierte
Kompressionstechnik eine große
Menge an Daten geeignet komprimieren, muss aber eine große Anzahl
von Millionen Befehlen pro Sekunde (million instructions per second – MIPS)
bewältigen.
Es ist schwierig für
die MPEG-4-basierte Kompressionstechnik, in ARM-7-basierten mobilen
Endgeräten
eingesetzt zu werden. Zum Beispiel erfordert ein Video-On-Demand-(VOD)-Dienst ungefähr 10 MIPS,
um eine MPEG-4-basierte Dekodieroperation durchzuführen. Ungefähr 200 MIPS
sind erforderlich, um Videomail unter Verwendung MPEG-4 zu dekodieren.
Aus diesem Grund müssen
verschiedene Koprozessoren, wie der Emblaze-Chip, der Megapass-Chip,
der Alphamosaik-Chip, bereitgestellt werden, so dass dort Probleme
sind, indem die Kosten der Hardware sich vergrößern und die Größe der Hardware
sich vergrößert.
-
Wo
das oben beschriebene Bildkompressionsverfahren verwendet wird,
kann ein Bild nur durch Software verarbeitet werden. Jedoch kann
eine Lösung,
welche eine hohe Bildaktualisierungsrate hat, nicht bereitgestellt
werden. Ein mobiles Endgerät, welches
mit einer internen Kamera oder einer externen Kamera ausgestattet
ist, hat eine Flüssigkristallanzeige
(LCD) und einen Codec zum Kompri mieren von Bilddaten von Standbildern.
Der Codec zum Komprimieren der Bilddaten von Standbildern kann ein
Joint-Photographic-Expert-Group-(JPEG)-Codec sein. Kameratelefone,
welche mit den oben beschriebenen Komponenten ausgestattet sind,
werden allgemein verfügbar
in einem Zustand, in welchem Breitbanddienste, wie IMT-2000-Dienste,
bereitgestellt werden. Daher werden Bewegtbildsignale, welche durch
JPEG-Codec empfangen werden, aufeinander folgend komprimiert und
als Bewegtbilddaten gespeichert, und, falls nötig, können die Bewegtbilddaten in
der Form einer Bewegtbildmail übertragen
werden.
-
Das
Kodieren eines erfassten Bildsignals in ein JPEG Standbildsignal,
welches auf Rahmengröße basiert
und die wiederholte Ausführung
desselben, um eine Bewegtbilddatei zu erhalten, ist offenbart in „Motion
JPEG 2000 Standardization and Target Market" (FUKUHARA Takahiro et. al., 2000 International
Conference an Image Processing, 10–13, Sept 2000, Proceedings,
Volume 2, S. 57–60).
Im Kapitel 6 ist beschrieben, dass das Dateiformat hierfür üblicherweise
mit MJP2 bezeichnet wird. Im Kapitel 2 desselben Aufsatzes ist dargelegt,
dass dieses Verfahren insbesondere für mobile Endgeräte angewendet
werden soll.
-
In
der Patentanmeldung US2002/0021843 A1 wird MJ2 beschrieben, welches
für den
Bewegtbildanteil innerhalb des Dateiformats MJP2 vorgesehen ist.
Kombiniert werden dort die JPEG Standbildsignale mit einem Metafile,
der gemäß Absatz
[0036] Audioinformation und Textinformation beinhalten kann, wobei
gemäß Absatz
[0044] die bewegten Bilder und die Audiosignale synchronisiert zueinander
sind.
-
Zusammenfassung der Erfindung
-
Deshalb
ist es ein Ziel der vorliegenden Erfindung, eine Vorrichtung und
ein Verfahren zum Erzeugen und Anzeigen von Standbildsignalen bereitzustellen,
welche durch eine Kamera erfasst werden, welche in einem mobilen
Endgerät
bereitgestellt ist, in der Form von Bewegtbildsignalen.
-
Es
ist ein anderes Ziel der vorliegenden Erfindung, eine Vorrichtung
und ein Verfahren zum Kombinieren von Audiosignalen mit Bewegtbildsignalen
bereitzustellen, welche durch eine Kamera erfasst werden, welche
in einem mobilen Endgerät
bereitgestellt ist, und zum Erzeugen eines kombinierten Signals,
welches auf den Audio- und Bewegtbildsignalen basiert.
-
Es
ist ein weiteres Ziel der vorliegenden Erfindung, eine Vorrichtung
und ein Verfahren zum Kombinieren eines Textsignals mit Bewegtbildsignalen
bereitzustellen, welche durch eine Kamera erfasst werden, welche
in einem mobilen Endgerät
bereitgestellt ist, und zum Erzeugen eines kombinierten Signals,
welches auf den Text- und Bewegtbildsignalen basiert.
-
Es
ist ein weiteres Ziel der vorlegenden Erfindung, eine Vorrichtung
und ein Verfahren zum Kombinieren von Audiosignalen und einem Textsignal
mit Bewegtbildsignalen bereitzustellen, welche durch eine Kamera
erfasst werden, wel che in einem mobilen Endgerät bereitgestellt ist, und zum
Erzeugen eines kombinierten Signals, welches auf den Audio-, Text-
und Bewegtbildsignalen basiert.
-
Es
ist ein anderes Ziel der vorliegenden Erfindung, eine Vorrichtung
und ein Verfahren zum Ermöglichen
eines mobilen Telefons bereitzustellen, welches mit einer Kamera
und einem Bild-Codec ausgestattet ist, um auf ein kombiniertes Signal
zuzugreifen, in welchem Bewegtbild- und Audiosignale kombiniert
sind, das kombinierte Signal in Bewegtbild- und Audiosignale zu
trennen, und die getrennten Bewegbild- und Audiosignale wiederzugeben.
-
Es
ist ein anderes Ziel der vorliegenden Erfindung, eine Vorrichtung
und ein Verfahren zum Ermöglichen
eines mobilen Telefons bereitzustellen, welches mit einer Kamera
und einem Bild-Codec ausgestattet ist, um auf ein kombiniertes Signal
zuzugreifen, in welchem Bewegtbild- und Textsignale kombiniert sind,
das kombinierte Signal in Bewegtbild- und Textsignale zu trennen,
und die getrennten Bewegbild- und Textsignale wiederzugeben.
-
Es
ist ein anderes Ziel der vorliegenden Erfindung, eine Vorrichtung
und ein Verfahren zum Ermöglichen
eines mobilen Telefons bereitzustellen, welches mit einer Kamera
und einem Bild-Codec ausgestattet ist, um auf ein kombiniertes Signal
zuzugreifen, in welchem Bewegtbild-, Text- und Audiosignale kombiniert
sind, das kombinierte Signal in Bewegtbild-, Text- und Audiosignale
zu trennen, und die getrennten Bewegtbild-, Text- und Audiosignale
wiederzugeben.
-
Es
ist ein weiteres Ziel der vorliegenden Erfindung, eine Vorrichtung
und ein Verfahren zum Ermöglichen
eines mobilen Telefons bereitzustellen, welches mit einer Kamera
und einem Bild-Codec ausgestattet ist, um ein kombiniertes Signal
durch einen Kommunikationskanal zu übertragen.
-
Es
ist ein noch weiteres Ziel der vorliegenden Erfindung, eine Vorrichtung
und ein Verfahren zum Ermöglichen
eines mobilen Telefons bereitzustellen, welches mit einer Kamera
und einem Bild-Codec ausgestattet ist, um ein kombiniertes Signal
von einer Basisstation zu empfangen und das empfangene kombinierte
Signal zu speichern und wiederzugeben.
-
In Übereinstimmung
mit einem Aspekt der vorliegenden Erfindung können die obigen und anderen
Ziele im Wesentlichen erreicht werden durch ein Verfahren zum Erzeugen
eines kombinierten Signals in einem mobilen Endgerät, welches
mit einer Kamera ausgestattet ist, welche Bildsignale erfasst. Das Verfahren
weist die Schritte auf des: (a) Kodierens eines erfassten Bildsignals
in ein Standbildsignal, welches auf einer Rahmengröße basiert;
(b) Kodierens eines empfangenen Audiosignals; (c) Einfügens eines
Bild-Headers, welcher Bildmusterinformation und Rahmengrößeninformation
enthält,
in das Standbildsignal, welches auf der Rahmengröße basiert; (d) Kombinierens
des Standbildsignals, welches auf der Rahmengröße basiert, in welchem der
Bild-Header eingefügt
ist, mit dem kodierten Audiosignal; (e) Kombinierens aufeinander
folgender Standbildsignale, welche auf der Rahmengröße basieren,
mit korrespondierenden Audiosignalen, während die Schritte (a) bis
(d) wiederholt werden; und (f) wenn eine Aufzeichnungsoperation
beendet ist, Speicherns eines kombinierten Signals, welches ein
Ergebnis des Kombinierens repräsentiert,
in einer Bewegtbilddatei.
-
In Übereinstimmung
mit einem anderen Aspekt der vorliegenden Erfindung wird dort eine
Vorrichtung zum Erzeugen eines kombinierten Signals in einem mobilen
Endgerät
bereitgestellt, wobei die Vorrichtung aufweist: ein Kameramodul
zum Erfassen von Bildsignalen; einen Bildprozessor, welcher mit
einem Bild-Codec ausgestattet ist, welcher die erfassten Bildsignale
kodiert, basierend auf einer Rahmengröße, wobei der Bildprozessor
die Bewegbildsignale verarbeitet, welche von dem Kameramodul erzeugt
werden, gemäß einem
Anzeigebildschirm, basierend auf der Rahmengröße; eine Anzeigeeinheit zum
Anzeigen der Bildsignale, welche durch den Bildprozessor verarbeitet
werden, einen Datenprozessor, welcher mit einem Audio-Codec ausgestattet ist,
welcher empfangene Audiosignale kodiert, wobei der Datenprozessor
Daten verarbeitet; eine Puffereinheit, welche aufweist einen Bildpuffer
zum Puffer der Bildsignale, welche auf der Rahmengröße basieren,
welche durch den Bild-Codec kodiert werden, und Audiopuffer zum
Puffern der Audiosignale, welche durch den Audio-Codec kodiert werden;
einen Header-Erzeuger zum Einfügen
eines Bild-Headers, welcher Bildmusterinformation und Rahmengrößeninformation
enthält,
in jedes kodierte Bildsignal, wenn die Bildsignale, welche auf der
Rahmengröße basieren,
von dem Bildpuffer ausgegeben werden, und zum Ausgeben jedes kodierten
Bildsignals, in welches der Bild-Header eingefügt ist; einen Kombinierer zum
Kombinieren einer Ausgabe des Header-Erzeugers und einer Ausgabe
des Audiopuffers und zum Ausgeben eines Ergebnisses der Kombination; und
einen Speicher zum Speichern eines Ergebnisses des Kombinierers
als ein kombiniertes Signal.
-
KURZE BESCHREIBUNG DER ZEICHNUNGEN
-
Die
obigen und andere Ziele, Merkmale und andere Vorteile der vorliegenden
Erfindung werden klarer verstanden werden von der folgenden detaillierten
Beschreibung, in Verbindung genommen mit den beigefügten Zeichnungen,
in welchen:
-
1 ein
Blockdiagramm ist, welches die Konfiguration eines mobilen Endgeräts zum Durchführen der
Operation der vorliegenden Erfindung zeigt,
-
2 ein
Blockdiagramm ist, welches die detaillierte Konfiguration eines
Bildprozessors zeigt, welcher in 1 gezeigt
ist;
-
3 ein
Blockdiagramm ist, welches einen Prozess zum Erzeugen und zum Speichern
eines kombinierten Signals in Übereinstimmung
mit einer Ausführungsform
der vorliegenden Erfindung zeigt;
-
4 ein
Blockdiagramm ist, welches einen Prozess zum Wiedergeben des kombinierten
Signals in Übereinstimmung
mit einer Ausführungsform
der vorliegenden Erfindung zeigt;
-
5 ein
Blockdiagramm ist, welches einen Prozess zum Übertragen des kombinierten
Signals in Übereinstimmung
mit einer Ausführungsform
der vorliegenden Erfindung zeigt;
-
6 ein
Blockdiagramm ist, welches einen Prozess zum Empfangen des kombinierten
Signals in Übereinstimmung
mit einer Ausführungsform
der vorliegenden Erfindung zeigt;
-
7 ein
Flussdiagramm ist, welches eine Prozedur zum Erlangen von Bild-
und Audiosignalen und zum Erzeugen und zum Speichern eines kombinierten
Signals, welches auf den Bild- und Audiosignalen basiert, in Übereinstimmung
mit einer Ausführungsform
der vorliegenden Erfindung zeigt;
-
8 ein
Flussdiagramm ist, welches eine Prozedur zum Erlangen von Bild-
und Audiosignalen und zum Erzeugen und zum Speichern eines kombinierten
Signals, welches auf den Bild- und Audiosignalen basiert, in Übereinstimmung
mit einer anderen Ausführungsform
der vorliegenden Erfindung zeigt;
-
9 ein
Blockdiagramm ist, welches Komponenten zum Erlangen von Bild- und
Audiosignalen und zum Erzeugen und zum Speichern eines kombinierten
Signals, welches auf den Bild- und Audiosignalen basiert, in Übereinstimmung
mit einer anderen Ausführungsform
der vorliegenden Erfindung zeigt;
-
10A und 10B Blockdiagramme sind,
welche Formate von kombinierten Daten zeigen, welche durch die Prozeduren
und Komponenten erzeugt werden, welche in 7 bis 9 gezeigt sind;
-
11 ein Flussdiagramm ist, welches eine Prozedur
zum Kombinieren von Bewegtbild- und Textsignalen und zum Erzeugen
und Speichern eines kombinierten Signals, welches auf den Bewegtbild- und
Textsignalen basiert, in Übereinstimmung
mit einer anderen Ausführungsform
der vorliegenden Erfindung zeigt;
-
12 ein Flussdiagramm ist, welches eine Prozedur
zum Kombinieren von Bewegtbild- und Textsignalen und zum Erzeugen
und Speichern eines kombinierten Signals, welches auf den Bewegtbild- und
Textsignalen basiert, in Übereinstimmung
mit einer anderen Ausführungsform
der vorliegenden Erfindung zeigt;
-
13 ein schematisches Diagramm ist, welches Komponenten
zum Erlangen von Bild- und Textsignalen und zum Erzeugen und Speichern
eines kombinierten Signals, welches auf den Bild- und Textsignalen
basiert, in Übereinstimmung
mit einer anderen Ausführungsform
der vorliegenden Erfindung zeigt;
-
14A bis 14C Blockdiagramme
sind, welche Formate des kombinierten Signals zeigen, in welchen
die Bild- und Textsignale kombiniert werden durch die Prozeduren
und Komponenten, welche in 11 bis 13 gezeigt
sind;
-
15 ein Flussdiagramm ist, welches eine Prozedur
zum Kombinieren von Bewegtbild-, Audio- und Textsignalen und zum
Erzeugen und Speichern eines kombinierten Signals, welches auf den
Bewegtbild-, Audio- und Textsignalen basiert, in Übereinstimmung mit
einer anderen Ausführungsform
der vorliegenden Erfindung zeigt;
-
16 ein Flussdiagramm ist, welches eine Prozedur
zum Kombinieren von Bewegtbild-, Audio- und Textsignalen und zum
Erzeugen und Speichern eines kombinierten Signals, welches auf den
Bewegtbild-, Audio- und Textsignalen basiert, in Übereinstimmung
mit einer anderen Ausführungsform
der vorliegenden Erfindung zeigt;
-
17 ein schematisches Diagramm ist, welches Komponenten
zum Erlangen von Bild-, Audio- und Textsignalen und zum Erzeugen
und Speichern eines kombinierten Signals, welches auf den Bild-,
Audio- und Textsignalen basiert, in Übereinstimmung mit einer anderen
Ausführungsform
der vorliegenden Erfindung zeigt;
-
18A bis 18C Blockdiagramme
sind, welche Formate des kombinierten Signals zeigen, in welchen
die Bild-, Audio- und Textsignale durch die Prozeduren und Komponenten
kombiniert werden, welche in 15 bis 17 gezeigt
sind;
-
19 ein Flussdiagramm ist, welches eine Prozedur
zum Trennen und zum Wiedergeben eines kombinierten Signals in Übereinstimmung
mit einer anderen Ausführungsform
der vorliegenden Erfindung zeigt;
-
20 ein Blockdiagramm ist, welches Komponenten
zum Trennen und zum Wiedergeben des kombinierten Signals in Übereinstimmung
mit einer anderen Ausführungsform
der vorliegenden Erfindung zeigt;
-
21 ein Flussdiagramm ist, welches eine Prozedur
zum Trennen und zum Wiedergeben eines kombinierten Signals zeigt,
in welchem Bild- und Textsignale kombiniert sind, in Übereinstimmung
mit einer anderen Ausführungsform
der vorliegenden Erfindung;
-
22 ein schematisches Diagramm ist, welches Komponenten
zum Wiedergeben des kombinierten Signals zeigt, in welchem die Bild-
und Textsignale kombiniert sind in Übereinstimmung mit einer anderen
Ausführungsform
der vorliegenden Erfindung;
-
23 ein Flussdiagramm ist, welches eine Prozedur
zum Kombinieren von Bild-, Audio- und Textsignalen und zum Wiedergeben
eines kombinierten Signals, welches auf den Bild-, Audio- und Textsignalen
basiert, in Übereinstimmung
mit einer anderen Ausführungsform
der vorliegenden Erfindung zeigt;
-
24 ein Blockdiagramm ist, welches Komponenten
zum Kombinieren der Bild-, Audio- und Textsignale und zum Wiedergegeben
des kombinierten Signals, welches auf den Bild-, Audio- und Textsignalen
basiert, in Übereinstimmung
mit einer anderen Ausführungsform
der vorliegenden Erfindung zeigt;
-
25 ein Flussdiagramm ist, welches eine Prozedur
zum Erzeugen und zum Übertragen
eines kombinierten Signals in der Form von Paketen in Übereinstimmung
mit einer anderen Ausführungsform
der vorliegenden Erfindung zeigt;
-
26 ein Blockdiagramm ist, welches Komponenten
zum Erzeugen und zum Übertragen eines
kombinierten Signals in der Form von Paketen in Übereinstimmung mit einer anderen
Ausführungsform
der vorliegenden Erfindung zeigt;
-
27A bis 27E Blockdiagramme
sind, welche Formate der Pakete zeigen, welche auf dem kombinierten
Signal, welches zu übertragen
ist, basieren;
-
28 ein Blockdiagramm ist, welches Komponenten
zum Erzeugen und zum Übertragen eines
kombinierten Signals zeigt, in welchem Text- und Bewegtbildsignale
kombiniert sind, in der Form von Paketen, in Übereinstimmung mit einer anderen Ausführungsform
der vorliegenden Erfindung;
-
29A und 29B Blockdiagramme sind,
welche Formate der Pakte zeigen, welche auf dem kombinierten Signal
basieren, welches zu übertragen
ist;
-
30 ein Blockdiagramm ist, welches Komponenten
zum Erzeugen und zum Übertragen eines
kombinierten Signals zeigt, in welchem Text-, Audio- und Bewegtbildsignale
kombiniert sind, in der Form von Paketen, in Übereinstimmung mit einer anderen
Ausführungsform
der vorliegenden Erfindung;
-
31A und 31B Blockdiagramme sind,
welche Formate der Pakte zeigen, welche auf dem kombinierten Signal
basieren, welches zu übertragen
ist;
-
32 ein Flussdiagramm ist, welches eine Prozedur
zum Zerlegen von empfangenen Paketen, welche auf einem kombinierten
Signal basieren, und zum Speichern der zerlegten Pakete in Übereinstimmung
mit einer anderen Ausführungsform
der vorliegenden Erfindung zeigt;
-
33 ein Blockdiagramm ist, welches Komponenten
zum Zerlegen der empfangenen Pakete, welche auf dem kombinierten
Signal basieren, und zum Speichern und zum Weidergeben der zerlegten
Pakete in der Form des kombinierten Signals in Übereinstimmung mit einer anderen
Ausführungsform
der vorliegenden Erfindung zeigt;
-
34A und 34B Blockdiagramm
sind, welche Formate zum Zerlegen von Paketen, welche auf einem
kombinierten Signal basieren, und zum Erzeugen des kombinierten
Signals zeigen;
-
35 ein Blockdiagramm ist, welches Komponenten
zum Empfangen und zum Zerlegen von Paketen, welche auf einem kombinierten
Signal basieren, in welchem Text- und Bewegtbildsignale kombiniert
sind, in Übereinstimmung
mit einer anderen Ausführungsform
der vorliegenden Erfindung zeigt;
-
36 ein Blockdiagramm ist, welches Komponenten
zum Empfangen und zum Zerlegen von Paketen, welche auf einem kombinierten
Signal basieren, in welchem Text-, Audio- und Bewegtbildsignale
kombiniert sind, in Übereinstimmung
mit einer anderen Ausführungsform
der vorliegenden Erfindung zeigt; und
-
37 ein Flussdiagramm ist, welches eine Prozedur
zum Erzeugen, zum Wiedergeben, zum Übertragen und zum Empfangen
eines kombinierten Signals in Übereinstimmung
mit einer anderen Ausführungsform
der vorliegenden Erfindung zeigt.
-
DETAILLIERTE BESCHREIBUNG
DER BEVORZUGTEN AUSFÜHRUNGSFORMEN
-
Einige
Ausführungsformen
der vorliegenden Erfindung werden nun im Detail mit Bezug auf die
begleitenden Zeichnungen beschrieben werden. In den Zeichnungen
werden die gleichen oder ähnliche
Elemente durch die gleichen Bezugzeichen bezeichnet.
-
In
der folgenden Beschreibung werden näher beschriebene Details, welche
sich auf eine Bildkompressionstechnik, eine Übertragungsrate von Bewegtbildsignalen,
ein Format von Bilddaten, eine Größe von Bildsignalen beziehen,
als ein Beispiel beschrieben. Für
den Fachmann wird offensichtlich sein, dass die vorliegende Erfindung
unter Verwendung von verschiedenen Modifikationen ohne die angegebenen
Details implementiert werden kann.
-
Es
wird angenommen, dass eine Joint-Photographic-Expert-Group-(JPEG)-Kodierungstechnik als
eine Bildsignal-Kodierungstechnik in Übereinstimmung mit einer Ausführungsform
der vorliegenden Erfindung eingesetzt wird. Alternativ kann eine andere
Bildkodierungstechnik in der Ausführungsform der vorliegenden
Erfindung eingesetzt werden. In Übereinstimmung
mit der Ausführungsform
der vorliegenden Erfindung werden empfange Bewegtbildsignale zu
vorbestimmten Zeitintervallen kodiert mittels der JPEG-Kodierungstechnik
als eine Standbildsignal-Kodierungstechnik, so dass kodierte Bilddaten
erzeugt werden können.
Dann kann ein kombiniertes Signal, in welchem Audio- oder Textdaten
mit den kodierten Bilddaten kombiniert sind, erzeugt werden. Außerdem kann
ein kombiniertes Signal, in welchem Audiodaten und Textdaten mit
den kodierten Bilddaten kombiniert sind, erzeugt werden.
-
In Übereinstimmung
mit der Ausführungsform
der vorliegenden Erfindung kann das kombinierte Signal erzeugt werden,
wie oben beschrieben, kann das kombi nierte Signal zerlegt werden
und wiedergegeben werden, und kann das kombinierte Signal übertragen/empfangen
werden durch ein Kommunikationsmodul.
-
Der
Begriff "Standbildsignale" bezieht sich auf
Bildsignale, welche fähig
sind, in der Form von Bewegtbildsignalen erzeugt zu sein. In diesem
Fall kodiert ein Bild-Codec
aufeinander folgend Standbilder in Einheiten von gesetzten Zeiten
und die aufeinander folgend kodierten Standbilder werden in der Form
von Bewegtbildsignalen erzeugt. Das heißt, dass der Bild-Codec die
Standbildsignale in Einheiten von Rahmen während jeder gesetzten Zeit
kodiert. Hier bezeichnet die aktuelle Zeit eine Zeitperiode, während welcher
der Bild-Codec Bildsignale von einem Rahmen kodiert. Der Bild-Codec
kann ein JPEG-Codec sein. Außerdem
bezieht sich der Begriff "kombiniertes
Signal" auf ein
Signal, in welchem Audiosignale oder ein Textsignal mit Bewegtbildsignalen
oder einem Signal, in welchem Audio- und Textsignale mit Bewegtbildsignalen
kombiniert sind, in Übereinstimmung
mit einer Ausführungsform
der vorliegenden Erfindung kombiniert sind.
-
Der
Begriff "Kombiniermodus" bezieht sich auf
einen Betriebsmodus zum Kombinieren von Bildsignalen, welche durch
die Kamera erfasst wurden, mit Audiosignalen oder einem Textsignal
oder mit Audio- und Textsignalen. In diesem Fall kodiert der Bild-Codec
aufeinander folgend Standbilder in Einheiten von gesetzten Zeiten,
um kodierte Bildsignale auszugeben, und die Bildsignale, welche
aufeinander folgend durch den Bild-Codec kodiert werden, werden
mit den Audiosignalen oder dem Textsignal oder mit den Audio- und
Textsignalen kombiniert. Der Begriff "Wiedergabemodus" bezieht sich auf einen Betriebsmodus
zum Zugreifen und Anzeigen von kombinierten Daten, in welchen kodierte
Bildsignale mit den Audiosignalen oder dem Textsignal oder mit den
Audio- und Textsignalen kombiniert sind. Der Begriff "Übertragungsmodus" bezieht sich auf
einen Betriebsmodus zum aufeinander folgenden Übertragen von kombinierten
Signalen nach Durchführen
des Kombiniermodus oder zum selektiven Übertragen der kombinierten
Signale, welche in einem Speicher gespeichert sind. Der Begriff "Empfangsmodus" bezieht auf einen
Betriebsmodus zum Empfangen und Spei chern eines kombinierten Signals
von einer Basisstation. Der Wiedergabemodus kann durchgeführt werden,
während
der Empfangsmodus durchgeführt wird.
-
Es
wird angenommen, dass ein mobiles Endgerät zur Verarbeitung von Bewegtbildsignalen
ein mobiles Telefon in Übereinstimmung
mit der Ausführungsform
der vorliegenden Erfindung ist. Das mobile Endgerät in Übereinstimmung
mit der Ausführungsform
der vorliegenden Erfindung kann angewandt werden auf eine mobile
Kommunikationsvorrichtung zum Anzeigen von Bildern unter Verwendung
der Kamera, verschieden von dem mobilen Telefon.
-
1 ist
ein Blockdiagramm, welches die Konfiguration eines mobilen Endgeräts oder
eines mobilen Telefons in Übereinstimmung
mit einer Ausführungsform
der vorliegenden Erfindung zeigt.
-
Bezugnehmend
auf 1 führt
ein Funkfrequenz-(RF)-Modul 23 eine Funkkommunikationsfunktion
für das
mobile Telefon durch. Das RF-Modul 23 enthält einen
RF-Sender (nicht gezeigt) zum Hochkonvertieren und zum Verstärken einer
Frequenz eines Signals, welches zu übertragen ist, einen RF-Empfänger (nicht
gezeigt) zum Durchführen einer
rauscharmen Verstärkung
für ein
empfangenes Signal und zum Herunterkonvertieren einer Frequenz des
verstärkten
empfangenen Signals, etc. Ein Datenprozessor 20 enthält einen
Sender (nicht gezeigt) zum Kodieren und zum Modulieren des Sendesignals,
einen Empfänger
(nicht gezeigt) zum Demodulieren und zum Dekodieren des empfangenen
Signals, etc. Das heißt,
dass der Datenprozessor 20 ein Modem und ein Codec sein
kann. Hier enthält
der Codec, welcher in dem Datenprozessor 20 bereitgestellt
ist, einen Daten-Codec (nicht gezeigt) zum Verarbeiten von Paketdaten,
etc., und einen Audio-Codec 85 zum Verarbeiten von Audiosignalen,
wie Sprache, etc. In Übereinstimmung
mit einer Ausführungsform
der vorliegenden Erfindung wird angenommen, dass der Audio-Codec 85 ein
Sprach-Codec ist, welcher in dem mobilen Telefon eingebettet ist.
Wo der Audio-Codec 85 auf einer Rate von 8 Kbps basiert
ist, wird alle 20 msec ein kodiertes Audiosignal eines Rahmens (20
Bytes) erzeugt. Ein Audio prozessor 25 gibt eine Audiosignalausgabe
von dem Audio-Codec 85, welcher in dem Datenprozessor 20 bereitgestellt
ist, wieder oder führt
eine Funktion zum Senden eines Audiosignals von dem Mikrofon an
den Audio-Codec 85 durch, welcher in dem Datenprozessor 20 bereitgestellt
ist.
-
Eine
Tasteneingabeeinheit 27 enthält Tasten zum eingeben von
numerischen und Zeicheninformation und Funktionstasten zum Setzen
verschiedener Funktionen. In Übereinstimmung
mit einer Ausführungsform
der vorliegenden Erfindung kann die Tasteneingabeeinheit 27 Funktionstasten
zum Steuern eines Bewegtbildmodus und eine Erfassungstaste zum Ansteuern
der Kamera enthalten. In einer Ausführungsform der vorliegenden
Erfindung kann ein Textsignal durch die Tasteneingabeeinheit 27 eingegeben
werden, so dass das Textsignal mit Bild- oder Bewegtbildsignalen
kombiniert wird.
-
Ein
Speicher 30 kann ein Programmspeicher, ein Datenspeicher
und ein Bewegtbildspeicher zum Speichern von kombinierten Signalen
sein, welche erzeugt und empfangen werden in Übereinstimmung mit einer Ausführungsform
der vorliegenden Erfindung. Der Programmspeicher kann Programme zum
Steuern einer Gesamtoperation des mobilen Telefons und Programme
zum Steuern eines Pfads eines Bildsignals speichern, welches auf
eine Anzeigeeinheit angewandt wird, in Übereinstimmung mit einer Ausführungsform
der vorliegenden Erfindung. Ferner speichert der Datenspeicher temporär Daten, welche
erzeugt werden, während
die Programme ausgeführt
werden. Außerdem
enthält
der Datenspeicher einen Textpuffer zum Speichern eines Textsignals,
welches durch die Tasteneingabeeinheit 27 eingegeben wird;
einen Bildpuffer zum Speichern von Bewegtbildsignalen, und einen
Audiopuffer zum Speichern von Audiosignalen, welche von dem Audio-Codec 85 erzeugt
werden. In Übereinstimmung mit
einer Ausführungsform
der vorliegenden Erfindung speichert der Bewegtbildspeicher kombinierte Daten,
in welchen kodierte Bilddaten mit dem Textsignal (oder Audiosignalen)
kombiniert sind.
-
Eine
Steuerung 10 steuert die Gesamtoperation des mobilen Telefons.
In einer Ausführungsform der
vorliegenden Erfindung kann die Steuerung 10 in dem Datenprozessor 20 bereitgestellt
sein. Zusätzlich
steuert die Steuerung 10 Operationen zum Erzeugen, zum
Speichern, zum Wiedergeben, zum Übertragen
und zum Empfangen der kombinierten Signale gemäß einem Betriebsmodusbefehl,
welcher durch die Tasteneingabeeinheit 27 gesetzt wird.
Die Steuerung 10 gibt Benutzerdaten an eine Anzeigeeinheit 60 aus,
so dass die Anzeigeeinheit 60 die Benutzerdaten anzeigen
kann. Die Benutzerdaten, welche durch das mobile Telefon anzuzeigen
sind, enthalten die ersten Benutzerdaten, welche eine aktuelle Zeit,
Empfangsempfindlichkeit und einen Restbetrag von Batteriespannung
anzeigen, und die zweiten Benutzerdaten, welche durch einen Benutzer
gesetzt sind. Die zweiten Benutzerdaten können ein Textsignal des kombinierten
Signals sein, welches von dem Benutzer ausgewählt oder eingegeben wurde in Übereinstimmung
mit einer Ausführungsform
der vorliegenden Erfindung. In der Ausführungsform der vorliegenden
Erfindung wird angenommen, dass die zweiten Benutzerdaten ein Textsignal
des kombinierten Signals sind.
-
Ein
Kameramodul 40 enthält
einen Kamerasensor zum Konvertieren eines optischen Signals, welches
ein Bildsignal hat, in ein elektrisches Signal, und einen Signalprozessor
zum Konvertieren eines analogen Bildsignals, welches durch den Kamerasensor
erfasst wurde, in digitale Daten. Es wird angenommen, dass der Kamerasensor
ein Charge-Coupled-Device-(CCD)-Bildsensor ist. Der Signalprozessor
kann durch einen digitalen Signalprozessor (DSP) implementiert sein.
Der Kamerasensor und der Signalprozessor können kombiniert oder getrennt sein.
-
Ein
Bildprozessor 50 erzeugt Bildschirmdaten, so dass Bildsignale,
welche von dem Kameramodul 40 ausgegeben werden, angezeigt
werden können.
Der Bildprozessor 50 verarbeitet die Bildsignale, welche
von dem Kameramodul 40 ausgegeben werden, in Einheiten
von Rahmen. Rahmenbilddaten werden auf der Basis der Eigenschaften
und der Größe der Anzeigeeinheit 60 ausgegeben.
Außerdem enthält der Bildprozessor 50 einen
Bild-Codec 80. Der Bild-Codec 80 kodiert die Bildsignale
in einer gesetzten Kodierart oder dekodiert kodierte Rahmenbilddaten
in Originalrahmenbilddaten. Der Bildprozessor 50 erzeugt
und reproduziert Bewegtbildsignale in Antwort auf einen Betriebsmodus,
welcher unter der Steuerung der Steuerung 10 gesetzt wird.
-
Die
Anzeigeeinheit 60 zeigt Rahmenbildsignale, welche von dem
Bildprozessor 50 ausgegeben werden, auf einem Bildschirm
an und zeigt Benutzerdaten an, welche von der Steuerung 10 ausgegeben werden.
Die Anzeigeeinheit 60 zeigt Bewegtbildsignale an, welche
unter der Steuerung der Steuerung 10 wiedergegeben werden.
Die Anzeigeeinheit 60 kann eine Flüssigkristallanzeige (LCD) einsetzen.
In diesem Fall enthält
die Anzeigeeinheit 60 eine LCD-Steuerung, einen Speicher,
welcher fähig
ist zum Speichern von Bilddaten, und LCD-Elemente. Wenn das LCD
mit einem berührungsempfindlichen Bildschirm
implementiert ist, dient der berührungsempfindliche
Bildschirm als eine Eingabeeinheit.
-
Ein
Global-Positioning-System-(GPS)-Empfänger 70 empfängt GPS-Information
von einem GPS-Satelliten und überträgt die empfangene GPS-Information
an die Steuerung 10. Die GPS-Information kann Information
sein, welche eine aktuelle Position des mobilen Telefons anzeigt.
In einer Ausführungsform
der vorliegenden Erfindung kann eine Position (oder Platz) und Zeitinformation,
welche mit gegenwärtig
erlangten Bewegtbildern assoziiert ist, durch den GPS-Empfänger 70 empfangen
werden.
-
Der
Betrieb des mobilen Endgeräts
oder des mobilen Telefons wird nun mit Bezug auf 1 beschrieben
werden. Falls der Benutzer eine Wähloperation durch die Tasteneingabeeinheit 27 zu
der Zeit des Übertragens
eines ausgehenden Anrufsignals durchführt, detektiert die Steuerung 10 einen
Anrufsignal-Sendemodus, verarbeitet Wählinformation, welche von dem
Datenprozessor 20 empfangen wird, konvertiert die Wählinformation
in ein RF-Signal durch das RF-Modul 23 und gibt das RF-Signal
aus. Dann, falls ein angerufener Teilnehmer ein Antwortsignal erzeugt,
detektiert die Steuerung 10 das Antwortsignal von dem angerufe nen
Teilnehmer durch das RF-Modul 23 und den Datenprozessor 20.
Dann etabliert die Steuerung 10 einen Kommunikationspfad,
welcher auf dem RF-Modul 23, dem Datenprozessor 20 und
Audioprozessor 25 basiert, um eine Kommunikationsfunktion
durchzuführen.
Zu der Zeit des Empfangens eines eingehenden Anrufsignals detektiert
die Steuerung 10 einen Anrufsignal-Empfangsmodus durch
den Datenprozessor 20, steuert den Audioprozessor 25 und
erzeugt ein Klingelsignal. Dann, falls der Benutzer auf das Klingesignal
antwortet, detektiert die Steuerung 10 die Antwort auf
das Klingelsignal. Ähnlich
etabliert die Steuerung 10 einen Kommunikationspfad, welcher
auf dem Audioprozessor 25, dem Datenprozessor 20 und
dem RF-Modul 23 basiert und führt eine Kommunikationsfunktion
durch. Sprachkommunikation in den Anrufsignalsende- und Empfangsmodi
wurden als ein Beispiel beschrieben. Jedoch kann eine Datenkommunikationsfunktion
zum Kommunizieren von Paketdaten und Bilddaten, welche eine andere
als die Sprachkommunikation ist, durchgeführt werden. Außerdem, wenn
ein Stand-by-Modus
oder eine Textkommunikation durchgeführt wird, ermöglicht die
Steuerung 10 der Anzeigeeinheit 60, Zeichen oder
Textdaten anzuzeigen, welche durch den Datenprozessor 20 verarbeitet
wurden.
-
Wenn
das mobile Telefon Code-Division-Multiple-Access-(CDMA)-Kanäle verwendet,
enthält
der Datenprozessor 20 Kanalübertragungs-/Empfangsvorrichtungen, welche auf CDMA basieren.
Der Datenprozessor 20 enthält den Audio-Codec 85 zum
Kodieren und zum Dekodieren von Audiosignalen, welche mit Bewegtbildsignalen kombiniert
werden sollen, in Übereinstimmung
mit einer Ausführungsform
der vorliegenden Erfindung.
-
In Übereinstimmung
mit einer Ausführungsform
der vorliegenden Erfindung kann das mobile Telefon ein Bild einer
Person oder einer peripheren Umgebung erfassen und das Bild anzeigen
oder übertragen.
Zuerst ist das Kameramodul 40 in dem mobilen Telefon angebracht
oder mit dem mobilen Telefon in seiner vorbestimmten externen Position
verbunden. Das heißt,
dass das Kameramodul 40 eine interne oder externe Kamera
sein kann. Das Kameramodul 40 kann einen Sensor zum Erfassen
von Bildsignalen, einen Signalprozessor zum Konvertieren der Bildsignale,
welche durch den Sensor erfasst wurden, in digitale Daten, und andere
enthalten. Der Sensor kann einen Charged-Coupled-Device-(CCD)-Bildsensor
oder einen Complementary-Metal-Oxide-Semiconductor-(CMOS)-Bildsensor verwenden.
Nachdem ein Bildsignal, welches durch das Kameramodul 40 erfasst
wurde, in ein elektrisches Signal konvertiert ist, konvertiert der
Signalprozessor ein analoges Bildsignal in digitale Bilddaten und
gibt dann die digitalen Bilddaten und Synchronisationssignale an
den Bildprozessor 50 aus. Hier können die Synchronisationssignale
ein horizontales Synchronisationssignal Hsync und ein vertikales
Synchronisationssignal Vsync sein.
-
2 ist
ein Blockdiagramm, welches eine Konfiguration des Signalprozessors 50 zeigt,
welcher in 1 gezeigt ist. Der Bildprozessor 50 führt eine Schnittstellenfunktion
zwischen dem Kameramodul 40 und der Anzeigeeinheit 60 durch
und führt
gleichzeitig eine Funktion zum Kodieren von Bildsignalen, welche
von dem Kameramodul 40 eingegeben werden, und eine Dekodierfunktion
durch. Außerdem führt der
Bildprozessor 50 Dezimierungs- und Abschneideoperationen
für Bildpunkte
und Linien von Bilddaten durch, welche in einem kodierten Hauptbild enthalten
sind, um ein Miniaturbild zu erzeugen. Wie oben beschrieben, enthält der Bildprozessor 50 den Bild-Codec 80 zum
Kodieren und Dekodieren von Bildsignalen. In einer Ausführungsform
der vorliegenden Erfindung ist angenommen, dass der Bild-Codec 80 ein
Joint-Photgraphic-Expert-Group-(JPEG)-Codec ist.
-
Bezugnehmend
auf 2 führt
eine Kameraschnittstelle 311 eine Schnittstellenfunktion
für Bilddaten
durch, welche von dem Kameramodul 40 ausgegeben werden.
Es wird angenommen, dass die Bilddaten, welche von dem Kameramodul 40 ausgegeben
werden, auf einem YUV-Format basieren und die Anzeigeeinheit 60 Bilddaten
von einem RGB-Format anzeigen. In einer Ausführungsform der vorliegenden
Erfindung wird angenommen, dass die Bilddaten, welche von dem Kameramodul 40 ausgegeben
werden, auf einem YUV-211-(16 Bit)-Format basieren und auf einer
Common-Intermediate-Format-(CIF)-Größe von 352 × 288 Pixel festgelegt sind. Darüber hinaus
wird angenommen, dass die Anzeigeeinheit 60, welche auf
dem RGB-Format basiert, eine Größe von 128 × 112 Pixeln
hat.
-
In
Antwort auf ein Steuersignal, welches von der Steuerung 10 ausgegeben
wird, skaliert ein Skalierer 113 Daten der Bildsignale,
welche durch das Kameramodul 40 erfasst werden, so dass
die Bilddaten auf der Anzeigeeinheit 60 angezeigt werden
können.
Das heißt,
wie oben beschrieben, dass die Anzahl von Bildpunkten der Bildsignale,
welche durch das Kameramodul 40 erfasst werden, die CIF-Größe von 352 × 288 Bildpunkten
ist, und die Anzahl von Bildpunkten von Bilddaten, welche angezeigt
werden können,
128 × 112
Bildpunkte oder 128 × 96
Bildpunkte ist. Also reduziert und beschneidet der Skalierer 313 die
Bildpunkte der Bildsignale, welche von dem Kameramodul 40 ausgegeben
werden, auf die Anzahl der Bildpunkte der Bilddaten, welche auf
der Anzeigeeinheit 60 angezeigt werden können. Jedoch kann,
falls die Anzeigeeinheit 60 Bilddaten anzeigen kann, welche
eine Größe haben,
welche größer ist als
die Anzahl der Bildpunkte der Bildsignale, welche von dem Kameramodul 40 ausgegeben
werden, der Skalierer 313 gestaltet sein, so dass die Bildpunkte der
Bildsignale, welche von dem Kameramodul 40 ausgegeben werden,
vergrößert und
angezeigt werden können
unter der Steuerung der Steuerung 10. Ein Verfahren zum
Anzeigen der vergrößerten Bildpunkte
ausgewählt
die Anzahl von Bildpunkten, welche angezeigt werden können, von
den Bilddaten, welche von dem Kameramodul 40 ausgegeben
werden, und zeigt die ausgewählten
Bildpunkte an.
-
Ein
Farbkonverter 315 konvertiert YUV-Daten, welche von dem
Skalierer 313 empfangen werden, in RGB-Daten, und gibt
dann die RGB-Daten aus. Wenn das Kameramodul 40 die Bilddaten
in dem RGB-Format erzeugt oder die Anzeigeeinheit 60 Bilddaten
des YUV-Formats anzeigen kann, kann die Konfiguration des Farbkonverters 315 weggelassen werden.
-
Eine
Flüssigkristallanzeige-(LCD)-Schnittstelle 317 führt eine
Schnittstellenfunktion für
Bilddaten durch, welche auf die Anzeigeeinheit 60 auszugeben
sind. Die LCD-Schnittstelle 317 enthält einen internen Puffer und
puffert die Bilddaten, welche mit der Anzeigeeinheit 60 verbunden
sind.
-
Unter
der Steuerung der Steuerung 10 kann der Bild-Codec 80 die
erfassten Bilddaten kodieren oder die kodierten Bilddaten dekodieren.
In einer Ausführungsform
der vorliegenden Erfindung wird angenommen, dass der Bild-Codec 325 ein JPEG-Codec
ist. Unter der Steuerung der Steuerung 10 empfängt der
Bild-Codec 80 Kamerabildsignale von dem Farbkonverter 315 oder
Bildsignale, welche auf der Anzeigeeinheit 60 anzuzeigen
sind, und führt eine
JPEG-Kodieroperation für
die empfangenen Bildsignale durch. Außerdem dekodiert der Bild-Codec 80 JPEG-kodierte
Bildsignale und gibt die dekodierten Bildsignale an den Skalierer 313 oder
die LCD-Schnittstelle 317 aus. Der Bild-Codec 80 kann Kamerabilder
oder angezeigte Bilder kodieren oder dekodieren.
-
Eine
Steuerschnittstelle 321 führt eine Schnittstellenfunktion
zwischen dem Bildprozessor 50 und der Steuerung 10 durch,
und führt
eine Schnittstellenfunktion zwischen der Anzeigeeinheit 60 und
der Steuerung 10 durch.
-
Ein
Selektor 319 ausgewählt
Daten, welche von dem Bildprozessor 50 ausgegeben werden,
oder Daten, welche von der Steuerung 10 ausgegeben werden,
in Antwort auf ein Pfadsteuersignal, welches von der Steuerung 10 ausgegeben
wird, und gibt die ausgewählten
Daten an die Anzeigeeinheit 60 aus. Das Pfadsteuersignal
enthält
das erste Pfadsteuersignal, welches ein Signal zum Aktivieren eines
Busses zwischen dem Bildprozessor 50 und der Anzeigeeinheit 60 bezeichnet;
und das zweite Pfadsteuersignal, welches ein Signal zum Aktivieren
eines Pfades zwischen der Steuerung 10 und der Anzeigeeinheit 60 bezeichnet.
Außerdem
kann die Steuerung 10 mit der Anzeigeeinheit 60 durch
den Selektor 319 bidirektional kommunizieren.
-
Die
Operation zum Übertragen
von Bilddaten, welche durch die Kamera erhalten wurden, an die Anzeigeeinheit 60 wird
nun beschrieben werden mit Bezug auf 2. Der
Bildprozessor 50 steuert eine Übertragungsrate von Bewegtbilddaten,
welche durch das Kameramodul 40 erfasst werden, und speichert
Eingabebilddaten in einem Speicher der Anzeigeeinheit 60 durch
die LCD-Schnittstelle 317. Die Anzahl von Bildpunkten der
Bildsignale, welche mit einem Rahmen korrespondieren, welcher von dem
Kameramodul 40 ausgegeben wird, ist eine CIF-Größe von 352 × 288 Bildpunkten,
und Bildpunkte der Bilddaten von der Kamera werden reduziert und
teilweise abgeschnitten auf der Basis der Anzahl von Bildpunkten
(128 × 112
Bildpunkte oder 128 × 96 Bildpunkte)
von Bilddaten, welche mit einem Rahmen korrespondieren, welcher
angezeigt werden kann. Also beschneidet der Skalierer 313 des
Bildprozessors 50 die Bildpunkte der Bildsignale teilweise,
welche von dem Kameramodul 40 ausgegeben werden, oder ausgewählt einen
Teilbereich der Bildpunkte, so dass die Anzeigeeinheit 60 die
Bildpunkte der Bildsignale von dem Kameramodul 40 auf einem Zoom-Bildschirm
passend anzeigen kann. Die Übertragungsrate
der Bilddaten ist fest bestimmt auf der Basis eines Haupttakts.
Der Fluss von Bildsignalen oder -daten zwischen dem Kameramodul 40,
dem Bildprozessor 50 und der Anzeigeeinheit 60 wird
beeinflusst durch eine Zugriffsrate für die Anzeigeeinheit 60.
Daher enthält
die LCD-Schnittstelle 317 einen
Puffer zum temporären
Puffer der Bildsignale oder -daten, so dass eine Rate der Bildsignale,
welche von dem Kameramodul 40 zu lesen sind, und eine Rate
der Bilddaten, welche an die Anzeigeeinheit 60 zu schreiben
sind, eingestellt werden kann.
-
In
einem Prozess zum Anzeigen von Bildsignalen, welche durch das Kameramodul 40 erfasst werden
auf der Anzeigeeinheit 60 in der Form von Bewegtbildern,
erlaubt der Benutzer ein angezeigtes Bild als ein Standbild zu erfassen
und erlaubt dem erfassten Bild, gespeichert zu werden. Das heißt, dass der
Benutzer ein angezeigtes Bild als ein Foto speichern kann unter
Verwendung einer Fotoerfassungstaste. In diesem Fall, wenn ein Fotoerfassungsbefehl erzeugt
wird, stoppt die Steuerung 10 die Operation des Bildprozessors 50,
reproduziert ein Bild, welches auf der Anzeigeeinheit 60 angezeigt
wird, als ein Standbild und steuert den Bild-Codec 80 an. Dann empfängt der
Bild-Codec 80 ein Bild, welches von dem Ka meramodul 40 ausgegeben
wird, oder Bilddaten von einem Rahmen, welcher auf der Anzeigeeinheit 60 angezeigt
wird, kodiert die empfangenen Bilddaten in das JPEG-Format und gibt
die kodierten Bilddaten an die Steuerschnittstelle 221 aus.
Die Steuerung 10 speichert empfangene kodierte Bilddaten
als ein Foto in einem Speicher 30.
-
Die
detaillierte Konfiguration des Bildprozessors
50, welcher
in
2 gezeigt ist, ist offenbart in den
koreanischen Patentanmeldungen 2002-22066 und
2002-22844 , welche hier durch Bezugnahme aufgenommen
werden und der Samsung Electronic Co., Ltd. zugeordnet sind.
-
3 ist
ein Blockdiagramm, welches einen Prozess zum Kodieren aufeinander
folgender Bildsignale zeigt, welche durch das Kameramodul erfasst werden,
welches in dem mobilen Telefon bereitgestellt ist, welches mit der
Kamera und dem Bild-Codec ausgestattet ist, in die Form von Standbildsignalen,
zum Erzeugen eines kombinierten Signals, in welchem Bewegtbildsignale
mit Audiosignalen oder einem Textsignal kombiniert sind, und zum
Speichern des erzeugten kombinierten Signals in Übereinstimmung mit der ersten
Ausführungsform
der vorliegenden Erfindung.
-
Bezugnehmend
auf 3 werden die Bildsignale, welche durch das Kameramodul 40 erfasst werden,
an den Bild-Codec 80 angelegt. Der Bild-Codec 80 kodiert
die Bildsignale in der Form von JPEG-Bilddaten. Die JPEG-Bilddaten
werden der Steuerung 10 zugeführt. Zu dieser Zeit erzeugt
der Bild-Codec 80 die JPEG-Bilddaten, während einige Rahmen übersprungen
werden, innerhalb der Bildsignale, welche von dem Kameramodul 40 ausgegeben
werden, gemäß der Kodierleistung.
Das heißt, dass
der Bild-Codec 80 eine Operation zum Kodieren der aufeinander
folgenden Bildsignale in der Form von Standbildsignalen durchführt gemäß seiner
Kodierleistungsfähigkeit.
Außerdem
kodiert der Audio-Codec 85 des Datenprozessors 20 Audiosignale gemäß den Bewegtbildsignalen,
und die kodierten Audiosignale werden der Steuerung 10 zugeführt. Dann
erzeugt die Steuerung 10 ein kombiniertes Signal, in welchem
die Bewegtbildsignale, welche von dem Bild-Codec 80 ausgegeben
werden, mit den Audiosignalen, welche von dem Audio-Codec 85 ausgegeben
werden, kombiniert sind. Dann wird das erzeugte, kombinierte Signal
in dem Speicher 30 gespeichert. Wenn der oben beschriebene
Prozess wiederholt wird, werden kombinierte Signale, in welchen
Bewegtbildsignale mit Audiosignalen kombiniert sind, in den Speicher 30 gespeichert.
-
Darüber hinaus
kombiniert die Steuerung 10 Bewegtbildsignale, welche von
dem Bild-Codec 80 ausgegeben werden, mit einer Textsignalausgabe von
dem Datenprozessor 20 und erzeugt ein kombiniertes Signal.
Das erzeugte, kombinierte Signal wird in dem Speicher 30 gespeichert.
An diesem Punkt kann das Textsignal direkt durch den Benutzer durch die
Tasteneingabeeinheit 27 eingegeben werden. Alternativ kann
ein vorher gespeichertes Textsignal als das Textsignal ausgewählt werden,
welches mit den Bewegtbildsignalen zu kombinieren ist. In einem
Verfahren zum Kombinieren der Bewegtbildsignale mit dem Textsignal
können
eine Texteingabeoperation und eine Bewegtbildsignal-Operation unabhängig voneinander
durchgeführt
werden. Wenn die Bewegtbildsignal-Eingabeoperation abgeschlossen
ist, können
die Bewegtbildsignale mit dem Textsignal kombiniert werden.
-
Information,
welche einen Namen, Ort, Zeit, etc., welche mit dem kombinierten
Signal assoziiert sind, bezeichnet, wird zusammen mit dem kombinierten
Signal gespeichert. Hier, wo das mobile Telefon mit dem GPS-Empfänger ausgestattet
ist, können Ort-
und Zeitinformation, welche mit den erfassten Bewegtbildsignalen
assoziiert sind, automatisch registriert werden, unter Verwendung
von Ortsund Zeitinformation, welche von dem GPS empfangen werden.
In diesem Fall kann der Benutzer zusätzlich einen Namen des kombinierten
Signals eingeben und den Namen des kombinierten Signals als Menüinformation
in Zukunft verwenden. Außerdem
gibt, wenn das mobile Telefon nicht mit dem GPS-Empfänger ausgestattet
ist, der Benutzer den Namen, Ort und Zeit, welche mit den erfassten Bewegtbildsignalen assoziiert
sind, ein, welche als Menüinformation
verwendet werden können.
-
Die
oben beschriebene Operation wurde beschrieben in Bezug auf das mobile
Telefon, welches mit der Kamera und dem Bild-Codec ausgestattet
ist. Das mobile Endgerät,
welches mit einem Software-basierten JPEG-Codec ohne den Bild-Codec ausgestattet
ist, kann die oben beschriebene Operation implementieren. Eine Zeitperiode,
welche zum Kodieren und zum Dekodieren von JPEG-Bildern mittels
Software benötigt
wird, ist länger
als diese, welche zum Kodieren und zum Dekodieren von Bildsignalen
mittels eines Hardware-basierten Bild-Codecs benötigt wird, welcher in dem mobilen
Telefon eingebettet ist. Daher wird, wenn JPEG-Daten dekodiert werden,
während
einige Rahmen übersprungen
werden in Bezug auf Video von empfangener Bewegtbildmail und alle
Audiosignale dekodiert werden, eine Rahmenaktualisierungsrate herabgesetzt,
aber Audio- und Bildnachrichten können ausreichend übertragen
werden.
-
4 ist
ein Blockdiagramm, welches einen Prozess zum Zugreifen auf ein gespeichertes,
kombiniertes Signal zeigt, welches durch den Prozess gespeichert
wird, welcher mit 3 assoziiert ist, zum Trennen
des kombinierten Signals in Bewegtbildsignale, Audiosignale und/oder
ein Textsignal und zum Wiedergeben der Bewegtbildsignale, der Audiosignale
und/oder des Textsignals.
-
Bezugnehmend
auf 4 greift die Steuerung 10 auf ein kombiniertes
Signal zu, welches von dem Speicher 30 ausgewählt wird,
wenn eine Wiedergabeoperation für
das kombinierte Signal angefordert wird, führt eine Header-Analyseoperation durch
und trennt Bildsignale, Audiosignale und/oder ein Textsignal von
dem kombinierten Signal. Dann überträgt die Steuerung 10 die
Audiosignale und/oder das Textsignal an den Audio-Codec 85 und/oder
die Anzeigeeinheit 60 und überträgt die Bewegtbildsignale an
den Bild-Codec 80. Dann gewinnt der Bild-Codec 80 die
originalen Bildsignale von den JPEG-Bildsignalen zurück. Der
Bildprozessor 50 verarbeitet die zurückgewonnen Bildsignale auf
der Basis der Größe der Anzeigeeinheit 60 und überträgt die verarbeiteten,
zurückgewonnenen
Bildsignale an die Anzeigeeinheit 60, so dass diese die
Bildsignale anzeigen kann. In diesem Fall kann die Textsignalausgabe
von der Steuerung 10 die zweiten Benutzerdaten sein und
angezeigt werden gemäß einem
bestimmten Anzeigetyp, während
die Bewegtbildsignale angezeigt werden. Der Anzeigetyp wird unten
beschrieben werden. Nachdem der Audio-Codec 85 die originalen
Audiosignale von den kodierten Audiosignalen zurückgewinnt, reproduziert der
Audioprozessor 25 die Audiosignale.
-
5 ist
ein Blockdiagramm, welches einen Prozess zum Übertragen eines kombinierten
Signals in dem mobilen Telefon zeigt, welches mit der Kamera und
dem Bild-Codec ausgestattet ist, in Übereinstimmung mit einer dritten
Ausführungsform
der vorliegenden Erfindung. In einem Verfahren zum Übertragen
des kombinierten Signals wird auf das kombinierte Signal, welches
in dem Speicher 30 gespeichert ist, zugegriffen und dieses übertragen.
Als Alternative kann das kombinierte Signal in Echtzeit übertragen
werden während
des Prozesses, welcher mit der 3 assoziiert
ist. Es wird angenommen, dass das kombinierte Signal ein Signal
ist, in welchem Bewegtbildsignale, Audiosignale und/oder ein Textsignal
kombiniert sind.
-
Die
Operation zum Übertragen
des kombinierten Signals, welches in dem Speicher 30 gespeichert
ist, wird nun beschrieben werden. Der Speicher 30 kann
wenigstens ein kombiniertes Signal speichern. Daher kann der Benutzer
ein gewünschtes, kombiniertes
Signal mittels eines Menüs
auswählen. Wenn
das gewünschte,
kombinierte Signal ausgewählt
ist, greift die Steuerung 10 auf das kombinierte Signal,
welches in dem Speicher 30 gespeichert ist, zu, erzeugt
Paketdaten, welche auf dem kombinierten Signal, welches zu übertragen
ist, basieren, und gibt die Paketdaten an den Datenprozessor 20 aus. Der
Datenprozessor 20 reserviert einen Datenkanal, führt eine
Kanalkodierungs- und -modulationsoperation für das kombinierte Signal durch
und überträgt ein Ergebnis
der Kanaldekodierungs- und -modulationsoperation an das RF-Modul 23.
Das RF- Modul 23 konvertiert
das Ergebnis der Kanalkodierungs- und -modulationsoperation in ein
Funksignal und überträgt das Funksignal.
-
Als
nächstes
wird die Operation zum Übertragen
von Bewegtbildsignalen, welche von dem Kameramodul 40 in
Echtzeit aufgenommen werden, beschrieben. Der Bild-Codec 80 führt die
JPEG Kodierungsoperation für
das Bewegtbildsignal, welches von dem Kameramodul 40 aufgenommen
wurde, durch und der Audio-Codec 85 kodiert
Audiosignale. Die Steuerung 10 kombiniert die kodierten
Bewegtbild- und Audiosignale mit einem Textsignal. In dem Kombinierungsprozess
haben die Text- und Bildsignale Header. Da die Bild- und Audiosignale
in Echtzeit verarbeitet werden müssen,
werden die Bild- und Audiosignale verschränkt und kombiniert. Das Textsignal
wird an einer bestimmten Stelle, wie an dem Kopf oder Ende eines
kombinierten Signals kombiniert. In einer Ausführungsform der vorliegenden
Erfindung wird angenommen, dass das Textsignal an dem Kopf des kombinierten
Signals liegt und die verschränkten
Bild- und Audiosignale gespeichert werden. Die Steuerung 10 speichert
das kombinierte Signal in dem Speicher 30, erzeugt Paketdaten
basierend auf dem kombinierten Signal und überträgt die Paketdaten an den Datenprozessor 20.
Der Datenprozessor 20 reserviert einen Datenkanal, führt eine Kanalkodierung
und Modulationsoperation für
das kombinierte Signal durch und überträgt ein Ergebnis der Kanalkodierung
und Modulationsoperation an das RF Modul 23. Das RF Modul 23 konvertiert
das Ergebnis der Kanalcodierung and Modulationsoperation in ein
Funksignal und überträgt das Funksignal.
-
6 ist
ein Blockdiagramm, welches einen Prozess zum Empfangen eines kombinierten
Signals in dem mobilen Telefon, welches mit der Kamera und dem Bild-Codec ausgestattet
ist, zeigt, in Übereinstimmung
mit einer vierten Ausführungsform
der vorliegenden Erfindung. In einem Verfahren zum Empfangen des
kombinierten Signals wird das kombinierte Signal, welches von einer
Basisstation empfangen wird, in dem Speicher 30 gespeichert
oder kann in Echtzeit angezeigt werden während des Prozesses, welcher
in 4 gezeigt ist. Es wird angenom men, dass das kombinierte
Signal ein Signal ist, in welchem Bewegtbildsignale, Audiosignale
und ein Textsignal kombiniert sind.
-
Die
Operation zum Speichern des empfangenen, kombinierten Signals in
dem Speicher 30 wird nun beschrieben werden. Das RF-Modul 23 konvertiert
ein empfangenes Funksignal in ein Basisbandsignal. Der Datenprozessor 20 führt eine
Kanaldemodulations- und -dekodieroperation für das empfangene, kombinierte
Signal aus und überträgt ein Ergebnis
der Kanaldemodulations- und -dekodieroperation an die Steuerung 10.
Da das empfangene, kombinierte Signal auf Paketen basiert, analysiert
die Steuerung 10 Header der Pakete, konvertiert die Pakete in
das kombinierte Signal und speichert das kombinierte Signal in dem
Speicher 30. In Übereinstimmung
mit einer Ausführungsform
der vorliegenden Erfindung wird angenommen, dass das Textsignal sich
an dem Kopf des ersten Bewegtbildsignals in dem kombinierten Signal
befindet und die Bild- und Audiosignale miteinander verschachtelt
sind. Wie beschrieben in Bezug auf 4, wird
ein Name des empfangenen, kombinierten Signals registriert und wird
geeignet sein, als Menüinformation
genutzt zu werden.
-
Information,
welche in dem Speicher 30 gespeichert ist, kann in Echtzeit
reproduziert werden. In diesem Fall speichert die Steuerung 10 das
empfangene, kombinierte Signal in dem Speicher 30 und führt gleichzeitig
den Prozess durch, welcher mit 4 assoziiert
ist, so dass die Bewegtbild- und Audiosignale reproduziert werden
können.
-
Als
Nächstes
werden nun die Prozesse in Übereinstimmung
mit den Ausführungsformen,
welche in 3 bis 6 gezeigt
sind, im Detail beschrieben werden.
-
7 ist
ein Flussdiagramm, welches eine Prozedur zeigt, um dem Bild-Codec 80 des
Bildprozessors 50 zu ermöglichen, JPEG-kodierte Daten von
aufeinander folgenden Standbildern von Bewegtbildsignalen, welche
durch das Kameramodul 40 erfasst werden, zu erzeugen, dem
Audio-Codec 85 des Datenprozessors 20 zu ermöglichen,
kodierte Audiodaten zu erzeugen, die erzeugten Bewegtbilddaten und
Audiodaten zu kombinieren und kombinierte Daten in dem Speicher 30 zu
speichern, in Übereinstimmung
mit der ersten Ausführungsform
der vorliegenden Erfindung. Ferner ist 8 ein
Flussdiagramm, welches eine Prozedur zeigt zum Erzeugen und zum Speichern
von Bewegtbildsignalen, wenn ein kombiniertes Signal erzeugt und
gespeichert wird, zum Erzeugen von Audiosignalen, welche auf den
gespeicherten Bewegtbildsignalen basieren, zum Kombinieren des Bewegtbildsignals
und der Audiosignale und zum Speichern des kombinierten Signals.
Darüber
hinaus ist 9 ein Blockdiagramm, welches eine
Vorrichtung zum Durchführen
der Prozedur zeigt, welche in 7 gezeigt
ist.
-
Bezugnehmend
auf 7 gibt der Benutzer einen Befehl ein, welcher
nötig ist
zum Durchführen eines
Kombiniermodus, welcher Bewegtbild-Audiosignale kombiniert, mittels
der Tasteneingabeeinheit 27. Dann detektiert die Steuerung 10 den
Eingabebefehl für
den Kombiniermodus in Schritt 411. Falls die Eingabebefehle
nicht detektiert werden, werden andere korrespondierende Funktionen
in Schritt 412 durchgeführt.
Die Steuerung 10 steuert das Kameramodul 40 an,
so dass eine Erfassungsoperation in Schritt 413 beginnen
kann. Die Steuerung 10 steuert den Bildprozessor 50,
so dass dieser eine JPEG-Kodieroperation für die Bewegtbildsignale beginnen kann,
welche durch das Kameramodul 40 erfasst werden, und steuert
den Audio-Codec 85 des Datenprozessors 20, so
dass der Audio-Codec 85 eine Kodieroperation für die Audiosignale
beginnt, welche auf den Bewegtbildsignalen basieren, welche durch das
Kameramodul 40 erfasst wurden, in Schritt 415. Zu
diesem Zeitpunkt werden die Bewegtbildsignale, welche durch das
Kameramodul 40 erfasst werden, der Anzeige 160 durch
den Bildprozessor 50 zugeführt, so dass die Anzeige 160 die
Bewegtbildsignale anzeigen kann.
-
Der
Bild-Codec 80 führt
die JPEG-Kodieroperation für
Bilddaten einer Rahmengröße durch.
In den Schritten 417 und 419 werden kodierte Audiodaten,
welche von dem Audio-Codec 85 ausgegeben werden, gepuffert,
während
der Bild-Codec 80 die JPEG-Kodieroperation für Bilddaten
von einem Rahmen durchführt.
Dann, wenn JPEG-kodierte Bildkarten von einem Rahmen empfangen werden,
detektiert die Steuerung 10 die empfangenen Bilddaten in dem
obigen Schritt 419 und greift auf die Audiodaten zu, welche
in dem obigen Schritt 417 gepuffert werden. In Schritt 423 werden
Header, welche nötig
sind zum Kombinieren der JPEG-kodierten
Bilddaten und Audiodaten, erzeugt. Dann kombiniert die Steuerung 10 die
Header, welche erzeugt werden, wie in 10b gezeigt,
die JPEG-kodierten Bilddaten und die Audiodaten und speichert kombinierte
Daten in dem Speicher 30. Bevor der Benutzer den Kombiniermodus
freigibt, werden die Header, die Bilddaten und die Audiodaten in
einer Einheit von einem Rahmen kombiniert, und kombinierte Daten
in dem Speicher 30 gespeichert, während die oben beschriebenen
Operationen wiederholt werden.
-
Die
kombinierten Daten, welche in dem Speicher 30 gespeichert
werden, enthalten aufeinanderfolgend gespeicherte Standbilddateneinheiten JPEG1,
JPEG2 und andere, wie in 10a gezeigt. Also
korrespondieren die Standbilddaten, welche in dem Speicher 30 gespeichert
sind, mit Bewegtbilddaten. Zu diesem Zeitpunkt können die kodierten Standbilddateneinheiten
JPEG1, JPEG2, JPEG3 und andere bestimmt werden gemäß der Kodierleistungsfähigkeit,
wie oben beschrieben. Das heißt, dass
unter der Annahme, dass das Kameramodul 40 Bilddaten bei
20 Rahmen pro Sekunde erfassen kann, und dass der Bild-Codec 80 Bilddaten
bei 5 Rahmen pro Sekunde kodieren kann, die JPEG1-Bilddaten des
ersten Rahmens sein können, welche
von dem Kameramodul 40 ausgegeben werden, die JPEG2-Bilddaten des 5.
Rahmens sein können,
welche von dem Kameramodul 40 ausgegeben werden, die JPEG3-Bilddaten
des 9. Rahmens sein können,
welche von dem Kameramodul 40 ausgegeben werden, und die
JPEG4-Bilddaten des 13. Rahmens sein können, welche von dem Kameramodul 40 ausgegeben
werden. Die Steuerung 10 kann ein Verfahren zum Variieren
einer Kodierrate des Bild-Codec 80 verwenden
gemäß der Auswahl
eines Benutzers. Das heißt,
dass eine Steueroperation durchgeführt werden kann, so dass eine
Kodierrate des Bild-Codec 80 tiefer
als die maximale Kodierrate gesetzt werden kann und JPEG-Bilddaten erzeugt werden
können
gemäß der gesetzten
Kodierrate. Zum Beispiel, unter der Annahme, dass das Kameramodul 40 Bilddaten
bei 20 Rahmen pro Sekunde aufnehmen kann und dass der Bild-Codec 80 Bilddaten bei
5 Rahmen pro Sekunde kodiert, kann der Benutzer den Bild-Codec 80 steuern,
so dass der Bild-Codec 80 eine
Kodierrate hat, welche des Kodierens von einem Rahmen, zwei Rahmen,
drei Rahmen oder vier Rahmen pro Sekunde fähig ist.
-
Wenn
eine Anforderung für
eine Beendigung des Kombiniermodus von dem Benutzer empfangen wird,
während
kombinierte Daten, welche in Einheiten von Rahmen kodiert sind,
erzeugt werden, detektiert die Steuerung 10 die Anforderung
der Beendigung des Kombiniermodus in Schritt 427, und schaltet
den Bild-Codec 80 und
den Audio-Codec 85 in Schritt 429 aus. Zu diesem
Zeitpunkt kann das Kameramodul 40 unabhängig gesteuert werden bezüglich eines
Betriebszustands des mobilen Telefons. Das heißt, dass das mobile Telefon
einen Vorschaumodus zum Anzeigen eines Bildsignals auf der Anzeige 60 durchführen kann,
welches durch das Kameramodul 40 erfasst wird. In diesem
Fall werden der Bild-Codec 80 und der Audio-Codec 85 nicht
betrieben, und das Bildsignal, welches durch das Kameramodul 40 erfasst
wird, wird auf der Anzeigeeinheit 60 angezeigt durch einen
Bildschirmanzeigegenerator des Bildprozessors 50. Daher
schaltet, wo der Modus für
Bewegtbilder in dem Vorschaumodus durchgeführt wird, die Steuerung 10 den
Bild-Codec 80 aus, wenn der Modus für Bewegtbilder beendet wird.
Die Bildsignale, welche von dem Kameramodul 40 ausgegeben
werden, werden der Anzeigeeinheit 60 durch die Kameraschnittstelle 311,
den Farbkonverter 315, den Skalierer 313 und die
LCD-Schnittstelle 317 zugeführt und werden als ein Vorschaubildschirm
angezeigt. Wo der Modus für
Bewegtbilder durchgeführt
wird, während
der Vorschaumodus nicht betrieben wird, schaltet die Steuerung 10 das Kameramodul 40 in
dem obigen Schritt 429 aus.
-
Nachdem
der obige Schritt 429 durchgeführt wird, befähigt die
Steuerung 10 die Anzeigeeinheit 60 Informationen
zum Registrieren des Namens des Bewegtbildsignals anzuzeigen, welches
in dem Speicher 30 gespeichert ist. Falls das mobile Telefon
nicht mit dem GPS-Empfänger
ausgestattet ist, wird ein Führungsmenü angezeigt,
so dass ein Ort und eine Zeit der Bewegtbilderfassung und der Name
eines kombinierten Signals, welches in dem Speicher 30 gespeichert
wird, manuell eingegeben werden kann. Alternativ, wenn das mobile
Telefon mit dem GPS-Empfänger ausgestattet
ist, wird ein Führungsmenü angezeigt,
so dass der Name des kombinierten Signals, welches in dem Speicher 30 gespeichert
ist, automatisch eingegeben werden kann. Die Steuerung 10 erzeugt
die Menüinformation,
und die erzeugte Menüinformation
wird auf der Anzeigeeinheit 60 als Benutzerdaten angezeigt.
-
Wenn
der Name des kombinierten Signals durch die Tasteneingabeeinheit 27 eingegeben
wird, während
die Menüinformation
angezeigt wird, detektiert die Steuerung 10 den Eingabenamen
in Schritt 433. In Schritt 435 werden Name-, Ort-
und Zeitinformation, welche mit dem kombinierten Signal korrespondieren,
welches in dem Speicher 30 gespeichert ist, eingegeben.
Zu diesem Zeitpunkt kann der Benutzer nur den Namen des kombinierten
Signals eingeben, ohne Eingeben der Ort- und Zeitinformation der
Bilderfassung. Wenn der Benutzer den Namen eingibt und eine "ENDE"-Taste drückt, registriert
die Steuerung 10 nur den Namen durch Informationseingabe
in ein Namenmenü in
Antwort auf die gedrückte "ENDE"-Taste.
-
7 zeigt
die Prozedur zum Ermöglichen der
Steuerung 10, das kombinierte Signal zu erzeugen und zu
speichern. Jedoch kann die Operation, welche in 7 gezeigt
ist, durch die Konfiguration, welche in 9 gezeigt
ist, implementiert werden. 9 ist
ein Blockdiagramm, welches Komponenten zum Erzeugen und zum Speichern
des kombinierten Signals in dem mobilen Telefon zeigt. Als die Komponenten,
welche in 9 gezeigt sind, kann an eine Puffereinheit 220,
Schalter 211 und 213, ein Header-Generator 230 und
ein Kombinierer 240 in der Steuerung 10 verwendet
werden.
-
Bezugnehmend
auf 9 kodiert der Audio-Codec 85 Audiosignale,
welche von dem Audioprozessor 25 ausgegeben werden, und
erzeugt kodierte Audiodaten. Der Bild-Codec 80 kodiert
Bilddaten, welche durch das Kameramodul 40 erfasst werden,
und erzeugt JPEG-Bilddaten. Ein Bildpuffer (Img_Buf) 222,
welcher in der Puffereinheit 220 bereitgestellt ist, puffert
die JPEG-Bilddaten, welche von dem Bild-Codec 80 ausgegeben
werden. Erste und zweite Audiopuffer (Aud_Buf) 224 und 226,
welche in der Puffereinheit 220 bereitgestellt werden, puffern
kodierte Audiodaten, welche von dem Audio-Codec 85 ausgegeben
werden. Ein gemeinsamer Anschluss ist verbunden zwischen dem Schalter 211 und
einem Ausgabeanschluss des Audio-Codec 85. Der erste Ausgabeanschluss
des Schalters 211 ist verbunden an einen Eingabeanschluss
des ersten Audiopuffers 224, und der zweite Ausgabeanschluss des
Schalters 211 ist verbunden an einen Eingabeanschluss des
zweiten Audiopuffers 226. Außerdem ist der erste Eingabeanschluss
des Schalters 213 verbunden an einen Ausgabeanschluss des
ersten Audiopuffers 224 und der zweite Eingabeanschluss
des Schalters 213 ist verbunden an einen Ausgabeanschluss
des zweiten Audiopuffers 226. Ein gemeinsamer Anschluss
ist verbunden zwischen dem Schalter 213 und dem Kombinierer 240.
Die Schalter 211 und 213 können gesteuert werden gemäß einer
Ausgabe des Bildpuffers 222. Wenn JPEG-Bilddaten von dem Bildpuffer 222 ausgegeben
werden, fügt
der Header-Generator 230 Header in die JPEG-Bilddaten ein,
und gibt ein Ergebnis der Einfügeoperation
aus. Der Kombinierer 240 kombiniert die kodierten Audiosignale,
welche von dem Schalter 213 ausgegeben werden, und die
JPEG-Bilddaten,
welche von dem Bildpuffer 222 ausgegeben werden, und gibt
kombinierte Daten aus. Unter der Steuerung der Steuerung 10 speichert
der Speicher 30 die kombinierten Daten, welche von dem
Kombinierer 240 ausgegeben werden.
-
Die
Operation, welche in 9 gezeigt ist, wird nun beschrieben
werden. Audiodaten und Bilddaten werden durch den Audio-Codec 85 bzw.
den Bild-Codec 80 kodiert. Die kodierten Audio- und Bilddaten
werden in die Puffereinheit 220 durch korrespondierende
Pfade eingegeben. In diesem Fall wird angenommen, dass die erste
Eingabe der kombinierten Daten festgelegt ist als Bilddaten. Die
Puffereinheit 220 enthält
die zwei Audiopuffer (Aud_Buf1 und Aud_Buf2) 224 und 246 und
den einen Bildpuffer (Img_Buf) 222. Eine Operationssequenz
dieser Komponenten ist wie folgt.
-
Der
Bildpuffer 222 empfängt
zuerst Bilddaten JPEG1 von einem Rahmen, welche von dem Bild-Codec 80 ausgegeben
werden. Zu dieser Zeit führt
der Bildpuffer 222 eine Schaltsteueroperation durch, so
dass der erste Schalter oder Spracheingabeschalter 211 zu
einem Punkt (1) durch einen Pfad (a) geschaltet wird. Daher werden
die Audiodaten, welche von dem Audio-Codec 85 ausgegeben
werden, an den ersten Audiopuffer (Aud_Buf1) angelegt, so dass dieser
die Audiodaten Puffern kann. Dann werden die JPEG1-Bilddaten, welche
in dem Bildpuffer 222 gepuffert sind, an den Header-Generator 230 angelegt.
Der Header-Generator 230 fügt einen Header in die JPEG1-Bilddaten
ein. Die JPEG1-Bilddaten mit dem eingefügten Header werden an den Speicher 30 durch
den Kombinierer 240 gesendet. Dann bereitet der Bildpuffer 222 eine
Operation zum Puffer der JPEG2-Bilddaten
eines nachfolgenden Rahmens vor. Eine Schaltsteueroperation wird
durchgeführt,
so dass der erste Schalter 211 auf einen Punkt (2) durch den
Pfad (a) geschaltet ist, und gleichzeitig wird eine Schaltsteueroperation
durchgeführt,
so dass der zweite Schalter oder Sprachausgabeschalter 213 auf einen
Punkt (3) durch einen Pfad (b) geschaltet werden kann. Die Audiodaten,
welche in dem ersten Audiopuffer 224 gepuffert sind, werden
dem Kombinierer 240 zugeführt, und der zweite Audiopuffer 226 puffert
Audiodaten, welche von dem Audio-Codec 85 ausgegeben werden.
Nach Beendigung einer Pufferoperation für JPEG2-Bilddaten, gibt der Bildpuffer 222 die
JPEG2-Bilddaten an den Header-Generator 230 aus. Der Header-Generator 230 fügt einen
Header in die JPEG2-Bilddaten ein. Die JPEG2-Bilddaten mit dem eingefügten Header
werden an den Speicher 30 durch den Kombinierer 240 gesendet.
Dann bereitet der Bildpuffer 222 eine Operation zum Puffer von
JPEG3-Bilddaten eines nachfolgenden Rahmens vor. Eine Schaltsteueroperation
wird durchgeführt,
so dass der erste Schalter 211 zu dem Punkt (1) durch den
Pfad (a) geschaltet wird, und gleichzeitig wird eine Schaltsteueroperation
durchgeführt,
so dass der zweite Schalter 213 zu dem Punkt (4) durch den
Pfad (b) geschaltet wird. Dann werden die Audiodaten, welche in
dem zweiten Audiopuffer 226 gepuffert sind, dem Kombinierer 240 zugeführt, und
der erste Audiopuffer 224 puffert Audiodaten, welche von dem
Audio-Codec 85 ausgegeben werden.
-
Wenn
die oben beschriebenen Operationen wiederholt werden, fügt der Header-Generator 230 einen
Header in jede der kodierten Bilddateneinheiten JPEG1, JPEG2, JPEG3,
JPEG4 und andere ein. Der Kombinierer 240 kombiniert aufeinanderfolgend empfangene
kodierte Bild- und Audiodaten und gibt dann aufeinanderfolgend den
Header 1, das JPEG1, die Ausgabe des ersten Audiopuffers 224,
den Header 2, das JPEG2, und die Ausgabe des zweiten Audiopuffers 226 aus.
Während
der Bildpuffer 222 die Schalter 211 und 213 steuert,
geben die ersten und zweiten Audiopuffer 224 und 226 gepufferte
Audiodaten aus. Daher haben die kombinierten Daten, welche in dem
Speicher 20 gespeichert sind, eine Form von Bewegbilddaten,
wie in 10B gezeigt.
-
8 ist
ein Flussdiagramm, welches eine andere Prozedur zum Erzeugen und
zum Speichern von kombinierten Daten zeigt. 8 zeigt
eine andere Prozedur, um den Bild-Codec 80 zu befähigen, Bewegbildsignale
zu kodieren, welche durch das Kameramodul 40 in der Form
von JPEG-Bilddaten erfasst werden, um den Speicher 30 zu
befähigen,
die JPEG-Bilddaten zu speichern, zum Kombinieren der JPEG-Bilddaten,
welche in dem Speicher 30 gespeichert sind, mit Audiodaten
und zum Erzeugen von kombinierten Daten.
-
Bezugnehmend
auf 8 gibt der Benutzer einen Befehl nötig ist
zum Durchführen
eines Bewegtbildmodus mittels der Tasteneingabeeinheit 27 ein.
Die Steuerung 10 detektiert den Eingabebefehl für den Bewegtbildmodus
in Schritt 451.
-
Die
Steuerung 10 steuert das Kameramodul 40 an, so
dass eine Erfassungsoperation in Schritt 435 beginnen kann.
Die Steuerung 10 steuert den Bildprozessor 50,
so dass dieser eine JPEG-Kodieroperation für Bewegtbildsignale beginnen
kann, welche durch das Kameramodul 40 erfasst werden, in Schritt 455.
Zu diesem Zeitpunkt werden die Bewegtbildsignale, welche durch das
Kameramodul 40 erfasst werden, der Anzeigeeinheit 60 zugeführt, durch den
Bildprozessor 50, so dass die Anzeige 60 die Bewegtbildsignale
anzeigen kann.
-
Der
Bild-Codec 80 führt
die JPEG-Kodieroperation für
Bilddaten basierend auf einer Rahmengröße durch und die Steuerung
wartet darauf, die JPEG-Bilddaten zu empfangen. Dann detektiert, wenn
JPEG-kodierte Bilddaten von einem Rahmen empfangen werden, die Steuerung 10 die
empfangenen Bilddaten in Schritt 457 und speichert die JPEG-Bilddaten
in dem Speicher 30 in Schritt 459. Die Steuerung 10 führt wiederholt
die oben beschriebenen Operationen durch bis der Bewegtbildmodus beendet
wird. Zu dieser Zeit sind eine Vielzahl von Dateneinheiten, welche
in dem Speicher 30 gespeichert sind, JPEG-Bilddateneinheiten.
-
Wenn
der Benutzer anfordert, dass der Bewegtbildmodus beendet wird, detektiert
die Steuerung 10 die Anforderung und schaltet den Bild-Codec in
Schritt 436 aus. Durch Schritte 465 bis 469 wird
Information, welche einen Namen von Bewegtbildern bezeichnet, welche
in dem Speicher 30 gespeichert sind, und Ort- und Zeitinformation
einer Bilderfassung registriert. Die Operationen der obigen Schritte 465 bis 469 sind
die gleichen, wie diese der obigen Schritte 431 bis 435,
welche in 7 gezeigt sind.
-
Während die
obigen Schritte 451 bis 469 durchgeführt werden,
werden nur die JPEG-Bilddaten in dem Speicher 30 gespeichert.
Wenn die JPEG-Bilddaten mit Audio kombiniert werden, gibt der Benutzer
einen Audiokombiniermodus durch die Tasteneingabeeinheit 27 ein.
Dann detektiert die Steuerung 10 den eingegebe nen Audiokombiniermodus
in Schritt 471 und steuert den Bild-Codec 80 und den
Audio-Codec 85 in Schritt 437 an. Falls die eingegebene
Audiokombinierung nicht detektiert wird, werden andere korrespondierende
Funktionen in Schritt 418 durchgeführt. Dann ermöglicht die
Steuerung 10 der Anzeigeeinheit 60 Bewegtbilder
anzuzeigen, welche in dem Speicher 30 gespeichert sind, durch
ein Menü und
wartet darauf, dass der Benutzer ein Bewegtbild in Schritt 474 auswählt. Zu
diesem Zeitpunkt, wenn der Benutzer ein bestimmtes der angezeigten
Bewegtbilder auswählt,
detektiert die Steuerung 10 das ausgewählte Bewegtbild in Schritt 475, und
ermöglicht
den ersten JPEG-Rahmen, welcher mit dem ausgewählten Bewegtbild assoziiert
ist, in Schritt 477 zu dekodieren. Der Dekodierprozess
wird nun beschrieben werden. Die JPEG-Bilddaten werden dem Bild-Codec 80 zugeführt. Der
Bild-Codec 80 dekodiert empfangene JPEG-Bilddaten in originale Bilddaten.
Ein Bildschirm-Bildgenerator des Bildprozessors 50 skaliert
die kodierten Bilddaten auf der Basis einer Größe der Anzeigeeinheit 60 und
gibt die skalierten Bilddaten aus. Also zeigt die Anzeigeeinheit 60 die
skalierten Bilddaten an. Außerdem,
während
der Bild-Codec 80 die Bilddaten eines Rahmens dekodiert,
ermöglicht
die Steuerung 10 kodierte Audiodaten, welche von dem Audio-Codec 85 ausgegeben
werden, zu Puffern. Wenn die JPEG-kodierten Bilddaten eines Rahmens
dekodiert werden, detektiert die Steuerung 10 die dekodierten
Bilddaten in Schritt 481, greift auf die gepufferten Audiodaten
in Schritt 483 zu, und ermöglicht einen Header, welcher nötig ist
zum Kombinieren der JPEG-kodierten
Bilddaten und der Audiodaten, in Schritt 485 zu erzeugen.
In Schritt 487 speichert die Steuerung 10 den
erzeugten Header, die JPEG-kodierten Bilddaten und die Audiodaten
in dem Speicher 30. Bis der Benutzer den Kombiniermodus
freigibt, wird die Operation zum Kombinieren des Headers, von JPEG-Bilddaten und von
Audiodaten, um kombinierte Daten in dem Speicher 30 zu
speichern, während
Dekodierens und Anzeigens der JPEG-Bilddaten in Einheiten von Rahmen
wiederholt durchgeführt.
-
Die
kombinierten Daten, welche in dem Speicher 30 gespeichert
sind, korrespondieren mit aufeinanderfolgend abgespeicherten Standbilddateneinheiten
JPEG1, JPEG2 und anderen, wie in 10a gezeigt.
Also haben die Bilddaten, welche in dem Speicher 30 gespeichert
sind, ein Format von Bewegtbilddaten.
-
Falls
eine Beendigungsanforderung gemacht wird, so dass die Operation
zum Kombinieren des JPEG-Bildes und der Audiodaten beendet werden
kann, detektiert die Steuerung 10 die Beendigungsanforderung
in Schritt 489 und registriert einen Namen der kombinierten
Daten, während
Schritte 493 bis 497 durchgeführt werden. Die Operationen der
obigen Schritte 493 bis 497 sind die gleichen,
wie diese der obigen Schritte 431 bis 435. Die
obigen Schritte 493 bis 497 können ausgelassen werden, wo der
Name der Bewegtbilddaten, welche in den obigen Schritten 465 bis 469 registriert
werden, als der Name der kombinierten Daten verwendet wird.
-
11 ist ein Flussdiagramm, welches eine Prozedur
zum BEfähigen
des Bild-Codecs 80 des Bildprozessors 50,
JPEG-kodierte Bilddaten von aufeinanderfolgenden Standbildern von
Bewegtbildsignalen, welche von dem Kameramodul 40 erfasst
werden, zu erzeugen, zum Erzeugen eine Textsignals, welches auf
den erzeugten JPEG-kodierten Bilddaten basiert, zum Kombinieren
der erzeugten Bild- und Textsignale, und zum Speichern eines kombinierten Signals
in dem Speicher 30 in Übereinstimmung
mit der Ausführungsform
der vorliegenden Erfindung, zeigt. Ferner ist 12 ein Flussdiagramm, welches eine Prozedur zum
Erzeugen und zum Speichern von Bewegtbildsignalen zeigt, wenn ein
kombiniertes Signal erzeugt und gespeichert wird, zum Erzeugen eines
Textsignals, welches auf den gespeicherten Bewegtbildsignalen basiert,
zum Kombinieren der Bewegtbild- und Textsignale und zum Speichern
des kombinierten Signals. Außerdem
ist 13 ein schematisches Diagramm,
welches eine Vorrichtung zum Durchführen der Prozedur zeigt, welche
in 11 gezeigt ist.
-
Bezugnehmend
auf 11 gibt der Benutzer einen
Befehl nötig
zum Durchführen
eines Bewegtbild-Kombiniermodus, welcher Bewegtbild- und Textsignale
kombiniert, mittels der Tasteneingabeeinheit 27 ein. Dann
detektiert die Steuerung 10 den eingegebenen Befehl für den Bewegtbild-Kombiniermodus in
Schritt 1411. Falls die eingegebenen Befehle nicht detektiert
werden, werden andere korrespondierende Funktionen in Schritt 1412 durchgeführt. Die
Steuerung 10 steuert das Kameramodul 40 an, so
dass eine Erfassungsoperation in Schritt 1413 beginnen kann.
Die Steuerung 10 steuert den Bildprozessor 50,
so dass dieser eine JPEG-Kodieroperation für Bewegtbildsignale, welche
durch das Kameramodul 40 erfasst werden, beginnen kann.
Zu diesem Zeitpunkt werden die Bewegtbildsignale, welche durch das
Kameramodul 40 erfasst werden, der Anzeigeeinheit 60 durch
den Bildprozessor 50 zugeführt.
-
Der
Bild-Codec 80 führt
die JPEG-Kodieroperation für
Bilddaten eines Rahmens aus und überträgt dann
ein Ergebnis der JPEG-Kodieroperation an die Steuerung 10.
Dann detektiert, nach Empfangen der JPEG-kodierten Bilddaten eines
Rahmens, die Steuerung 10 die empfangenen Bilddaten in
dem obigen Schritt 1415 und erzeugt einen Header der JPEG-kodierten
Bilddaten, um den erzeugten Header in die Bilddaten in Schritt 1417 einzufügen. Zu dieser
Zeit kann Information des erzeugten Headers ein Mustersignal sein,
welches die Existenz eines Bildes anzeigt, und ein Signal, welches
eine Größe eines
Bildsignals, welches mit einem Rahmen korrespondiert, anzeigt. Dann
speichert die Steuerung 10 die JPEG-Bilddaten mit dem eingefügten Header
in dem Speicher 30 in Schritt 1419. Die JPEG-Bilddaten können in
einem Bildpuffer des Speichers 30 gespeichert werden. Die
oben beschriebene Bewegtbild-Kodieroperation kann wiederholt werden
bis der Benutzer eine Bewegtbild-Empfangsoperation freigibt.
-
Die
kombinierten Daten, welche in dem Speicher 30 gespeichert
sind, kennzeichnen aufeinanderfolgend gespeicherte Standbilddateneinheiten JPEG1,
JPEG2 und andere. Also korrespondieren die Bilddaten, welche in
dem Speicher 30 gespeichert sind, mit Bewegtbilddaten.
Zu diesem Zeitpunkt hängen
die kodierten Bilddateneinheiten JPEG1, JPEG2, JPEG3 und andere
von der Kodierleistungsfähigkeit
ab, wie oben beschrieben.
-
Wenn
eine Anforderung einer Kombiniermodusbeendigung empfangen wird von
dem Benutzer, während
kombinierte Daten, welche in Einheiten von Rahmen kodiert werden,
erzeugt werden, detektiert die Steuerung 10 die Anforderung
der Kombiniermodusbeendigung in Schritt 1421, und ermöglicht der Anzeigeeinheit 60 Menüinformation
anzuzeigen, so dass ein Textsignal, welches mit den gespeicherten Bewegtbildsignalen
zu kombinieren ist, ausgewählt werden
kann. An diesem Punkt, wenn der Benutzer eine Textsignaleingabe
auswählt,
detektiert die Steuerung 10 die ausgewählte Textsignaleingabe in Schritt 1425,
und ermöglicht
der Anzeigeinheit 60 Textanzeigetypinformation in Schritt 1433 anzuzeigen.
Darm detektiert, wenn der Benutzer einen der Textanzeigetypen auswählt, die
Steuerung 10 den ausgewählten
Textanzeigetyp in Schritt 1434, und gibt die maximale Länge von
anzeigbarem Text, welche auf dem ausgewählten Textanzeigetyp basiert,
in Schritt 1437 an. Hier können die Textanzeigetypen ein
oberer Anzeigetyp, ein unterer Anzeigetyp, ein Schiebeanzeigetyp,
ein Stapelanzeigetyp und andere sein.
-
Als
erstes bedeutet der obere Anzeigetyp ein Verfahren zum Anzeigen
eines Textsignals bevor Bewegtbildsignale angezeigt werden. Falls
der obere Anzeigetyp ausgewählt
wird, gibt die Steuerung 10 nicht die maximale Länge des
anzeigbaren Texts an.
-
Als
zweites bedeutet der untere Anzeigetyp ein Verfahren zum Anzeigen
des Textsignals nachdem Bewegtbildsignale angezeigt werden. Falls
der untere Anzeigetyp ausgewählt
wird, gibt die Steuerung 10 nicht die maximale Länge des
anzeigbaren Textes an.
-
Als
drittes bedeutet der Gleitanzeigetyp ein Verfahren zum Gleiten und
zum Anzeigen des Textsignals an einer bestimmten Stelle der Anzeigeeinheit 60,
während
die Bewegtbildsignale reproduziert werden. Eine Gleitrate des Textsignals
wird bestimmt auf der Basis einer Gesamtwiedergabezeit, welche benötigt wird
zum Reproduzieren der Bewegtbildsignale. Wenn der Gleitanzeigetyp
ausgewählt
wird, ist es nötig,
die maximale Anzahl von Zeichen, welche eingegeben werden können, zu
beschränken,
so dass das Textsignal mit den Bewegtbildsignalen synchronisiert
wird. Unter der Annahme, dass die Gleitrate eines Zeichens 0,5 Sekunden
ist, kann die maximale Länge
des Textes berechnet werden wie folgt.
-
Gleichung 1
-
- Gesamtanzahl der Eingabezeichen =
2 Zeichen/Sekunde·Gesamtwiedergabezeit,
welche benötigt
wird zum Reproduzieren von Bildsignalen.
-
Zum
Beispiel ist, wo die Wiedergabezeit, welche benötigt wird zum Reproduzieren
des gespeicherten Bildsignals 10 Sekunden ist, die maximale Anzahl
von Zeichen, welche eingegeben werden können, 20. Danach berechnet
die Steuerung 10 die Wiedergabezeit, welche benötigt wird
zum Reproduzieren der Bildsignale, welche in dem Speicher 30 gespeichert
sind. Gemäß einem
Ergebnis der Berechnung berechnet die Steuerung 10 die
maximale Anzahl von Zeichen, welche in dem Gleitanzeigeverfahren
eingegeben werden können.
Ferner kann die bestimmte Stelle der Anzeigeeinheit 60 ein
oberes oder unteres Ende oder eine linke oder rechte Seite sein.
Außerdem
kann die Anzeigeeinheit 60 das Textsignal auf einem Textanzeigebereich
anzeigen, welcher ein anderer ist als ein Bildanzeigebereich, oder das
Textsignal auf dem Bildanzeigebereich in einem Onscreen-Modus anzeigen.
-
Als
viertes ist der Stapelanzeigetyp ähnlich dem Gleitanzeigetyp.
Der Stapelanzeigetyp bedeutet ein Verfahren zum Anzeigen eines Textsignals
einer Ersatzgröße an einer
bestimmten Stelle der Anzeigeeinheit 60 zu einer Zeit,
während
das Bewegtbildsignal reproduziert wird. Das heißt, dass das Stapelanzeigeverfahren
aufeinanderfolgende Zeichen anzeigt, nachdem die gesetzte Anzahl
von Zeichen auf der Anzeigeeinheit 60 angezeigt wird bis
eine vorbestimmte Zeit abläuft.
In diesem Fall kann die Anzahl von Zeichen, welche angezeigt werden
können,
zu einer Zeit bestimmt werden gemäß einer Größe der Anzeigeeinheit 60.
Falls der Stapelanzeigetyp ausgewählt wird, muss die maximale
Anzahl von Zeichen, welche eingegeben werden können, beschränkt werden,
so dass das Textsignal mit den Bewegtbildsignalen synchronisiert
wird. Unter der Annahme, dass die Zeit, welche benötigt wird
zum Anzeigen von 10 Zeichen, 2 Sekunden ist, kann die maximale Länge eines
Texts wie folgt errechnet werden.
-
Gleichung 2
-
- Gesamtanzahl von Eingabezeichen =
10 Zeichen/2 Sekunden·Gesamtwiedergabezeit,
welche benötigt
wird zum Reproduzieren von Bildsignalen
-
Zum
Beispiel ist, wo die Wiedergabezeit, welche benötigt wird zum Reproduzieren
des gespeicherten Bildsignals 10 Sekunden ist, die maximale Anzahl
von Zeichen, welche eingegeben werden können, 50. Danach berechnet
die Steuerung 10 die Wiedergabezeit, welche benötigt wird
zum Reproduzieren der Bildsignale, welche in dem Speicher 30 gespeichert
sind. Gemäß einem
Ergebnis der Berechnung berechnet die Steuerung 10 die
maximale Anzahl von Zeichen, welche in dem Stapelanzeigeverfahren
eingegeben werden können.
Ferner kann die bestimmte Stelle der Anzeigeeinheit 60 an
einem oberen oder unteren Ende oder an einer linken oder rechten
Seite sein. Außerdem
kann die Anzeigeeinheit 60 das Textsignal auf einem Textanzeigebereich, welcher
ein anderer ist als ein Bildanzeigebereich, anzeigen, oder das Textsignal
auf dem Bildanzeigebereich in einem Onscreen-Modus anzeigen.
-
Wenn
der Benutzer Text eingibt, empfängt die
Steuerung 10 den eingegebenen Text und speichert den empfangenen
Text in dem Speicher 30 in Schritt 1437. Der Text
kann in einem Textpuffer des Speichers 30 gespeichert werden.
Wenn die Texteingabe vollendet ist, detektiert die Steuerung 10 die vollendete
Texteingabe in Schritt 1439 und fügt einen Header in den empfangenen
Text in Schritt 1441 ein. Der Text-Header enthält Information,
welche mit einem Muster assoziiert ist, welches die Existenz des Textes,
die Länge
des empfangenen Textes, etc., anzeigt.
-
14A zeigt das Format eines Textsignals; 14B zeigt das Format eines JPEG-Bildsignals; und 14C zeigt das Format eines Signals, in welchem
Text- und Bewegtbildsignale kombiniert sind.
-
Bezugnehmend
auf 14A bezeichnet P ein Feld,
in welches ein Mustersignal eingefügt ist, und das Mustersignal
gibt an, dass darauffolgende Daten Text sind, welcher in das P-Feld
eingefügt
ist. L bezeichnet ein Feld, in welches Information eingefügt ist,
welche die Gesamtlänge
des Textes angibt. T bezeichnet ein Feld, in welches Information
eingefügt ist,
welche einen Anzeigetyp angibt. Ein Wert des P-Felds von "0000" gibt einen oberen
Anzeigetyp an, "0001" gibt einen unteren
Anzeigetyp an, "0010" gibt einen Schiebeanzeigetyp
an und "0011" gibt einen Stapelanzeigetyp
an. Ein Feld, welches auf das T-Feld folgt, kann ein Feld sein,
in welches ein Textsignal eingefügt
wird. Die P-, L- und T-Felder korrespondieren mit dem Text-Header.
-
Bezugnehmend
auf 14B bezeichnet P ein Feld,
in welches ein Mustersignal eingefügt wird, und das Mustersignal,
welches angibt, dass darauffolgende Daten ein JPEG-Bildsignal sind,
wird in das P-Feld eingefügt.
L bezeichnet ein Feld, in welches Information eingefügt wird,
welche die Gesamtgröße des JPEG-Bildsignals angibt.
Hier korrespondieren die P- und L-Felder mit einem Bild-Header.
-
Falls
die Texteingabe vollständig
ist, kombiniert die Steuerung 10 Bewegtbildsignale, welche
in dem Bildpuffer des Speichers 30 gespeichert sind, mit
einem Textsignal, welches in dem Textpuffer des Speichers 30 gespeichert
ist. An diesem Punkt müssen
die Bewegtbildsignale fortlaufend verarbeitet werden. Jedoch müssen die
Textsignale geeignet verarbeitet werden, falls nötig. Daher muss das Textsignal
nicht mit den Bewegtbildsignalen verschachtelt und kombiniert werden,
im Unterschied zu dem Audiosignal. In dieser Ausführungsform
der vorliegenden Erfindung wird angenommen, dass das Textsignal
vor den Bewegtbildsignalen eingefügt ist und dann ein kombiniertes
Signal erzeugt wird. 14C zeigt
das Format eines kombinierten Signals, in welchem Text- und Bewegtbildsignale
kombiniert werden.
-
Nachdem
die Bewegtbildsignale und das Textsignal kombiniert sind und das
kombinierte Signal erzeugt ist, ermöglicht die Steuerung 10 der
Anzeigeeinheit 60 Information anzuzeigen, welche zum Registrieren
eines Namens des Bewegtbilds nötig
ist in Schritt 1427. Falls das mobile Telefon nicht mit dem
GPS-Empfänger
ausgestattet ist, wird ein Führungsmenü angezeigt,
so dass ein Ort und eine Zeit der Bewegtbilderfassung und der Name
eines kombinierten Signals, welches in dem Speicher 30 gespeichert
ist, manuell eingegeben werden kann. Alternativ wird, wenn das mobile
Telefon mit dem GPS-Empfänger
ausgestattet ist, wird ein Führungsmenü angezeigt,
so dass der Name des kombinierten Signals, welches in dem Speicher 30 gespeichert
ist, automatisch eingegeben werden kann. Die Steuerung 10 erzeugt
die Menüinformation
und die erzeugte Menüinformation
wird auf der Anzeigeeinheit 60 als Benutzerdaten angezeigt.
-
Wenn
der Name des kombinierten Signals durch die Tasteneingabeeinheit 27 eingegeben
wird, während
die Menüinformation
angezeigt wird, erfasst die Steuerung 10 den Eingabenamen
in Schritt 1429. In Schritt 1431 werden Namens-,
Ort- und Zeitinformation,
welche mit dem kombinierten Signal korrespondieren, welche in dem
Speicher 30 gespeichert ist, eingegeben. Zu diesem Zeitpunkt
darf der Benutzer nur den Namen des kombinierten Signals eingeben,
ohne Eingeben der Ort- und Zeitinformation der Bilderfassung. In
diesem Fall, wenn der Benutzer den Namen eingibt und eine "ENDE"-Taste drückt, registriert
die Steuerung 10 nur den Namen durch Informationseingabe
in ein Namenmenü in
Antwort auf die gedrückte "ENDE"-Taste.
-
11 zeigt die Prozedur zum BEfähigen der Steuerung 10,
das kombinierte Signal zu erzeugen und zu speichern. Jedoch kann
die Operation, welche in 11 gezeigt
ist, durch die Konfiguration, welche in 9 gezeigt
ist, implementiert werden. 13 ist
ein Blockdiagramm, welches Komponenten zum Erzeugen und zum Speichern
des kombinierten Signals in dem mobilen Telefon zeigt. In 13 kann die Steuerung 10 eine Puffereinheit 220,
Schalter 211 und 213, einen Header-Generator 230 und
einen Kombinierer 240 enthalten.
-
Bezugnehmend
auf 13 kodiert der Bild-Codec 80 Bilddaten,
welche durch das Kameramodul 40 erfasst werden und erzeugt
JPEG-Bilddaten. Ein Bildpuffer (Img_Buf) 222 puffert die JPEG-Bilddaten,
welche von dem Bild-Codec 80 ausgegeben werden. Wenn die
JPEG-Bilddaten von dem Bildpuffer 222 ausgegeben werden,
erzeugt der Header-Generator 230 einen Header und fügt den Header
in die JPEG-Bilddaten ein. Die Steuerung 10 erzeugt Text,
welcher mit den Bewegtbildsignalen zu kombinieren ist. Die Steuerung 10 verarbeitet
ein Textsignal, welches durch den Benutzer eingegeben wird, oder
kann das Textsignal erzeugen, wenn ein bezeichnetes Textmemo durch
den Benutzer ausgewählt
wird. Ein Textpuffer 228 speichert den Text, welcher durch
die Steuerung 10 erzeugt wird. Ein Text-Header-Generator 235 erzeugt
einen Header für das
Textsignal, welches von dem Textpuffer 228 ausgegeben wird,
und fügt
den erzeugten Header in das Textsignal ein. Der Kombinierer 240 kombiniert
das Textsignal, welches von dem Text-Header-Generator 235 ausgegeben
wird, mit den JPEG-Bilddaten, welche von dem Bild-Header-Generator 230 ausgegeben
werden, und gibt kombinierte Daten aus. Unter der Steuerung der
Steuerung 10 speichert der Speicher 30 die kombinierten
Daten, welche von dem Kombinierer 240 ausgegeben werden.
-
12 ist ein Flussdiagramm, welches eine andere
Prozedur zum Erzeugen und zum Speichern kombinierter Daten zeigt. 12 zeigt eine andere Prozedur zum Befähigen des
Bild-Codec 80 Bewegtbildsignale, welche durch das Kameramodul 40 erfasst
werden, in JPEG-Bilddaten zu kodieren, zum Befähigen des Speichers 30 JPEG-Bilddaten
zu speichern, zum Kombinieren der JPEG-Bilddaten, welche in den
Speicher 30 gespeichert sind, mit einem Textsignal und
zum Erzeugen kombinierter Daten.
-
Bezugnehmend
auf 12 gibt der Benutzer einen
Befehl ein, welcher nötig
ist zum Durchführen
eines Bewegtbildmodus mittels der Tasteneingabeeinheit 27.
Die Steuerung 10 detektiert den Eingabebefehl für den Bewegtbildmodus
in Schritt 1451. Die Steuerung 10 steuert das
Kameramodul 40 an, so dass eine Erfassungsoperation in
Schritt 1453 beginnen kann. Die Steuerung 10 steuert
den Bildprozessor 50, so dass dieser eine JPEG-Kodieroperation
für Bewegtbildsignale,
welche durch das Kameramodul 40 erfasst werden, beginnen
kann. An diesem Punkt werden die Bewegtbildsignale, welche durch das
Kameramodul 40 erfasst werden, an die Anzeigeeinheit 60 durch
den Bildprozessor 50 angelegt, so dass die Anzeigeeinheit 60 die
Bewegtbildsignale anzeigen kann.
-
Der
Bild-Codec 80 führt
die JPEG-Kodieroperation für
Bilddaten eines Rahmens aus, und überträgt dann ein Ergebnis der JPEG-Kodieroperation an
die Steuerung 10. Dann detektiert, wenn JPEG-kodierte Bilddaten
eines Rahmens empfangen werden, die Steuerung 10 die empfangenen
Bilddaten in Schritt 1455, und erzeugt einen Header der JPEG-kodierten
Bilddaten um den erzeugten Header in die JPEG-kodierten Bilddaten
in Schritt 1457 einzufügen.
Zu dieser Zeit kann die Information des erzeugten Headers ein Mustersignal
sein, welches die Existenz eines Bildsignals angibt, und ein Signal, welches
eine Größe des Bildsignals
angibt, welches mit einem Rahmen korrespondiert. Dann speichert die
Steuerung 10 das JPEG-Bild mit dem eingefügten Header
in dem Speicher 30 in Schritt 1459. Die JPEG-Bilddaten
können
in einem Bildpuffer des Speichers 30 gespeichert werden.
Die oben beschriebene Bewegtbild-Kodieroperation kann wiederholt
werden, bis der Benutzer eine Bewegtbild-Empfangsoperation freigibt.
-
Wenn
der Benutzer anfordert, dass der Bewegtbildmodus beendete wird,
detektiert die Steuerung 10 die Anforderung in Schritt 1461 und
ermöglicht
der Anzeigeeinheit 60 Menüinformation anzuzeigen, welche
angibt, dass Bewegtbildinformation angegeben werden kann in Schritt 1463.
Wenn Schritte 1465 bis 1467 durchgeführt werden,
werden Informationen, welche mit einem Namen eines Bewegtbildes,
welches in dem Speicher 30 gespeichert ist, und Ort- und
Zeitinformation der Bewegtbilderfassung assoziiert sind, registriert.
Die Operationen der obigen Schritte 1465 bis 1467 sind
die gleichen, wie diese der obigen Schritte 1429 bis 1431,
welche in 11 gezeigt sind.
-
Während die
obigen Schritte 1451 bis 1467 durchgeführt werden,
sind nur die JPEG-Bilddaten in dem Speicher 30 gespeichert.
Wenn die JPEG-Bilddaten mit einem Textsignal kombiniert werden,
gibt der Benutzer einen Kombiniermodus durch die Tasteneingabeeinheit 27 in
Schritt 1469 ein. Falls die eingegebenen Befehle nicht
detektiert werden, werden andere korrespondierende Funktionen in
Schritt 1470 durchgeführt.
Nach Erfassen des eingegebenen Kombiniermodus zeigt die Steuerung 10 Textanzeigetypinformation
auf der Anzeigeeinheit 60 in Schritt 1471 an.
Wenn der Benutzer einen der Textanzeigetypen auswählt, detektiert
die Steuerung 10 den ausgewählten Textanzeigetyp in Schritt 1473 und
ermöglicht
der Anzeigeeinheit 60 die maximale Länge des anzeigbaren Textes
auf der Basis des ausgewählten
Textanzeigetyps in Schritt 1475 anzuzeigen. Hier können die
Textanzeigetypen ein oberer Anzeigetyp, ein unterer Anzeigetyp,
ein Schiebeanzeigetyp, ein Stapelanzeigetyp und andere sein.
-
Wenn
der Benutzer Text eingibt, empfängt die
Steuerung 10 den eingegebenen Text und speichert den empfangenen
Text in dem Speicher 30 in Schritt 1477. An diesem
Punkt kann der Text in einem Textpuffer im Speicher 30 gespeichert
werden. Wenn die Texteingabe vollständig ist, detektiert die Steuerung 10 die
vollständige
Texteingabe in Schritt 1479 und fügt einen Header in den empfangenen
Text in Schritt 1481 ein. Der Text-Header enthält Information,
welche mit einem Muster assoziiert ist, welches die Existenz von
Text angibt, ein Signal, welches die Länge des empfangenen Textes
anzeigt, etc., wie in 14A gezeigt.
-
Wenn
die Texteingabe vollständig
ist, ermöglicht
die Steuerung 10 der Anzeigeeinheit 60 Menüinformation
anzuzeigen, so dass ein Textsignal ausgewählt werden kann, welches mit
den gespeicherten Bewegtbildsignalen zu kombinieren ist. Das heißt, dass
der Speicher 30 eine Vielzahl von Bewegtbildsignalen speichern
kann. Wenn ein Bewegtbildsignal mit dem Textsignal kombiniert wird,
ermöglicht
die Steuerung 10 der Anzeigeeinheit 60 die gespeicherten
Bewegtbildsignale in Schritt 1483 anzuzeigen. Wenn ein
beliebiges Bewegtbildsignal ausgewählt wird, detektiert die Steuerung 10 das
ausgewählte Bewegtbildsignal
in Schritt 1485, und kombiniert das ausgewählte Bewegtbildsignal
mit dem Textsignal in Schritt 1489.
-
15 ist ein Flussdiagramm, welches eine Prozedur
zeigt zum Kodieren von Bildsignalen, welche durch das Kameramodul 40 erfasst
werden, in der Form von aufeinanderfolgenden Bewegtbildsignalen,
und zum Kombinieren der Bewegtbildsignale mit Audiosignalen und
einem Textsignal in Übereinstimmung
mit einer anderen Ausführungsform
der vorliegenden Erfindung. Die Prozedur, welche in 15 gezeigt ist, kann durchgeführt werden gemäß der Kombinierprozedur,
welche in 7 gezeigt ist, und die Kombinierprozedur,
welche in 11 gezeigt ist. Komponenten,
welche in 17 gezeigt sind, erzeugen ein
kombiniertes Signal gemäß der Prozedur, welche
in 15 gezeigt ist.
-
Bezugnehmend
auf 15, wenn ein Bewegtbild-Kombiniermodus
ausgewählt
wird, um die Bewegtbildsignale mit den Audio- und Textsignalen zu
kombinieren, detektiert die Steuerung 10 den ausgewählten Kombiniermodus
in Schritt 811 und steuert das Kameramodul 40,
den Bild-Codec 80 und den Audio-Codec 85 in Schritt 813 an.
Falls der ausgewählte
Kombiniermodus nicht detektiert wird, werden andere korrespondierende
Funktionen in Schritt 812 durchgeführt. Dann kombiniert die Steuerung 10 aufeinanderfolgend
kodierte Bewegtbildsignale mit einem kodierten Audiosignal in Schritt 815,
wie in den Operationen der obigen Schritte 417 bis 427,
welche in 7 gezeigt sind. Dann kombiniert
die Steuerung 10 ein kombiniertes Signal, welches auf den
Bewegtbild- und Audiosignalen basiert, mit dem Textsignal in Schritt 817,
wie in den Operationen der obigen Schritt 1423 bis 1443.
Die Steuerung 10 speichert das kombinierte Signal, in welchem
die Bewegtbildsignale mit den Audio- und Textsignalen kombiniert
sind, in Schritt 819. Der obige Schritt 819 beinhaltet
die Operationen der obigen Schritte 431 bis 435,
welche in 7 gezeigt sind, oder die Operationen
der obigen Schritte 1427 bis 1431, welche in 11 gezeigt sind.
-
Außerdem kann
die Vorrichtung, welche in 17 gezeigt
ist, das kombinierte Signal implementieren, welches durch die Prozedur
erzeugt wird, welche in 15 gezeigt
ist. Ein Format des kombinierten Signals wird in 18 gezeigt.
-
16 ist ein Flussdiagramm, welches eine andere
Prozedur zum Kodieren von Bildsignalen zeigt, welche durch das Kameramodul 40 erfasst werden,
in der Form von aufeinanderfolgenden Bewegtbildsignalen, und zum
Kombinieren der Bewegtbildsignale mit Audio- und Textsignalen in Übereinstimmung
mit einer anderen Ausführungsform
der vorliegenden Erfindung. Die Prozedur, welche in
-
16 gezeigt ist, kann durchgeführt werden gemäß der Kombinierprozedur,
welche in 8 gezeigt ist, und der Kombinierprozedur,
welche in 12 gezeigt ist.
-
Bezugnehmend
auf 16, wenn ein Bewegtbildmodus
ausgewählt
wird, detektiert die Steuerung 10 den ausgewählten Bewegtbildmodus
in Schritt 831 und Bewegtbildsignale werden aufeinanderfolgend
kodiert und die kodierten Bewegtbildsignale werden in Schritt 833 erzeugt,
wie in den Operationen der obigen Schritte 453 bis 463,
welche in 8 gezeigt sind. Ferner detektiert,
wenn ein Audiokombiniermodus ausgewählt wird, die Steuerung 10 den
ausgewählten
Audiokombiniermodus in Schritt 835 und kombiniert wenigstens
ein ausgewähltes
Bewegtbildsignal mit einem Audiosignal in Schritt 837, wie
in den Operationen der obigen Schritte 473 bis 491,
welche in 8 gezeigt sind. Außerdem detektiert,
wenn ein Textkombiniermodus ausgewählt wird, die Steuerung 10 den
ausgewählten
Textkombiniermodus in Schritt 839 und kombiniert wenigstens
ein ausgewähltes
Bewegtbildsignal mit einem Textsignal in Schritt 841, wie
in den Operationen der obigen Schritte 1471 bis 1481.
Falls der ausgewählte
Textkombiniermodus nicht ausgewählt
wird, werden andere korrespondierende Funktionen in Schritt 840 durchgeführt. Zu
dieser Zeit kann das ausgewählte Bewegtbildsignal
das Audiosignal enthalten. Nachdem das ausgewählte Bewegtbildsignal mit dem
Audiosignal und/oder dem Textsignal kombiniert ist, kann die Steuerung 10 ein
kombiniertes Signal in Schritt 843 speichern, wie in den
Operationen der obigen Schritte 465 bis 469, welche
in 8 gezeigt sind, oder der obigen Schritte 1463 bis 1467,
welche in 12 gezeigt sind.
-
Das
kombinierte Signal, welches durch das Verfahren erzeugt wird, welches
in 15 bis 17 gezeigt
ist, kann ein Signal sein, in welchem Bewegtbildsignale Audio- und
Textsignale sind. Hier wird ein Format des kombinierten Signals
in 18 gezeigt.
-
19 ist ein Flussdiagramm, welches eine Prozedur
zum Reproduzieren von kombinierten Daten zeigt, welche in dem Speicher 30 gespeichert sind,
in Überreinstimmung
mit der zweiten Ausführungsform
der vorliegenden Erfindung.
-
Bezugnehmend
auf 19, wenn der Benutzer einen
kombinierten Signalwiedergabemodus durch die Tasteneingabeeinheit 27 eingibt,
und die Steuerung 10 den eingegebenen Bewegtbild-Wiedergabemodus
in Schritt 511 detektiert und die Anzeigeeinheit 60 befähigt, ein
Bewegtbildmenü in Schritt 513 anzuzeigen.
Falls die Eingabebefehle nicht detektiert werden, werden andere
korrespondierende Funktionen in Schritt 512 durchgeführt. Informationen
des Bewegtbildmenüs
kann einen Namen von wenigstens einem Bewegtbild enthalten oder
kann den Namen des Bewegtbilds und einen Ort und eine Zeit der Bewegtbilderfassung
enthalten. Wenn der Benutzer ein gewünschtes Bewegtbild auswählt, während das
Bewegtbildmenü angezeigt wird,
detektiert die Steuerung 10 das ausgewählte Bewegtbild in Schritt 515.
Die Steuerung 10 steuert den Bild-Codec 80 und
den Audio-Codec 85 an und greift auf Information von kombinierten
Daten zu, welches von dem Speicher 30 ausgewählt wird,
in den Schritten 517 und 519.
-
Dann
analysiert die Steuerung 10 Header von kombinierten Daten,
auf welche zugegriffen wurde, und trennt die kombinierten Daten
in JPEG-Bilddaten und Audiodaten in Schritt 521. Dann sendet
die Steuerung 10 die JPEG-Bilddaten an den Bild-Codec 80 in
Schritt 525 und sendet die Audiodaten an den Audio-Codec 85 in
Schritt 523. Die JPEG-Bilddaten werden durch den Anzeigebildschirm
im Generator des Bildprozessors 50 verarbeitet und auf
der Anzeigeeinheit 60 angezeigt. Außerdem reproduziert der Audioprozessor 25 die
Audiodaten und ein Lautsprecher gibt die reproduzierten Audiodaten
aus. Die Steuerung 10 greift auf kombinierte Daten eines nachfolgenden
Rahmens in Schritt 529 zu, und die obigen Schritte 521 bis 525 werden
wiederholt. Kombinierte Dateneinheiten, welche in dem Speicher 30 gespeichert
sind, werden aufeinanderfolgend reproduziert und die reproduzierten
kombinierten Dateneinheiten werden aufeinanderfolgend an die Anzeigeeinheit 60 und
den Lautsprecher ausgegeben. Die kombinierten Daten werden in der
Form von Bewegtbildern reproduziert. Wenn kombinierte Daten des letzten
Rahmens, welcher in dem Speicher 30 gespeichert ist, reproduziert
werden oder ein Wiedergabestopbefehl von dem Benutzer eingegeben
wird, detektiert die Steuerung 10 den reproduzierten letzten
Rahmen oder den empfangenen Wiedergabestopbefehl und beendet den
kombinierten Signalwiedergabemodus in Schritt 527.
-
19 ist ein Flussdiagramm, welches die Prozedur
zum Befähigen
der Steuerung 10 zeigt, ein kombiniertes Signal zu erzeugen
und zu speichern. Die Prozedur, welche in 19 gezeigt
ist, kann durch die Konfiguration, welche in 20 gezeigt
ist, implementiert werden. 20 ist
ein Blockdiagramm, welches Komponenten zum Erzeugen und zum Speichern
eines kombinierten Signals in dem mobilen Telefon zeigt. Als die
Komponenten, welche in 20 gezeigt
sind, können
ein Header-Analysierer 250, Schalter 261, 263 und 265 und
eine Puffereinheit 270 in der Steuerung 10 enthalten
sein.
-
Bezugnehmend
auf 20 speichert der Speicher 30 kombinierte
Signale, und auf die kombinierten Signale, welche unter der Steuerung
der Steuerung 10 ausgewählt
sind, wird zugegriffen. Der Header-Analysierer 250 analysiert
Header eines kombinierten Signals, auf welches in dem Speicher 30 zugegriffen
wird, und erzeugt ein Schaltersteuersignal zum Trennen des kombinierten
Signals in JPEG-Bilddaten
und Audiodaten. Ein gemeinsamer Anschluss ist verbunden zwischen
dem Schalter oder A/V-Schalter 261 und dem Speicher 30.
Der erste Ausgabeanschluss des Schalters 261 ist mit einem gemeinsamen
Anschluss für
den Schalter oder Spracheingabeschalter 263 verbunden,
welcher die Audiodaten schaltet, und der zweite Ausgabeanschluss des
Schalters 261 ist mit einem Bildpuffer 272 verbunden.
Der Bildpuffer (Img_Buf) 272, welcher in der Puffereinheit 270 bereitge stellt
ist, puffert JPEG-Bilddaten, welche von dem Schalter 261 ausgegeben werden.
Die ersten und zweiten Audiopuffer (Aud_Buf) 274 und 276 Puffern
kodierte Audiodaten. Der gemeinsame Anschluss für den Schalter 263 ist mit
dem ersten Ausgabeanschluss des Schalters 261 verbunden.
Der erste Ausgabeanschluss des Schalters 263 ist mit einem
Eingabeanschluss des ersten Audiopuffers 274 verbunden
und der zweite Ausgabeanschluss des Schalters 263 ist mit
einem Eingabeanschluss des zweiten Audiopuffers 276 verbunden.
Außerdem
ist der erste Eingabeanschluss des Schalters oder Sprachausgabeschalters 265 mit
einem Ausgabeanschluss des ersten Audiopuffers 274 verbunden
und der zweite Eingabeanschluss des Schalters 265 ist mit
einem Ausgabeanschluss des zweiten Audiopuffers 276 verbunden.
Ein gemeinsamer Anschluss ist zwischen dem Schalter 265 und dem
Audio-Codec oder Sprachdecoder 85 verbunden. Die Schalter 263 und 265 werden
durch eine Ausgabe des Bildpuffers 272 gesteuert. Also
führt die Puffereinheit 270 eine
Splitterfunktion zum Splitten von Audiodaten und JPEG-Bilddaten von dem
kombinierten Signal durch. Der Audio-Codec oder Sprachdecoder 85 dekodiert
kodierte Audiodaten, welche von dem Schalter 65 ausgegeben
werden, und gibt die dekodierten Audiosignale aus. Der BildCodec
oder JPEG-Decoder 80 decodiert
JPEG-Bilddaten, welche von dem Bildpuffer 272 ausgegeben werden,
und gibt die dekodierten Bilddaten aus.
-
Die
Operation, welche in 20 gezeigt ist, wird nun beschrieben
werden. Audiodaten und Bilddaten werden kodiert durch den Audio-Codec 85 bzw.
dem Bild-Codec 80. Die kodierten Audio- und Bilddaten werden
in die Puffereinheit 270 durch korrespondierende Pfade
eingegeben. In diesem Fall wird angenommen, dass die erste Eingabe
der kombinierten Daten als Bilddaten festgelegt ist. Die Puffereinheit 270 enthält die zwei
Audiopuffer (Aud_Buf1 und Aud_Buf2) 274 und 276 und
den einen Bildpuffer (Img_Buf) 272. Eine Operationssequenz
dieser Komponenten ist wie folgt.
-
Zuerst
wird ein kombiniertes Signal, welches von den kombinierten Signalen
ausgewählt
wird, welche in dem Speicher 30 gespeichert sind, ausgegeben.
Die kombinierten Signale, welche in Speicher 30 gespeichert
sind, enthalten JPEG-Bilddaten
mit Bild-Header und kodierte Audio- oder Sprachdaten, wie in 10B gezeigt, und sind in Einheiten von Rahmen
gespeichert. Daher wird, wenn ein Bewegtbild-Wiedergabemodus betrieben
wird, das ausgewählte
kombinierte Signal in JPEG-Bilddaten und Audiodaten getrennt. Die
JPEG-Bilddaten und Audiodaten werden reproduziert. Der Header-Analysierer 250 analysiert
die Header eines kombinierten Signals, welches in 10B gezeigt ist, welches von dem Speicher 30 ausgegeben
wird, und erzeugt das Schaltersteuersignal zum Trennen des kombinierten Signals
in die JPEG-Bilddaten und die Audiodaten. Es wird angenommen, dass
das kombinierte Signal in der Reihenfolge eines Headers, JPEG-Bilddaten und
Audio- oder Sprachdaten gespeichert wird.
-
Der
Header-Analysierer 250 analysiert Header der kombinierten
Daten und steuert den A/V-Schalter 261, welcher mit einem
Punkt (5) oder (6) verbunden ist. Der Bildpuffer 272 steuert
den Spracheingabeschalter 263, welcher mit einem Punkt
(1) oder (2) verbunden ist. Die JPEG-Bilddaten, welche von dem Speicher 30 ausgegeben
werden, werden in dem Bildpuffer 272 durch den Schalter 261 gespeichert.
Zu dieser Zeit steuert der Header-Analysierer 250 den Schalter 261,
so dass dieser die JPEG-Bilddaten eines Rahmens an den Punkt (6) schaltet
und die JPEG-Bilddatenan den Bildpuffer 272 angelegt werden.
Daher werden die JPEG-Bilddaten
in dem Bildpuffer (Img_Buf) 272 gespeichert. Wenn die Ausgabe
der JPEG-Bilddaten von dem Speicher 30 beendet ist, ermöglicht der
Header-Analysierer 250 dem
A/V-Schalter 261 sich mit dem Punkt (5) zu verbinden. Zu
dieser Zeit verbindet sich der Schalter 263 mit dem Punkt
(1), und die Audiodaten, welche von dem Speicher 30 ausgegeben
werden, werden in dem ersten Audiopuffer (Aud_Buf1) 274 gespeichert.
-
Der
Bildpuffer (Img_Buf) 272 führt die gepufferten JPEG-Bilddaten
dem Bild-Codec 80 zu,
und ermöglicht
dem Sprachausgabeschalter 265, sich mit dem Punkt (3) zu
verbinden. Die Audiodaten werden von dem ersten Audiopuffer (Aud_Buf1) 274 an
den Audio-Codec 85 ausgegeben. Der Bild-Codec 80 dekodiert
die JPEG-Bilddaten und gibt dann die dekodierten Bilddaten an die
Anzeigeeinheit 60 aus. Der Audio-Codec 85 dekodiert
die kodierten Audiodaten und gibt dann die dekodierten Audiodaten
an den Lautsprecher aus.
-
Dann
befähigt,
wenn kombinierte Daten eines nachfolgenden Rahmens von dem Speicher 30 ausgegeben
werden, der Header-Analysierer 250 den Schalter 261,
sich mit dem Punkt (6) zu verbinden. Wenn die gepufferten JPEG-Bilddaten
vollständig
von dem Bildpuffer 272 ausgegeben sind, befähigt der
Bildpuffer 272 den Schalter 263, sich mit dem Punkt
(2) zu verbinden. Wenn die JPEG-Bilddaten des nachfolgenden Rahmens,
welcher von dem Speicher 30 ausgegeben wird, in dem Bildpuffer 272 gepuffert
sind und die gepufferten JPEG-Bilddaten vollständig ausgegeben sind, wie oben
beschrieben, befähigt
der Header-Analysierer 250 den A/V-Schalter 261,
sich mit dem Punkt (5) zu verbinden. Während der Schalter 263 sich
mit dem Punkt (2) verbindet, werden die Audiodaten, welche von dem
Speicher 30 ausgegeben werden, in dem zweiten Audiopuffer
(Aud_Buf1) gespeichert. Während
die oben beschriebenen Operationen wiederholt werden, werden die
kombinierten Daten, welche in dem Speicher 30 gespeichert
sind, reproduziert.
-
21 ist ein Flussdiagramm, welches eine Prozedur
zum Reproduzieren eines kombinierten Signals zeigt, welches in dem
Speicher 30 gespeichert ist, in Übereinstimmung mit einer anderen
Ausführungsform
der vorliegenden Erfindung. Es wird angenommen, dass das kombinierte
Signal ein Signal ist, in welchem Bewegtbildsignale mit einem Textsignal kombiniert
sind.
-
Bezugnehmend
auf 21, wenn der Benutzer einen
kombinierten Signalwiedergabemodus durch die Tasteneingabeeinheit 27 eingibt,
und die Steuerung die Eingabe des kombinierten Signalwiedergabemodus
in Schritt 1511 detektiert und die Anzeigeeinheit 60 befähigt, ein
Bewegtbildmenü in Schritt 1513 anzuzeigen.
Falls die eingegebenen Befehle nicht detektiert werden, werden andere
korrespondierende Funktionen in Schritt 1512 durchgeführt. Information
des Bewegtbildmenüs
kann einen Namen von wenigstens einem Bewegtbild enthalten oder
kann den Namen des Bewegtbilds, und einen Ort und eine Zeit der
Bewegtbilderfassung enthalten. Wenn der Benutzer ein gewünschtes
Bewegtbild auswählt,
während
das Bewegtbildmenü angezeigt wird,
detektiert die Steuerung 10 das ausgewählte Bewegtbild in Schritt 1515.
Die Steuerung 10 steuert den Bild-Codec 80 an
und greift auf Header eines kombinierten Signals zu, welches von
dem Speicher 30 in Schritt 1517 ausgewählt wird.
-
Dann
analysiert die Steuerung 10 die kombinierten Signal-Header,
auf die zugegriffen wird, und trennt das kombinierte Signal in JPEG-Bildsignale und
ein Textsignal in Schritt 1519. Falls ein Text-Header als
ein Ergebnis der Header-Analyse detektiert wird, analysiert die
Steuerung 10 einen Textanzeigetyp und Textlängen in
Schritten 1521 und 1523. Dann greift die Steuerung 10 auf
das Textsignal in Schritt 1525 zu und befähigt die
Anzeigeeinheit 60, das Textsignal basierend auf dem Textanzeigetyp
in Schritt 1527 anzuzeigen. Dann bestätigt, falls ein Bewegtbild-Header
als das Ergebnis der Header-Analyse detektiert wird, die Steuerung 10 den
Bewegtbild-Header und eine Bewegtbildgröße in Schritt 1529.
Bei Zugriff auf das Bewegtbildsignal in Schritt 1531 sendet
die Steuerung 10 die Bewegtbildsignale, auf welche zugegriffen
wurde, an den Bild-Codec 80 in Schritt 1533. Der
Bild-Codec 80 dekodiert das JPEG-Bildsignal um ein Originalbildsignal
zu erhalten und der Bildprozessor 50 skaliert das dekodierte JPEG-Bildsignal
auf der Basis einer Größe der Anzeigeeinheit 60,
so dass die Anzeigeeinheit 60 die skalierten dekodierten
JPEG-Bilddaten ausgeben kann. Wenn die Wiederga beoperation für Bewegtbildsignale
vollständig
ist, wird die Prozedur, welche in 21 gezeigt
ist, abgeschlossen.
-
Falls
der Textanzeigetyp ein oberer Anzeigetyp ist, ermöglicht die
Steuerung 10 der Anzeigeeinheit 60, zuerst das
Textsignal anzuzeigen, und greift dann aufeinanderfolgend auf Bewegtbildsignale
zu, um die Bewegtbildsignale, auf welche aufeinanderfolgend zugegriffen
wird, an den Bild-Codec 80 auszugeben. Nachdem zuerst das
Textsignal angezeigt wird, zeigt die Anzeigeeinheit 60 aufeinanderfolgend empfangene
Standbildsignale in der Form von Bewegtbildsignalen an. Andererseits,
falls der Textanzeigetyp ein unterer Anzeigetyp ist, greift die
Steuerung 10 aufeinanderfolgend auf die Bewegtbildsignale
zu und gibt die Bewegtbildsignale, auf welche aufeinanderfolgend
zugegriffen wird, an den Bild-Codec 80 aus.
Nachdem die Bildsignale vollständig
ausgegeben sind, wird das Textsignal an die Anzeigeeinheit 60 ausgegeben.
Die Anzeigeeinheit 60 empfangt aufeinanderfolgend Standbildsignale
und zeigt diese an und empfangt dann das Textsignal und zeigt es
an. Andererseits, falls der Textanzeigetyp ein Schiebeanzeigetyp
ist, wird das Bildsignal an den Bild-Codec 80 ausgegeben
und das Textsignal an die Anzeigeeinheit 60 ausgegeben,
während
eines Zeitabschnitts, welcher durch die obige Gleichung 1 bestimmt
wird. Während
die Anzeigeeinheit 60 aufeinanderfolgend die Standbildsignale
empfängt
und das aufeinanderfolgend empfangene Standbildsignal in der Form
von Bewegtbildsignalen anzeigt, wird das Textsignal verschoben und
an einer bestimmten Stelle der Anzeigeeinheit 60 angezeigt.
Andererseits, falls der Textanzeigetyp ein Stapelanzeigetyp ist,
gibt die Steuerung 10 das Bildsignal an den Bild-Codec 80 aus
und ermöglicht
gleichzeitig die gesetzte Anzahl von Zeichen an die Anzeigeeinheit 60 zu
senden, während eines
Zeitabschnitts, welcher durch die obige Gleichung 2 bestimmt ist.
Daher werden, während
die Anzeigeeinheit 60 aufeinanderfolgend die Standbildsignale
empfängt
und die aufeinanderfolgend empfangenen Standbildsignale in der Form
von Bewegtbildsignalen anzeigt, die voreingestellte Anzahl von Zeichen,
welche von der Steuerung 10 ausgegeben werden, an einer
bestimmten Stelle der Anzeigeeinheit 60 angezeigt.
-
21 zeigt die Prozedur zum Erzeugen und zum Speichern
eines kombinierten Signals in der Steuerung 10. Die Prozedur,
welche in 21 gezeigt ist, kann implementiert
werden durch die Konfiguration, welche in 22 gezeigt
ist. 22 zeigt ein Blockdiagramm,
welches Komponenten zum Reproduzieren des kombinierten Signals in
dem mobilen Telefon zeigt.
-
Bezugnehmend
auf 22 speichert der Speicher 30 kombinierte
Signale und auf die kombinierten Signale, welche unter der Steuerung
der Steuerung 10 ausgewählt
werden, wird zugegriffen. Ein Header-Analysierer 250 analysiert
Header eines kombinierten Signals, auf welches in dem Speicher 30 zugegriffen
wird und erzeugt ein Schalter-Steuersignal zum Trennen von JPEG-Bildsignalen
und einem Textsignal. Ein gemeinsamer Anschluss ist verbunden zwischen
einem Schalter 261 und dem Speicher 30. Der erste
Ausgabeanschluss des Schalters 261 ist verbunden mit einem
Textpuffer 288 und der zweite Ausgabeanschluss des Schalters 261 ist
verbunden mit einem Bildpuffer 222. Der Bildpuffer 222 puffert
die JPEG-Bildsignale, welche von dem Schalter 261 ausgegeben
werden, und der Textpuffer 228 puffert das Textsignal,
welches von dem Schalter 261 ausgegeben wird.
-
Der
Header-Analysierer 250, der Schalter 261 und die
Puffer 222 und 228 führen eine Splitterfunktion
zum Trennen des kombinierten Signals in die JPEG-Bildsignale und das Textsignal durch,
welches von dem Speicher 30 ausgegeben wird. Der Bild-Codec 80 dekodiert
JPEG-Bilddaten, welche von dem Bildpuffer 222 ausgegeben
werden, und gibt die dekodierten Bilddaten aus. Unter der Steuerung der
Steuerung 10 zeigt die Anzeigeeinheit 60 die Bewegtbildsignale
und das Textsignal gemäß dem Textanzeigetyp
an.
-
Bezugnehmend
auf 22 gibt der Speicher 30 wenigstens
ein ausgewähltes
von den kombinierten Signalen, welche darin gespeichert sind, aus. Das
kombinierte Signal, welches in dem Speicher 30 gespeichert
ist, enthält
ein Textsignal mit einem Text-Header, welcher in 14A gezeigt ist, und ein JPEG-Signal mit einem
Bild-Header, welcher in 14B gezeigt
ist. Wenn ein Bewegtbild-Wiedergabemodus
betrieben wird, werden die JPEG-Bildsignale und das Textsignal von
dem kombinierten Signal, welches zu reproduzieren ist, trennt. Der
Header-Analysierer 250 analysiert einen Header des Textsignals
und Header von Bildsignalen von dem kombinierten Signal, welches
in 14C gezeigt ist, welches von
dem Speicher 30 ausgegeben wird. Wenn die Header-Analyseoperation
durchgeführt wird,
ist der Text-Header konfiguriert wie in 14A gezeigt
und der Bild-Header ist konfiguriert, wie in 14B gezeigt.
Falls das kombinierte Signal auf dem Format basiert, welches in 14C gezeigt ist, detektiert der Header-Analysierer 250 die
Existenz eines Textsignals durch Detektieren eines Mustersignals
des Text-Headers und liest einen "L"-Wert,
welcher auf das Mustersignal folgt, um die Länge des Textsignals zu bestätigen. Der
Schalter 261 ist so gesteuert, dass die Ausgabe des Speichers 30 an
den Textpuffer 228 gekoppelt wird. Dann steuert der Header-Analysierer 250 den
Speicher 30 so, so dass ein Textsignal, welches mit dem "L"-Wert korrespondiert, ausgegeben werden
kann. Also wird die Textsignalausgabe von dem Speicher 30 dem
Textpuffer 228 zugeführt,
und das Textsignal, welches in dem Textpuffer 228 gepuffert
wird, wird an die Steuerung 10 angelegt. Ferner detektiert,
falls der Bild-Header eingegeben wird, der Header-Analysierer 250 die
Existenz eines JPEG-Bildsignals durch Detektieren eine Mustersignals
des Bild-Headers und liest einen "L"-Wert,
welcher dem Mustersignal folgt, um die Größe des JPEG-Bildsignals zu
bestätigen.
Der Schalter 261 ist so gesteuert, dass die Ausgabe des Speichers 30 an
den Bildpuffer 222 gekoppelt wird. Dann steuert der Header-Analysierer 250 den
Speicher 30 so, dass ein JPEG-Bildsignal, welches mit dem "L"-Wert korrespondiert, ausgegeben werden kann.
Also wird das JPEG-Bildsignal, welches von dem Speicher 30 ausgegeben
wird, an den Bildpuffer 222 angelegt, und das JPEG-Bildsignal,
welches in dem Bildpuffer 222 gepuffert wird, wird an den Bild-Codec 80 angelegt.
Das JPEG-Bildsignal, welches an den Bild-Codec 80 angelegt
wird, basiert auf einer Rahmengröße. Der
Header-Analysierer 250 führt eine Steueroperation durch,
so dass aufeinanderfolgende JPEG-Bildsignale, welche auf der Rahmengröße basieren,
ausgegeben werden können.
-
Nach
Empfangen des Textsignals bestätigt die
Steuerung 10 Information des Anzeigetyps T des Text-Headers.
Die Steuerung 10 steuert den Bildprozessor 50,
so dass das Textsignal und die Bewegtbildsignale reproduziert werden
gemäß dem gewählten Anzeigetyp. 21 zeigt das Verfahren zum Befähigen der Steuerung 10,
den Bildprozessor 50 und die Anzeigeeinheit 60 zu
steuern, so dass Text- und Bewegtbildsignale
reproduziert werden können.
-
23 ist ein Flussdiagramm, welches eine Prozedur
zeigt zum Reproduzieren von Bewegtbildsignalen, welche mit Audio-
und Textsignalen kombiniert sind, in Übereinstimmung mit einer anderen Ausführungsform
der vorliegenden Erfindung. Ferner ist 24 ein
Blockdiagramm, welches Komponenten für eine Vorrichtung zeigt, welche
ein kombiniertes Signal reproduziert, in welchem Bewegtbildsignale
mit den Audio- und Textsignalen kombiniert sind.
-
Bezugnehmend
auf 23, wenn ein kombinierter Signalwiedergabemodus
eingegeben wird, detektiert die Steuerung 10 den eingegebenen
kombinierten Signalwiedergabemodus in Schritt 861, und zeigt
ein kombiniertes Signalmenü in
Schritt 863 an. Falls die eingegebenen Befehle nicht detektiert
werden, werden andere korrespondierende Funktionen in Schritt 862 durchgeführt. Ein
gewünschtes
kombiniertes Signal wird ausgewählt,
während
das kombinierte Signalmenü angezeigt
wird, wobei die Steuerung 10 das ausgewählte kombinierte Signal in Schritt 865 detektiert
und den Bild-Codec 80 und den Audio-Codec 87 in
Schritten 867 ansteuert. Zu dieser Zeit wird auf Information
des ausgewählten
kombinierten Signals zugegriffen.
-
Die
Steuerung 10 analysiert Header des kombinierten Signals,
auf welches zugegriffen wird und trennt JPEG-Bilddaten und Audiodaten
von dem analysierten kombinierten Signal in Schritt 869.
Dann gibt, auf Detektieren der JPEG-Bilddaten, die Steuerung 10 die
JPEG-Bilddaten an den Bild-Codec 80 aus, so dass die JPEG-Bilddaten
in Schritt 873 angezeigt werden können. Nach Detektieren der
Audiodaten gibt die Steuerung 10 die Audiodaten an den
Audio-Codec 85 aus, so dass die Audiodaten in Schritt 871 reproduziert
werden können.
Nach Detektieren der Textdaten gibt die Steuerung 10 die
Textdaten an die Anzeigeeinheit 60 aus, so dass die Textdaten
in Schritt 875 angezeigt werden können.
-
Nachdem
die Steuerung 10 auf ein kombiniertes Signal eines nachfolgenden
Rahmens in Schritt 879 zugreift, werden die Operationen
der oben beschriebenen Schritt 869 bis 875 wiederholt durchgeführt. Also
werden die kombinierten Signale aufeinanderfolgend reproduziert
durch die Anzeigeeinheit 60 und den Lautsprecher. Die kombinierten Signale
werden in der Form von Bewegtbildern reproduziert. Wenn ein kombiniertes
Signal des letzten Rahmens, welcher in dem Speicher 30 gespeichert ist,
reproduziert wird oder ein Wiedergabestoppbefehl von dem Benutzer
eingegeben wird, detektiert die Steuerung 10 den reproduzierten
letzten Rahmen oder den empfangenen Wiedergabestoppbefehl und beendet
den kombinierten Signalwiedergabemodus in Schritt 877.
-
24 ist ein Blockdiagramm, welches Komponenten
einer Vorrichtung zum Erzeugen und zum Speichern eines kombinierten
Signals in dem mobilen Telefon gemäß der Prozedur, welche in 23 gezeigt ist, zeigt. Als die Komponenten, welche
in 24 gezeigt sind, können ein Header-Analysierer 250,
Schalter 261, 263 und 265 und eine Puffereinheit 270 in
der Steuerung 10 enthalten sein.
-
Bezugnehmend
auf 24 analysiert der Header-Analysierer 250 kombinierte
Signale, welche in dem Speicher 30 gespeichert sind. Der
Header-Analysierer 250 analysiert einen Text-Header und
Bild-Header, welche in einem kombinierten Signal enthalten sind,
auf welches in dem Speicher 30 zugegriffen wird und erzeugt
ein Schaltersteuersignal zum Trennen eines Textsignals, von JPEG-Bildsignalen und
Audiosignalen von dem kombinierten Signal. Ein gemeinsamer Anschluss
ist verbunden zwischen dem Schalter 261 und dem Speicher 30.
Der erste Ausgabeanschluss des Schalters 261 ist verbunden mit
einem gemeinsamen Anschluss für
den Schalter 263, welcher das Audiosignal schaltet, der
zweite Ausgabeanschluss des Schalters 261 ist verbunden mit
einem Bildpuffer 272, und der dritte Ausgabeanschluss des
Schalters 261 ist verbunden mit einem Textpuffer 278.
Der Textpuffer 278, welcher in der Puffereinheit 270 bereitgestellt
ist, puffert ein Textsignal, welches von dem Schalter 261 ausgegeben
wird. Der Bildpuffer (Img_Buf) 272, welcher in der Puffereinheit 270 bereitgestellt
ist, puffert JPEG-Bilddaten, welche
von dem Schalter 261 ausgegeben werden. Der erste und der
zweite Audiopuffer (Aud_Buf) 274 und 276 puffert
kodierte Audiodaten. Der gemeinsame Anschluss für den Schalter 263 ist
verbunden mit dem ersten Ausgabeanschluss des Schalters 261. Der
erste Ausgabeanschluss des Schalters 263 ist verbunden
mit einem Eingabeanschluss des ersten Audiopuffers 274,
und der zweite Ausgabeanschluss des Schalters 263 ist verbunden
mit einem Eingabeanschluss des zweiten Audiopuffers 276.
Außerdem ist
der erste Eingabeanschluss des Schalters 265 verbunden
mit einem Ausgabeanschluss des ersten Audiopuffers 274 und
der zweite Eingabeanschluss des Schalters 265 ist verbunden
an einen Ausgabeanschluss des zweiten Audiopuffers 276.
Ein gemeinsamer Anschluss ist verbunden zwischen dem Schalter 265 und
dem Audio-Codec 85. Die Schalter 263 und 265 werden
gesteuert durch eine Ausgabe des Bildpuffers 272. Der Audio-Codec 85 dekodiert kodierte
Audiosignale, welche von dem Schalter 265 ausgegeben werden,
und gibt die dekodierten Audiosignale aus. Der Bild-Codec 80 dekodiert
JPEG-Bilddaten, welche von dem Bildpuffer 272 ausgegeben werden,
und gibt die dekodierten Bilddaten aus.
-
Die
Operationen der Komponenten, welche in 24 gezeigt
sind, werden nun beschrieben werden. Der Header-Analysierer 250 liest
eine vorbestimmte Größe eines
kombinierten Signals, welches in dem Speicher 30 gespeichert
ist, und analysiert Header des kombinierten Signals. Falls das Mustersignal
eines Headers ein Textmuster angibt, koppelt der Header-Analysierer 250 den
Schalter 261 an den Textpuffer 278. Andererseits,
falls ein Mustersignal eines Headers ein Bildmuster angibt, koppelt
der Header-Analysierer 250 den Schalter 261 an
den Bildpuffer 272. Andererseits, falls das Mustersignal eines
Headers ein Audiomuster kennzeichnet, koppelt der Header-Analysierer 250 den
Schalter 263 an den Audiopuffer 274 oder 276.
Der Bildpuffer 272 steuert die Schalter 263 und 265 in
einem Rahmenintervall. Wenn der Audiopuffer 274 ein Audiosignal puffert,
erlaubt der Bildpuffer 272 die Audiodaten, welche in dem
zweiten Audiopuffer 276 gespeichert sind, auszugeben. Alternativ
erlaubt, wenn der zweite Audiopuffer 276 Audiosignale puffert,
der Bildpuffer 272 die Audiodaten, welche in dem ersten
Audiopuffer 274 gespeichert sind, auszugeben.
-
Wenn
der Header-Analysierer 250 die Analyseoperation für das kombinierte
Signal durchführt, werden
ein Textsignal, Bewegtbildsignale und Audiosignale getrennt, so
dass die getrennten Signale der Steuerung 10, dem Bild-Codec 80 und
dem Audio-Codec 85 zugeführt werden, so dass die getrennten
Signale reproduziert werden können.
-
25 ist ein Flussdiagramm, welches eine Prozedur
zeigt zum Übertragen
eines kombinierten Signals. Das kombinierte Signal, welches durch
die Konfiguration übertragen
wird, welche in 13 gezeigt ist, kann ein kombiniertes
Signal sein, welches in dem Speicher 30 durch die Prozedur
gespeichert ist, welche in 7, 8, 11, 12, 15 oder 16 gezeigt
ist. Außerdem
kann das kombinierte Signal, welches durch die Prozedur übertragen wird,
welche in 25 gezeigt ist, ein kombiniertes Signal
sein, in welchem Bewegtbildsignale mit einem Textsignal und/oder
Audiosignalen kombiniert sind. Sobald die Prozedur zum Erzeugen
des kombinierten Signals durchgeführt wird, kann die Prozedur, welche
in 25 gezeigt ist, durchgeführt werden.
-
Bezugnehmend
auf 25, wenn der Benutzer einen
kombinierten Signalübertragungsbefehl durch
die Tasteneingabeeinheit 27 eingibt, detektiert die Steuerung 10 den
eingegebenen kombinierten Signalsendebefehl in Schritt 551 und
befähigt
die Anzeigeeinheit 60, ein kombiniertes Signalmenü in Schritt 553 anzuzeigen.
Falls die Eingabebefehle nicht detektiert werden, werden andere
korrespondierende Funktionen in Schritt 552 durchgeführt. Das kombinierte
Signalmenü kann
Information enthalten, welche die Namen der kombinierten Signale
angibt, welche in dem Speicher 30 gespeichert sind, oder
Information, welche die Namen der kombinierten Signale und Ort-
und Zeitinformation einer Bilderfassung angibt, welche mit den kombinierten
Signalen assoziiert ist. Wenn der Benutzer ein gewünschtes
kombiniertes Signal ausgewählt,
während
das kombinierte Signalmenü angezeigt
wird, detektiert die Steuerung 10 das ausgewählte kombinierte
Signal in Schritt 555 und greift auf ein korrespondierendes
kombiniertes Signal zu, welches in dem Speicher 30 gespeichert ist,
in Schritt 557.
-
Die
Steuerung 10 segmentiert das kombinierte Signal, auf welches
zugegriffen wurde, so dass das segmentierte kombinierte Signal in
der Form von Paketdaten übertragen
werden kann. Eine Größe der Paketdaten
ist festgelegt in einer vorbestimmten Länge N und Bilddaten eines Rahmens
können
in eine Vielzahl von Paketen unterteilt werden. Außerdem können Bild-/Audiodaten
in einem Paket gemischt werden. Die Paketdaten werden durch den
Datenprozessor 20 übertragen.
Der Datenprozessor 20 führt
eine Kanalkodier- und Modulationsoperation für die empfangenen Paketdaten
aus und gibt ein Ergebnis der Kanalkodier- und Modulationsoperation
aus. Das RF-Modul 23 konvertiert das Ergebnis der Kanalkodier-
und Modulationsoperation in ein Funksignal und überträgt das Funksignal.
-
Wenn
eine Paketsendeoperation für
die kombinierten Daten vollständig
durchgeführt
ist, wiederholt die Steuerung 10 die Operation zum Zugreifen
auf kombinierte Daten eines nachfolgenden Rahmens in Schritt 565 zum
Erzeugen von Paketdaten in Schritt 559 und zum Senden der
Paketdaten in Schritt 561.
-
25 zeigt die Prozedur zum Übertragen der kombinierten
Daten, welche in dem Speicher 30 gespeichert sind, wie
oben beschrieben. Wenn die kombinierten Daten erzeugt sind und die
erzeugten kombinierten Daten in dem Speicher 30 gespeichert sind,
während
die Prozeduren, welche in 7 und 8 gezeigt
sind, durchgeführt
werden, können
die erzeugten kombinierten Daten übertragen werden. In diesem
Fall befähigt
die Steuerung 10 den Speicher 30, kombinierte
Daten eines Rahmens zu speichern. Die kombinierten Daten können in
der Form von Paketdaten übertragen
werden.
-
26 ist ein Blockdiagramm, welches Komponenten
zeigt zum Speichern eines kombinierten Signals und zum gleichzeitigen Übertragen
des kombinierten Signals in dem mobilen Telefon. Als die Komponenten,
welche in 26 gezeigt sind, können eine
Puffereinheit 220, Schalter 211 und 213,
ein Header-Generator 230, ein Kombinierer 240 und
ein Paketgenerator 245 in der Steuerung 10 gebildet sein. 27A bis 27E zeigen
Formate von Paketdaten zum Übertragen
von kombinierten Daten.
-
Ein
Sender, welcher in dem mobilen Telefon bereit gestellt wird, welches
in 9 gezeigt ist, kombiniert oder fügt zusammen
kodierte Standbilder (JPEG-Bilder), welche aufeinanderfolgend von
dem Bild-Codec oder Bild-Encoder 80 ausgegeben werden,
und kodierte Audiosignale, welche aufeinanderfolgend von dem Audio-Codec
oder Sprach-Encoder 85 ausgegeben werden, und speichert
ein zusammengefügtes
oder kombiniertes Signal. Wenn das zusammengefügte oder kombinierte Signal übertragen
wird, fügt
der Sender vorbestimmte Format basierte Header dem zusammengefügten oder
kombinierten Signal an und führt
eine Paketieroperation aus. Paketdaten zum Übertragen der kodierten Audiodaten
und JPEG-Bilddaten sind gezeigt in 27A bis 27E.
-
27A zeigt das Format eines Pakets, welches auf
kombinierten Daten basiert, welche durch das RF-Modul 23 übertragen
werden. Die Gesamtgröße N von
kombinierten Daten eines Rahmens kann bestimmt werden, falls nötig, und
die Gesamtgröße N kann
gesetzt werden innerhalb des Bereichs von ungefähr 200 1500 Bytes. Die Länge eines
Pakets, welches zu übertragen
ist, muss in jedem Paket konstant sein. Bezugnehmend auf das Paketformat kann
ein TCP/IP-Header von 44 Bytes und eine Sequenznummer S von 7 Bytes
innerhalb des Pakets enthalten sein. Die Sequenznummer S gibt eine
Reihenfolge von erzeugten Paketen an. Die Sequenznummer kann einen
Wert 0 bis einen Wert 127 haben. Nach der Sequenznummer des Werts
127 wird die Sequenznummer des Werts 0 neu ausgewählt. Ein
1-Bit A/V-Wert, welcher der Sequenznummer S nachfolgt, kennzeichnet,
ob die ersten Daten eines korrespondierenden Pakets Audio- oder
JPEG-Bilddaten sind.
-
27A bis 27C zeigen
JPEG-Bilddatenformate. In dem Fall der JPEG-Bilddaten wird die Größe eines
Rahmens innerhalb des Bereichs von 5 ~ 10 Kbytes gesetzt. In Übereinstimmung
mit der Ausführungsform
der vorliegenden Erfindung ist die Bilddatenlänge eines Rahmens länger als
die von Paketdaten, welche durch das RF-Modul 23 zu übertragen
sind. Daher müssen
die JPEG-Bilddaten
eines Rahmens durch eine Vielzahl von Paketen übertragen werden. Das erste
Paket der JPEG-Bilddaten enthält
P- und L-Werte des Bild-Headers, wie in 27B gezeigt.
In 27B gibt der P-Wert ein Mustersignal
an, welches verwendet wird zur Unterscheidung von Audiodaten und
JPEG-Bilddaten in einem Empfänger,
welcher Paketdaten empfängt.
In 27B gibt der L-Wert die Gesamtgröße eines JPEG-Bildrahmens
an. Der L-Wert wird verwendet zum Lesen von JPEG-Bilddaten, welche
mit dem L-Wert korrespondieren, nachdem der Empfänger JPEG-Bilddaten durch das
Mustersignal detektiert. Wenn die empfangenen und gepufferten Daten
mit dem L-Wert korrespondieren, während der Empfänger aufeinanderfolgend
empfängt
und puffert, werden die empfangenen JPEG-Bilddaten an den Bild-Codec 80 angelegt,
so dass diese dekodiert und reproduziert werden können. 27C zeigt das übrige
Paketformat, nachdem das erste Paket von JPEG-Bilddaten eines Rahmens übertragen
ist. Das übrige
Paket kann gefüllt
sein mit JPEG-Bilddaten ohne einen Bild-Header.
-
27D zeigt ein Audiodatenformat. In der Ausführungsform
der vorliegenden Erfindung wird angenommen, dass der Audio-Codec 85 ein
8 Kbps-Sprach-Codec ist. Wo der Audio-Codec 85 der 8 Kpbs-Sprach-Codec
ist, werden kodierte Audiodaten eines Rahmens (20 Byte) jede 20
msec erzeugt. Zu dieser Zeit sind, bis N-45 Bytes, welche mit der maximalen
Größe von Daten
korrespondieren, in einem Paket zusammengefügt sind, eine Vielzahl von kodierten
Audiorahmendateneinheiten aufeinanderfolgend miteinander gekoppelt,
so dass ein Audiopaket erzeugt werden kann. Zum Beispiel werden,
wo N 200 ist, eine Vielzahl von Audiodateneinheiten, welche mit
17 Rahmen und einem 3/4-Rahmen (15 Bytes) korrespondieren, zusammengefügt, so dass ein
Paket erzeugt werden kann. Da die JPEG-Bilddaten typischerweise
zwischen den Audiorahmen eingefügt
werden, wird ein Format, in welchem Audiodaten und JPEG-Bilddaten
gemischt sind, erzeugt, wie in 27E gezeigt.
-
Komponenten
zum Erzeugen eines kombinierten Signals in 26 enthalten
den Audio-Codec 85, den Bild-Codec 80, die Schalter 211 und 213,
die Puffereinheit 220, den Header-Generator 230 und den
Kombinierer 240, wie in 9 gezeigt.
Die Operationen von Komponenten zum Erzeugen eines kombinierten
Signals in 26 sind die gleichen, wie diese
der Komponenten, welche in 9 gezeigt sind. 26 enthält
ferner einen Paketgenerator 245. Die Komponenten, welche
in 26 gezeigt sind, führen eine Funktion des Übertragens
des erzeugten kombinierten Signals durch.
-
Bezugnehmend
auf 26 werden Audiodaten und JPEG-Bilddaten
durch den Audio-Codec 85 bzw. den Bild-Codec 80 kodiert.
Die kodierten Audiodaten und Bilddaten werden in die Puffereinheit 220 über korrespondierende
Pfade eingegeben. In der Ausführungsform
der vorliegenden Erfindung wird angenommen, dass die erste Eingabe
einer Bewegtbild-Mail auf JPEG-Bilddaten festgelegt ist. Die Puffereinheit 220 enthält zwei
Audiopuffer 224 und 226 und einen Bildpuffer 222.
Die Prozedur zum Erzeugen eines kombinierten Signals ist die gleiche, wie
diese, welche in 9 gezeigt ist.
-
In
dem ersten Schritt werden JPEG-Bilddaten eines Rahmens in einen
Bildpuffer (IMG_Buf) 222 eingegeben. In dem zweiten Schritt
ist der Schalter 211 verbunden mit einem Punkt (1) und
kodierte Audiodaten werden in den ersten Audiopuffer (Aud_Buf1) 224 eingegeben.
In dem dritten Schritt wird, wenn der Bildpuffer 222 mit
JPEG-Bilddaten eines Rahmens gefüllt
ist, ein Bild-Header in die JPEG-Bilddaten
eingefügt,
und die JPEG-Bilddaten, welche den eingefügten Bild-Header haben, werden an die folgende
Stufe übertragen.
Der Header kann ein Mustersignal P enthalten, welches die Existenz von
JPEG-Bilddaten angibt und ein Längensignal
L, welches die Länge
von JPEG-Bilddaten angibt. In dem vierten Schritt ist der Schalter 211 verbunden
an einen Punkt (2) durch einen Pfad (a). In dem fünften Schritt
ist der Schalter 213 verbunden mit einem Punkt (3) durch
einen Pfad (b). In dem sechsten Schritt werden die Audiodaten, welche
von dem Audio-Codec 85 ausgegeben werden, in dem zweiten Audiopuffer
(Aud_Buf2) 226 gespeichert. In dem siebten Schritt werden
die Audiodaten, welche in dem ersten Audiopuffer (Aud_Buf1) 224 gepuffert sind,
an die folgende Stufe übertragen.
In dem achten Schritt kehrt die Operation zu dem ersten Schritt zurück und die
oben beschriebenen Schritte werden wiederholt durchgeführt. Zu
dieser Zeit können
die Schalter 211 und 213 mit Punkten verbunden
werden, welche von den vorherigen Punkten unterschiedlich sind.
-
Die
JPEG-Bilddaten und Audiodaten werden aufeinanderfolgend erzeugt
und kombiniert und ein Ergebnis der Kombinieroperation, welches
auf einem Format basiert, welches in 10B gezeigt
ist, wird in dem Speicher 30 gespeichert. Der Paketgenerator 245 erzeugt
Pakete, welche auf den kombinierten Daten basieren, welche in dem
Speicher 30 gespeichert sind, wie in 27A bis 27E gezeigt,
und dann werden die erzeugten Pakete durch den Datenprozessor 20 und
das RF-Modul 23 übertragen.
-
Die
kombinierten Daten, welche in dem Speicher 30 gespeichert
sind, enthalten Bild-Header, JPEG-Bilddaten und Audiodaten, wie
in 10B gezeigt. Die kombinierten
Daten werden durch eine Vielzahl von Paketen übertragen. Nach Erzeugen der Pakete
von den kombinierten Daten, welches, in 10B gezeigt
ist, fügt
der Paketgenerator 245 einen TCP/IP-Header, eine Sequenznummer
und ein A/V-Bit
in jedes Datenpaket ein und ordnet Paketdaten nach diesen an. Der
TCP/IP-Header befindet
sich an dem Kopf der Paketdaten. Es ist angenommen, dass der TCP/IP-Header
aus 44 Bytes besteht in der Ausführungsform
der vorliegenden Erfindung. Die Sequenznummer kennzeichnet eine
Sequenz von erzeugten Paketen. Es ist angenommen, dass die Sequenznummer
aus 7 Bits besteht. Die Sequenznummer kann einen Wert von 0 bis
127 haben. Nach der Sequenznummer des Werts 127, wird die Sequenznummer
des Werts 0 neu ausgewählt.
Das A/V-Bit gibt
an, ob die ersten Daten eines korrespondierenden Pakets JPEG-Bilddaten
oder Audiodaten sind. Es ist angenommen, dass das A/V-Bit ein Bit
ist. Der TCP/IP-Header, die Sequenznummer und das A/V-Bit befinden
sich an dem Kopf jedes Pakets. Es wird angenommen, dass der TCP/IP-Header
die Sequenznummer und das A/V-Bit aus 45 Bytes bestehen in der Ausführungsform
der vorliegenden Erfindung.
-
Wie
in 27B gezeigt, enthalten die
kombinierten Daten JPEG-Bilddaten eines Rahmens und Audiodaten,
welche nachfolgend zu den JPEG-Bilddaten während eines Rahmenintervalls
erzeugt werden. Also erzeugt der Paketgenerator 245 JPEG-Bildpaketdaten
und erzeugt dann Audiopaketdaten.
-
27B und 27C zeigen
Formate von JPEG-Bilddaten. Die Größe der JPEG-Bilddaten eines Rahmens korrespondiert
mit ungefähr
5 ~ 10 Kbytes. Die Bilddaten eines Rahmens sind größer als ein
Paket. Die JPEG-Bilddaten eines Rahmens werden gebildet durch eine
Vielzahl von Paketen. Daher enthält
der erste Rahmen der JPEG-Bilddaten einen Bild-Header nach dem TCP/IP-Header,
der Sequenznummer und dem A/V-Bit. Hier enthält der Bild-Header ein Mustersignal
P zum Unterscheiden von Audiodaten und JPEG-Bilddaten und ein Längensignal
L, welches die Gesamtgröße der Rahmenbilddaten
angibt. Nachdem der Empfänger
die Existenz von JPEG-Bilddaten anhand des Mustersignals P bestimmt,
und liest JPEG-Bilddaten, welche mit dem Längensignal L korrespondieren. 27C zeigt ein Format von Paketdaten des zweiten
Pakets oder eines anderen Pakets, welches auf das erste Paket folgt,
der JPEG-Bilddaten. Das zweite Paket oder ein anderes Paket kann
aus JPEG-Bilddaten ohne den Bild-Header bestehen.
-
Nachdem
Bildpakete, welche in 27B und 27C gezeigt sind, erzeugt und zusammengefügt sind,
werden Audiodaten erzeugt und zusammengefügt in der Form eines Audiopakets,
welches in 27D gezeigt ist. In diesem
Fall, wo der Audio-Codec 85 ein 8-Kbps-Sprach-Codec ist,
werden Audiodaten eines Rahmens jede 20 msec erzeugt. Der Paketgenerator 245 erzeugt
ein Audiopaket, in welchem Audiorahmen aufeinanderfolgend miteinander
gekoppelt sind, bis die maximale Länge von N-45 Bytes innerhalb
eines Paketes zusammengefügt
ist. Wenn Bild- und Audiodateneinheiten paketiert werden, können Paketdaten,
welche während
Rahmengrenzintervallen erzeugt werden, zusammengefügt werden
innerhalb eines Pakets von Audio- und Bilddaten. In diesem Fall
kann der Paketgenerator 245 Paketdaten erzeugen, wie in 27E gezeigt.
-
Der
Datenprozessor 20 führt
eine Kanalkodier- und Modulationsoperation für Paketdaten aus, welche durch
den Paketgenerator 245 erzeugt werden, und ein Ergebnis
der Kanalkodier- und Modulationsoperation wird durch das RF-Modul 23 übertragen.
-
Es
wird angenommen, dass ein Verfahren zum Übertragen von kombinierten
Daten, welche in 26 erzeugt werden, die kombinierten
Daten überträgt, während des
Erzeugens der kombinierten Daten. Nachdem die Operationen, welche
in 7 und 9 gezeigt sind, in dem Verfahren
durchgeführt
sind, werden gewünschte
kombinierte Daten von kombinierten Dateneinheiten, welche in dem Speicher 30 gespeichert
sind, ausgewählt
und die ausgewählten
kombinierten Daten werden während der
Prozedur, welche in 25 gezeigt ist, übertragen.
-
28 ist ein Blockdiagramm, welches Komponenten
zeigt zum Erzeugen, zum Speichern und zum Übertragen von kombinierten
Signalen in dem mobilen Telefon. Als die Komponenten, welche in 28 gezeigt sind, kann eine Puffereinheit 220, Schalter 211 und 213,
ein Bild-Header-Generator 230, ein Text-Header-Generator 235,
ein Kombinierer 240 und ein Paketgenerator 245 in
der Steuerung 10 gebildet werden. Außerdem zeigen 29A und 29B ein
kombiniertes Signalformat und ein Übertragungspaketdatenformat.
-
Ein
Sender, welcher in dem mobilen Telefon bereitgestellt ist, welches
in 28 gezeigt ist, kombiniert oder fügt zusammen
kodierte Standbilder (JPEG-Bilder), welche aufeinanderfolgend von
dem Bild-Codec oder Bild-Encoder 80 ausgegeben werden,
und kodierte Audiosignale, welche nacheinander von dem Audio-Codec oder Sprach-Encoder 85 ausgegeben
werden, und speichert ein zusammengefügtes oder kombiniertes Signal.
Wenn das zusammengefügte
oder kombinierte Signal übertragen wird,
fügt der
Sender vorbestimmte, Format-basierte Header dem zusammengefügten oder
kombinierten Signal hinzu und führt
eine Paketieroperation aus. Ein Ergebnis der Paketieroperation wird übertragen.
-
Bezugnehmend
auf 28 wird ein Bildschirm-Bildsignal
kodiert durch den Bild-Codec 80, und das kodierte Bildsignal
wird in den Bildpuffer 222 eingegeben. Der Bild-Header-Generator 230 erzeugt einen
Bild-Header, welcher auf der Rahmengröße basiert, und koppelt ein
korrespondierendes Bildschirm-Bildsignal an den Bild-Header.
-
Dann
berechnet die Steuerung 10 eine Wiedergabezeit, welche
benötigt
wird zum Reproduzieren von gegenwärtig gespeicherten JPEG-Bildsignalen
und ermöglicht
der Anzeigeeinheit 60 die maximale Länge eines Textsignals anzuzeigen.
Nach Bestätigung
der maximalen Länge
des Textsignals, gibt der Benutzer das Textsignal, welches in dem
kombinierten Signal enthalten sein soll, durch die Tasteneingabeeinheit 27 ein.
Das Textsignal wird gepuffert in den Textpuffer 228 und
der Text-Header-Generator 235 erzeugt einen Text-Header,
welcher Information enthält,
welche einen Textanzeigetyp angibt, welcher durch den Benutzer bezeichnet
wird, und Information, welche die Länge des Eingabetextes angibt.
Der Text-Header wird in den gepufferten Text eingefügt und der
gepufferte Text mit dem eingefügten Text-Header
wird dem Kombinierer 240 zugeführt. Der Kombinierer 240 kombiniert
aufeinanderfolgende JPEG-Bildsignale, welche in dem Speicher 30 gespeichert
sind, mit dem Textsignal, um das kombinierte Signal zu erzeugen,
welches in 29A gezeigt ist. Zu dieser
Zeit ordnet das Kombinierverfahren das Textsignal vor einem Bewegtbildsignal
an. Das erzeugte kombinierte Signal, welches in 29A gezeigt ist, wird in dem Speicher 30 gespeichert.
-
Der
Paketgenerator 245 erzeugt eine Vielzahl von Paketen, welche
auf den gespeicherten kombinierten Daten basieren, und die Pakete
werden durch den Datenprozessor 20 und das RF-Modul 23 übertragen.
-
Die
Prozedur zum Übertragen
eines kombinierten Signals, in welchem das Textsignal und die Bewegtbildsignale
kombiniert sind, wird beschrieben werden. Zuerst enthalten die kombinierten
Daten, welche in dem Speicher 30 gespeichert sind, einen Text-Header,
ein Textsignal, Bild-Header und JPEG-Bildsignale, wie in 29A gezeigt. Die kombinierten Daten werden durch
eine Vielzahl von Paketen übertragen.
Nach Erzeugen der Pakete aus den kombinierten Daten, welche in 29A gezeigt sind, fügt der Paketgenerator 245 einen
Paket-Header ein, welcher aus einem TCP/IP-Header, einer Sequenznummer
und A/V/T-Bits besteht, in jedes Datenpaket ein, welches in 29B gezeigt ist, und ordnet Paketdaten nach dem
Paket-Header an. Der TCP/IP-Header befindet sich an dem Kopf der
Paketdaten. Es ist angenommen, dass der TCP/IP-Header aus 44 Bytes
besteht in der Ausführungsform
der vorliegenden Erfindung. Die Sequenznummer kennzeichnet eine
Sequenz von erzeugten Paketen. Es ist angenommen, dass die Sequenznummer
aus 7 Bits besteht. Die Sequenznummer kann einen Wert von 0 bis
127 haben. Nach der Sequenznummer des Werts 127 wird die Sequenznummer
des Werts 0 neu ausgewählt.
Die A/V/T-Bits geben an, ob die ersten Daten eines korrespondierenden
Pakets Text-, JPEG-Bild- oder Audiodaten sind. Es wird angenommen,
dass die A/V/T-Bits 2 Bits sind. Der TCT/IP-Header, die Sequenznummer
und die A/V/T-Bits befinden sich an dem Kopf von jedem Paket. Es
wird angenommen, dass der TCP/IP-Header, die Sequenznummer und die
A/V/T-Bits aus 45 Bytes in der Ausführungsform der vorliegenden
Erfindung.
-
Wie
in 31A gezeigt, enthält das kombinierte
Signal ein Textsignal und JPEG-Bilddateneinheiten
eines Rahmens, welche dem Textsignal folgen. Also erzeugt der Paketgenerator 245 zuerst
Paketdaten des Textsignals, und erzeugt dann Paketdaten eines JPEG-Bildsignals,
welche verschraubt sind.
-
31B zeigt das Format eines Pakets, welches auf
kombinierten Daten basiert, welche durch das RF-Modul 23 übertragen
werden. Die Gesamtgröße N von
kombinierten Daten eines Rahmens, welcher zu übertragen ist, kann bestimmt
werden, falls nötig,
und die Gesamtgröße N kann
gesetzt werden innerhalb des Bereichs von ungefähr 200 ~ 1500 Bytes. Die Größe eines
Pakets, welches zu übertragen
ist, muss in jedem Paket konstant sein. Bezugnehmend auf das Paketformat
kann ein TCP/IP-Header von 44 Bytes und eine Sequenznummer S von
7 Bits innerhalb des Pakets enthalten sein. Die Sequenznummer S
kennzeichnet eine Sequenz von erzeugten Paketen. Die Sequenznummer
kann einen Wert von 0 bis einen Wert 127 haben. Nach der Sequenznummer
des Werts 127 wird die Sequenznummer des Werts 0 neu ausgewählt. Ein
1-Bit-A/V-Wert, welcher auf die Sequenznummer S folgt, kennzeichnet,
ob die ersten Daten eines korrespondierenden Pakets Audio- oder
JPEG-Bilddaten sind.
-
In
dem Fall der JPEG-Bilddaten wird die Größe eines Rahmens innerhalb
des Bereichs von 5 ~ 10 Kbytes gesetzt. In Übereinstimmung mit der Ausführungsform
der vorliegenden Erfindung ist die Bilddatengröße eines Rahmens größer als
diese von Paketdaten, welche durch das RF-Modul 23 übertragen werden.
Daher müssen
die JPEG-Bilddaten eines Rahmens durch eine Vielzahl von Paketen übertragen
werden. Das erste Paket der JPEG-Bilddaten enthält P- und L-Werte des Bild-Headers.
Der P-Wert kennzeichnet ein Mustersignal, welches verwendet wird
zum Unterscheiden von Audiodaten und JPEG-Bilddaten in einem Empfänger, welcher
Paketdaten empfängt.
Der L-Wert kennzeichnet die Gesamtgröße eines JPEG-Rahmens. Der
L-Wert wird verwendet zum Lesen von JPEG-Bilddaten, welche mit dem L-Wert korrespondieren,
nachdem der Empfänger
die Existenz von JPEG-Bilddaten durch das Mustersignal detektiert.
Wenn die empfangenen und gepufferten Daten mit dem L-Wert korrespondieren, während der
Empfänger
Daten aufeinander folgend empfängt
und puffert, werden die empfangenen JPEG-Bilddaten an den Bild-Codec 80 angelegt,
so dass diese dekodiert und reproduziert werden können. Das übrige Paket
kann gefüllt
sein mit JPEG-Bilddaten
ohne einen Bild-Header, nachdem das erste Paket von JPEG-Bilddaten
eines Rahmens übertragen
wurde.
-
Der
Datenprozessor 20 führt
eine Kanalkodier- und -modulationsoperation für Paketdateneinheiten aus,
welche in 31 gezeigt sind, welche durch
den Paketgenerator 245 erzeugt werden, und ein Ergebnis
der Kanalkodier- und -modulationsoperation wird durch das RF-Modul 23 übertragen.
-
30 ist ein Blockdiagramm, welches Komponenten
zeigt zum Erzeugen, zum Speichern und zum Übertragen eines kombinierten
Signals in dem mobilen Telefon. Als die Komponenten, welche in 30 gezeigt sind, können eine Puffereinheit 220,
Schalter 211 und 213, ein Bild-Header-Generator 230,
ein Text-Header-Generator 235,
ein Kombinierer 240 und ein Paketgenerator 245 in
der Steuerung 10 gebildet werden. Außerdem zeigen 31A und 31B ein
kombiniertes Signalformat und ein Übertragungspaket-Datenformat.
-
Ein
Sender, welcher in dem mobilen Telefon bereitgestellt wird, welches
in 30 gezeigt ist, kombiniert oder fügt zusammen
kodierte Standbilder (JPEG-Bilder),
welche aufeinander folgend von dem Bild-Codec oder Bild-Encoder 80 ausgegeben
werden, und kodierte Audiosignale, welche aufeinander folgend von
dem Audio-Codec oder Sprach-Encoder 85 ausgegeben werden,
und speichert ein zusammengefügtes
oder kombiniertes Signal. Wenn das zusammengefügte oder kombinierte Signal übertragen
wird, fügt
der Sender vorbestimmte, formatbasierte Paket-Header dem zusammengefügten oder kombinierten
Signal hinzu und führt
eine Paketieroperation aus. Ein Ergebnis der Paketieroperation wird übertragen.
-
Bezugnehmend
auf 30 werden Audiodaten und JPEG-Bilddaten
durch den Audio-Codec 85 bzw. den Bild-Codec 80 kodiert.
Die kodierten Audiodaten und Bilddaten werden in die Puffereinheit 220 über korrespondierende
Pfade eingegeben. In der Ausführungsform
der vorliegenden Erfindung wird angenommen, dass die erste Eingabe
von Bewegtbild-Mail festgelegt ist als JPEG-Bilddaten. Die Puffereinheit 220 enthält zwei
Audiopuffer 224 und 226, einen Bildpuffer 222 und
einen Textpuffer 228.
-
Die
Prozedur zum Erzeugen und zum Übertragen
eines kombinierten Signals ist wie folgt.
-
In
dem ersten Schritt werden JPEG-Bilddaten eines Rahmens in einen
Bildpuffer (Img_Buf) 222 eingegeben. In dem zweiten Schritt
ist der Schalter 211 verbunden mit einem Punkt (1) und
kodierte Audiodaten werden in den ersten Audiopuffer (Aud_Buf1) 224 eingegeben.
In dem dritten Schritt wird, wenn der Bildpuffer 222 mit
JPEG-Bilddaten eines Rahmens gefüllt
ist, ein Bild-Header in die JPEG-Bilddaten
eingefügt
und die JPEG-Bilddaten mit dem eingefügten Bild-Header werden an
die folgende Stufe übertragen.
Der Header kann ein Mustersignal P enthalten, welches die Existenz
von JPEG-Bilddaten angibt, und ein Längensignal L, welches die Länge von
JPEG-Bilddaten angibt. In dem vierten Schritt ist der Schalter 211 verbunden
mit einem Punkt (2) durch einen Pfad (a). In dem fünften Schritt
ist der Schalter 213 verbunden mit einem Punkt (3) durch
einen Pfad (b). In dem sechsten Schritt werden die Audiodaten, welche
von dem Audio-Codec 85 ausgegeben werden, in dem zweiten Audiopuffer
(Aud_Buf2) 226 gespeichert. In dem siebten Schritt werden
die Audiodaten, welche in dem ersten Audiopuffer (Aud_Buf1) 224 gepuffert sind,
an die folgende Stufe übertragen.
In dem achten Schritt kehrt die Operation zu dem ersten Schritt zurück und die
oben beschriebenen Schritte werden wiederholt durchgeführt. Zu
dieser Zeit können
die Schalter 211 und 213 mit Punkten verbunden
sein, welche sich von den vorherigen Punkten unterscheiden.
-
Gemäß dem oben
beschriebenen Verfahren werden JPEG-Bilddaten und Audiodaten, welche aufeinander
folgend erzeugt werden, wie in 31A gezeigt,
verschränkt
und kombiniert, und ein Ergebnis der Verschränkungs- und Kombinieroperation wird
temporär
in dem Speicher 30 gespeichert. Dann berechnet die Steuerung 10 eine
Wiedergabezeit, welche benötigt
wird zum Reproduzieren der JPEG-Bildsignale, welche gegenwärtig gespeichert sind,
und befähigt
die Anzeigeeinheit 60, die maximale Länge eines Textsignals anzuzeigen.
Nach Bestätigen
der maximalen Länge
des Textsignals gibt der Benutzer das Textsignal, welches in dem
kombinierten Signal enthalten sein soll, durch die Tasteneingabeeinheit 27 ein.
Das Textsignal wird in dem Textpuffer 228 gepuffert, und
der Text-Header-Generator 235 erzeugt
einen Text-Header, welcher Information enthält, welche einen Textanzeigetyp
kennzeichnen, welcher durch den Benutzer bezeichnet ist, und Information,
welche die Länge
des eingegebenen Textes angibt. Der Text-Header wird in den gepufferten Text eingefügt und der
gepufferte Text mit dem eingefügten
Text-Header wird an den Kombinierer 240 angelegt. Der Kombinierer 240 kombiniert
ein Signal, dessen Audio- und JPEG-Bildsignale, welche in dem Speicher 30 gespeichert
sind, kombiniert sind, mit dem Textsignal, um ein kombiniertes Signal
zu erzeugen, welches in 31B gezeigt
ist. Das erzeugte, kombinierte Signal, welches in 31B gezeigt ist, wird in dem Speicher 30 gespeichert.
Der Paketgenerator 245 erzeugt Pakete, welche auf den kombinierten
Daten basieren, welche in dem Speicher 30 gespeichert sind,
und dann werden die erzeugten Pakete durch den Datenprozessor 20 und
das RF-Modul 23 übertragen.
-
Die
kombinierten Daten, welche in dem Speicher 30 gespeichert
sind, enthalten einen Text-Header, ein Textsignal, einen Bild-Header,
JPEG-Bilddaten und Audiodaten, wie in 31B gezeigt.
Die kombinierten Daten werden durch eine Vielzahl von Paketen übertragen.
Nach Erzeugen der Pakete aus den kombinierten Daten, welche in 31B gezeigt sind, fügt der Paketgenerator 245 einen
Paket-Header, welcher
aus einem TCP/IP-Header, einer Sequenznummer und A/VT-Bits besteht,
in jedes Datenpaket ein und ordnet Paketdaten nach dem Paket-Header
an, wie in 31C gezeigt. Der TCP/IP-Header
befindet sich an dem Kopf der Paketdaten. Es ist angenommen, dass
der TCP/IP-Header aus 44 Bytes besteht in der Ausführungsform
der vorliegenden Erfindung. Die Sequenznummer kennzeichnet eine
Sequenz von erzeugten Paketen. Es ist angenommen, dass die Sequenznummer
aus 7 Bits besteht. Die Sequenznummer kann einen Wert von 0 bis 127
haben. Nach der Sequenznummer des Wertes 127 wird die Sequenznummer
des Werts 0 neu ausgewählt.
Die A/V-T-Bits geben an, ob die ersten Daten eines korrespondierenden
Pakets Text-, JPEG-Bild- oder Audiodaten sind. Es ist angenommen,
dass die A/V/T-Bits 2 Bits sind. Der TCP/IP-Header, die Sequenznummer
und die A/V/T-Bits befinden sich an dem Kopf jedes Pakets. Es ist
angenommen, dass der TCP/IP-Header, die Sequenznummer und die A7V/T-Bits
aus 45 Bytes bestehen in der Ausführungsform der vorliegenden Erfindung.
-
Wie
in 31B gezeigt, enthält das kombinierte
Signal ein Textsignal und JPEG-Bilddaten
eines Rahmens und Audiodaten für
die Bilddaten eines Rahmens, welche dem Textsignal nachfolgen. Also erzeugt
der Paketgenerator 245 zuerst Paketdaten des Textsignals
und erzeugt Paketdaten von Audio- und JPEG-Bildsignalen, welche verschränkt sind.
-
31C zeigt das Format eines Pakets, welches auf
kombinierten Daten basiert, welche durch RF-Modul 23 übertragen
werden. Die Gesamtgröße N von
kombinierten Daten eines Rahmens, welche zu übertragen sind, kann bestimmt
werden, falls nötig,
und die Gesamtgröße N kann
gesetzt werden innerhalb des Bereichs von ungefähr 200 ~ 1500 Bytes. Die Länge eines
Pakets, welches zu übertragen
ist, muss konstant in jedem Paket sein. Bezugnehmend auf das Paketformat
kann ein TCP/IP-Header von 44 Bytes und eine Sequenznummer S von
7 Bits innerhalb des Pakets enthalten sein. Die Sequenznummer S
kennzeichnet eine Sequenz von erzeugten Paketen. Die Sequenznummer
kann einen Wert 0 bis 127 haben. Anfangs wird ein Paket, welches
mit dem Wert 0 korrespondiert, eingefügt. Ein 1-Bit-A/V-Wert, welcher der Sequenznummer
S nachfolgt, kennzeichnet, ob die ersten Daten eines korrespondierenden
Pakets Audio- oder JPEG-Bilddaten sind.
-
In
dem Fall der JPEG-Bilddaten wird die Länge eines Rahmens innerhalb
des Bereichs von 5 ~ 10 Kbytes gesetzt. In Übereinstimmung mit der Ausführungsform
der vorliegenden Erfindung ist die Bilddatenlänge eines Rahmens länger als diese
der Paketdaten, welche zu übertragen
sind durch das RF-Modul 23. Daher müssen die JPEG-Bilddaten eines Rahmens
durch eine Vielzahl von Paketen übertragen
werden. Das erste Paket der JPEG-Bilddaten enthält P- und L-Werte des Bild-Headers.
Der P-Wert kennzeichnet ein Mustersignal, welches verwendet wird
zum Unterscheiden von Audiodaten und JPEG-Bilddaten in einem Empfänger, welcher
Paketdaten empfangt. Der L-Wert gibt die Gesamtlänge eines JPEG-Rahmens an. Der L-Wert
wird verwendet zum Lesen von JPEG-Bilddaten, welche mit dem L-Wert
korrespondieren, nachdem der Empfänger JPEG-Bilddaten durch das
Mustersignal detektiert. Wenn die empfangenen und gepufferten Daten
mit dem L-Wert korrespondieren, während der Empfänger Daten
aufeinander folgend empfängt
und puffert, werden die empfangenen JPEG-Bilddaten dem Bild-Codec 80 zugeführt, so
dass diese dekodiert und reproduziert werden können. Das übrige Paket kann gefüllt sein
mit JPEG-Bilddaten ohne einen Bild-Header, nachdem das erste Paket
von JPEG-Bilddaten eines Rahmens übertragen wurde.
-
Es
wird angenommen, dass der Audio-Codec 85 ein 8Kbps-Sprach-Codec
ist. Wo der Audio-Codec 85 der 8Kbps-Sprach-Codec ist,
werden kodierte Audiodaten eines Rahmens (20 Bytes) jede 20 msec
erzeugt. Zu diesem Zeitpunkt werden, bis N –45 Bytes, welche mit der maximalen
Größe von Daten
korrespondieren, in einem Paket zusammengefügt werden, eine Vielzahl von
kodierten Audiorahmendateneinheiten aufeinander folgend miteinander gekoppelt,
so dass ein Audiopaket erzeugt werden kann. Zum Beispiel werden,
wo N 200 ist, eine Vielzahl von Audiodateneinheiten, welche mit
17 Rahmen und einem 3/4-Rahmen (15 Bytes) korrespondieren, zusammengefügt, so dass
ein Paket erzeugt werden kann. Da das Textsignal typischerweise
an dem Kopf der kombinierten Daten angeordnet ist und die JPEG-Bilddaten
typischerweise zwischen den Audiorahmen eingefügt sind, wird ein Format, in
welchem ein Satz der Textsignal- und JPEG-Bilddaten und ein Satz
von Audiodaten und JPEG-Bilddaten gemischt werden, erzeugt, wie
in 31B gezeigt.
-
Der
Datenprozessor 20 führt
eine Kanalkodier- und -modulationsoperation für Paketdateneinheiten aus,
welche in 31B gezeigt sind, welche durch
den Paketgenerator 245 erzeugt werden, und ein Ergebnis
der Kanalkodier- und -modulationsoperation wird durch das RF-Modul 23 übertragen.
-
32 ist ein Flussdiagramm, welches eine Prozedur
zeigt zum Empfangen eines kombinierten Signals von einer Basisstation,
zum Speichern des empfangenen, kombinierten Signals in dem Speicher 30,
und zum Reproduzieren des gespeicherten, kombinierten Signals. 33 ist ein Blockdiagramm, welches Komponenten
zum Empfangen, zum Speichern und zum Reproduzieren eines kombinierten
Signals in dem mobilen Telefon zeigt. Als die Komponenten, welche
in 33 gezeigt sind, können ein Paketzerleger 255,
ein Paketanalysierer 250, Schalter 261, 263 und 265 und
eine Puffereinheit 270 in der Steuerung 10 gebildet
werden. 34A bis 34C sind Ansichten,
welche eine Prozedur zum Zerlegen von Paketdaten und zum Erzeugen
eines kombinierten Signals erklären.
-
Wenn
Daten von der Basisstation empfangen werden, wie in 32 gezeigt, detektiert die Steuerung 10 die
empfangenen Daten in Schritt 611 und bestimmt, ob die empfangenen
Daten ein kombiniertes Signal sind in Schritt 613. Falls
die eingegebenen Befehle nicht detektiert werden, werden andere
korrespondierende Funktionen in Schritt 612 durchgeführt. Falls
die empfangenen Daten ein kombiniertes Signal sind als ein Ergebnis
der Bestimmung in dem obigen Schritt 613, steuert die Steuerung 10 den
Bild-Codec 80 und den Audio-Codec 85 an. Dann
zerlegt die Steuerung 10 Paketdaten und befähigt den
Speicher 30, die zerlegten Paketdaten zu speichern. Dann
analysiert die Steuerung 10 ein Muster des kombinierten
Signals und reproduziert das kombinierte Signal.
-
Da
das empfangene, kombinierte Signal in einem Paketformat empfangen
wird, zerlegt die Steuerung 10 ein Paket in Schritt 617.
Nachdem die Pakete in dem obigen Schritt 617 zerlegt sind,
werden die zerlegten Pakete in dem Speicher 30 in Schritt 619 gespeichert.
-
Dann
analysiert die Steuerung 10 Header des kombinierten Signals,
welches in dem Speicher 30 gespeichert ist, und trennt
JPEG-Bilddaten und Audiodaten und/oder Textdaten in Schritt 621.
Nach Detektieren der JPEG-Bilddaten überträgt die Steuerung 10 die
detektierten JPEG-Bilddaten an den Bild-Codec 80. Nach
Detektieren der Audiodaten überträgt die Steuerung 10 die
detektierten Audiodaten an den Audio-Codec 85. Nach Detektieren
der Textdaten überträgt die Steuerung 10 die
detektierten Textdaten an die Anzeigeeinheit 60. Die JPEG-Bilddaten werden
durch den Anzeigebildschirmgenerator des Bildprozessors 50 verarbeitet
und werden auf der Anzeigeeinheit 60 angezeigt. Ferner
reproduziert der Audioprozessor 25 die Audiodaten und ein
Lautsprecher gibt die reproduzierten Audiodaten aus. Außerdem werden
die Textdaten auf der Anzeigeeinheit 60 angezeigt. Während die
obigen Schritte 617 bis 627 wiederholt werden,
zerlegt die Steuerung 10 aufeinander folgend empfangene
Paketdaten und reproduziert ein kombiniertes Signal, welches in
Einheiten von Rahmen durch den Speicher 30 gespeichert
ist. Wenn das kombinierte Signal komplett empfangen ist, detektiert
die Steuerung 10 die komplett empfangenen kombinierten
Signale in dem obigen Schritt 627. Die Steuerung 10 ermöglicht der
Anzeigeeinheit 60, ein Bewegtbild-Menü anzuzeigen,
welches nötig ist
zum Eingeben von Namen des empfangenen Bewegtbildsignals in Schritt 629.
Ein Bewegtbild-Menü ist
registriert gemäß einer
eingegebenen Bewegtbildinformation und dann wird ein Bewegtbild-Empfangsmodus beendet.
-
33 ist ein Blockdiagramm, welches Komponenten
zeigt zum Empfangen, zum Speichern und zum Reproduzieren eines kombinierten
Signals, in welchem Bewegtbild- und Audiosignale kombiniert sind,
in dem mobilen Telefon. Als die Komponenten, welche in 33 gezeigt sind, können ein Paketzerleger 255,
ein Header-Analysierer 250, Schalter 261, 263 und 265 und
eine Puffereinheit 270 in der Steuerung 10 gebildet
sein.
-
Die
Komponenten, welche in 33 gezeigt sind,
werden beschrieben werden. Paketdaten werden durch RF-Modul 23 und
den Datenprozessor 20 verarbeitet. Der Paketzerleger 255 empfängt die
verarbeiteten Paketdaten. Zu diesem Zeitpunkt haben empfangene Pakete
Formate, welche in 27A bis 27E gezeigt
sind. Der Paketzerleger 255 entfernt einen TCP/IP-Header
von einem empfangenen Paket. Der Paketzerleger 255 kann
aufeinander folgend die Pakete verarbeiten gemäß Sequenznummern der empfangenen
Pakete. Ein Audiopaket oder ein JPEG-Bildpaket kann durch ein A/V-Bit
unterschieden werden. Daher kann der Paketzerleger 255 die
empfangenen Pakete zerlegen gemäß einem Format,
welches in 10B gezeigt ist. Die empfangenen
Daten werden in dem Speicher 30 gespeichert. Ein Ergebnis
der oben beschriebenen Operation wird gezeigt in 34A bis 34C.
-
Der
Speicher 30 speichert ein kombiniertes Signal, welches
in 10B gezeigt ist, welches von dem
Paketzerleger 255 ausgegeben wird. Der Header-Analysierer 250 analysiert
das kombinierte Signal, welches in dem Speicher 30 gespeichert
ist. Der Header-Analysierer 250 analysiert Header eines kombinierten
Signals, auf welches in dem Speicher 30 zugegriffen wird,
und erzeugt ein Schalter-Steuersignal
zum Separieren des kombinierten Signals in JPEG-Bild- und Audiosignale.
Ein gemeinsamer Anschluss ist verbunden zwischen dem Schalter 261 und
dem Speicher 30. Der erste Ausgabeanschluss des Schalters 261 ist
verbunden mit einem gemeinsamen Anschluss für den Schalter 263,
welcher die Audiosignale schaltet, und der zweite Ausgabeanschluss
des Schalters 261 ist verbunden mit einem Bildpuffer 272.
Der Bildpuffer (Img_Buf) 272, welcher in der Puffereinheit 270 bereitgestellt
ist, puffert JPEG-Bilddaten, welche von dem Schalter 261 ausgegeben
werden. Die ersten und zweiten Audiopuffer (Aud_Buf) 274 und 276 Puffern
kodierte Audiodaten. Der gemeinsame Anschluss für den Schalter 263 ist verbunden
mit dem ersten Ausgabeanschluss des Schalters 261. Der
erste Ausgabeanschluss des Schalters 263 ist verbunden
mit einem Eingabeanschluss des ersten Audiopuffers 274,
und der zweite Ausgabeanschluss des Schalters 263 ist verbunden mit
einem Eingabeanschluss des zweiten Audiopuffers 276. Dar über hinaus
ist der erste Eingabeanschluss des Schalters oder Sprachausgabeschalters 265 verbunden
mit einem Ausgabeanschluss des ersten Audiopuffers 274 und
der zweite Eingabeanschluss des Schalters 265 ist verbunden
mit einem Ausgabeanschluss des zweiten Audiopuffers 276. Ein
gemeinsamer Anschluss ist verbunden zwischen dem Schalter 265 und
dem Audio-Codec oder Sprachdecoder 85. Die Schalter 263 und 265 werden durch
eine Ausgabe des Bildpuffers 272 gesteuert. Also führt die
Puffereinheit 270 eine Splittingfunktion zum Splitten eines
Audiosignals und eines JPEG-Bildsignals von dem kombinierten Signal durch.
Der Audio-Codec oder Sprachdecoder 85 dekodiert kodierte
Audiosignale, welche von dem Schalter 265 ausgegeben werden,
und gibt die dekodierten Audiosignale aus. Der Bild-Codec (oder JPEG-Decoder) 80 dekodiert
JPEG-Bilddaten,
welche von dem Bildpuffer 272 ausgegeben werden, und gibt
die dekodierten Bilddaten aus.
-
Bezugnehmend
auf 33 entfernt der Paketzerleger 255 TCP/IP-Header
von den empfangenen Paketen. Audiodaten und Bilddaten sind in 33 gesplittet und werden durch den Audio-Codec 85 und
den Bild-Codec 80 dekodiert, welche in 33 gezeigt sind. Der Paketzerleger 255 zerlegt die
empfangenen Pakete und die zerlegten Pakete werden in dem Speicher 30 gespeichert.
Dann analysiert der Header-Analysierer 250 die zerlegten
Pakete. Die Operationen anderer Komponenten, welche in 33 gezeigt sind, sind die gleichen wie jene von anderen
Komponenten, welche in 20 gezeigt sind.
-
In
einer Ausführungsform
der vorliegenden Erfindung kann ein kombiniertes Signal erzeugt
werden, nachdem Audiodaten und aufeinander folgende Bilddaten kombiniert
werden. Das erzeugte kombinierte Signal wird in die Bilddaten und
die Audiodaten separiert, so dass die Bild- und Audiodaten gleichzeitig
reproduziert werden können.
Das erzeugte kombinierte Signal kann übertragen werden an ein anderes Endgerät oder an
einen Server durch eine Basisstation in der Form von Übertragungspaketen.
Die Pakete, welche auf dem kombinierten Signal basie ren, werden
von einem anderen Endgerät
oder einem Server empfangen und die empfangenen Pakete können zerlegt
und reproduziert werden.
-
35 ist ein Blockdiagramm, welches Komponenten
zum Empfangen, zum Speichern und zum Reproduzieren eines kombinierten
Signals, in welchem Bewegtbild- und Textsignale kombiniert sind,
in dem mobilen Telefon. Als die Komponenten, welche in 35 gezeigt sind, können ein Paketzerleger 255,
ein Header-Analysierer 250, Schalter 261, 263 und 265 und
eine Puffereinheit 270 in der Steuerung 10 gebildet
werden.
-
Die
Komponenten, welche in 33 gezeigt sind,
werden beschrieben werden. Paketdaten werden durch das RF-Modul 23 und
den Datenprozessor 20 verarbeitet. Der Paketzerleger 255 empfängt die verarbeiteten
Paketdaten. Zu diesem Zeitpunkt haben empfangene Pakete Formate,
welche in 29B gezeigt sind. Der Paketzerleger 255 entfernt
einen TCP/IP-Header von einem empfangenen Paket. Der Paketzerleger 255 kann
die Pakete aufeinander folgend verarbeiten gemäß Sequenznummern der empfangenen
Pakete. Ein Textpaket oder ein JPEG-Bildpaket kann durch ein V/T-Bit unterschieden
werden. Daher kann der Paketzerleger 255 die empfangenen
Pakete zerlegen und die empfangenen Daten werden in dem Speicher 30 gespeichert.
Die zerlegten Pakete werden in dem Speicher 30 gespeichert
in einem Format, welches in 29A gezeigt
ist.
-
Der
Header-Analysierer 250 analysiert die kombinierten Signale,
welche in dem Speicher 30 gespeichert sind. Der Header-Analysierer 250 analysiert
Header eines kombinierten Signals, auf welches in dem Speicher 30 zugegriffen
wird, und erzeugt ein Schaltersteuersignal zum Separieren des kombinierten
Signals in JPEG-Bild-
und Textsignale. Ein gemeinsamer Anschluss ist verbunden zwischen
dem Schalter 261 und dem Speicher 30. Der erste
Ausgabeanschluss des Schalters 261 ist verbunden mit einem
Bildpuffer 272 und der zweite Ausgabeanschluss des Schalters 261 ist
verbunden mit einem Textpuffer 278. Der Textpuffer 278,
welcher in der Puffereinheit 270 bereitgestellt ist, puffert
ein Textsignal, welches von dem Schalter 261 ausgegeben
wird. Der Bildpuffer (Img_Buf) 272, welcher in der Puffereinheit 270 bereitgestellt
ist, dekodiert JPEG-Bilddaten, welche von dem Bildpuffer 272 ausgegeben
werden, und gibt die dekodierten JPEG-Bilddaten aus.
-
Der
Paketzerleger 255, welcher in 35 gezeigt
ist, entfernt TCP/IP-Header von den empfangenen Paketen. Audiodaten
und Bilddaten werden in 36 gesplittet
und werden dekodiert durch den Audio-Codec 85 und den Bild-Codec 80,
welche i 36 gezeigt sind. Der Paketzerleger 255 zerlegt die
empfangenen Pakete und die zerlegten Pakete werden in dem Speicher 30 gespeichert.
Dann analysiert der Header-Analysierer 250 die zerlegten
Pakete. Die Operationen anderer Komponenten, welche in 36 gezeigt sind, sind die gleichen wie jene anderer
Komponenten, welche in 22 gezeigt
sind.
-
36 ist ein Blockdiagramm, welches Komponenten
zeigt zum Empfangen, zum Speichern und zum Reproduzieren eines kombinierten
Signals, in welchem Bewegtbild-, Audio- und Textsignale kombiniert
sind, in dem mobilen Telefon. Als die Komponenten, welche in 36 gezeigt sind, können ein Paketzerleger 255,
ein Header-Analysierer 250, Schalter 261, 263 und 265 und
eine Puffereinheit 270 in der Steuerung 10 gebildet
sein. Es wird angenommen, dass das kombinierte Signal, welches in 36 gezeigt ist, ein Signal ist, in welchem Text-, JPEG-Bild-
und Audiosignale kombiniert sind.
-
Die
Komponenten, welche in 36 gezeigt sind,
werden beschrieben werden. Paketdaten werden durch das RF-Modul 23 und
den Datenprozessor 20 verarbeitet. Der Paketzerleger 255 empfängt die verarbeiteten
Paketdaten. Zu diesem Zeitpunkt basieren empfangene Pakete auf einem
Format, welches in 31B gezeigt ist. Der Paketzerleger 255 entfernt
einen TCP/IP-Header von einem empfangenen Paket. Der Paketzerleger 255 kann
die Pakete aufeinander folgend verarbeiten gemäß Sequenznummern der empfangenen
Pakete. Ein Textpaket, ein Audiopaket oder ein JPEG-Bildpaket können durch
A/V/T-Bits unterschieden werden. Daher kann der Paketzerleger 255 die
empfangenen Pakete zerlegen und die empfangenen Daten werden in
dem Speicher 30 gespeichert. Die zerlegten Pakete werden
in dem Speicher 30 gespeichert in einem Format, welches
in 31A gezeigt ist.
-
Der
Header-Analysierer 250 analysiert die kombinierten Signale,
welche in dem Speicher 30 gespeichert sind. Der Header-Analysierer 250 analysiert
Header eines kombinierten Signals, auf welches in dem Speicher 30 zugegriffen
wird, und erzeugt ein Schaltersteuersignal zum Separieren des kombinierten
Signals in ein Textsignal, JPEG-Bildsignale und Audiosignale. Ein
gemeinsamer Anschluss ist verbunden zwischen dem Schalter 261 und
dem Speicher 30. Der erste Ausgabeanschluss des Schalters 261 ist
verbunden mit einem gemeinsamen Anschluss für den Schalter 263,
welcher das Audiosignal schaltet, der zweite Ausgabeanschluss des Schalters 261 ist
verbunden mit einem Bildpuffer 272, und der dritte Ausgabeanschluss
des Schalters 261 ist verbunden mit einem Textpuffer 278.
Der Textpuffer 278, welcher in der Puffereinheit 270 bereitgestellt ist,
puffert ein Textsignal, welches von dem Schalter 261 ausgegeben
wird. Der Bildpuffer (Img_Buf) 272, welcher in der Puffereinheit 270 bereitgestellt
ist, puffert JPEG-Bilddaten,
welche von dem Schalter 261 ausgegeben werden. Der erste
und zweite Audiopuffer (Aud_Buf) 274 und 276 puffert
kodierte Audiodaten. Der gemeinsame Anschluss für den Schalter 263 ist
verbunden mit einem ersten Ausgabeanschluss des Schalters 261.
Der erste Ausgabeanschluss des Schalters 263 ist verbunden
mit einem Eingabeanschluss des ersten Audiopuffers 274,
und der zweite Ausgabeanschluss des Schalters 263 ist verbunden mit
einem Eingabeanschluss des zweiten Audiopuffers 276. Außerdem ist
der erste Eingabeanschluss des Schalters 265 verbunden
an einen Ausgabeanschluss des ersten Audiopuffers 274 und
der zweite Eingabeanschluss des Schalters 265 ist verbunden mit
einem Ausgabeanschluss des zweiten Audiopuffers 276. Ein
gemeinsamer Anschluss ist verbunden zwischen dem Schalter 265 und
dem Audio-Codec 85. Die Schalter 263 und 265 werden
durch eine Ausgabe des Bildpuffers 272 gesteuert. Der Audio-Codec 85 dekodiert
ein kodiertes Audiosignal, welches von dem Schalter 265 ausgegeben
wird, und gibt das dekodierte Audiosignal aus. Der Bild-Codec 80 kodiert
JPEG-Bilddaten, welche von dem Bildpuffer 272 ausgegeben
werden, und gibt die dekodierten Bilddaten aus.
-
Bezugnehmend
auf 36 entfernt der Paketzerleger 255 TCP/IP-Header
von den empfangenen Paketen. Audiodaten und Bilddaten, welche durch
einen Splitter gesplittet werden, welcher in 36 gezeigt
ist, werden durch den Audio-Codec 85 und den Bild-Codec 80 dekodiert,
welche in 36 gezeigt sind. Der Paketzerleger 255 zerlegt die
empfangenen Pakete und die zerlegten Pakete werden in dem Speicher 30 gespeichert.
Dann analysiert der Header-Analysierer 250 die zerlegten
Pakete. Die Operationen anderer Komponenten, welche in 36 gezeigt sind, sind die gleichen wie jene von anderen
Komponenten, welche in 24 gezeigt sind.
-
37 ist ein Flussdiagramm, welches eine andere
Prozedur zeigt zum Durchführen
der oben beschriebenen Operationen in dem mobilen Telefon, welches
mit einer Kamera und einem Bild-Codec zum Kodieren von Standbildern
ausgestattet ist.
-
Bezugnehmend
auf 37 erzeugt der Benutzer Tastendaten
zum Ansteuern des Kameramoduls 40 durch die Tasteneingabeeinheit 27,
wenn das Kameramodul 40 Bilder aufnimmt und die Anzeigeeinheit 60 die
erfassten Bilder anzeigt. Zu diesem Zeitpunkt wird eine Taste zum
Treiben des Erfassungsmodus auf einer Navigationstaste der Tasteneingabeeinheit 27 positioniert
oder kann in der Form eines Menüs
angezeigt werden. Wenn der Erfassungsmodus ausgewählt ist,
detektiert die Steuerung 10 den ausgewählten Erfassungsmodus in Schritt 711 und
steuert das Kameramodul 40 und den Bildprozessor 50,
um einen Pfad zu aktivieren, welcher fähig ist, erfasste Bildsignale
in Schritt 713 zu empfangen. In dem Erfassungsmodus erzeugt
das Kameramodul 40 die erfassten Bildsignale und Synchronisationssignale
HREF und VREF. Das Synchronisationssignal HREF kann ein horizontales
Synchronisationssignal sein und das Synchronisationssignal VREF kann
ein vertikales Synchronisationssignal sein, d. h. ein Rahmensynchronisationssignal.
-
Das
vertikale Synchronisationssignal VREF kennzeichnet einen Rahmenanfangszeitpunkt.
Wenn das vertikale Synchronisationssignal VREF erzeugt wird, ausgewählt der
Selektor 319 eine Ausgabe der LCD-Schnittstelle 317.
Der Bildschirmanzeigegenerator des Bildprozessors 50 verarbeitet
Bilddaten, welche von dem Kameramodul 40 ausgegeben werden,
in Einheiten von Linien (oder Rahmen) und die verarbeiteten Bilddaten
werden an die Anzeigeeinheit 60 gesendet. Der Skalierer 315 skaliert
Daten einer CIF-Bildgröße, welche
von dem Kameramodul 40 ausgegeben wird, auf der Basis einer
Bildschirmgröße der Anzeigeeinheit 60.
Der Konverter 315 konvertiert Bildsignale, welche auf dem
YUV-Format basieren, in das RGB-Format und gibt die Bildsignale,
welche auf dem RGB-Format basieren, aus. Während die LCD-Schnittstelle 317 die
Bildsignale puffert, welche in den Einheiten von Linien empfangen
werden, werden die Bildsignale an die Anzeigeeinheit 60 ausgegeben
auf der Basis eines Anzeige-Timings der Anzeigeeinheit 60.
Eine Operation zum Anzeigen der Bildsignale von dem Kameramodul 40 wird
in der Einheit von Linien wiederholt, bis die Bildsignale eines Rahmens
komplett übertragen
sind.
-
Während ein
Voransichtsbildschirm in Schritt 715 angezeigt wird, werden
die Bildsignale, welche durch das Kameramodul 40 erfasst
werden, in der Form von Bewegtbildern angezeigt und Benutzerdaten,
welche von der Steuerung 10 ausgegeben werden, werden angezeigt.
In einem Zustand, wo der Voransichtsbildschirm auf der Anzeigeeinheit 60 angezeigt
wird, bestätigt
der Benutzer die angezeigten Bewegtbilder und kann einen Fotoerfassungsbefehl
eingeben zum Erlangen eines Standbilds in einer bestimmten Zeit.
Der Fotoerfassungsbefehl kann implementiert werden unter Verwendung
einer bestimmten Funktionstaste, welche auf der Tasteneingabeeinheit 27 angeordnet
ist, oder kann ausgewählt
werden unter Verwendung einer Menütaste, welche auf der Anzeigeeinheit 60 angezeigt
wird. Wenn der Fotoerfassungsbefehl erzeugt wird, detektiert die
Steuerung 10 den erzeugten Fotoerfassungsbefehl in Schritt 717.
Die Steuerung 10 steuert den Bild-Codec 80 des Bildprozessors 50 an,
so dass Bilddaten eines ausgewählten
Rahmens in JPEG-Bilddaten kodiert werden. Die JPEG-kodierten Bilddaten
werden als ein Standbild auf der Anzeigeeinheit 60 angezeigt.
In Schritt 721 werden die JPEG-kodierten Bilddaten von dem
Bild-Codec 80 in dem Speicher 30 gespeichert, und
ein Miniaturbild-Generator erzeugt einen Miniaturbild-Bildschirm
aus den JPEG-kodierten Bilddaten. Dann befähigt die Steuerung 10 die
Anzeigeeinheit 60 ein Menü anzuzeigen zum Führen einer
Eingabe von Fotoinformation. Wenn die Fotoinformation eingegeben
wird, detektiert die Steuerung 10 die eingegebene Fotoinformation
in Schritt 723 und speichert und registriert die JPEG-Bilddaten zusammen mit
dem Miniaturbild-Bildschirm und einem Fotonamen in Schritt 725.
-
Wenn
der Fotoerfassungsmodus beendet wird oder eine Anforderung der Erfassungsmodusbeendigung
erzeugt wird in einem Voransichtsbildschirm-Anzeigezustand, detektiert die Steuerung 10 die
Anforderung und beendet den Erfassungsmodus in Schritt 727.
-
In
dem Erfassungsmodus wird ein Voransichtsbildschirm angezeigt oder
ein Standbild wird erfasst und gespeichert.
-
Wenn
der Benutzer anfordert, dass ein Kombiniertes-Signal-Speichermodus
ausgeführt
werden soll, detektiert die Steuerung 10 die Anforderung
und führt
den Kombiniertes-Signal-Speichermodus in Schritt 731 durch.
Wenn der Kombiniertes-Signal-Speichermodus ausgewählt wird,
kann die Steuerung 10 einen Betriebsmodus zum Kombinieren
von Bewegtbildsignalen mit Audiosignalen, einen Betriebsmodus zum
Kombinieren von Bewegtbildsignalen mit einem Textsignal und einem
Betriebsmodus zum Kombinieren von Bewegtbildsignalen mit Audio- und Textsignalen
führen.
Wenn der Benutzer einen korrespondierenden Kombiniertes-Signal-Speichermodus
ausgewählt,
ermöglicht
die Steuerung 10 eine JPEG-Kodieroperation für Bilddaten,
welche durch das Kameramodul 40 erfasst werden, auszuführen in Einheiten
von Rahmen, während
die Prozesse, welche in 7 oder 8, 11 oder 12 und 15 oder 16 gezeigt
sind, durchgeführt
werden, in Schritt 733. Das JPEG-Rahmenbild ist ein Standbild.
Jedoch erzeugt der Bild-Codec 80 aufeinander folgend JPEG-Bildrahmen
in der Form von Bewegtbildern. Ein kombiniertes Signal, in welchem
die JPEG-Bilddaten, welche in der Form von Bewegtbildern erzeugt
werden, kombiniert sind mit Audiodaten und/oder Textdaten, welche
sich auf die Bilddaten beziehen, wird erzeugt und das erzeugte kombinierte Signal
wird in dem Speicher 30 gespeichert.
-
Darüber hinaus
detektiert, wenn der Benutzer ein kombiniertes Signal ausgewählt, welches
im Speicher 30 gespeichert ist, und anfordert, dass das ausgewählte kombinierte
Signal reproduziert werden soll, die Steuerung 10 die Anforderung
in Schritt 741 und ermöglicht,
dass das ausgewählte
kombinierte Signal wiedergegeben wird in Schritt 743. Zu
diesem Zeitpunkt, falls das kombinierte Signal ein Signal ist, in
welchem Bewegtbildsignale mit Audiosignalen kombiniert sind, ermöglicht die
Steuerung 10 das kombinierte Signal wiederzugeben, während die
Prozedur, welche in 19 gezeigt ist, in dem obigen Schritt 743 durchgeführt wird.
Andererseits, falls das kombinierte Signal ein Signal ist, in welchem
Bewegtbildsignale mit einem Textsignal kombiniert sind, ermöglicht die
Steuerung 10 das kombinierte Signal wiederzugeben, während die
Prozedur, welche in 21 gezeigt ist, in dem obigen
Schritt 743 durchgeführt
wird. Andererseits, falls das kombinierte Signal ein Signal ist,
in welchem Bewegtbildsignale mit Audio- und Textsignalen kombiniert sind, ermöglicht die
Steuerung 10 das kombinierte Signal wiederzugeben, während die
Prozedur, welche in 23 gezeigt ist, in dem obigen
Schritt 743 durchgeführt
wird. Wenn das kombinierte Signal reproduziert wird, werden JPEG-Bild-,
Audio- und Textsignale von dem kombinierten Signal separiert und
werden durch korrespondierende Decoder reproduziert.
-
Die
kombinierten Signale, welche in dem Speicher 30 gespeichert
sind, können
an ein anderes Endgerät
oder einen Server übertragen
werden. In einem Übertragungsverfahren
können
die kombinierten Signale sofort übertragen
werden, nach dem die kombinierten Signale erzeugt werden. Alternativ
werden die kombinierten Signale gespeichert und können selektiv übertragen
werden, falls nötig.
Wenn der Benutzer anfordert, dass Bewegtbildsignale übertragen
werden sollen, detektiert die Steuerung 10 die Anforderung
in Schritten 751 und 753. Die Bewegtbildsignale
werden übertragen,
während
die Prozedur, welche in 25 gezeigt
ist, in Schritt 755 durchgeführt wird.
-
Darüber hinaus
kann, wo das mobile Telefon, welches mit dem Bild-Codec und dem
Audio-Codec ausgestattet ist, verwendet wird, es das kombinierte Signal
von einem anderen Endgerät
oder einem Server empfangen und reproduzieren. Daher, wenn das kombinierte
Signal empfangen wird, detektiert die Steuerung 10 das
empfangene kombinierte Signal in Schritten 761 und 763.
Das kombinierte Signal wird empfangen und reproduziert, während die
Prozedur, welche in 32 gezeigt ist, in Schritt 765 durchgeführt wird.
-
Wie
von einer obigen Beschreibung ersichtlich, ermöglicht die vorliegende Erfindung
einem mobilen Endgerät,
Bildsignale aufeinander folgend zu kodieren, welche durch eine Kamera
erfasst werden, und Bewegbildsignale zu erzeugen. Darüber hinaus kann
das mobile Endgerät
die Bewegtbildsignale mit Audiosignalen und/oder einem Textsignal
kombinieren und wenigstens ein kombiniertes Signal erzeugen. Das
kombinierte Signal wird reproduziert oder übertragen an ein anderes Endgerät oder einen
Server. Ein empfangenes kombiniertes Signal kann gespeichert und
reproduziert werden. Daher erlaubt das mobile Endgerät dem Benutzer
Bewegtbild-Mail zu erzeugen und zu editieren. Die erzeugte Bewegtbild-Mail wird übertragen
oder empfangene Bewegtbild-Mail kann reproduziert werden.
-
Obwohl
die Ausführungsformen
der vorliegenden Erfindung für
illustrative Zwecke offenbart wurden, werden die Fachleute verstehen,
dass verschiedene Modifikationen, Zusätze und Substitutionen möglich sind,
ohne sich von dem Bereich der Erfindung zu entfernen.