[go: up one dir, main page]

CN101184288B - 通信装置和通信装置控制方法 - Google Patents

通信装置和通信装置控制方法 Download PDF

Info

Publication number
CN101184288B
CN101184288B CN2007101666081A CN200710166608A CN101184288B CN 101184288 B CN101184288 B CN 101184288B CN 2007101666081 A CN2007101666081 A CN 2007101666081A CN 200710166608 A CN200710166608 A CN 200710166608A CN 101184288 B CN101184288 B CN 101184288B
Authority
CN
China
Prior art keywords
data
content
application window
communication
vedio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2007101666081A
Other languages
English (en)
Other versions
CN101184288A (zh
Inventor
后藤真孝
村井信哉
山口健作
田中信吾
西林泰如
川添博史
峰松美佳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Publication of CN101184288A publication Critical patent/CN101184288A/zh
Application granted granted Critical
Publication of CN101184288B publication Critical patent/CN101184288B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43637—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4621—Controlling the complexity of the content stream or additional data, e.g. lowering the resolution or bit-rate of the video stream for a mobile client with a small screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/6437—Real-time Transport Protocol [RTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1101—Session protocols
    • H04L65/1104—Session initiation protocol [SIP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/612—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for unicast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

显示终端的信令单元通过通信单元与内容服务器、视频通信终端、以及PC服务器建立通信，并且发送/接收MPEG2、MPEG4、以及JPEG压缩的图像数据。媒体控制单元根据所接收到的图像数据切换用于在媒体处理单元中进行解码的压缩方案。媒体处理单元按照经过切换的压缩方案进行包括反向正交变换处理和反向量化处理的解码处理。这时，有一单个处理电路进行反向正交变换处理和反向量化处理。

Description

通信装置和通信装置控制方法
技术领域
本发明涉及可依靠无线通信接收网络上的服务器发送来的图像数据，并显示该图像数据的通信装置和该装置的控制方法。
背景技术
作为使用网络的新计算方式研发出网络计算技术(参照例如Tristan Richardson、Quentin Stafford-Fraser、Kenneth R.Wook、以及Andy Hoppor，“虚拟网络计算”IEEE互联网计算技术，第2卷，第1期，1998年1月/2月)。
根据现有的计算技术，用户的计算机终端(例如个人计算机)预先存储种种的应用程序，并根据需要启动它们来使用该应用程序。与此相反，网络计算技术则进行从网络的服务器装置下载所要使用的应用程序并根据需要使用它们这种运行。使用这样一种网络计算系统，使之能够通过限制用户侧的计算机终端所需的功能来降低器件的规模。
由可与网络连接的蜂窝电话近来的普及使用可以知道，各种数字设备可以通过无线通信与网络连接。种种实例说明通过无线通信使用网络服务这一趋势在增大。为了满足用户对于各种不同服务的请求，实现能够使用如同现有移动计算机功能的高级功能处理种种服务的、相当小型的通信终端很重要。
但如上所述的网络计算系统中，用户端的终端需要具有用于运行所要下载和使用的应用程序的计算能力。这是用户端终端其重量减轻和小型化的瓶颈之一。
另一方面，诸如蜂窝电话这类便携式终端无法全面使用台式(笔记本)个人计算机上运行的应用程序所实施的高级图形功能。
发明内容
根据本文明，提供了一种用于对无线通信所接收到的图像数据进行解码和显示的通信装置。该装置中，有一通信建立单元分别与发送通过执行一应用程序所生成的应用窗口数据的计算机、发送视频通信用的视频图像数据的通信终端、以及发送包含活动图像的内容数据的内容服务器建立无线通信。
有一接收单元在通信建立单元建立起无线通信之后分别从计算机、通信终端、以及内容服务器接收应用窗口数据、视频图像数据、以及内容数据。
有一生成单元通过与各自数据的压缩方案相对应对所接收到的应用窗口数据、所接收到的视频图像数据、以及所接收到的内容数据进行解码，来生成显示单元所要显示的显示图像数据。
有一控制单元与应用窗口数据、视频图像数据、以及内容数据的压缩方案相对应切换生成单元的解码方案。
应用窗口数据、视频图像数据、以及内容数据分别采用压缩方案经过编码，该压缩方案其中包括将二维的图像数据变换为空间频域的图像数据的正交变换处理和对经过了该正交变换处理的图像数据的量化处理，而生成单元通过一单个处理电路实施用于对应用窗口数据、视频图像数据、以及内容数据进行解码的反向正交变换处理和反向量化处理。
附图说明
图1是示出一实施例的显示终端其配置的框图。
图2是示出其中包括该实施例的显示终端的网络系统的示意图。
图3是示出该实施例的显示终端其外观的示意图。
图4是“视频观看/收听”时的通信顺序图。
图5是示出“视频观看/收听”时的短信息内容的示意图。
图6是示出内容数据的请求短信息的示意图。
图7是示出“视频观看/收听”时的通信数据其结构的示意图。
图8是“视频通信”时的通信顺序图。
图9是示出“视频通信”时的短信息内容的示意图。
图10是示出“视频通信”时的通信数据其结构的示意图。
图11是“PC运行”时的通信顺序图。
图12是示出“PC运行”时的短信息内容的示意图。
图13是示出“PC运行”时的通信数据其结构的示意图。
图14是示出使用服务时的工作的流程图。
图15是示出经过压缩的图像数据的解码处理的流程图。
图16是示出一例对每一压缩方案设定的参数的示意图。
图17是示出显示图像数据如何生成的示意图。
具体实施方式
下面说明本发明的实施例。
图1是示出一实施例的通信装置100(下文称为显示终端100)的框图。如图2所示，显示终端100通过一WLAN(无线局域网：无线LAN)接入点200与网络800连接。WLAN接入点为例如可用于如同IEEE802.11标准所定义的无线LAN通信的无线IP(互联网协议)通信的无线通信接入点装置。
假设显示终端100和WLAN接入点200处于可彼此通过与IEEE802.11等标准相兼容的连接过程进行通信的状态。这样允许显示终端100与PC服务器300、内容服务器400、SIP(会话始发协议)服务器500、视频通信终端600等与网络800相连接的装置互相通信。另外，显示终端100也可通过WLAN接入点200与另一显示终端700进行IP通信。
PC服务器300通过网络800与显示终端100连接，并将PC服务器300上运行的操作系统、桌面环境软件、以及应用程序所生成的图形桌面窗口的图像数据(应用窗口数据)发送给显示终端100。
对于该PC服务器300应用了例如日本特开JP-A2005-249841号公报中所披露的PC窗口分享技术。每当PC服务器所生成的图形桌面窗口更新时，PC服务器300便将所生成的图像数据发送给显示终端100。这种情况下，PC服务器300通过使用预先在PC服务器300和显示终端100两者间确定的图像压缩方案(JPEG)来压缩和编码图像数据之后将该图像数据发送。尽管稍后会具体说明，但显示终端100显示的是从PC服务器300发送来的图像数据，并且在接收到用户针对所显示的图像数据的控制输入时将该控制输入数据发送给PC服务器300。PC服务器300按照所发送的控制输入数据运行应用程序来更新图形桌面窗口，并将新的图像数据发送给显示终端100。
允许显示终端100控制PC服务器300上所运行的应用程序等，消除了用于运行应用程序等的计算能力的必要性。
内容服务器400是一存储包含活动图像的内容数据，并且响应终端装置的请求通过发送所存储的内容数据来提供给网络上的另一终端装置的服务器装置。内容服务器400按照DLNA(数字直播网络联盟)标准中所定义的视频图像流传送及显示过程来发送内容数据。需要注意的是，内容数据也可以是普通用户个人记录并上传至内容服务器400中的视频数据等以及例如电影或电视节目数据。
如PC服务器300所发送的图像数据的上述例中，内容服务器400通过使用预先在内容服务器400和显示终端100两者间确定的图像压缩方案(MPEG2)来对图像数据进行压缩和编码之后发送该图像数据。下面的说明基于内容服务器400按照上述DLNA标准发送内容数据给显示终端100这一假设。但所要用到的内容数据发送过程并不局限于与上述DLNA标准相兼容的情形。举例来说，内容服务器400也可以按照诸如RTSP(实时流协议)这类另一标准发送内容数据。
视频通信终端600是一通过SIP服务器500与显示终端100进行视频通信的终端。这种情况下，视频通信是一通过经网络相互连接的各通信终端间发送/接收视频信号(视频图像数据)和音频数据，允许用户在观看到说话者画面的同时进行实时会话的通信。这种情况下，各终端之间通过SIP服务器500的信令按照例如RFC3261定义的方法来进行。
首先，显示终端100通过SIP服务器500发送一邀请(INVITE)请求给视频通信终端600。一旦接收到该邀请(INVITE)请求，视频通信终端600便返回一对该请求进行响应的应答，由此在显示终端100和视频通信终端600两者间建立通信。这时，显示终端100和视频通信终端600就通信用的通信方案、数据发送/接收用的压缩方案等达成一致。这里假设显示终端100和视频通信终端600之间发送/接收的图像数据按一预定的压缩方案(MPEG4)进行了压缩和编码。
下面的说明中，显示终端100和视频通信终端600按照SIP定义的过程通过SIP服务器500建立通信。但通信建立用的过程无需限于SIP定义的情形。举例来说，这种运行也可以与为另一通信设备/服务发现过程(discovery procedure)的UPNP(Universal Plugand play：通用即插即用)相兼容。作为替代，足以随各应用而有选择地使用上述通信过程。
如上所述，显示终端100可通过网络800与PC服务器300、内容服务器400、以及视频通信终端600连接，而且通过与服务器和通信终端的通信来使用诸如对PC服务器300上运行的应用程序的使用、对内容服务器400中存储的内容数据的观看/收听、以及与视频通信终端600进行的视频通信这类服务。
下面的说明中，显示终端100可在其本身和PC服务器300、内容服务器400、以及视频通信终端600之间使用的服务分别称为“PC运行”、“视频观看/收听”以及“视频通信”。
如上所述，显示终端100和PC服务器300、内容服务器400、以及视频通信终端设备600之间发送/接收的图像数据分别按JPEG、MPEG4、以及MPEG2经过压缩。上述压缩方案其中每一种是DCT(Discrete Cosine transform：离散余弦变换)之后执行量化处理的压缩方案，该DCT为将二维图像数据变换为空间频域中数据的正交变换。这样便能够在对经过上述方案压缩的图像数据的解码过程中不论对图像数据的压缩方案如何总用相同的处理电路来执行需要运算资源和较大电路规模的反向量化处理和反向DCT处理。通过这种方式，各自服务中所要发送/接收的数据的压缩方案均统一为执行DCT及量化处理的方案，用于解码的反向量化处理和反向DCT处理通过一单个处理电路来实施。这样可减小用于解码所需的电路规模，从而实现显示终端100尺寸的减小。
下面参照图1说明一实施例的显示终端100的配置。
该显示终端100包括：一显示图像数据的显示单元101；一为通信接口用于靠无线通信发送/接收数据的通信单元102；一用于通过通信单元102建立显示终端100和另一通信终端两者间通信的信令单元103；一通过对另一通信装置经过通信单元102所发送的图像数据进行解码生成显示单元101上所要显示的显示图像数据的媒体处理单元104；以及按照通信单元102接收到的图像数据的压缩方案来切换媒体处理单元104中的解码方案的媒体控制单元105。
而且显示终端100包括：一用于接收用户的音频输入、笔输入等并且通过通信终端102输出另一通信终端所发送的音频数据的用户界面单元106。
需要注意的是，媒体控制单元105接收用户界面单元106输入的诸如音频数据或图像数据这类媒体数据以及通信单元102所接收的诸如音频数据或图像数据这类媒体数据。媒体控制单元105对媒体数据进行分析，并且将所生成的数据送至一合适的功能块(例如媒体处理单元104、数字转换器106a、一扬声器106b、一麦克风106c、或者一摄像机106d)。举例来说，媒体控制器105将麦克风106c或摄像机106d所得到的数据形成数据包，并且将每一数据包通过通信单元102发送给网络800上的另一通信终端和一服务器装置。一旦通过通信单元102从另一通信终端或者一服务器装置接收到媒体数据，媒体控制单元105便对媒体数据进行分析，并且将音频数据送至扬声器106b，将经过压缩的图像数据送至媒体处理单元104。
媒体处理单元104通过按照图像数据的压缩方案对媒体控制单元105所发送的经过压缩的图像数据进行解码来生成显示图像数据。与时同时，在媒体控制单元105的控制下，媒体处理单元104中的解码方案按照图像数据的压缩方案经过切换。稍后将具体说明媒体控制单元105和媒体处理单元104的运行对解码方案进行的切换。媒体处理单元104所生成的显示图像数据送至显示单元101显示。
图3示出本实施例的显示终端100的外观。显示单元101包括一液晶监视器111等。用户可以通过观看/收听液晶监视器111上所显示的显示图像来观看/收听网络上的另一服务器装置所发送的内容数据。显示终端100包括一用于接收用户的笔输入的笔输入设备112。当显示终端100与PC服务器300分享一窗口时主要使用该笔输入设备112。数字转换器106a将笔输入设备112所输入的数据数字化，媒体控制单元115将数据形成数据包。接着将所生成的数据通过通信单元102发送给网络800上的PC服务器。
下面将主要参照媒体处理单元104和媒体控制单元105的运行具体说明显示终端100分别与PC服务器300、内容服务器400、以及视频通信终端600通信的情况下显示终端100的运行。
下面先说明显示终端100与内容服务器400通信的情形。具体来说，该情形下显示终端100的用户接收内容服务器400中所存储的内容数据并且观看/收听该数据(视频观看/收听)。
显示终端100的信令单元103通过通信单元102发现内容服务器400，并且取得内容服务器400中所存储的视频内容的列表。显示单元101将所取得的视频内容的列表呈现给用户。用户(通过使用诸如笔输入设备这类设备)从所呈现的视频内容的列表当中选择其想要观看/收听的内容。信令单元103通过通信单元102将所选定的视频内容信息发送给内容服务器400。信令单元103通知媒体控制单元105一表明开始观看/收听内容的短信息。通过该过程，用户可以观看/收听所选定的内容数据。
假设发现内容服务器400、获取内容数据的列表、以及确定所要观看/收听的内容的上述过程与UPnP-AV信令所定义的过程相兼容(参照例如http://www.upnp.org/standardizeddcps/mediaserver.asp所描述的说明)。图4是示出该信令单元103按照UPnP-AV信令过程与内容服务器400通信，并且用户观看/收听内容数据的情形通信顺序的示意图。
如图5所示，有一从信令单元103送至媒体控制单元105的表明开始观看/收听内容的短信息，包含所要使用的服务的类型(“视频观看/收听”)、媒体流的类型(“MPEG2-PS(程序流)”)、以及内容的URL(Uniform Resource Identifier(统一资源识别符)：“http://192.168.0.200:20080/RD_00010001_VRO.csi”)。假定该情形中“192.168.0.200”是内容服务器400的IP地址。
一旦接收到信令单元103的短信息通知，媒体控制单元105按照所接收到的短信息中包含的媒体流的类型使媒体处理单元104中的解码方案初始化，从而与经过MPEG2压缩的图像数据相对应。稍后说明媒体处理单元104的初始化动作。媒体控制单元105也通过使用TCP经过通信单元102与内容服务器400建立通信，并且将一请求观看/收听内容数据的短信息发送给内容服务器400。如上所述，在显示终端100和内容服务器400两者间传送内容数据的过程与DLNA标准定义的数据流传送过程相兼容，通过使用图6中所示的“HTTP-GET”等来发出一针对内容数据的请求。
一旦从显示终端100接收到请求观看/收听内容数据的短信息，内容服务器400便按MPEG2压缩所存储的内容数据其中针对其接收到了观看/收听请求这种内容数据，并且将经过压缩的数据发送给显示终端100。图7示出此时内容服务器400所发送的数据的结构。
媒体控制单元105对内容服务器400所发送的数据进行分析，并且提取按MPEG2压缩的图像数据和音频数据。需要注意的是，通过将MPEG2-PS数据分成PES(Packed elementarystreams：打包的单元流)并且检查每一PES的数据流的ID来判断经过压缩的数据是图像数据还是音频数据。媒体控制单元105将所提取的音频数据送至扬声器106b。此时，该音频数据经过压缩的话，媒体控制单元105便进行与压缩方案相对应的解码处理，并且将所生成的数据送至扬声器106b。而媒体控制单元105则将所提取的图像数据送至媒体处理单元104。
因为媒体处理单元104已经由媒体控制单元105初始化以便对按MPEG2压缩的图像数据进行解码，因而媒体处理单元104可以通过对所发送的图像数据进行反向量化处理、反向DCT处理或类似的处理来生成显示图像数据。按这种方式生成的显示图像数据送至显示单元101并呈现给用户。
以上所述是用户要观看/收听内容服务器400中所存储的内容数据的情况下显示终端100的动作。
接下来说明显示终端100与视频通信终端600通信的情形。具体来说，该情形中显示终端100的用户通过SIP服务器500与视频通信终端600建立通信并进行“视频通信”。图8示出视频通信情形中显示终端100和视频通信终端600两者间的通信顺序。
显示终端100的信令单元103在SIP服务器500中登录显示终端100，并且通过SIP服务器500对视频通信终端600发出一连接请求。显示终端100在SIP服务器500中进行登录，并且按照SIP标准对视频通信终端600发出一连接请求。当基于SIP的信令完成并且显示终端100和视频通信终端600两者间的通信建立时，显示终端100的信令单元103对媒体控制单元105通知一表明视频通信开始的短信息。从信令单元103送至媒体控制单元105的表明视频通信开始的短信息，如图9所示包含所要使用的服务的类型(“视频通信”)、媒体流的类型(“RTP/MPEG4”)、以及作为一连接目的地的视频通信终端的IP地址(“192.168.0.100”)。
一旦从信令单元103接收到短信息通知，媒体控制单元105便使媒体处理单元104的解码方案初始化，以便按照接收到的短信息中所包含的媒体流的类型与按MPEG4压缩的图像数据相对应。稍后将说明媒体处理单元104的初始化动作。
媒体控制单元105通过通信单元102相对于视频通信终端600发送和接收音频数据和图像数据(视频数据)。假设这种情况下音频数据和图像数据是按照RTP(实时传输协议)分开发送或接收的。需要注意的是，RTP是一用于声音和画面的数据流回放的传输协议。基于RTP的数据发送或者接收定义于RFC3016中。一旦通过通信单元102接收到视频通信终端600所发送的数据，媒体控制单元105便从所接收到的数据当中提取按MPEG4压缩的图像数据。
图10是包含按MPEG4压缩的图像数据的视频通信终端600所发送的数据的结构的示意图。媒体控制单元105通过安排其中各RTP标头中的“时间标记(Time stamp)”数据其序列号顺序相同的数据中所包含的RTP的有效负载来构成一个视频帧的数据(经过压缩的图像数据)。媒体控制器105接着将所构成的数据送至媒体处理单元104。
因为媒体处理单元104已经由媒体控制单元105初始化以便对按MPEG4压缩的图像数据进行解码，因而媒体处理单元104可以通过对所发送的图像数据进行反向量化处理、反向DCT处理或类似的处理来生成显示图像数据。所生成的显示图像数据送至显示单元101并呈现给用户。
媒体处理单元105将视频通信终端600所发送的数据中所包含的音频数据送至扬声器106b。同时，音频数据是经过压缩的话，媒体控制单元105一旦进行了与压缩方案相对应的解码处理便将数据送至扬声器106b.
视频通信中，显示终端100接收视频通信终端600所发送的图像数据和音频数据并呈现给用户，同时将麦克风106c和摄像机106d输入的音频数据和图像数据(视频数据)发送给视频通信终端600。媒体控制单元105将上述数据打包为一RTP数据包，并通过通信单元102将该数据包发送给视频通信终端600。此时，摄像机106d或媒体控制单元105可按MPEG4压缩图像数据。
以上所述是与视频通信终端600进行视频通信过程中显示终端100的动作。
下面说明显示终端100与PC服务器300进行通信的情形。具体来说，该情形中显示终端100的用户通过分享操作系统所生成的桌面窗口或者PC服务器300上运行的应用程序来进行“PC运作”。
图11示出PC运作中显示终端100和PC服务器300两者间的通信顺序。
显示终端100的信令单元103通过与UPnP远程用户UI(用户界面)相兼容的信令过程来发现PC服务器300，并且掌握该服务器的功能。需要注意的是，与UPnP远程UI相兼容的信令过程在例如http://www.upnp.org/standardizeddcps/remoteui.asp等记载的技术规范中有详细的说明。
当发现显示终端100和PC服务器300时，信令单元103便通知媒体控制单元105一表明PC运作开始的短信息。
从信令单元103送至媒体控制单元105的表明PC运行开始的短信息，包含要使用的服务的类型(“PC运作”)、媒体流的类型(“JPEG”)、以及作为连接目的地的PC服务器300的IP地址(“192.168.0.1”)。
一从信令单元103接收到短信息通知，媒体控制单元105便按照接收到的短信息中所包含的媒体流的类型使媒体处理单元104的解码方案初始化，以便与按JPEG压缩的图像数据相对应。稍后将说明媒体处理单元104的初始化动作。
媒体控制单元105通过通信单元102与PC服务器300连接，并且开始与PC服务器300分享一窗口。
一旦按JPEG压缩数据，PC服务器300便将运行一应用程序所生成的桌面窗口作为应用窗口数据持续发送给显示终端100。需要注意的是，为了减小要发送数据的大小，PC服务器300只发送相对于已经发送的应用窗口数据的更新部分的数据，此时，需要发送的数据包含该更新部分的坐标位置信息。这种情况下，坐标位置信息是指图像数据其起始点的坐标(x，y)和(x，y)轴方向上图像大小的信息。
图13是示出包含坐标位置信息和按JPEG压缩的应用窗口数据、并且将由PC服务器300发送的数据其结构的示意图。一旦通过通信单元102接收到数据，媒体控制单元105便从接收到的数据当中提取坐标位置信息和按JPEG压缩的应用窗口数据。媒体控制单元105将所提取的应用窗口数据和坐标位置信息送至媒体处理单元104。
因为媒体处理单元104已经由媒体控制单元105初始化以便对按MPEG压缩的图像数据进行解码，因而媒体处理单元104通过对所发送的应用窗口数据进行反向量化处理和反向DCT处理来进行解码处理。媒体处理单元104通过使用坐标位置信息来规定已经生成的显示图像数据其中的更新部分，并且用经过解码的应用窗口数据替代更新的部分，由此生成新的显示图像数据。将所生成的显示图像数据送至显示单元101并且呈现给用户。用户可通过使用所显示的图像数据来获得PC服务器300上运行的应用程序的处理结果。
PC运行中，例如数字转换器106a使得用户用笔输入设备112等输入的数据数字化，并且媒体控制单元105一旦将数据打包便通过通信单元102将数据发送给PC服务器300。举例来说，用户通过使指示器(pointer)移动来进行输入动作的话，指示器的状态或位置便经过数字转换器106a的数字化处理，所生成的数据发送给PC服务器300。PC服务器300根据所发送的数据更新该指示器的位置，生成新的桌面窗口数据，并将其发送给显示终端100。
以上所述是显示终端100与PC服务器300分享一应用窗口并进行PC运作的情况下显示终端100的动作。
图14是示出进行上述“PC运作”、“视频观看/收听”、以及“视频通信”过程中媒体控制单元105工作的流程图。一旦从信令单元103接收一短信息通知(步骤S101)，媒体控制单元105对短信息进行分析，并确定所要使用的服务(“PC运作”、“视频观看/收听”、或“视频通信”)和连接目的地(步骤S102)。媒体控制单元105根据短信息中所包含的媒体流的类型(MPEG2、MPEG4、或者JPEG)对媒体处理单元104进行始初化(步骤S103a至步骤S103c)。媒体控制单元105与连接目的地建立通信(步骤S104)，从而发送/接收数据(步骤S105a和步骤S105b以及步骤S106a至步骤S106d)。继续数据发送/接收直到服务因断开连接的判定(步骤S107)和与连接目的地的通信断开连接处理(步骤S108)的终止为止。
稍后将参照图15说明媒体处理单元104中的解码处理。一旦接收到经过压缩的图像数据，媒体处理单元104便对该经过压缩的图像数据进行霍夫曼解码(Huffman decoding)、反向量化处理、DC分量校正、反向DCT、以及YUV-RGB变换，并用作帧缓冲器来输出显示图像数据。显示终端100分别与PC服务器300、内容服务器400、以及视频通信终端600间所要发送/接收的图像数据的每一压缩方案是DCT之后执行量化处理的压缩方案，该DCT为将二维图像数据变换为空间频域中数据的正交变换。这样便能够在对图像数据的解码过程中不论用户所使用的服务如何总用单个处理电路来实现反向的DCT处理和反向量化的处理。
首先，由媒体控制单元105进行初始化时，媒体处理单元104从媒体控制单元接收一DC分量校正值和YUV-RGB变换计算所用的参数系数。具体来说，媒体处理单元104分别就MPEG2、MPEG4、以及JPEG接收并使用如同图16所示情形的参数系数。这种情况下，DC分量校正值是一进行反向量化处理之后要与数据值相加的校正值。需要注意的是，媒体处理单元104可将例如通过使图16中所示的各数值左移若干位所获得的数值用作参数系数，以便将它们变换为整数而非图16中所示的各数值。通过YUV-RGB变换所获得的图像数据与经过压缩的图像数据一起输入至媒体处理单元104。媒体处理单元104接着根据图像数据的显示坐标位置信息通过如图17所示按块配置图像数据来生成显示图像数据。
以上所述是媒体处理单元104中生成显示图像数据的动作。
综上所述，根据本实施例的显示终端100允许用户通过相对于PC服务器300、内容服务器400、以及视频通信终端600发送/接收经过压缩的图像数据来使用诸如“PC运作”、“视频观看/收听”、以及“视频通信”这类种种服务。要相对于上述服务器和通信终端发送/接收的每一图像数据通过使用一压缩方案压缩，该压缩方案在进行将二维图像数据变换为空间频域中数据的正交变换即DCT变换之后执行量化处理。这样便能够用一单个处理电路在对利用上述形式压缩的图像数据进行解码的过程中执行反向量化处理和反向DCT处理。因此，显示终端100本身的尺寸和重量都可以明显减小。
需要注意的是，显示终端100也可以通过将例如一通用计算机装置用作基本的硬件来实现。也就是说，信令单元103、媒体处理单元104、以及媒体控制单元105也可以通过将一处理器结合于上述计算机装置中执行程序来实现。这种情况下，通过将上述程序预先安装于计算机装置中，或者通过将程序存储于诸如CD-ROM这类存储介质中或是经过网络来发行该程序、而根据需要将它们安装于计算机装置中，便足以实现显示终端100。

Claims (3)

1.一种通信装置，用于对无线通信接收到的图像数据进行解码和显示，其中包括：
显示图像数据的显示单元；
通信建立单元，配置为分别与发送通过执行一应用程序生成的应用窗口数据的计算机、发送视频通信用的视频图像数据的通信终端、以及发送包含活动图像的内容数据的内容服务器建立无线通信；
接收单元，配置为所述通信建立单元建立起无线通信之后分别从所述计算机、通信终端、以及内容服务器接收应用窗口数据、视频图像数据、以及内容数据；
控制单元，配置为根据所接收到的所述应用窗口数据、视频图像数据以及内容数据初始化解码方案，所述应用窗口数据、视频图像数据以及内容数据分别按对应的压缩方案经过压缩；
生成单元，配置为分别根据所述压缩方案对所接收到的所述应用窗口数据、视频图像数据以及内容数据进行解码，以生成所述显示单元所要显示的显示图像数据，
其中，所述应用窗口数据、视频图像数据以及内容数据分别采用压缩方案经过编码，该压缩方案包括将二维的图像数据变换为空间频域的图像数据的正交变换处理和对经过了该正交变换处理的图像数据的量化处理，
所述生成单元通过一单个处理电路实施用于对所述应用窗口数据、所述视频图像数据、以及所述内容数据进行解码的反向正交变换处理和反向量化处理。
2.如权利要求1所述的通信装置，其特征在于，所述应用窗口数据、视频图像数据以及内容数据的压缩方案分别是JPEG、MPEG4以及MPEG2。
3.一种通信装置的控制方法，该通信装置对无线通信接收到的图像数据进行解码和显示，其中包括下列步骤：
分别与发送通过执行一应用程序生成的应用窗口数据的计算机、发送视频通信用的视频图像数据的通信终端以及发送包含活动图像的内容数据的内容服务器建立无线通信；
建立起无线通信之后分别从所述计算机、通信终端以及内容服务器接收应用窗口数据、视频图像数据以及内容数据；
根据所接收到的所述应用窗口数据、视频图像数据以及内容数据初始化解码方案，所述应用窗口数据、视频图像数据以及内容数据分别按对应的压缩方案经过压缩；
分别根据所述压缩方案对所接收到的所述应用窗口数据、视频图像数据以及内容数据进行解码，以生成显示图像数据；
显示该生成的显示图像数据，
其中，所述应用窗口数据、视频图像数据以及内容数据分别采用压缩方案经过编码，该压缩方案包括将二维的图像数据变换为空间频域的图像数据的正交变换处理和对经过了该正交变换处理的图像数据的量化处理，
通过一单个处理电路实施用于对所述应用窗口数据、视频图像数据以及内容数据进行解码的反向正交变换处理和反向量化处理。
CN2007101666081A 2006-10-31 2007-10-24 通信装置和通信装置控制方法 Expired - Fee Related CN101184288B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2006296884 2006-10-31
JP2006-296884 2006-10-31
JP2006296884A JP5025225B2 (ja) 2006-10-31 2006-10-31 通信装置、通信装置の制御方法および制御プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201210201964.3A Division CN102710942B (zh) 2006-10-31 2007-10-24 通信装置和通信装置控制方法

Publications (2)

Publication Number Publication Date
CN101184288A CN101184288A (zh) 2008-05-21
CN101184288B true CN101184288B (zh) 2012-08-15

Family

ID=39330112

Family Applications (2)

Application Number Title Priority Date Filing Date
CN2007101666081A Expired - Fee Related CN101184288B (zh) 2006-10-31 2007-10-24 通信装置和通信装置控制方法
CN201210201964.3A Expired - Fee Related CN102710942B (zh) 2006-10-31 2007-10-24 通信装置和通信装置控制方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201210201964.3A Expired - Fee Related CN102710942B (zh) 2006-10-31 2007-10-24 通信装置和通信装置控制方法

Country Status (3)

Country Link
US (2) US8223834B2 (zh)
JP (1) JP5025225B2 (zh)
CN (2) CN101184288B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5025225B2 (ja) * 2006-10-31 2012-09-12 株式会社東芝 通信装置、通信装置の制御方法および制御プログラム
JP4675944B2 (ja) * 2007-08-29 2011-04-27 株式会社東芝 画像処理装置、画像処理方法、画像処理プログラム
JP2010056966A (ja) * 2008-08-28 2010-03-11 Toshiba Corp 画像コンテンツ送信サーバ、画像表示装置、画像コンテンツ送信方法、及び、画像表示方法
KR101642933B1 (ko) 2009-12-04 2016-07-27 삼성전자주식회사 디지털 리빙네트워크 얼라이언스 네트워크에서 전력소모를 줄이기 위한 방법 및 장치
CN102333018B (zh) * 2011-09-01 2017-11-10 中兴通讯股份有限公司 一种信息通知方法、系统及无线通信终端
JP6398215B2 (ja) * 2013-03-15 2018-10-03 株式会社リコー 配信制御システム、配信システム、配信制御方法、及びプログラム
EP3697100A1 (en) * 2013-06-05 2020-08-19 Sun Patent Trust Data decoding method, data decoding apparatus, and data transmitting method
US11037330B2 (en) * 2017-04-08 2021-06-15 Intel Corporation Low rank matrix compression

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1489389A (zh) * 2003-08-29 2004-04-14 陈旭光 视频通信终端及视频通信方法
CN1798323A (zh) * 2004-12-29 2006-07-05 华为技术有限公司 一种实现流媒体业务的视讯终端和方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6909744B2 (en) * 1999-12-09 2005-06-21 Redrock Semiconductor, Inc. Processor architecture for compression and decompression of video and images
US7110664B2 (en) * 2001-04-20 2006-09-19 Front Porch Digital, Inc. Methods and apparatus for indexing and archiving encoded audio-video data
US7773670B1 (en) * 2001-06-05 2010-08-10 At+T Intellectual Property Ii, L.P. Method of content adaptive video encoding
US7599434B2 (en) * 2001-09-26 2009-10-06 Reynolds Jodie L System and method for compressing portions of a media signal using different codecs
EP1457921A4 (en) * 2001-11-16 2007-06-06 Sharp Kk RECORDING MEDIUM, CONTENT RECORDING / PLAYBACK SYSTEM, CONTENT FEEDING DEVICE, CONTENT RECORDING DEVICE AND CONTENT ENCODING DEVICE
JP2004046499A (ja) * 2002-07-11 2004-02-12 Matsushita Electric Ind Co Ltd データ処理システム
JP2004312595A (ja) * 2003-04-10 2004-11-04 Sony Corp テレビジョン受信装置
JP4155861B2 (ja) * 2003-04-23 2008-09-24 三洋電機株式会社 画像形成装置
WO2005001617A2 (en) * 2003-06-02 2005-01-06 Infocus Corporation Image display device and method of communicating with and image display device over a network
CN101848225A (zh) * 2003-08-04 2010-09-29 三菱电机株式会社 模块单元和网络连接方法
JP4030511B2 (ja) 2004-03-01 2008-01-09 株式会社東芝 画像転送装置、画像転送方法、画像転送プログラム及び計算機
JP4275559B2 (ja) * 2004-03-19 2009-06-10 シャープ株式会社 画像表示装置の制御回路、表示装置、並びに、そのプログラムおよび記録媒体
JP2006155223A (ja) * 2004-11-29 2006-06-15 Matsushita Electric Ind Co Ltd データ処理装置
WO2006068391A1 (en) * 2004-12-20 2006-06-29 Lg Electronics Inc. Multimedia access system
JP5133508B2 (ja) * 2005-07-21 2013-01-30 ソニー株式会社 コンテンツ提供システム、コンテンツ提供装置、コンテンツ配信サーバ、コンテンツ受信端末およびコンテンツ提供方法
JP2007158410A (ja) * 2005-11-30 2007-06-21 Sony Computer Entertainment Inc 画像符号化装置、画像復号装置、および画像処理システム
US20080201751A1 (en) * 2006-04-18 2008-08-21 Sherjil Ahmed Wireless Media Transmission Systems and Methods
JP5025225B2 (ja) * 2006-10-31 2012-09-12 株式会社東芝 通信装置、通信装置の制御方法および制御プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1489389A (zh) * 2003-08-29 2004-04-14 陈旭光 视频通信终端及视频通信方法
CN1798323A (zh) * 2004-12-29 2006-07-05 华为技术有限公司 一种实现流媒体业务的视讯终端和方法

Also Published As

Publication number Publication date
JP5025225B2 (ja) 2012-09-12
CN101184288A (zh) 2008-05-21
US20080101477A1 (en) 2008-05-01
CN102710942A (zh) 2012-10-03
US20120250756A1 (en) 2012-10-04
US8432966B2 (en) 2013-04-30
US8223834B2 (en) 2012-07-17
CN102710942B (zh) 2015-05-20
JP2008118181A (ja) 2008-05-22

Similar Documents

Publication Publication Date Title
CN101184288B (zh) 通信装置和通信装置控制方法
KR100800748B1 (ko) 블루투스를 이용한 동영상 스트림 전송 장치 및 방법
CN107846633B (zh) 一种直播方法及系统
EP3273712B1 (en) Information processing device, information processing method, and program
JP4654918B2 (ja) 情報処理装置及び情報処理システム
CN101237340B (zh) 用于实现多媒体业务中组播频道的系统及方法
CN101321274A (zh) 一种实现手机电视和互联网电视的方法及系统
CN102387187A (zh) 服务器、客户端及利用其远程播放视频文件的方法和系统
CN102404646A (zh) 一种无线电视直播系统及其直播方法
WO2010114092A1 (ja) 配信システムと方法と変換装置及びプログラム
CN112616065A (zh) 一种屏幕镜像发起方法、装置、计算机设备、可读存储介质及屏幕镜像呈现系统
CN101506782A (zh) 中继设备和中继方法
CN101577650A (zh) 家庭掌上移动电视系统
US20110320571A1 (en) Apparatus and method for live streaming between mobile communication terminals
CN103024441A (zh) 一种移动终端播放电视节目的方法
US10582376B2 (en) Information processing apparatus, information processing method, and source apparatus
CN102685599B (zh) 电视节目互动系统及方法
CN104717555A (zh) 视频码流的获取方法及装置
CN103188210A (zh) 在大屏幕客户端上播放移动终端的媒体内容的方法及终端
CN103918258A (zh) 减少视频编码中的数据量
CN113014950A (zh) 一种直播同步的方法、系统和电子设备
CN103297406A (zh) 一种手持设备扩展屏幕的方法
CN105530537B (zh) 一种多媒体数据的传输方法及相关设备
EP1890456A1 (en) Apparatus for transcoding encoded content
Huang et al. An embedded multifunctional media system for mobile devices in terrestrial DTV relaying

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120815

Termination date: 20161024

CF01 Termination of patent right due to non-payment of annual fee