[go: up one dir, main page]

JP2021150790A - 送信装置、送信方法および受信装置 - Google Patents

送信装置、送信方法および受信装置 Download PDF

Info

Publication number
JP2021150790A
JP2021150790A JP2020048240A JP2020048240A JP2021150790A JP 2021150790 A JP2021150790 A JP 2021150790A JP 2020048240 A JP2020048240 A JP 2020048240A JP 2020048240 A JP2020048240 A JP 2020048240A JP 2021150790 A JP2021150790 A JP 2021150790A
Authority
JP
Japan
Prior art keywords
data
raw data
uncompressed
uncompressed raw
transmission
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020048240A
Other languages
English (en)
Inventor
学 久保
Manabu Kubo
学 久保
邦裕 江崎
Kunihiro Ezaki
邦裕 江崎
亜貴代 福田
Akiyo Fukuda
亜貴代 福田
克明 横溝
Katsuaki Yokomizo
克明 横溝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Priority to JP2020048240A priority Critical patent/JP2021150790A/ja
Priority to PCT/JP2021/009717 priority patent/WO2021187292A1/ja
Priority to EP21772141.4A priority patent/EP4106317A4/en
Priority to US17/906,168 priority patent/US12348896B2/en
Publication of JP2021150790A publication Critical patent/JP2021150790A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/10Adaptations for transmission by electrical cable
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223Cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43632Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wired protocol, e.g. IEEE 1394
    • H04N21/43635HDMI
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Studio Devices (AREA)

Abstract

【課題】機器間における非圧縮RAWデータの伝送を良好に行い得るようにする。【解決手段】送信部により、非圧縮RAWデータを、HDMI伝送路を介して、外部機器に送信する。例えば、非圧縮RAWデータは、ベイヤー配列の非圧縮RAWデータである。また、例えば、非圧縮RAWデータの画素毎のビット数は16ビットであり、送信部は、非圧縮RAWデータを、YC12ビット転送モードを用いて送信する。例えば、送信部は、非圧縮RAWデータと共に、この非圧縮RAWデータに関連したメタデータを送信する。【選択図】図12

Description

本技術は、送信装置、送信方法および受信装置に関し、詳しくは、非圧縮RAWデータを外部機器に送信する送信装置等に関する。
例えば、特許文献1には、ソース機器からシンク機器に、画像データとしてのYCデータ、例えばYcbCr 4:2:2方式の画像データを、HDMI(High-Definition Multimedia Interface)伝送路を介して、非圧縮で送信することが開示されている。なお、「HDMI」は、登録商標である。
例えば、ソース機器としての撮像装置からシンク機器としての受信装置に画像データを送信する場合、受信装置側で編集や画質調整等の処理をすることを考慮すると、YCデータの形式ではなくRAWデータの形式で送り、そのRAWデータの形式で保存しておくことが望まれる。
ここで、イメージャから出力された画像データに対してYCデータに変換していないものをRAWデータと呼ぶ。このRAWデータは、ベイヤー配列などのイメージャのカラーフィルタの配置関係が維持されていればよく、イメージャの出力画像データそのものであってもよく、また、その出力画像データにノイズリダクション、欠陥補正、オートホワイトバランス等の処理がされたものであってもよい。
特開2010−028261号公報
本技術の目的は、機器間における非圧縮RAWデータの伝送を良好に行い得るようにすることにある。
本技術の概念は、
非圧縮RAWデータを、HDMI伝送路を介して、外部機器に送信する送信部を備える
送信装置にある。
本技術において、送信部により、非圧縮RAWデータが、HDMI伝送路を介して、外部機器に送信される。例えば、非圧縮RAWデータは、ベイヤー配列の非圧縮RAWデータであってもよい。この場合、例えば、非圧縮RAWデータの画素毎のビット数は16ビットであり、送信部は、非圧縮RAWデータを、YC12ビット転送モードを用いて送信してもよい。
また、例えば、送信部は、非圧縮RAWデータと共に、この非圧縮RAWデータに関連したメタデータを送信してもよい。このメタデータには、画像のサイズ、現像のためのパラメータ(撮像時における明るさ、ゲインなど)、などの情報が含まれる。このように非圧縮RAWデータに関連したメタデータを非圧縮RAWデータと共に送信することで、受信側では、非圧縮RAWデータに関連したメタデータを、非圧縮RAWデータに対応付けて適切かつ容易に取得可能となる。
この場合、例えば、送信部は、非圧縮RAWデータの各フレームにメタデータを付加して送信してもよい。その場合、例えば、送信部は、アクティブビデオ区間と垂直ブランキング区間とを含むTMDS(Transition Minimized Differential Signaling)伝送データのうちの、アクティブビデオ区間に非圧縮RAWデータを格納し、垂直ブランキング区間に挿入されるデータパケットのペイロード部にメタデータを格納して送信してもよい。例えば、データパケットは、VSIF(Vendor Specific InfoFrame)パケットであってもよい。
その場合、例えば、メタデータは、第1の更新頻度の高更新頻度メタデータと、第1の更新頻度より低い更新頻度の第2の更新頻度の低更新頻度メタデータとからなり、データパケットのペイロード部は、高更新頻度メタデータを格納する第1の領域と、低更新頻度メタデータを格納する第2の領域を有していてもよい。その場合、例えば、第2の領域には、ページ番号の情報を格納するページ番号領域が含まれ、このページ番号に対応したメタデータが格納されてもよい。
その場合、例えば、第2の領域には、総ページ数の情報を格納する総ページ数領域がさらに含まれていてもよい。また、その場合、例えば、第2の領域に格納されて送信される各ページに対応したメタデータの送信頻度は、それぞれのメタデータの優先度に応じて変更されてもよい。
また、例えば、送信部は、アクティブビデオ区間を含むTMDS(Transition Minimized Differential Signaling)伝送データのうちの、アクティブビデオ区間に非圧縮RAWデータを格納し、そのアクティブビデオ区間の非圧縮RAWデータが格納されていない領域にメタデータを格納して送信してもよい。
また、例えば、送信部は、非圧縮RAWデータと共に、この非圧縮RAWデータの送信であることを示す識別情報を送信してもよい。このように非圧縮RAWデータの送信であることを示す識別情報を非圧縮RAWデータと共に送信することで、受信側では、非圧縮RAWデータの送信であることを容易に識別でき、適切な処理を行うことが可能となる。
その場合、例えば、送信部は、アクティブビデオ区間と垂直ブランキング区間とを含むTMDS(Transition Minimized Differential Signaling)伝送データのうちの、アクティブビデオ区間に非圧縮RAWデータを格納し、垂直ブランキング区間に識別情報を挿入して送信してもよい。その場合、例えば、送信部は、識別情報として、垂直ブランキング区間に所定データパケットを挿入してもよい。そして、その場合、例えば、その所定データパケットのペイロード部には非圧縮RAWデータに関連するメタデータが格納されてもよい。
また、例えば、非圧縮RAWデータを出力するイメージャをさらに備えてもよい。また、例えば、送信部は、非圧縮RAWデータを現像して得られたYCデータを、HDMI伝送路を介して、外部機器に送信する機能をさらに備えていてもよい。
このように本技術においては、非圧縮RAWデータを、HDMI伝送路を介して、外部機器に送信するものであり、機器間における非圧縮RAWデータの伝送を良好に行うことができる。
また、本技術の他の概念は、
外部機器から、HDMI伝送路を介して、非圧縮RAWデータを受信する受信部と、
前記受信部で受信された前記非圧縮RAWデータを処理する処理部を備える
受信装置にある。
本技術において、受信部により、外部機器から、HDMI伝送路を介して、非圧縮RAWデータが受信される。そして、処理部により、受信部で受信された非圧縮RAWデータが処理される。
このように本技術においては、外部機器から、HDMI伝送路を介して、非圧縮RAWデータを受信して処理するものであり、画像データの編集処理や画質調整処理などを良好に行うことができる。
実施の形態としての撮像システムの構成例を示すブロック図である。 撮像装置のHDMI送信部と受信装置のHDMI受信部の構成例を示すブロック図である。 TMDS伝送データの構造例を示す図である。 非圧縮RAWデータのイメージフォーマットを示す図である。 YC12ビット転送モードを用いて、通常のHDMI出力として、3840×2160ピクセル(画素)の解像度の非圧縮YCデータを出力する場合と、YC12ビット転送モードを用いて、HDMI出力として、最大4700×2600ピクセル(画素)の解像度の非圧縮RAWデータを出力する場合を示す図である。 非圧縮YCデータを送信する場合におけるメモリマップと、パッキングフォーマットを示す図である。 非圧縮RAWデータを送信する場合におけるメモリマップと、パッキングフォーマットを示す図である。 横×縦が3840ピクセル×2160ラインの非圧縮YC12ビットの画像データを伝送する場合のTMDS伝送データのアクティブビデオ区間に、最大4700×2600ピクセルの解像度を持ち、画素毎のビット長が16ビットである非圧縮RAWデータを格納した状態を説明するための図である。 VSIFパケットのデータ構造の一例を示す図である。 VSIFパケットのデータ構造の他の一例を示す図である。 EDIDの基本構造と、その拡張ブロックに定義されるVSVDBの構造の一例を示す図である。 接続当初における、受信装置のEDID ROMから読み出されるEDIDに基づく、撮像装置の出力処理の一例を示すシーケンス図である。 撮像装置の制御部における出力判断処理の一例を示すフローチャートである。 撮像装置の表示部に表示されるHDMI出力選択メニューを示す図である。 マニュファクチャ・スペシフィック・レジスタにおけるデータ構造の一例を示す図である。 接続当初における、受信装置のSCDCレジスタ部から読み出されるマニュファクチャ領域データに基づく、撮像装置の出力処理の一例を示すシーケンス図である。 撮像装置が受信装置に非圧縮RAWデータを送信している状態で、ユーザが受信装置における記録停止操作を行った場合における、撮像装置の出力処理の一例を示すシーケンス図である。 撮像装置の構成例を示すブロック図である。 受信装置の構成例を示すブロック図である。
以下、発明を実施するための形態(以下、「実施の形態」とする)について説明する。なお、説明を以下の順序で行う。
1.実施の形態
2.変形例
<1.実施の形態>
[撮像システムの構成例]
図1は、実施の形態としての撮像システム10の構成例を示している。撮像システム10は、ソース機器としての撮像装置100とシンク機器としての受信装置200が接続されて構成されている。撮像装置100および受信装置200は、デジタルインタフェースケーブルであるHDMIケーブル300を介して接続されている。
撮像装置100は、HDMI送信部102と、制御部103を有している。制御部103は、撮像装置100の全体を制御する。また、この撮像装置100には、HDMI送信部102が接続された、HDMIコネクタとしてのレセプタクル101が設けられている。受信装置200は、HDMI受信部202と、制御部203を有している。制御部203は、受信装置200の全体を制御する。また、この受信装置200には、HDMI受信部202が接続された、HDMIコネクタとしてのレセプタクル201が設けられている。
HDMIケーブル300は、HDMI伝送路を構成している。このHDMIケーブル300の一端にはHDMIコネクタを構成するプラグ301が設けられ、その他端にはHDMIコネクタを構成するプラグ302が設けられている。HDMIケーブル300の一端のプラグ301は撮像装置100のレセプタクル101に接続され、このHDMIケーブル300の他端のプラグ302は受信装置200のレセプタクル201に接続されている。
図1に示す撮像システム10において、撮像装置100は、例えば、受信装置200が非圧縮RAWデータに対応しており、非圧縮RAWデータを出力することが選択されている場合には、非圧縮RAWデータを、HDMIに準拠した通信により、HDMIケーブル300を介して、受信装置200に送信する。
また、図1に示す撮像システム10において、撮像装置100は、例えば、受信装置200が非圧縮RAWデータに対応していても、RAWデータを出力しないことが選択され、かつYCデータを出力することが選択されている場合には、非圧縮RAWデータが現像されて得られた非圧縮YCデータを、HDMIに準拠した通信により、HDMIケーブル300を介して、受信装置200に送信する。
また、図1に示す撮像システム10において、撮像装置100は、例えば、受信装置200が非圧縮RAWデータに対応しておらず、かつYCデータを出力することが選択されている場合には、非圧縮RAWデータが現像されて得られた非圧縮YCデータを、HDMIに準拠した通信により、HDMIケーブル300を介して、受信装置200に送信する。
また、図1に示す撮像システム10において、撮像装置100は、例えば、受信装置200が非圧縮RAWデータに対応していても、RAWデータを出力しないことが選択され、かつYCデータを出力しないことが選択されている場合、あるいは受信装置200が非圧縮RAWデータに対応しておらず、かつYCデータを出力しないことが選択されている場合には、受信装置200に、非圧縮RAWデータも、その非圧縮RAWデータが現像されて得られた非圧縮YCデータも送信しない。
「HDMI送信部とHDMI受信部の構成例」
図2は、図1の撮像システム10における、撮像装置100のHDMI送信部102と、受信装置200のHDMI受信部202の構成例を示している。
HDMI送信部102は、一の垂直同期信号から次の垂直同期信号までの区間から、水平ブランキング区間および垂直ブランキング区間を除いた区間である有効画像区間(以下、適宜、「アクティブビデオ区間」ともいう)において、非圧縮の1画面分の画像の画素データに対応する差動信号を、複数のチャネルで、HDMI受信部202に一方向に送信するとともに、水平ブランキング区間または垂直ブランキング区間において、少なくとも画像に付随する音声データや制御データ、その他の補助データ等に対応する差動信号を、複数のチャネルで、HDMI受信部202に一方向に送信する。
すなわち、HDMI送信部102は、HDMIトランスミッタ(HDMI Transmitter)121を有する。HDMIトランスミッタ121は、例えば、非圧縮の画像の画素データを差動信号に変換し、複数のチャネルである3つのTMDSチャネル#0,#1,#2で、HDMIケーブル300を介して接続されているHDMI受信部202に、一方向にシリアル伝送する。
また、HDMIトランスミッタ121は、非圧縮の画像に付随する音声データ、さらには、必要な制御データその他の補助データ等を差動信号に変換し、3つのTMDSチャネル#0,#1,#2でHDMIケーブル300を介して接続されているHDMI受信部202に、一方向にシリアル伝送する。
さらに、HDMIトランスミッタ121は、3つのTMDSチャネル#0,#1,#2で送信する画素データに同期したピクセルクロックを、TMDSクロックチャネルで、HDMIケーブル300を介して接続されているHDMI受信部202に送信する。ここで、1つのTMDSチャネル#i(i=0,1,2)では、ピクセルクロックの1クロックの間に、10ビットの画素データが送信される。
ここで、TMDSコーディングは、8ビットのデータを10ビットのデータに変換する8ビット/10ビット変換コーディングであり、前データとの比較から遷移点を少なくすることによって不要輻射等の悪影響を抑えた上でDCバランスを維持するコーディングとなっている。そのため、理論上コーディングのランレングスの保証ができないため、DC結合およびクロックの別送が必須となる。
HDMI受信部202は、アクティブビデオ区間において、複数のチャネルで、HDMI送信部102から一方向に送信されてくる、画素データに対応する差動信号を受信するとともに、水平ブランキング区間または垂直ブランキング区間において、複数のチャネルで、HDMI送信部102から一方向に送信されてくる、音声データや制御データに対応する差動信号を受信する。
すなわち、HDMI受信部202は、HDMIレシーバ(HDMI Receiver)221を有する。HDMIレシーバ221は、TMDSチャネル#0,#1,#2で、HDMIケーブル300を介して接続されているHDMI送信部102から一方向に送信されてくる、画素データに対応する差動信号と、音声データや制御データに対応する差動信号を、同じくHDMI送信部102からTMDSクロックチャネルで送信されてくるピクセルクロックに同期して受信する。
HDMI送信部102とHDMI受信部202とからなるHDMIシステムの伝送チャネルには、DDC(Display Data Channel)と呼ばれる伝送チャネルもある。このDDCは、HDMIケーブル300に含まれる図示しない2本の信号線からなり、HDMI送信部102とHDMI受信部202との間でIIC(Inter-Integrated Circuit)通信をする。
すなわち、HDMI送信部102は、IICマスターブロック(IIC Master Block)122を有している。また、HDMI受信部202は、メモリ部222を有している。メモリ部222には、EDID ROM(Extended Display Identification Data ROM)231、SCDC(Status and Control Data Channel)レジスタ部232などが含まれている。
EDID ROM231には、受信装置200の構成および可能な機能(Configuration/capability)に関する情報であるEDIDが設定され、DDCを通じて、IICマスターブロック122によって、撮像装置100側に読み込まれる。これにより、撮像装置100は、受信装置200の構成および可能な機能を認識する。なお、EDID ROM231は、例えばEEPROM(Electrically Erasable Programmable Read-Only Memory)やフラッシュメモリ等の書き換え可能なメモリで実現されるが、RAM(Random access memory)でもよく、その他のいかなる記憶媒体でも実現できる。
SCDCは、ソース機器とシンク機器とがデータを交換するポイント・ツー・ポイント(Point to Point)通信プロトコルに該当する。なお、このSCDCは、HDMI2.0以降に定義されている。SCDCレジスタ部232は、SCDCS(SCDC Structure)を格納するレジスタ群からなる。撮像装置100(HDMI送信部102)は、SCDCレジスタ部232に格納されるSCDCSのデータの読み取りや書き込みを、DDCを通じて、IICマスターブロック122によって行うことができる。SCDCSのデータには、現在のリンク状態に関するデータ、およびソース機器の動作を制御するデータ等がある。
HDMIシステムの伝送チャネルには、上述のTMDSチャネル#0乃至#2およびTMDSクロックチャネルやDDCの他に、CECライン(Consumer Electronics Control Line)と呼ばれる伝送チャネルがある。このCECラインは、HDMIケーブル300に含まれる1本の信号線からなり、HDMI送信部102とHDMI受信部202との間で、制御データの双方向通信を行うために用いられる。このCECラインは、制御データラインを構成している。
また、HDMIケーブル300には、HPDライン(Hot Plug Detect Line)が含まれている。ソース機器は、このHPDラインを利用して、シンク機器の接続を検出することができる。なお、図2において、HPDラインにはシンク機器からソース機器への一方向を示すように矢印を付している。しかし、このHPDラインは双方向通信路を構成するHEAC(HDMI Ethernet and Audio return Channel)−ラインとしても使用され、その場合には双方向ラインとなる。
また、HDMIケーブル300には、ソース機器からシンク機器に電源を供給するために用いられる電源ライン(+5V Power Line)が含まれている。さらに、HDMIケーブル300には、ユーティリティライン(Utility Line)が含まれている。ユーティリティラインは双方向通信路を構成するHEAC(HDMI Ethernet and Audio return Channel)+ラインとしても使用される。
図3は、TMDS伝送データの構造例を示している。この図3は、TMDSチャネル#0〜#2において、例えば、横×縦が3840ピクセル×2160ラインの画像データ、いわゆる4K解像度の画像データが伝送される場合における、各種の伝送データの区間を示している。TMDSチャネルで伝送データが伝送されるビデオフィールド区間(Video Field interval)には、伝送データの種類に応じて、3種類の区間が存在する。この3種類の区間は、ビデオデータ区間(Video Data period)、データアイランド区間(Data Island period)、およびコントロール区間(Control period)である。
ここで、ビデオフィールド区間は、ある垂直同期信号の立ち上がりエッジ(active edge)から次の垂直同期信号の立ち上がりエッジまでの区間である。このビデオフィールド区間は、水平ブランキング区間(horizontal blanking interval)、垂直ブランキング区間(vertical blanking interval)、並びに、アクティブビデオ区間(Active Video interval)に分けられる。このアクティブビデオ区間は、ビデオフィールド区間から、水平ブランキング区間および垂直ブランキング区間を除いた区間である。ビデオデータ区間は、アクティブビデオ区間に割り当てられる。このビデオデータ区間では、非圧縮の1画面分の画像データを構成する3840ピクセル(画素)×2160ライン分の有効画素(Active pixel)のデータが伝送される。
データアイランド区間およびコントロール区間は、水平ブランキング区間および垂直ブランキング区間に割り当てられる。このデータアイランド区間およびコントロール区間では、補助データ(Auxiliary data)が伝送される。すなわち、データアイランド区間は、水平ブランキング区間と垂直ブランキング区間の一部分に割り当てられている。このデータアイランド区間では、補助データのうち、制御に関係しないデータである、例えば、オーディオデータのパケット等が伝送される。コントロール区間は、水平ブランキング区間と垂直ブランキング区間の他の部分に割り当てられている。このコントロール区間では、補助データのうちの、制御に関係するデータである、例えば、垂直同期信号および水平同期信号、制御パケット等が伝送される。
「RAWデータのパッキング方法」
撮像装置100が非圧縮RAWデータを受信装置200に送信する場合、HDMI送信部102は、非圧縮RAWデータをTMDSチャネル#0乃至#2の各チャネルにパッキングして送信する。この実施の形態において、非圧縮RAWデータは、図4にイメージフォーマット(Image format)を示すように、ベイヤー配列(Bayer layout)の非圧縮RAWデータである。
この実施の形態において、非圧縮RAWデータは、横×縦が「Hsize」ピクセル×「Vsize」ラインの画像データであって、最大4700×2600ピクセルの解像度であるとする。また、各ピクセル(画素)のデータのビット長は16ビットであるとする。また、非圧縮RAWデータのフレームレートは、59.94fps、29.97fps、23.98fps、50.00fps、25.00fpsなどである。
この実施の形態において、非圧縮RAWデータは、YC12ビット転送モードを用いて送信される。図5の左側は、YC12ビット転送モードを用いて、通常のHDMI出力として、3840×2160ピクセル(画素)の解像度の非圧縮YCデータを出力する場合について示している。ここで、非圧縮YCデータは、YCbCr 4:2:2方式の画像データである。出力コーディング(Output cording)は、各ラインが、「Y:12ビット+Cb:12ビット」のピクセルと「Y:12ビット+Cr:12ビット」のピクセルが交互に連続したものとなる。データパッキングに関しては、1ピクセルクロックに対してYCデータの1ピクセルの24ビット(Y:12ビット+C:12ビット)データがパッキングされる状態となる。
この場合、図6(a)にメモリマップの一例を示すように、非圧縮YCデータの各ピクセルのデータがメモリに順次マッピングされ、その後、当該メモリから各ピクセルのデータが順次読み出されて、図6(b)にパッキングフォーマットを示すように、TMDSチャネル#0乃至#2の各チャネルにパッキングされてHDMI出力となる。ここで、各ピクセルクロックにおいて、Cデータの下位4ビットがTMDSチャネル0の上位4ビットデータとされ、そのCデータの上位8ビットがTMDSチャネル2の8ビットデータとされ、Yデータの下位4ビットがTMDSチャネル0の下位4ビットデータとされ、そのYデータの上位8ビットがTMDSチャネル1の8ビットデータとされる。
図5の右側は、YC12ビット転送モードを用いて、HDMI出力として、最大4700×2600ピクセル(画素)の解像度の非圧縮RAWデータを出力する場合について示している。ここで、非圧縮RAWデータは、上述したようにベイヤー配列のものであり、各ピクセル(画素)のデータのビット長は16ビットである。出力コーディング(Output cording)は、奇数ライン(R/Grライン)については、「R:16ビット」のピクセルと「Gr:16ビット」のピクセルが交互に連続したものとなり、偶数ライン(B/Gbライン)については、「Gb:16ビット」のピクセルと「B:16ビット」のピクセルが交互に連続したものとなる。データパッキングに関しては、2ピクセルクロックに対して非圧縮RAWデータの3ピクセルの48ビットデータがパッキングされる状態となる。
この場合、図7(a)にメモリマップの一例を示すように、非圧縮RAWデータの各ピクセルのデータがメモリに順次書き込まれ、その後、当該メモリから各ピクセルのデータが順次読み出されて、図7(b1),(b2)にパッキングフォーマットを示すように、TMDSチャネル#0乃至#2の各チャネルにパッキングされてHDMI出力となる。ここで、図7(b1)は奇数ライン(R/Grライン)のパッキングフォーマットを示し、図7(b2)は偶数ライン(B/Gbライン)のパッキングフォーマットを示している。この場合、連続する2ピクセルクロックが、パッキングの周期となる。
奇数ライン(R/Grライン)に関し、最初の2ピクセルクロックでは、以下のようにパッキングされる。つまり、第1のピクセルクロックにおいては、R0データの下位4ビットがTMDSチャネル0の上位4ビットデータとされ、R0データの中位8ビットがTMDSチャネル2の8ビットデータとされ、R0データの上位4ビットがTMDSチャネル0の下位4ビットデータとされ、Gr0データの下位8ビットがTMDSチャネル1の8ビットデータとされる。
また、第2のピクセルクロックにおいては、Gr0データの中位4ビットがTMDSチャネル0の上位4ビットデータとされ、Gr0データの上位4ビットがTMDSチャネル2の下位4ビットのデータとされ、R1データの下位4ビットがTMDSチャネル2の上位4ビットのデータとされ、R1データの中位4ビットがTMDSチャネル0の下位4ビットデータとされ、R1データの上位8ビットがTMDSチャネル1の8ビットデータとされる。
また、偶数ライン(B/Gbライン)に関し、最初の2ピクセルクロックでは、以下のようにパッキングされる。つまり、第1のピクセルクロックにおいては、Gb0データの下位4ビットがTMDSチャネル0の上位4ビットデータとされ、Gb0データの中位8ビットがTMDSチャネル2の8ビットデータとされ、Gb0データの上位4ビットがTMDSチャネル0の下位4ビットデータとされ、B0データの下位8ビットがTMDSチャネル1の8ビットデータとされる。
また、第2のピクセルクロックにおいては、B0データの中位4ビットがTMDSチャネル0の上位4ビットデータとされ、B0データの上位4ビットがTMDSチャネル2の下位4ビットのデータとされ、Gb1データの下位4ビットがTMDSチャネル2の上位4ビットのデータとされ、Gb1データの中位4ビットがTMDSチャネル0の下位4ビットデータとされ、Gb1データの上位8ビットがTMDSチャネル1の8ビットデータとされる。
図8は、横×縦が3840ピクセル×2160ラインの非圧縮YC12ビットの画像データを伝送する場合におけるTMDS伝送データのアクティブビデオ区間(図3参照)を示している。この場合、アクティブビデオ区間のデータサイズは、24300[Kbyte](=3840×2160×(12+12)[bit])である。
非圧縮RAWデータは上述したように最大4700×2600ピクセルの解像度を持つものであり、非圧縮RAWデータの1フレームの最大データサイズはアクティブビデオ区間のデータサイズである24300[Kbyte]よりは小さい。非圧縮RAWデータを送信する場合、上述したようにパッキングされることで、各フレームにおいて、1フレーム分の非圧縮RAWデータがアクティブビデオ区間に格納されて送信される。この場合、各フレームにおいて、アクティブビデオ区間の最初から1フレーム分の非圧縮RAWデータが詰め込まれていくが、この1フレーム分の非圧縮RAWデータが全部詰め込まれた後は、残りの区間にダミーデータが詰め込まれていく。
「メタデータの転送方法」
撮像装置100から受信装置200に非圧縮RAWデータを送信する場合、この非圧縮RAWデータと共に、この非圧縮RAWデータに関連したメタデータを送信する。この場合、例えば、非圧縮RAWデータの各フレームにメタデータを付加して送信する。例えば、メタデータは、TMDS伝送データの垂直ブランキング区間に挿入されるデータパケットのペイロード部に格納されることで、非圧縮RAWデータの各フレームに付加された状態で送信される。この実施の形態においては、データパケットは、VSIF(Vendor Specific Infoframe)パケットとされる。なお、本技術において、データパケットはVSIFパケットとされる。
図9は、VSIFパケットのデータ構造の一例を示している。HB0〜HB2の3バイトは、VSIFパケットのヘッダ部であるパケットヘッダを構成している。第0バイト(HB0)には、VSIFパケットを示すPacketType(0x81)が定義されている。第1バイト(HB1)には、VSIFパケットのバージョン(0x01)が定義されている。第2バイト(HB2)の第4ビットから第0ビットには、VSIFパケットのペイロード部のデータ長Length(L)が定義されている。図示の例では、データ長Length(L)は27[Byte]を示す。
PB0〜PB26の27バイトは、VSIFパケットのペイロード部であるパケットコンテンツを構成している。第0バイト(PB0)には、データのチェックサムが定義されている。第1バイト(PB1)〜第3バイト(PB3)には、製品ベンダーの24ビットのIEEE OUI(Organizationally Unique Identifier)が配置される。第4バイト(PB4)には、非圧縮RAWデータに関連したメタデータを伝送するための新規なVSIFパケットであることを示すバージョン(例えば、0x02)が定義されている。
第5バイト(PB5)〜第16バイト(PB16)の12バイトは、リアルタイム(RT)メタデータ領域とされる。このリアルタイムメタデータ領域は、毎フレーム更新が可能であるので、更新頻度の高いメタデータであるリアルタイムメタデータ、例えばタイムコード、Recトリガ、明るさ情報、色変換マトリクスなど、が格納される。
第17バイト(PB17)〜第26バイト(PB26)の10バイトは、スタティック(ST)メタデータに係る領域とされる。第17バイト(PB17)は、総ページ数領域を構成し、総ページ数の情報“ST Metadata Number of Pages”が格納される。この場合、0〜255の値によって1〜256の総ページ数が示される。第18バイト(PB18)は、ページ番号領域を構成し、ページ番号の情報“ST Metadata Page #”が格納される。
第19バイト(PB19)〜第26バイト(PB26)までの8バイトはスタティック(ST)メタデータ領域を構成し、ページ番号に対応した、上述のリアルタイムメタデータより更新頻度の低いメタデータであるスタティックメタデータ、例えばカメラの機種名、レンズの明るさ、画像の大きさ、データビット長など、が格納される。
この場合、1ページあたりで伝送し得るスタティックメタデータの最大は8[Byte]であり、総ページ数の最大は256ページであるので、このVSIFパケットにより伝送し得るスタティックメタデータの最大は、2048(=256×8)[Byte]となる。
図10は、VSIFパケットのデータ構造の他の一例を示している。この例は、図9に示すVSIFパケットのデータ構造の例に対して、リアルタイム(RT)メタデータ領域とスタティック(ST)メタデータ領域のサイズ比率が変更されたものである。この例において、第5バイト(PB5)〜第8バイト(PB8)の4バイトがリアルタイム(RT)メタデータ領域とされ、第11バイト(PB11)〜第26バイト(PB26)の16バイトがスタティック(ST)メタデータ領域とされている。
この場合、1ページあたりで伝送し得るスタティックメタデータの最大は16[Byte]であり、総ページ数の最大は256ページであるので、このVSIFパケットにより伝送し得るスタティックメタデータの最大は、4096(=256×16)[Byte]となる。
なお、上述のVSIFパケットでスタティックメタデータを送信する場合、フレーム毎に、ページ番号を0,1,2,・・・と規則的にインクリメントして送信することが想定されるが、各ページに対応したメタデータの送信頻度を、それぞれのメタデータの優先度に応じて変更することも考えられる。
例えば、0〜9ページまであるが、そのうちの2〜9ページのメタデータの更新はほとんどなく、残りの0〜1ページのメタデータの更新頻度が高い場合には、0〜1ページの送信頻度は2〜9ページの送信頻度に比べて高くされてもよい。この場合、例えば、常時は0,1,0,1,・・・の順に各ページのメタデータを送信しており、偶に、0,1,・・・,9の順に各ページのメタデータを送信するようにされる。
このように非圧縮RAWデータに関連したメタデータを非圧縮RAWデータと共に送信することで、受信側では、非圧縮RAWデータに関連したメタデータを、非圧縮RAWデータに対応付けて適切かつ容易に取得可能となる。
「非圧縮RAWデータの送信識別情報」
撮像装置100から受信装置200に非圧縮RAWデータを送信する場合、この非圧縮RAWデータと共に、非圧縮RAWデータの送信であることを示す識別情報を送信する。この実施の形態においては、上述したようにペイロード部に非圧縮RAWデータが格納されたVSIFパケットは、非圧縮RAWデータの送信であることを示す識別情報の機能を合わせ持つ。受信側は、このVSIFパケットが存在することで、非圧縮RAWデータの送信であることを容易に識別でき、適切な処理を行うことが可能となる。
「出力制御処理」
撮像装置100の制御部103は、受信装置200が非圧縮RAWデータに対応しているか等の情報に基づいて、受信装置200に非圧縮RAWデータを送信するか、受信装置200に非圧縮YCデータを送信するか、何も送信しないかを、制御する。
受信装置200のHDMI受信部202は上述したようにメモリ部222を有し、そのメモリ部222には受信装置200の構成および可能な機能に関する情報が設定されたEDID ROM231が含まれている(図2参照)。この実施の形態において、受信装置200が非圧縮RAWデータに対応している場合、EDID ROM231に記録されたVSVDB(Vendor-Specific Video Data Block)に、受信装置200が非圧縮RAWデータに対応していることを示す識別情報が含まれる。
図11(a)は、EDIDの基本構造を示している。このEDIDは、128バイトの基本ブロック(Base block)と128バイトの拡張ブロック(CTA Extension)からなっている。拡張ブロックには、図11(b)に示すように、いくつかの種類のデータブロックが存在し、その中にVSVDBというデータブロックが定義されている。
図11(c)は、非圧縮RAWデータに対応していることを示す識別情報を含むVSVDBの構造の一例を示している。第1バイトの第7ビットから第5ビットには、“Vendor−Specific tag code(0x7)”が定義され、第1バイトの第4ビットから第0ビットには、以降のデータ長Length(0x06)が定義されている。また、第2バイトには、“Extended tag code(0x01)”が定義されている。第3バイト(PB1)〜第5バイト(PB3)には、製品ベンダーの24ビットのIEEE OUI(Organizationally Unique Identifier)が配置される。
そして、第6バイトには、“Sink Vendor ID(例えば0x01)”が配置され、第7バイトには、“Function Code(例えば0x01)”が配置される。この情報が、受信装置200が非圧縮RAWデータに対応していることを示す識別情報を構成している。
図12のシーケンス図は、接続当初における、受信装置200のEDID ROM231から読み出されるEDIDに基づく、撮像装置100の出力処理の一例を示している。
撮像装置100と受信装置200のそれぞれの電源がオンとされた状態で、それぞれがHDMIケーブル300で接続されると、撮像装置100から受信装置200に、EDID Readアクセスが送られる。これに対して、EDID ROM231からEDIDが読み出され、そのEDIDは撮像装置100に送られる。
撮像装置100は、受信装置200から送られてきたEDIDを受信し、このEDIDに基づき、出力判断処理を行って、RAWデータを出力するか、YCデータを出力するか、何も出力しないかを決定する。そして、撮像装置100は、RAWデータを出力すると決定した場合には、受信装置200に非圧縮RAWデータを送信し、YCデータを出力すると決定した場合には、受信装置200に非圧縮YCデータを送信し、さらには何も出力しないと決定した場合には、受信装置200に何も出力しない。
図13のフローチャートは、撮像装置100の制御部103における出力判断処理の一例を示している。まず、制御部103は、ステップST1において、EDIDを解析する。次に、制御部103は、ステップST2において、受信装置200がRAW受信対応であるか、つまり受信装置200が非圧縮RAWデータに対応しているか否かを判断する。制御部103は、EDIDに、受信装置200が非圧縮RAWデータに対応していることを示す識別情報を含むVSVDBが存在するときは、受信装置200がRAW受信対応であると判断する。
ステップST2でRAW受信対応であると判断するとき、制御部103は、ステップST3において、システム内部をRAW出力許可状態にする。そして、制御部103は、ステップST4において、図14(a)に示すように、HDMI出力選択メニューを、表示部に表示する。このHDMI出力選択メニューでは、ユーザはRAW出力をする/しないの選択が可能となっている。図示の例では、RAW出力をする、が選択された状態を示している。なお、ここでは、YC出力をする/しないの選択は無効とされている。
次に、制御部103は、ステップST5において、RAW出力する、が選択されたか否かを判断する。RAW出力する、が選択されたと判断するとき、制御部103は、ステップST6において、RAW出力をすることに決定する。
ステップST5でユーザがRAW出力しない、が選択されたと判断するとき、制御部103は、ステップST7において、システム内部をRAW出力非許可状態にする。次に、制御部103は、ステップST8において、図14(b)に示すように、HDMI出力選択メニューを、表示部に表示する。このHDMI出力選択メニューでは、ユーザはYC出力をする/しないの選択が可能となっている。図示の例では、YC出力をしない、が選択された状態を示している。
ステップST2でRAW受信対応でないと判断するとき、制御部103は、ステップST9において、システム内部をRAW出力非許可状態にする。次に、制御部103は、ステップST10において、図14(c)に示すように、HDMI出力選択メニューを、表示部に表示する。このHDMI出力選択メニューでは、ユーザはYC出力をする/しないの選択が可能となっている。図示の例では、YC出力をする、が選択された状態を示している。なお、ここでは、RAW出力をする/しないの選択は無効とされている。
ステップST8の処理の後、あるいはステップST10の処理の後、制御部103は、ステップST11において、YC出力する、が選択されたか否かを判断する。YC出力する、が選択されたと判断するとき、制御部103は、ステップST12において、YC出力をすることに決定する。一方、YC出力しない、が選択されたと判断するとき、制御部103は、ステップST13において、何も出力しないことに決定する。
なお、上述では、EDID ROM231に記録されたVSVDBに含まれる、受信装置200が非圧縮RAWデータに対応していることを示す識別情報を利用した例を示した。しかし、SCDCレジスタ部232のマニュファクチャ領域、つまりマニュファクチャ・スペシフィック・レジスタ(Manufacturer Specific Registers)に書き込まれている、受信装置200が非圧縮RAWデータに対応していることを示す識別情報を利用することも考えられる。
図15は、マニュファクチャ・スペシフィック・レジスタにおけるデータ構造の一例を示している。オフセット“0xD0”〜“0xD2”の3バイトには、IEEEに申請して発行された会社コードである「Manufacture_OUI」が配置される。オフセット“0xD3”〜“0xDA”の8バイトには、機器の名称を示す文字列「Device_ID_String」が配置される。
オフセット“0xDB”の第7ビットから第4ビットの4ビットには、ハードウェアのメジャーリビジョン「Hardware_Major_Rev」が配置され、その第3ビットから第0ビットの4ビットには、ハードウェアのマイナーリビジョン「Hardware_Minor_Rev」が配置される。
オフセット“0xDC”の1バイトには、ソフトウェアのメジャーリビジョン「Software_Major_Rev」が配置される。オフセット“0xDD”の1バイトには、ソフトウェアのマイナーリビジョン「Software_Minor_Rev」が配置される。
オフセット“0xDE”の1バイトには、“Sink Vendor ID(例えば0x01)”が配置され、オフセット“0xDF”の1バイトには、“Function Code(例えば0x01)”が配置される。この情報が、受信装置200が非圧縮RAWデータに対応していることを示す識別情報を構成している。
オフセット“0xE0”の1バイトは、例えばステータス1の情報領域とされる。図示の例では、第7ビットには、信号停止要求情報が配置され、“1”は受信機器が信号停止を要求していることを示し、“0”は受信機器が受信可能な状態にあることを示す。また、図示の例では、その第0ビットには、RAW受信要求情報が配置され、“1”は受信機器がRAWデータを要求していることを示し、“0”は受信機器がYCデータを要求していることを示す。また、オフセット“0xE1” の1バイトは、例えばステータス2の情報領域とされる。図示の例では、第0ビットには、RECステータス情報が配置され、“1”は受信機器が受信したデータを処理中、つまり記録中であることを示し、“0”は受信機器が受信したデータを処理していないことを示す。
図16のシーケンス図は、接続当初における、受信装置200のSCDCレジスタ部232から読み出されるマニュファクチャ領域データに基づく、撮像装置100の出力処理の一例を示している。
撮像装置100と受信装置200のそれぞれの電源がオンとされた状態で、それぞれがHDMIケーブル300で接続されると、撮像装置100から受信装置200に、SCDC Readアクセス(マニュファクチャ領域のReadアクセス)が送られる。これに対して、SCDCレジスタ部232のマニュファクチャ領域データが読み出され、そのマニュファクチャ領域データは撮像装置100に送られる。
撮像装置100は、受信装置200から送られてきたマニュファクチャ領域データを受信し、このマニュファクチャ領域データに基づき、出力判断処理を行って、RAWデータを出力するか、YCデータを出力するか、何も出力しないかを決定する。この出力判断処理は、受信装置200がRAW受信対応であるとの判断を、受信装置200が非圧縮RAWデータに対応していることを示す識別情報がマニュファクチャ領域データに含まれることで行うことを除き、図12のシーケンス図における撮像装置100の出力判断処理(図13参照)と同様である。
撮像装置100は、RAWデータを出力すると決定した場合には、受信装置200に非圧縮RAWデータを送信し、YCデータを出力すると決定した場合には、受信装置200に非圧縮YCデータを送信し、さらには何も出力しないと決定した場合には、受信装置200に何も出力しない。
図17のシーケンス図は、撮像装置100が受信装置200に非圧縮RAWデータを送信している状態で、ユーザが受信装置200における記録停止操作を行った場合における、撮像装置100の出力処理の一例を示している。
受信装置200側でユーザが記録停止操作を行った場合、受信装置200の制御部203は、SCDCレジスタ部232のマニュファクチャ領域のオフセット“0xE1”の第0ビットのRECステータス情報を“1”から“0”に変更する。そして、受信装置200から撮像装置100にReadリクエストが発行される。
このReadリクエストの発行があると、撮像装置100から受信装置200に、SCDC Readアクセス(マニュファクチャ領域のReadアクセス)が送られる。これに対して、SCDCレジスタ部232のマニュファクチャ領域データが読み出され、そのマニュファクチャ領域データは撮像装置100に送られる。
撮像装置100の制御部103は、ステップST21において、マニュファクチャ領域データを解析する。次に、制御部103は、ステップST22において、オフセット“0xE1”の第0ビットのRECステータス情報が“0”に変更されていることから、受信装置200側が記録停止したことを把握する。次に制御部103は、ステップST23において、RAW出力からYC出力に切り替えることを決定する。この決定に基づいて、撮像装置100は、非圧縮RAWデータに代えて、非圧縮YCデータを送信する。
なお、上述では、受信装置200が非圧縮RAWデータに対応している場合に、撮像装置100は、非圧縮RAWデータを受信装置200に送信することが可能となるように説明した。しかし、受信装置200が非圧縮RAWデータに対応しており、かつ受信装置200が非圧縮RAWデータの受信を要求している場合に、撮像装置100が受信装置200に非圧縮RAWデータを送信することが可能となるようにされてもよい。その場合、撮像装置100は、マニュファクチャ領域データのオフセット“0xE0”の第0ビットのRAW受信要求情報に基づいて、受信装置200が非圧縮RAWデータの受信を要求しているか否かを判断することが可能である。
また、上述では、受信装置200が信号受信可能な状態にあるか否かについて言及していないが、受信装置200が信号受信可能な状態にある場合のみ、撮像装置100は、受信装置200に、非圧縮RAWデータや非圧縮YCデータを送信することが可能となるようにされてもよい。その場合、撮像装置100は、マニュファクチャ領域データのオフセット“0xE0”の第7ビットの信号停止要求情報に基づいて、受信装置200が信号受信可能な状態にあるか否かを判断することが可能である。
「撮像装置の構成例」
図18は、撮像装置100の構成例を示している。撮像装置100は、HDMIコネクタとしてのレセプタクル101と、HDMI送信部102と、制御部103と、ユーザ操作部104と、イメージャ105と、RAWデータ処理部106と、RAWデータメモリ107と、RAWデータ圧縮/伸長部108と、現像処理部109と、YCデータメモリ110と、YCデータ圧縮/伸長部111と、記録/再生部112と、表示部113を有している。
制御部103は、CPU(Central Processing Unit)を備えており、撮像装置100の全体を制御する。ユーザ操作部104は、制御部103に接続されており、ユーザが種々の操作を行うためのユーザインタフェースを構成している。
イメージャ105は、例えば、C−MOS撮像素子、あるいはCCD撮像素子により構成され、撮像画像データとして非圧縮RAWデータを出力する。この非圧縮RAWデータは、例えば、ベイヤー配列の非圧縮RAWデータである(図4参照)。
RAWデータ処理部106は、イメージャ105から出力された非圧縮RAWデータに対して、ノイズリダクション、欠陥補正、オートホワイトバランス等の処理をする。なお、このRAWデータ処理部106は、無くてもよい。RAWデータメモリ107は、例えば、DRAM(Dynamic Random Access Memory)で構成され、非圧縮RAWデータや圧縮RAWデータを一時的に記憶するメモリである。RAWデータ圧縮/伸長部108は、非圧縮RAWデータを圧縮して圧縮RAWデータを得る処理、あるいは圧縮RAWデータを伸長して非圧縮RAWデータを得る処理をする。なお、このRAWデータ圧縮/伸長部108は、無くてもよい。
現像処理部109は、非圧縮RAWデータを現像して非圧縮YCデータを得る処理をする。YCデータメモリ110は、例えば、DRAMで構成され、非圧縮YCデータや圧縮YCデータを一時的に記憶するメモリである。YCデータ圧縮/伸長部111は、非圧縮YCデータを圧縮して圧縮YCデータを得る処理、あるいは圧縮YCデータを伸長して非圧縮YCデータを得る処理をする。
記録/再生部112は、図示しない記録媒体対して、圧縮RAWデータや圧縮YCデータの記録再生をする。記録媒体は、例えば、光ディスク、ハードディスク、半導体メモリなどである。表示部113は、例えば、液晶ディスプレイ、有機ELディスプレイ等からなり、画像やUI画面を表示する。HDMI送信部102は、HDMIに準拠した通信により、HDMIケーブル300を介して、非圧縮RAWデータ、あるいは非圧縮YCデータを、レセプタクル101およびHDMIケーブル300を通じて、受信装置200に送信する。
次に、図18に示す撮像装置100の動作例を説明する。まず、イメージャ105で撮像して得られた非圧縮RAWデータを受信装置200に送信する場合の動作例を説明する。
イメージャ105からは、画素毎のビット長が16ビットであるベイヤー配列の非圧縮RAWデータが出力される。この非圧縮RAWデータは、RAWデータ処理部106でノイズリダクション、欠陥補正、オートホワイトバランス等の処理が施された後にRAWデータメモリ107に一時的に書き込まれる。この場合、非圧縮RAWデータの各ピクセルのデータがRAWデータメモリ107に順次書き込まれる(図7(a)参照)。
RAWデータメモリ107に順次書き込まれた非圧縮RAWデータは、このRAWデータメモリ107から順次読み出されてHDMI送信部102に供給される。HDMI送信部102では、アクティブビデオ区間に非圧縮RAWデータが格納されたTMDS伝送データ(図3参照)が生成され、このTMDS伝送データがHDMIコネクタとしてのレセプタクル101を通じて、受信装置200に送信される。
この場合、HDMI送信部102では、YC12ビット転送モードが用いられて、非圧縮RAWデータは、TMDSチャネル#0乃至#2の各チャネルにパッキングされる(図7(b1),(b2)参照)。また、HDMI送信部102では、TMDS伝送データの垂直ブランキング区間にVSIFパケット(図9、図10参照)が挿入される。このVSIFパケットのペイロード部には、非圧縮RAWデータに関連したメタデータが格納される。
なお、イメージャ105で撮像して得られた非圧縮RAWデータを受信装置200に送信する場合、ユーザ操作に応じて、記録/再生部112で、撮像画像データを、圧縮RAWデータ、あるいは圧縮YCデータの形式で記録することが行われる。
圧縮RAWデータの形式で記録する場合について説明する。この場合、RAWデータメモリ107に書き込まれた非圧縮RAWデータは、このRAWデータメモリ107から読み出されて、RAWデータ圧縮/伸長部108に供給される。このRAWデータ圧縮/伸長部108では、非圧縮RAWデータに対して圧縮処理が施されて圧縮RAWデータが得られる。そして、このようにRAWデータ圧縮/伸長部108で得られた圧縮RAWデータは記録/再生部112に供給されて記録される。
圧縮YCデータの形式で記録する場合について説明する。この場合、RAWデータメモリ107に書き込まれた非圧縮RAWデータは、このRAWデータメモリ107から読み出されて、現像処理部109に供給される。この現像処理部109では、非圧縮RAWデータに対して現像処理が施されて、非圧縮YCデータ、例えばYCbCr 4:2:2方式の画像データが得られる。
このように現像処理部109で得られた非圧縮YCデータは、YCデータメモリ110に一時的に書き込まれる。YCデータメモリ110に書き込まれた非圧縮YCデータは、このYCデータメモリ110から順次読み出されてYCデータ圧縮/伸長部111に供給される。このYCデータ圧縮/伸長部111では、非圧縮YCデータに対して圧縮処理が施されて圧縮YCデータが得られる。そして、このようにYCデータ圧縮/伸長部111で得られた圧縮YCデータは記録/再生部112に供給されて記録される。
また、イメージャ105で撮像して得られた非圧縮RAWデータを受信装置200に送信する場合、表示部113に、その撮像画像を表示することが行われる。この場合、RAWデータメモリ107に書き込まれた非圧縮RAWデータは、このRAWデータメモリ107から読み出されて、現像処理部109に供給される。
この現像処理部109では、非圧縮RAWデータに対して現像処理が施されて、非圧縮YCデータが得られる。このように現像処理部109で得られた非圧縮YCデータは、YCデータメモリ110に一時的に書き込まれる。そして、YCデータメモリ110に書き込まれた非圧縮YCデータは表示部113に供給されて撮像画像が表示される。
次に、イメージャ105からの非圧縮RAWデータを現像して得られた非圧縮YCデータを受信装置200に送信する場合の動作例を説明する。
この場合、イメージャ105からは、画素毎のビット長が16ビットであるベイヤー配列の非圧縮RAWデータが出力される。この非圧縮RAWデータは、RAWデータ処理部106でノイズリダクション、欠陥補正、オートホワイトバランス等の処理が施され、さらにRAWデータ圧縮/伸長部108で圧縮処理が施された後にRAWデータメモリ107に一時的に書き込まれる。
RAWデータメモリ107に書き込まれた圧縮RAWデータは、このRAWデータメモリ107から読み出されてRAWデータ圧縮/伸長部108に供給される。このRAWデータ圧縮/伸長部108では圧縮RAWデータに対して伸長処理が施されて、非圧縮RAWデータが得られる。この非圧縮RAWデータは現像処理部109に供給される。
この現像処理部109では、非圧縮RAWデータに対して現像処理が施されて、非圧縮YCデータ、例えばYCbCr 4:2:2方式の画像データが得られる。この非圧縮YCデータは、各ラインが、「Y:12ビット+Cb:12ビット」のピクセルと「Y:12ビット+Cr:12ビット」のピクセルが交互に連続したものである。
このように現像処理部109で得られた非圧縮YCデータは、YCデータメモリ110に一時的に書き込まれる。この場合、非圧縮YCデータの各ピクセルのデータがYCデータメモリ110に順次書き込まれる(図6(a)参照)。YCデータメモリ110に順次書き込まれた非圧縮YCデータは、このYCデータメモリ110から順次読み出されてHDMI送信部102に供給される。
HDMI送信部102では、アクティブビデオ区間にYCデータが格納されたTMDS伝送データ(図3参照)が生成され、このTMDS伝送データがHDMIコネクタとしてのレセプタクル101を通じて、受信装置200に送信される。この場合、HDMI送信部102では、YC12ビット転送モードが用いられて、YCデータは、TMDSチャネル#0乃至#2の各チャネルにパッキングされる(図6(b)参照)。
なお、イメージャ105からの非圧縮RAWデータを現像して得られた非圧縮YCデータを受信装置200に送信する場合、ユーザ操作に応じて、記録/再生部112で、撮像画像データを、圧縮RAWデータ、あるいは圧縮YCデータの形式で記録することが行われる。
圧縮RAWデータの形式で記録する場合について説明する。この場合、RAWデータメモリ107に書き込まれた圧縮RAWデータは、このRAWデータメモリ107から読み出されて記録/再生部112に供給されて記録される。
次に、圧縮YCデータの形式で記録する場合について説明する。この場合、RAWデータメモリ107に書き込まれた圧縮RAWデータは、このRAWデータメモリ107から読み出されて、RAWデータ圧縮/伸長部108に供給される。このRAWデータ圧縮/伸長部108では圧縮RAWデータに対して伸長処理が施されて、非圧縮RAWデータが得られる。この非圧縮RAWデータは現像処理部109に供給される。この現像処理部109では、非圧縮RAWデータに対して現像処理が施されて、非圧縮YCデータ、例えばYCbCr 4:2:2方式の画像データが得られる。
このように現像処理部109で得られた非圧縮YCデータは、YCデータメモリ110に一時的に書き込まれる。YCデータメモリ110に書き込まれた非圧縮YCデータは、このYCデータメモリ110から読み出されてYCデータ圧縮/伸長部111に供給される。このYCデータ圧縮/伸長部111では、非圧縮YCデータに対して圧縮処理が施されて圧縮YCデータが得られる。そして、このようにYCデータ圧縮/伸長部111で得られた圧縮YCデータは記録/再生部112に供給されて記録される。
また、イメージャ105からの非圧縮RAWデータを現像して得られた非圧縮YCデータを受信装置200に送信する場合、表示部113に、その撮像画像を表示することが行われる。この場合、RAWデータメモリ107に書き込まれた圧縮RAWデータは、このRAWデータメモリ107から読み出されて、RAWデータ圧縮/伸長部108に供給される。このRAWデータ圧縮/伸長部108では圧縮RAWデータに対して伸長処理が施されて、非圧縮RAWデータが得られる。
この非圧縮RAWデータは現像処理部109に供給される。この現像処理部109では、非圧縮RAWデータに対して現像処理が施されて、非圧縮YCデータ、例えばYCbCr 4:2:2方式の画像データが得られる。このように現像処理部109で得られた非圧縮YCデータは、YCデータメモリ110に一時的に書き込まれる。そして、YCデータメモリ110に書き込まれた非圧縮YCデータは表示部113に供給されて撮像画像が表示される。
次に、記録/再生部112で再生された圧縮RAWデータに係る非圧縮RAWデータあるいは非圧縮YCデータを受信装置200に送信する場合の動作例を説明する。
非圧縮RAWデータを送信する場合について説明する。この場合、記録/再生部112で再生された圧縮RAWデータは、RAWデータ圧縮/伸長部108に供給される。このRAWデータ圧縮/伸長部108では圧縮RAWデータに対して伸長処理が施されて、非圧縮RAWデータが得られる。この非圧縮RAWデータは、RAWデータメモリ107に一時的に書き込まれる。この場合、非圧縮RAWデータの各ピクセルのデータがRAWデータメモリ107に順次書き込まれる(図7(a)参照)。
RAWデータメモリ107に順次書き込まれた非圧縮RAWデータは、このRAWデータメモリ107から順次読み出されてHDMI送信部102に供給される。HDMI送信部102では、アクティブビデオ区間に非圧縮RAWデータが格納されたTMDS伝送データ(図3参照)が生成され、このTMDS伝送データがHDMIコネクタとしてのレセプタクル101を通じて、受信装置200に送信される。
この場合、HDMI送信部102では、YC12ビット転送モードが用いられて、非圧縮RAWデータは、TMDSチャネル#0乃至#2の各チャネルにパッキングされる(図7(b1),(b2)参照)。また、HDMI送信部102では、TMDS伝送データの垂直ブランキング区間にVSIFパケット(図9、図10参照)が挿入される。このVSIFパケットのペイロード部には、非圧縮RAWデータに関連したメタデータが格納される。
次に、非圧縮YCデータを送信する場合について説明する。この場合、記録/再生部112で再生された圧縮RAWデータは、RAWデータ圧縮/伸長部108に供給される。このRAWデータ圧縮/伸長部108では圧縮RAWデータに対して伸長処理が施されて、非圧縮RAWデータが得られる。
この非圧縮RAWデータは現像処理部109に供給される。この現像処理部109では、非圧縮RAWデータに対して現像処理が施されて、非圧縮YCデータ、例えばYCbCr 4:2:2方式の画像データが得られる。この非圧縮YCデータは、各ラインが、「Y:12ビット+Cb:12ビット」のピクセルと「Y:12ビット+Cr:12ビット」のピクセルが交互に連続したものである。
このように現像処理部109で得られた非圧縮YCデータは、YCデータメモリ110に一時的に書き込まれる。この場合、非圧縮YCデータの各ピクセルのデータがYCデータメモリ110に順次書き込まれる(図6(a)参照)。YCデータメモリ110に順次書き込まれた非圧縮YCデータは、このYCデータメモリ110から順次読み出されてHDMI送信部102に供給される。
HDMI送信部102では、アクティブビデオ区間にYCデータが格納されたTMDS伝送データ(図3参照)が生成され、このTMDS伝送データがHDMIコネクタとしてのレセプタクル101を通じて、受信装置200に送信される。この場合、HDMI送信部102では、YC12ビット転送モードが用いられて、YCデータは、TMDSチャネル#0乃至#2の各チャネルにパッキングされる(図6(b)参照)。
次に、記録/再生部112で再生された圧縮YCデータに係る非圧縮YCデータを受信装置200に送信する場合の動作例を説明する。
この場合、記録/再生部112で再生された圧縮YCデータは、YCデータ圧縮/伸長部111に供給される。このYCデータ圧縮/伸長部111では圧縮YCデータに対して伸長処理が施されて、非圧縮YCデータ、例えばYCbCr 4:2:2方式の画像データが得られる。この非圧縮YCデータは、各ラインが、「Y:12ビット+Cb:12ビット」のピクセルと「Y:12ビット+Cr:12ビット」のピクセルが交互に連続したものである。
このようにYCデータ圧縮/伸長部111で得られた非圧縮YCデータは、YCデータメモリ110に一時的に書き込まれる。この場合、非圧縮YCデータの各ピクセルのデータがYCデータメモリ110に順次書き込まれる(図6(a)参照)。YCデータメモリ110に順次書き込まれた非圧縮YCデータは、このYCデータメモリ110から順次読み出されてHDMI送信部102に供給される。
HDMI送信部102では、アクティブビデオ区間にYCデータが格納されたTMDS伝送データ(図3参照)が生成され、このTMDS伝送データがHDMIコネクタとしてのレセプタクル101を通じて、受信装置200に送信される。この場合、HDMI送信部102では、YC12ビット転送モードが用いられて、YCデータは、TMDSチャネル#0乃至#2の各チャネルにパッキングされる(図6(b)参照)。
次に、記録/再生部112で再生された圧縮RAWデータあるいは圧縮YCデータに係る画像を表示部113に表示する場合の動作例を説明する。
圧縮RAWデータが再生される場合について説明する。この場合、記録/再生部112で再生された圧縮RAWデータは、RAWデータ圧縮/伸長部108に供給される。このRAWデータ圧縮/伸長部108では圧縮RAWデータに対して伸長処理が施されて、非圧縮RAWデータが得られる。
この非圧縮RAWデータは現像処理部109に供給される。この現像処理部109では、非圧縮RAWデータに対して現像処理が施されて、非圧縮YCデータ、例えばYCbCr 4:2:2方式の画像データが得られる。この非圧縮YCデータは、YCデータメモリ110に一時的に書き込まれる。そして、YCデータメモリ110に書き込まれた非圧縮YCデータは表示部113に供給されて再生画像が表示される。
次に、圧縮YCデータが再生される場合について説明する。この場合、記録/再生部112で再生された圧縮YCデータは、YC圧縮/伸長部111に供給される。このYC圧縮/伸長部111では圧縮YCデータに対して伸長処理が施されて、非圧縮YCデータが得られる。この非圧縮YCデータは、YCデータメモリ110に一時的記憶される。そして、YCデータメモリ110に書き込まれた非圧縮YCデータは表示部113に供給されて再生画像が表示される。
「受信装置の構成例」
図19は、受信装置200の構成例を示している。受信装置200は、HDMIコネクタとしてのレセプタクル201と、HDMI受信部202と、制御部203と、ユーザ操作部204と、RAWデータメモリ205と、RAWデータ圧縮/伸長部206と、現像処理部207と、YCデータメモリ208と、YCデータ圧縮/伸長部209と、記録/再生部210と、表示部211を有している。
制御部203は、CPU(Central Processing Unit)を備えており、受信装置200の全体を制御する。ユーザ操作部204は、制御部203に接続されており、ユーザが種々の操作を行うためのユーザインタフェースを構成している。
HDMI受信部202は、HDMIに準拠した通信により、非圧縮RAWデータ、あるいは非圧縮YCデータを、HDMIケーブル300およびレセプタクル201を通じて、撮像装置100から受信する。RAWデータメモリ205は、例えば、DRAM(Dynamic Random Access Memory)で構成され、非圧縮RAWデータや圧縮RAWデータを一時的に記憶するメモリである。RAWデータ圧縮/伸長部206は、非圧縮RAWデータを圧縮して圧縮RAWデータを得る処理、あるいは圧縮RAWデータを伸長して非圧縮RAWデータを得る処理をする。
現像処理部207は、非圧縮RAWデータを現像して非圧縮YCデータを得る処理をする。YCデータメモリ208は、例えば、DRAMで構成され、非圧縮YCデータや圧縮YCデータを一時的に記憶するメモリである。YCデータ圧縮/伸長部209は、非圧縮YCデータを圧縮して圧縮YCデータを得る処理、あるいは圧縮YCデータを伸長して非圧縮YCデータを得る処理をする。
記録/再生部210は、図示しない記録媒体に対して、圧縮RAWデータや圧縮YCデータの記録再生をする。記録媒体は、例えば、光ディスク、ハードディスク、半導体メモリなどである。表示部211は、例えば、液晶ディスプレイ、有機ELディスプレイ等からなり、画像やUI画面を表示する。
次に、図19に示す受信装置200の動作例を説明する。まず、非圧縮RAWデータを受信し、受信画像データを、圧縮RAWデータあるいは圧縮YCデータの形式で記録する場合の動作例を説明する。
この場合、HDMI受信部202では、アクティブビデオ区間に非圧縮RAWデータが格納されたTMDS伝送データ(図3参照)が受信され、非圧縮RAWデータが得られる。このTMDS伝送データの垂直ブランキング区間にVSIFパケット(図9、図10参照)が挿入されており、このVSIFパケットのペイロード部には、非圧縮RAWデータに関連したメタデータが格納されている。
HDMI受信部202ではVSIFパケットが抽出され、このVSIFパケットは、制御部203に送られる。制御部203では、このVSIFパケットが送られてくることで、非圧縮RAWデータの送信であることを認識する。また、制御部203は、このVSIFパケットのペイロード部から非圧縮RAWデータに関連したメタデータを取得し、非圧縮RAWデータに係る各部の処理、例えば現像処理などをそのメタデータに基づいて制御する。
圧縮RAWデータの形式で記録する場合について説明する。この場合、HDMI受信部202で得られた非圧縮RAWデータは、RAWデータメモリ205に一時的に書き込まれる。この場合、非圧縮RAWデータの各ピクセルのデータがRAWデータメモリ205に順次書き込まれる(図7(a)参照)。
RAWデータメモリ205に順次書き込まれた非圧縮RAWデータは、このRAWデータメモリ205から順次読み出されて、RAWデータ圧縮/伸長部206に供給される。このRAWデータ圧縮/伸長部206では、非圧縮RAWデータに対して圧縮処理が施されて圧縮RAWデータが得られる。そして、このようにRAWデータ圧縮/伸長部206で得られた圧縮RAWデータは記録/再生部210に供給されて記録される。
次に、圧縮YCデータの形式で記録する場合について説明する。この場合、HDMI受信部202で得られた非圧縮RAWデータは、RAWデータメモリ205に一時的に書き込まれる。この場合、非圧縮RAWデータの各ピクセルのデータがRAWデータメモリ205に順次書き込まれる(図7(a)参照)。
RAWデータメモリ205に順次書き込まれた非圧縮RAWデータは、このRAWデータメモリ205から順次読み出されて、現像処理部207に供給される。この現像処理部207では、非圧縮RAWデータに対して現像処理が施されて、非圧縮YCデータ、例えばYCbCr 4:2:2方式の画像データが得られる。
このように現像処理部207で得られた非圧縮YCデータは、YCデータメモリ208に一時的に書き込まれる。YCデータメモリ208に書き込まれた非圧縮YCデータは、このYCデータメモリ208から読み出されてYCデータ圧縮/伸長部209に供給される。このYCデータ圧縮/伸長部209では、非圧縮YCデータに対して圧縮処理が施されて圧縮YCデータが得られる。そして、このようにYCデータ圧縮/伸長部209で得られた圧縮YCデータは記録/再生部210に供給されて記録される。
なお、非圧縮RAWデータを受信し、受信画像データを、圧縮RAWデータあるいは圧縮YCデータの形式で記録する場合、表示部113に、画像表示をすることが行われる。この場合、RAWデータメモリ205に書き込まれた非圧縮RAWデータは、このRAWデータメモリ205から読み出されて、現像処理部207に供給される。
この現像処理部207では、非圧縮RAWデータに対して現像処理が施されて、非圧縮YCデータが得られる。このように現像処理部207で得られた非圧縮YCデータは、YCデータメモリ208に一時的に書き込まれる。そして、YCデータメモリ208に書き込まれた非圧縮YCデータは表示部211に供給されて撮像画像が表示される。
次に、非圧縮YCデータを受信し、受信画像データを、圧縮YCデータの形式で記録する場合の動作例を説明する。
この場合、HDMI受信部202では、アクティブビデオ区間に非圧縮YCデータが格納されたTMDS伝送データ(図3参照)が受信され、非圧縮YCデータ、例えばYCbCr 4:2:2方式の画像データが得られる。この非圧縮YCデータは、YCデータメモリ208に一時的に書き込まれる。
YCデータメモリ208に書き込まれた非圧縮YCデータは、このYCデータメモリ208から読み出されてYCデータ圧縮/伸長部209に供給される。このYCデータ圧縮/伸長部209では、非圧縮YCデータに対して圧縮処理が施されて圧縮YCデータが得られる。そして、このようにYCデータ圧縮/伸長部209で得られた圧縮YCデータは記録/再生部210に供給されて記録される。
次に、記録/再生部210で再生された圧縮RAWデータあるいは圧縮YCデータに係る画像を表示部113に表示する場合の動作例を説明する。
圧縮RAWデータが再生される場合について説明する。この場合、記録/再生部210で再生された圧縮RAWデータは、RAWデータ圧縮/伸長部206に供給される。このRAWデータ圧縮/伸長部206では圧縮RAWデータに対して伸長処理が施されて、非圧縮RAWデータが得られる。
この非圧縮RAWデータは現像処理部207に供給される。この現像処理部207では、非圧縮RAWデータに対して現像処理が施されて、非圧縮YCデータ、例えばYCbCr 4:2:2方式の画像データが得られる。この非圧縮YCデータは、YCデータメモリ208に一時的に書き込まれる。そして、YCデータメモリ208に書き込まれた非圧縮YCデータは表示部211に供給されて再生画像が表示される。
次に、圧縮YCデータが再生される場合について説明する。この場合、記録/再生部210で再生された圧縮YCデータは、YC圧縮/伸長部209に供給される。このYC圧縮/伸長部209では圧縮YCデータに対して伸長処理が施されて、非圧縮YCデータが得られる。この非圧縮YCデータは、YCデータメモリ208に一時的記憶される。そして、YCデータメモリ208に書き込まれた非圧縮YCデータは表示部211に供給されて再生画像が表示される。
以上説明したように、図1に示す撮像システム10において、撮像装置100は、非圧縮RAWデータを、HDMIケーブル300を介して、受信装置200に送信できる。そのため、機器間における非圧縮RAWデータの伝送を良好に行うことができる。そして、受信装置200では、図19には処理部の図示は省略しているが、画像データの編集処理や画質調整処理を良好に行うことができる。
また、図1に示す撮像システム10において、撮像装置100は、非圧縮RAWデータと共に非圧縮RAWデータに関連したメタデータを受信装置200に送信する。そのため、受信装置200は、非圧縮RAWデータに関連したメタデータを、非圧縮RAWデータに対応付けて適切かつ容易に取得でき、このメタデータに基づき非圧縮RAWデータに対する種々の処理を良好に行うことができる。
また、図1に示す撮像システム10において、撮像装置100は、画素毎のビット長が16ビットであるベイヤー配列の非圧縮RAWデータを、YC12ビット転送モードを用いて、HDMIケーブル300を介して、受信装置200に送信するものである。そのため、画素毎のビット長が16ビットであるベイヤー配列の非圧縮RAWデータを、従来のYC12ビット転送モードのHDMIの送受信系を有効に利用して良好に送信することができる。
<2.変形例>
なお、上述実施の形態においては、非圧縮RAWデータはベイヤー配列の非圧縮RAWデータである例を示したが、本技術において非圧縮RAWデータはベイヤー配列の非圧縮RAWデータに限定されるものではない。また、上述実施の形態においては、非圧縮RAWデータの画素毎のビット長が16ビットである例を示したが、本技術において画素毎のビット長は16ビットに限定されるものではない。
また、上述実施の形態においては、非圧縮RAWデータに関連したメタデータを、TMDS伝送データの垂直ブランキング区間に挿入されるVSIFパケットのペイロード部に格納して送信する例を示した。しかし、本技術において、非圧縮RAWデータに関連したメタデータを非圧縮RAWデータと共に送信する方法は、これに限定されるものではない。例えば、TMDS伝送データの垂直ブランキング区間に挿入される他のデータパケットを利用して送信してもよく、アクティブビデオ区間の非圧縮RAWデータが格納されていない領域(図8のダミーデータ領域)に格納して送信してもよい。
また、上述実施の形態においては、非圧縮RAWデータの送信であることを示す識別情報をTMDS伝送データのブランキング区間に挿入して送信する例を示した。具体的には、非圧縮RAWデータに関連したメタデータをペイロード部に格納したVSIFパケットが、非圧縮RAWデータの送信であることを示す識別情報の機能を合わせ持つ例を示した。しかし、本技術において、非圧縮RAWデータの送信であることを示す識別情報を、他の手法で送信してもよい。例えば、CECラインを使用した通信で、撮像装置100から受信装置200に通知することも可能である。
また、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、本技術は、以下のような構成もとることができる。
(1)非圧縮RAWデータを、HDMI伝送路を介して、外部機器に送信する送信部を備える
送信装置。
(2)前記非圧縮RAWデータは、ベイヤー配列の非圧縮RAWデータである
前記(1)に記載の送信装置。
(3)前記非圧縮RAWデータの画素毎のビット長は16ビットであり、
前記送信部は、前記非圧縮RAWデータを、YC12ビット転送モードを用いて送信する
前記(2)に記載の送信装置。
(4)前記送信部は、前記非圧縮RAWデータと共に、該非圧縮RAWデータに関連したメタデータを送信する
前記(1)から(3)のいずれかに記載の送信装置。
(5)前記送信部は、前記非圧縮RAWデータの各フレームに前記メタデータを付加して送信する
前記(4)に記載の送信装置。
(6)前記送信部は、
アクティブビデオ区間と垂直ブランキング区間とを含むTMDS(Transition Minimized Differential Signaling)伝送データのうちの
前記アクティブビデオ区間に前記非圧縮RAWデータを格納し、
前記垂直ブランキング区間に挿入されるデータパケットのペイロード部に前記メタデータを格納して送信する
前記(5)に記載の送信装置。
(7)前記メタデータは、第1の更新頻度の高更新頻度メタデータと、前記第1の更新頻度より低い更新頻度の第2の更新頻度の低更新頻度メタデータとからなり、
前記データパケットのペイロード部は、前記高更新頻度メタデータを格納する第1の領域と、前記低更新頻度メタデータを格納する第2の領域を有する
前記(6)に記載の送信装置。
(8)前記第2の領域には、ページ番号の情報を格納するページ番号領域が含まれ、該ページ番号に対応したメタデータが格納される
前記(7)に記載の送信装置。
(9)前記第2の領域には、総ページ数の情報を格納する総ページ数領域がさらに含まれる
前記(8)に記載の送信装置。
(10)前記第2の領域に格納されて送信される各ページに対応したメタデータの送信頻度は、それぞれのメタデータの優先度に応じて変更される
前記(8)または(9)に記載の送信装置。
(11)前記データパケットは、VSIF(Vendor Specific InfoFrame)パケットである
前記(6)から(10)のいずれかに記載の送信装置。
(12)前記送信部は、
アクティブビデオ区間を含むTMDS(Transition Minimized Differential Signaling)伝送データのうちの
前記アクティブビデオ区間に前記非圧縮RAWデータを格納し、
前記アクティブビデオ区間の前記非圧縮RAWデータが格納されていない領域に前記メタデータを格納して送信する
前記(5)に記載の送信装置。
(13)前記送信部は、前記非圧縮RAWデータと共に、該非圧縮RAWデータの送信であることを示す識別情報を送信する
前記(1)から(12)のいずれかに記載の送信装置。
(14)前記送信部は、
アクティブビデオ区間と垂直ブランキング区間とを含むTMDS(Transition Minimized Differential Signaling)伝送データのうちの
前記アクティブビデオ区間に前記非圧縮RAWデータを格納し、
前記垂直ブランキング区間に前記識別情報を挿入して送信する
前記(13)に記載の送信装置。
(15)前記送信部は、前記識別情報として、前記垂直ブランキング区間に所定データパケットを挿入する
前記(14)に記載の送信装置。
(16)前記所定データパケットのペイロード部には、前記非圧縮RAWデータに関連するメタデータが格納される
前記(15)に記載の送信装置。
(17)前記非圧縮RAWデータを出力するイメージャをさらに備える
前記(1)から(16)のいずれかに記載の送信装置。
(18)前記送信部は、前記非圧縮RAWデータを現像して得られたYCデータを、前記HDMI伝送路を介して、前記外部機器に送信する機能をさらに備える
前記(1)から(17)のいずれかに記載の送信装置。
(19)非圧縮RAWデータを、HDMI伝送路を介して、外部機器に送信する手順を有する
送信方法。
(20)外部機器から、HDMI伝送路を介して、非圧縮RAWデータを受信する受信部と、
前記受信部で受信された前記非圧縮RAWデータを処理する処理部を備える
受信装置。
10・・・・撮像システム
100・・・撮像装置
101・・・レセプタクル(HDMIコネクタ)
102・・・HDMI送信部
103・・・制御部
104・・・ユーザ操作部
105・・・イメージャ
106・・・RAWデータ処理部
107・・・RAWデータメモリ
108・・・RAWデータ圧縮/伸長部
109・・・現像処理部
110・・・YCデータメモリ
111・・・YCデータ圧縮/伸長部
112・・・記録/再生部
113・・・表示部
121・・・HDMIトランスミッタ
122・・・IICマスターブロック
200・・・受信装置
201・・・レセプタクル(HDMIコネクタ)
202・・・HDMI受信部
203・・・制御部
204・・・ユーザ操作部
205・・・RAWデータメモリ
206・・・RAWデータ圧縮/伸長部
207・・・現像処理部
208・・・YCデータメモリ
209・・・YCデータ圧縮/伸長部
210・・・記録/再生部
211・・・表示部
221・・・HDMIレシーバ
222・・・メモリ部
231・・・EDID ROM
232・・・SCDCレジスタ部
300・・・HDMIケーブル
301,302・・・プラグ(HDMIコネクタ)

Claims (20)

  1. 非圧縮RAWデータを、HDMI伝送路を介して、外部機器に送信する送信部を備える
    送信装置。
  2. 前記非圧縮RAWデータは、ベイヤー配列の非圧縮RAWデータである
    請求項1に記載の送信装置。
  3. 前記非圧縮RAWデータの画素毎のビット長は16ビットであり、
    前記送信部は、前記非圧縮RAWデータを、YC12ビット転送モードを用いて送信する
    請求項2に記載の送信装置。
  4. 前記送信部は、前記非圧縮RAWデータと共に、該非圧縮RAWデータに関連したメタデータを送信する
    請求項1に記載の送信装置。
  5. 前記送信部は、前記非圧縮RAWデータの各フレームに前記メタデータを付加して送信する
    請求項4に記載の送信装置。
  6. 前記送信部は、
    アクティブビデオ区間と垂直ブランキング区間とを含むTMDS(Transition Minimized Differential Signaling)伝送データのうちの
    前記アクティブビデオ区間に前記非圧縮RAWデータを格納し、
    前記垂直ブランキング区間に挿入されるデータパケットのペイロード部に前記メタデータを格納して送信する
    請求項5に記載の送信装置。
  7. 前記メタデータは、第1の更新頻度の高更新頻度メタデータと、前記第1の更新頻度より低い更新頻度の第2の更新頻度の低更新頻度メタデータとからなり、
    前記データパケットのペイロード部は、前記高更新頻度メタデータを格納する第1の領域と、前記低更新頻度メタデータを格納する第2の領域を有する
    請求項6に記載の送信装置。
  8. 前記第2の領域には、ページ番号の情報を格納するページ番号領域が含まれ、該ページ番号に対応したメタデータが格納される
    請求項7に記載の送信装置。
  9. 前記第2の領域には、総ページ数の情報を格納する総ページ数領域がさらに含まれる
    請求項8に記載の送信装置。
  10. 前記第2の領域に格納されて送信される各ページに対応したメタデータの送信頻度は、それぞれのメタデータの優先度に応じて変更される
    請求項8に記載の送信装置。
  11. 前記データパケットは、VSIF(Vendor Specific InfoFrame)パケットである
    請求項6に記載の送信装置。
  12. 前記送信部は、
    アクティブビデオ区間を含むTMDS(Transition Minimized Differential Signaling)伝送データのうちの
    前記アクティブビデオ区間に前記非圧縮RAWデータを格納し、
    前記アクティブビデオ区間の前記非圧縮RAWデータが格納されていない領域に前記メタデータを格納して送信する
    請求項5に記載の送信装置。
  13. 前記送信部は、前記非圧縮RAWデータと共に、該非圧縮RAWデータの送信であることを示す識別情報を送信する
    前記1に記載の送信装置。
  14. 前記送信部は、
    アクティブビデオ区間と垂直ブランキング区間とを含むTMDS(Transition Minimized Differential Signaling)伝送データのうちの
    前記アクティブビデオ区間に前記非圧縮RAWデータを格納し、
    前記垂直ブランキング区間に前記識別情報を挿入して送信する
    請求項13に記載の送信装置。
  15. 前記送信部は、前記識別情報として、前記垂直ブランキング区間に所定データパケットを挿入する
    前記14に記載の送信装置。
  16. 前記所定データパケットのペイロード部には、前記非圧縮RAWデータに関連するメタデータが格納される
    請求項15に記載の送信装置。
  17. 前記非圧縮RAWデータを出力するイメージャをさらに備える
    請求項1に記載の送信装置。
  18. 前記送信部は、前記非圧縮RAWデータを現像して得られたYCデータを、前記HDMI伝送路を介して、前記外部機器に送信する機能をさらに備える
    請求項1に記載の送信装置。
  19. 非圧縮RAWデータを、HDMI伝送路を介して、外部機器に送信する手順を有する
    送信方法。
  20. 外部機器から、HDMI伝送路を介して、非圧縮RAWデータを受信する受信部と、
    前記受信部で受信された前記非圧縮RAWデータを処理する処理部を備える
    受信装置。
JP2020048240A 2020-03-18 2020-03-18 送信装置、送信方法および受信装置 Pending JP2021150790A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2020048240A JP2021150790A (ja) 2020-03-18 2020-03-18 送信装置、送信方法および受信装置
PCT/JP2021/009717 WO2021187292A1 (ja) 2020-03-18 2021-03-11 送信装置、送信方法および受信装置
EP21772141.4A EP4106317A4 (en) 2020-03-18 2021-03-11 Transmitter, transmission method, and receiver
US17/906,168 US12348896B2 (en) 2020-03-18 2021-03-11 Transmission device, transmission method, and reception device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020048240A JP2021150790A (ja) 2020-03-18 2020-03-18 送信装置、送信方法および受信装置

Publications (1)

Publication Number Publication Date
JP2021150790A true JP2021150790A (ja) 2021-09-27

Family

ID=77768241

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020048240A Pending JP2021150790A (ja) 2020-03-18 2020-03-18 送信装置、送信方法および受信装置

Country Status (4)

Country Link
US (1) US12348896B2 (ja)
EP (1) EP4106317A4 (ja)
JP (1) JP2021150790A (ja)
WO (1) WO2021187292A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023043274A (ja) * 2021-09-16 2023-03-29 株式会社三共 遊技機
JP2023043273A (ja) * 2021-09-16 2023-03-29 株式会社三共 遊技機
JP2023043275A (ja) * 2021-09-16 2023-03-29 株式会社三共 遊技機
US12361912B2 (en) 2022-07-07 2025-07-15 Samsung Electronics Co., Ltd. Electronic device supporting multi-EDID read operation and operating method

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117440063A (zh) * 2022-07-21 2024-01-23 华为技术有限公司 一种信号传输方法及装置

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6192399B1 (en) * 1997-07-11 2001-02-20 Inline Connections Corporation Twisted pair communication system
US8266657B2 (en) * 2001-03-15 2012-09-11 Sling Media Inc. Method for effectively implementing a multi-room television system
US7088398B1 (en) * 2001-12-24 2006-08-08 Silicon Image, Inc. Method and apparatus for regenerating a clock for auxiliary data transmitted over a serial link with video data
AU2003209890A1 (en) * 2002-03-15 2003-09-29 Gennum Corporation System and method for compensating line losses over a digital visual interface (dvi) link
US20060036788A1 (en) * 2002-09-24 2006-02-16 Monster Cable Products, Inc. HDMI cable interface
US6980091B2 (en) * 2002-12-10 2005-12-27 Current Technologies, Llc Power line communication system and method of operating the same
US7982763B2 (en) * 2003-08-20 2011-07-19 King Simon P Portable pan-tilt camera and lighting unit for videoimaging, videoconferencing, production and recording
US7292637B2 (en) * 2003-12-17 2007-11-06 Rambus Inc. Noise-tolerant signaling schemes supporting simplified timing and data recovery
US20060242669A1 (en) * 2005-04-20 2006-10-26 Jupiter Systems Display node for use in an audiovisual signal routing and distribution system
US20070206643A1 (en) * 2005-11-10 2007-09-06 X-Emi, Inc. Skew management in cables and other interconnects
JP4735311B2 (ja) * 2006-02-14 2011-07-27 パナソニック株式会社 音声処理装置
US8159927B2 (en) * 2007-02-16 2012-04-17 Gennum Corporation Transmit, receive, and cross-talk cancellation filters for back channelling
US20090049498A1 (en) * 2007-08-18 2009-02-19 Changrong Li Method to Extend HDMI and DVI Connections over Long Distances
JP5338166B2 (ja) 2008-07-16 2013-11-13 ソニー株式会社 送信装置、立体画像データ送信方法、受信装置および立体画像データ受信方法
US20100104029A1 (en) * 2008-10-27 2010-04-29 Inyeol Lee Independent link(s) over differential pairs using common-mode signaling
JP2010122743A (ja) * 2008-11-17 2010-06-03 Victor Co Of Japan Ltd Hdmi受信装置
EP2290834A1 (en) * 2009-08-25 2011-03-02 SMA Solar Technology AG Closed-circuit power line communication
JP5450118B2 (ja) * 2010-01-14 2014-03-26 ソニー株式会社 映像伝送装置、映像表示装置、映像表示システム、映像伝送方法及びコンピュータプログラム
JP2012039476A (ja) * 2010-08-09 2012-02-23 Sony Corp 送受信装置および送受信方法
GB2486436B (en) * 2010-12-14 2017-10-25 Gigle Networks Ltd Module for powerline communication transmission
US8947106B2 (en) * 2011-01-21 2015-02-03 Commscope, Inc. Of North Carolina Plug insertion detection circuits that sense a change in capacitance and related methods and communications connectors
CN106233743B (zh) 2014-05-01 2020-12-11 索尼公司 通信装置或通信方法以及计算机可读存储介质
JP6440509B2 (ja) * 2015-01-28 2018-12-19 東芝映像ソリューション株式会社 送信装置、受信装置、送信方法及び受信方法
EP3294145A4 (en) * 2015-05-08 2019-01-09 Samark Technology LLC NEEDLE IMAGING APPARATUS
US20170070654A1 (en) * 2015-09-09 2017-03-09 Samark Technology Llc Imaging needle apparatus
WO2017147605A1 (en) * 2016-02-26 2017-08-31 Samark Technology Llc Video needle syringe
JP6775386B2 (ja) * 2016-11-02 2020-10-28 キヤノン株式会社 撮像装置、その制御方法、プログラムならびに記録媒体
KR102407200B1 (ko) * 2017-09-19 2022-06-10 삼성전자주식회사 하나의 이미지 센서를 통해 획득된 rgb 이미지와 ir 이미지를 이용하여 기능을 제공하는 전자 장치
KR102560689B1 (ko) * 2017-09-26 2023-07-28 삼성전자주식회사 Ar 객체를 표시하기 위한 장치 및 방법
EP3462724A1 (en) * 2017-09-29 2019-04-03 Thomson Licensing Reduced optical crosstalk plenoptic imaging device, corresponding method, computer program product, computer-readable carrier medium and apparatus
US11612350B2 (en) * 2017-11-07 2023-03-28 Canfield Scientific, Incorporated Enhancing pigmentation in dermoscopy images
US10672098B1 (en) * 2018-04-05 2020-06-02 Xilinx, Inc. Synchronizing access to buffered data in a shared buffer

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023043274A (ja) * 2021-09-16 2023-03-29 株式会社三共 遊技機
JP2023043273A (ja) * 2021-09-16 2023-03-29 株式会社三共 遊技機
JP2023043275A (ja) * 2021-09-16 2023-03-29 株式会社三共 遊技機
US12361912B2 (en) 2022-07-07 2025-07-15 Samsung Electronics Co., Ltd. Electronic device supporting multi-EDID read operation and operating method

Also Published As

Publication number Publication date
EP4106317A4 (en) 2023-06-28
US20230114790A1 (en) 2023-04-13
WO2021187292A1 (ja) 2021-09-23
EP4106317A1 (en) 2022-12-21
US12348896B2 (en) 2025-07-01

Similar Documents

Publication Publication Date Title
WO2021187292A1 (ja) 送信装置、送信方法および受信装置
JP6217813B2 (ja) 受信装置および受信方法
US10015468B2 (en) Transmitting apparatus, stereo image data transmitting method, receiving apparatus, and stereo image data receiving method
JP6479656B2 (ja) 送信装置、ハイダイナミックレンジ画像データ送信方法、受信装置、ハイダイナミックレンジ画像データ受信方法およびプログラム
JP5593596B2 (ja) 映像信号送信装置および映像信号送信方法
JP4844230B2 (ja) 通信システム、送信装置及び受信装置、通信方法、並びにプログラム
US20100066906A1 (en) Transmission Method, Transmission System, Transmission Apparatus, and Reception Apparatus
JPWO2008056709A1 (ja) 受信装置、受信装置における遅延情報送信方法、音声出力装置および音声出力装置における遅延制御方法
JP6307856B2 (ja) 送信装置、広色域画像データ送信方法、受信装置、広色域画像データ受信方法およびプログラム
WO2021187295A1 (ja) 撮像装置および撮像装置の制御方法
JP6304417B2 (ja) 受信方法および受信装置
JP6098678B2 (ja) 送信方法および送信装置
JP5621944B2 (ja) 送信装置および送信方法
JP5583866B2 (ja) 送信装置、立体画像データ送信方法、受信装置および立体画像データ受信方法
JP2015029331A (ja) 送受信システム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200706