[go: up one dir, main page]

JP7414733B2 - 受信装置および送信装置 - Google Patents

受信装置および送信装置 Download PDF

Info

Publication number
JP7414733B2
JP7414733B2 JP2020559929A JP2020559929A JP7414733B2 JP 7414733 B2 JP7414733 B2 JP 7414733B2 JP 2020559929 A JP2020559929 A JP 2020559929A JP 2020559929 A JP2020559929 A JP 2020559929A JP 7414733 B2 JP7414733 B2 JP 7414733B2
Authority
JP
Japan
Prior art keywords
image
area
mode
data
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020559929A
Other languages
English (en)
Other versions
JPWO2020116213A1 (ja
Inventor
宏介 長野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of JPWO2020116213A1 publication Critical patent/JPWO2020116213A1/ja
Application granted granted Critical
Publication of JP7414733B2 publication Critical patent/JP7414733B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38—Information transfer, e.g. on bus
    • G06F13/42—Bus transfer protocol, e.g. handshake; Synchronisation
    • G06F13/4204—Bus transfer protocol, e.g. handshake; Synchronisation on a parallel bus
    • G06F13/4221—Bus transfer protocol, e.g. handshake; Synchronisation on a parallel bus being an input/output bus, e.g. ISA bus, EISA bus, PCI bus, SCSI bus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/42—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/443—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected 2D regions of the array, e.g. for windowing or digital zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/531—Control of the integration time by controlling rolling shutters in CMOS SSIS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/587—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
    • H04N25/589—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields with different integration times, e.g. short and long exposures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2213/00—Indexing scheme relating to interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F2213/0028—Serial attached SCSI [SAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本開示は、受信装置および送信装置に関する。
イメージセンサの画像露光の方法の一つに、取得する画像が適正な明るさになるようにイメージセンサの露光時間を調整するという方法がある。感度不足を露光時間で補おうとする従来の一般的な方式では、動く被写体を取得した場合、その露光時間の長さに応じて動きボケが発生してしまう。イメージセンサからの画像信号の取得時は露光時間をできるだけ短くすることで動きボケの発生をできるだけ抑え、２フレーム以上のフレームを使用して動き補償をすることで動きボケが発生しないように重ね合わせ、適正露光に対して感度不足になったりＳＮ比が悪化したりする問題を解決する手法が提案されている。
近年、イメージセンサの高解像度化が進んでいる。このような提案技術に関して、高解像度のイメージセンサを用いた場合に、複数枚の取得画像を転送するのに要する時間がハードウェアの制約による転送可能な時間を超えてしまうようなときには、イメージセンサ内にバッファとなるメモリが必要となってしまう。そのような問題に対応する従来技術として、例えば特許文献１～４などが提案されている。
特開２００８－１６０８８１号公報 特開平１１－３３１６４３号公報 特開２００１－２５０１１９号公報 特開２００２－２３０５４４号公報
しかし、特許文献１で開示された技術はハイダイナミックレンジの画像の生成に制約があり、特許文献２～４で開示された技術は、撮影後の画像から動きボケを推定して除去する方式であるため、複雑なアルゴリズムや回路が必要となってしまう。
そこで、本開示では、動きボケの発生と飽和する領域の発生とＳＮ比の低下の発生を同時に抑制することが可能な、新規かつ改良された受信装置および送信装置を提案する。
本開示によれば、撮像領域の全体の画像データを受信する第１のモードと、前記撮像領域の一部の領域のみを受信する第２のモードとの少なくともいずれかで画像データを受信する受信部と、前記受信部が受信した画像データに基づいて画像を生成する情報処理部と、を備え、前記情報処理部は、前記第２のモードで画像データを受信する際に、前記第１のモードとは異なるパラメータが付加された画像データを受信する、受信装置が提供される。
また本開示によれば、撮像領域の全体を読み出す第１のモードと、前記撮像領域の一部の領域を読み出す第２のモードとの少なくともいずれかで画像データを読み出す画像処理部と、前記画像処理部が読み出した画像データを所定のフォーマットに従う伝送信号に格納して伝送する送信部と、を備え、前記画像処理部は、前記第２のモードで画像を読み出す際に読み出し速度を可変とする、送信装置が提供される。
本実施形態に係る通信システム１０００の構成の一例を示す説明図である。 ＭＩＰＩ ＣＳＩ－２規格において定められるパケットのフォーマットを示す説明図である。 ＭＩＰＩ ＣＳＩ－２規格において定められるパケットのフォーマットを示す説明図である。 ＭＩＰＩ ＣＳＩ－２規格におけるパケットの送信に係る信号波形の一例を示す説明図である。 画像センサ１００の動作の概要を示す説明図である。 画像センサ１００の動作の概要を示す説明図である。 本実施形態に係る画像センサ１００の構成の一例を示すハードウェアブロック図である。 本実施形態に係る画像センサ１００が伝送するデータの具体例を示す説明図である。 本実施形態に係る画像センサ１００が伝送するデータの具体例を示す説明図である。 本実施形態に係るプロセッサ２００の構成の一例を表したものである。 画像センサ１００の動作の概要を示す説明図である。 画像センサ１００の動作の概要を示す説明図である。 本実施形態に係る画像センサ１００が伝送するデータの具体例を示す説明図である。 画像センサ１００の動作の概要を示す説明図である。 画像センサ１００の動作の概要を示す説明図である。 画像センサ１００の動作の概要を示す説明図である。 画像センサ１００の動作の概要を示す説明図である。 ＲＯＩ領域の例を示す説明図である。 ＲＯＩ領域のデータフォーマットを示す説明図である。 同実施形態に係る通信システムにおいて画像のデータの送信に利用されるパケットの構造の一例について説明するための説明図である。 パケットのヘッダに設けられる拡張領域について説明するための説明図である。 パケットのヘッダに設けられる拡張領域について説明するための説明図である。 送信されるデータのフォーマットについて説明するための説明図である。 パケットヘッダの構成の一例について説明するための説明図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
１．本開示の実施の形態
１．１．経緯
１．２．構成例
１．３．動作例
２．まとめ
＜１．本開示の実施の形態＞
［１．１．経緯］
まず、本開示の実施の形態について詳細に説明する前に、本開示の実施の形態に至った経緯について説明する。
イメージセンサの従来からの一般的な画像取得及び画像露光の方法の一つに、取得する画像が適正な明るさになるように、イメージセンサの露光時間を調整するという方法がある。例えば取得画像が３０ｆｐｓの動画像である場合を考えた場合、被写体が明るくて白飛びが発生してしまうような場合には、１／３０秒（≒３３．３ミリ秒）より短い時間で露光することで適正な明るさを保とうとする。一方、被写体が暗くて適正露光を確保できない場合は、３０ｆｐｓのときに１フレームに割り当てられる最大時間である１／３０秒を最大限に使って露光して画像取得しようとする。
しかし、感度不足を露光時間で補おうとする従来の一般的な方式では、動く被写体を取得した際に、その露光時間の長さに応じて動きボケが発生してしまうという問題がある。そこで、イメージセンサからの画像の取得時は露光時間をできるだけ短くすることで動きボケの発生をできるだけ抑えて画像取得しておき、取得された２フレームかそれ以上のフレームの画像信号を使用して動き補償をする手法が知られている。これにより、動きボケが発生しないように画像を重ね合わせ、適正露光に対して感度不足になったりＳＮＲが悪化したりすることを解消することができる。
近年では、広域、および高解像度監視の用途等を目的として、イメージセンサの高解像度化が進展してきている。イメージセンサが高解像度化すると、上述したような従来の技術に関しては、イメージセンサから複数枚の取得画像を転送するのに要する時間が、ハードウェアの制約による転送可能な時間を超えてしまうような場合に、イメージセンサ内にバッファとなるメモリが必要となってしまう。
また一方では、画像全体が１／３０秒で適正露光であったとしても、画像内の一部の明るい部分が飽和して取得されてしまう場合があり得る。そのような場合に対応するために、１フレームの画像を取得するにあたってｎ回に分けてｎ枚の画像を取得し、そのｎ枚の画像から信号処理でハイダイナミックレンジの画像を取得できる技術が特許文献１で提案されている。しかし、特許文献１で開示された技術は、転送速度のハードウェア制約から算出される最大フレームレートの動画に対して最大フレームレートの高々１／ｎのフレームレートでしかハイダイナミックレンジ画像を作成できない。
露光時間の長さに応じて生ずる動きボケの現象に対しては、撮像した画像（静止画や動画）から動きボケを除去する方法、および動きボケの除去ための画像処理装置も、例えば特許文献２～４などで提案されている。特許文献２には、９００ｆｐｓ以上で撮像された画像を３０ｆｐｓの表示装置で表示する装置に適用するために、撮像後の画像から動きボケを除去する画像処理方法が示されている。また、特許文献３、特許文献４には撮像後の画像から動きボケを除去して出力する実時間画像処理方法が示されている。しかし、これらの文献に記載されている技術は、いずれも撮影後の画像から動きボケを推定して除去する方式であるため、複雑なアルゴリズムや回路が必要となってしまう上に完全に動きボケを除去することは難しい。
そこで本件開示者は、上述した点に鑑み、動きボケの発生と飽和する領域の発生とＳＮ比の低下の発生を同時に抑制することが可能な技術について鋭意検討を行った。その結果、本件開示者は、以下で説明するように、画像に対して設定される領域に対する読み出しによって、動きボケの発生と飽和する領域の発生とＳＮ比の低下の発生を同時に抑制することが可能な技術を考案するに至った。
以上、本開示の実施の形態の経緯について説明した。続いて本開示の実施の形態について詳細に説明する。
［１．２．構成例］
（１）本実施形態に係る送信方法を適用することが可能な通信システムの構成
まず、本実施形態に係る送信方法を適用することが可能な通信システムの構成の一例を説明する。
以下では、本実施形態に係る通信システムを構成する装置間の通信方式が、ＭＩＰＩ（Mobile Industry Processor Interface） ＣＳＩ－２（Camera Serial Interface 2）規格に則った通信方式である場合を例に挙げる。なお、本実施形態に係る通信システムを構成する装置間の通信方式は、ＭＩＰＩ ＣＳＩ－２規格に則った通信方式に限られない。例えば、本実施形態に係る通信システムを構成する装置間の通信は、ＭＩＰＩ ＣＳＩ－３規格に則った通信方式や、ＭＩＰＩ ＤＳＩ（Display Serial Interface）に則った通信方式など、ＭＩＰＩアライアンスにおいて策定された他の規格であってもよい。また、本実施形態に係る送信方法が適用可能な通信方式が、ＭＩＰＩアライアンスにおいて策定された規格に係る通信方式に限られないことは、言うまでもない。
図１は、本実施形態に係る通信システム１０００の構成の一例を示す説明図である。通信システム１０００としては、例えば、スマートフォンなどの通信装置や、ドローン（遠隔操作による動作、または、自律的な動作が可能な機器）、自動車などの移動体などが挙げられる。なお、通信システム１０００の適用例は、上記に示す例に限られない。通信システム１０００の他の適用例については、後述する。
通信システム１０００は、例えば、画像センサ１００と、プロセッサ２００と、メモリ３００と、表示デバイス４００とを有する。
画像センサ１００は、撮像機能と送信機能とを有し、撮像により生成した画像を示すデータを送信する。プロセッサ２００は、画像センサ１００から送信されたデータを受信し、受信されたデータを処理する。つまり、通信システム１０００において、画像センサ１００は送信装置の役目を果たし、プロセッサ２００は受信装置の役目を果たす。
なお、図１では、１つの画像センサ１００を有する通信システム１０００を示しているが、本実施形態に係る通信システムが有する画像センサ１００の数は、図１に示す例に限られない。例えば、本実施形態に係る通信システムは、２つ以上の画像センサ１００を有していてもよい。
また、図１では、１つのプロセッサ２００を有する通信システム１０００を示しているが、本実施形態に係る通信システムが有するプロセッサ２００の数は、図１に示す例に限られない。例えば、本実施形態に係る通信システムは、２つ以上のプロセッサ２００を有していてもよい。
画像センサ１００およびプロセッサ２００それぞれを複数有する通信システムでは、画像センサ１００とプロセッサ２００とが一対一に対応していてもよいし、１つのプロセッサ２００に複数の画像センサ１００が対応していてもよい。また、画像センサ１００およびプロセッサ２００それぞれを複数有する通信システムでは、１つの画像センサ１００に複数のプロセッサ２００が対応していてもよい。
画像センサ１００およびプロセッサ２００それぞれを複数有する通信システムにおいても、図１に示す通信システム１０００と同様に、画像センサ１００とプロセッサ２００との間で通信が行われる。
画像センサ１００とプロセッサ２００とは、データバスＢ１により電気的に接続される。データバスＢ１は、画像センサ１００とプロセッサ２００とを接続する、一の信号の伝送路である。例えば、画像センサ１００から送信される画像を示すデータ（以下、「画像データ」と示す場合がある。）は、画像センサ１００からプロセッサ２００へとデータバスＢ１を介して伝送される。
通信システム１０００においてデータバスＢ１により伝送される信号は、例えば、ＭＩＰＩ ＣＳＩ－２規格などの所定の規格に則った通信方式で伝送される。
図２、図３は、ＭＩＰＩ ＣＳＩ－２規格において定められるパケットのフォーマットを示す説明図である。図２は、ＭＩＰＩ ＣＳＩ－２規格において定められているショートパケット（Ｓｈｏｒｔ Ｐａｃｋｅｔ）のフォーマットを示しており、図３は、ＭＩＰＩ ＣＳＩ－２規格において定められているロングパケット（Ｌｏｎｇ Ｐａｃｋｅｔ）のフォーマットを示している。
ロングパケットは、パケットヘッダ（図３に示す“ＰＨ”）、ペイロード（図３に示す“Ｐａｙｌｏａｄ Ｄａｔａ”）、およびパケットフッタ（図３に示す“ＰＦ”）からなるデータである。ショートパケットは、図２に示すようにパケットヘッダ（図３に示す“ＰＨ”）と同様の構造を有するデータである。
ショートパケットとロングパケットとには、いずれもヘッダ部分にＶＣ（Virtual Channel）番号（図２、図３に示す“ＶＣ”。ＶＣ値）が記録され、パケットごとに任意のＶＣ番号が付与されうる。同一のＶＣ番号が付与されたパケットは、同じ画像データに属するパケットとして扱われる。
また、ショートパケットとロングパケットとには、いずれもヘッダ部分にＤＴ（Data Type）値（図２、図３に示す“Ｄａｔａ Ｔｙｐｅ”）が記録される。そのため、ＶＣ番号と同様に、同一のＤＴ値が付与されたパケットを、同じ画像データに属するパケットとして取り扱うことも可能である。
ロングパケットのヘッダ部分のＷｏｒｄ Ｃｏｕｎｔには、パケットの終わりがワード数で記録される。ショートパケットとロングパケットとのヘッダ部分のＥＣＣには、誤り訂正符号（Error Correcting Code）が記録される。
ＭＩＰＩ ＣＳＩ－２規格では、データ信号を伝送する期間では高速差動信号が用いられ、また、データ信号のブランキング期間では低電力信号が用いられる。また、高速差動信号が用いられる期間は、ＨＰＳ（High Speed State）の期間と呼ばれ、低電力信号が用いられる期間は、ＬＰＳ（Low Power State）の期間と呼ばれる。
図４は、ＭＩＰＩ ＣＳＩ－２規格におけるパケットの送信に係る信号波形の一例を示す説明図である。図４のＡは、パケットの伝送の一例を示しており、図４のＢは、パケットの伝送の他の例を示している。図４に示す“ＳＴ”、“ＥＴ”、“ＰＨ”、“ＰＦ”、“ＳＰ”、“ＰＳ”は、それぞれ下記を意味する。
・ＳＴ：Ｓｔａｒｔ ｏｆ Ｔｒａｎｓｍｉｓｓｉｏｎ
・ＥＴ：Ｅｎｄ ｏｆ Ｔｒａｎｓｍｉｓｓｉｏｎ
・ＰＨ：Ｐａｃｋｅｔ Ｈｅａｄｅｒ
・ＰＦ：Ｐａｃｋｅｔ Ｆｏｏｔｅｒ
・ＳＰ：Ｓｈｏｒｔ Ｐａｃｋｅｔ
・ＰＳ：Ｐａｃｋｅｔ Ｓｐａｃｉｎｇ
図４に示すように、ＬＰＳの期間における差動信号（図４に示す“ＬＰＳ”）と、ＨＰＳの期間における差動信号（図４に示す“ＬＰＳ”以外）とでは、差動信号の振幅が異なることが分かる。そのため、伝送効率を向上させる観点からは、できる限りＬＰＳの期間が入らないことが望ましい。
画像センサ１００とプロセッサ２００とは、例えば、データバスＢ１とは異なる制御バスＢ２により電気的に接続される。制御バスＢ２は、画像センサ１００とプロセッサ２００とを接続する、他の信号の伝送路である。例えば、プロセッサ２００から出力される制御情報が、プロセッサ２００から画像センサ１００へと制御バスＢ２を介して伝送される。
制御情報には、例えば、制御のための情報と処理命令とが含まれる。制御のための情報としては、例えば、画像サイズを示すデータ、フレームレートを示すデータ、画像の出力命令が受信されてから画像を出力するまでの出力遅延量を示すデータのうちの１または２以上など、画像センサ１００における機能を制御するためのデータが、挙げられる。また、制御情報には、画像センサ１００を示す識別情報が含まれていてもよい。識別情報としては、例えば、画像センサ１００に設定されているＩＤなどの、画像センサ１００を特定することが可能な任意のデータが挙げられる。
なお、制御バスＢ２を介してプロセッサ２００から画像センサ１００へと伝送される情報は、上記に示す例に限られない。例えば、プロセッサ２００は、画像における領域を指定する領域指定情報を、制御バスＢ２を介して伝送してもよい。領域指定情報としては、領域に含まれる画素の位置を示すデータ（例えば、領域に含まれる画素の位置が座標で表される座標データなど）など、領域を特定することが可能な任意の形式のデータが、挙げられる。
図１では、画像センサ１００とプロセッサ２００とが制御バスＢ２により電気的に接続されている例を示しているが、画像センサ１００とプロセッサ２００とは、制御バスＢ２で接続されていなくてもよい。例えば、画像センサ１００とプロセッサ２００とは、任意の通信方式の無線通信によって、制御情報などを送受信してもよい。
以下、図１に示す通信システム１０００を構成する各装置について、説明する。
（１－１）メモリ３００
メモリ３００は、通信システム１０００が有する記録媒体である。メモリ３００としては、例えば、ＲＡＭ（Random Access Memory）などの揮発性メモリや、フラッシュメモリなどの不揮発性メモリなどが挙げられる。メモリ３００は、バッテリなどの通信システム１０００を構成する内部電源（図示せず）から供給される電力、または、通信システム１０００の外部電源から供給される電力によって、動作する。
メモリ３００には、例えば、画像センサ１００から出力された画像が記憶される。メモリ３００への画像の記録は、例えばプロセッサ２００により制御される。
（１－２）表示デバイス４００
表示デバイス４００は、通信システム１０００が有する表示デバイスである。表示デバイス４００としては、例えば、液晶ディスプレイや有機ＥＬディスプレイ（Organic Electro-Luminescence Display。または、ＯＬＥＤディスプレイ（Organic Light Emitting Diode Display）ともよばれる。）などが挙げられる。表示デバイス４００は、バッテリなどの通信システム１０００を構成する内部電源（図示せず）から供給される電力、または、通信システム１０００の外部電源から供給される電力によって、動作する。
表示デバイス４００の表示画面には、例えば、画像センサ１００から出力された画像や、プロセッサ２００において実行されるアプリケーションに係る画面、ＵＩ（User Interface）に係る画面など、様々な画像や画面が表示される。表示デバイス４００の表示画面への画像などの表示は、例えばプロセッサ２００により制御される。
（１－３）プロセッサ２００（受信装置）
プロセッサ２００は、画像センサ１００から送信されたデータを受信し、受信されたデータを処理する。上述したように、プロセッサ２００は、通信システム１０００において受信装置の役目を果たす。画像センサ１００から送信されたデータの処理に係る構成（受信装置の役目を果たすための構成）の一例については、後述する。
プロセッサ２００は、例えば、ＭＰＵ（Micro Processing Unit）などの演算回路で構成される、１または２以上のプロセッサや、各種処理回路などで構成される。プロセッサ２００は、バッテリなどの通信システム１０００を構成する内部電源（図示せず）から供給される電力、または、通信システム１０００の外部電源から供給される電力によって、動作する。
プロセッサ２００は、例えば、メモリ３００などの記録媒体への画像データの記録制御に係る処理、表示デバイス４００の表示画面への画像の表示制御に係る処理、任意のアプリケーションソフトウェアを実行する処理など、様々な処理を行う。記録制御に係る処理としては、例えば“記録命令を含む制御データと記録媒体に記録させるデータとを、メモリ３００などの記録媒体に伝達する処理”が、挙げられる。また、表示制御に係る処理としては、例えば“表示命令を含む制御データと表示画面に表示させるデータとを、表示デバイス４００などの表示デバイスに伝達する処理”が、挙げられる。
また、プロセッサ２００は、例えば、画像センサ１００に対して制御情報を送信することによって、画像センサ１００における機能を制御してもよい。プロセッサ２００は、例えば、画像センサ１００に対して領域指定情報を送信することによって、画像センサ１００から送信されるデータを制御することも可能である。
（１－４）画像センサ１００（送信装置）
画像センサ１００は、撮像機能と送信機能とを有し、撮像により生成した画像を示すデータを送信する。上述したように、画像センサ１００は、通信システム１０００において送信装置の役目を果たす。
画像センサ１００は、例えば、“デジタルスチルカメラやデジタルビデオカメラ、ステレオカメラなどの撮像デバイス”や、“赤外線センサ”、“距離画像センサ”などの、画像を生成することが可能な任意の方式の画像センサデバイスを含み、生成された画像を送信する機能を有する。画像センサ１００において生成される画像は、画像センサ１００におけるセンシング結果を示すデータに該当する。画像センサ１００の構成の一例については、後述する。
画像センサ１００は、後述する本実施形態に係る送信方法により、画像に対して設定される領域に対応するデータ（以下、「領域データ」と示す。）を送信する。領域データの送信に係る制御は、例えば、画像センサ１００における画像処理部として機能する構成要素（後述する）により行われる。画像に対して設定される領域は、ＲＯＩ（Region Of Interest）と呼ばれる場合がある。以下では、画像に対して設定される領域を「ＲＯＩ」と示す場合がある。
画像に対する領域の設定に係る処理としては、例えば、“画像から物体を検出し、検出された物体を含む領域を設定する処理”、“任意の操作デバイスに対する操作などにより指定された領域を設定する処理”など、画像における一部の領域を特定することが可能な任意の処理（または、画像から一部の領域を切り出すことが可能な任意の処理）が、挙げられる。
画像に対する領域の設定に係る処理は、画像センサ１００が行ってもよいし、プロセッサ２００などの外部装置において行われてもよい。画像センサ１００が画像に対する領域の設定に係る処理を行う場合、画像センサ１００は、画像に対する領域の設定に係る処理の結果に従って領域を特定する。また、例えば、画像に対する領域の設定に係る処理が外部装置において行われる場合、画像センサ１００は、外部装置から取得される領域指定情報に基づいて、領域を特定する。
画像センサ１００が、領域データを送信すること、すなわち、画像の一部のデータを送信することによって、画像全体を伝送するよりも伝送に係るデータ量が小さくなる。よって、画像センサ１００が、領域データを送信することによって、例えば、伝送時間が短縮される、通信システム１０００における伝送に係る負荷が低減されるなど、データ量が低減されることにより奏される様々な効果が、奏される。
なお、画像センサ１００は、画像全体を示すデータを送信することも可能である。
画像センサ１００が、領域データを送信する機能、および画像全体を示すデータを送信する機能を有している場合、画像センサ１００は、領域データを送信することと、画像全体を示すデータを送信することとを、選択的に切り替えて行うことが可能である。
画像センサ１００は、例えば、設定されている動作モードによって、領域データを送信し、または、画像全体を示すデータを送信する。動作モードの設定は、例えば、任意の操作デバイスに対する操作などにより行われる。
また、画像センサ１００は、外部装置から取得される領域指定情報に基づいて、領域データを送信することと、画像全体を示すデータを送信することとを、選択的に切り替えてもよい。画像センサ１００は、例えば、外部装置から領域指定情報が取得されたときに、当該領域指定情報に対応する領域の領域データを送信し、外部装置から領域指定情報が取得されないときに、画像全体を示すデータを送信する。
通信システム１０００は、例えば図１に示す構成を有する。なお、本実施形態に係る通信システムの構成は、図１に示す例に限られない。
例えば、図１では、送信装置の役目を果たす装置として画像センサ１００を例に挙げたが、送信装置の役目を果たす装置は、画像センサ１００に限られない。例えば、本実施形態に係る通信システムが、撮像デバイスなどの画像センサデバイスと、画像センサデバイスと電気的に接続されている送信器とを有する構成である場合、当該送信器が送信装置の役目を果たしていてもよい。
また、図１では、受信装置の役目を果たす装置として、プロセッサ２００を例に挙げたが、受信装置の役目を果たす装置は、プロセッサ２００に限られない。例えば、本実施形態に係る通信システムでは、データを受信する機能を有する任意のデバイスが、受信装置の役目を果たすことが可能である。
また、通信システムの外部の記録媒体に画像センサ１００から送信される画像が記憶される場合、画像センサ１００から送信される画像が、プロセッサ２００に備えられるメモリに記憶される場合、あるいは、画像センサ１００から送信される画像が記録されない場合などには、本実施形態に係る通信システムは、メモリ３００を有していなくてもよい。
また、本実施形態に係る通信システムは、図１に示す表示デバイス４００を有さない構成をとることが可能である。
さらに、本実施形態に係る通信システムは、後述する本実施形態に係る通信システムが適用される電子機器が有する機能に応じた、任意の構成を有していてもよい。
以上、本実施形態として、通信システムを挙げて説明したが、本実施形態は、かかる形態に限られない。本実施形態は、例えば、スマートフォンなどの通信装置や、ドローン（遠隔操作による動作、または、自律的な動作が可能な機器）、自動車などの移動体、ＰＣ（Personal Computer）などのコンピュータ、タブレット型の装置、ゲーム機、監視カメラなど、様々な電子機器に適用することができる。
このような通信システムにおいて、動きボケの発生と飽和する領域の発生とＳＮ比の低下の発生を同時に抑制するための動作の概要を説明する。
図５は、画像全体を画像センサ１００からプロセッサ２００に伝送する場合においてフレームの露光時間を変化させる際の動作の概要を示す説明図である。図５には、ある任意のフレームにおいて露光時間を短く（図５の例では１／４８０秒）している様子が示されている。このように画像全体を画像センサ１００からプロセッサ２００に伝送すると、上述したようにハイダイナミックレンジ画像の生成に制約が掛かる。
図６は、画像に設定された領域のみを画像センサ１００からプロセッサ２００に伝送する場合においてフレームの露光時間を変化させる際の動作の概要を示す説明図である。図６には、ある任意のフレームにおいて露光時間を短く（図６の例では１／４８０秒）し、さらに当該フレームにおいて、垂直方向のサイズが全体の１／１６であるデータを複数（図６の例では１６個）伝送している様子が示されている。すなわち、本実施形態では、画像センサ１００は、撮像領域全体を読み出してプロセッサ２００に伝送するモードと、設定された領域（ＲＯＩ）を読み出してプロセッサ２００に伝送するモードとの、少なくとも２つのモードを有するものとする。
本実施形態では、このようにデータを伝送することで、画像全体を伝送する場合とデータの伝送量は変わらないが、画像の一部の領域のみを伝送することで、その領域について高解像度の画像をプロセッサ２００に生成させることが可能となる。
（画像センサ１００）
続いて、本実施形態に係る画像センサ１００の構成例について説明する。図７は、本実施形態に係る画像センサ１００の構成の一例を示すハードウェアブロック図である。画像センサ１００は、例えば、画像センサデバイス１０２と、ＩＣチップ１０４とを備える。図７に示す画像センサ１００は、バッテリなどの通信システム１０００を構成する内部電源（図示せず）から供給される電力、または、通信システム１０００の外部電源から供給される電力によって、動作する。
画像センサデバイス１０２は、例えば、“デジタルスチルカメラなどの撮像デバイス”や、“赤外線センサ”、“距離画像センサ”などの、画像を生成することが可能な任意の方式の画像センサデバイスである。
一例を挙げると、画像センサデバイス１０２として機能する撮像デバイスは、レンズ／撮像素子と信号処理回路とを含んで構成される。
レンズ／撮像素子は、例えば、光学系のレンズと、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge Coupled Device）などの撮像素子を複数用いたイメージセンサとで構成される。
信号処理回路は、例えば、ＡＧＣ（Automatic Gain Control）回路やＡＤＣ（Analog to Digital Converter）を備え、撮像素子により生成されたアナログ信号をデジタル信号（画像データ）に変換する。また、信号処理回路は、例えばＲＡＷ現像に係る各種処理を行う。さらに、信号処理回路は、例えば、Ｗｈｉｔｅ Ｂａｌａｎｃｅ補正処理や、色調補正処理、ガンマ補正処理、ＹＣｂＣｒ変換処理、エッジ強調処理など各種信号処理を行ってもよい。
また、信号処理回路は、画像に対する領域の設定に係る処理を行い、領域指定情報をＩＣチップ１０４へ伝達してもよい。さらに、信号処理回路は、露光情報やゲイン情報などの様々なデータを、ＩＣチップ１０４へ伝達してもよい。
画像センサデバイス１０２により生成された画像を示す信号は、ＩＣチップ１０４へ伝達される。なお、画像センサデバイス１０２からＩＣチップ１０４へ伝達される画像を示す信号がアナログ信号である場合、ＩＣチップ１０４は、例えば、備えているＡＤＣにてアナログ信号をデジタル信号に変換し、変換により得られた画像データを処理する。以下では、画像センサデバイス１０２からＩＣチップ１０４へ画像データが伝達される場合を例に挙げる。
ＩＣチップ１０４は、データの送信機能に係る回路が集積されたＩＣ（Integrated Circuit）がチップ状に形成されたものであり、画像センサデバイス１０２から伝達される画像データを処理し、生成された画像に対応するデータを送信する。画像に対応するデータとは、画像センサデバイス１０２から伝達される画像データ（すなわち、画像全体を示すデータ）、または、領域情報および領域データである。なお、データの送信機能に係る回路は、１つのＩＣチップの形態で実現されることに限られず、複数のＩＣチップで形成されていてもよい。
ＩＣチップ１０４は、例えば、画像処理回路１０６と、ＬＩＮＫ制御回路１０８と、ＥＣＣ生成回路１１０と、ＰＨ生成回路１１２と、ＥＢＤ用バッファ１１４と、画像データバッファ１１６と、合成回路１１８と、送信回路１２０とを備える。
画像処理回路１０６は、本実施形態に係る送信方法に係る処理を行う機能を有する一の回路である。本実施形態に係る送信方法に係る処理を行う場合、画像処理回路１０６は、領域情報を画像における行ごとに設定し、設定された領域情報と領域に対応する領域データとを、ＬＩＮＫ制御回路１０８、ＥＣＣ生成回路１１０、ＰＨ生成回路１１２、ＥＢＤ用バッファ１１４、画像データバッファ１１６、合成回路１１８、送信回路１２０により、行ごとに送信させる。また、画像処理回路１０６は、画像センサデバイス１０２から伝達される画像データ（すなわち、画像全体を示すデータ）を、行ごとに送信させることも可能である。
画像処理回路１０６としては、例えばＭＰＵなどのプロセッサが、挙げられる。
画像処理回路１０６が有する機能を、機能ブロックに分けて説明する。図７に示すように、画像処理回路１０６は、例えば、領域切り出し部１２２と、画像処理制御部１２４と、エンコード部１２６とを有する。
領域切り出し部１２２は、画像に対する領域の設定に係る処理を行う役目を果たし、画像センサデバイス１０２から伝達される画像データが示す画像に対して、領域（ＲＯＩ）を設定する。領域切り出し部１２２は、例えば、設定されている動作モードに応じて、画像に対する領域の設定に係る処理を行う。例えば、領域切り出し部１２２は、動作モードが領域データを送信する動作モードである場合に、画像に対する領域の設定に係る処理を行う。また、領域切り出し部１２２は、動作モードが画像全体を示すデータを送信する動作モードである場合には、画像に対する領域の設定に係る処理を行わない。
領域切り出し部１２２は、例えば、画像に対して任意の物体検出処理を行って物体を検出し、検出された物体ごとに、検出された物体を含む領域を設定する。また、領域切り出し部１２２は、任意の操作デバイスに対する操作などにより指定された領域を、設定してもよい。
領域が設定された場合、領域切り出し部１２２は、例えば、設定された領域を示す領域指定情報を、画像処理制御部１２４へ伝達する。また、領域が設定されない場合、領域切り出し部１２２は、領域指定情報を画像処理制御部１２４へ伝達しない。
また、領域切り出し部１２２は、画像センサデバイス１０２から伝達される画像データを、エンコード部１２６へ伝達する。
画像処理制御部１２４は、本実施形態に係る送信方法に係る処理を行う役目を果たし、領域情報を画像における行ごとに設定し、設定された領域情報を、エンコード部１２６とＰＨ生成回路１１２とへ伝達する。
画像処理制御部１２４は、例えば、領域切り出し部１２２から取得される領域指定情報、または、外部装置から取得される領域指定情報（図示せず）に基づいて、画像における各行に含まれる領域を特定する。そして、画像処理制御部１２４は、特定された領域に基づいて、行ごとに領域情報を設定する。このとき、画像処理制御部１２４は、上述した例外処理に示すように、１つ前に送信させる行の領域情報に含まれる情報から変化しない情報は、領域情報に設定しなくてよい。
また、領域指定情報が取得されない場合、画像処理制御部１２４は、領域情報を設定しない。
なお、画像処理制御部１２４における処理は、上記に示す例に限られない。
例えば、画像処理制御部１２４は、例えば、フレーム情報を生成し、生成したフレーム情報をＬＩＮＫ制御回路１０８へ伝達してもよい。フレーム情報としては、例えば、フレームごとに付与されるＶＣの番号が挙げられる。また、フレーム情報には、ＹＵＶデータ、ＲＧＢデータまたはＲＡＷデータなどのデータタイプを示すデータが含まれていてもよい。
また、例えば、画像処理制御部１２４は、付加情報を設定する処理を行い、設定された付加情報をＥＢＤ用バッファ１１４へ伝達してもよい。
付加情報を設定する処理としては、例えば付加情報を生成する処理が挙げられる。付加情報を生成する処理としては、例えば、領域のデータ量を示す情報を生成する処理、領域の大きさを示す情報を生成する処理、および領域の優先度を示す情報を生成する処理のうちの１または２以上が、挙げられる。
なお、付加情報を設定する処理は、付加情報を生成する処理に限られない。例えば、画像処理制御部１２４は、露光情報やゲイン情報などの画像センサデバイス１０２から取得された情報を、付加情報として設定してもよい。また、画像処理制御部１２４は、例えば、物理領域長さを示すデータ、出力領域長さを示すデータ、画像フォーマットを示すデータ、データ総量を示すデータなどの、様々な領域に関するデータを、付加情報として設定してもよい。物理領域長さとしては、例えば画像センサデバイス１０２の画素数が挙げられる。出力領域長さとしては、例えば画像センサデバイス１０２から出力される画像の画素数（画像上の長さ）が挙げられる。
エンコード部１２６は、例えば、画像センサデバイス１０２から伝達される画像データを、例えばＪＰＥＧ（Joint Photographic Experts Group）規格に対応する方式などの所定の方式でエンコードする。
画像処理制御部１２４から領域情報が取得されない場合、エンコード部１２６は、エンコードされた画像データを、画像データバッファ１１６へ伝達する。以下では、エンコードされた画像データ、すなわち、エンコードされた画像全体を示すデータを「通常データ」と示す場合がある。
また、画像処理制御部１２４から領域情報が取得される場合、エンコード部１２６は、取得された領域情報と、領域に対応するエンコードされた領域データとを、画像データバッファ１１６へ伝達する。
画像処理回路１０６は、例えば、領域切り出し部１２２、画像処理制御部１２４、およびエンコード部１２６を有することによって、本実施形態に係る送信方法に係る処理を行う。なお、図７に示す画像処理回路１０６の機能ブロックは、画像処理回路１０６が有する機能を便宜上切り分けたものであり、画像処理回路１０６における機能の切り分け方は、図７に示す例に限られない。
ＬＩＮＫ制御回路１０８は、例えば、フレーム情報を、行ごとにＥＣＣ生成回路１１０、ＰＨ生成回路１１２、および合成回路１１８に伝達する。
ＥＣＣ生成回路１１０は、行ごとに誤り訂正符号を設定する。ＥＣＣ生成回路１１０は、例えば、フレーム情報における１行のデータ（例えば、ＶＣの番号、データタイプなど）に基づいて、その行の誤り訂正符号を生成する。ＥＣＣ生成回路１１０は、例えば、生成した誤り訂正符号をＰＨ生成回路１１２と合成回路１１８とに伝達する。また、ＥＣＣ生成回路１１０は、ＰＨ生成回路１１２と連携して誤り訂正符号を生成してもよい。
ＰＨ生成回路１１２は、フレーム情報を用いて、行ごとにパケットヘッダを生成する。
ＰＨ生成回路１１２は、画像処理回路１０６（図７の例では、画像処理制御部１２４）から伝達される領域情報に基づいて、パケットヘッダを生成してもよい。具体的には、ＰＨ生成回路１１２は、領域情報に基づいて、上述したような“領域情報に含まれる情報が１つ前に送信させるパケットに含まれる領域情報から変化しているか否かを示すデータ”（変化情報）を、パケットヘッダに設定する。
ＥＢＤ用バッファ１１４は、画像処理回路１０６（図７の例では、画像処理制御部１２４）から伝達される付加情報を一時的に保持するバッファである。ＥＢＤ用バッファ１１４は、所定のタイミングで付加情報を“ＥｍｂｅｄｄｅｄＤａｔａ”として合成回路１１８に出力する。なお、ＥＢＤ用バッファ１１４から出力される“ＥｍｂｅｄｄｅｄＤａｔａ”は、後述する画像データバッファ１１６を経由して合成回路１１８に伝達されてもよい。また、受信装置であるプロセッサ２００が送信される付加情報（ＲＯＩ情報）を把握している場合においては、レジスタ設定等によって、後述する送信回路１２０から前記付加情報に相当するＥＢＤデータを送信することを省略してもよい。
画像データバッファ１１６は、画像処理回路１０６（図７の例では、エンコード部１２６）から伝達されるデータ（通常データ、または、領域情報および領域データ）を一時的に保持するバッファである。画像データバッファ１１６は、保持していているデータを、所定のタイミングで行ごとに合成回路１１８に出力する。
合成回路１１８は、例えば、ＥＣＣ生成回路１１０、ＰＨ生成回路１１２、ＥＢＤ用バッファ１１４、および画像データバッファ１１６それぞれから取得されるデータに基づいて、伝送するパケットを生成する。
送信回路１２０は、合成回路１１８から伝達されるパケットを、行ごとにデータバスＢ１（信号の伝送路の一例。以下、同様とする。）を介して、伝送データ１４７Ａとして送信する。例えば送信回路１２０は、図４に示すような高速差動信号によりパケットを送信する。
ここで、本実施形態に係る画像センサ１００が伝送するデータの具体例を説明する。図８は、本実施形態に係る画像センサ１００が伝送するデータの具体例を示す説明図である。
図８に示す“ＦＳ”は、ＭＩＰＩ ＣＳＩ－２規格におけるＦＳ（Frame Start）パケットであり、図８に示す“ＦＥ”は、ＭＩＰＩ ＣＳＩ－２規格におけるＦＥ（Frame End）パケットである（他の図においても同様である）。
図８に示す“Ｅｍｂｅｄｄｅｄ Ｄａｔａ”は伝送されるパケットに埋め込むことの可能なデータである。“Ｅｍｂｅｄｄｅｄ Ｄａｔａ”は、例えば、伝送されるパケットのヘッダ、ペイロード、あるいは、フッタに埋め込むことが可能である。図８に示す例では、一のパケットの“Ｅｍｂｅｄｄｅｄ Ｄａｔａ”に領域情報が格納され、領域情報が格納される“Ｅｍｂｅｄｄｅｄ Ｄａｔａ”は、付加データに該当する。
本実施形態では、“Ｅｍｂｅｄｄｅｄ Ｄａｔａ”として領域の大きさを示す情報と、その領域で伝送されるフレームが何フレーム続くのかを示す情報とが送信される。図８に示す“Ｅｍｂｅｄｄｅｄ Ｄａｔａ”として領域の大きさを示す情報と、その領域で伝送されるフレームが何フレーム続くのかを示す情報とが送信されることによって、プロセッサ２００は、図８のｔ＝０に示す領域を含む最小の矩形の領域、ｔ＝１に示す最小の矩形の領域、というように、ｔ＝１５に示す領域までを含む最小の矩形の領域をｎ個（図８の例では１６個）特定することができる。つまり、図８に示す“Ｅｍｂｅｄｄｅｄ Ｄａｔａ”として領域の大きさを示す情報と、その領域で伝送されるフレームが何フレーム続くのかを示す情報とが送信されることによって、プロセッサ２００が、領域情報に基づいて各領域を含む最小の矩形の領域を特定する機能と、その領域で伝送されるフレームが何フレーム続くのかを特定する機能とを有していない場合であっても、プロセッサ２００に、領域情報に基づいて各領域を含む最小の矩形の領域と、その領域が何フレーム続くのかを特定させることができる。なお、領域の大きさを示す情報は、各領域を含む最小の矩形の領域を示すデータに限られないことは、言うまでもない。
なお、図８に示す“Ｅｍｂｅｄｄｅｄ Ｄａｔａ”として送信される、領域のデータ量を示す情報、領域の大きさを示す情報、およびその領域で伝送されるフレームが何フレーム続くのかを示す情報それぞれの例が、上記に示す例に限られないことは、言うまでもない。さらに、これらの情報の全てが必ずしも送信される必要は無い。
まず、画像センサ１００から画像の全体を伝送する場合は、各フレームにつき画像データがＰａｙｌｏａｄ Ｄａｔａに格納されて伝送されていく。図８の例では、１つの画像を垂直方向に１６分割し、分割されたそれぞれの行のＰａｙｌｏａｄ Ｄａｔａに画像データが格納されている。もちろん、１フレームあたりの垂直方向の分割数は係る例に限定されるものではない。
続いて、画像センサ１００から画像の一部の領域、例えば図６のように垂直方向で１／１６のサイズの画像を、０番目から１５番目まで計１６個伝送する場合、Ｐａｙｌｏａｄ Ｄａｔａに、０番目から１５番目までのデータが格納されている。これにより画像センサ１００は、画像全体を伝送する場合と同じデータ量で、露光時間が短い画像を複数個伝送することが可能となる。
受信装置であるプロセッサ２００は、“Ｅｍｂｅｄｄｅｄ Ｄａｔａ”に領域の大きさのデータと、全画面が１フレーム転送されるのに必要な時間だけ送信され続けるという情報があれば、その領域の転送が何フレーム続くのかという情報が明示されていなくても、“Ｅｍｂｅｄｄｅｄ Ｄａｔａ”の内容から、その領域の転送が何フレーム続くのかを示す情報を取得することができる。
画像センサ１００が伝送するデータの例は、係る例に限定されるものではない。図９は、本実施形態に係る画像センサ１００が伝送するデータの具体例を示す説明図である。図９に示した例は、図６のように垂直方向で１／１６のサイズの画像を、０番目から１５番目まで計１６個伝送する場合の具体例である。図８に示した例とは違い、それぞれの画像について“ＦＳ”パケットから始まり“ＦＥ”パケットでデータが伝送される。この例では０番目から１５番目までのそれぞれの画像について“Ｅｍｂｅｄｄｅｄ Ｄａｔａ”が伝送されるため、データ量は図８に示したものより若干増えることになるが、Ｐａｙｌｏａｄ Ｄａｔａのデータ量は図８に示したものと変わらない。これにより画像センサ１００は、画像全体を伝送する場合とほぼ変わらないデータ量で、露光時間が短い画像を複数個伝送することが可能となる。
（プロセッサ２００）
次に、プロセッサ２００について説明する。図１０は、本実施形態に係るプロセッサ２００の構成の一例を表したものである。プロセッサ２００は、画像センサ１００と共通の規格（例えば、ＭＩＰＩ ＣＳＩ－２規格、ＭＩＰＩ ＣＳＩ－３規格、もしくは、ＭＩＰＩ ＤＳＩ規格）で信号を受信する装置である。プロセッサ２００は、例えば、受信部２１０および情報処理部２２０を有している。受信部２１０は、画像センサ１００から出力された伝送データ１４７Ａを、データレーンＤＬを介して受信し、受信した伝送データ１４７Ａに対して所定の処理を行うことにより、種々のデータ（２１４Ａ，２１５Ａ，２１５Ｂ）を生成し、情報処理部２２０に出力する回路である。情報処理部２２０は、受信部２１０から受信した種々のデータ（２１４Ａ，２１５Ａ）に基づいて、ＲＯＩ画像２２３Ａを生成したり、受信部２１０から受信したデータ（２１５Ｂ）に基づいて、通常画像２２４Ａを生成したりする回路である。
受信部２１０は、例えば、ヘッダ分離部２１１、ヘッダ解釈部２１２、Ｐａｙｌｏａｄ分離部２１３、ＥＢＤ解釈部２１４およびＲＯＩデータ分離部２１５を有している。
ヘッダ分離部２１１は、伝送データ１４７Ａを、データレーンＤＬを介して画像センサ１００から受信する。つまり、ヘッダ分離部２１１は、画像センサ１００で撮像された画像において設定された領域ＲＯＩについてのＲＯＩ情報を含むとともに、各領域ＲＯＩの画像データをＬｏｎｇＰａｃｋｅｔのＰａｙｌｏａｄ Ｄａｔａに含む伝送データ１４７Ａを受信する。ヘッダ分離部２１１は、受信した伝送データ１４７Ａをフレームヘッダ領域とパケット領域とに分離する。ヘッダ解釈部２１２は、フレームヘッダ領域に含まれるデータ（具体的にはＥｍｂｅｄｄｅｄＤａｔａ）に基づいて、パケット領域に含まれるＬｏｎｇＰａｃｋｅｔのＰａｙｌｏａｄＤａｔａの位置を特定する。Ｐａｙｌｏａｄ分離部２１３は、ヘッダ解釈部２１２によって特定されたＬｏｎｇＰａｃｋｅｔのＰａｙｌｏａｄＤａｔａの位置に基づいて、パケット領域に含まれるＬｏｎｇＰａｃｋｅｔのＰａｙｌｏａｄＤａｔａを、パケット領域から分離する。また、ＥＢＤデータ、ＬｏｎｇＰａｃｋｅｔ等に含まれる付加情報（ＲＯＩ情報）をプロセッサが把握している場合においては、当該ＲＯＩ情報の一部または全部の送信を省略することも可能である。具体的には、プロセッサはＥＢＤデータに相当する情報をヘッダ解釈部２１２に保持しておくことによって、当該情報に基づいてパケット領域に含まれるＬｏｎｇＰａｃｋｅｔのＰａｙｌｏａｄＤａｔａの位置を特定する。
ＥＢＤ解釈部２１４は、ＥｍｂｅｄｄｅｄＤａｔａをＥＢＤデータ２１４Ａとして、情報処理部２２０に出力する。ＥＢＤ解釈部２１４は、さらに、ＥｍｂｅｄｄｅｄＤａｔａに含まれるデータタイプから、ＬｏｎｇＰａｃｋｅｔのＰａｙｌｏａｄＤａｔａに含まれる画像データがＲＯＩの画像データの圧縮像データであるか、または、通常画像データの圧縮像データであるか判別する。ＥＢＤ解釈部２１４は、判別結果をＲＯＩデータ分離部２１５に出力する。
ＬｏｎｇＰａｃｋｅｔのＰａｙｌｏａｄＤａｔａに含まれる画像データがＲＯＩの画像データの圧縮像データである場合、ＲＯＩデータ分離部２１５は、ＬｏｎｇＰａｃｋｅｔのＰａｙｌｏａｄＤａｔａをＰａｙｌｏａｄＤａｔａ２１５Ａとして、情報処理部２２０（具体的にはＲＯＩデコード部２２２）に出力する。ＰａｙｌｏａｄＤａｔａに含まれる画像データが通常画像データの圧縮像データである場合、ＲＯＩデータ分離部２１５は、ＬｏｎｇＰａｃｋｅｔのＰａｙｌｏａｄＤａｔａをＰａｙｌｏａｄＤａｔａ２１５Ｂとして、情報処理部２２０（具体的には通常画像デコード部２２４）に出力する。ＬｏｎｇＰａｃｋｅｔのＰａｙｌｏａｄＤａｔａにＲＯＩ情報が含まれている場合には、ＰａｙｌｏａｄＤａｔａ２１５Ａは、ＲＯＩ情報と、圧縮像データのうち１ライン分のピクセルデータとを含んでいる。
情報処理部２２０は、ＥＢＤデータ２１４Ａに含まれるＥｍｂｅｄｄｅｄＤａｔａから、ＲＯＩ情報を抽出する。情報処理部２２０は、情報抽出部２２１で抽出したＲＯＩ情報に基づいて、受信部２１０で受信した伝送データに含まれるＬｏｎｇＰａｃｋｅｔのＰａｙｌｏａｄＤａｔａから、撮像画像における各注目領域ＲＯＩの画像を抽出する。情報処理部２２０は、例えば、情報抽出部２２１、ＲＯＩデコード部２２２、ＲＯＩ画像生成部２２３、通常画像デコード部２２４及びメモリ２２５を有している。
通常画像デコード部２２４は、ＰａｙｌｏａｄＤａｔａ２１５Ｂをデコードし、通常画像２２４Ａを生成する。ＲＯＩデコード部２２２は、ＰａｙｌｏａｄＤａｔａ２１５Ａに含まれる圧縮像データ１４７Ｂをデコードし、画像データ２２２Ａを生成する。この画像データ２２２Ａは、１または複数の伝送画像によって構成されている。
情報抽出部２２１は、ＥＢＤデータ２１４Ａに含まれるＥｍｂｅｄｄｅｄＤａｔａから、ＲＯＩ情報を抽出する。情報抽出部２２１は、例えば、ＥＢＤデータ２１４Ａに含まれるＥｍｂｅｄｄｅｄＤａｔａから、例えば、撮像画像に含まれる注目領域ＲＯＩの数、各注目領域ＲＯＩの領域番号、各注目領域ＲＯＩのデータ長、および各注目領域ＲＯＩの画像フォーマットを抽出する。
ＲＯＩ画像生成部２２３は、情報抽出部２２１で得られたＲＯＩ情報に基づいて、撮像画像における各注目領域ＲＯＩの画像を生成する。ＲＯＩ画像生成部２２３は、生成した画像をＲＯＩ画像２２３Ａとして出力する。
メモリ２２５は、ＲＯＩ画像生成部２２３が生成したＲＯＩ画像を一時的に記憶する。ＲＯＩ画像生成部２２３は、ＲＯＩ画像の生成の際に、メモリ２２５に蓄えたＲＯＩ画像を用いて画像を合成する処理を行う。これにより、ＲＯＩ画像生成部２２３は、動きボケを抑えたＲＯＩ画像を生成することが出来る。
図６には、垂直方向のサイズが全体の１／１６である画像を伝送する例を示したが、ここで別の例を示す。図１１は、画像に設定された領域のみを画像センサ１００からプロセッサ２００に伝送する場合においてフレームの露光時間を変化させる際の動作の概要を示す説明図である。図１１には、ある任意のフレームにおいて露光時間を短く（図１１の例では１／４８０秒）し、さらに当該フレームにおいて、垂直方向のサイズ及び水平方向のサイズがそれぞれ全体の１／４であるデータを複数（図１１の例では１６個）伝送している様子が示されている。
図１２は、画像に設定された領域のみを画像センサ１００からプロセッサ２００に伝送する場合においてフレームの露光時間を変化させる際の動作の概要を示す説明図である。図１２には、ある任意のフレームにおいて露光時間を短く（図１２の例では１／２４０秒）し、さらに当該フレームにおいて、垂直方向のサイズが全体の１／８、水平方向のサイズが全体の１／４である複数（図１２の例では８個）のデータ、及び、垂直方向のサイズが全体の１／１６、水平方向のサイズが全体の１／２であるデータを複数（図１２の例では８個）伝送している様子が示されている。すなわち、画像センサ１００で読み出される領域の大きさに応じて露光時間が決まっても良く、画像センサ１００での露光時間（またはフレームレート）に応じて画像センサ１００で読み出される領域の大きさが決まっても良い。例えば、ＲＯＩ画像生成部２２３が、画像センサ１００に対して、ＲＯＩ画像として生成するサイズに合わせて画像センサ１００でのフレームレートを決定しても良く、画像センサ１００でのフレームレートに合わせてＲＯＩ画像のサイズを決定しても良い。
図１３は、図１２に示したような伝送を実現する際における、本実施形態に係る画像センサ１００が伝送するデータの具体例を示す説明図である。画像センサ１００から図１２のような２つの領域の画像を、それぞれ０番目から７番目まで計８個伝送する場合、Ｐａｙｌｏａｄ Ｄａｔａに、０番目から７番目までのデータが格納されている。これにより画像センサ１００は、画像全体を伝送する場合と同じデータ量で、露光時間が短い画像を複数個伝送することが可能となる。
画像センサ１００は、一部の領域を伝送するフレームから、全ての領域を伝送するフレームに復帰する際に、上記一部の領域に対する短時間の露光と、上記一部の領域として指定されていない領域に対する長時間の露光とを混在させても良い。画像センサ１００は、混在させた露光を実行することで、全画面ほぼ一様の露光を、復帰最初のフレームから実現できることになる。
図１４は、画像に設定された領域のみを画像センサ１００からプロセッサ２００に伝送する場合においてフレームの露光時間を変化させる際の動作の概要を示す説明図である。図１４には、ある任意のフレームにおいて露光時間を短く（図１４の例では１／２４０秒）し、さらに当該フレームにおいて、垂直方向のサイズが全体の１／８、水平方向のサイズが全体の１／４であるデータを複数（図１４の例では８個）、及び、垂直方向のサイズが全体の１／１６、水平方向のサイズが全体の１／２であるデータを複数（図１４の例では８個）伝送している様子が示されている。
ここで、ｎ＋１番目のフレームでは、一部の領域に対する短時間の露光と、一部の領域として指定されていない領域に対する長時間の露光とが混在している。画像センサ１００から伝送を受けたプロセッサ２００は、一部の領域に対する短時間の露光の結果を加算し、その領域以外の領域に対する露光の結果と合成することで、全画面ほぼ一様の露光を、復帰最初のフレームから実現できる。
別の例を示す。図１５は、画像に設定された領域のみを画像センサ１００からプロセッサ２００に伝送する場合においてフレームの露光時間を変化させる際の動作の概要を示す説明図である。図１５には、ある任意のフレームにおいて露光時間を短く（図１５の例では１／４８０秒）し、さらに当該フレームにおいて、垂直方向のサイズが全体の１／８、水平方向のサイズが全体の１／２であるデータを複数（図１５の例では１６個）伝送している様子が示されている。
この場合においても、ｎ＋１番目のフレームでは、一部の領域に対する短時間の露光と、一部の領域として指定されていない領域に対する長時間の露光とが混在している。画像センサ１００から伝送を受けたプロセッサ２００は、一部の領域に対する短時間の露光の結果を加算し、その領域以外の領域に対する露光の結果と合成することで、全画面ほぼ一様の露光を、復帰最初のフレームから実現できる。
画像センサ１００は、画像センサデバイス１０２からの読み出しを実行する回路を複数備えることで、複数の領域の読み出しを同時に実行することができる。図１６は、画像に設定された領域のみを画像センサ１００からプロセッサ２００に伝送する場合においてフレームの露光時間を変化させる際の動作の概要を示す説明図である。図１６には、ある任意のフレームにおいて露光時間を短く（図１６の例では１／４８０秒）し、さらに当該フレームにおいて、垂直方向のサイズが全体の１／４、水平方向のサイズが全体の１／８である２つのデータを複数（図１６の例では１６個）伝送している様子が示されている。
画像センサ１００は、フレーム単位で読み出す領域を変化させることができる。例えば、プロセッサ２００（またはプロセッサ２００の後段の装置）が、あるフレームにおいて一部の領域の中で動体を検知したとする。その場合、プロセッサ２００（またはプロセッサ２００の後段の装置）は、検知した動体の動きをより詳細に取得するために、次のフレームから、その動体が含まれる領域のみを画像センサ１００に指定することができる。
図１７は、画像に設定された領域のみを画像センサ１００からプロセッサ２００に伝送する場合においてフレームの露光時間を変化させる際の動作の概要を示す説明図である。例えば、ある任意のフレームにおいて露光時間を短く（図１７の例では１／４８０秒）し、さらに当該フレームにおいて、垂直方向のサイズが全体の１／４、水平方向のサイズが全体の１／４である２つのデータを複数（図１７の例では１６個）伝送しているとする。
プロセッサ２００（またはプロセッサ２００の後段の装置）は、そのフレームにおいて動体を検出すると、次のフレームにおいて、画像センサ１００に対してさらに露光時間を短く（図１７の例では１／１９２０秒）するよう指示する。さらにプロセッサ２００（またはプロセッサ２００の後段の装置）は、画像センサ１００に対して当該フレームにおいて、垂直方向のサイズが全体の１／８、水平方向のサイズが全体の１／８である画像、及び、垂直方向のサイズが全体の１／１６、水平方向のサイズが全体の１／４である画像を読み出すよう指示する。
本開示の実施の形態に係る画像センサ１００は、一部の領域に対する露光を実行することで、高画質、高感度でハイダイナミックレンジな動画像を撮像及び作成できる。ここで、領域の指定方法はどのようなものであってもよい。例えば、領域の大きさの情報となる領域情報データをプロセッサ２００で（例えばＲＯＩ画像生成部２２３で）計算し、その領域情報データの計算結果を画像センサ１００に送信することで、露光する領域が指定されてもよい。ここで領域情報データには、領域の幅、高さ、座標などが含まれうる。
ここで、ＲＯＩ領域のデータフォーマットの一例を説明する。図１８はＲＯＩ領域の例を示す説明図である。例えば、図１８のようにＡ～Ｄの４つのＲＯＩ領域が存在したとする。図１９は、ＲＯＩ領域のデータフォーマットの一例を示す説明図である。
“ＰＨ”はパケットヘッダを示す。“Ｅｍｂｅｄｄｅｄ Ｄａｔａ”は伝送されるパケットに埋め込むことの可能なデータである。“Ｅｍｂｅｄｄｅｄ Ｄａｔａ”には、少なくとも、ＲＯＩ領域を識別するＩＤ、ＲＯＩ領域の左上の座標の位置情報、ＲＯＩ領域の高さ及び幅が含まれうる。図１９に示したフォーマットの３行目からは、実際のＲＯＩ領域のデータが格納される。ここで、図１８の領域Ａと領域ＢのようにＲＯＩ領域が重なっている場合、重なっている領域は一度だけ格納される。
続いて、本実施形態に係る通信システムにおいて、画像センサ１００（送信装置）からプロセッサ２００（受信装置）への画像の送信に利用されるパケットの構造の他の例について説明する。本実施形態に係る通信システムでは、画像センサ１００により撮像された画像が行単位の部分画像に分割され、行ごとの当該部分画像のデータが１以上のパケットを利用して送信される。これは、画像に対して設定される領域の領域データ（即ち、ＲＯＩが設定された部分の画像のデータ）についても同様である。
例えば、図２０は、本実施形態に係る通信システムにおいて画像のデータの送信に利用されるパケットの構造の一例について説明するための説明図である。図２０に示すように、画像の送信に利用されるパケット（Packet）は、データストリーム中において、スタートコード（Start Code）で開始され、エンドコード（End Code）で終了する一連のデータとして規定される。また、当該パケットには、ヘッダ（Header）と、ペイロードデータ（Payload Data）とがこの順に配列されて含まれる。また、ペイロードデータの後ろに、フッタ（Footer）が付加されてもよい。ペイロードデータ（以下、単に「ペイロード」とも称する）は、行単位の部分画像のピクセルデータが含まれる。ヘッダには、ペイロードに含まれる部分画像に対応する行に関する各種情報が含まれる。フッタには、付加的な情報（オプション）が含まれる。
ここで、ヘッダに含まれる情報について説明する。図２０に示すように、ヘッダには、「Frame Start」、「Frame End」、「Line Valid」、「Line Number」、「EBD Line」、「Data ID」、「Reserved」、及び「Header ECC」がこの順に含まれる。
Frame Startは、フレームの先頭を示す１ビットの情報である。例えば、送信対象となる画像のデータのうち１行目の画素データの伝送に用いられるパケットのヘッダのFrame Startには１の値が設定され、他の行の画素データの伝送に用いられるパケットのヘッダのFrame Startには０の値が設定される。なお、Frame Startが、「フレームの開始を示す情報」の一例に相当する。
Frame Endは、フレームの終端を示す１ビットの情報である。例えば、送信対象となる画像のデータのうち有効画素領域の終端ラインの画素データをペイロードに含むパケットのヘッダのFrame Endには１の値が設定され、他のラインの画素データの伝送に用いられるパケットのヘッダのFrame Endには０の値が設定される。なお、Frame Endが、「フレームの終了を示す情報」の一例に相当する。
Frame StartとFrame Endとが、フレームに関する情報であるフレーム情報（Frame Information）の一例に相当する。
Line Validは、ペイロードに格納されている画素データのラインが有効画素のラインであるのか否かを表す１ビットの情報である。有効画素領域内の行の画素データの伝送に用いられるパケットのヘッダのLine Validには１の値が設定され、他のラインの画素データの伝送に用いられるパケットのヘッダのLine Validには０の値が設定される。なお、Line Validが、「対応する行が有効か否かを示す情報」の一例に相当する。
Line Numberは、ペイロードに格納されている画素データにより構成される行の行番号を表す１３ビットの情報である。
EBD Lineは、埋め込まれたデータを有する行か否かを表す１ビットの情報である。即ち、EBD Lineが、「埋め込まれたデータを有する行か否かを示す情報」の一例に相当する。
Data IDは、複数ストリームに分けてデータを転送する場合に、各データ（即ち、ペイロードに含まれるデータ）を識別するための４ビットの情報である。なお、Data IDが、「ペイロードに含まれるデータの識別情報」の一例に相当する。
Line Valid、Line Number、EBD Line、及びData IDが、行に関する情報である行情報（Line Information）となる。
Reservedは拡張用の２７ビットの領域である。なお、以降では、Reservedとして示された当該領域を「拡張領域」とも称する。また、ヘッダ情報全体のデータ量は６バイトになる。
図２０に示すように、ヘッダ情報に続けて配置されるHeader ECCには、６バイトのヘッダ情報に基づいて計算された２バイトの誤り検出符号であるＣＲＣ（Cyclic Redundancy Check）符号が含まれる。即ち、Header ECCが、「ヘッダに含まれる情報の誤り訂正符号」の一例に相当する。また、Header ECCには、ＣＲＣ符号に続けて、ヘッダ情報とＣＲＣ符号の組である８バイトの情報と同じ情報が２つ含まれる。
すなわち、１つのパケットのヘッダには、同じヘッダ情報とＣＲＣ符号の組が３つ含まれる。ヘッダ全体のデータ量は、１組目のヘッダ情報とＣＲＣ符号の組の８バイトと、２組目のヘッダ情報とＣＲＣ符号の組の８バイトと、３組目のヘッダ情報とＣＲＣ符号の組の８バイトとの、あわせて２４バイトになる。
ここで、図２１及び図２２を参照して、パケットのヘッダに設けられる拡張領域（Reserved）について説明する。図２１及び図２２は、パケットのヘッダに設けられる拡張領域について説明するための説明図である。
図２１に示すように、拡張領域は、先頭の３ビットに対して、ヘッダ情報の種別（Header Info Type）として、パケットで送信される情報に応じた種別を示す情報が設定される。このヘッダ情報の種別に応じて、拡張領域のうち、当該ヘッダ情報の種別が指定される３ビットを除いた残り２４ビットの領域に設定される情報のフォーマット（即ち、情報の種別や当該情報が設定される位置）が決定される。これにより、受信側は、ヘッダ情報の種別を確認することで、拡張領域のうち当該ヘッダ情報の種別が指定された領域以外の他の領域の、どの位置にどのような情報が設定されているかを認識し、当該情報を読み出すことが可能となる。
例えば、図２２は、ヘッダ情報の種別の設定と、当該設定に応じた拡張領域の使用方法の一例として、パケットのペイロード長（換言すると、行の長さ）を可変とする場合の設定の一例について示している。具体的には、図２２に示す例では、ヘッダ情報の種別に対して、ペイロード長が可変とする場合の種別に応じた値が設定される。より具体的には、図２２に示す例では、ヘッダ情報の種別に対して、図２１に示す例において当該ヘッダ情報の種別設定された「０００」とは異なる値として、「００１」が設定されている。即ち、この場合には、ヘッダ情報の種別のうち「００１」に対応する種別は、ペイロード長が可変とする場合の種別を意味していることとなる。また、図２２に示す例では、拡張領域中の１４ビットが、「Line Length」に割り当てられている。「Line Length」は、ペイロード長を通知するための情報である。このような構成により、受信側は、ヘッダ情報の種別として設定された値に基づき、ペイロード長が可変であることを認識するとともに、拡張領域に「Line Length」として設定された値を読み出すことで、ペイロード長を認識することが可能となる。
以上、図２０～図２２を参照して、本実施形態に係る通信システムにおいて、画像センサ１００（送信装置）からプロセッサ２００（受信装置）への画像の送信に利用されるパケットの構造の一例について説明した。
続いて、本開示に係る通信システムの技術的特徴として、画像に対して設定される領域（ＲＯＩ）の領域データを送信するための送信方式の一例について説明する。
画像センサ１００は、画像に設定される領域の領域データを、パケットのペイロードに格納して行ごとに送信させる。そこで、以降の説明では、画像に設定される領域のうち、各行に相当する部分を便宜上「部分領域」とも称する。
（データのフォーマット）
まず、図２３は、送信されるデータのフォーマットについて説明するための説明図である。図２３において、参照符号Ａ１で示した一連のパケットは、画像に設定される領域の領域データが送信されるパケット（換言すると、有効画素領域のデータが送信されるパケット）を模式的に示している。また、参照符号Ａ２及びＡ３で示した一連のパケットは、領域データを送信するためのパケットとは異なるパケットに相当する。なお、以降の説明では、参照符号Ａ１、Ａ２、及びＡ３で示した各パケットを区別する場合には、便宜上、それぞれ「パケットＡ１」、「パケットＡ２」、及び「パケットＡ３」とも称する。即ち、１フレーム分のデータが送信される期間において、一連のパケットＡ１が送信される前に、一連のパケットＡ２が送信される。また、一連のパケットが送信された後に、一連のパケットＡ３が送信されてもよい。なお、パケットＡ２及びＡ３の少なくともいずれかが、「第１のパケット」の一例に相当する。また、パケットＡ１が、「第２のパケット」の一例に相当する。
図２３に示す例では、一連のパケットＡ２のうち少なくとも一部が、Embedded Dataの送信に利用される。例えば、Embedded Dataは、パケットＡ２のペイロードに格納して送信されてもよい。また、他の一例として、Embedded Dataは、パケットＡ２のうちペイロードとは別の領域に格納して送信されてもよい。
Embedded Dataは、画像センサ１００が付加的に送信される付加情報（換言すると、画像センサ１００により埋め込まれた情報）に相当し、例えば、画像の撮像条件に関する情報や、領域データが送信される領域（ＲＯＩ）に関する情報等が挙げられる。
なお、図２３に示す例では、パケットＡ２のうち少なくとも一部がEmbedded Dataの送信に利用されているが、当該パケットＡ２に替えて、パケットＡ３の少なくとも一部がEmbedded Dataの送信に利用されてもよい。また、以降の説明では、Embedded Dataを「ＥＢＤ」とも称する。
図２３において、「ＳＣ」は、「Start Code」を示しており、パケットの開始を示すシンボル群である。Start Codeは、パケットの前に付加される。Start Codeは、例えば、３種類のK Characterの組み合わせであるK28.5、K27.7、K28.2、及びK27.7の４シンボルで表される。
「ＥＣ」は、「End Code」を示しており、パケットの終了を示すシンボル群である。End Codeは、パケットの後ろに付加される。End Codeは、例えば、３種類のK Characterの組み合わせであるK28.5、K27.7、K30.7、及びK27.7の４シンボルで表される。
「ＰＨ」は、「パケットヘッダ（Packet Header）」を示しており、例えば、図２を参照して説明したヘッダが該当する。「ＦＳ」は、ＦＳ（Frame Start）パケットを示している。「ＦＥ」は、ＦＥ（Frame End）パケットを示している。
「ＤＣ」は、「Deskew Code」を示しており、レーン間のData Skew、即ち、受信側の各レーンで受信されるデータの受信タイミングのずれの補正に用いられるシンボル群である。Deskew Codeは、例えば、K28.5及びAny**の４シンボルで表される。
「ＩＣ」は、「Idle Code」を示しており、パケットデータの伝送時以外の期間に繰り返し送信されるシンボル群である。Idle Codeは、例えば、8B10B CodeであるD CharacterのD00.0（00000000）で表される。
「ＤＡＴＡ」は、ペイロードに格納された領域データ（即ち、画像中に設定された領域に対応する部分のピクセルデータ）を示している。
「ＸＹ」は、ペイロードに格納された領域データに対応する部分領域の左端の位置（画像中の位置）を、Ｘ座標及びＹ座標として示した情報に相当する。なお、以降では、「ＸＹ」で示された、部分領域の左端の位置を示すＸ座標及びＹ座標を、単に「部分領域のＸＹ座標」とも称する。
部分領域のＸＹ座標は、パケットＡ１のペイロードの先頭に格納される。また、部分領域のＸＹ座標は、連続して送信されるパケットＡ１間において、それぞれに対応する部分領域のＸ座標に変更が無く、かつＹ座標が＋１だけされる場合には、後から送信されるパケットＡ１において省略されてもよい。なお、本制御については、具体的な例を挙げて別途後述する。
また、この送信方式では、水平方向に互いに離間した複数の領域が設定された行について、当該複数の領域それぞれに対応する部分領域の領域データを送信する場合には、当該複数の領域それぞれについてのパケットＡ１が個別に生成されて送信される。即ち、水平方向に互いに離間した２つの領域が設定された行については、２つのパケットＡ１が生成及び送信されることとなる。
続いて、図２４を参照して、画像に設定された領域（ＲＯＩ）の領域データを送信するパケットＡ１のパケットヘッダの構成の一例について、特に、拡張領域の構成に着目して説明する。図２４は、パケットヘッダの構成の一例について説明するための説明図である。
図２４に示すように、この送信方式では、画像に設定された領域（ＲＯＩ）の領域データを送信する場合には、当該領域データの送信に利用するパケットＡ１のパケットヘッダにおいて、ヘッダ情報の種別として、領域の情報を送信することを示す情報（即ち、領域の情報の送信を想定した種別に対応する情報）が設定される。また、拡張領域の少なくとも一部に対して、ペイロードを利用して領域のデータ（即ち、部分領域の領域データ）を送信することを示す情報が設定される。また、ペイロードを利用して領域の座標（即ち、部分領域のＸＹ座標）が送信される場合には、拡張領域の少なくとも一部に対して、当該領域の座標を送信することを示す情報が設定される。なお、画像に設定された領域（ＲＯＩ）の領域データを送信する場合には、当該領域の水平方向の幅に応じて、パケットＡ１のペイロードの長さが変化し得る。そのため、拡張領域の一部には、図２２を参照して説明した例と同様に、ペイロード長を示す情報が設定されてもよい。
＜２．まとめ＞
本開示の実施の形態に係る通信システム１０００は、以上のような構成を有し、上述のように動作することで、動きボケの発生と飽和する領域の発生とＳ／Ｎ低下の発生を同時に抑制することができる。動きボケの発生と飽和する領域の発生とＳ／Ｎ低下の発生を同時に抑制することで、本開示の実施の形態に係る通信システム１０００は、高画質、高感度でハイダイナミックレンジな動画像を撮像及び作成できる。
本開示の実施の形態に係る通信システム１０００は、動きボケの発生と飽和する領域の発生とＳ／Ｎ低下の発生を同時に抑制するために、注目領域の範囲だけ選択的に露光時間を短くすることで、出力データレートを一定に保ったままでフレームレートを高速化して出力することが出来る。
本開示の実施の形態に係る通信システム１０００は、動きボケの発生と飽和する領域の発生とＳ／Ｎ低下の発生を同時に抑制するために、注目領域の範囲だけ選択的に露光時間を短くし、その分だけフレームレートを高速化して出力するために、イメージセンサ内での１フレームの画像の露光時間が短くなってしまい、その１フレームの画像だけを評価したときには感度不足に陥ることがあったとしても、露光時間が短くなった分だけフレームレートが高速化されて、露光フレーム数を多くすることができるので、露光時間を短くしなかった場合と同等の感度をイメージセンサから出力された画像を、信号処理することで得ることができる。
例えば、コンベンショナルな方法で１／３０秒の露光時間で感度が不足しておらず、１／４８０秒の露光時間で感度が不足していたとしても、本実施形態では１／４８０秒の露光時間で取得した画像を１／３０秒の時間内に１６枚取得できるので、１／４８０秒の露光時間で取得した１６枚の画像を加算するだけで、１／３０秒の露光時間で取得していた画像を容易に再現可能である。
加えて、本開示の実施の形態に係る通信システム１０００は、動きボケや動きのずれが比較的少ない複数の画像（上記の例では、１／４８０秒の露光時間で取得した１６枚の画像）を使って信号処理をすることができる。動体は時間が経過するとともに空間内（画像内）の位置を移動することになり、単純に１６枚の画像を加算してしまうと、もとの動きボケを再現してしまうことになる。一方、１／４８０秒の露光時間で画像を取得する場合、１／４８０秒という相対的に短い時間での動きを捉えた画像を取得するのに加えて、２フレーム間の時間差も１／４８０秒と相対的に短い。従って、連続した２フレーム間に動き物体が動く量も相対的に小さくなる。よって、本開示の実施の形態に係る通信システム１０００では、動き物体毎に動き補償をしてから加算することが容易になり、感度不足にも動きボケ対策にも同時に対応することが可能である。
例えば、コンベンショナルな方法では、１／３０秒の露光時間で適正露光だった場合でも、部分的に飽和領域が発生するような場合がありえる。これに対して本実施形態では、１／４８０秒の露光時間で取得した画像を１／３０秒の時間内に１６枚取得することができる。本開示の実施の形態に係る通信システム１０００は、取得した１６枚の画像を加算する際に、飽和をさせないで十分な諧調を保ったまま加算することで、１／３０秒の露光時間で取得した画像を、飽和を発生させることなく、容易にハイダイナミックレンジ画像にすることが可能である。
本開示の実施の形態に係る通信システム１０００の効果を説明する。
画像センサ１００の全画素のデータを、後段のプロセッサ２００に転送するのに要する時間を１フレーム時間とすると、その時間をｎ分割（ｎは任意の２以上の整数）した時間でＲＯＩ領域は露光されるので、１枚の画像としては信号量が１／ｎ倍、ショットノイズは１／（ｎ）１／２倍となり、ＳＮ比は悪化するが、後段では、その画像をｎ枚加算処理できるので、信号量は１／ｎ×ｎ＝１倍、ショットノイズは（（１／（ｎ）１／２）２×ｎ）１／２＝１倍となり、本開示の実施の形態に係る通信システム１０００は、ＳＮ比を悪化させることなく加算画像を取得できる。
それに対して、１フレーム時間で露光することで飽和していた画像内の領域は、１フレーム時間の１／ｎ倍の時間で露光されることで、本開示の実施の形態に係る通信システム１０００は、ｎ倍の明るさの被写体まで飽和せずに取得できる。
また、本開示の実施の形態に係る通信システム１０００は、動いている被写体については、ブラー量を１／ｎに減ずる効果がある。
加えて、上記のｎ枚の画像を加算する処理において動き検出をして動いている領域については加算処理をしないという処理をすることで、本開示の実施の形態に係る通信システム１０００は、動体のブラー量を１／ｎに低減させながら、静止体のＳＮ比を悪化させずに取得できる。
加えて、本開示の実施の形態に係る通信システム１０００は、上記の動体部分に対して、動き補償をしながら加算をしていくことで、動体のブラー量を１／ｎに低減したままで静止体だけでなく動体部分もＳＮ比を悪化させずに取得できる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
例えば、ＲＯＩの処理に必要な、画像センサ１００やプロセッサ２００として図７、１０で示した回路の構成要素の一部または全部が、画像センサ１００またはプロセッサ２００のどちらか一方に含まれても良い。また、画像センサ１００やプロセッサ２００として図７、１０で示した回路の構成要素の一部または全部がハードウェアで構成されても良く、ソフトウェアで構成されても良い。画像センサ１００に含める際は、画像センサ１００とプロセッサ２００とがモジュール化されていてもよい。
また例えば、図１０に示したプロセッサ２００の構成では、ＲＯＩ画像と通常画像とを別々に出力していたが、本開示は係る例に限定されるものではない。プロセッサ２００は、ＲＯＩ画像と通常画像と同一の出力としても良い。
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
撮像領域の全体の画像データを受信する第１のモードと、前記撮像領域の一部の領域のみを受信する第２のモードとの少なくともいずれかで画像データを受信する受信部と、
前記受信部が受信した画像データに基づいて画像を生成する情報処理部と、
を備え、
前記情報処理部は、前記第２のモードで画像データを受信する際に、前記第１のモードとは異なるパラメータが付加された画像データを受信する、受信装置。
（２）
前記情報処理部は、前記第２のモードで受信した画像データを、該画像データの露光時間に応じて複数枚合成することで画像を生成する、前記（１）に記載の受信装置。
（３）
前記露光時間は、前記第２のモードで受信した際の前記領域の大きさに合わせて決定される、前記（２）に記載の受信装置。
（４）
前記情報処理部は、前記パラメータに含まれる前記第２のモードが継続するフレーム数の情報から、前記第２のモードで受信した画像データを合成する数を決定する、前記（２）に記載の受信装置。
（５）
前記第２のモードでの領域のサイズは、該第２のモードでの露光時間と、前記第１のモードの露光時間とから決定される、前記（１）～（４）のいずれかに記載の受信装置。
（６）
前記情報処理部は、前記第２のモードでの領域のサイズの情報を、撮像を行う装置に出力する、前記（１）～（５）のいずれかに記載の受信装置。
（７）
前記情報処理部は、前記第２のモードでの読み出しの次のフレームで前記第１のモードでの画像の生成の際に、前記第２のモードで読み出しされた領域と、該領域以外の領域とを用いて画像を生成する、前記（１）～（６）のいずれかに記載の受信装置。
（８）
前記受信部は、画像データをパケットのペイロード部に含むとともに、前記パラメータを所定のヘッダ部に含む伝送信号を受信する、前記（１）～（７）のいずれかに記載の受信装置。
（９）
前記情報処理部は、前記受信部で受信した前記伝送信号に含まれる前記ヘッダ部から、前記領域についての領域情報を抽出するとともに、抽出した前記領域情報に基づいて、前記受信部で受信した前記伝送信号に含まれる前記ペイロード部から、前記領域の画像データを抽出する、前記（８）に記載の受信装置。
（１０）
前記領域情報には、前記領域の大きさを示す情報と、該領域で伝送される画像のフレーム数を示す情報とが含まれる、前記（９）に記載の受信装置。
（１１）
前記受信部は、ＭＩＰＩ(Mobile Industry Processor Interface) ＣＳＩ（Camera Serial Interface）－２規格、ＭＩＰＩ ＣＳＩ－３規格、または、ＭＩＰＩ ＤＳＩ（Display Serial Interface）規格で信号を受信する、前記（９）に記載の受信装置。
（１２）
撮像領域の全体を読み出す第１のモードと、前記撮像領域の一部の領域を読み出す第２のモードとの少なくともいずれかで画像データを読み出す画像処理部と、
前記画像処理部が読み出した画像データを所定のフォーマットに従う伝送信号に格納して伝送する送信部と、
を備え、
前記画像処理部は、前記第２のモードで画像を読み出す際に読み出し速度を可変とする、
送信装置。
（１３）
前記画像処理部は、前記第２のモードで読み出す際のフレームレートに合わせて前記領域の大きさを決定する、前記（１２）に記載の送信装置。
（１４）
前記画像処理部は、前記第２のモードで読み出す際の前記領域の大きさに合わせてフレームレートを決定する、前記（１２）に記載の送信装置。
（１５）
前記画像処理部は、前記第２のモードでの露光時間を、該第２のモードでの領域のサイズと、前記第１のモードの露光時間とから決定する、前記（１２）に記載の送信装置。
（１６）
前記画像処理部は、前記第２のモードでの領域のサイズを、該第２のモードでの露光時間と、前記第１のモードの露光時間とから決定する、前記（１２）に記載の送信装置。
（１７）
前記伝送信号は、画像データが格納されるパケットのペイロード部と、前記画像データについての情報が含まれる所定のヘッダ部と、を含む、前記（１２）～（１６）のいずれかに記載の送信装置。
（１８）
前記ヘッダ部は、前記領域についての領域情報を含む、前記（１７）に記載の送信装置。
（１９）
前記領域情報は、前記領域の大きさを示す情報と、該領域で伝送される画像のフレーム数を示す情報とを含む、前記（１８）に記載の送信装置。
（２０）
前記送信部は、ＭＩＰＩ－２規格、ＭＩＰＩ ＣＳＩ－３規格、または、ＭＩＰＩ ＤＳＩ規格で信号を送信する、前記（１２）～（１９）のいずれかに記載の送信装置。
１００ 画像センサ
２００ プロセッサ
１０００ 通信システム

Claims (17)

  1. データを受信する受信部と
    前記受信部から出力される画像データに基づいて画像を生成する情報処理部と、
    を備え、
    前記受信部は、第１のモードにおいて撮像領域の全体を前記画像データとして出力し、第２のモードにおいて撮像領域の一部の領域を前記画像データとして出力するものであって、前記画像データに含まれる付加情報に基づいて、前記第１のモードもしくは前記第２のモードを選択し、
    前記第２のモードでの領域のサイズは、該第２のモードでの露光時間と、前記第１のモードの露光時間とから決定される、受信装置。
  2. データを受信する受信部と
    前記受信部から出力される画像データに基づいて画像を生成する情報処理部と、
    を備え、
    前記受信部は、第１のモードにおいて撮像領域の全体を前記画像データとして出力し、第２のモードにおいて撮像領域の一部の領域を前記画像データとして出力するものであって、前記画像データに含まれる付加情報に基づいて、前記第１のモードもしくは前記第２のモードを選択し、
    前記第２のモードでの露光時間は、該第２のモードでの領域のサイズと、前記第１のモードの露光時間とから決定される、受信装置。
  3. データを受信する受信部と
    前記受信部から出力される画像データに基づいて画像を生成する情報処理部と、
    を備え、
    前記受信部は、第１のモードにおいて撮像領域の全体を前記画像データとして出力し、第２のモードにおいて撮像領域の一部の領域を前記画像データとして出力するものであって、前記画像データに含まれる付加情報に基づいて、前記第１のモードもしくは前記第２のモードを選択し、
    前記情報処理部は、前記第２のモードでの読み出しの次のフレームで前記第１のモードでの画像の生成の際に、前記第２のモードで読み出しされた領域と、該領域以外の領域とを用いて画像を生成する、受信装置。
  4. 前記情報処理部は、前記第２のモードで受信した画像データを複数枚合成することで画像を生成する、請求項１から３のいずれか一項に記載の受信装置。
  5. 前記情報処理部は、前記第２のモードで受信した画像データを合成する数を決定する、請求項４に記載の受信装置。
  6. 撮像装置に領域情報データを送信する送信部をさらに備え、
    前記情報処理部は、前記第１のモードで生成した画像に基づいて、取得すべき撮像領域の一部の領域を決定して、前記領域情報データを生成する、請求項１から５のいずれか一項に記載の受信装置。
  7. 前記情報処理部は、前記領域情報データとして、前記第２のモードでの領域の座標及びサイズの情報を生成し、前記受信部に該情報を提供する、請求項６に記載の受信装置。
  8. 前記受信部は、前記画像データをパケットのペイロード部に含むとともに、前記付加情報を所定のヘッダ部に含む伝送信号を受信する、請求項１から７のいずれか一項に記載の受信装置。
  9. 前記情報処理部は、前記受信部で受信した前記伝送信号に含まれる前記ヘッダ部から、前記領域についての領域情報を抽出するとともに、抽出した前記領域情報に基づいて、前記受信部で受信した前記伝送信号に含まれる前記ペイロード部から、前記領域の画像データを抽出する、請求項８に記載の受信装置。
  10. 前記領域情報には、前記領域の大きさを示す情報と、該領域で伝送される画像のフレーム数を示す情報とが含まれる、請求項９に記載の受信装置。
  11. 前記受信部は、ＭＩＰＩ(Mobile Industry Processor Interface) ＣＳＩ（Camera Serial Interface）－２規格、ＭＩＰＩ ＣＳＩ－３規格、または、ＭＩＰＩ ＤＳＩ（Display Serial Interface）規格で信号を受信する、請求項８に記載の受信装置。
  12. 撮像領域の全体を読み出す第１のモードと、前記撮像領域の一部の領域を読み出す第２のモードとの少なくともいずれかで画像データを読み出す画像処理部と、
    前記画像処理部が読み出した画像データを所定のフォーマットに従う伝送信号に格納して伝送する送信部と、
    を備え、
    前記画像処理部は、
    前記第２のモードで画像を読み出す際に読み出し速度を可変とし、
    前記第２のモードでの露光時間を、該第２のモードでの領域のサイズと、前記第１のモードの露光時間とから決定する、送信装置。
  13. 撮像領域の全体を読み出す第１のモードと、前記撮像領域の一部の領域を読み出す第２のモードとの少なくともいずれかで画像データを読み出す画像処理部と、
    前記画像処理部が読み出した画像データを所定のフォーマットに従う伝送信号に格納して伝送する送信部と、
    を備え、
    前記画像処理部は、
    前記第２のモードで画像を読み出す際に読み出し速度を可変とし、
    前記第２のモードでの領域のサイズを、該第２のモードでの露光時間と、前記第１のモードの露光時間とから決定する、送信装置。
  14. 前記伝送信号は、画像データが格納されるパケットのペイロード部と、前記画像データについての情報が含まれる所定のヘッダ部と、を含む、請求項１２または１３に記載の送信装置。
  15. 前記ヘッダ部は、前記領域についての領域情報を含む、請求項１４に記載の送信装置。
  16. 前記領域情報は、前記領域の大きさを示す情報と、該領域で伝送される画像のフレーム数を示す情報とを含む、請求項１５に記載の送信装置。
  17. 前記送信部は、ＭＩＰＩ－２規格、ＭＩＰＩ ＣＳＩ－３規格、または、ＭＩＰＩ ＤＳＩ規格で信号を送信する、請求項１２から１６のいずれか一項に記載の送信装置。
JP2020559929A 2018-12-06 2019-11-22 受信装置および送信装置 Active JP7414733B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018229200 2018-12-06
JP2018229200 2018-12-06
PCT/JP2019/045883 WO2020116213A1 (ja) 2018-12-06 2019-11-22 受信装置および送信装置

Publications (2)

Publication Number Publication Date
JPWO2020116213A1 JPWO2020116213A1 (ja) 2021-10-21
JP7414733B2 true JP7414733B2 (ja) 2024-01-16

Family

ID=70974925

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020559929A Active JP7414733B2 (ja) 2018-12-06 2019-11-22 受信装置および送信装置

Country Status (7)

Country Link
US (2) US11606500B2 (ja)
EP (1) EP3893485A4 (ja)
JP (1) JP7414733B2 (ja)
KR (1) KR20210096090A (ja)
CN (1) CN113170044B (ja)
TW (1) TWI856991B (ja)
WO (1) WO2020116213A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116018799B (zh) 2020-08-29 2024-02-13 华为技术有限公司 一种图像传输方法及装置
CN118574000B (zh) * 2024-07-04 2024-12-13 荣耀终端有限公司 一种控制相机显示预览图像方法及电子设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006109001A (ja) 2004-10-04 2006-04-20 Toshiba Teli Corp 撮像装置及び画像データ伝送処理装置及び画像データ受信装置
JP2009027559A (ja) 2007-07-20 2009-02-05 Canon Inc 撮像装置及び撮像システム
JP2010200239A (ja) 2009-02-27 2010-09-09 Ricoh Co Ltd 撮像装置、画像表示装置と、撮像方法及び画像表示方法並びに合焦領域枠の位置補正方法
JP2012034099A (ja) 2010-07-29 2012-02-16 Sanyo Electric Co Ltd データ送信装置
JP2012120158A (ja) 2010-11-12 2012-06-21 Sony Corp 画像出力装置、画像出力方法、画像処理装置、画像処理方法、プログラム、データ構造、および撮像装置
JP2013162443A (ja) 2012-02-08 2013-08-19 Fuji Mach Mfg Co Ltd 画像転送方法および画像転送装置
JP2016054477A (ja) 2014-09-02 2016-04-14 キヤノン株式会社 撮像装置、その制御方法及びプログラム並びに撮像素子
JP2018137567A (ja) 2017-02-21 2018-08-30 ソニーセミコンダクタソリューションズ株式会社 映像送信装置および映像受信装置

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4896208A (en) * 1986-12-02 1990-01-23 Minolta Camera Kabushiki Kaisha Apparatus and method for reading and digitally editing multiple images
JP3621256B2 (ja) 1998-05-14 2005-02-16 株式会社東芝 動き劣化補正処理装置及びその方法
JP4491965B2 (ja) 1999-12-28 2010-06-30 ソニー株式会社 信号処理装置および方法、並びに記録媒体
JP4106874B2 (ja) 2001-02-05 2008-06-25 ソニー株式会社 画像処理装置および方法、並びに記録媒体
JP3966461B2 (ja) * 2002-08-09 2007-08-29 株式会社リコー 電子カメラ装置
JP4888081B2 (ja) * 2006-01-23 2012-02-29 セイコーエプソン株式会社 撮像装置、撮像方法、撮像システム及び画像処理装置
JP4740781B2 (ja) * 2006-03-30 2011-08-03 富士フイルム株式会社 固体撮像装置
JP4715853B2 (ja) 2008-02-12 2011-07-06 ソニー株式会社 固体撮像装置および撮像方法
KR101720774B1 (ko) * 2010-11-24 2017-03-28 삼성전자주식회사 디지털 촬영 장치 및 그의 사진 제공 방법
JP5979849B2 (ja) * 2011-11-21 2016-08-31 キヤノン株式会社 撮像素子及び撮像装置
US9774789B2 (en) * 2013-03-08 2017-09-26 Fotonation Cayman Limited Systems and methods for high dynamic range imaging using array cameras
WO2015009064A1 (en) * 2013-07-17 2015-01-22 Samsung Electronics Co., Ltd. Electronic device for storing image and image storage method thereof
JP2015091005A (ja) 2013-11-05 2015-05-11 オリンパス株式会社 撮像装置
KR20150088139A (ko) 2014-01-23 2015-07-31 삼성전자주식회사 이미지 센서 및 이를 포함하는 이미지 처리 시스템
US9906749B2 (en) 2014-09-02 2018-02-27 Canon Kabushiki Kaisha Image capturing apparatus capable of generating and adding pixel region information to image data, method of controlling the same, and image sensor
US10009544B2 (en) * 2014-09-02 2018-06-26 Canon Kabushiki Kaisha Image capturing apparatus, control method of the same and image sensor
JP6774233B2 (ja) * 2016-06-21 2020-10-21 キヤノン株式会社 焦点検出装置、制御方法およびプログラム
BR112019025471A2 (pt) * 2017-06-09 2020-06-23 Sony Semiconductor Solutions Corporation Dispositivo de transmissão de figura, e, dispositivo de recepção de figura
US11039092B2 (en) * 2017-11-15 2021-06-15 Nvidia Corporation Sparse scanout for image sensors
JP6917298B2 (ja) 2017-12-27 2021-08-11 大和化成工業株式会社 クリップ
US10867393B2 (en) * 2018-03-22 2020-12-15 Texas Instruments Incorporated Video object detection
JP7404640B2 (ja) * 2019-04-03 2023-12-26 沖電気工業株式会社 符号化装置、復号装置及び画像処理方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006109001A (ja) 2004-10-04 2006-04-20 Toshiba Teli Corp 撮像装置及び画像データ伝送処理装置及び画像データ受信装置
JP2009027559A (ja) 2007-07-20 2009-02-05 Canon Inc 撮像装置及び撮像システム
JP2010200239A (ja) 2009-02-27 2010-09-09 Ricoh Co Ltd 撮像装置、画像表示装置と、撮像方法及び画像表示方法並びに合焦領域枠の位置補正方法
JP2012034099A (ja) 2010-07-29 2012-02-16 Sanyo Electric Co Ltd データ送信装置
JP2012120158A (ja) 2010-11-12 2012-06-21 Sony Corp 画像出力装置、画像出力方法、画像処理装置、画像処理方法、プログラム、データ構造、および撮像装置
JP2013162443A (ja) 2012-02-08 2013-08-19 Fuji Mach Mfg Co Ltd 画像転送方法および画像転送装置
JP2016054477A (ja) 2014-09-02 2016-04-14 キヤノン株式会社 撮像装置、その制御方法及びプログラム並びに撮像素子
JP2018137567A (ja) 2017-02-21 2018-08-30 ソニーセミコンダクタソリューションズ株式会社 映像送信装置および映像受信装置

Also Published As

Publication number Publication date
TW202101958A (zh) 2021-01-01
EP3893485A4 (en) 2021-12-29
CN113170044B (zh) 2023-10-24
US11924546B2 (en) 2024-03-05
WO2020116213A1 (ja) 2020-06-11
US11606500B2 (en) 2023-03-14
US20220006954A1 (en) 2022-01-06
CN113170044A (zh) 2021-07-23
US20230239570A1 (en) 2023-07-27
KR20210096090A (ko) 2021-08-04
TWI856991B (zh) 2024-10-01
JPWO2020116213A1 (ja) 2021-10-21
EP3893485A1 (en) 2021-10-13

Similar Documents

Publication Publication Date Title
US11074023B2 (en) Transmission device
KR102641559B1 (ko) 송신 장치
US11924546B2 (en) Reception apparatus and transmission apparatus
JP7357620B2 (ja) 画像処理装置、および画像処理システム
JP7152475B2 (ja) 送信装置、受信装置、及び通信システム
JP7504803B2 (ja) 画像処理装置及び画像処理方法
WO2020250727A1 (ja) 送信装置、送信方法、受信装置、受信方法、および送受信装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221020

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230926

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231116

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231205

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231228

R150 Certificate of patent or registration of utility model

Ref document number: 7414733

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150