[go: up one dir, main page]

JP4850504B2 - Signal processing apparatus, imaging apparatus, and data transfer method - Google Patents

Signal processing apparatus, imaging apparatus, and data transfer method Download PDF

Info

Publication number
JP4850504B2
JP4850504B2 JP2005362368A JP2005362368A JP4850504B2 JP 4850504 B2 JP4850504 B2 JP 4850504B2 JP 2005362368 A JP2005362368 A JP 2005362368A JP 2005362368 A JP2005362368 A JP 2005362368A JP 4850504 B2 JP4850504 B2 JP 4850504B2
Authority
JP
Japan
Prior art keywords
signal processing
transfer
margin
processing means
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005362368A
Other languages
Japanese (ja)
Other versions
JP2007164629A5 (en
JP2007164629A (en
Inventor
俊樹 石田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2005362368A priority Critical patent/JP4850504B2/en
Publication of JP2007164629A publication Critical patent/JP2007164629A/en
Publication of JP2007164629A5 publication Critical patent/JP2007164629A5/ja
Application granted granted Critical
Publication of JP4850504B2 publication Critical patent/JP4850504B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Memory System (AREA)
  • Studio Devices (AREA)

Description

本発明は、撮像装置などの信号処理装置において、データの転送効率を向上させる技術に関する。   The present invention relates to a technique for improving data transfer efficiency in a signal processing device such as an imaging device.

近年、撮像素子の飛躍的な技術進歩に伴い、画像データの解像度も大幅に増加している。また、画像処理の複雑化に伴い、メモリを共有する画像処理モジュールも増加している。   In recent years, the resolution of image data has been greatly increased along with dramatic technological advancement of image sensors. As image processing becomes more complex, the number of image processing modules that share memory has increased.

静止画の処理装置では、メモリへのアクセスバスが渋滞すれば、処理時間が増加するため好ましくない。一方で、動画の処理装置では、さらに深刻な問題が発生する。動画の処理装置は、一定の同期信号に基づいて処理を実行しなければならない。すなわち、一定周期内で必ず処理が終了しなければならない。よって、バスが渋滞すれば、一定周期内で処理が完了しなくなるため、深刻な不具合が発生しうる。   In the still image processing apparatus, if the access bus to the memory is congested, the processing time increases, which is not preferable. On the other hand, a more serious problem occurs in the moving image processing apparatus. The moving image processing apparatus must execute processing based on a certain synchronization signal. That is, the process must be completed within a certain period. Therefore, if the bus is congested, the processing cannot be completed within a certain period, and a serious problem may occur.

このような課題を解決すべく、従来、一定時間内に処理を終了すべきモジュールについては、メモリへのアクセスの優先度を高く設定するという発明が提案されている(特許文献1)。
特開2003−122705号公報
In order to solve such a problem, conventionally, an invention has been proposed in which the priority of access to a memory is set high for a module whose processing should be completed within a predetermined time (Patent Document 1).
JP 2003-122705 A

最近になり、撮像素子から入力される画像の解像度や、再生機器へと出力される画像の解像度は大幅に増加している。もちろん、今後も増加傾向は続くであろう。そのため、バスの渋滞はさらに深刻となろう。   Recently, the resolution of an image input from an image sensor and the resolution of an image output to a playback device have been greatly increased. Of course, the increasing trend will continue. As a result, bus congestion will be even more serious.

一方で、撮像装置に使用されるDRAMの数やデータバス幅を削減することが、製造コストの削減の観点から求められている。これらを削減すれば、上記問題にさらに拍車がかかることは明らかであろう。   On the other hand, reducing the number of DRAMs and the data bus width used in the imaging device is required from the viewpoint of reducing manufacturing costs. Clearly, reducing these will further spur the problem.

このような事情から、特許文献1のように優先順位のみに基づきアクセスを調停する方法では、上記課題を十分には解決できなくなると予想される。   Under such circumstances, it is expected that the above problem cannot be solved sufficiently by the method of arbitrating access based only on the priority order as in Patent Document 1.

そこで、本発明は、このような課題および他の課題のうち、少なくとも1つを解決することを目的とする。なお、他の課題については明細書の全体を通して理解できよう。   Therefore, an object of the present invention is to solve at least one of such problems and other problems. Other issues can be understood throughout the specification.

本発明は、
入力された画像信号に対してそれぞれ異なる処理を施す複数の信号処理手段と、
前記画像信号に基づいて前記信号処理手段により処理されたデータを記憶する記憶手段と、
動作モードが変更される際にデータの仮想転送を実行することで、前記信号処理手段のうち実時間でデータを前記記憶手段に転送する必要がある信号処理手段についての転送周期と該記憶手段へのアクセス時間との差分を、前記記憶手段に各信号処理手段がアクセスする際のそれぞれの余裕度として算出する算出手段と、
算出された前記余裕度を第1の閾値および第2の閾値と比較する比較手段と、
前記余裕度が前記第1の閾値未満となる第1の信号処理手段についての転送の優先度よりも高い優先度を有し、かつ、前記余裕度が前記第2の閾値以上となる第2の信号処理手段を特定する特定手段と、
前記第2の信号処理手段の転送処理中に、前記第1の信号処理手段の転送処理を割り込ませることにより各信号処理手段による前記記憶手段へのアクセス動作を調停する調停手段と
を含むことを特徴とする信号処理装置を提供する
The present invention
A plurality of signal processing means for performing different processing on the input image signal,
Storage means for storing data processed by the signal processing means based on the image signal;
By executing virtual transfer of data when the operation mode is changed, a transfer cycle for the signal processing means that needs to transfer data to the storage means in real time among the signal processing means and to the storage means Calculating means for calculating the difference from the access time of each as a margin for each signal processing means to access the storage means;
A comparison means for comparing the calculated margin with a first threshold and a second threshold;
A second signal having a higher priority than a transfer priority for the first signal processing means for which the margin is less than the first threshold, and the margin is equal to or greater than the second threshold; Identifying means for identifying the signal processing means;
Arbitration means for arbitrating the access operation to the storage means by each signal processing means by interrupting the transfer processing of the first signal processing means during the transfer processing of the second signal processing means;
The signal processing apparatus characterized by including is provided .

本発明によれば、各信号処理手段の余裕度に基づいて、記憶手段へのアクセス動作を調停することで、記憶手段への転送効率を従来よりも改善できよう。これにより、記憶手段のバスが渋滞することで発生していた不具合を未然に防止できる確率が向上しよう。   According to the present invention, the transfer efficiency to the storage means can be improved as compared with the prior art by arbitrating the access operation to the storage means based on the margin of each signal processing means. As a result, the probability of preventing the trouble that has occurred due to the congestion of the bus of the storage means will be improved.

以下に本発明の一実施形態を示す。もちろん以下で説明される個別の実施形態は、本発明の上位概念、中位概念および下位概念など種々の概念を理解するために役立つであろう。また、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。   An embodiment of the present invention is shown below. Of course, the individual embodiments described below will be helpful in understanding various concepts such as the superordinate concept, intermediate concept and subordinate concept of the present invention. Further, the technical scope of the present invention is determined by the scope of the claims, and is not limited by the following individual embodiments.

図1は、実施形態に係る信号処理部を含む撮像装置の一例を示す図である。撮像装置は、一般に、デジタルスチルカメラやデジタルビデオカメラとして実現されよう。   FIG. 1 is a diagram illustrating an example of an imaging apparatus including a signal processing unit according to the embodiment. The imaging device will generally be implemented as a digital still camera or a digital video camera.

信号処理部100は、撮像素子150により取得された画像信号について画像処理する回路である。通常、信号処理部100では、複数のSDRAMなどから構成される記憶部101を媒介として各種の信号処理が実行される。なお、記憶部101を信号処理部100の一部分と考えてもよいことはいうまでもない。   The signal processing unit 100 is a circuit that performs image processing on the image signal acquired by the image sensor 150. Usually, in the signal processing unit 100, various signal processes are executed through the storage unit 101 including a plurality of SDRAMs. Needless to say, the storage unit 101 may be considered as a part of the signal processing unit 100.

FインタフェースO102は、画像データを一時的に記憶する先入れ先出し形のメモリである。FインタフェースO102は、コントローラ103によって制御される。コントローラ103は、撮像素子150からの読み出しレートと、調停・余裕度算出部(以下、調停部と称す。)114への転送レートとを整合させる。   The F interface O102 is a first-in first-out memory that temporarily stores image data. The F interface O102 is controlled by the controller 103. The controller 103 matches the read rate from the image sensor 150 with the transfer rate to the arbitration / margin calculation unit (hereinafter referred to as the arbitration unit) 114.

信号処理部100には、様々な信号処理モジュールが搭載されている。カメラDSPモジュール105は、YC分離処理などのカメラ信号処理を実行する。リサイズモジュール106は、画像の拡大処理や縮小処理を実行する。NRモジュール107は、例えば、高感度撮影時や低速シャッター時に発生するノイズを低減する。エフェクトモジュール108は、各種のエフェクト処理を実行する。圧縮伸張部109は、JPEGなどの符号化方法を用いて画像データを圧縮したり伸張したりする。外部メディアインタフェース110は、テープメディア、ディクスメディア、メモリカードなどの外部メディアに対するデータの入出力を行う。ビデオインタフェース111は、ビデオ信号の入出力を実行する。なお、撮像素子150も信号処理モジュールの一種と考えてもよい。   Various signal processing modules are mounted on the signal processing unit 100. The camera DSP module 105 executes camera signal processing such as YC separation processing. The resizing module 106 executes image enlargement processing and reduction processing. For example, the NR module 107 reduces noise generated during high-sensitivity shooting or low-speed shutter. The effect module 108 executes various effect processes. The compression / decompression unit 109 compresses or decompresses image data using an encoding method such as JPEG. The external media interface 110 inputs and outputs data to and from external media such as tape media, disk media, and memory cards. The video interface 111 performs input / output of video signals. Note that the image sensor 150 may also be considered as a kind of signal processing module.

DRAMインタフェース113は、複数のSDRAMに対するデータアクセスを担当する。調停部114は、各信号処理モジュールが記憶部101にアクセスする際のそれぞれの余裕度を観測する。また、調停部114は、各余裕度に基づいて各信号処理モジュールによる記憶部101へのアクセス動作を調停する。そのため、各信号処理モジュールからの転送リクエストはすべて調停部114に入力され、調停部114により調停処理が実行される。   The DRAM interface 113 is responsible for data access to a plurality of SDRAMs. The arbitration unit 114 observes each margin when each signal processing module accesses the storage unit 101. Further, the arbitrating unit 114 mediates the access operation to the storage unit 101 by each signal processing module based on each margin. Therefore, all transfer requests from each signal processing module are input to the arbitration unit 114, and the arbitration unit 114 executes arbitration processing.

各信号処理モジュールには、転送の優先度が予め設定されている。よって、調停部114は、優先度の高い信号処理モジュールから、順次、記憶部101へのアクセスを許可する。優先度の管理方法は、上述したように特許文献1を通じて公知となっているため、説明を省略する。   Transfer priority is preset in each signal processing module. Therefore, the arbitrating unit 114 sequentially permits access to the storage unit 101 from a signal processing module with a high priority. Since the priority management method is known through Patent Document 1 as described above, the description thereof is omitted.

調停部114は、転送リクエストの発行(アサート)から転送終了までの時間を転送時間とし、この転送時間と転送周期との差分を余裕度として算出する。なお、余裕度については、動画データの転送のように一定の周期で転送を行うことが必須となるアクセスについてだけ、求めるようにしてもよい。   The arbitrating unit 114 calculates the time between the issuance (assertion) of the transfer request and the end of transfer as the transfer time, and calculates the difference between the transfer time and the transfer cycle as a margin. It should be noted that the margin may be obtained only for an access that is required to be transferred at a constant cycle, such as transfer of moving image data.

CPU112は、各信号処理モジュールの同期タイミングを基準として、対応する余裕度を調停部114から読み出す。さらに、CPU112は、第1の閾値未満の余裕度を有する第1の信号処理モジュールを特定する。第1の信号処理モジュールは、通常、実時間でデータを記憶部101に転送する必要がある信号処理モジュールである。   The CPU 112 reads the corresponding margin from the arbitration unit 114 with reference to the synchronization timing of each signal processing module. Further, the CPU 112 identifies a first signal processing module having a margin less than the first threshold. The first signal processing module is usually a signal processing module that needs to transfer data to the storage unit 101 in real time.

CPU112は、例えば、第1の信号処理モジュールが有する余裕度と、他の第2の信号処理モジュールが有する余裕度とを比較する。CPU112は、比較結果に応じて、優先順位、バースト長、アクセスされるSDRAMなどの転送条件を変更し、変更された転送条件を調停部114に設定する。なお、このようなCPU112の処理を全て、調停部114が実行してもよい。   For example, the CPU 112 compares the margin of the first signal processing module with the margin of the other second signal processing module. The CPU 112 changes transfer conditions such as priority, burst length, and accessed SDRAM according to the comparison result, and sets the changed transfer conditions in the arbitration unit 114. Note that the arbitration unit 114 may execute all the processes of the CPU 112.

図2は、記憶部へのバスが状態した状態で発生する不具合を説明するための図である。とりわけ、図中のステータスaは、正常に転送が実行される場合の記憶部101のステータスを示している。ステータスbは、不具合が発生する場合の記憶部101のステータスを示している。   FIG. 2 is a diagram for explaining a problem that occurs when the bus to the storage unit is in a state. In particular, the status a in the figure indicates the status of the storage unit 101 when the transfer is normally executed. The status b indicates the status of the storage unit 101 when a problem occurs.

一般に転送周期の始期は、転送リクエストが調停部114に対して発行された時である。ウェイト(Wait)期間は、転送リクエストが発行されてから、転送が許可されるまでの時間をいう。DRAMインタフェース113のポートが競合している場合、他の信号処理モジュールが転送を終了してから、転送リクエストを発行した処理モジュールに転送が許可される。   In general, the beginning of the transfer cycle is when a transfer request is issued to the arbitration unit 114. The wait period refers to the time from when a transfer request is issued until transfer is permitted. If the ports of the DRAM interface 113 are in contention, the transfer is permitted to the processing module that issued the transfer request after the other signal processing modules complete the transfer.

転送が許可されると、DRAMインタフェース113が、記憶部101のSDRAMへコマンドを発行することで、信号処理モジュールからSDRAMへのバースト転送が開始される。一般に、バースト転送されるデータのバースト長は、あらかじめ設定されているが、撮像装置や信号処理部100の動作モードに依存して変更される場合がある。なお、バースト転送が実行されている時間をバースト転送期間と呼ぶことにする。   When the transfer is permitted, the DRAM interface 113 issues a command to the SDRAM of the storage unit 101 to start burst transfer from the signal processing module to the SDRAM. In general, the burst length of data to be transferred in bursts is set in advance, but may be changed depending on the operation mode of the imaging device or the signal processing unit 100. Note that the time during which burst transfer is executed is referred to as a burst transfer period.

図中のマージンは、バースト転送が終了したときから転送周期の終期までをいう。このマージンは、SDRAMにおけるバスの余裕となる。すなわち、マージンは、上述した余裕度と密接に関係している。   The margin in the figure means from the end of burst transfer to the end of the transfer cycle. This margin is a bus margin in the SDRAM. That is, the margin is closely related to the above-described margin.

ステータスbでは、ウェイト期間が長いため、転送周期内でバースト転送を終了できない。この場合、バースト転送中に次の転送リクエストが発行されてしまうため、転送が誤動作するか、あるいは正常な動作が保証されないことになる。   In status b, since the wait period is long, burst transfer cannot be completed within the transfer period. In this case, since the next transfer request is issued during burst transfer, the transfer malfunctions or normal operation is not guaranteed.

図3Aないし図3Cは、2つの信号処理モジュールが並行して転送リクエストを発行した場合の転送処理の一例を説明する図である。なお、コマンド発行期間については、説明の便宜上、省略されている。   3A to 3C are diagrams illustrating an example of a transfer process when two signal processing modules issue transfer requests in parallel. Note that the command issue period is omitted for convenience of explanation.

1つ目のデータ転送は、撮像素子150から読み出された画像データをいずれかの信号処理モジュールで処理するために、一旦、SDRAMへ保持する際の転送である。なお、撮像装置は、複数の撮像モードを有している。例えば、撮像モードごとに、撮像素子150の切り出しの領域が異なる場合、それに応じて転送周期やバースト長も変更される。   The first data transfer is a transfer when the image data read from the image sensor 150 is temporarily held in the SDRAM so as to be processed by any one of the signal processing modules. Note that the imaging apparatus has a plurality of imaging modes. For example, when the cutout area of the image sensor 150 is different for each imaging mode, the transfer cycle and burst length are changed accordingly.

2つ目のデータ転送は、ビデオインタフェース111から外部に出力される画像データをSDRAMから読み出す際のデータ転送である。これについても、撮像装置の撮像モードごとに、ビデオデータの解像度が異なることがある。よって、解像度の違いに応じて、転送周期やバースト長が変更される。ただし、ここでは説明を簡潔にするため、撮像素子150からのデータ転送に関する転送周期やバースト長は一定とする。   The second data transfer is a data transfer when image data output to the outside from the video interface 111 is read from the SDRAM. Also in this case, the resolution of the video data may differ depending on the imaging mode of the imaging apparatus. Therefore, the transfer cycle and burst length are changed according to the difference in resolution. However, here, in order to simplify the description, the transfer cycle and burst length related to data transfer from the image sensor 150 are assumed to be constant.

図3Aによれば、ビデオインタフェース111に関する転送の優先度は、撮像素子150からの転送の優先度よりも低い。そのため、まず撮像素子150が先にデータの転送を開始する。図3Aにおいて、ビデオインタフェース111へと転送されるビデオデータのサイズも、図3Bや図3Cの事例よりも少ないものとする。   According to FIG. 3A, the transfer priority for the video interface 111 is lower than the transfer priority from the image sensor 150. Therefore, first, the image sensor 150 starts data transfer first. In FIG. 3A, it is assumed that the size of the video data transferred to the video interface 111 is also smaller than in the cases of FIGS. 3B and 3C.

この場合、撮像素子150からの転送が終了するまでウェイトしてから、ビデオインタフェース111へのビデオデータの転送が開始される。なお、図3Aのケースでは、ビデオインタフェース111へと出力されるビデオデータのサイズはそれほど大きくないため、ビデオデータの転送は、転送周期内に正常に終了できる。   In this case, after waiting for the transfer from the image sensor 150 to end, transfer of video data to the video interface 111 is started. In the case of FIG. 3A, since the size of the video data output to the video interface 111 is not so large, the transfer of the video data can be normally completed within the transfer cycle.

一方で、図3Bに示されたケースでは、ビデオデータのサイズが図3Aに示したケースのサイズよりも大きくなっている。なお、図3Bにおけるその他の条件は、図3Aと変わらないものとする。この場合、ビデオデータの転送が転送周期2内に収まらないため、オーバーフローとなり、転送が正常に終了しない。これは、誤動作の原因となるためこのましくない。   On the other hand, in the case shown in FIG. 3B, the size of the video data is larger than the size of the case shown in FIG. 3A. The other conditions in FIG. 3B are not different from those in FIG. 3A. In this case, the transfer of the video data does not fit within the transfer cycle 2, and thus overflows and the transfer does not end normally. This is not preferable because it causes a malfunction.

図3Cに示したケースは、図3Bのケースにおいて、ビデオインタフェース111の優先度が、撮像素子150の優先度と交換されている。これにより、ビデオインタフェース111の優先度が、撮像素子150の優先度よりも高くなっている。この場合は、優先度に応じて、ビデオインタフェース111の転送が先に実行されてから、撮像素子150の転送が実行される。   In the case shown in FIG. 3C, the priority of the video interface 111 is exchanged with the priority of the image sensor 150 in the case of FIG. 3B. Thereby, the priority of the video interface 111 is higher than the priority of the image sensor 150. In this case, transfer of the video interface 111 is executed first, and then transfer of the image sensor 150 is executed according to the priority.

図3Aや図3Bが示しているように、元々、撮像素子150の転送に関するマージンはかなり余裕がある。そのためビデオインタフェース111の転送が終了した後で、撮像素子150の転送を実行しても、撮像素子150の転送にオーバーフローは発生しない。もちろん、ビデオインタフェース111の転送が先に実行されることで、ビデオインタフェース111の転送のウェイト期間が短縮され、転送周期2内で正常に転送が完了する。   As shown in FIG. 3A and FIG. 3B, the margin related to the transfer of the image sensor 150 originally has a considerable margin. Therefore, even if the transfer of the image sensor 150 is executed after the transfer of the video interface 111 is completed, the overflow of the transfer of the image sensor 150 does not occur. Of course, when the transfer of the video interface 111 is executed first, the wait period of the transfer of the video interface 111 is shortened, and the transfer is normally completed within the transfer cycle 2.

このように、複数の信号処理モジュールが転送をリクエストしている場合に、各信号処理モジュールのマージン(余裕度)を考慮して、優先度を交換することで、転送の失敗を未然に防止できる確率が高まる。   As described above, when a plurality of signal processing modules request transfer, it is possible to prevent a transfer failure by exchanging the priority in consideration of the margin (margin) of each signal processing module. Probability increases.

すなわち、調停部114またはCPU112は、各信号処理モジュールが記憶部101へアクセスする際のそれぞれの余裕度を観測し、各余裕度に基づいて各信号処理モジュールによる記憶部101へのアクセス動作を調停することが好ましい。   That is, the arbitration unit 114 or the CPU 112 observes each margin when each signal processing module accesses the storage unit 101, and arbitrates the access operation to the storage unit 101 by each signal processing module based on each margin. It is preferable to do.

図4は、実施形態に係る割り込みによる転送効率の改善方法を示す図である。この例では、余裕度の低い信号処理モジュールの転送を、余裕度の大きい信号処理モジュールの転送に割り込ませている。図3Aにおいて説明したように、撮像素子150からの転送については、ビデオインタフェース111への転送よりも相対的に余裕度が大きい。   FIG. 4 is a diagram illustrating a method for improving transfer efficiency by interruption according to the embodiment. In this example, transfer of a signal processing module with a low margin is interrupted with transfer of a signal processing module with a large margin. As described with reference to FIG. 3A, the transfer from the image sensor 150 has a relatively larger margin than the transfer to the video interface 111.

そこで、調停部114は、撮像素子150から転送している最中に、ビデオインタフェース111への転送を割り込ませる。そして、調停部114は、ビデオインタフェース111への転送が終了すると、撮像素子150から転送を再開させる。これにより、双方の転送ともそれぞれの転送周期内で正常に終了できる。もちろん、割り込まれる転送の余裕度が、十分に大きいことが前提となる場合に、この方法は実現可能である。   Therefore, the arbitrating unit 114 interrupts the transfer to the video interface 111 during the transfer from the image sensor 150. Then, when the transfer to the video interface 111 is completed, the arbitrating unit 114 restarts the transfer from the image sensor 150. Thereby, both transfers can be completed normally within each transfer cycle. Of course, this method is feasible when it is assumed that the margin of interrupted transfer is sufficiently large.

図5は、実施形態に係るバースト長の拡大による転送効率の改善方法方法を示す図である。図4において(a)は、相対的に短いバースト長のデータを2回転送するケースである。一方、(b)は、バースト長を2倍にして1回でデータを転送するケースである。一般に、ウェイト期間Twは、転送ごとに確保されることになっているため、(a)のケースでは、2つのウェイト期間が存在する。一方、(b)のケースでは、転送は1回で済むため、ウェイト期間も1つだけで済む。   FIG. 5 is a diagram showing a method for improving transfer efficiency by expanding the burst length according to the embodiment. FIG. 4A shows a case where data having a relatively short burst length is transferred twice. On the other hand, (b) is a case where the burst length is doubled and data is transferred once. Generally, since the wait period Tw is reserved for each transfer, in the case of (a), there are two wait periods. On the other hand, in the case of (b), only one wait period is required because the transfer is performed once.

よって、(b)のケースのマージンは、(a)のケースにおける2つのマージンM1、M2の和よりもさらに大きなマージンM3を確保できる利点がある。マージンが増加すれば、転送の失敗する確率が低下するため、転送効率が改善される。さらに、図3Cで説明したような余裕度に基づき優先度を交換できる可能性が高まるため、転送効率がさらに改善されよう。   Therefore, the margin of the case (b) has an advantage that a margin M3 larger than the sum of the two margins M1 and M2 in the case (a) can be secured. If the margin increases, the probability of transfer failure decreases, and transfer efficiency is improved. Furthermore, since the possibility that the priority can be exchanged based on the margin as described in FIG. 3C is increased, the transfer efficiency will be further improved.

図6は、実施形態に係るデータ転送方法を示すフローチャートである。ここでは、最も基本となるメインルーチンについて説明する。なお、以下の説明では、主に調停部114を処理主体とするが、一部または全ての処理をCPU112が担当してもよい。   FIG. 6 is a flowchart illustrating a data transfer method according to the embodiment. Here, the most basic main routine will be described. In the following description, the arbitration unit 114 is mainly used as a processing subject, but the CPU 112 may be responsible for some or all of the processing.

ステップS601において、調停部114は、各信号処理モジュールが記憶部101にアクセスする際のそれぞれの余裕度を観測する。ステップS602において、調停部114は、観測された各余裕度に基づいて各信号処理モジュールによる記憶部101へのアクセス動作を調停する。   In step S <b> 601, the arbitration unit 114 observes each margin when each signal processing module accesses the storage unit 101. In step S602, the arbitrating unit 114 mediates the access operation to the storage unit 101 by each signal processing module based on the observed margins.

本実施形態によれば、各信号処理モジュールの余裕度に基づいて、記憶部101へのアクセス動作を調停することで、記憶部101へのアクセスを従来よりも効率良くすることができる。これにより、記憶部101へのバスが渋滞することで発生していた不具合を未然に防止できる確率が向上しよう。   According to the present embodiment, access to the storage unit 101 can be made more efficient than before by arbitrating the access operation to the storage unit 101 based on the margin of each signal processing module. As a result, the probability of preventing a problem that has occurred due to a congestion of the bus to the storage unit 101 will be improved.

図7は、より詳細なデータ転送方法を示すフローチャートである。なお、図7に示されるフローチャートは、上述したステップS601およびS602をまとめてサブルーチン化したものと考えてもよい。   FIG. 7 is a flowchart showing a more detailed data transfer method. Note that the flowchart shown in FIG. 7 may be considered as a subroutine obtained by combining steps S601 and S602 described above.

ステップS701において、調停部114は、転送リクエストをアサートしてきた信号処理モジュールについての余裕度を算出する。なお、既に転送処理を実行している他の信号処理モジュールについての余裕度は保持されているものとする。なお、余裕度は、例えば、次式により算出する。   In step S701, the arbitrating unit 114 calculates a margin for the signal processing module that has asserted the transfer request. It is assumed that the margin for other signal processing modules that have already performed the transfer process is retained. The margin is calculated by the following equation, for example.

余裕度 = Req_cyc_cnt − (Wait_cnt + Trs_cnt)
ここで、Req_cycl_cntは、前回の転送リクエストがアサートされたときから今回の転送リクエストがアサートされたときまでの時間(いわゆる転送周期)である。Wait_cntは、他の信号処理モジュールの転送が終了するまでの時間(いわゆるウェイト期間Tw)と、コマンド発行に要する期間Tcとの和である。また、Trs_cntは、バースト転送期間を意味する。バースト転送期間は、バースト長に比例する。
Margin = Req_cyc_cnt− (Wait_cnt + Trs_cnt)
Here, Req_cycl_cnt is the time (so-called transfer cycle) from when the previous transfer request is asserted to when the current transfer request is asserted. Wait_cnt is the sum of the time until the transfer of other signal processing modules is completed (a so-called wait period Tw) and the period Tc required for command issuance. Trs_cnt means a burst transfer period. The burst transfer period is proportional to the burst length.

ステップS702において、調停部114は、算出された余裕度と第1の閾値とを比較し、余裕度が第1の閾値未満となるか否かを判定する。余裕度が第1の閾値未満となる場合、ステップS703に進む。一方、余裕度が第1の閾値以上であれば、調停処理は不要なので、調停部114は、本処理を終了する。なお、第1の閾値は、例えば、過去に算出された余裕度のうち最小値である。算出された余裕度が最小値未満であれば、調停部114は、算出された余裕度を新たな最小値となる。   In step S702, the arbitrating unit 114 compares the calculated margin with the first threshold value, and determines whether the margin is less than the first threshold value. If the margin is less than the first threshold, the process proceeds to step S703. On the other hand, if the margin is equal to or greater than the first threshold, the arbitration process is unnecessary, and the arbitration unit 114 ends this process. Note that the first threshold is, for example, the minimum value among the margins calculated in the past. If the calculated margin is less than the minimum value, the arbitrating unit 114 sets the calculated margin as a new minimum value.

ステップS703において、調停部114は、余裕度が第1の閾値未満となった信号処理モジュールの優先度よりも高い優先度を有する他の信号処理モジュールを特定する。   In step S703, the arbitrating unit 114 identifies another signal processing module having a higher priority than the priority of the signal processing module whose margin is less than the first threshold.

ステップS704において、調停部114は、特定された他の信号処理モジュールの余裕度と第2の閾値とを比較し、余裕度が第2の閾値以上となるか否かを判定する。余裕度が第2の閾値以上となる場合、ステップS705に進む。一方、余裕度が第2の閾値未満であれば、優先度を交換可能な他の信号処理モジュールが存在しないことになるので、調停部114は、本処理を終了する。なお、第2の閾値は、余裕度が第1の閾値未満となった信号処理モジュールの転送を正常に完了できるように設定される。   In step S704, the arbitrating unit 114 compares the margin of the other specified signal processing module with the second threshold, and determines whether the margin is equal to or greater than the second threshold. If the margin is greater than or equal to the second threshold, the process proceeds to step S705. On the other hand, if the margin is less than the second threshold, there is no other signal processing module whose priority can be exchanged, so the arbitrating unit 114 ends this processing. The second threshold value is set so that the transfer of the signal processing module whose margin is less than the first threshold value can be completed normally.

ステップS705において、調停部114は、転送リクエストをアサートしてきた信号処理モジュールの優先度と、他の信号処理モジュールの優先度とを交換する。   In step S705, the arbitrating unit 114 exchanges the priority of the signal processing module that has asserted the transfer request with the priority of another signal processing module.

このように図7に示すデータ転送方法は、とりわけ、図3Bないし図3Cのような状況下で転送効率を改善することができる。すなわち、複数の信号処理モジュール間で優先度を交換することで、いずれの信号処理モジュールにおける転送も正常に完了できるようになる。   As described above, the data transfer method shown in FIG. 7 can improve the transfer efficiency especially in the situation shown in FIGS. 3B to 3C. That is, by exchanging priorities among a plurality of signal processing modules, transfer in any of the signal processing modules can be normally completed.

図8は、より詳細なデータ転送方法を示す他のフローチャートである。なお、既に説明した箇所には同一の参照符号を付すことで説明を簡潔にする。図7と比較すれば分るように、図8では、ステップS705がステップS805に置換されている。   FIG. 8 is another flowchart showing a more detailed data transfer method. In addition, description is simplified by attaching | subjecting the same referential mark to the already demonstrated location. As can be seen from comparison with FIG. 7, in FIG. 8, step S705 is replaced with step S805.

ステップS805において、調停部114は、他の信号処理モジュールの転送処理に、転送リクエストをアサートしてきた信号処理モジュールの転送処理を割り込ませる。すなわち、調停部114は、他の信号処理モジュールの転送を停止し、転送リクエストをアサートしてきた信号処理モジュールの転送を開始する。転送リクエストをアサートしてきた信号処理モジュールの転送が終了すると、調停部114は、他の信号処理モジュールの転送を再開させる。   In step S805, the arbitrating unit 114 interrupts the transfer process of the signal processing module that has asserted the transfer request in the transfer process of another signal processing module. That is, the arbitrating unit 114 stops the transfer of other signal processing modules and starts the transfer of the signal processing module that has asserted the transfer request. When the transfer of the signal processing module that has asserted the transfer request is completed, the arbitrating unit 114 restarts the transfer of the other signal processing modules.

このように図8に示すデータ転送方法は、とりわけ、図4のような状況下で転送効率を改善することができる。すなわち、余裕度の小さい信号処理モジュールの転送を、余裕度の大きな信号処理モジュールの転送期間中に割り込ませて実行することで、いずれの転送も正常に完了できるようになる。   As described above, the data transfer method shown in FIG. 8 can improve the transfer efficiency under the situation shown in FIG. That is, transfer of a signal processing module with a small margin is interrupted and executed during the transfer period of a signal processing module with a large margin, so that any transfer can be completed normally.

図9は、より詳細なデータ転送方法を示すさらに他のフローチャートである。なお、既に説明した箇所には同一の参照符号を付すことで説明を簡潔にする。図7と比較すれば分るように、図9では、ステップS703ないしS705がステップS903に置換されている。   FIG. 9 is still another flowchart showing a more detailed data transfer method. In addition, description is simplified by attaching | subjecting the same referential mark to the already demonstrated location. As can be seen from comparison with FIG. 7, in FIG. 9, steps S703 to S705 are replaced with step S903.

ステップS903において、調停部114は、転送リクエストをアサートしてきた信号処理モジュールの転送サイズ(いわゆるバースト長)を拡大させる。図5に関して説明したように、バースト長を拡大させることでマージンが拡大されるため、転送効率の向上が期待できる。   In step S903, the arbitrating unit 114 increases the transfer size (so-called burst length) of the signal processing module that has asserted the transfer request. As described with reference to FIG. 5, since the margin is increased by increasing the burst length, an improvement in transfer efficiency can be expected.

図10は、より詳細なデータ転送方法を示すさらに他のフローチャートである。なお、既に説明した箇所には同一の参照符号を付すことで説明を簡潔にする。図9と比較すれば分るように、図10では、ステップS903がステップS1003に置換されている。   FIG. 10 is still another flowchart showing a more detailed data transfer method. In addition, description is simplified by attaching | subjecting the same referential mark to the already demonstrated location. As can be seen from comparison with FIG. 9, in FIG. 10, step S903 is replaced with step S1003.

ステップS1003において、調停部114は、競合している他の信号処理モジュールのアクセス先(SDRAM)とは異なるように、転送リクエストをアサートしてきた信号処理モジュールのアクセス先を選択する。このように、重複しないようにSDRAMを選択することで、転送効率が改善する。   In step S1003, the arbitrating unit 114 selects the access destination of the signal processing module that has asserted the transfer request so that it is different from the access destination (SDRAM) of the other signal processing modules that are competing. Thus, the transfer efficiency is improved by selecting the SDRAM so as not to overlap.

[他の実施形態]
上述したように撮像装置は、複数の動作モードを有していることがある。よって、調停部114またはCPU112は、動作モードが変更される際に、画像データの仮想転送を実行することで余裕度を観測してもよい。すなわち、調停部114等は、実際のデータを転送することなく、ウェイト期間や転送期間をカウントすることで、オーバーフローが発生しない程度の余裕度があるか否かを判定できる。そして、調停部114は、この余裕度に応じて調停を実行することで、転送効率を改善できる。
[Other Embodiments]
As described above, the imaging apparatus may have a plurality of operation modes. Therefore, the arbitration unit 114 or the CPU 112 may observe the margin by executing virtual transfer of image data when the operation mode is changed. That is, the arbitrating unit 114 and the like can determine whether there is a margin enough to prevent overflow by counting the wait period and the transfer period without transferring actual data. The arbitration unit 114 can improve transfer efficiency by executing arbitration according to the margin.

なお、調停部114またはCPU112は、複数の動作モードごとに観測された余裕度をメモリ等の保持部により保持してもよい。この場合、調停部114等は、動作モードが変更されると、動作モードに対応する余裕度に基づいて、各信号処理モジュールの転送条件を設定することができよう。   Note that the arbitrating unit 114 or the CPU 112 may hold a margin observed for each of the plurality of operation modes by a holding unit such as a memory. In this case, when the operation mode is changed, the arbitration unit 114 and the like may be able to set transfer conditions for each signal processing module based on a margin corresponding to the operation mode.

実施形態に係る信号処理部を含む撮像装置の一例を示す図である。It is a figure which shows an example of the imaging device containing the signal processing part which concerns on embodiment. 記憶部へのバスが状態した状態で発生する不具合を説明するための図である。It is a figure for demonstrating the malfunction which generate | occur | produces in the state in which the bus | bath to a memory | storage part was in the state. , , 2つの信号処理モジュールが並行して転送リクエストを発行した場合の転送処理の一例を説明する図である。It is a figure explaining an example of the transfer process when two signal processing modules issue a transfer request in parallel. 実施形態に係る割り込みによる転送効率の改善方法を示す図である。It is a figure which shows the improvement method of the transfer efficiency by the interrupt which concerns on embodiment. 実施形態に係るバースト長の拡大による転送効率の改善方法方法を示す図である。It is a figure which shows the improvement method method of the transfer efficiency by expansion of the burst length concerning embodiment. 実施形態に係るデータ転送方法を示すフローチャートである。It is a flowchart which shows the data transfer method which concerns on embodiment. より詳細なデータ転送方法を示すフローチャートである。It is a flowchart which shows the more detailed data transfer method. より詳細なデータ転送方法を示す他のフローチャートである。It is another flowchart which shows a more detailed data transfer method. より詳細なデータ転送方法を示すさらに他のフローチャートである。10 is still another flowchart showing a more detailed data transfer method. より詳細なデータ転送方法を示すさらに他のフローチャートである。10 is still another flowchart showing a more detailed data transfer method.

Claims (4)

入力された画像信号に対してそれぞれ異なる処理を施す複数の信号処理手段と、
前記画像信号に基づいて前記信号処理手段により処理されたデータを記憶する記憶手段と、
動作モードが変更される際にデータの仮想転送を実行することで、前記信号処理手段のうち実時間でデータを前記記憶手段に転送する必要がある信号処理手段についての転送周期と該記憶手段へのアクセス時間との差分を、前記記憶手段に各信号処理手段がアクセスする際のそれぞれの余裕度として算出する算出手段と、
算出された前記余裕度を第1の閾値および第2の閾値と比較する比較手段と、
前記余裕度が前記第1の閾値未満となる第1の信号処理手段についての転送の優先度よりも高い優先度を有し、かつ、前記余裕度が前記第2の閾値以上となる第2の信号処理手段を特定する特定手段と、
前記第2の信号処理手段の転送処理中に、前記第1の信号処理手段の転送処理を割り込ませることにより各信号処理手段による前記記憶手段へのアクセス動作を調停する調停手段と
を含むことを特徴とする信号処理装置。
A plurality of signal processing means for performing different processing on the input image signal,
Storage means for storing data processed by the signal processing means based on the image signal;
By executing virtual transfer of data when the operation mode is changed, a transfer cycle for the signal processing means that needs to transfer data to the storage means in real time among the signal processing means and to the storage means Calculating means for calculating the difference from the access time of each as a margin for each signal processing means to access the storage means;
A comparison means for comparing the calculated margin with a first threshold and a second threshold;
A second signal having a higher priority than a transfer priority for the first signal processing means for which the margin is less than the first threshold, and the margin is equal to or greater than the second threshold; Identifying means for identifying the signal processing means;
Arbitration means for arbitrating the access operation to the storage means by each signal processing means by interrupting the transfer processing of the first signal processing means during the transfer processing of the second signal processing means. A characteristic signal processing apparatus.
前記調停手段は、
複数の動作モードごとに観測された前記余裕度を保持する保持手段と、
前記動作モードが変更されると、前記保持手段に保持されている該動作モードに対応する前記余裕度に基づいて、各信号処理手段の転送条件を設定する設定手段と
を含むことを特徴とする請求項1に記載の信号処理装置。
The mediation means is
Holding means for holding the margin observed for each of a plurality of operation modes;
Setting means for setting a transfer condition for each signal processing means based on the margin corresponding to the operation mode held in the holding means when the operation mode is changed. The signal processing apparatus according to claim 1.
撮像素子と、
前記撮像素子から出力された画像信号を処理する、請求項1又は2に記載の信号処理装置と
を含むことを特徴とする撮像装置。
An image sensor;
Processing the image signal output from the imaging device, an imaging apparatus characterized by comprising a signal processing apparatus according to claim 1 or 2.
入力された画像信号に対してそれぞれ異なる処理を施す複数の信号処理手段と、前記画像信号に基づいて前記信号処理手段により処理されたデータを記憶する記憶手段とを含む信号処理装置におけるデータ転送方法であって、
動作モードが変更される際にデータの仮想転送を実行することで、前記信号処理手段のうち実時間でデータを前記記憶手段に転送する必要がある信号処理手段についての転送周期と該記憶手段へのアクセス時間との差分を、前記記憶手段に各信号処理手段がアクセスする際のそれぞれの余裕度として算出する算出工程と、
算出された前記余裕度を第1の閾値および第2の閾値と比較する比較工程と、
前記余裕度が前記第1の閾値未満となる第1の信号処理手段についての転送の優先度よりも高い優先度を有し、かつ、前記余裕度が前記第2の閾値以上となる第2の信号処理手段を特定する特定工程と、
前記第2の信号処理手段の転送処理中に、前記第1の信号処理手段の転送処理を割り込ませることにより各余裕度に基づいて各信号処理手段による前記記憶手段へのアクセス動作を調停する調停工程と
を含むことを特徴とするデータ転送方法。
A data transfer method in a signal processing apparatus, comprising: a plurality of signal processing means for performing different processes on input image signals; and storage means for storing data processed by the signal processing means based on the image signals Because
By executing virtual transfer of data when the operation mode is changed, a transfer cycle for the signal processing means that needs to transfer data to the storage means in real time among the signal processing means and to the storage means A calculation step for calculating the difference between the access time and the storage means as the respective margins when each signal processing means accesses the storage means;
A comparison step of comparing the calculated margin with a first threshold value and a second threshold value;
A second signal having a higher priority than a transfer priority for the first signal processing means for which the margin is less than the first threshold, and the margin is equal to or greater than the second threshold; A specific step of identifying a signal processing means;
Arbitration that arbitrates the access operation to the storage means by each signal processing means based on each margin by interrupting the transfer processing of the first signal processing means during the transfer processing of the second signal processing means. A data transfer method comprising the steps of:
JP2005362368A 2005-12-15 2005-12-15 Signal processing apparatus, imaging apparatus, and data transfer method Expired - Fee Related JP4850504B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005362368A JP4850504B2 (en) 2005-12-15 2005-12-15 Signal processing apparatus, imaging apparatus, and data transfer method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005362368A JP4850504B2 (en) 2005-12-15 2005-12-15 Signal processing apparatus, imaging apparatus, and data transfer method

Publications (3)

Publication Number Publication Date
JP2007164629A JP2007164629A (en) 2007-06-28
JP2007164629A5 JP2007164629A5 (en) 2009-01-15
JP4850504B2 true JP4850504B2 (en) 2012-01-11

Family

ID=38247427

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005362368A Expired - Fee Related JP4850504B2 (en) 2005-12-15 2005-12-15 Signal processing apparatus, imaging apparatus, and data transfer method

Country Status (1)

Country Link
JP (1) JP4850504B2 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5623150B2 (en) * 2010-06-18 2014-11-12 キヤノン株式会社 Electronic device and control method thereof
JP2012044504A (en) * 2010-08-20 2012-03-01 Seiko Epson Corp Video processing apparatus, video display apparatus, and video processing method
KR102336666B1 (en) * 2017-09-15 2021-12-07 삼성전자 주식회사 Memory device and memory system comprising the same
JP7505437B2 (en) * 2021-04-02 2024-06-25 株式会社デンソー Vehicle-mounted camera system control device

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3497988B2 (en) * 1998-04-15 2004-02-16 株式会社ルネサステクノロジ Graphic processing apparatus and graphic processing method
JP2001356961A (en) * 2000-06-13 2001-12-26 Nec Corp Arbitration device
JP2003114825A (en) * 2001-10-04 2003-04-18 Hitachi Ltd Memory control method, memory control circuit using the control method, and integrated circuit incorporating the memory control circuit
JP2003228512A (en) * 2002-02-05 2003-08-15 Fujitsu Ltd Data transfer device

Also Published As

Publication number Publication date
JP2007164629A (en) 2007-06-28

Similar Documents

Publication Publication Date Title
JP4936506B2 (en) Memory control circuit and memory control method
TWI753063B (en) Data transfer apparatus and data transfer method
JP5396169B2 (en) Data access control device
US20120042110A1 (en) Bus bandwidth monitoring device and bus bandwidth monitoring method
US9026697B2 (en) Data processing apparatus
JP4850504B2 (en) Signal processing apparatus, imaging apparatus, and data transfer method
JP5360594B2 (en) DMA transfer apparatus and method
KR101420290B1 (en) Bus arbiter for grouping transactions, bus devices and systems containing them
JP2021096739A (en) Memory controller, memory control method, and imaging apparatus
JP2009116702A (en) Semiconductor integrated circuit
US8301816B2 (en) Memory access controller, system, and method
US7516258B2 (en) Electronic apparatus and control method
KR20080063168A (en) Semiconductor device and buffer control circuit
JP4126959B2 (en) Data transfer system and access monitor device
JP4569163B2 (en) Data input / output device and data input / output method
JP5623150B2 (en) Electronic device and control method thereof
JP4693843B2 (en) Memory control device and memory control method
US20120144150A1 (en) Data processing apparatus
JP2014170476A (en) Data processor and method for controlling the same
JP2017162431A (en) Memory control device and imaging device
JP2005293435A (en) Data transfer device and its setting method
JP2020035263A (en) Memory controller
JP2007011884A (en) Data transfer device
JP2007207269A (en) Image processing apparatus and image processing system
JP2005128931A (en) Dma transfer device

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081126

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20081126

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110711

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110729

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110926

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111017

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111019

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141028

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees