JP4850504B2 - Signal processing apparatus, imaging apparatus, and data transfer method - Google Patents
Signal processing apparatus, imaging apparatus, and data transfer method Download PDFInfo
- Publication number
- JP4850504B2 JP4850504B2 JP2005362368A JP2005362368A JP4850504B2 JP 4850504 B2 JP4850504 B2 JP 4850504B2 JP 2005362368 A JP2005362368 A JP 2005362368A JP 2005362368 A JP2005362368 A JP 2005362368A JP 4850504 B2 JP4850504 B2 JP 4850504B2
- Authority
- JP
- Japan
- Prior art keywords
- signal processing
- transfer
- margin
- processing means
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 38
- 238000003384 imaging method Methods 0.000 title claims description 15
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 5
- 230000007257 malfunction Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
Images
Landscapes
- Memory System (AREA)
- Studio Devices (AREA)
Description
本発明は、撮像装置などの信号処理装置において、データの転送効率を向上させる技術に関する。 The present invention relates to a technique for improving data transfer efficiency in a signal processing device such as an imaging device.
近年、撮像素子の飛躍的な技術進歩に伴い、画像データの解像度も大幅に増加している。また、画像処理の複雑化に伴い、メモリを共有する画像処理モジュールも増加している。 In recent years, the resolution of image data has been greatly increased along with dramatic technological advancement of image sensors. As image processing becomes more complex, the number of image processing modules that share memory has increased.
静止画の処理装置では、メモリへのアクセスバスが渋滞すれば、処理時間が増加するため好ましくない。一方で、動画の処理装置では、さらに深刻な問題が発生する。動画の処理装置は、一定の同期信号に基づいて処理を実行しなければならない。すなわち、一定周期内で必ず処理が終了しなければならない。よって、バスが渋滞すれば、一定周期内で処理が完了しなくなるため、深刻な不具合が発生しうる。 In the still image processing apparatus, if the access bus to the memory is congested, the processing time increases, which is not preferable. On the other hand, a more serious problem occurs in the moving image processing apparatus. The moving image processing apparatus must execute processing based on a certain synchronization signal. That is, the process must be completed within a certain period. Therefore, if the bus is congested, the processing cannot be completed within a certain period, and a serious problem may occur.
このような課題を解決すべく、従来、一定時間内に処理を終了すべきモジュールについては、メモリへのアクセスの優先度を高く設定するという発明が提案されている(特許文献1)。
最近になり、撮像素子から入力される画像の解像度や、再生機器へと出力される画像の解像度は大幅に増加している。もちろん、今後も増加傾向は続くであろう。そのため、バスの渋滞はさらに深刻となろう。 Recently, the resolution of an image input from an image sensor and the resolution of an image output to a playback device have been greatly increased. Of course, the increasing trend will continue. As a result, bus congestion will be even more serious.
一方で、撮像装置に使用されるDRAMの数やデータバス幅を削減することが、製造コストの削減の観点から求められている。これらを削減すれば、上記問題にさらに拍車がかかることは明らかであろう。 On the other hand, reducing the number of DRAMs and the data bus width used in the imaging device is required from the viewpoint of reducing manufacturing costs. Clearly, reducing these will further spur the problem.
このような事情から、特許文献1のように優先順位のみに基づきアクセスを調停する方法では、上記課題を十分には解決できなくなると予想される。
Under such circumstances, it is expected that the above problem cannot be solved sufficiently by the method of arbitrating access based only on the priority order as in
そこで、本発明は、このような課題および他の課題のうち、少なくとも1つを解決することを目的とする。なお、他の課題については明細書の全体を通して理解できよう。 Therefore, an object of the present invention is to solve at least one of such problems and other problems. Other issues can be understood throughout the specification.
本発明は、
入力された画像信号に対してそれぞれ異なる処理を施す複数の信号処理手段と、
前記画像信号に基づいて前記信号処理手段により処理されたデータを記憶する記憶手段と、
動作モードが変更される際にデータの仮想転送を実行することで、前記信号処理手段のうち実時間でデータを前記記憶手段に転送する必要がある信号処理手段についての転送周期と該記憶手段へのアクセス時間との差分を、前記記憶手段に各信号処理手段がアクセスする際のそれぞれの余裕度として算出する算出手段と、
算出された前記余裕度を第1の閾値および第2の閾値と比較する比較手段と、
前記余裕度が前記第1の閾値未満となる第1の信号処理手段についての転送の優先度よりも高い優先度を有し、かつ、前記余裕度が前記第2の閾値以上となる第2の信号処理手段を特定する特定手段と、
前記第2の信号処理手段の転送処理中に、前記第1の信号処理手段の転送処理を割り込ませることにより各信号処理手段による前記記憶手段へのアクセス動作を調停する調停手段と
を含むことを特徴とする信号処理装置を提供する。
The present invention
A plurality of signal processing means for performing different processing on the input image signal,
Storage means for storing data processed by the signal processing means based on the image signal;
By executing virtual transfer of data when the operation mode is changed, a transfer cycle for the signal processing means that needs to transfer data to the storage means in real time among the signal processing means and to the storage means Calculating means for calculating the difference from the access time of each as a margin for each signal processing means to access the storage means;
A comparison means for comparing the calculated margin with a first threshold and a second threshold;
A second signal having a higher priority than a transfer priority for the first signal processing means for which the margin is less than the first threshold, and the margin is equal to or greater than the second threshold; Identifying means for identifying the signal processing means;
Arbitration means for arbitrating the access operation to the storage means by each signal processing means by interrupting the transfer processing of the first signal processing means during the transfer processing of the second signal processing means;
The signal processing apparatus characterized by including is provided .
本発明によれば、各信号処理手段の余裕度に基づいて、記憶手段へのアクセス動作を調停することで、記憶手段への転送効率を従来よりも改善できよう。これにより、記憶手段のバスが渋滞することで発生していた不具合を未然に防止できる確率が向上しよう。 According to the present invention, the transfer efficiency to the storage means can be improved as compared with the prior art by arbitrating the access operation to the storage means based on the margin of each signal processing means. As a result, the probability of preventing the trouble that has occurred due to the congestion of the bus of the storage means will be improved.
以下に本発明の一実施形態を示す。もちろん以下で説明される個別の実施形態は、本発明の上位概念、中位概念および下位概念など種々の概念を理解するために役立つであろう。また、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。 An embodiment of the present invention is shown below. Of course, the individual embodiments described below will be helpful in understanding various concepts such as the superordinate concept, intermediate concept and subordinate concept of the present invention. Further, the technical scope of the present invention is determined by the scope of the claims, and is not limited by the following individual embodiments.
図1は、実施形態に係る信号処理部を含む撮像装置の一例を示す図である。撮像装置は、一般に、デジタルスチルカメラやデジタルビデオカメラとして実現されよう。 FIG. 1 is a diagram illustrating an example of an imaging apparatus including a signal processing unit according to the embodiment. The imaging device will generally be implemented as a digital still camera or a digital video camera.
信号処理部100は、撮像素子150により取得された画像信号について画像処理する回路である。通常、信号処理部100では、複数のSDRAMなどから構成される記憶部101を媒介として各種の信号処理が実行される。なお、記憶部101を信号処理部100の一部分と考えてもよいことはいうまでもない。
The
FインタフェースO102は、画像データを一時的に記憶する先入れ先出し形のメモリである。FインタフェースO102は、コントローラ103によって制御される。コントローラ103は、撮像素子150からの読み出しレートと、調停・余裕度算出部(以下、調停部と称す。)114への転送レートとを整合させる。
The F interface O102 is a first-in first-out memory that temporarily stores image data. The F interface O102 is controlled by the
信号処理部100には、様々な信号処理モジュールが搭載されている。カメラDSPモジュール105は、YC分離処理などのカメラ信号処理を実行する。リサイズモジュール106は、画像の拡大処理や縮小処理を実行する。NRモジュール107は、例えば、高感度撮影時や低速シャッター時に発生するノイズを低減する。エフェクトモジュール108は、各種のエフェクト処理を実行する。圧縮伸張部109は、JPEGなどの符号化方法を用いて画像データを圧縮したり伸張したりする。外部メディアインタフェース110は、テープメディア、ディクスメディア、メモリカードなどの外部メディアに対するデータの入出力を行う。ビデオインタフェース111は、ビデオ信号の入出力を実行する。なお、撮像素子150も信号処理モジュールの一種と考えてもよい。
Various signal processing modules are mounted on the
DRAMインタフェース113は、複数のSDRAMに対するデータアクセスを担当する。調停部114は、各信号処理モジュールが記憶部101にアクセスする際のそれぞれの余裕度を観測する。また、調停部114は、各余裕度に基づいて各信号処理モジュールによる記憶部101へのアクセス動作を調停する。そのため、各信号処理モジュールからの転送リクエストはすべて調停部114に入力され、調停部114により調停処理が実行される。
The
各信号処理モジュールには、転送の優先度が予め設定されている。よって、調停部114は、優先度の高い信号処理モジュールから、順次、記憶部101へのアクセスを許可する。優先度の管理方法は、上述したように特許文献1を通じて公知となっているため、説明を省略する。
Transfer priority is preset in each signal processing module. Therefore, the arbitrating
調停部114は、転送リクエストの発行(アサート)から転送終了までの時間を転送時間とし、この転送時間と転送周期との差分を余裕度として算出する。なお、余裕度については、動画データの転送のように一定の周期で転送を行うことが必須となるアクセスについてだけ、求めるようにしてもよい。
The arbitrating
CPU112は、各信号処理モジュールの同期タイミングを基準として、対応する余裕度を調停部114から読み出す。さらに、CPU112は、第1の閾値未満の余裕度を有する第1の信号処理モジュールを特定する。第1の信号処理モジュールは、通常、実時間でデータを記憶部101に転送する必要がある信号処理モジュールである。
The
CPU112は、例えば、第1の信号処理モジュールが有する余裕度と、他の第2の信号処理モジュールが有する余裕度とを比較する。CPU112は、比較結果に応じて、優先順位、バースト長、アクセスされるSDRAMなどの転送条件を変更し、変更された転送条件を調停部114に設定する。なお、このようなCPU112の処理を全て、調停部114が実行してもよい。
For example, the
図2は、記憶部へのバスが状態した状態で発生する不具合を説明するための図である。とりわけ、図中のステータスaは、正常に転送が実行される場合の記憶部101のステータスを示している。ステータスbは、不具合が発生する場合の記憶部101のステータスを示している。
FIG. 2 is a diagram for explaining a problem that occurs when the bus to the storage unit is in a state. In particular, the status a in the figure indicates the status of the
一般に転送周期の始期は、転送リクエストが調停部114に対して発行された時である。ウェイト(Wait)期間は、転送リクエストが発行されてから、転送が許可されるまでの時間をいう。DRAMインタフェース113のポートが競合している場合、他の信号処理モジュールが転送を終了してから、転送リクエストを発行した処理モジュールに転送が許可される。
In general, the beginning of the transfer cycle is when a transfer request is issued to the
転送が許可されると、DRAMインタフェース113が、記憶部101のSDRAMへコマンドを発行することで、信号処理モジュールからSDRAMへのバースト転送が開始される。一般に、バースト転送されるデータのバースト長は、あらかじめ設定されているが、撮像装置や信号処理部100の動作モードに依存して変更される場合がある。なお、バースト転送が実行されている時間をバースト転送期間と呼ぶことにする。
When the transfer is permitted, the
図中のマージンは、バースト転送が終了したときから転送周期の終期までをいう。このマージンは、SDRAMにおけるバスの余裕となる。すなわち、マージンは、上述した余裕度と密接に関係している。 The margin in the figure means from the end of burst transfer to the end of the transfer cycle. This margin is a bus margin in the SDRAM. That is, the margin is closely related to the above-described margin.
ステータスbでは、ウェイト期間が長いため、転送周期内でバースト転送を終了できない。この場合、バースト転送中に次の転送リクエストが発行されてしまうため、転送が誤動作するか、あるいは正常な動作が保証されないことになる。 In status b, since the wait period is long, burst transfer cannot be completed within the transfer period. In this case, since the next transfer request is issued during burst transfer, the transfer malfunctions or normal operation is not guaranteed.
図3Aないし図3Cは、2つの信号処理モジュールが並行して転送リクエストを発行した場合の転送処理の一例を説明する図である。なお、コマンド発行期間については、説明の便宜上、省略されている。 3A to 3C are diagrams illustrating an example of a transfer process when two signal processing modules issue transfer requests in parallel. Note that the command issue period is omitted for convenience of explanation.
1つ目のデータ転送は、撮像素子150から読み出された画像データをいずれかの信号処理モジュールで処理するために、一旦、SDRAMへ保持する際の転送である。なお、撮像装置は、複数の撮像モードを有している。例えば、撮像モードごとに、撮像素子150の切り出しの領域が異なる場合、それに応じて転送周期やバースト長も変更される。
The first data transfer is a transfer when the image data read from the
2つ目のデータ転送は、ビデオインタフェース111から外部に出力される画像データをSDRAMから読み出す際のデータ転送である。これについても、撮像装置の撮像モードごとに、ビデオデータの解像度が異なることがある。よって、解像度の違いに応じて、転送周期やバースト長が変更される。ただし、ここでは説明を簡潔にするため、撮像素子150からのデータ転送に関する転送周期やバースト長は一定とする。
The second data transfer is a data transfer when image data output to the outside from the
図3Aによれば、ビデオインタフェース111に関する転送の優先度は、撮像素子150からの転送の優先度よりも低い。そのため、まず撮像素子150が先にデータの転送を開始する。図3Aにおいて、ビデオインタフェース111へと転送されるビデオデータのサイズも、図3Bや図3Cの事例よりも少ないものとする。
According to FIG. 3A, the transfer priority for the
この場合、撮像素子150からの転送が終了するまでウェイトしてから、ビデオインタフェース111へのビデオデータの転送が開始される。なお、図3Aのケースでは、ビデオインタフェース111へと出力されるビデオデータのサイズはそれほど大きくないため、ビデオデータの転送は、転送周期内に正常に終了できる。
In this case, after waiting for the transfer from the
一方で、図3Bに示されたケースでは、ビデオデータのサイズが図3Aに示したケースのサイズよりも大きくなっている。なお、図3Bにおけるその他の条件は、図3Aと変わらないものとする。この場合、ビデオデータの転送が転送周期2内に収まらないため、オーバーフローとなり、転送が正常に終了しない。これは、誤動作の原因となるためこのましくない。
On the other hand, in the case shown in FIG. 3B, the size of the video data is larger than the size of the case shown in FIG. 3A. The other conditions in FIG. 3B are not different from those in FIG. 3A. In this case, the transfer of the video data does not fit within the
図3Cに示したケースは、図3Bのケースにおいて、ビデオインタフェース111の優先度が、撮像素子150の優先度と交換されている。これにより、ビデオインタフェース111の優先度が、撮像素子150の優先度よりも高くなっている。この場合は、優先度に応じて、ビデオインタフェース111の転送が先に実行されてから、撮像素子150の転送が実行される。
In the case shown in FIG. 3C, the priority of the
図3Aや図3Bが示しているように、元々、撮像素子150の転送に関するマージンはかなり余裕がある。そのためビデオインタフェース111の転送が終了した後で、撮像素子150の転送を実行しても、撮像素子150の転送にオーバーフローは発生しない。もちろん、ビデオインタフェース111の転送が先に実行されることで、ビデオインタフェース111の転送のウェイト期間が短縮され、転送周期2内で正常に転送が完了する。
As shown in FIG. 3A and FIG. 3B, the margin related to the transfer of the
このように、複数の信号処理モジュールが転送をリクエストしている場合に、各信号処理モジュールのマージン(余裕度)を考慮して、優先度を交換することで、転送の失敗を未然に防止できる確率が高まる。 As described above, when a plurality of signal processing modules request transfer, it is possible to prevent a transfer failure by exchanging the priority in consideration of the margin (margin) of each signal processing module. Probability increases.
すなわち、調停部114またはCPU112は、各信号処理モジュールが記憶部101へアクセスする際のそれぞれの余裕度を観測し、各余裕度に基づいて各信号処理モジュールによる記憶部101へのアクセス動作を調停することが好ましい。
That is, the
図4は、実施形態に係る割り込みによる転送効率の改善方法を示す図である。この例では、余裕度の低い信号処理モジュールの転送を、余裕度の大きい信号処理モジュールの転送に割り込ませている。図3Aにおいて説明したように、撮像素子150からの転送については、ビデオインタフェース111への転送よりも相対的に余裕度が大きい。
FIG. 4 is a diagram illustrating a method for improving transfer efficiency by interruption according to the embodiment. In this example, transfer of a signal processing module with a low margin is interrupted with transfer of a signal processing module with a large margin. As described with reference to FIG. 3A, the transfer from the
そこで、調停部114は、撮像素子150から転送している最中に、ビデオインタフェース111への転送を割り込ませる。そして、調停部114は、ビデオインタフェース111への転送が終了すると、撮像素子150から転送を再開させる。これにより、双方の転送ともそれぞれの転送周期内で正常に終了できる。もちろん、割り込まれる転送の余裕度が、十分に大きいことが前提となる場合に、この方法は実現可能である。
Therefore, the arbitrating
図5は、実施形態に係るバースト長の拡大による転送効率の改善方法方法を示す図である。図4において(a)は、相対的に短いバースト長のデータを2回転送するケースである。一方、(b)は、バースト長を2倍にして1回でデータを転送するケースである。一般に、ウェイト期間Twは、転送ごとに確保されることになっているため、(a)のケースでは、2つのウェイト期間が存在する。一方、(b)のケースでは、転送は1回で済むため、ウェイト期間も1つだけで済む。 FIG. 5 is a diagram showing a method for improving transfer efficiency by expanding the burst length according to the embodiment. FIG. 4A shows a case where data having a relatively short burst length is transferred twice. On the other hand, (b) is a case where the burst length is doubled and data is transferred once. Generally, since the wait period Tw is reserved for each transfer, in the case of (a), there are two wait periods. On the other hand, in the case of (b), only one wait period is required because the transfer is performed once.
よって、(b)のケースのマージンは、(a)のケースにおける2つのマージンM1、M2の和よりもさらに大きなマージンM3を確保できる利点がある。マージンが増加すれば、転送の失敗する確率が低下するため、転送効率が改善される。さらに、図3Cで説明したような余裕度に基づき優先度を交換できる可能性が高まるため、転送効率がさらに改善されよう。 Therefore, the margin of the case (b) has an advantage that a margin M3 larger than the sum of the two margins M1 and M2 in the case (a) can be secured. If the margin increases, the probability of transfer failure decreases, and transfer efficiency is improved. Furthermore, since the possibility that the priority can be exchanged based on the margin as described in FIG. 3C is increased, the transfer efficiency will be further improved.
図6は、実施形態に係るデータ転送方法を示すフローチャートである。ここでは、最も基本となるメインルーチンについて説明する。なお、以下の説明では、主に調停部114を処理主体とするが、一部または全ての処理をCPU112が担当してもよい。
FIG. 6 is a flowchart illustrating a data transfer method according to the embodiment. Here, the most basic main routine will be described. In the following description, the
ステップS601において、調停部114は、各信号処理モジュールが記憶部101にアクセスする際のそれぞれの余裕度を観測する。ステップS602において、調停部114は、観測された各余裕度に基づいて各信号処理モジュールによる記憶部101へのアクセス動作を調停する。
In step S <b> 601, the
本実施形態によれば、各信号処理モジュールの余裕度に基づいて、記憶部101へのアクセス動作を調停することで、記憶部101へのアクセスを従来よりも効率良くすることができる。これにより、記憶部101へのバスが渋滞することで発生していた不具合を未然に防止できる確率が向上しよう。
According to the present embodiment, access to the
図7は、より詳細なデータ転送方法を示すフローチャートである。なお、図7に示されるフローチャートは、上述したステップS601およびS602をまとめてサブルーチン化したものと考えてもよい。 FIG. 7 is a flowchart showing a more detailed data transfer method. Note that the flowchart shown in FIG. 7 may be considered as a subroutine obtained by combining steps S601 and S602 described above.
ステップS701において、調停部114は、転送リクエストをアサートしてきた信号処理モジュールについての余裕度を算出する。なお、既に転送処理を実行している他の信号処理モジュールについての余裕度は保持されているものとする。なお、余裕度は、例えば、次式により算出する。
In step S701, the arbitrating
余裕度 = Req_cyc_cnt − (Wait_cnt + Trs_cnt)
ここで、Req_cycl_cntは、前回の転送リクエストがアサートされたときから今回の転送リクエストがアサートされたときまでの時間(いわゆる転送周期)である。Wait_cntは、他の信号処理モジュールの転送が終了するまでの時間(いわゆるウェイト期間Tw)と、コマンド発行に要する期間Tcとの和である。また、Trs_cntは、バースト転送期間を意味する。バースト転送期間は、バースト長に比例する。
Margin = Req_cyc_cnt− (Wait_cnt + Trs_cnt)
Here, Req_cycl_cnt is the time (so-called transfer cycle) from when the previous transfer request is asserted to when the current transfer request is asserted. Wait_cnt is the sum of the time until the transfer of other signal processing modules is completed (a so-called wait period Tw) and the period Tc required for command issuance. Trs_cnt means a burst transfer period. The burst transfer period is proportional to the burst length.
ステップS702において、調停部114は、算出された余裕度と第1の閾値とを比較し、余裕度が第1の閾値未満となるか否かを判定する。余裕度が第1の閾値未満となる場合、ステップS703に進む。一方、余裕度が第1の閾値以上であれば、調停処理は不要なので、調停部114は、本処理を終了する。なお、第1の閾値は、例えば、過去に算出された余裕度のうち最小値である。算出された余裕度が最小値未満であれば、調停部114は、算出された余裕度を新たな最小値となる。
In step S702, the arbitrating
ステップS703において、調停部114は、余裕度が第1の閾値未満となった信号処理モジュールの優先度よりも高い優先度を有する他の信号処理モジュールを特定する。
In step S703, the arbitrating
ステップS704において、調停部114は、特定された他の信号処理モジュールの余裕度と第2の閾値とを比較し、余裕度が第2の閾値以上となるか否かを判定する。余裕度が第2の閾値以上となる場合、ステップS705に進む。一方、余裕度が第2の閾値未満であれば、優先度を交換可能な他の信号処理モジュールが存在しないことになるので、調停部114は、本処理を終了する。なお、第2の閾値は、余裕度が第1の閾値未満となった信号処理モジュールの転送を正常に完了できるように設定される。
In step S704, the arbitrating
ステップS705において、調停部114は、転送リクエストをアサートしてきた信号処理モジュールの優先度と、他の信号処理モジュールの優先度とを交換する。
In step S705, the arbitrating
このように図7に示すデータ転送方法は、とりわけ、図3Bないし図3Cのような状況下で転送効率を改善することができる。すなわち、複数の信号処理モジュール間で優先度を交換することで、いずれの信号処理モジュールにおける転送も正常に完了できるようになる。 As described above, the data transfer method shown in FIG. 7 can improve the transfer efficiency especially in the situation shown in FIGS. 3B to 3C. That is, by exchanging priorities among a plurality of signal processing modules, transfer in any of the signal processing modules can be normally completed.
図8は、より詳細なデータ転送方法を示す他のフローチャートである。なお、既に説明した箇所には同一の参照符号を付すことで説明を簡潔にする。図7と比較すれば分るように、図8では、ステップS705がステップS805に置換されている。 FIG. 8 is another flowchart showing a more detailed data transfer method. In addition, description is simplified by attaching | subjecting the same referential mark to the already demonstrated location. As can be seen from comparison with FIG. 7, in FIG. 8, step S705 is replaced with step S805.
ステップS805において、調停部114は、他の信号処理モジュールの転送処理に、転送リクエストをアサートしてきた信号処理モジュールの転送処理を割り込ませる。すなわち、調停部114は、他の信号処理モジュールの転送を停止し、転送リクエストをアサートしてきた信号処理モジュールの転送を開始する。転送リクエストをアサートしてきた信号処理モジュールの転送が終了すると、調停部114は、他の信号処理モジュールの転送を再開させる。
In step S805, the arbitrating
このように図8に示すデータ転送方法は、とりわけ、図4のような状況下で転送効率を改善することができる。すなわち、余裕度の小さい信号処理モジュールの転送を、余裕度の大きな信号処理モジュールの転送期間中に割り込ませて実行することで、いずれの転送も正常に完了できるようになる。 As described above, the data transfer method shown in FIG. 8 can improve the transfer efficiency under the situation shown in FIG. That is, transfer of a signal processing module with a small margin is interrupted and executed during the transfer period of a signal processing module with a large margin, so that any transfer can be completed normally.
図9は、より詳細なデータ転送方法を示すさらに他のフローチャートである。なお、既に説明した箇所には同一の参照符号を付すことで説明を簡潔にする。図7と比較すれば分るように、図9では、ステップS703ないしS705がステップS903に置換されている。 FIG. 9 is still another flowchart showing a more detailed data transfer method. In addition, description is simplified by attaching | subjecting the same referential mark to the already demonstrated location. As can be seen from comparison with FIG. 7, in FIG. 9, steps S703 to S705 are replaced with step S903.
ステップS903において、調停部114は、転送リクエストをアサートしてきた信号処理モジュールの転送サイズ(いわゆるバースト長)を拡大させる。図5に関して説明したように、バースト長を拡大させることでマージンが拡大されるため、転送効率の向上が期待できる。
In step S903, the arbitrating
図10は、より詳細なデータ転送方法を示すさらに他のフローチャートである。なお、既に説明した箇所には同一の参照符号を付すことで説明を簡潔にする。図9と比較すれば分るように、図10では、ステップS903がステップS1003に置換されている。 FIG. 10 is still another flowchart showing a more detailed data transfer method. In addition, description is simplified by attaching | subjecting the same referential mark to the already demonstrated location. As can be seen from comparison with FIG. 9, in FIG. 10, step S903 is replaced with step S1003.
ステップS1003において、調停部114は、競合している他の信号処理モジュールのアクセス先(SDRAM)とは異なるように、転送リクエストをアサートしてきた信号処理モジュールのアクセス先を選択する。このように、重複しないようにSDRAMを選択することで、転送効率が改善する。
In step S1003, the arbitrating
[他の実施形態]
上述したように撮像装置は、複数の動作モードを有していることがある。よって、調停部114またはCPU112は、動作モードが変更される際に、画像データの仮想転送を実行することで余裕度を観測してもよい。すなわち、調停部114等は、実際のデータを転送することなく、ウェイト期間や転送期間をカウントすることで、オーバーフローが発生しない程度の余裕度があるか否かを判定できる。そして、調停部114は、この余裕度に応じて調停を実行することで、転送効率を改善できる。
[Other Embodiments]
As described above, the imaging apparatus may have a plurality of operation modes. Therefore, the
なお、調停部114またはCPU112は、複数の動作モードごとに観測された余裕度をメモリ等の保持部により保持してもよい。この場合、調停部114等は、動作モードが変更されると、動作モードに対応する余裕度に基づいて、各信号処理モジュールの転送条件を設定することができよう。
Note that the arbitrating
Claims (4)
前記画像信号に基づいて前記信号処理手段により処理されたデータを記憶する記憶手段と、
動作モードが変更される際にデータの仮想転送を実行することで、前記信号処理手段のうち実時間でデータを前記記憶手段に転送する必要がある信号処理手段についての転送周期と該記憶手段へのアクセス時間との差分を、前記記憶手段に各信号処理手段がアクセスする際のそれぞれの余裕度として算出する算出手段と、
算出された前記余裕度を第1の閾値および第2の閾値と比較する比較手段と、
前記余裕度が前記第1の閾値未満となる第1の信号処理手段についての転送の優先度よりも高い優先度を有し、かつ、前記余裕度が前記第2の閾値以上となる第2の信号処理手段を特定する特定手段と、
前記第2の信号処理手段の転送処理中に、前記第1の信号処理手段の転送処理を割り込ませることにより各信号処理手段による前記記憶手段へのアクセス動作を調停する調停手段と
を含むことを特徴とする信号処理装置。 A plurality of signal processing means for performing different processing on the input image signal,
Storage means for storing data processed by the signal processing means based on the image signal;
By executing virtual transfer of data when the operation mode is changed, a transfer cycle for the signal processing means that needs to transfer data to the storage means in real time among the signal processing means and to the storage means Calculating means for calculating the difference from the access time of each as a margin for each signal processing means to access the storage means;
A comparison means for comparing the calculated margin with a first threshold and a second threshold;
A second signal having a higher priority than a transfer priority for the first signal processing means for which the margin is less than the first threshold, and the margin is equal to or greater than the second threshold; Identifying means for identifying the signal processing means;
Arbitration means for arbitrating the access operation to the storage means by each signal processing means by interrupting the transfer processing of the first signal processing means during the transfer processing of the second signal processing means. A characteristic signal processing apparatus.
複数の動作モードごとに観測された前記余裕度を保持する保持手段と、
前記動作モードが変更されると、前記保持手段に保持されている該動作モードに対応する前記余裕度に基づいて、各信号処理手段の転送条件を設定する設定手段と
を含むことを特徴とする請求項1に記載の信号処理装置。 The mediation means is
Holding means for holding the margin observed for each of a plurality of operation modes;
Setting means for setting a transfer condition for each signal processing means based on the margin corresponding to the operation mode held in the holding means when the operation mode is changed. The signal processing apparatus according to claim 1.
前記撮像素子から出力された画像信号を処理する、請求項1又は2に記載の信号処理装置と
を含むことを特徴とする撮像装置。 An image sensor;
Processing the image signal output from the imaging device, an imaging apparatus characterized by comprising a signal processing apparatus according to claim 1 or 2.
動作モードが変更される際にデータの仮想転送を実行することで、前記信号処理手段のうち実時間でデータを前記記憶手段に転送する必要がある信号処理手段についての転送周期と該記憶手段へのアクセス時間との差分を、前記記憶手段に各信号処理手段がアクセスする際のそれぞれの余裕度として算出する算出工程と、
算出された前記余裕度を第1の閾値および第2の閾値と比較する比較工程と、
前記余裕度が前記第1の閾値未満となる第1の信号処理手段についての転送の優先度よりも高い優先度を有し、かつ、前記余裕度が前記第2の閾値以上となる第2の信号処理手段を特定する特定工程と、
前記第2の信号処理手段の転送処理中に、前記第1の信号処理手段の転送処理を割り込ませることにより各余裕度に基づいて各信号処理手段による前記記憶手段へのアクセス動作を調停する調停工程と
を含むことを特徴とするデータ転送方法。 A data transfer method in a signal processing apparatus, comprising: a plurality of signal processing means for performing different processes on input image signals; and storage means for storing data processed by the signal processing means based on the image signals Because
By executing virtual transfer of data when the operation mode is changed, a transfer cycle for the signal processing means that needs to transfer data to the storage means in real time among the signal processing means and to the storage means A calculation step for calculating the difference between the access time and the storage means as the respective margins when each signal processing means accesses the storage means;
A comparison step of comparing the calculated margin with a first threshold value and a second threshold value;
A second signal having a higher priority than a transfer priority for the first signal processing means for which the margin is less than the first threshold, and the margin is equal to or greater than the second threshold; A specific step of identifying a signal processing means;
Arbitration that arbitrates the access operation to the storage means by each signal processing means based on each margin by interrupting the transfer processing of the first signal processing means during the transfer processing of the second signal processing means. A data transfer method comprising the steps of:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005362368A JP4850504B2 (en) | 2005-12-15 | 2005-12-15 | Signal processing apparatus, imaging apparatus, and data transfer method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005362368A JP4850504B2 (en) | 2005-12-15 | 2005-12-15 | Signal processing apparatus, imaging apparatus, and data transfer method |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2007164629A JP2007164629A (en) | 2007-06-28 |
JP2007164629A5 JP2007164629A5 (en) | 2009-01-15 |
JP4850504B2 true JP4850504B2 (en) | 2012-01-11 |
Family
ID=38247427
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005362368A Expired - Fee Related JP4850504B2 (en) | 2005-12-15 | 2005-12-15 | Signal processing apparatus, imaging apparatus, and data transfer method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4850504B2 (en) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5623150B2 (en) * | 2010-06-18 | 2014-11-12 | キヤノン株式会社 | Electronic device and control method thereof |
JP2012044504A (en) * | 2010-08-20 | 2012-03-01 | Seiko Epson Corp | Video processing apparatus, video display apparatus, and video processing method |
KR102336666B1 (en) * | 2017-09-15 | 2021-12-07 | 삼성전자 주식회사 | Memory device and memory system comprising the same |
JP7505437B2 (en) * | 2021-04-02 | 2024-06-25 | 株式会社デンソー | Vehicle-mounted camera system control device |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3497988B2 (en) * | 1998-04-15 | 2004-02-16 | 株式会社ルネサステクノロジ | Graphic processing apparatus and graphic processing method |
JP2001356961A (en) * | 2000-06-13 | 2001-12-26 | Nec Corp | Arbitration device |
JP2003114825A (en) * | 2001-10-04 | 2003-04-18 | Hitachi Ltd | Memory control method, memory control circuit using the control method, and integrated circuit incorporating the memory control circuit |
JP2003228512A (en) * | 2002-02-05 | 2003-08-15 | Fujitsu Ltd | Data transfer device |
-
2005
- 2005-12-15 JP JP2005362368A patent/JP4850504B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2007164629A (en) | 2007-06-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4936506B2 (en) | Memory control circuit and memory control method | |
TWI753063B (en) | Data transfer apparatus and data transfer method | |
JP5396169B2 (en) | Data access control device | |
US20120042110A1 (en) | Bus bandwidth monitoring device and bus bandwidth monitoring method | |
US9026697B2 (en) | Data processing apparatus | |
JP4850504B2 (en) | Signal processing apparatus, imaging apparatus, and data transfer method | |
JP5360594B2 (en) | DMA transfer apparatus and method | |
KR101420290B1 (en) | Bus arbiter for grouping transactions, bus devices and systems containing them | |
JP2021096739A (en) | Memory controller, memory control method, and imaging apparatus | |
JP2009116702A (en) | Semiconductor integrated circuit | |
US8301816B2 (en) | Memory access controller, system, and method | |
US7516258B2 (en) | Electronic apparatus and control method | |
KR20080063168A (en) | Semiconductor device and buffer control circuit | |
JP4126959B2 (en) | Data transfer system and access monitor device | |
JP4569163B2 (en) | Data input / output device and data input / output method | |
JP5623150B2 (en) | Electronic device and control method thereof | |
JP4693843B2 (en) | Memory control device and memory control method | |
US20120144150A1 (en) | Data processing apparatus | |
JP2014170476A (en) | Data processor and method for controlling the same | |
JP2017162431A (en) | Memory control device and imaging device | |
JP2005293435A (en) | Data transfer device and its setting method | |
JP2020035263A (en) | Memory controller | |
JP2007011884A (en) | Data transfer device | |
JP2007207269A (en) | Image processing apparatus and image processing system | |
JP2005128931A (en) | Dma transfer device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081126 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20081126 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110711 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110729 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110926 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20111017 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111019 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141028 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |