特許第6111853号(P6111853)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社ソシオネクストの特許一覧

特許6111853データ転送装置、データ転送方法及び半導体装置
<>
  • 特許6111853-データ転送装置、データ転送方法及び半導体装置 図000002
  • 特許6111853-データ転送装置、データ転送方法及び半導体装置 図000003
  • 特許6111853-データ転送装置、データ転送方法及び半導体装置 図000004
  • 特許6111853-データ転送装置、データ転送方法及び半導体装置 図000005
  • 特許6111853-データ転送装置、データ転送方法及び半導体装置 図000006
  • 特許6111853-データ転送装置、データ転送方法及び半導体装置 図000007
  • 特許6111853-データ転送装置、データ転送方法及び半導体装置 図000008
  • 特許6111853-データ転送装置、データ転送方法及び半導体装置 図000009
  • 特許6111853-データ転送装置、データ転送方法及び半導体装置 図000010
  • 特許6111853-データ転送装置、データ転送方法及び半導体装置 図000011
  • 特許6111853-データ転送装置、データ転送方法及び半導体装置 図000012
  • 特許6111853-データ転送装置、データ転送方法及び半導体装置 図000013
  • 特許6111853-データ転送装置、データ転送方法及び半導体装置 図000014
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6111853
(24)【登録日】2017年3月24日
(45)【発行日】2017年4月12日
(54)【発明の名称】データ転送装置、データ転送方法及び半導体装置
(51)【国際特許分類】
   G09G 5/00 20060101AFI20170403BHJP
   G09G 3/20 20060101ALI20170403BHJP
   G06F 13/38 20060101ALI20170403BHJP
   G09G 3/36 20060101ALI20170403BHJP
   G09G 5/395 20060101ALI20170403BHJP
【FI】
   G09G5/00 550R
   G09G3/20 633U
   G06F13/38 310B
   G09G3/20 631B
   G09G3/20 633P
   G09G3/36
   G09G5/36 530F
【請求項の数】6
【全頁数】30
(21)【出願番号】特願2013-106333(P2013-106333)
(22)【出願日】2013年5月20日
(65)【公開番号】特開2014-228590(P2014-228590A)
(43)【公開日】2014年12月8日
【審査請求日】2016年1月27日
(73)【特許権者】
【識別番号】514315159
【氏名又は名称】株式会社ソシオネクスト
(74)【代理人】
【識別番号】100105957
【弁理士】
【氏名又は名称】恩田 誠
(74)【代理人】
【識別番号】100068755
【弁理士】
【氏名又は名称】恩田 博宣
(72)【発明者】
【氏名】箕浦 誠二
(72)【発明者】
【氏名】月城 玄
【審査官】 西島 篤宏
(56)【参考文献】
【文献】 特開2012−128589(JP,A)
【文献】 特開2007−164709(JP,A)
【文献】 特開2006−023808(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G09G 3/00 − 5/42
G06F 13/38
(57)【特許請求の範囲】
【請求項1】
記憶部に格納されたデータを表示順に従って表示部に転送するデータ転送装置であって、
前記記憶部から出力されるデータを順次格納し、前記データの格納順序に基づいて出力データを出力する格納部と、
前記格納部のデータ量に応じて、前記記憶部からデータを読み出すための読み出し要求と、該読み出し要求によって前記記憶部から読み出されるデータの前記表示部での表示位置を示す位置情報とを生成する転送制御部と、前記出力データに基づいて生成した画像データを前記表示部に出力するとともに、前記画像データにおける所定の座標を示す許可座標を生成するコア回路と、を有する制御部と、
前記位置情報と前記許可座標との比較結果に基づいて、前記記憶部に対するアクセスを調停する調停回路と、を有し、
前記調停回路は、前記位置情報が前記許可座標よりも表示順で後の座標である場合には、前記読み出し要求を受け付けないことを特徴とするデータ転送装置。
【請求項2】
記憶部に格納されたデータを表示順に従って表示部に転送するデータ転送装置であって、
前記記憶部から出力されるデータを順次格納し、前記データの格納順序に基づいて出力データを出力する格納部と、
前記出力データに基づいて生成した画像データを前記表示部に出力するとともに、前記画像データにおける所定の座標を示す許可座標を生成するコア回路と、
前記格納部のデータ量に応じて、前記記憶部からデータを読み出すための読み出し要求を生成する転送制御部と、を有し、
前記転送制御部は、前記記憶部から次に読み出すデータの前記表示部での表示位置が前記許可座標よりも表示順で後の座標である場合には前記読み出し要求を生成しない一方で、前記表示位置が前記許可座標よりも表示順で前の座標である場合には前記読み出し要求を生成することを特徴とするデータ転送装置。
【請求項3】
記憶部に格納されたデータを表示順に従って表示部に転送するデータ転送方法であって、
前記記憶部から出力されるデータを順次格納部に格納し、前記データの格納順序に基づいて前記格納部から出力データを出力し、
前記格納部のデータ量に応じて、前記記憶部からデータを読み出すための読み出し要求と、該読み出し要求によって前記記憶部から読み出されるデータの前記表示部での表示位置を示す位置情報とを生成し、
前記出力データに基づいて生成した画像データを前記表示部に出力するとともに、前記画像データにおける所定の座標を示す許可座標を生成し、
前記位置情報と前記許可座標との比較結果に基づいて前記記憶部に対するアクセスを調停する際に、前記位置情報が前記許可座標よりも表示順で後の座標である場合には、前記読み出し要求を受け付けないことを特徴とするデータ転送方法。
【請求項4】
記憶部に格納されたデータを表示順に従って表示部に転送するデータ転送方法であって、
前記記憶部から出力されるデータを順次格納部に格納し、前記データの格納順序に基づいて前記格納部から出力データを出力し、
前記出力データに基づいて生成した画像データを前記表示部に出力するとともに、前記画像データにおける所定の座標を示す許可座標を生成し、
前記記憶部から次に読み出すデータの前記表示部での表示位置が前記許可座標よりも表示順で後の座標である場合には、前記記憶部からデータを読み出すための読み出し要求を生成しない一方で、前記表示位置が前記許可座標よりも表示順で前の座標である場合には、前記格納部のデータ量に応じて前記読み出し要求を生成することを特徴とするデータ転送方法。
【請求項5】
記憶部をアクセスする複数の処理部と、
前記記憶部に記憶されたデータを表示順に従って表示部に転送するデータ転送部と、
前記記憶部をアクセスするために前記複数の処理部から出力される要求信号と前記データ転送部から出力される読み出し要求とを調停する調停部と、を有し、
前記データ転送部は、
前記記憶部から出力されるデータを順次格納し、前記データの格納順序に基づいて出力データを出力する格納部と、
前記格納部のデータ量に応じて、前記記憶部からデータを読み出すための読み出し要求と、該読み出し要求によって前記記憶部から読み出されるデータの前記表示部での表示位置を示す位置情報とを生成する転送制御部と、前記出力データに基づいて生成した画像データを前記表示部に出力するとともに、前記画像データにおける所定の座標を示す許可座標を生成するコア回路と、を有する制御部と、
前記位置情報と前記許可座標との比較結果に基づいて、前記記憶部に対するアクセスを調停する調停回路と、を有し、
前記調停回路は、前記位置情報が前記許可座標よりも表示順で後の座標である場合には、前記読み出し要求を受け付けないことを特徴とする半導体装置。
【請求項6】
記憶部をアクセスする複数の処理部と、
前記記憶部に記憶されたデータを表示順に従って表示部に転送するデータ転送部と、
前記記憶部をアクセスするために前記複数の処理部から出力される要求信号と前記データ転送部から出力される読み出し要求とを調停する調停部と、を有し、
前記データ転送部は、
前記記憶部から出力されるデータを順次格納し、前記データの格納順序に基づいて出力データを出力する格納部と、
前記出力データに基づいて生成した画像データを前記表示部に出力するとともに、前記画像データにおける所定の座標を示す許可座標を生成するコア回路と、
前記格納部のデータ量に応じて、前記記憶部からデータを読み出すための読み出し要求を生成する転送制御部と、を有し、
前記転送制御部は、前記記憶部から次に読み出すデータの前記表示部での表示位置が前記許可座標よりも表示順で後の座標である場合には前記読み出し要求を生成しない一方で、前記表示位置が前記許可座標よりも表示順で前の座標である場合には前記読み出し要求を生成することを特徴とする半導体装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、データ転送装置、データ転送方法及び半導体装置に関するものである。
【背景技術】
【0002】
従来、デジタルスチルカメラ等の電子機器は、メモリに格納された画像データを表示する表示部を有している。電子機器のデータ転送装置は、FIFO(First In First Out)方式のメモリを有し、メモリから表示部に転送するデータ転送を調整する(例えば、特許文献1,2参照)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開平11−133945号公報
【特許文献2】特開平09−37208号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、上記電子機器に含まれる各種の処理回路は、メモリに対してアクセス、即ちデータの書き込みやデータの読み出しを行う。これらのアクセスは、同時に発生する、つまりアクセスが競合する場合がある。すると、画像データを必要とするタイミングに対してメモリに対するアクセスが遅れる場合がある。このようなアクセスの遅れは、各種の処理回路において、必要とする画像データが間に合わない、所謂転送破綻を招く。例えば、表示部に画像データを転送する場合にメモリからデータを読み出す処理が遅れると、表示部にデータを出力するタイミングに間に合わなくなる転送破綻が生じる。この転送破綻は表示部における表示画像の乱れを生じさせる。
【課題を解決するための手段】
【0005】
本発明の一観点によれば、記憶部に格納されたデータを表示順に従って表示部に転送するデータ転送装置であって、前記記憶部から出力されるデータを順次格納し、前記データの格納順序に基づいて出力データを出力する格納部と、前記格納部のデータ量に応じて、前記記憶部からデータを読み出すための読み出し要求と、該読み出し要求によって前記記憶部から読み出されるデータの前記表示部での表示位置を示す位置情報とを生成する転送制御部と、前記出力データに基づいて生成した画像データを前記表示部に出力するとともに、前記画像データにおける所定の座標を示す許可座標を生成するコア回路と、を有する制御部と、前記位置情報と前記許可座標との比較結果に基づいて、前記記憶部に対するアクセスを調停する調停回路と、を有し、前記調停回路は、前記位置情報が前記許可座標よりも表示順で後の座標である場合には、前記読み出し要求を受け付けない
【発明の効果】
【0006】
本発明の一観点によれば、転送破綻による不具合を低減することができるという効果を奏する。
【図面の簡単な説明】
【0007】
図1】第1実施形態の撮像装置を示すブロック図。
図2】第1実施形態の表示I/Fの内部構成例を示すブロック図。
図3】画像データを示す説明図。
図4】第1実施形態の表示I/Fの動作を示すタイミングチャート。
図5】第2実施形態の表示I/Fの内部構成例を示すブロック図。
図6】許可座標を示す説明図。
図7】第2実施形態の表示I/Fの動作を示すタイミングチャート。
図8】第3実施形態の表示I/Fの内部構成例を示すブロック図。
図9】第3実施形態の表示I/Fの動作を示すタイミングチャート。
図10】第4実施形態の表示I/Fの内部構成例を示すブロック図。
図11】(a)、(b)は、第4実施形態の表示I/Fの動作を示すタイミングチャート。
図12】転送破綻が生じる場合の従来の表示I/Fの動作を示すタイミングチャート。
図13】転送破綻が生じる場合の従来の表示I/Fの動作を示すタイミングチャート。
【発明を実施するための形態】
【0008】
(第1実施形態)
以下、図1図4に従って第1実施形態について説明する。
図1に示すように、撮像装置1は、撮像部11と、画像処理プロセッサ(ISP:Image Signal Processor)12と、入力部13と、メモリ14と、メモリカード15と、表示デバイス16,17とを有している。
【0009】
撮像部11は、撮像光学系21と、撮像素子部22と、アナログフロントエンド(AFE:Analog Front End)23とを有している。
撮像光学系21は、被写体からの光を集光する複数のレンズ(フォーカスレンズなど)や、これらのレンズを透過した光の量を調整する絞り等を含み、光学的な被写体像を撮像素子部22に導く。撮像素子部22は、例えば、ベイヤ配列のカラーフィルタと、撮像素子とを含む。撮像素子は、CCD(Charge Coupled Device)イメージセンサである。撮像素子は、カラーフィルタを介して入射する光の量に応じた撮像信号(アナログ信号)を出力する。AFE23は、撮像素子部22から出力されるアナログの撮像信号をデジタルの撮像データGDに変換するA/D変換回路を含み、撮像データを画像処理プロセッサ12に出力する。また、AFE23は、画像処理プロセッサ12から供給される制御信号を撮像素子部22に出力する。
【0010】
画像処理プロセッサ12は、撮像部11から出力される撮像データGD(例えば、RGB形式の画像データ(ベイヤデータ))に対して各種画像処理を施す。例えば、画像処理プロセッサ12は、所定の処理段階で画像データをメモリ14に一時的に格納する。すなわち、メモリ14は作業メモリとして機能する。このメモリ14は、例えば同期式半導体メモリ(SDRAM:Synchronous Dynamic Random Access Memory)などの書き換え可能なメモリである。また、画像処理プロセッサ12は、メモリ14に格納された各種画像処理後の画像データをメモリカード15に格納したり、表示デバイス16,17に表示したりする。
【0011】
入力部13は、ユーザにより操作されるシャッタボタンやメニューボタン等の各種スイッチを有している。この各種スイッチは、例えば写真撮影、撮影条件の設定、表示デバイスの選択や表示方式の設定等を行うために使用される。
【0012】
メモリカード15は、例えばコンパクトフラッシュ(登録商標)やSDメモリカード(登録商標)などの携帯型メモリカードである。
表示デバイス16,17としては、液晶表示装置(LCD:Liquid Crystal Display)や有機EL(Electronic Luminescence)などを用いることができる。このような表示デバイス16,17は、マトリクス状に配列された複数の表示画素を有している。すなわち、表示デバイス16,17は、第1の配列方向である水平走査方向と、その水平走査方向と平面視で直交する垂直走査方向とに配列された複数の表示画素を有している。また、表示デバイス16,17としては、電子ビューファインダ(EVF:Electronic View Finder)や、外部接続のためのインターフェース(例えば、HDMI(登録商標):High-Definition Multimedia Interface)などを用いることもできる。
【0013】
次に、画像処理プロセッサ12の内部構成例を説明する。
画像処理プロセッサ12は、センサインターフェース(I/F)31と、入力画像補正部32と、画像処理部33と、コーデック部34と、メモリカードI/F35と、表示I/F36,37と、DMA調停部38と、メモリコントローラ39と、CPU(Central Processing Unit)40とを有している。
【0014】
センサI/F31、入力画像補正部32、画像処理部33、コーデック部34、メモリカードI/F35、表示I/F36,37及びDMA調停部38は、内部バス41を介して互いに接続されている。DMA調停部38は、メモリコントローラ39を介してメモリ14と接続されている。
【0015】
センサI/F31は、撮像部11から出力される撮像データGD(RGB形式の画像データ(ベイヤデータ))を受け取り、その画像データGDをメモリ14に格納する。
入力画像補正部32は、メモリ14から読み出した画像データGDに対して補正処理を施す。そして、入力画像補正部32は、補正後の画像データGDをメモリ14に格納するとともに、補正後の画像データGDを画像処理部33に出力する。画像データGDに対する補正は、例えば明るさやコントラストを調整するガンマ補正処理、輝度むらを補正するシェーディング補正処理等である。
【0016】
画像処理部33は、メモリ14から読み出した画像データGD、又は入力画像補正部32から供給される画像データGDに対して画像処理を施す1つ又は複数の処理部である。画像処理部33は、画像処理後の画像データGDをメモリ14に格納する。画像処理部33が行う処理は、例えば、RGB形式の画像データをYCbCr形式の画像データに変換する色空間変換処理、画素数を増減する解像度変換処理、画像の輪郭(エッジ)を強調するエッジ強調処理、画像データに含まれるノイズを除去するノイズ除去処理等が含まれる。
【0017】
コーデック部34は、メモリ14に格納された画像データGDを読み出し、その画像データGDを所定の方式(例えば、JPEG(Joint Photographic Experts Group)方式)により符号化し、符号化後の画像データ(符号化データ)をメモリ14に格納する。なお、当該撮像装置1が動画の撮影が可能であれば、コーデック部34に、動画データを所定の方式(例えば、MPEG(Moving Picture Experts Group)方式)により符号化する機能を持たせてもよい。
【0018】
メモリカードI/F35は、撮像装置1に装着されるメモリカード15と接続される。メモリカードI/F35は、メモリ14に格納されたデータ(例えば符号化された画像データ)をメモリカード15に格納する。
【0019】
表示I/F36には、当該撮像装置1に設けられた表示デバイス16が接続されている。表示デバイス16は、撮像装置1の駆動源であるバッテリの残量、撮影モード、撮影フレーム、記憶された画像データの表示等に用いられる。例えば表示I/F36は、メモリ14に格納されたデータを読み出し、そのデータに基づいて生成した画像データPDを表示デバイス16に出力する。また、表示I/F37には、表示デバイス17が接続されている。この表示デバイス17は、例えば外部接続のためのインターフェース(例えば、HDMI)である。例えば表示I/F37は、表示デバイス17(HDMI)に外部の表示部(例えば、デジタルテレビジョン)が接続されている場合に、メモリ14に格納されたデータを読み出し、そのデータに基づいて生成した画像データを表示デバイス17に出力する。
【0020】
センサI/F31と、入力画像補正部32と、画像処理部33と、コーデック部34と、メモリカードI/F35と、表示I/F36,37とは、ダイレクトメモリアクセスコントローラ(DMAC:Direct Memory Access Controller)31a〜37aをそれぞれ有している。DMAC31a〜37aは、各処理部31〜37が行う処理に応じたアクセス要求を出力する。例えばセンサI/F31は、撮像部11から供給される画像データを、メモリ14に格納する。このため、センサI/F31のDMAC31aは、書き込み要求(ライトリクエスト)を出力する。表示I/F36,37は、表示デバイス16,17に出力するデータをメモリ14から読み出す。このため、表示I/F36,37のDMAC36a,37aは、読み出し要求(リードリクエスト)を出力する。
【0021】
DMA調停部38は、各処理部31〜37のDMAC31a〜37aから出力され競合する要求(リクエスト)を、例えば各処理部31〜37に対応して設定された優先度に従って要求を調停し、1つの処理部に対するアクセスを許可する。アクセスが許可された処理部は、メモリ14に対するアクセスのための制御信号を出力する。例えば読み出し要求の場合、メモリコントローラ39は、制御信号に応じてメモリ14からデータを読み出し、その読み出したデータを要求元の処理部に出力する。また、メモリコントローラ39は、書き込み要求と、その要求元の処理部から出力されるデータをメモリ14に出力し、メモリ14はそのデータを記憶する。
【0022】
CPU40は、画像処理プロセッサ12全体を統括制御する。CPU40は、処理に必要な情報の各処理部への設定及びデータの書き込み/読み出し制御等を行う。CPU40は、撮像素子部22のリセットを指令する制御信号を、AFE23を通じて撮像素子部22に出力する。CPU40は、上記入力部13の操作に応じて動作モードや各処理において必要な情報(パラメータ)を設定する。
【0023】
ここで、図3に示すように、表示I/F36,37から出力される1フレームの画像データPDは、例えば表示デバイス16の表示画素に対応する複数(例えばn本)のラインデータL0〜Ln−1を含む。各ラインデータL0〜Ln−1は、複数(例えばm個)の画素データGを含む。画像データPDは、例えばYCbCr形式の画像データの一部に、OSD(On Screen Display)データを重畳したデータである。YCrCb形式の画像データは、Y成分のデータ(Yデータ)と、Cb成分のデータ(Cbデータ)と、Cr成分のデータ(Crデータ)とを含む。Yデータは輝度信号の集合である。Cbデータは、輝度信号と青色成分(B)の差を示す色差信号の集合である。Crデータは、輝度信号と赤色成分(R)の差を示す色差信号の集合である。OSDデータは、例えばホワイトバランスなどの画像表示に関する設定の表示や撮影日時の表示などに用いられる。
【0024】
画像データPDに含まれる画素データGは、所定位置の画素(例えば、図3において左上の画素)を基点(1,1)とする座標(Y,X)によって指定される。なお、図3において左右方向(水平方向)を座標X、左右方向と平面視で直交する上下方向(垂直方向)を座標Yとする。画像データPDは、表示I/F36,37から表示デバイス16,17にそれぞれ出力される。このとき転送されるデータは、図3に矢印で示したラスタ順に出力される。
【0025】
上記メモリ14は、表示I/F36,37から出力される1つの読み出し要求(リードリクエスト)に応答して、表示I/F36,37から供給される要求アドレスを先頭アドレスとして、所定量のデータ(YCbCr形式の画像データ又はOSDデータ)を出力する。このため、1フレームの画像データPDをメモリ14から読み出す際には、表示I/F36,37は複数の読み出し要求を出力する。そして、メモリ14は、読み出し要求毎に所定量のデータを出力する。このように、1フレームの画像データPDは、複数の読み出し要求と、各読み出し要求に対する所定量のデータとによって、メモリ14から表示I/F36,37を介して表示デバイス16,17に転送される。このようなデータ転送は、バースト転送の一例である。なお、1つの読み出し要求により転送するデータの量(バースト転送量)は、例えば128ビット(16バイト)である。
【0026】
次に、図2に従って表示I/F36の内部構成例について説明する。なお、表示I/F37の内部構成は、表示I/F36の構成と略同様であるため、ここでは詳細な説明を省略する。
【0027】
表示I/F36は、上記DMAC36aと、複数の転送制御部51〜53と、コア回路54とを有している。
転送制御部51〜53は、FIFO(First In First Out)メモリ51a〜53aをそれぞれ有している。FIFOメモリ51a〜53aは、先に書き込んだデータの順に、先に読み出されるメモリである。FIFOメモリ51a〜53aは、所定のメモリ容量(例えば、64バイト)のメモリである。例えば、FIFOメモリ51aには、メイン画像、つまり所定の画像処理が施された画像データGDの輝度データ(Yデータ)が格納され、FIFOメモリ52aには、メイン画像の色差データ(CbデータとCrデータ)が格納される。また、FIFOメモリ53aには、メイン画像に重畳されるOSDデータが格納される。本例では、メイン画像の表示フォーマット(表示形式)をYUV422とし、OSDデータの表示フォーマットをRGBA8888とする。YUV422では、隣接する2画素が、2バイトのYデータと1バイトのCbデータと1バイトのCrデータとによって表現される。このため、FIFOメモリ51aに格納される輝度データ(Yデータ)のデータサイズは、1バイト/画素となる。また、FIFOメモリ52aに格納される色差データ(CbデータとCrデータ)のデータサイズは、1バイト/画素となる。その一方で、上記RGBA8888では、1画素が、8ビット(1バイト)の赤色チャンネルと、8ビットの緑色チャンネルと、8ビットの青色チャンネルと、8ビットのアルファ色チャンネルとによって表現される。このため、FIFOメモリ53aに格納されるOSDデータのデータサイズは、4バイト/画素となる。したがって、FIFOメモリ51a〜53aのメモリ容量を64バイトとすると、FIFOメモリ51a,52aには最大で64画素分のデータを格納することができ、FIFOメモリ53aには最大で16画素分のデータを格納することができる。
【0028】
上記FIFOメモリ51aは、ライトポインタWP1が示す位置(アドレス)に入力データWD1を記憶し、ライトポインタを更新する。また、FIFOメモリ51aは、リードポインタRP1が示す位置(アドレス)のデータRD1を出力し、リードポインタRP1を更新する。ポインタWP1,RP1の更新は、次のデータを書き込む位置又は読み出し位置を示す値に変更することである。データを順次書き込む又は読み出す場合、FIFOメモリ51aは、各ポインタWP1,RP1の値に所定値(例えば「1」)を加算した結果を、次のポインタWP1,RP1の値とする。
【0029】
FIFOメモリ51aは、ライトポインタWP1及びリードポインタRP1を循環的に管理する。FIFOメモリ51aは、1つの入力データWD1をライトポインタWP1が示す位置に記憶し、ライトポインタWP1を更新(例えば、ライトポインタWP1を「+1」)する。そして、FIFOメモリ51aは、ライトポインタWP1がメモリ容量に対応する値(例えば64)以上になると、ライトポインタWP1の値をリセット(=0)する。したがって、FIFOメモリ51aは、ライトポインタWP1をメモリ容量に応じた値(例えば0〜63)で循環させる。
【0030】
同様に、FIFOメモリ51aは、リードポインタRP1が示す位置のデータRD1を出力し、次の読み出しデータの位置を示すようにリードポインタRP1を更新(例えば、リードポインタRP1を「+1」)する。そして、FIFOメモリ51aは、リードポインタRP1の値がメモリ容量に対応する値(例えば64)になると、リードポインタRP1の値をリセット(=0)にする。したがって、FIFOメモリ51aは、リードポインタRP1をメモリ容量に応じた値(例えば0〜63)で循環させる。
【0031】
FIFOメモリ51aは、転送制御部51から供給される所定レベル(例えばHレベル)のリード許可信号に応答してデータの読み出しを行い、例えばLレベルのリード許可信号に応答してデータの読み出しを停止する。そして、FIFOメモリ51aは、データの読み出しが許可されている間、表示デバイス16の要求タイミング(例えば、表示用のクロック信号)に対応する周期(例えば、表示用のクロック信号の周期の2倍の周期)でデータRD1をコア回路54に出力する。
【0032】
転送制御部51は、ライトポインタWP1とリードポインタRP1に基づいて、FIFOメモリ51aのデータ量を監視し、FIFOメモリ51aに対応するデータの書き込みを制御する。例えば、転送制御部51は、ライトポインタWP1の値とリードポインタRP1の値により、FIFOメモリ51aに格納されたデータ量を算出する。なお、このデータ量は、FIFOメモリ51aに格納されたデータのうち、読み出しが行われていないデータの数である。そして、転送制御部51は、FIFOメモリ51aのメモリ容量とデータ量に基づいて空き容量(=メモリ容量−データ量)を算出する。転送制御部51は、空き容量と、1回の読み出し要求に応答してメモリ14から当該表示I/F36に転送されるデータの数(バースト転送量)とを比較する。そして、転送制御部51は、空き容量がバースト転送量以上になると、DMAC36aに対して読み出し要求RQ1を出力する。さらに、転送制御部51は、読み出し要求RQ1と併せて、その読み出し要求RQ1により読み出されるデータの表示位置を示す表示位置情報DP1をDMAC36aに出力する。この表示位置情報DP1は、上記読み出し要求RQ1により読み出される画像データの先頭の画素データGが、1フレームの画像データPDのどの座標位置の画素データであるかを示す情報である。
【0033】
DMAC36aは、転送制御部51から出力される読み出し要求RQ1を受け付け、調停結果を転送制御部51に出力する。転送制御部51は、DMAC36aからアクセスが許可されたことを示す所定レベル(例えばHレベル)の許可信号PE1に応答して、データRD(メイン画像のデータ)を読み出すための要求アドレスRA1をDMAC36aに出力する。要求アドレスRA1は、データRDに含まれる複数の画素データを順次読み出すためのアドレスである。転送制御部51は、要求アドレスRA1を出力すると、次の読み出しアドレスを記憶する。すなわち、転送制御部51は、要求アドレスRA1にバースト転送量を加算し、加算結果の値を要求アドレスRA1に設定する。
【0034】
DMAC36aは、要求アドレスRA1を受け付けると、読み出し要求RQをDMA調停部38に出力する。DMA調停部38は、DMAC36aから出力される読み出し要求RQを受け付け、調停結果をDMAC36aに出力する。DMAC36aは、DMA調停部38からアクセスが許可されたことを示す所定レベル(例えばHレベル)の許可信号PEに応答して、要求アドレスRA(ここでは、上記要求アドレスRA1)をDMA調停部38に出力する。DMA調停部38は、要求アドレスRAに基づくアドレスADDと読み出しのための制御信号を、メモリコントローラ39を介してメモリ14に出力する。メモリ14は、そのアドレスADDと制御信号に応答して、アドレスADDを先頭アドレスとするメモリ領域のデータRDを出力する。メモリ14から出力されたデータRDは、メモリコントローラ39、DMA調停部38及びDMAC36aを介して入力データWD1として上記FIFOメモリ51aに供給される。そして、FIFOメモリ51aは、その入力データWD1をライトポインタWP1が示す位置に記憶する。
【0035】
このように、転送制御部51は、FIFOメモリ51aのデータ量を監視する。そして、転送制御部51は、DMAC36aに対し、メモリ14に格納されたデータRDの読み出しを要求する。FIFOメモリ51aは、メモリ14から読み出されたデータRDをライトポインタWP1に従って格納する。そして、FIFOメモリ51aは、リードポインタRP1に従って上記格納したデータを読み出し、データRD1をコア回路54に出力する。
【0036】
同様に、FIFOメモリ52aは、ライトポインタWP2が示す位置(アドレス)に入力データWD2を記憶し、ライトポインタWP2を更新する。また、FIFOメモリ52aは、リードポインタRP2が示す位置(アドレス)のデータRD2を出力し、リードポインタRP2を更新する。そして、FIFOメモリ52aは、ライトポインタWP2とリードポインタRP2を循環的に管理する。
【0037】
転送制御部52は、ライトポインタWP2とリードポインタRP2に基づいてFIFOメモリ52aのデータ量を監視し、監視結果に応じて読み出し要求RQ2を出力する。また、転送制御部52は、読み出し要求RQ2と併せて、その読み出し要求RQ2により読み出されるデータの表示位置を示す表示位置情報DP2をDMAC36aに出力する。そして、転送制御部52は、DMAC36aの調停結果に応じて要求アドレスRA2を出力する。要求アドレスRA2は、メモリ14からデータRD(メイン画像のデータ)を読み出すためのアドレスである。これにより、転送制御部52は、メモリ14に格納されたデータRDの読み出しと、FIFOメモリ52aに対するデータRDの格納とを制御する。
【0038】
このように、転送制御部52は、FIFOメモリ52aのデータ量を監視する。そして、転送制御部52は、DMAC36aに対し、メモリ14に格納されたデータRDを要求する。FIFOメモリ52aは、メモリ14から読み出されたデータRDをライトポインタWP2に従って格納する。そして、FIFOメモリ52aは、リードポインタRP2に従って記憶したデータを読み出し、データRD2をコア回路54に出力する。
【0039】
同様に、FIFOメモリ53aは、ライトポインタWP3が示す位置(アドレス)に入力データWD3を記憶し、ライトポインタWP3を更新する。また、FIFOメモリ53aは、リードポインタRP3が示す位置(アドレス)のデータRD3を出力し、リードポインタRP3を更新する。そして、FIFOメモリ53aは、ライトポインタWP3とリードポインタRP3を循環的に管理する。
【0040】
転送制御部53は、ライトポインタWP3とリードポインタRP3に基づいてFIFOメモリ53aのデータ量を監視し、監視結果に応じて読み出し要求RQ3を出力する。また、転送制御部53は、読み出し要求RQ3と併せて、その読み出し要求RQ3により読み出されるデータの表示位置を示す表示位置情報DP3をDMAC36aに出力する。そして、転送制御部53は、DMAC36aの調停結果に応じて要求アドレスRA3を出力する。要求アドレスRA3は、データRD(OSDデータ)を読み出すためのアドレスである。これにより、転送制御部53は、メモリ14に格納されたデータRDの読み出しと、FIFOメモリ53aに対するデータRDの格納とを制御する。
【0041】
このように、転送制御部53は、FIFOメモリ53aのデータ量を監視する。そして、転送制御部53は、DMAC36aに対し、メモリ14に格納されたデータRDを要求する。FIFOメモリ53aは、メモリ14から読み出されたデータRDをライトポインタWP3に従って格納する。そして、FIFOメモリ53aは、リードポインタRP3に従って記憶したデータを読み出し、データRD3をコア回路54に出力する。
【0042】
DMAC36aは、転送制御部51,52,53から出力される読み出し要求RQ1,RQ2,RQ3を、表示位置情報DP1,DP2,DP3に応じた優先度に従って調整する。DMAC36aは、読み出し要求RQ1〜RQ3が競合する場合に、表示位置情報DP1〜DP3に応じた優先度に従って上記読み出し要求を調停し、1つの転送制御部に対するアクセスを許可する。読み出し要求RQ1〜RQ3の優先度は、FIFOメモリ51a〜53aに書き込まれる入力データWD1〜WD3(輝度データ、色差データ、OSDデータ)が表示順にメモリ14から読み出されるように、表示位置情報DP1,DP2,DP3に従って設定される。具体的には、表示位置情報DP1〜DP3、つまり読み出し要求RQ1〜RQ3により読み出されるデータのそれぞれの画像データPDにおける座標位置に基づいて、上記データの表示順が早いほど読み出し要求RQ1〜RQ3の優先度が高く設定される。そして、DMAC36aは、競合する複数の読み出し要求RQ1〜RQ3のうち、表示位置情報DP1〜DP3に応じた優先度が最も高い読み出し要求を受け付け、その読み出し要求を出力した転送制御部にアクセスを許可するHレベルの許可信号を出力する。なお、上記読み出されるデータの表示位置が同じ場合における読み出し要求RQ1〜RQ3の優先度は、例えば読み出し要求RQ1、読み出し要求RQ2、読み出し要求RQ3の順番に高く設定されている。したがって、DMAC36aは、上記読み出されるデータの表示位置が同じ場合に3つの読み出し要求RQ1〜RQ3が競合するときには、優先度が最も高い読み出し要求RQ1に対するアクセス許可を転送制御部51に出力し、続いて、読み出し要求RQ2に対するアクセス許可を転送制御部52に出力する。
【0043】
DMA調停部38は、DMAC36aから出力される読み出し要求RQと、他の処理部(図1に示したセンサI/F31、入力画像補正部32、画像処理部33、コーデック部34、メモリカードI/F35、表示I/F37)から出力される要求RQxを、それぞれの要求RQ,RQxの優先度に従って調整する。
【0044】
コア回路54は、FIFOメモリ51aから出力されるデータRD1と、FIFOメモリ52aから出力されるデータRD2と、FIFOメモリ53aから出力されるデータRD3とに基づいて、上記画像データPDを生成する。コア回路54は、例えばクロック信号に基づいて、表示デバイス16に1フレームの画像を表示するための同期信号を生成する。同期信号は、フレームの開始(つまり、フレーム先頭)を示す垂直同期信号VDと、各ラインの開始を示す水平同期信号HDを含む。各同期信号VD,HDの周期は、表示デバイス16に応じて設定されている。コア回路54は、画像データPDを同期信号VD,HDに応じて出力する。なお、垂直同期信号VDの1周期が1フレーム(1画面)の画像データPDを出力する期間であり、水平同期信号HDの1周期が1ラインの画像データPDを出力する期間である。
【0045】
なお、本実施形態において、ISP12は半導体装置の一例、メモリ14は記憶部の一例、表示I/F36,37はデータ転送装置及びデータ転送部の一例、FIFOメモリ51a〜53aは格納部の一例、転送制御部51〜53及びDMAC36aは制御部の一例である。また、FIFOメモリ51a,52aは第1の格納部の一例、FIFOメモリ53aは第2の格納部の一例、転送制御部51,52は第1の転送制御部の一例、転送制御部53は第2の転送制御部の一例である。センサI/F31、入力画像補正部32、画像処理部33、コーデック部34、メモリカードI/F35は処理部の一例、DMA調停部38は調停部の一例、読み出し要求RQ1,RQ2は第1の読み出し要求の一例、読み出し要求RQ3は第2の読み出し要求の一例である。入力データWD1,WD2は第1の入力データの一例、入力データWD3は第2の入力データの一例、データRD1〜RD3は出力データの一例、データRD1は第1の出力データの一例、データRD3は第2の出力データの一例である。表示位置情報DP1,DP2は第1の位置情報の一例、表示位置情報DP3は第2の位置情報の一例、要求RQxは要求信号の一例である。
【0046】
次に、上記撮像装置1(特に、表示I/F36)の動作について説明する。
まず、図12にしたがって従来の撮像装置において転送破綻が生じる場合の動作について説明する。すなわち、読み出し要求RQ1〜RQ3の優先度が、読み出すデータの表示位置に関わらずに設定されている場合の動作について説明する。例えば、従来の撮像装置では、読み出し要求RQ1〜RQ3の優先度がRQ1>RQ2>RQ3の順に高く設定されている場合に、読み出し要求RQ1を受け付けると、RQ2>RQ3>RQ1の順に高くなるように優先度を変更される。すなわち、従来の撮像装置では、受け付けた読み出し要求の優先度を1番低くし、次の読み出し要求を受け付ける。なお、以下の例では、読み出し要求RQ1〜RQ3の優先度の初期値が、RQ1>RQ2>RQ3の順に高く設定されているとする。
【0047】
このため、図12の時刻t50においてフレームの開始を示すHレベルの垂直同期信号VDが生成され、その後、読み出し要求RQ1〜RQ3が競合すると、まず、優先度の最も高い読み出し要求RQ1が受け付けられる。そして、読み出し要求RQ1に対するアクセスを許可するHレベルの許可信号PE1が転送制御部51に出力される(時刻t51参照)。これにより、メモリ14からFIFOメモリ51aへのデータ転送が開始される(時刻t54参照)。
【0048】
上記読み出し要求RQ1が受け付けられた後、その読み出し要求RQ1の優先度が1番低くなるように変更されるため、読み出し要求RQ1〜RQ3の優先度がRQ2>RQ3>RQ1の順に高くなる。このため、次に時刻t52において、優先度の最も高い読み出し要求RQ2が受け付けられ、読み出し要求RQ2に対するアクセスを許可するHレベルの許可信号PE2が転送制御部52に出力される。これにより、上記1回目の読み出し要求RQ1に対するデータ転送が終了した後に、メモリ14からFIFOメモリ52aへのデータ転送が開始される(時刻t55参照)。
【0049】
上記読み出し要求RQ2が受け付けられた後、その読み出し要求RQ2の優先度が1番低くなるように変更されるため、読み出し要求RQ1〜RQ3の優先度がRQ3>RQ1>RQ2の順に高くなる。このため、次に時刻t53において、優先度の最も高い読み出し要求RQ3が受け付けられ、読み出し要求RQ3に対するアクセスを許可するHレベルの許可信号PE3が転送制御部53に出力される。これにより、上記1回目の読み出し要求RQ2に対するデータ転送が終了した後に、メモリ14からFIFOメモリ53aへのデータ転送が開始される(時刻t56)。
【0050】
上記読み出し要求RQ3が受け付けられた後、その読み出し要求RQ3の優先度が1番低くなるように変更されるため、読み出し要求RQ1〜RQ3の優先度がRQ1>RQ2>RQ3の順に高くなる。ここで、本例では、フレーム開始直後に、転送制御部51〜53からそれぞれ4回分の読み出し要求RQ1〜RQ3が連続してDMAC36aに出力される。このため、上述した動作と同様に、2回目の読み出し要求RQ1、2回目の読み出し要求RQ2、2回目の読み出し要求RQ3、3回目の読み出し要求RQ1、3回目の読み出し要求RQ2、3回目の読み出し要求RQ3の順に受け付けられる。さらに、4回目の読み出し要求RQ1、4回目の読み出し要求RQ2、4回目の読み出し要求RQ3の順に受け付けられる。これにより、2回目〜4回目の読み出し要求RQ1〜RQ3に対応したデータのFIFOメモリ51a〜53aへの転送が行われる。
【0051】
このようにメモリ14からFIFOメモリ51a〜53aへのデータ転送が行われる一方で、FIFOメモリ51a〜53aは、Hレベルのリード許可信号に応答してデータRD1〜RD3をコア回路54に出力する(時刻t57参照)。コア回路54は、データRD1〜RD3に基づいて画像データPDを生成し、その画像データPDを表示デバイス16に出力する。
【0052】
ここで、データRD1(メイン画像の輝度データ)、データRD2(メイン画像の色差データ)及びデータRD3(OSDデータ)が同じ画素数分だけFIFOメモリ51a〜53aからコア回路54に出力される場合には、1画素当たりのデータ量が多いデータRD3のデータ転送が間に合わなくなることがある。具体的には、FIFOメモリ51a,52aからは1回目の読み出し要求RQ1,RQ2により読み出されたデータRD1,RD2のみが出力されるのに対し、FIFOメモリ53aからは1〜4回目の読み出し要求RQ3により読み出されたデータRD3が出力される。この場合には、例えば4回目の読み出し要求RQ3に対応するデータRD3のFIFOメモリ53aからの読み出しが開始される前までに、そのデータRD3のFIFOメモリ53aへの書き込みが間に合わないことがある(時刻t58参照)。すなわち、リードポインタRP3がライトポインタWP3よりも先行してしまい、転送破綻が生じてしまうことがある。
【0053】
また、上記OSDデータは、1フレームの画像データPDの一部分の表示しか行われないこともある。例えば、フレーム開始(時刻t50参照)直後の転送制御部53による読み出し要求RQ3は、画像データPDの左上の画素データを読み出すためのものではない場合がある。このような場合には、先に表示されるメイン画像の読み出し要求RQ1,RQ2と、後で表示されるOSDデータの読み出し要求RQ3とが競合することになる。このため、この場合には、後に表示されるOSDデータによってメイン画像の読み出し要求を阻害することになる。
【0054】
これに対し、本実施形態では、読み出し要求RQ1〜RQ3の優先度を、その読み出し要求RQ1〜RQ3によって読み出されるデータの表示位置に応じて設定するようにした。これにより、表示順の早いデータから順に読み出されることになるため、上述した2つの問題点に起因した転送破綻を発生しにくくすることができる。以下に、上記撮像装置1(特に、表示I/F36)の動作について詳述する。
【0055】
図4の時刻t1において、画像データPDのフレームの開始を示すHレベルの垂直同期信号VDが生成される。続いて、時刻t2において、転送制御部51〜53から1回目の読み出し要求RQ1〜RQ3が同時にDMAC36aに対して出力される。このとき、転送制御部51〜53は、上記読み出し要求RQ1〜RQ3と併せて、それら読み出し要求RQ1〜RQ3によって読み出されるデータの表示位置を示す表示位置情報DP1〜DP3をDMAC36aに出力する。具体的には、転送制御部51は、読み出し要求RQ1と、その読み出し要求RQ1によって読み出されるデータの先頭データの表示位置が(1,1)であることを示す表示位置情報DP1をDMAC36aに出力する。また、転送制御部52は、読み出し要求RQ2と、その読み出し要求RQ2によって読み出されるデータの先頭データの表示位置が(1,1)であることを示す表示位置情報DP2をDMAC36aに出力する。また、転送制御部53は、読み出し要求RQ3と、その読み出し要求RQ3によって読み出されるデータの先頭データの表示位置が(1,1)であることを示す表示位置情報DP3をDMAC36aに出力する。このように表示位置情報DP1〜DP3における表示位置が同じ場合には、読み出し要求RQ1〜RQ3の優先度が、RQ1>RQ2>RQ3の順に高く設定される。このため、まず、優先度の最も高い読み出し要求RQ1が受け付けられる。そして、読み出し要求RQ1に対するアクセスを許可するHレベルの許可信号PE1が転送制御部51に出力される。これにより、メモリ14からFIFOメモリ51aへのデータ転送(バースト転送)が開始される(時刻t6参照)。ここで、上述したように、1つの読み出し要求RQ1〜RQ3により転送するデータ量(バースト転送量)は16バイトである。また、FIFOメモリ51aに格納される輝度データのデータサイズは1バイト/画素である。このため、転送制御部51では、1回のバースト転送により、メモリ14からFIFOメモリ51aへ16画素分のデータ(表示位置が(1,1)〜(1,16)のデータ)のデータ転送が行われる。
【0056】
ここで、本例のFIFOメモリ51aのメモリ容量は64バイトである。このため、フレーム開始直後、つまり時刻t2におけるFIFOメモリ51aの空き容量は64バイトである。したがって、転送制御部51は、フレーム開始直後から読み出し要求RQ1を4回連続してDMAC36aに出力する。このため、転送制御部51は、上述のように1回目の読み出し要求RQ1が受け付けられると、直ちに2回目の読み出し要求RQ1と、その読み出し要求RQ1によって読み出されるデータの先頭データの表示位置(1,17)を示す表示位置情報DP1とをDMAC36aに出力する(時刻t3参照)。
【0057】
時刻t3において、2回目の読み出し要求RQ1と1回目の読み出し要求RQ2,RQ3とが競合する。このとき、読み出し要求RQ1に対応する表示位置が(1,17)であり、読み出し要求RQ2,RQ3に対応する表示位置が(1,1)であるため、読み出し要求RQ2,RQ3が読み出し要求RQ1よりも優先度が高くなる。そして、表示位置が(1,1)で同じである読み出し要求RQ2,RQ3のうち優先度の高い読み出し要求RQ2が受け付けられる。すると、読み出し要求RQ2に対するアクセスを許可するHレベルの許可信号PE2が転送制御部52に出力される(時刻t3参照)。これにより、上記1回目の読み出し要求RQ1に対するデータ転送が終了した後に、メモリ14からFIFOメモリ52aへのデータ転送が開始される(時刻t7参照)。ここで、FIFOメモリ52aに格納される色差データのデータサイズは1バイト/画素である。このため、転送制御部52では、1回のバースト転送により、メモリ14からFIFOメモリ52aへ16画素分のデータ(表示位置が(1,1)〜(1,16)のデータ)のデータ転送が行われる。
【0058】
ここで、フレーム開始直後におけるFIFOメモリ52aの空き容量は64バイトである。したがって、転送制御部52は、フレーム開始直後から読み出し要求RQ2を4回連続してDMAC36aに出力する。このため、転送制御部52は、上述のように1回目の読み出し要求RQ2が受け付けられると、直ちに2回目の読み出し要求RQ2と、その読み出し要求RQ2によって読み出されるデータの先頭データの表示位置(1,17)を示す表示位置情報DP2とをDMAC36aに出力する(時刻t4参照)。
【0059】
時刻t4において、2回目の読み出し要求RQ1,RQ2と1回目の読み出し要求RQ3とが競合する。このとき、読み出し要求RQ1,RQ2に対応する表示位置が(1,17)であり、読み出し要求RQ3に対応する表示位置が(1,1)であるため、読み出し要求RQ3の優先度が最も高くなる。このため、読み出し要求RQ3が受け付けられ、その読み出し要求RQ3に対するアクセスを許可するHレベルの許可信号PE3が転送制御部53に出力される(時刻t4参照)。これにより、上記1回目の読み出し要求RQ2に対するデータ転送が終了した後に、メモリ14からFIFOメモリ53aへのデータ転送が開始される(時刻t8参照)。ここで、FIFOメモリ53aに格納されるOSDデータのデータサイズは4バイト/画素である。このため、転送制御部53では、1回のバースト転送により、メモリ14からFIFOメモリ53aへ4画素分のデータ(表示位置が(1,1)〜(1,4)のデータ)のデータ転送が行われる。
【0060】
ここで、フレーム開始直後におけるFIFOメモリ53aの空き容量は64バイトである。したがって、転送制御部53は、フレーム開始直後から読み出し要求RQ3を4回連続してDMAC36aに出力する。このため、転送制御部53は、上述のように1回目の読み出し要求RQ3が受け付けられると、直ちに2回目の読み出し要求RQ3と、その読み出し要求RQ3によって読み出されるデータの先頭データの表示位置(1,5)を示す表示位置情報DP3とをDMAC36aに出力する(時刻t5参照)。
【0061】
時刻t5において、2回目の読み出し要求RQ1〜RQ3が競合する。このとき、読み出し要求RQ1,RQ2に対応する表示位置が(1,17)であり、読み出し要求RQ3に対応する表示位置が(1,5)である。このため、表示順が最も早いデータを読み出すための読み出し要求RQ3の優先度が最も高くなる。このため、読み出し要求RQ3が受け付けられる。その後も、3回目の読み出し要求RQ3に対応する表示位置が(1,9)であり、4回目の読み出し要求RQ3に対応する表示位置が(1,13)であるため、それら3回目及び4回目の読み出し要求RQ3が2回目の読み出し要求RQ1,RQ2よりも早く受け付けられる。これにより、上記1回目の読み出し要求RQ3に対するデータ転送が開始されると、2回目の読み出し要求RQ3に対するデータ転送、3回目の読み出し要求RQ3に対するデータ転送、及び4回目の読み出し要求RQ3に対するデータ転送が連続して行われる。このため、表示位置が(1,17)の入力データWD1,WD2よりも先に、表示位置が(1,1)〜(1,4)の入力データWD3、表示位置が(1,5)〜(1,8)の入力データWD3、表示位置が(1,9)〜(1,12)の入力データWD3及び表示位置が(1,13)〜(1,16)の入力データWD3がFIFOメモリ53aに格納される。このように、読み出し要求RQ1〜RQ3を表示順に従って受け付けるようにしたため、表示順が早いデータほど先にFIFOメモリ51a〜53aに格納される。したがって、FIFOメモリ51a〜53aからコア回路54にデータRD1〜RD3を出力するときに(時刻t9参照)、1画素当たりのデータ量が多いデータRD3のデータ転送が間に合わなくなることを好適に抑制することができる。すなわち、FIFOメモリ53aにおいて、リードポインタRP3がライトポインタWP3よりも先行すること、つまり転送破綻が生じることを抑制することができる。
【0062】
また、読み出し要求RQ1〜RQ3を表示順に従って受け付けるようにしたため、上記OSDデータが1フレームの画像データPDの一部分の表示しか行われない場合であっても、表示順が遅いデータを読み出すための読み出し要求RQ3は受け付けられない。このため、先に表示されるメイン画像の読み出し要求RQ1,RQ2が、後で表示されるOSDデータの読み出し要求RQ3によって阻害されることがない。これにより、転送破綻の発生を抑制することができる。
【0063】
なお、上記4回目の読み出し要求RQ3が受け付けられると、FIFOメモリ53aの空き容量がバースト転送量よりも小さくなるため、転送制御部53は、FIFOメモリ53aの空き容量がバースト転送量以上になるまで読み出し要求RQ3を出力しない。また、4回目の読み出し要求RQ3が受け付けられると、2回目の読み出し要求RQ1,RQ2が競合し、優先度の高い2回目の読み出し要求RQ1が受け付けられる。その後も同様に、2回目の読み出し要求RQ2、3回目の読み出し要求RQ1、3回目の読み出し要求RQ2、4回目の読み出し要求RQ1、4回目の読み出し要求RQ2の順に受け付けられる。
【0064】
以上説明したように、本実施形態によれば、以下の効果を奏することができる。
(1)読み出し要求RQ1〜RQ3を表示順に従って受け付けるようにした。これにより、表示順が早いデータほど先にFIFOメモリ51a〜53aに格納することができる。したがって、FIFOメモリ51a〜53aからコア回路54にデータRD1〜RD3を出力するときに、1画素当たりのデータ量が多いデータRD3のデータ転送が間に合わなくなることを好適に抑制することができる。すなわち、FIFOメモリ53aにおいて、リードポインタRP3がライトポインタWP3よりも先行すること、つまり転送破綻が生じることを抑制することができる。
【0065】
(2)読み出し要求RQ1〜RQ3を表示順に従って受け付けるようにしたため、上記OSDデータが1フレームの画像データPDの一部分の表示しか行われない場合であっても、表示順が遅いデータを読み出すための読み出し要求RQ3は受け付けられない。このため、先に表示されるメイン画像の読み出し要求RQ1,RQ2が、後で表示されるOSDデータの読み出し要求RQ3によって阻害されることがない。これにより、転送破綻の発生を抑制することができる。
【0066】
(第2実施形態)
以下、図5図7に従って第2実施形態について説明する。この実施形態の撮像装置は、表示I/F36,37の内部構成が上記第1実施形態と異なっている。以下、第1実施形態との相違点を中心に説明する。先の図1図4に示した部材と同一の部材にはそれぞれ同一の符号を付して示し、それら各要素についての詳細な説明は省略する。
【0067】
まず、表示I/F36の内部構成例について説明する。なお、表示I/F37の内部構成は、表示I/F36の構成と略同様であるため、ここでは詳細な説明を省略する。
図5に示すように、表示I/F36のコア回路54は、FIFOメモリ51aから出力されるデータRD1と、FIFOメモリ52aから出力されるデータRD2と、FIFOメモリ53aから出力されるデータRD3とに基づいて、画像データPDを生成する。また、コア回路54は、どこまでの表示位置のデータの読み出し要求を受け付けるかを制御する許可座標PCを生成し、その許可座標PCをDMAC36aに出力する。すなわち、コア回路54は、メモリ14からの読み出しを許可するデータの表示位置(座標位置)を示す許可座標PCをDMAC36aに出力する。
【0068】
例えば図6に示すように、コア回路54は、画像データPDにおける現在表示中の表示位置(例えば(2,a))に、一定の値bを加えた表示位置(例えば(2,a+b))を許可座標PCに設定する。ここで、上記一定の値bは、例えばバースト転送量に応じて設定される。また、コア回路54は、許可座標PCを生成するための専用のカウンタを設け、そのカウンタによりカウントされた値から許可座標PCを生成するようにしてもよい。
【0069】
DMAC36aは、転送制御部51,52,53からそれぞれ出力される表示位置情報DP1,DP2,DP3と許可座標PCとを比較する。そして、DMAC36aは、表示位置情報DP1〜DP3が許可座標PCよりも後の表示位置を示す場合には、その表示位置情報に対応する読み出し要求RQ1〜RQ3を受け付けない。すなわち、DMAC36aは、表示位置が許可座標PCよりも後のデータRDを読み出すための読み出し要求RQ1〜RQ3を受け付けない(つまり、上記読み出し要求RQ1〜RQ3に対してアクセスを許可しない)。また、DMAC36aは、表示位置が許可座標PCよりも前のデータRDを読み出すための読み出し要求が2つ以上ある場合には、それら複数の読み出し要求を、上記第1実施形態と同様に、表示位置情報DP1〜DP3に応じた優先度に従って調整する。なお、DMAC36aでは、競合する読み出し要求RQ1〜RQ3から表示位置情報DP1〜DP3に応じた優先度に従って読み出し要求を選択し、その選択した読み出し要求に対応する表示位置情報と許可座標PCとを比較するようにしてもよい。
【0070】
なお、本実施形態において、FIFOメモリ51a〜53aは格納部の一例、DMAC36a、転送制御部51〜53及びコア回路54は制御部の一例、DMAC36aは調停回路の一例、転送制御部51〜53は転送制御部の一例である。
【0071】
次に、上記表示I/F36の動作について説明する。
まず、図13にしたがって従来の撮像装置において転送破綻が生じる場合の動作について説明する。すなわち、DMA調停部38及び表示I/F36,37内のDMAC36a,37aにおいて、読み出し要求や書き込む要求を、単純に入力された順に受け付ける場合の動作について説明する。ここでは、説明の簡略化のために、表示I/F36,37内の転送制御部51〜53のうち転送制御部51のみが動作し、2つの表示I/F36,37が同時に動作する場合について説明する。
【0072】
図13の時刻t60では、表示I/F36の1回目〜4回目までの読み出し要求RQ1が受け付けられ、それら4回分の読み出し要求RQ1に対応する入力データWD1が表示I/F36のFIFOメモリ51aに格納されている。そして、時刻t60において、FIFOメモリ51aからコア回路54へのデータRD1の読み出しが開始される。このデータRD1の読み出しにより、FIFOメモリ51aの空き容量がバースト転送量以上になると、転送制御部51は、次の読み出し要求RQ1(5回目の読み出し要求RQ1)をDMAC36aに出力する。但し、このとき、表示I/F36とは別の表示I/F37も動作しており、それら2つの表示I/F36,37によるデータ転送(読み出し要求)が異なるタイミングで行われる。
【0073】
本例の場合には、1回目の読み出し要求RQ1に対応するデータRD1が読み出されている途中に、表示I/F37から表示デバイス17に出力される画像データPDのフレームの開始を示すHレベルの垂直同期信号VDが生成される(時刻t61参照)。このとき、フレーム開始直後であるため、表示I/F37から読み出し要求RQxが4回連続してDMA調停部38に出力される(時刻t62参照)。DMA調停部38では、読み出し要求RQ(RQ1),RQxの競合が発生しない限り、入力された順に読み出し要求が受け付けられる。このため、5回目の読み出し要求RQ1(RQ)よりも先に1〜4回目の読み出し要求RQxが受け付けられる。すると、5回目の読み出し要求RQ1に対応するデータRDをメモリ14から読み出す前に、1〜4回目の読み出し要求RQxに対応するデータRDを読み出すためにメモリ14の入出力が占有される。このため、1〜4回目の読み出し要求RQxに対応するデータRDの読み出しが終了するまで、5回目の読み出し要求RQ1に対応するデータRDをメモリ14から読み出すことができず、そのデータRDをFIFOメモリ51aに書き込むこともできない。これに起因して、5回目の読み出し要求RQ1に対応するデータのFIFOメモリ51aからの読み出しが開始される前までに、そのデータのFIFOメモリ51aへの書き込みが間に合わないことがある(時刻t63参照)。すなわち、リードポインタRP1がライトポインタWP1よりも先行してしまい、転送破綻が生じてしまうことがある。
【0074】
これに対し、本実施形態では、表示I/F36,37内のDMAC36a,37aにおいて、表示位置が許可座標PCよりも後のデータを読み出すための読み出し要求RQ1〜RQ3を受け付けないようにしたため、1つの表示I/Fにメモリ14の入出力が長時間占有されることが抑制される。このため、メモリ14の入出力が一方の表示I/Fによって占有されることに起因して、他方の表示I/Fにおいて転送破綻が発生することを好適に抑制することができる。以下に、本実施形態の表示I/F36の動作について詳述する。なお、ここでは、説明の簡略化のために、表示I/F36の転送制御部51〜53のうち転送制御部51のみが動作している場合について説明する。
【0075】
図7の時刻t10において、画像データPDのフレームの開始を示すHレベルの垂直同期信号VDが生成される。続いて、時刻t11において、転送制御部51から1回目の読み出し要求RQ1がDMAC36aに対して出力される。このとき、転送制御部51は、上記読み出し要求RQ1と併せて、その読み出し要求RQ1によって読み出されるデータの先頭データの表示位置が(1,1)であることを示す表示位置情報DP1をDMAC36aに出力する。また、メモリ14からの読み出しを許可するデータの表示位置が(1,1)であることを示す許可座標PCがコア回路54からDMAC36aに出力される。そして、DMAC36aにおいて、表示位置情報DP1と許可座標PCとが比較され、読み出し要求RQ1が受け付けられる。そして、読み出し要求RQ1に対するアクセスを許可するHレベルの許可信号PE1が転送制御部51に出力される。これにより、メモリ14からFIFOメモリ51aへのデータ転送が開始される。このデータ転送では、メモリ14からFIFOメモリ51aへ16画素分のデータ(表示位置が(1,1)〜(1,16)のデータ)のデータ転送が行われる。
【0076】
ここで、フレーム開始直後におけるFIFOメモリ51aの空き容量は64バイトである。したがって、転送制御部51は、フレーム開始直後から読み出し要求RQ1を4回連続してDMAC36aに出力する。このため、転送制御部51は、上述のように1回目の読み出し要求RQ1が受け付けられると、直ちに2回目の読み出し要求RQ1と、その読み出し要求RQ1によって読み出されるデータの先頭データの表示位置(1,17)を示す表示位置情報DP1とをDMAC36aに出力する(時刻t12参照)。このとき、コア回路54から出力される許可座標PCは、専用のカウンタによるカウント動作等により(1,1)から(1,4)に進むが、上記表示位置(1,17)よりも前の表示位置となる。このため、2回目の読み出し要求RQ1によって読み出されるデータは、許可座標PCよりも後に表示されるデータとなる。したがって、DMAC36aにおいて2回目の読み出し要求RQ1は受け付けられない。
【0077】
その後も、許可座標PCが(1,7)、(1,10)、(1,13)、(1,16)と進むが、2回目の読み出し要求RQ1によって読み出されるデータは、許可座標PCよりも後に表示されるデータのままである。このため、DMAC36aにおいて2回目の読み出し要求RQ1は受け付けられない。
【0078】
そして、時刻t13において、許可座標PCが(1,19)となると、DMAC36aにおいて2回目の読み出し要求RQ1が受け付けられる。そして、読み出し要求RQ1に対するアクセスを許可するHレベルの許可信号PE1が転送制御部51に出力される。これにより、メモリ14からFIFOメモリ51aへのデータ転送が開始される。
【0079】
このように、許可座標PCが、表示位置情報DP1が示す表示位置と同じ座標、もしくは表示位置情報DP1が示す表示位置よりも後の座標になるまで、DMAC36aにおいて読み出し要求RQ1が受け付けられない。これにより、フレーム開始直後のように読み出し要求RQ1が連続して出力される場合であっても、1つの読み出し要求RQ1が受け付けられてから(時刻t12参照)、次の読み出し要求RQ1が受け付けられるまで(時刻t13参照)の間に所定の期間T1を確保することができる。このため、1つの表示I/F(例えば、表示I/F36)による読み出し要求の集中が抑制され、1つの表示I/Fによってメモリ14の入出力が長時間占有されることが抑制される。したがって、2つの表示I/F36,37が同時に動作する場合であっても、一方の表示I/Fによるデータ転送が他方の表示I/Fによって阻害されることを好適に抑制することができる。すなわち、2つの表示I/F36,37が同時に動作する場合であり、一方の表示I/F36の読み出し要求RQ1〜RQ4が連続する場合であっても、上記期間T1を確保することができるため、その期間T1において他方の表示I/F37のデータ転送を行うことができる。これにより、一方の表示I/Fの読み出し要求の集中に起因して、他方の表示I/Fにおいて転送破綻が発生することを好適に抑制することができる。
【0080】
以上説明した実施形態によれば、第1実施形態の(1)及び(2)の効果に加えて以下の効果を奏する。
(3)読み出し要求RQ1〜RQ3によって読み出されるデータの表示位置が許可座標PCよりも後のデータである場合には、読み出し要求RQ1〜RQ3を受け付けないようにした。これにより、フレーム開始直後のように読み出し要求RQ1が連続して出力される場合であっても、1つの読み出し要求RQ1が受け付けられてから次の読み出し要求RQ1が受け付けられるまでの間に所定の期間T1を確保することができる。このため、1つの表示I/Fによる読み出し要求の集中が緩和され、表示I/F36,37から出力される読み出し要求RQの間隔の疎密が平均化される。したがって、2つの表示I/F36,37が同時に動作する場合であっても、一方の表示I/Fによるデータ転送が他方の表示I/Fによって阻害されることを好適に抑制することができる。
【0081】
(第3実施形態)
以下、図8及び図9に従って第3実施形態について説明する。この実施形態の撮像装置は、表示I/F36,37の内部構成が上記第1実施形態と異なっている。以下、第1実施形態との相違点を中心に説明する。先の図1図7に示した部材と同一の部材にはそれぞれ同一の符号を付して示し、それら各要素についての詳細な説明は省略する。
【0082】
まず、表示I/F36の内部構成例について説明する。なお、表示I/F37の内部構成は、表示I/F36の構成と略同様であるため、ここでは詳細な説明を省略する。
図8に示すように、表示I/F36のコア回路54は、FIFOメモリ51aから出力されるデータRD1と、FIFOメモリ52aから出力されるデータRD2と、FIFOメモリ53aから出力されるデータRD3とに基づいて、画像データPDを生成する。また、コア回路54は、どこまでの表示位置のデータの読み出し要求を出力するかを制御する許可座標PC1,PC2,PC3を生成し、それら許可座標PC1〜PC3をそれぞれ転送制御部51〜53に出力する。すなわち、コア回路54は、メモリ14からの読み出しを許可するデータの表示位置(座標位置)を示す許可座標PC1〜PC3をそれぞれ転送制御部51〜53に出力する。
【0083】
コア回路54は、上記第2実施形態と同様に、画像データPDにおける現在表示中の表示位置に、一定の値を加えた表示位置を許可座標PC1〜PC3に設定する。また、コア回路54は、許可座標PC1〜PC3を生成するための専用のカウンタを設け、そのカウンタによりカウントされた値から許可座標PC1〜PC3を生成するようにしてもよい。なお、許可座標PC1〜PC3は全て同じ座標であってもよいし、異なる座標であってもよい。
【0084】
転送制御部51は、上記第1実施形態と同様に、ライトポインタWP1とリードポインタRP1に基づいて、FIFOメモリ51aのデータ量を監視し、そのデータ量とFIFOメモリ51aのメモリ容量とに基づいて空き容量を算出する。この転送制御部51は、空き容量がバースト転送量以上になると、メモリ14から次に読み出すデータの表示位置と許可座標PC1とを比較する。そして、転送制御部51は、上記次に読み出すデータの表示位置が許可座標PC1よりも後の座標である場合には、読み出し要求RQ1をDMAC36aに出力しない。一方、転送制御部51は、空き容量がバースト転送量以上であり、且つ、メモリ14から次に読み出すデータの表示位置が許可座標PC1と同じ座標、又は許可座標PC1よりも前の座標である場合に、読み出し要求RQ1をDMAC36aに出力する。
【0085】
転送制御部52は、上記第1実施形態と同様に、ライトポインタWP2とリードポインタRP2に基づいて、FIFOメモリ52aのデータ量を監視し、そのデータ量とFIFOメモリ52aのメモリ容量とに基づいて空き容量を算出する。この転送制御部52は、空き容量がバースト転送量以上になると、メモリ14から次に読み出すデータの表示位置と許可座標PC2とを比較する。そして、転送制御部52は、上記次に読み出すデータの表示位置が許可座標PC2よりも後の座標である場合には、読み出し要求RQ2をDMAC36aに出力しない。一方、転送制御部52は、空き容量がバースト転送量以上であり、且つ、メモリ14から次に読み出すデータの表示位置が許可座標PC2と同じ座標、又は許可座標PC2よりも前の座標である場合に、読み出し要求RQ2をDMAC36aに出力する。
【0086】
転送制御部53は、上記第1実施形態と同様に、ライトポインタWP3とリードポインタRP3に基づいて、FIFOメモリ53aのデータ量を監視し、そのデータ量とFIFOメモリ53aのメモリ容量とに基づいて空き容量を算出する。この転送制御部53は、空き容量がバースト転送量以上になると、メモリ14から次に読み出すデータの表示位置と許可座標PC3とを比較する。そして、転送制御部53は、上記次に読み出すデータの表示位置が許可座標PC3よりも後の座標である場合には、読み出し要求RQ3をDMAC36aに出力しない。一方、転送制御部53は、空き容量がバースト転送量以上であり、且つ、メモリ14から次に読み出すデータの表示位置が許可座標PC3と同じ座標、又は許可座標PC3よりも前の座標である場合に、読み出し要求RQ3をDMAC36aに出力する。
【0087】
DMAC36aは、上記第1実施形態と同様に、転送制御部51,52,53から出力される読み出し要求RQ1,RQ2,RQ3を、表示位置情報DP1,DP2,DP3に応じた優先度に従って調整する。
【0088】
なお、本実施形態において、FIFOメモリ51a〜53aは格納部の一例、転送制御部51〜53及びコア回路54は制御部の一例である。
次に、上記表示I/F36の動作について説明する。ここでは、説明の簡略化のために、表示I/F36の転送制御部51〜53のうち転送制御部51のみが動作している場合について説明する。
【0089】
図9の時刻t20において、画像データPDのフレームの開始を示すHレベルの垂直同期信号VDが生成される。続いて、転送制御部51において、メモリ14から読み出すデータの表示位置(ここでは、(1,1))と許可座標PC1(ここでは、(1,1))とが比較される。このとき、メモリ14から読み出すデータの表示位置が許可座標PC1と同じ座標であるため、転送制御部51から1回目の読み出し要求RQ1がDMAC36aに対して出力される(時刻t21参照)。なお、転送制御部51は、上記読み出し要求RQ1と併せて、表示位置情報DP1をDMAC36aに出力する。そして、DMAC36aにおいて読み出し要求RQ1が受け付けられ、読み出し要求RQ1に対するアクセスを許可するHレベルの許可信号PE1が転送制御部51に出力される。これにより、メモリ14からFIFOメモリ51aへのデータ転送が開始される。このデータ転送では、メモリ14からFIFOメモリ51aへ16画素分のデータ(表示位置が(1,1)〜(1,16)のデータ)のデータ転送が行われる。
【0090】
ここで、フレーム開始直後の場合には、1回目の読み出し要求RQ1が受け付けられた後、FIFOメモリ51aの空き容量はバースト転送量以上である。但し、このとき、コア回路54から出力される許可座標PC1が専用のカウンタによるカウント動作等により(1,1)から(1,4)に進んでいるものの、その許可座標PC1が上記表示位置(1,17)よりも前の表示位置となる。このため、2回目の読み出し要求RQ1によって読み出されるデータは、許可座標PC1よりも後に表示されるデータとなる。したがって、転送制御部51は、FIFOメモリ51aの空き容量がバースト転送量以上であっても、2回目の読み出し要求RQ2を出力しない。
【0091】
その後も、許可座標PCが(1,7)、(1,10)、(1,13)、(1,16)と進むが、2回目の読み出し要求RQ2によって読み出されるデータは、許可座標PCよりも後に表示されるデータのままである。このため、転送制御部51から2回目の読み出し要求RQ1は出力されない。
【0092】
そして、時刻t23において、許可座標PCが(1,19)となると、転送制御部51から2回目の読み出し要求RQ1が出力される。そして、DMAC36aにおいて2回目の読み出し要求RQ1が受け付けられると、読み出し要求RQ1に対するアクセスを許可するHレベルの許可信号PE1が転送制御部51に出力される。これにより、メモリ14からFIFOメモリ51aへのデータ転送が開始される。
【0093】
このように、許可座標PC1が、表示位置情報DP1が示す表示位置と同じ座標、もしくは表示位置情報DP1が示す表示位置よりも後の座標になるまで、転送制御部51から読み出し要求RQ1が出力されない。これにより、フレーム開始直後のように読み出し要求RQ1が連続して出力され得る場合であっても、1つの読み出し要求RQ1が生成されてから(時刻t22参照)、次の読み出し要求RQ1が生成されるまで(時刻t23参照)の間に所定の期間T2を確保することができる。このため、1つの表示I/F(例えば、表示I/F36)による読み出し要求の集中が抑制され、1つの表示I/Fによってメモリ14の入出力が長時間占有されることが抑制される。したがって、2つの表示I/F36,37が同時に動作する場合であっても、一方の表示I/Fによるデータ転送が他方の表示I/Fによって阻害されることを好適に抑制することができる。これにより、一方の表示I/Fの読み出し要求の集中に起因して、他方の表示I/Fにおいて転送破綻が発生することを好適に抑制することができる。
【0094】
以上説明した実施形態によれば、第1実施形態の(1)及び(2)の効果に加えて以下の効果を奏する。
(4)読み出し要求RQ1〜RQ3によって読み出されるデータの表示位置が許可座標PC1〜PC3よりも後のデータである場合には、転送制御部51〜53から読み出し要求RQ1〜RQ3を出力しないようにした。これにより、フレーム開始直後のように読み出し要求RQ1が連続して出力され得る場合であっても、1つの読み出し要求RQ1が出力されてから次の読み出し要求RQ1が出力されるまでの間に所定の期間T2を確保することができる。このため、1つの表示I/Fによる読み出し要求の集中が緩和され、表示I/F36,37から出力される読み出し要求RQの間隔の疎密が平均化される。したがって、2つの表示I/F36,37が同時に動作する場合であっても、一方の表示I/Fによるデータ転送が他方の表示I/Fによって阻害されることを好適に抑制することができる。
【0095】
(第4実施形態)
以下、図10及び図11に従って第4実施形態について説明する。この実施形態の撮像装置は、表示I/F36,37の内部構成が上記第1実施形態と異なっている。以下、第1実施形態との相違点を中心に説明する。先の図1図9に示した部材と同一の部材にはそれぞれ同一の符号を付して示し、それら各要素についての詳細な説明は省略する。
【0096】
まず、表示I/F36の内部構成例について説明する。なお、表示I/F37の内部構成は、表示I/F36の構成と略同様であるため、ここでは詳細な説明を省略する。
図10に示すように、表示I/F36は、1つの転送制御部55と、コア回路54とを有している。転送制御部55は、振り分け部56と、転送要求生成部57と、3つのFIFOメモリ51a,52a,53aとを有している。
【0097】
振り分け部56は、メモリ14から読み出されたデータRDを、データの種別(成分)に応じてFIFOメモリ51a〜53aに振り分ける。例えば、振り分け部56は、メモリ14から読み出されたデータRDがメイン画像、つまり所定の画像処理が施された画像データGDの輝度データ(Yデータ)である場合には、そのデータRDを入力データWD1としてFIFOメモリ51aに供給する。振り分け部56は、データRDがメイン画像の色差データ(Cbデータ及びCrデータ)である場合には、そのデータRDを入力データWD2としてFIFOメモリ52aに供給する。振り分け部56は、データRDがOSDデータである場合には、そのデータRDを入力データWD3としてFIFOメモリ53aに供給する。
【0098】
FIFOメモリ51aは、ライトポインタWP1が示す位置に入力データWD1を記憶し、ライトポインタWP1を更新する。また、FIFOメモリ51aは、リードポインタRP1が示す位置のデータRD1をコア回路54に出力し、リードポインタRP1を更新する。そして、FIFOメモリ51aは、ライトポインタWP1とリードポインタRP1を循環的に管理する。
【0099】
FIFOメモリ52aは、ライトポインタWP2が示す位置に入力データWD2を記憶し、ライトポインタWP2を更新する。また、FIFOメモリ52aは、リードポインタRP2が示す位置のデータRD2をコア回路54に出力し、リードポインタRP2を更新する。そして、FIFOメモリ52aは、ライトポインタWP2とリードポインタRP2を循環的に管理する。
【0100】
FIFOメモリ53aは、ライトポインタWP3が示す位置に入力データWD3を記憶し、ライトポインタWP3を更新する。また、FIFOメモリ53aは、リードポインタRP3が示す位置のデータRD3をコア回路54に出力し、リードポインタRP3を更新する。そして、FIFOメモリ53aは、ライトポインタWP3とリードポインタRP3を循環的に管理する。
【0101】
転送要求生成部57は、FIFOメモリ51a〜53aに書き込まれる入力データWD1〜WD3(輝度データ、色差データ、OSDデータ)が表示順にメモリ14から読み出されるように、メモリ14からのデータRDの読み出しを要求する読み出し要求RQを生成する。すなわち、転送要求生成部57は、メモリ14から次に読み出される各成分のデータ(各入力データWD1〜WD3)の座標(画像データPDにおける表示位置)に基づいて、画像データPDにおける表示順が最も早い成分のデータを読み出すように、読み出し要求RQを生成する。
【0102】
詳述すると、メモリ14から次に読み出される入力データWD1〜WD3のうち入力データWD1の表示順が最も早い場合には、転送要求生成部57は、上記入力データWD1(メイン画像の輝度データ)を読み出すための読み出し要求RQを生成する。また、メモリ14から次に読み出される入力データWD1〜WD3のうち入力データWD2の表示順が最も早い場合には、転送要求生成部57は、上記入力データWD2(メイン画像の色差データ)を読み出すための読み出し要求RQを生成する。さらに、メモリ14から次に読み出される入力データWD1〜WD3のうち入力データWD3の表示順が最も早い場合には、転送要求生成部57は、上記入力データWD3(OSDデータ)を読み出すための読み出し要求RQを生成する。なお、本例では、メモリ14から次に読み出される入力データWD1〜WD3の表示位置が同じである場合には、入力データWD1>入力データWD2>入力データWD3の順に優先度が高く設定されている。すなわち、転送要求生成部57は、メモリ14から次に読み出される入力データWD1〜WD3の座標が同じ場合には、入力データWD1を読み出すための読み出し要求RQを生成する。
【0103】
さらに、転送要求生成部57は、ライトポインタWP1とリードポインタRP1に基づいて、FIFOメモリ51aのデータ量を監視し、ライトポインタWP2とリードポインタRP2に基づいて、FIFOメモリ52aのデータ量を監視する。また、転送要求生成部57は、ライトポインタWP3とリードポインタRP3に基づいて、FIFOメモリ53aのデータ量を監視する。この転送要求生成部57は、FIFOメモリ51a〜53aのデータ量を監視し、FIFOメモリ51a〜53aの空き容量がバースト転送量以上であるか否かを判定する。具体的には、転送要求生成部57は、上記生成した読み出し要求RQによりメモリ14から読み出されるデータRDが格納されるFIFOメモリ51a〜53aの空き容量がバースト転送量以上であるか否かを判定する。そして、転送要求生成部57は、対象のFIFOメモリ51a〜53aの空き容量がバースト転送量以上である場合に、上記生成した読み出し要求RQをDMA調停部38に出力する。
【0104】
DMA調停部38は、転送要求生成部57から出力される読み出し要求RQを受け付け、調停結果を転送要求生成部57に出力する。転送要求生成部57は、DMA調停部38からアクセスが許可されたことを示す所定レベル(例えばHレベル)の許可信号PEに応答して、対象のデータを読み出すための要求アドレスRAをDMA調停部38に出力する。
【0105】
DMA調停部38は、要求アドレスRAに基づくアドレスADDと読み出しのための制御信号を図1に示したメモリ14に出力する。メモリ14は、そのアドレスADDと制御信号に応答して、アドレスADDを先頭アドレスとするメモリ領域のデータRDを出力する。そして、そのデータRDがDMA調停部38を介して転送制御部55内の振り分け部56に供給される。
【0106】
なお、本実施形態において、FIFOメモリ51a〜53aは格納部の一例、振り分け部56及び転送要求生成部57は制御部の一例である。
次に、図11に従って上記表示I/F36の動作について説明する。
【0107】
図11(a)の時刻t30において、画像データPDのフレームの開始を示すHレベルの垂直同期信号VDが生成される。続いて、転送要求生成部57において、メモリ14から次に読み出される入力データWD1〜WD3(以下、「次の入力データWD1〜WD3」とも言う)の座標が比較される。このとき、図11(b)に示すように、次の入力データWD1〜WD3の座標が全て(1,1)である(時刻t31参照)。このため、転送要求生成部57は、入力データWD1を読み出すための読み出し要求RQ(図11(a)の「D1−1」)を生成する。ここで、FIFOメモリ51aの空き容量がバースト転送量以上であるため、転送要求生成部57は、上記生成した読み出し要求RQをDMA調停部38に出力する。DMA調停部38において読み出し要求RQが受け付けられ、DMA調停部38からHレベルの許可信号PEが転送要求生成部57に出力されると、転送要求生成部57から要求アドレスRAがDMA調停部38に出力される。これにより、メモリ14からデータRDが読み出され、そのデータRDが振り分け部56によりFIFOメモリ51aに振り分けられ、入力データWD1としてFIFOメモリ51aに書き込まれる(時刻t38参照)。このようなデータ転送により、16画素分のデータ(座標が(1,1)〜(1,16)のデータ)がメモリ14からFIFOメモリ51aへ転送される。
【0108】
なお、図11(a)の読み出し要求RQにおける「D1−1」、「D1−2」はメイン画像の輝度データ(入力データWD1)を読み出すための読み出し要求RQを示し、「D2−1」、「D2−2」はメイン画像の色差データ(入力データWD2)を読み出すための読み出し要求RQを示している。また、図11(a)の読み出し要求RQにおける「D3−1」、「D3−2」、「D3−3」、「D3−4」、「D3−5」はOSDデータ(入力データWD3)を読み出すための読み出し要求RQを示している。
【0109】
次いで、図11(b)に示すように、時刻t32では、次の入力データWD1の座標が(1,17)であり、次の入力データWD2,WD3の座標が(1,1)である。このため、転送要求生成部57は、入力データWD2を読み出すための読み出し要求RQ(図11(a)の「D2−1」)を生成する。ここで、FIFOメモリ52aの空き容量がバースト転送量以上であるため、転送要求生成部57は、上記生成した読み出し要求RQをDMA調停部38に出力する。そして、DMA調停部38において読み出し要求RQが受け付けられ、DMA調停部38からHレベルの許可信号PEが転送要求生成部57に出力されると、メモリ14からFIFOメモリ52aへのデータ転送が開始される(時刻t40参照)。このようなデータ転送により、16画素分のデータ(座標が(1,1)〜(1,16)のデータ)がメモリ14からFIFOメモリ52aへ転送される。
【0110】
次に、図11(b)に示すように、時刻t33では、次の入力データWD1,WD2の座標が(1,17)であり、次の入力データWD3の座標が(1,1)である。このため、転送要求生成部57は、入力データWD3を読み出すための読み出し要求RQ(図11(a)の「D3−1」)を生成する。ここで、FIFOメモリ53aの空き容量がバースト転送量以上であるため、転送要求生成部57は、上記生成した読み出し要求RQをDMA調停部38に出力する。そして、DMA調停部38において読み出し要求RQが受け付けられ、DMA調停部38からHレベルの許可信号PEが転送要求生成部57に出力されると、メモリ14からFIFOメモリ53aへのデータ転送が開始される(時刻t41参照)。このようなデータ転送により、4画素分のデータ(座標が(1,1)〜(1,4)のデータ)がメモリ14からFIFOメモリ53aへ転送される。
【0111】
続いて、図11(b)に示すように、時刻t34では、次の入力データWD1,WD2の座標が(1,17)であり、次の入力データWD3の座標が(1,5)である。このため、入力データWD3を読み出すための2回目の読み出し要求RQ(図11(a)の「D3−2」)がDMA調停部38に出力される。次いで、時刻t35では、次の入力データWD3の座標が(1,9)であるため、入力データWD3を読み出すための3回目の読み出し要求RQ(図11(a)の「D3−3」)がDMA調停部38に出力される。その後の時刻t36では、次の入力データWD3の座標が(1,13)であるため、入力データWD3を読み出すための4回目の読み出し要求RQ(図11(a)の「D3−4」)がDMA調停部38に出力される。
【0112】
このように、各成分のデータ(入力データWD1〜WD3)が表示順に従って読み出されるように読み出し要求RQを出力するようにしたため、表示順が早いデータほど先にFIFOメモリ51a〜53aに格納される。したがって、FIFOメモリ51a〜53aからコア回路54にデータRD1〜RD3を出力するときに(時刻t42参照)、1画素当たりのデータ量が多いデータRD3のデータ転送が間に合わなくなることを好適に抑制することができる。すなわち、FIFOメモリ53aにおいて、リードポインタRP3がライトポインタWP3よりも先行すること、つまり転送破綻が生じることを抑制することができる。
【0113】
次に、図11(b)に示すように、時刻t37では、次の入力データWD1〜WD3の座標が全て(1,17)である。このため、転送要求生成部57は、入力データWD1を読み出すための2回目の読み出し要求RQ(図11(a)の「D1−2」)がDMA調停部38に出力される。続いて、時刻t38では、次の入力データWD1の座標が(1,33)であり、次の入力データWD2,WD3の座標が(1,17)である。このため、入力データWD2を読み出すための2回目の読み出し要求RQ(図11(a)の「D2−2」)がDMA調停部38に出力される。
【0114】
次いで、時刻t39では、次の入力データWD1,WD2の座標が(1,33)であり、次の入力データWD3の座標が(1,17)である。このため、転送要求生成部57は、入力データWD3を読み出すための5回目の読み出し要求RQ(図11(a)の「D3−5」)を生成する。但し、このとき、FIFOメモリ53aの空き容量がバースト転送量以上でないため、転送要求生成部57から上記5回目の読み出し要求RQは出力されない。その後も、転送要求生成部57は、FIFOメモリ53aからデータ「D3−1」が読み出されるまで、つまりFIFOメモリ53aの空き容量がバースト転送量以上になるまで、読み出し要求RQを出力せずに待つ。そして、時刻t43において、FIFOメモリ53aの空き容量がバースト転送量以上になると、次の入力データWD3を読み出すための5回目の読み出し要求RQ(図11(a)の「D3−5」)が転送要求生成部57からDMA調停部38に出力される。
【0115】
なお、「D2−2」の読み出し要求RQを出力してから「D3−5」の読み出し要求RQを出力する(時刻t38〜t43)までの間では、FIFOメモリ51a,52aの空き容量はバースト転送量以上であるが、転送要求生成部57において、入力データWD1,WD2を読み出すための読み出し要求RQは生成されない。このため、次の入力データWD1,WD2を読み出すための読み出し要求RQは、入力データWD3を読み出すための5回目〜8回目の読み出し要求RQが出力された後に出力されることになる。
【0116】
以上説明した本実施形態によれば、上記第1実施形態の(1)、(2)の効果と同様の効果を奏する。
(他の実施形態)
なお、上記実施形態は、これを適宜変更した以下の態様にて実施することもできる。
【0117】
・上記第2及び第3実施形態のDMAC36aでは、上記第1実施形態と同様に、競合した複数の読み出し要求RQ1〜RQ3を、表示位置情報DP1〜DP3に応じた優先度に従って調整するようにした。これに限らず、例えば上記第2及び第3実施形態のDMAC36aにおいて、複数の読み出し要求RQ1〜RQ3が競合した場合に、予め設定された優先度に従って調停し、受け付けた読み出し要求の優先度を1番低くし、次の読み出し要求を受け付けるようにしてもよい。このような構成であっても、許可座標PC,PC1〜PC3を利用することにより、上記第2及び第3実施形態の(3)、(4)の効果と同様の効果を奏することができる。
【0118】
・上記第3実施形態と上記第4実施形態とを組み合わせてもよい。例えば、コア回路54から転送制御部55内の転送要求生成部57に許可座標PCを出力し、転送要求生成部57において許可座標とメモリ14から次に読み出すデータの表示位置とを比較するようにしてもよい。そして、メモリ14から次に読み出すデータの表示位置が許可座標よりも表示順で前の座標である場合に読み出し要求RQを生成するようにし、メモリ14から次に読み出すデータの表示位置が許可座標よりも後の座標である場合には読み出し要求RQを生成しないようにしてもよい。
【0119】
・上記各実施形態における表示I/F36,37内のFIFOメモリの数は2つであってもよいし、4つ以上であってもよい。
・上記第2及び第3実施形態における表示I/F36,37内のFIFOメモリの数は1つであってもよい。例えば上記第2及び第3実施形態におけるFIFOメモリ52a,53aを省略してもよい。なお、上記第3実施形態における表示I/F36,37内のFIFOメモリを1つにした場合には、DMAC36aについても省略することができる。この場合には、例えば転送制御部51からDMA調停部38に読み出し要求RQ1等を出力する。
【0120】
・上記各実施形態における表示I/Fの数は3つ以上であってもよい。
【符号の説明】
【0121】
1 撮像装置
12 画像処理プロセッサ(半導体装置)
14 メモリ(記憶部)
16,17 表示デバイス(表示部)
31 センサI/F(処理部)
32 入力画像補正部(処理部)
33 画像処理部(処理部)
34 コーデック部(処理部)
35 メモリカードI/F(処理部)
36,37 表示I/F(データ転送装置、データ転送部)
36a,37a DMAC(調停回路)
38 DMA調停部(調停部)
51,52 転送制御部(第1の転送制御部)
51a,52a FIFOメモリ(第1の格納部)
53a FIFOメモリ(第2の格納部)
54 コア回路
55 転送制御部
56 振り分け部
57 転送要求生成部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13