(58)【調査した分野】(Int.Cl.,DB名)
前記カウンタ部は、前記判断部により前記一の画像フレームの内容に対して前記後続の画像フレームの内容が同じでないと判断される場合に、前記カウント値を初期化する、請求項1記載の受信装置。
前記リード制御部は、前記第1の画像フレームよりも以前に記憶された画像フレームの中で最も新しい画像フレームを前記第2の画像フレームとして読み出す、請求項1記載の受信装置。
前記補間フレーム生成部は、前記所定のクロックに従って前記所定の係数を順番に用いて、前記第2の画像フレームに基づく補間フレームを生成する、請求項1記載の受信装置。
前記補間フレーム生成部は、前記差分に対して前記所定の係数を乗算した結果を前記第2の画像フレームに加算することにより、前記補間フレームを生成する、請求項1記載の受信装置。
前記ライト制御部は、前記複数の記憶領域の中に画像フレームが記憶されていない記憶領域が存在する場合、前記画像フレームが記憶されていない記憶領域の中から所定の順序に従って一の記憶領域を選択し、前記選択した記憶領域に前記送信装置から送信される前記画像フレームを書き込む、請求項6記載の受信装置。
前記リード制御部は、前記記憶装置が記憶する前記画像フレームの中から、前記ライト制御部によって書き込まれる前記記憶領域に記憶される画像フレームを除いて最も新しい画像フレームを前記第1の画像フレームとして読み出すとともに、前記ライト制御部によって書き込まれる前記記憶領域に記憶される画像フレームを除いて2番目に新しい画像フレームを前記第2の画像フレームとして読み出す、請求項6記載の受信装置。
前記判断部は、所定のハッシュ関数に従って各前記画像フレームから求められるハッシュ値に基づいて、前記一の画像フレームの内容に対して前記後続の画像フレームの内容が同じであるか否かを判断する、請求項1記載の受信装置。
前記ライト制御部は、所定のハッシュ関数に従って各前記画像フレームから求められるハッシュ値に基づいて、前記複数の記憶領域の中に同じ内容の画像フレームが記憶されている記憶領域が存在するか否かを判断する、
請求項6記載の受信装置。
前記補間フレーム生成部は、前記第2の画像フレームに対して、該第2の画像フレームが読み出されるサイクルから1サイクル前の前記カウント値に対応する前記所定の係数を適用することによって、前記補間フレームを生成する、請求項1記載の受信装置。
【発明の概要】
【発明が解決しようとする課題】
【0008】
特許文献1及び特許文献2に開示されるような従前の装置はいずれも、入力される画像フレームに対して、常に一定の枚数の画像フレームを生成し補間するものであった。したがって、何らかの原因によりフレームレートが意図せずに変化してしまう場合であっても、所定のフレームレートに修正するために必要な枚数を考慮して、画像フレームを生成し補間していないため、フレームレートの修正が不十分となり、動画像の動きが不自然になってしまうという問題があった。
【0009】
そこで、本発明は、何らかの原因によりフレームレートが意図せず変化する場合にも、所望のフレームレートとなるように画像フレームを補間することができる画像伝送システムを提供することを目的とする。
【課題を解決するための手段】
【0010】
上記課題を解決するための本発明は、以下の技術的特徴乃至は発明特定事項を含んで構成される。
【0011】
すなわち、ある観点に従う本発明は、送信装置から所定のクロックに従って連続的に送信される複数の画像フレームをそれぞれ記憶するための複数の記憶領域を有する記憶装置と、送信される一の画像フレームの内容に対して後続の画像フレームの内容が同じであるか否かを判断する判断部と、前記判断部により前記一の画像フレームの内容に対して前記後続の画像フレームの内容が同じであると判断される場合に、持続している間の前記所定のクロックのサイクル数に基づいてカウント値を更新するカウンタ部と、前記判断部により前記一の画像フレームの内容に対して前記後続の画像フレームの内容が同じでないと判断される場合に、前記カウンタ部から与えられる前記カウント値に示される個数分の所定の係数を生成する係数生成部と、前記記憶装置の前記複数の記憶領域から、第1の画像フレーム、及び該第1の画像フレームよりも以前に記憶された第2の画像フレームを前記所定のクロックに従って読み出すように制御するリード制御部と、前記第1の画像フレームと前記第2の画像フレームとの間の差分を算出する動き推定部と、前記動き推定部により算出された前記差分と前記所定の係数とを用いて、前記第2の画像フレームに基づく補間フレームを生成する補間フレーム生成部と、を備える受信装置である。
【0012】
これにより、受信装置は、第2の画像フレームと第1の画像フレームとの間を補間する補間フレームを第2の画像フレームが持続している間のサイクル数に従う個数分だけ生成するため、フレームレートが変化する場合にも所望のフレームレートとなるように画像フレームを補間することができるようになる。
【0013】
ここで、前記カウンタ部は、前記判断部により前記一の画像フレームの内容に対して前記後続の画像フレームの内容が同じでないと判断される場合に、前記カウント値を初期化しても良い。
【0014】
これにより、受信装置は、一の画像フレームの内容に対して後続の画像フレームの内容が同じでないと判断される場合にカウント値を初期化するため、一の画像フレームの内容が持続する間カウント値を更新することができるようになる。
【0015】
また、前記リード制御部は、前記第1の画像フレームよりも以前に記憶された画像フレームの中で最も新しい画像フレームを前記第2の画像フレームとして読み出しても良い。
【0016】
これにより、受信装置は、第1の画像フレームと該第1の画像フレームの直前の画像フレームである第2の画像フレームとの間を補間するように補間フレームを生成することができるようになる。
【0017】
また、前記補間フレーム生成部は、前記所定のクロックに従って前記所定の係数を順番に用いて、前記第2の画像フレームに基づく補間フレームを生成しても良い。
【0018】
これにより、受信装置は、第2の画像フレームと第1の画像フレームとの間を補間する補間フレームがそれぞれ異なるように、該補間フレームを生成することができるようになる。
【0019】
また、前記補間フレーム生成部は、前記差分に対して前記所定の係数を乗算した結果を前記第2の画像フレームに加算することにより、前記補間フレームを生成しても良い。
【0020】
また、前記受信装置は、前記複数の記憶領域に対する前記送信される複数の画像フレームの書き込み先を決定するライト制御部をさらに備え、前記ライト制御部は、前記複数の記憶領域の中に同じ内容の画像フレームが記憶されている記憶領域が存在する場合、前記同じ内容の画像フレームが記憶されている記憶領域の中でより古い画像フレームが記憶されている記憶領域を選択し、前記複数の記憶領域の中に同じ内容の画像フレームが記憶されている記憶領域が存在しない場合、前記複数の記憶領域の中で最も古い画像フレームが記憶されている記憶領域を選択し、前記選択した記憶領域に前記送信装置から送信される前記画像フレームを書き込んでも良い。
【0021】
これにより、受信装置は、同じ内容の画像フレームが持続している場合に、該持続している画像フレームと、該持続している画像フレームの一つ前の画像フレームとが記憶領域に維持されるように記憶領域の記憶内容を制御することができるようになる。
【0022】
また、前記ライト制御部は、前記複数の記憶領域の中に画像フレームが記憶されていない記憶領域が存在する場合、前記画像フレームが記憶されていない記憶領域の中から所定の順序に従って一の記憶領域を選択し、前記選択した記憶領域に前記送信装置から送信される前記画像フレームを書き込んでも良い。
【0023】
これにより、受信装置は、画像フレームが記憶されていない記憶領域に優先的に画像フレームを記憶することができるようになる。
【0024】
さらに、前記リード制御部は、前記記憶装置が記憶する前記画像フレームの中から、前記ライト制御部によって書き込まれる前記記憶領域に記憶される画像フレームを除いて最も新しい画像フレームを前記第1の画像データとして読み出すとともに、前記ライト制御部によって書き込まれる前記記憶領域に記憶される画像フレームを除いて2番目に新しい画像フレームを前記第2の画像データとして読み出しても良い。
【0025】
また、前記判断部は、所定のハッシュ関数に従って各前記画像フレームから求められるハッシュ値に基づいて、前記一の画像フレームの内容に対して前記後続の画像フレームの内容が同じであるか否かを判断しても良い。
【0026】
これにより、受信装置は、画像フレームから求められるハッシュ値を用いて該画像フレーム同士の比較を行うため、判断部の回路規模の増大を抑制することができるようになる。
【0027】
また、前記ライト制御部は、所定のハッシュ関数に従って各前記画像フレームから求められるハッシュ値に基づいて、前記複数の記憶領域の中に同じ内容の画像フレームが記憶されている記憶領域が存在するか否かを判断しても良い。
【0028】
これにより、受信装置は、画像フレームから求められるハッシュ値を用いて該画像フレーム同士の比較を行うため、ライト制御部の回路規模の増大を抑制することができるようになる。
【0029】
また、前記係数生成部は、所定の単調増加関数又は単調減少関数に基づいて、前記カウント値に示される個数分の前記所定の係数を生成しても良い。
【0030】
これにより、受信装置は、所定の単調増加関数又は単調減少関数に基づいて所定の係数を生成するため、第2の画像フレームから第1の画像フレームにかけて徐々に画像フレームが変化するように第2の画像フレームと第1の画像フレームとの間を補間する補間フレームを生成することができるようになる。
【0031】
また、前記カウンタ部は、前記カウント値が所定の閾値に達する場合にカウントを停止し、前記係数生成部は、生成した前記所定の係数を、前回に前記所定の係数を生成したサイクルから前記所定の閾値に基づくサイクル数分遅延させた後に出力しても良い。
【0032】
これにより、受信装置は、所定の係数を所定の閾値に基づくサイクル数分遅延させた後に出力するため、カウンタ部がカウントを停止する前に係数生成部が所定の係数を生成することを防止することができるようになる。
【0033】
また、前記補間フレーム生成部は、前記第2の画像フレームに対して、該第2の画像フレームが読み出されるサイクルから1サイクル前の前記カウント値に対応する前記所定の係数を適用することによって、前記補間フレームを生成しても良い。
【0034】
これにより、受信装置は、第2の画像フレームに対応する所定の係数に従って、第2の画像フレームと第1の画像フレームとの間を補間する補間フレームを生成することができるようになる。
【0035】
さらに、別の観点に従う本発明は、所定のクロックに従って複数の画像フレームを連続的に送信する送信装置と、前記送信装置から送信される前記複数の画像フレームを受信して、該受信した画像フレームに基づく動画像を表示部に出力する受信装置と、を備える画像伝送システムであって、前記受信装置は、前記受信した複数の画像フレームをそれぞれ記憶するための複数の記憶領域を有する記憶装置と、送信される一の画像フレームの内容に対して後続の画像フレームの内容が同じであるか否かを判断する判断部と、前記判断部により前記一の画像フレームの内容に対して前記後続の画像フレームの内容が同じであると判断される場合に、持続している間の前記所定のクロックのサイクル数に基づいてカウント値を更新するカウンタ部と、前記判断部により前記一の画像フレームの内容に対して前記後続の画像フレームの内容が同じでないと判断される場合に、前記カウンタ部から与えられる前記カウント値に示される個数分の所定の係数を生成する係数生成部と、前記記憶装置の前記複数の記憶領域から、第1の画像フレーム、及び該第1の画像フレームよりも以前に記憶された第2の画像フレームが読み出されるように制御するリード制御部と、前記第1の画像フレームと前記第2の画像フレームとの間の差分を算出する動き推定部と、前記動き推定部により算出された前記差分と前記所定の係数とを用いて、前記第2の画像フレームに基づく補間フレームを生成する補間フレーム生成部とを備える、画像伝送システムである。
【0036】
これにより、画像伝送システムは、第2の画像フレームと第1の画像フレームとの間を補間する補間フレームを第2の画像フレームが持続している間のサイクル数に従う個数分だけ生成するため、フレームレートが変化する場合にも所望のフレームレートとなるように画像フレームを補間することができるようになる。
【0037】
さらに、別の観点に従う本発明は、送信装置から送信される画像フレームを記憶する複数の記憶領域を有する記憶装置を備える受信装置における画像フレームの生成方法であって、送信装置から所定のクロックに従って連続的に送信される複数の画像フレームをそれぞれ記憶することと、送信される一の画像フレームの内容に対して後続の画像フレームの内容が同じであるか否かを判断することと、前記一の画像フレームの内容に対して前記後続の画像フレームの内容が同じであると判断される場合に、持続している間の前記所定のクロックのサイクル数に基づいてカウント値を更新することと、前記一の画像フレームの内容に対して前記後続の画像フレームの内容が同じでないと判断される場合に、前記カウンタ部から与えられる前記カウント値に示される個数分の所定の係数を生成することと、前記記憶装置の前記複数の記憶領域から、第1の画像フレーム、及び該第1の画像フレームよりも以前に記憶された第2の画像フレームを前記所定のクロックに従って読み出すように制御することと、前記第1の画像フレームと前記第2の画像フレームとの間の差分を算出することと、前記動き推定部により算出された前記差分と前記所定の係数とを用いて、前記第2の画像フレームに基づく補間フレームを生成することとを含む、画像フレームの生成方法である。
【0038】
これにより、受信装置は、第2の画像フレームと第1の画像フレームとの間を補間する補間フレームを第2の画像フレームが持続している間のサイクル数に従う個数分だけ生成するため、フレームレートが変化する場合にも所望のフレームレートとなるように画像フレームを補間することができるようになる。
【発明の効果】
【0039】
本発明によれば、画像伝送システムは、何らかの原因によりフレームレートが意図せず変化する場合にも、所望のフレームレートとなるように画像フレームを補間することができるようになる。
【0040】
本発明の他の技術的特徴、目的、及び作用効果乃至は利点は、添付した図面を参照して説明される以下の実施形態により明らかにされる。
【発明を実施するための形態】
【0042】
次に、本発明の実施の形態について、図面を参照しつつ説明する。
【0043】
図1は、本発明の一実施形態に係る画像伝送システムの概略構成を示す図である。同図に示すように、本実施形態に係る画像伝送システム1は、送信装置2と受信装置3とを含んで構成される。
【0044】
送信装置2は、例えばeDP(embedded Display Port)のソース機器であるが、これに限られず、所定の形式で所定のクロック(図示せず)に基づいて、画像データを伝送するソース機器であれば良い。本実施形態では、送信装置2は、例えば、一連の複数の画像フレームを構成する入力信号IDATAを受信装置3に送信する。なお、一般に、入力信号IDATAは、送信装置2の処理能力や伝送路の容量等に起因して、フレームレートが意図せずに変化する場合があり、本実施形態の受信装置3は、以下に詳述するように、かかる場合であっても、所望のフレームレートに修正する機能を有している。
【0045】
受信装置3は、例えばeDPのシンク機器であるが、これに限られず、所定の形式で画像データを受信するシンク機器であれば良い。本実施形態に係る受信装置3は、所定のクロックに基づいて送信装置2から送信される入力信号IDATAが示す複数の画像フレームに対して、変化するフレームレートに対応するように画像フレームを補間し、該画像フレームを補間した信号に従う画像を出力する。受信装置3は、例えば、色・輝度変換部10と、フレームレート変換部20と、オーバードライブ処理部30と、出力部40とを含んで構成される。
【0046】
色・輝度変換部10は、送信装置2から送信される入力信号IDATAに対して、色成分及び輝度成分の変換を行う。具体的には、色・輝度変換部10は、送信装置2から送信される入力信号IDATAに対して、該信号が示す各色成分及び輝度成分を所定の変換率で変換し、該変換した信号をデータ信号DATAとしてフレームレート変換部20に出力する。
【0047】
フレームレート変換部20は、色・輝度変換部10から出力されるデータ信号DATAが示す複数の画像フレームのうち、異なる画像を示す画像フレームの間にある各画像フレームを該異なる画像が示す画像フレームの間となる画像フレームに置き換えることによって、該異なる画像を示す画像フレームの間を補間し、該補間した(すなわち、フレームレートが変換された)画像フレームに基づく信号を出力信号ODATAとしてオーバードライブ処理部30に出力する。フレームレート変換部20は、例えば、色・輝度変換部10から出力されるデータ信号DATAが示す複数の画像フレームを一時的に記憶するための記憶装置21を含んで構成されるが、その詳細については後述する。
【0048】
オーバードライブ処理部30は、フレームレート変換部20から出力される出力信号ODATAに対してオーバードライブ処理を行う。具体的には、オーバードライブ処理部30は、出力信号ODATAの状態が遷移する際に、通常動作で用いられる電圧よりも高い(又は低い)電圧を用いることによって、出力信号ODATAの状態を高速に遷移させる。オーバードライブ処理部30は、該オーバードライブ処理を行った信号を出力部40に出力する。
【0049】
出力部40は、例えば液晶ディスプレイやプラズマディスプレイパネル、有機エレクトロルミネッセンス表示パネルであるが、これらに限られない。出力部40は、オーバードライブ処理部30から出力される信号に従う画像を表示する。
【0050】
以上のように構成される画像伝送システム1は、受信装置3のフレームレート変換部20によって、送信装置2から送信される入力信号IDATAが示す一連の複数の画像フレームを、変化するフレームレートに対応するように所定の画像フレームで補間するため、フレームレートが時間ごとに変化する場合にもフレームレートが一定である画像を出力することができる。
【0051】
図2は、本発明の一実施形態に係るフレームレート変換部の構成の一例を示す図である。同図に示すように、フレームレート変換部20は、例えば、記憶装置21(1)及び21(2)と、符号化部22と、ハッシュ管理部23と、ライト制御部24と、判断部251と、カウンタ部252と、係数生成部26と、復号化部27(1)及び27(2)と、動き推定部28と、遅延部D(1)及びD(2)と、補間フレーム生成部29とを含んで構成される。なお、フレームレート変換部20の各構成要素は、所定のクロック(図示せず)に基づいて動作するものとする。
【0052】
符号化部22は、色・輝度変換部10から出力されるデータ信号DATAに対して符号化を行う。符号化部22は、該符号化を行ったデータ信号DATAを記憶装置21(1)と、ハッシュ管理部23とに出力する。
【0053】
記憶装置21(1)は、例えばSRAMやDRAM、フラッシュメモリ等の記憶素子である。記憶装置21(1)は、入力される信号に基づいて、データの記憶及び読み出しの動作を実行する。具体的には、記憶装置21(1)は、記憶領域211(1)乃至211(4)を含んで構成される。記憶装置21(1)は、ライト制御部24から出力されるライト選択信号WSELに従う記憶領域211に、符号化部22から出力されるデータ信号DATAが示す画像フレームを記憶する。また、記憶装置21(1)は、各記憶領域211について、画像フレームが記憶された順番(すなわち、記憶する画像フレームの古さ)を示す経時情報信号AGE[4:1]を生成し、該信号をライト制御部24に出力する。また、記憶装置21(1)は、ライト選択信号WSELが示す記憶領域を除いて、2番目に新しい画像フレームを記憶する記憶領域211と、最も新しい画像フレームを記憶する記憶領域211とに対して読出しを実行し、該読出しの結果をそれぞれリードデータ信号RD1及びRD2として、復号化部27(1)及び27(2)にそれぞれ出力する。なお、本例では記憶装置21(1)は、記憶領域211を4つ含むが、これに限られるものではなく、記憶領域211を5つ以上含んでも良い。
【0054】
ハッシュ管理部23は、符号化部22から出力されるデータ信号DATAが示す画像フレームに基づき、所定のハッシュ関数に従ってハッシュ値を生成し、該生成したハッシュ値をカレントハッシュ信号CHASHとして判断部251に出力するとともに、該生成したハッシュをライト制御部24から出力されるライト選択信号WSELに従って、レジスタ231(1)乃至231(4)のいずれかに記憶する。また、ハッシュ管理部23は、レジスタ231(1)乃至231(4)に記憶したハッシュをハッシュ信号HASH[4:1]としてライト制御部24に出力する。ハッシュ管理部23が含む各レジスタ231は、それぞれ記憶装置21(1)の記憶領域211に対応付けられる。ハッシュ管理部23は、例えば、2つの画像フレームからそれぞれ2つのハッシュ値を生成する場合、画像フレームの近似の度合いが高い程2つのハッシュ値の差が小さくなるように、ハッシュ値を生成するハッシュ関数を用いても良い。この場合、ハッシュ値の差が所定の値以下であれば、2つの画像フレームは同一であると判断される。また、ハッシュ管理部23は、画像フレームに対して下位ビットを切り捨てるなどのダウンサンプリングを施した後に、該ダウンサンプリングを施した画像フレームに対応するハッシュ値を生成しても良い。
【0055】
ライト制御部24は、記憶装置21(1)のいずれの記憶領域211にデータ信号DATAが示す画像フレームを記憶するか、及びハッシュ管理部23のいずれのレジスタ231にハッシュ値を記憶するかを決定する。具体的には、ライト制御部24は、記憶装置21(1)から各記憶領域211が記憶する画像フレームの古さを示す経時情報信号AGE[4:1]を受信し、ハッシュ管理部23から各レジスタ231が記憶するハッシュ値を示すハッシュ信号HASH[4:1]を受信する。ライト制御部24は、ハッシュ信号[4:1]に従って、ハッシュ管理部23が記憶する複数のハッシュ値の中に、同じ値を示すハッシュ値が存在するか否かを判断する。ライト制御部24は、ハッシュ管理部23が同じ値を示す複数のハッシュ値を記憶すると判断する場合、経時情報信号AGE[4:1]に従って、同じ値を示す複数のハッシュ値のうち最も古いハッシュ値を記憶するレジスタ231及び該レジスタ231に対応する記憶領域211を、記憶装置21(1)及びハッシュ管理部23の記憶先に決定する。これに対して、ライト制御部24は、ハッシュ管理部23が同じ値を示す複数のハッシュ値を記憶しないと判断する場合、経時情報信号AGE[4:1]に従って、ハッシュ管理部23が記憶する全てのハッシュ値の中で最も古いハッシュ値を記憶するレジスタ231及び該レジスタ231に対応する記憶領域211を、記憶装置21(1)及びハッシュ管理部23の記憶先に決定する。ライト制御部24は該決定した記憶先をライト選択信号WSELとして、該信号を記憶装置21(1)とハッシュ管理部23とに出力する。なお、本例ではライト制御部24はハッシュ管理部23から各画像フレームのハッシュ値を受信し、該受信したハッシュ値に従う処理を行うが、これに限られるものではなく、ライト制御部24は記憶装置21(1)から記憶領域211に記憶されている画像フレームを受信し、該画像フレームに従う処理を行っても良い。
【0056】
判断部251は、ハッシュ管理部23から出力されるカレントハッシュ信号CHASHが示すハッシュ値が同じ値を持続しているかどうかを判断し、該判断の結果をカウンタ部252に出力する。なお、判断部251は、該ハッシュ値が同じ値を持続しているかどうかの判断について、受信したハッシュ値の前回のハッシュ値に対する差が所定の範囲内である場合、受信したハッシュ値が同じ値を持続しているものと判断する。なお、本例では判断部251は、ハッシュ管理部23から画像フレームのハッシュ値を受信し、該受信したハッシュ値に従う処理を行うが、これに限られるものではなく、判断部251は、記憶装置21(1)から記憶領域211に記憶されている画像フレームを受信し、該画像フレームに従って処理を行っても良い。
【0057】
カウンタ部252は、判断部251から出力される判断の結果に従って、カレントハッシュ信号CHASHが示すハッシュ値が何フレーム同じ値を持続しているかをカウントし、該カウントの結果を係数生成部26に出力する。具体的には、カウンタ部252は、判断部251が、カレントハッシュ信号CHASHが前回送信された該信号が示す値と同じ値を示すと判断する場合、カウント値を更新(例えばカウントアップ)する。これに対して、カウンタ部252は、判断部251が、カレントハッシュ信号CHASHが前回送信された該信号が示す値と異なる値を示すと判断する場合、カウント値を例えば1に初期化する。カウンタ部252は、該カウントの結果をカウント信号COUNTとして係数生成部26に出力する。カウンタ部252は、カウント値が所定の閾値(例えば上限値)に達した場合、カウントを停止する。
【0058】
係数生成部26は、カウンタ部252から出力されるカウント信号COUNTに従って、新たな画像フレームを生成するための所定の係数を決定し、該決定した係数を係数信号COFとして補間フレーム生成部29に出力する。具体的には、係数生成部26は、カウンタ部252から出力されるカウント信号COUNTが示す値が初期化されたか否かを判断し、カウント信号COUNTが示す値が初期化されていないと判断する場合、カウント信号COUNTの値を記憶する。これに対して、係数生成部26は、カウント信号COUNTが示す値が初期化されたと判断する場合、記憶している値nに従うn個数の係数を生成する。この時生成されるn個の係数は、i/n(ただしiは1以上n未満の整数)である。係数生成部26は、生成したn個の係数のそれぞれを各サイクルで係数信号COFとして補間フレーム生成部29に出力する。
【0059】
復号化部27は、符号化された信号に対して復号化を行う。具体的には、復号化部27(1)は、記憶装置21(1)から出力されるリードデータ信号RD1に対して復号化を行い、該復号化を行った信号を動き推定信号ME1として動き推定部28と遅延部D(1)とに出力する。また、復号化部27(2)は、記憶装置21(1)から出力されるリードデータ信号RD2に対して復号化を行い、該復号化を行った信号を動き推定信号ME2として動き推定部28と遅延部D(2)とに出力する。
【0060】
遅延部Dは、入力される信号に対して所定の遅延を与え、該遅延を与えた信号を出力する。具体的には、遅延部D(1)は、復号化部27(1)から出力される動き推定信号ME1に対して所定の遅延を与え、リードデータ信号RD3として補間フレーム生成部29に出力する。また、遅延部D(2)は、復号化部27(2)から出力される動き推定信号ME2に対して所定の遅延を与え、リードデータ信号RD4として補間フレーム生成部29に出力する。
【0061】
動き推定部28は、復号化部27(1)及び27(2)のそれぞれから出力される動き推定信号ME1及びME2が示す2つの画像フレームに従って、該画像フレーム同士の差分を計算し、該差分を動きベクトル信号MV1として記憶装置21(2)に出力する。具体的には、動き推定部28は、復号化部27(2)から出力される動き推定信号ME2が示す画像フレームに対する、復号化部27(1)から出力される動き推定信号ME1が示す画像フレームの差分を計算する。動き推定部28は、該差分の情報を動きベクトル信号MV1として記憶装置21(2)に出力する。
【0062】
記憶装置21(2)は、典型的には記憶装置21(1)と一体として構成される記憶素子であり、記憶装置21(1)と同様に、入力される信号に基づいて、データの記憶及び読み出しの動作を実行する。具体的には、記憶装置21(2)は、動き推定部28から出力される動きベクトル信号MV1を記憶し、該記憶した動きベクトル信号MV1を動きベクトル信号MV2として補間フレーム生成部29に出力する。なお、記憶装置21(2)は、記憶装置21(1)と別体として構成されても良い。
【0063】
補間フレーム生成部29は、記憶装置21(2)から出力される動きベクトル信号MV2と、係数生成部26から出力される係数信号COFとに従って、遅延部D(1)及びD(2)から出力されるリードデータ信号RD3及びRD4に所定の処理を行うことによって補間フレームを生成し、該生成した補間フレームを出力信号ODATAとしてオーバードライブ処理部30に出力する。具体的には、補間フレーム生成部29は、記憶装置21(2)から出力される動きベクトル信号MV2が示す動きベクトルに係数生成定部26から出力される係数信号COFが示す値を乗じ、さらに、該乗算の結果を遅延部D(1)から出力されるリードデータ信号RD3が示す画像フレームに加算することによって補間フレームを生成し、該補間フレームを出力信号ODATAとして出力する。補間フレーム生成部29は、係数生成部26から出力される係数信号COFの値が1である場合、遅延部D(2)から出力されるリードデータ信号RD4をそのまま出力信号ODATAとして出力しても良い。
【0064】
以上のように構成されるフレームレート変換部20は、色・輝度変換部10から出力されるデータ信号DATAのハッシュ値を示すカレントハッシュ信号CHASHが同じ値を維持している間カウンタ部252によってカウント値を更新する。フレームレート変換部20は、該カウント値に応じた個数の係数を係数生成部26によって生成する。また、フレームレート変換部20は、記憶装置21(1)から読み出したリードデータ信号RD1及びRD2が示す画像フレームの差分を動き推定部28によって計算し、該差分を示す動きベクトルに係数生成部26で計算した係数を乗算する。フレームレート変換部20は、係数を乗算した動きベクトルを記憶装置21(1)から読み出したリードデータ信号RD1を遅延させたリードデータ信号RD3が示す画像フレームに加算し、該加算の結果を出力信号ODATAとする。
【0065】
これにより、フレームレート変換部20は、リードデータ信号RD3が示す画像フレームが出力信号ODATAとして出力されてから、リードデータ信号RD4が示す画像フレームが出力信号ODATAとして出力されるまでの間、データ信号DATAが同じ画像フレームを示すサイクル数に従う数の補間のための画像フレームを出力信号ODATAとして出力するため、フレームレートが変化する場合にもフレームレートが一定となる画像フレームを示す出力信号ODATAを出力することができる。
【0066】
図3は、本発明の一実施形態に係るハッシュ管理部の構成の一例を示す図である。同図に示すように、本実施形態に係るハッシュ管理部23は、レジスタ231(1)乃至231(4)と、ハッシュ生成部232と、出力制御回路233(1)乃至233(4)とを含んで構成される。
【0067】
ハッシュ生成部232は、符号化部22から出力されるデータ信号DATAが示す画像フレームに従って、該画像フレームに対応するハッシュ値を生成する。ハッシュ生成部232は、生成したハッシュ値をカレントハッシュ信号CHASHとして、該信号を判断部251と、出力制御回路233(1)乃至233(4)に出力する。
【0068】
出力制御回路233は、例えばスリーステートバッファであり、ライト制御部24から出力されるライト選択信号WSELに従って、ハッシュ生成部232から出力されるカレントハッシュ信号CHASHを出力する。具体的には、出力制御回路233(1)乃至233(4)は、ライト制御部24から出力されるライト選択信号WSELが示す値が自身に対応する値である場合、ハッシュ生成部232から出力されるカレントハッシュ信号CHASHを対応するレジスタ231(1)乃至231(4)に出力する。
【0069】
レジスタ231は、対応する出力制御回路233から出力される信号が示す値を記憶し、該記憶した値をハッシュ信号HASH[4:1]としてライト制御部24に出力する。レジスタ231(1)乃至231(4)は、上述したように、記憶装置21(1)の記憶領域211にそれぞれ対応付けられる。
【0070】
図4は、本発明の一実施形態に係るライト制御部の構成の一例を示す図である。同図に示すように、本実施形態に係るライト制御部24は、ハッシュ比較部241と、比較器242(1)乃至242(6)と、信号選択部243と、最大値選択部244と、選択回路245とを含んで構成される。
【0071】
ハッシュ比較部241は、ハッシュ管理部23から出力されるハッシュ信号HASH[4:1]の各信号の値が互いに一致するかどうか比較し、該比較の結果を比較信号COMPa乃至COMPfとして該信号のそれぞれを、比較器242(1)乃至242(6)に出力する。具体的には、ハッシュ比較部241は、ハッシュ信号HASH[1]とHASH[2]との比較結果を比較信号COMPaとして比較器242(1)に出力し、ハッシュ信号HASH[1]とハッシュ信号HASH[3]との比較結果を比較信号COMPbとして比較器242(2)に出力し、ハッシュ信号HASH[1]とハッシュ信号HASH[4]との比較結果を比較信号COMPcとして比較器242(3)に出力し、ハッシュ信号HASH[2]とハッシュ信号HASH[3]との比較結果を比較信号COMPdとして比較器242(4)に出力し、ハッシュ信号HASH[2]とハッシュ信号HASH[4]との比較結果を比較信号COMPeとして比較器242(5)に出力し、ハッシュ信号HASH[3]とハッシュ信号HASH[4]との比較結果を比較信号COMPfとして比較器242(6)に出力する。また、ハッシュ比較部241は、ハッシュ信号HASH[4:1]のうちいずれか1つが出力されていない場合、出力されていないハッシュ信号HASH[4:1]のいずれであるかを示す空白信号NULLを生成し、該信号を信号選択部243に出力する。また、ハッシュ比較部241は、該比較の結果、いずれの信号の値も互いに一致しておらず、かつ、空白信号NULLを出力しない場合、選択信号SELの状態を例えば“0”として選択回路245に出力する。これに対して、ハッシュ比較部241は、該比較の結果、空白信号NULLを出力しているか、又は該比較の結果、いずれかの信号の値が互いに一致する場合、選択信号SELの状態を例えば“1”として選択回路245に出力する。
【0072】
比較器242は、ハッシュ比較部241から出力される比較信号COMPが“一致”を示す場合、記憶装置21(1)から出力される経時情報信号AGE[4:1]のうち2つの信号が示す値について比較し、該比較の結果に基づいて、値が大きい方の信号といずれの信号を選択したかに関する情報とを結果信号RESとして出力する。一方、比較器242は、比較信号COMPが“一致”を示さない場合、その出力を停止する。
【0073】
具体的には、比較器242(1)は、比較信号COMPaに従って、経時情報信号AGE[1]の値と経時情報信号AGE[2]の値とを比較し、該比較の結果といずれの信号を選択したかに関する情報とを結果信号RESaとして信号選択部243に出力する。また、比較器242(2)は、比較信号COMPbに従って、経時情報信号AGE[1]の値と経時情報信号AGE[3]の値とを比較し、該比較の結果といずれの信号を選択したかに関する情報とを結果信号RESbとして信号選択部243に出力する。同様に、比較器242(3)乃至242(6)は、比較信号COMPc乃至COMPfに従って、経時情報信号AGE[1]と経時情報信号AGE[4]と、経時情報信号AGE[2]と経時情報信号AGE[3]と、経時情報信号AGE[2]と経時情報信号AGE[4]と、経時情報信号AGE[3]と経時情報信号AGE[4]とをそれぞれ比較し、該比較の結果といずれの信号を選択したかに関する情報とを結果信号RESc乃至RESfとして信号選択部243に出力する。
【0074】
信号選択部243は、ハッシュ比較部241から出力される空白信号NULLを受信する場合、該信号が示す出力されていないハッシュ信号HASH[4:1]のうち、最もインデックス(すなわち、レジスタ231(1)乃至(4)の(1)乃至(4)を示す数値)の値が小さい信号のインデックスの値をライトインデックス信号WIDXaとして選択回路245に出力する。また、信号選択部243は、空白信号NULLを受信しない場合、比較器242(1)乃至242(6)から出力される結果信号RESa乃至RESfが示すいずれの信号を選択したかに関する情報をライトインデックス信号WIDXaとして選択回路245に出力する。なお、信号選択部243は、複数の結果信号RESa乃至RESfを受信する場合、受信した結果信号RESのうち、インデックスの小さい信号を、ライトインデックス信号WIDXaを生成する信号として選択する。
【0075】
最大値選択部244は、記憶装置21(1)から出力される経時情報信号AGE[4:1]のうち、最も値の大きい信号のインデックス(すなわち、記憶領域211(1)乃至(4)の(1)乃至(4)を示す数値)をライトインデックス信号WIDXbとして選択回路245に出力する。
【0076】
選択回路245は、例えばマルチプレクサであるが、これに限られない。選択回路245は、ハッシュ比較部241から出力される選択信号SELに従って、信号選択部243から出力されるライトインデックス信号WIDXa又は最大値選択部244から出力されるライトインデックス信号WIDXbのいずれかをライト選択信号WSELとして出力する。具体的には、選択回路245は、ハッシュ比較部241から出力される選択信号SELの状態が例えば“0”である場合、最大値選択部244から出力されるライトインデックス信号WIDXbを選択し、選択信号SELの状態が例えば“1”の場合信号選択部243から出力されるライトインデックス信号WIDXaを選択し、該選択の結果をライト選択信号WSELとして出力する。
【0077】
以上のように構成されるライト制御部24は、ハッシュ信号HASH[4:1]のうちいずれか1つでも出力されていない場合は、出力されていないハッシュ信号HASHのうち最もインデックスの値が小さい信号のインデックスの値をライト選択信号WSELとして選択する。また、ライト制御部24は、ハッシュ信号HASH[4:1]が全て出力されており、かつ、該信号の値同士がいずれも一致しない場合、経時情報信号AGEのうち、最も値の大きな信号のインデックスの値をライト選択信号WSELとして選択する。また、ライト制御部24は、ハッシュ信号HASH[4:1]が全て出力されており、かつ、いずれかの信号同士の値が一致する場合、値が一致する信号のうち対応する経時情報信号AGEの値が大きい信号のインデックスの値をライト選択信号WSELとして選択する。
【0078】
図5は、本発明の一実施形態に係る記憶装置の構成の一例を示す図である。同図に示すように本実施形態に係る記憶装置21(1)は、例えば、記憶領域211(1)乃至211(4)と、出力制御回路212(1)乃至212(4)と、カウンタ213(1)乃至213(4)と、リード制御部214とを含んで構成される。
【0079】
出力制御回路212は、例えばスリーステートバッファであり、ライト制御部24から出力されるライト選択信号WSELに従って、符号化部22から出力されるデータ信号DATAを出力する。具体的には、出力制御回路212(1)乃至212(4)は、ライト制御部24から出力されるライト選択信号WSELが示す値が自身に対応する値である場合、符号化部22から出力されるデータ信号DATAを対応する記憶領域211(1)乃至211(4)に出力する。
【0080】
記憶領域211は、対応する出力制御回路212から出力されるデータ信号DATAが示す画像フレームを記憶し、該記憶した画像フレームをリード信号READとして対応するカウンタ213と、リード制御部214とに出力する。
【0081】
カウンタ213は、対応する記憶領域211が記憶する画像フレームが更新されるまでカウント値を更新し、該画像フレームが更新された場合にカウント値を初期化する。カウンタ213は該カウント値を経時情報信号AGEとしてリード制御部214と、ライト制御部24とに出力する。具体的には、カウンタ213(1)乃至213(4)は、対応する記憶領域211(1)乃至211(4)から出力されるリード信号READ1乃至READ4に対応するリード信号READ1乃至READ4に変化がない場合、カウント値を更新(例えばカウントアップ)し、対応する該信号に変化がある場合、カウント値を初期化する。
【0082】
リード制御部214は、カウンタ213(1)乃至213(4)から出力される経時情報信号AGE[4:1]とライト選択信号WSELとに従って、記憶領域211(1)乃至211(4)から出力されるリード信号READ1乃至READ4のうち2つの信号を選択し、該選択の結果をそれぞれリードデータ信号RD1及びRD2として復号化部27(1)及び27(2)に出力する。
【0083】
具体的には、リード制御部214は、ライト選択信号WSELで選択されている記憶領域211を除き、2番目に新しい画像フレームを記憶する記憶領域211と、最も新しい画像フレームを記憶する記憶領域211とを選択する。リード制御部214は該選択した2つの記憶領域211から出力されるリード信号READをリードデータ信号RD1及びRD2としてそれぞれ復号化部27(1)及び27(2)に出力する。なお、リード制御部214は、記憶領域211(1)乃至211(4)から出力されるリード信号READ1乃至READ4のうち一つでも、画像フレームが記憶されていないことを示す場合、リードデータ信号RD1及びRD2の出力を停止する。
【0084】
図6は、本発明の一実施形態に係るリード制御部の構成の一例を示す図である。同図に示すように、本実施形態に係るリード制御部214は、信号選択部2141と、選択回路2142(1)及び2142(2)とを含んで構成される。
【0085】
信号選択部2141は、経時情報信号AGE[4:1]と、ライト選択信号WSELとを受信し、ライト選択信号WSELが示す値に対応するインデックスを除き、該経時情報信号AGE[4:1]のうち2番目に小さい値を示す信号のインデックスの値をリード選択信号RSEL1として、選択回路2142(1)に出力する。また、信号選択部2141は、ライト選択信号WSELが示す値に対応するインデックスを除き、該経時情報信号AGE[4:1]のうち最も小さい値を示す信号のインデックスの値をリード選択信号RSEL2として選択回路2142(2)に出力する。
【0086】
選択回路2142は、例えばマルチプレクサであるが、これに限られない。選択回路2142は、選択端子SLに入力される信号に従って、入力端子A1乃至A4に入力される信号のうちいずれかを選択し、該選択の結果を出力端子Yから出力する。具体的には、選択回路2142(1)は、信号選択部2141から出力されるリード選択信号RSEL1が示す値に対応するリード信号READ1乃至READ4のうちいずれか1つの信号を選択し、該選択の結果をリードデータ信号RD1として復号化部27(1)に出力する。また、選択回路2142(2)は、信号選択部2141から出力されるリード選択信号RSEL2が示す値に対応するリード信号READ1乃至READ4のうちいずれか1つの信号を選択し、該選択の結果をリードデータ信号RD2として復号化部27(2)に出力する。
【0087】
図7は、本発明の一実施形態に係るフレームレート変換部の動作を示すフローチャートである。同図に示すように、フレームレート変換部20は、まず、色・輝度処理部10から受信したデータ信号DATAに基づき、符号化を行った上で、所定のハッシュ関数に従って、ハッシュ値を生成する(S701)。
【0088】
次に、フレームレート変換部20は、未だハッシュ値を記憶していないレジスタ231があるか否かを判断する(S702)。フレームレート変換部20は、未だハッシュ値を記憶していないレジスタ231があると判断する場合(S702のYes)、ハッシュ値を記憶していないレジスタ231のうちインデックスの値の小さいレジスタ231を書き込みレジスタ231として選択し(S703)、ステップS707の処理に進む。
【0089】
これに対して、フレームレート変換部20は、未だハッシュ値を記憶していないレジスタ231が存在しないと判断する場合(S702のNo)、これまでに記憶したハッシュ値の中に同じ値のハッシュ値がレジスタ231に存在するか否かを判断する(S704)。フレームレート変換部20は、これまでに記憶したハッシュ値の中に同じ値のハッシュ値がレジスタ231に存在すると判断する場合(S704のYes)、該ハッシュ値を記憶するレジスタ231の中からより、経時情報信号AGEに従って、古い方のハッシュ値を記憶するレジスタ231を選択し、該選択したレジスタ231に生成したハッシュ値を書き込み(S705)、ステップS707の処理に進む。また、フレームレート変換部20は、これまでに記憶したハッシュ値の中に同じ値のハッシュ値がレジスタ231に存在しないと判断する場合(S704のNo)、経時情報信号AGEに従って、最も古いハッシュ値を記憶するレジスタ231に生成したハッシュ値を書き込み(S706)、ステップS707の処理に進む。
【0090】
フレームレート変換部20は、該選択したレジスタ231に生成したハッシュ値を書き込むとともに、該レジスタ231に対応する記憶領域211に画像フレームを書き込む(S707)。次に、フレームレート変換部20は、判断部251で、生成したハッシュ値が前回生成したハッシュ値から変化しているか否かを判断する(S708)。フレームレート変換部20は、判断部251で、生成したハッシュ値が変化したと判断する場合(S708のYes)、カウンタ部252で、同じ画像フレームを示し続けるサイクル数をカウント値に決定するとともに、カウンタ部252のカウント値を初期化する(S710)。フレームレート変換部20は、該サイクル数に従って、該サイクル数に従う個数の係数を生成し、該生成した複数の係数を係数信号COFとして(S711)、ステップS712の処理に進む。これに対して、フレームレート変換部20は、判断部251で、生成したハッシュ値が変化していないと判断する場合(S708のNo)、カウンタ部252のカウント値を更新(例えばカウントアップ)し(S709)、ステップS712の処理に進む。
【0091】
フレームレート変換部20は、記憶領域211の中で、ライト選択信号WSELで選択されている記憶領域211を除き、2番目及び一番新しい画像フレームを記憶する記憶領域211から画像フレームを読み出す(S712)。フレームレート変換部20は、記憶領域211から読み出した2つの画像フレームに従って、該2つの画像フレームの間の差分を算出し、該差分を動きベクトル信号MV1とする。フレームレート変換部20は、動きベクトル信号MV1を一旦記憶装置21(2)に記憶し、所定のタイミングで記憶装置21(2)から動きベクトル信号MV2として読み出す(S713)。
【0092】
フレームレート変換部20は、生成した動きベクトル信号MV2に係数信号COFが示す複数の係数を乗算し、該乗算の結果を記憶領域211から出力されたライト選択信号WSELによって選択されている記憶領域211に記憶される画像フレームを除き2番目に新しい画像フレームを示すリードデータ信号RD3に加算し、該加算の結果を出力信号ODATAとして順次出力する(S714)。
【0093】
上述したように、フレームレート変換部20は、色・輝度変換部10から出力されるデータ信号DATAのハッシュ値が同じ値を維持している間カウンタ部252によってカウント値を更新する。フレームレート変換部20は、該カウント値に応じた個数の係数を係数生成部26によって生成する。また、フレームレート変換部20は、記憶装置21(1)から読み出したライト選択信号WSELによって選択されている記憶領域211に記憶される画像フレームを除き2番目及び一番新しい画像フレームの差分を動き推定部28によって計算し、該差分を示す動きベクトルに係数生成部26で計算した係数を乗算する。フレームレート変換部20は、係数を乗算した動きベクトルをライト選択信号WSELによって選択されている記憶領域211に記憶される画像フレームを除き2番目に新しい画像フレームを示すリードデータ信号RD3が示す画像フレームに加算し、該加算の結果を出力信号ODATAとして順次出力する。
【0094】
これにより、フレームレート変換部20は、ライト選択信号WSELによって選択されている記憶領域211に記憶される画像フレームを除き2番目に新しい画像フレームが出力信号ODATAとして出力されてから、最も新しい画像フレームが出力信号ODATAとして出力されるまでの間、データ信号DATAが同じ画像フレームを示すサイクル数に従う数の補間のための画像フレームを出力信号ODATAとして出力するため、フレームレートが変化する場合にもフレームレートが一定となる画像フレームを示す出力信号ODATAを出力することができる。
【0095】
図8は、本発明の一実施形態に係るフレームレート変換部における記憶装置の各記憶領域に対する画像フレームの書き込み及び読み出し動作を示す概念図である。同図において、フレームレート変換部20が記憶装置21(1)に対して画像フレームの書き込み及び読み出しを行う時刻を時刻t801乃至t804とする。なお、同図において時刻t801で記憶領域211(4)、211(3)、211(2)及び211(1)の順に古い画像フレームを記憶するものとする。
【0096】
まず、フレームレート変換部20は、画像フレームD3を受信し、ライト選択信号WSELに従って記憶領域211の中で対応する経時情報信号AGEの値が大きい記憶領域211(4)に受信したデータ信号DATAが示す画像フレームD3を書き込む。また、フレームレート変換部20は、記憶領域211の中で、ライト選択信号WSELによって選択されている記憶領域211を除き、2番目及び一番新しい画像フレームを記憶する記憶領域211(1)及び211(2)から画像フレームD3及び画像フレームD2をそれぞれ読み出す(時刻t801)。
【0097】
次に、フレームレート変換部20は、画像フレームD3を受信し、ライト選択信号WSELに従って、同じ画像フレームD3を記憶する記憶領域211(1)及び211(4)の中で対応する経時情報信号AGEの値が大きい記憶領域211(1)に受信したデータ信号DATAが示す画像フレームD3を書き込むとともに、ライト選択信号WSELによって選択されている記憶領域211を除き、記憶領域211の中で2番目及び一番新しい画像フレームを記憶する記憶領域211(2)及び211(4)から画像フレームD2及び画像フレームD3をそれぞれ読み出す(時刻t802)。
【0098】
フレームレート変換部20は、続いて、変化した画像フレームD4を受信したため、ライト選択信号WSELに従って、同じ画像フレームD3を記憶する記憶領域211(1)及び記憶領域211(4)の中で対応する経時情報信号AGEの値が大きい記憶領域211(4)に受信したデータ信号DATAが示す画像フレームD4を書き込むとともに、記憶領域211の中で、ライト選択信号WSELによって選択されている記憶領域211を除き、2番目及び一番新しい画像フレームを記憶する記憶領域211(2)及び211(1)から画像フレームD2及び画像フレームD3をそれぞれ読み出す(時刻t803)。
【0099】
フレームレート変換部20は、続いて、変化した画像フレームD5を受信したため、ライト選択信号WSELに従って、記憶領域211の中で対応する経時情報信号AGEの値が大きい記憶領域211(3)に受信したデータ信号DATAが示す画像フレームD5を書き込むとともに、記憶領域211の中で、ライト選択信号WSELによって選択されている記憶領域211を除き、2番目及び一番新しい画像フレームを記憶する記憶領域211(1)及び211(4)から画像フレームD3及び画像フレームD4をそれぞれ読み出す(時刻t804)。
【0100】
図9は、本発明の一実施形態に係るフレームレート変換部における記憶装置の各記憶領域に対する画像フレームの書き込み及び読み出しの動作を示す概念図の他の例である。同図において、フレームレート変換部20が記憶装置21(1)に対して画像フレームの記憶及び読み出しを行う時刻を時刻t901乃至t904とする。なお、同図において時刻t901で記憶領域211(4)、211(3)、211(2)及び211(1)の順に古い画像フレームを記憶するものとする。
【0101】
フレームレート変換部20は、画像データD3を受信し、ライト選択信号WSELに従って、記憶領域211の中で対応する経時情報信号AGEの値が最も大きい記憶領域211(4)に受信したデータ信号DATAが示す画像フレームD3を書き込むとともに、記憶領域211の中で、ライト選択信号WSELによって選択されている記憶領域211を除き、2番目及び一番新しい画像フレームを記憶する記憶領域211(2)及び211(1)から画像フレームD2及び画像フレームD3をそれぞれ読み出す(時刻t901)。
【0102】
フレームレート変換部20は、続いて、変化した画像フレームD4を受信したため、ライト選択信号WSELに従って、同じ画像フレームD3を記憶する記憶領域211(1)及び記憶領域211(4)の中で対応する経時情報信号AGEの値が最も大きい記憶領域211(1)に受信したデータ信号DATAが示す画像フレームD4を書き込むとともに、記憶領域211の中で、ライト選択信号WSELによって選択されている記憶領域211を除き、2番目及び一番新しい画像フレームを記憶する記憶領域211(2)及び211(4)から画像フレームD2及び画像フレームD3をそれぞれ読み出す(時刻t902)。
【0103】
フレームレート変換部20は、同じ画像フレームD4を受信したため、ライト選択信号WSELに従って、対応する経時情報信号AGEの値が最も大きい記憶領域211(3)に受信したデータ信号DATAが示す画像フレームD4を書き込むとともに、記憶領域211の中で、ライト選択信号WSELによって選択している記憶領域211を除き、2番目及び一番新しい画像フレームを記憶する記憶領域211(4)及び211(1)から画像フレームD3及び画像フレームD2をそれぞれ読み出す(時刻t903)。
【0104】
フレームレート変換部20は、変化した画像フレームD5を受信したため、ライト選択信号WSELに従って、同じ画像フレームD4を記憶する記憶領域211(1)及び記憶領域211(3)の中で対応する経時情報信号AGEの値が最も大きい記憶領域211(1)に受信したデータ信号DATAが示す画像フレームD5を書き込むとともに、記憶領域211の中で、ライト選択信号WSELによって選択されている記憶領域211を除き、2番目及び一番新しい画像フレームを記憶する記憶領域211(4)及び211(3)から画像フレームD3及び画像フレームD4をそれぞれ読み出す(時刻t904)。
【0105】
図10は、本発明の一実施形態に係るフレームレート変換部における各種の信号のタイミングチャートである。同図において、フレームレート変換部20による各種の処理の基準となるサイクルを時刻t1001乃至t1028とする。また、カウンタ部252のカウントの上限値は5であるものとする。
【0106】
まず、記憶装置21(1)の記憶領域211に対する画像フレームの書き込み及び読み出しについて説明する。時刻t1001で、フレームレート変換部20は、何も画像フレームを記憶していない記憶領域211(1)乃至211(4)の中で最もインデックスの値が小さい記憶領域211(1)に時刻t1001でラッチしたデータ信号DATAが示す画像フレームD0を書き込む。この場合、記憶領域211は、記憶領域211の全ての領域の画像フレームが記憶されていないため、画像フレームの読み出しは行わない。
【0107】
時刻t1002で、フレームレート変換部20は、同様に、何も画像フレームを記憶していない記憶領域211(2)乃至211(4)の中で最もインデックスの値が小さい記憶領域211(2)に、先に時刻t1002でラッチしたデータ信号DATAが示す画像フレームD0を書き込む。この場合、記憶領域211は、記憶領域211の全ての領域の画像フレームが記憶されていないため、画像フレームの読み出しは行わない。
【0108】
時刻t1003で、フレームレート変換部20は、同様に、何も画像フレームを記憶していない記憶領域211(3)乃至211(4)の中で最もインデックスの値が小さい記憶領域211(3)に、先に時刻t1003でラッチしたデータ信号DATAが示す画像フレームD1を書き込む。この場合、記憶領域211は、記憶領域211の全ての領域の画像フレームが記憶されていないため、画像フレームの読み出しは行わない。
【0109】
時刻t1004で、フレームレート変換部20は、同様に、何も画像フレームを記憶していない記憶領域211(4)に、先に時刻t1004でラッチしたデータ信号DATAが示す画像フレームD1を書き込む。この場合、記憶領域211は、記憶領域211の全ての領域の画像フレームが記憶されていないため、画像フレームの読み出しは行わない。
【0110】
時刻t1005で、フレームレート変換部20は、同じ画像フレームを記憶する記憶領域211(1)及び211(2)と、211(3)及び211(4)の中で最も古い画像フレームを記憶する記憶領域211(1)に時刻t1005でラッチしたデータ信号DATAが示す画像フレームD2を書き込む。フレームレート変換部20は、ライト選択信号WSELによって選択されている記憶領域211を除き2番目及び一番新しい画像フレームを記憶する記憶領域211(3)及び211(4)から画像フレームD1及びD1を読み出して、動き推定信号ME1及びME2としてそれぞれ出力する。また、フレームレート変換部20は、動き推定信号ME1及びME2に従って動きベクトル信号MV1の状態を“11”として生成する。
【0111】
時刻t1006で、フレームレート変換部20は、同じ画像フレームを記憶する記憶領域211(4)及び211(3)の中で古い画像フレームを記憶する記憶領域211(3)に、先に時刻t1006でラッチしたデータ信号DATAが示す画像フレームD2を書き込む。フレームレート変換部20は、ライト選択信号WSELによって選択されている記憶領域211を除き2番目及び一番新しい画像フレームを記憶する記憶領域211(4)及び211(1)から画像フレームD1及びD2を読み出して、動き推定信号ME1及びME2としてそれぞれ出力する。また、フレームレート変換部20は、動き推定信号ME1及びME2に従って動きベクトル信号MV1の状態を“12”として生成する。これにより、後述する時刻で、補間フレーム生成部29によって画像フレームD1及びD2の間を補間する画像フレームが生成される。
【0112】
時刻t1007及び1008で、フレームレート変換部20は、時刻t1006と同様に、同じ画像フレームを記憶する記憶領域211(1)及び211(3)の中で古い画像フレームを記憶する記憶領域211に、交互にデータ信号DATAが示す画像フレームD2を書き込む。また、フレームレート変換部20は、ライト選択信号WSELによって選択されている記憶領域211を除き2番目及び一番新しい画像フレームを記憶する記憶領域211から画像フレームD1及びD2を読み出して、動き推定信号ME1及びME2としてそれぞれ出力する。また、フレームレート変換部20は、動き推定信号ME1及びME2に従って動きベクトル信号MV1の状態を“12”として生成する。これにより、後述する時刻で、補間フレーム生成部29によって画像フレームD1及びD2の間を補間する画像フレームが生成される。
【0113】
時刻t1009で、フレームレート変換部20は、同じ画像フレームを記憶する記憶領域211(1)及び211(3)の中でより古い画像フレームを記憶する記憶領域211(1)に、先に時刻t1009でラッチしたデータ信号DATAが示す画像フレームD3を書き込む。フレームレート変換部20は、ライト選択信号WSELによって選択されている記憶領域211を除き2番目及び一番新しい画像フレームを記憶する記憶領域211(4)及び211(3)から画像フレームD1及びD2を読み出して、動き推定信号ME1及びME2としてそれぞれ出力する。また、フレームレート変換部20は、動き推定信号ME1及びME2に従って動きベクトル信号MV1の状態を“12”として生成する。これにより、後述する時刻で、補間フレーム生成部29によって画像フレームD1及びD2の間を補間する画像フレームが生成される。
【0114】
時刻t1010で、フレームレート変換部20は、最も古い画像フレームを記憶する記憶領域211(2)に、先に時刻t1010でラッチしたデータ信号DATAが示す画像フレームD3を書き込む。フレームレート変換部20は、ライト選択信号WSELによって選択されている記憶領域211を除き2番目及び一番新しい画像フレームを記憶する記憶領域211(3)及び211(1)から画像フレームD2及びD3を読み出して、動き推定信号ME1及びME2としてそれぞれ出力する。また、フレームレート変換部20は、動き推定信号ME1及びME2に従って動きベクトル信号MV1の状態を“23”として生成する。これにより、後述する時刻で、補間フレーム生成部29によって画像フレームD2及びD3の間を補間する画像フレームが生成される。
【0115】
時刻t1011以降において、フレームレート変換部20は、時刻t1010以前と同様に、同じ画像フレームを記憶する記憶領域211が存在する場合は、該記憶領域211の中で古い画像フレームを記憶する方を選択し、同じ画像フレームを記憶する記憶領域211が存在しない場合は、最も古い画像フレームを記憶する記憶領域211を選択し、該選択した記憶領域211に、データ信号DATAが示す画像フレームを記憶する。また、記憶領域211は、ライト選択信号WSELによって選択されている記憶領域211を除き2番目及び一番新しい画像フレームを記憶する記憶領域211からそれぞれ画像フレームを読み出し、該読み出しの結果を動き推定信号ME1及びME2としてそれぞれ出力する。また、フレームレート変換部20は、動き推定信号ME1及びME2に従って動きベクトル信号MV1を生成する。
【0116】
これにより、フレームレート変換部20は、色・輝度変換部10から出力されるデータ信号DATAが示す画像フレームを1サイクル後に、動き推定信号ME2として出力する。また、フレームレート変換部20は、データ信号DATAが以前に示していた現在の画像フレームと異なる画像フレームを1サイクル後に、動き推定信号ME1として出力する。フレームレート変換部20は、動き推定信号ME1及びME2が示す画像フレーム間の差分を算出し、該算出の結果を動きベクトル信号MV1として出力する。
【0117】
次に、フレームレート変換部20におけるカウンタ部252及び係数生成部26の動作について説明する。時刻t1001でフレームレート変換部20は、ラッチしたデータ信号DATAが示す画像フレームD0に従ってカウント値を1に更新する。同様に、時刻t1002でフレームレート変換部20は、ラッチしたデータ信号DATAが示す画像フレームD0に従ってカウント値を2に更新する。
【0118】
時刻t1003で、フレームレート変換部20は、ラッチしたデータ信号DATAが示す画像フレームD1に従ってカウント値を1に初期化する。フレームレート変換部20は、係数生成部26によって、初期化前のカウント値2の個数の係数を所定の計算式(すなわちi/n,1≦i≦n)に従って生成する。
【0119】
時刻1004で、フレームレート変換部20は、ラッチしたデータ信号DATAが示す画像フレームD1に従ってカウント値を2に更新する。時刻t1005で、フレームレート変換部20は、ラッチしたデータ信号DATAが示す画像フレームD2に従ってカウント値を1に初期化する。フレームレート変換部20は、時刻1003と同様に、係数生成部26によって、初期化前のカウント値2の個数の係数を所定の計算式(すなわちi/n,1≦i≦n)に従って生成する。フレームレート変換部20は、先に時刻t1003で生成した2個の係数の中で1つ目の係数1/2を示す係数信号COFを生成し該信号を出力する。
【0120】
時刻1006で、フレームレート変換部20は、ラッチしたデータ信号DATAが示す画像フレームD2に従ってカウント値を2に更新する。フレームレート変換部20は、先に時刻1003で生成した2個の係数の中で2つ目の係数2/2を示す係数信号COFを生成し該信号を出力する。
【0121】
時刻1007で、フレームレート変換部20は、ラッチしたデータ信号DATAが示す画像フレームD2に従ってカウント値を3に更新する。フレームレート変換部20は、先に時刻1005で生成した2個の係数の中で1つ目の係数1/2を示す係数信号COFを生成し該信号を出力する。
【0122】
時刻1008で、フレームレート変換部20は、ラッチしたデータ信号DATAが示す画像フレームD2に従ってカウント値を4に更新する。フレームレート変換部20は、先に時刻1005で生成した2個の係数の中で2つ目の係数2/2を示す係数信号COFを生成し該信号を出力する。
【0123】
時刻1008以降において、フレームレート変換部20は、時刻t1007以前と同様に、ラッチしたデータ信号DATAが示す画像フレームに従ってカウント値を更新するか又は初期化する。フレームレート変換部20はカウント値を初期化する場合、初期化前のカウント値の個数の係数を所定の計算式に従って生成する。また、フレームレート変換部20は、カウントを初期化してからカウントの上限値である5より1つ少ない4サイクル後に、該初期化直後に開始したカウントに対応する係数に従う係数信号COFを生成し、該信号を出力する。これにより、フレームレート変換部20は、データ信号DATAが示す画像フレームが同じ画像フレームを示す間カウントを行い、該カウント値に応じた個数の係数を生成する。
【0124】
次に、補間フレーム生成部29の動作について説明する。時刻t1008で、フレームレート変換部20は、先に時刻t1005で生成した動き推定信号ME1及びME2が示す画像フレーム信号D1をリードデータ信号RD3及びRD4として出力する。また、フレームレート変換部20は、先に時刻t1005で生成した動きベクトル信号MV1を動きベクトル信号MV2として出力する。そして、フレームレート変換部20は、係数信号COFが示す係数2/2を動きベクトル信号MV2に乗算し、該乗算した結果をリードデータ信号RD3に加算し、該加算の結果を出力信号ODATAとして出力する。時刻t1008で、動きベクトル信号MV2の値は画像フレームD1及びD1の差分であることから0であるため、フレームレート変換部20は、画像フレームD1を示す出力信号ODATAを出力する。
【0125】
時刻t1009で、フレームレート変換部20は、先に時刻t1006で生成した動き推定信号ME1及びME2が示す画像フレーム信号D1及びD2をリードデータ信号RD3及びRD4として出力する。また、フレームレート変換部20は、先に時刻t1006で生成した動きベクトル信号MV1を動きベクトル信号MV2として出力する。そして、フレームレート変換部20は、係数信号COFが示す係数1/4を動きベクトル信号MV2に乗算し、該乗算した結果をリードデータ信号RD3に加算し、該加算の結果を出力信号ODATAとして出力する。時刻t1009で、動きベクトル信号MV2の値は画像フレームD1及びD2の差分であり、係数信号COFが示す係数が1/4であることから、フレームレート変換部20は、画像フレームD1から画像フレームD2に変化する過程における1/4の変化ポイントの画像フレームD1.25を示す出力信号ODATAを出力する。
【0126】
時刻t1010で、フレームレート変換部20は、先に時刻t1007で生成した動き推定信号ME1及びME2が示す画像フレーム信号D1及びD2をリードデータ信号RD3及びRD4として出力する。また、フレームレート変換部20は、先に時刻t1007で生成した動きベクトル信号MV1を動きベクトル信号MV2として出力する。そして、フレームレート変換部20は、係数信号COFが示す係数2/4を動きベクトル信号MV2に乗算し、該乗算した結果をリードデータ信号RD3に加算し、該加算の結果を出力信号ODATAとして出力する。時刻t1010で、動きベクトル信号MV2の値は画像フレームD1及びD2の差分であり、係数信号COFが示す係数が2/4であることから、フレームレート変換部20は、画像フレームD1及びD2の中間の画像フレームD1.5を示す出力信号ODATAを出力する。
【0127】
時刻t1011で、フレームレート変換部20は、先に時刻t1008で生成した動き推定信号ME1及びME2が示す画像フレーム信号D1及びD2をリードデータ信号RD3及びRD4として出力する。また、フレームレート変換部20は、先に時刻t1008で生成した動きベクトル信号MV1を動きベクトル信号MV2として出力する。そして、フレームレート変換部20は、係数信号COFが示す係数3/4を動きベクトル信号MV2に乗算し、該乗算した結果をリードデータ信号RD3に加算し、該加算の結果を出力信号ODATAとして出力する。時刻t1012で、動きベクトル信号MV2の値は画像フレームD1及びD2の差分であり、係数信号COFが示す係数が3/4であることから、フレームレート変換部20は、画像フレームD1から画像フレームD2に変化する過程における3/4の変化ポイントの画像フレームD1.75を示す出力信号ODATAを出力する。
【0128】
時刻t1012で、フレームレート変換部20は、先に時刻t1009で生成した動き推定信号ME1及びME2が示す画像フレーム信号D1及びD2をリードデータ信号RD3及びRD4として出力する。また、フレームレート変換部20は、先に時刻t1009で生成した動きベクトル信号MV1を動きベクトル信号MV2として出力する。そして、フレームレート変換部20は、係数信号COFが係数4/4(すなわち1)を示すことからリードデータ信号RD4が示す画像フレームD2を示す出力信号ODATAを出力する。
【0129】
時刻t1013以降において、フレームレート変換部20は、時刻t1012以前と同様に、3サイクル前に生成した動き推定信号ME1及びME2が示す画像フレームをリードデータ信号RD3及びRD4として出力する。また、フレームレート変換部20は、3サイクル前に生成した動きベクトル信号MV1を動きベクトル信号MV2として出力する。そして、フレームレート変換部20は、係数信号COFが示す係数を動きベクトル信号MV2に乗算し、該乗算した結果をリードデータ信号RD3に加算し、該加算の結果を出力信号ODATAとして出力する。
【0130】
これにより、フレームレート変換部20は、ライト選択信号WSELによって選択されている記憶領域211を除き2番目に新しい画像フレームが出力信号ODATAとして出力されてから、ライト選択信号WSELによって選択されている記憶領域211を除き最も新しい画像フレームが出力信号ODATAとして出力されるまでの間、データ信号DATAが同じ画像フレームを示すサイクル数に従う数の補間のための画像フレームを出力信号ODATAとして出力するため、フレームレートが変化する場合にもフレームレートが一定となる画像フレームを示す出力信号ODATAを出力することができる。
【0131】
上記各実施形態は、本発明を説明するための例示であり、本発明をこれらの実施形態にのみ限定する趣旨ではない。本発明は、その要旨を逸脱しない限り、さまざまな形態で実施することができる。
【0132】
例えば、本明細書に開示される方法においては、その結果に矛盾が生じない限り、ステップ、動作又は機能を並行して又は異なる順に実施しても良い。説明されたステップ、動作及び機能は、単なる例として提供されており、ステップ、動作及び機能のうちのいくつかは、発明の要旨を逸脱しない範囲で、省略でき、また、互いに結合させることで一つのものとしてもよく、また、他のステップ、動作又は機能を追加してもよい。
【0133】
また、本明細書では、さまざまな実施形態が開示されているが、一の実施形態における特定のフィーチャ(技術的事項)を適宜改良しながら、他の実施形態に追加し、又は該他の実施形態における特定のフィーチャと置換することができ、そのような形態も本発明の要旨に含まれる。