特許 5880165 映像信号処理装置、映像信号処理方法、映像信号処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5880165

(24)【登録日】2016年2月12日

(45)【発行日】2016年3月8日

(54)【発明の名称】映像信号処理装置、映像信号処理方法、映像信号処理プログラム

(51)【国際特許分類】

   H04N 7/01 20060101AFI20160223BHJP

   H04N 13/04 20060101ALI20160223BHJP

【ＦＩ】

   H04N7/01 Z

   H04N13/04

【請求項の数】3

【全頁数】13

(21)【出願番号】特願2012-55505(P2012-55505)

(22)【出願日】2012年3月13日

(65)【公開番号】特開2013-191957(P2013-191957A)

(43)【公開日】2013年9月26日

【審査請求日】2014年7月31日

(73)【特許権者】

【識別番号】308036402

【氏名又は名称】株式会社ＪＶＣケンウッド

(74)【代理人】

【識別番号】100083806

【弁理士】

【氏名又は名称】三好 秀和

(74)【代理人】

【識別番号】100101247

【弁理士】

【氏名又は名称】高橋 俊一

(72)【発明者】

【氏名】小泉 真季

【審査官】 秦野 孝一郎

(56)【参考文献】

【文献】 特開２０１１−１９０３７（ＪＰ，Ａ）

【文献】 特開２０１１−７７７２９（ＪＰ，Ａ）

【文献】 国際公開第２０１１／０３９９２０（ＷＯ，Ａ１）

【文献】 国際公開第２０１１／０６１９７３（ＷＯ，Ａ１）

【文献】 特開平１１−３４６３４６（ＪＰ，Ａ）

【文献】 特開２００７−７４４３９（ＪＰ，Ａ）

【文献】 特開２０１０−２８４７２（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ７／０１

Ｈ０４Ｎ １３／０４

(57)【特許請求の範囲】

【請求項1】

第１のフレームレートの映像が２−３プルダウンによって第２のフレームレートに変換され、１垂直期間に左眼画像のフレームと右眼画像のフレームとが配置されたフレームパッキング方式の立体映像信号を処理する映像信号処理装置であり、
前記左眼画像のフレームの期間と前記右眼画像のフレームの期間とを識別するためのインデックス信号を生成するインデックス生成部と、
前記左眼画像のフレームまたは前記右眼画像のフレームを３フレーム分のみ記憶する３つのメモリ領域を有するメモリと、
前記左眼画像のフレームまたは前記右眼画像のフレームを前記３つのメモリ領域に巡回的に書き込むよう制御する書き込み制御部と、
前記インデックス信号と２−３プルダウンのシーケンスのフレーム位相を示すフェイズ信号とに基づいて、前記シーケンスの同じフレームが連続する最初のフレーム位相で前記インデックス信号が左眼画像であることを示す第１の場合と、前記シーケンスの同じフレームが連続する最後のフレーム位相で前記インデックス信号が右眼画像であることを示す第２の場合に、前記書き込み制御部による制御によって、前記左眼画像のフレームまたは前記右眼画像のフレームを前記３つのメモリ領域に書き込む際の巡回を有効にする一方、前記第１及び第２の場合以外の第３の場合では巡回を無効にして、同じメモリ領域に書き込むよう制御する書き込み領域巡回制御部と、
前記インデックス信号と前記フェイズ信号とに基づいて、前記３つのメモリ領域に書き込まれた互いに異なる前記左眼画像のフレームまたは前記右眼画像のフレームのうち、前記第３の場合であって前記インデックス信号が右眼画像であることを示す場合には、前記３つのメモリ領域に対する書き込み順序で最後の１つ前にフレームを書き込んだメモリ領域に記憶された前記左眼画像のフレームまたは前記右眼画像のフレームを読み出し、前記第１の場合と、前記第２の場合と、前記第３の場合であって前記インデックス信号が左眼画像であることを示す場合には、前記３つのメモリ領域に対する書き込み順序で最後の２つ前にフレームを書き込んだメモリ領域に記憶された前記左眼画像のフレームまたは前記右眼画像のフレームを読み出して一方の読み出しフレームとし、前記３つのメモリ領域に対する書き込み順序で最後にフレームを書き込んだメモリ領域に記憶された前記左眼画像のフレームまたは前記右眼画像のフレームを読み出して他方の読み出しフレームとするよう制御する読み出し制御部と、
動きベクトルを参照して、前記３つのメモリ領域より読み出された前記一方の読み出しフレームまたは前記他方の読み出しフレームを用いて補間フレームを生成する補間フレーム生成部と、
を備えることを特徴とする映像信号処理装置。

【請求項2】

第１のフレームレートの映像が２−３プルダウンによって第２のフレームレートに変換され、１垂直期間に左眼画像のフレームと右眼画像のフレームとが配置されたフレームパッキング方式の立体映像信号を処理する映像信号処理方法であり、
前記左眼画像のフレームの期間と前記右眼画像のフレームの期間とを識別するためのインデックス信号を生成し、
前記インデックス信号と２−３プルダウンのシーケンスのフレーム位相を示すフェイズ信号とに基づいて、前記シーケンスの同じフレームが連続する最初のフレーム位相で前記インデックス信号が左眼画像であることを示す第１の場合と、前記シーケンスの同じフレームが連続する最後のフレーム位相で前記インデックス信号が右眼画像であることを示す第２の場合に、前記左眼画像のフレームまたは前記右眼画像のフレームを３フレーム分のみ記憶する３つのメモリ領域に巡回的に書き込み、
前記第１及び第２の場合以外の第３の場合に、前記左眼画像のフレームまたは前記右眼画像のフレームを前記３つのメモリ領域に書き込む巡回を停止させて、同じメモリ領域に書き込み、
前記インデックス信号と前記フェイズ信号とに基づいて、前記３つのメモリ領域に書き込まれた互いに異なる前記左眼画像のフレームまたは前記右眼画像のフレームのうち、前記第３の場合であって前記インデックス信号が右眼画像であることを示す場合には、前記３つのメモリ領域に対する書き込み順序で最後の１つ前にフレームを書き込んだメモリ領域に記憶された前記左眼画像のフレームまたは前記右眼画像のフレームを読み出し、前記第１の場合と、前記第２の場合と、前記第３の場合であって前記インデックス信号が左眼画像であることを示す場合には、前記３つのメモリ領域に対する書き込み順序で最後の２つ前にフレームを書き込んだメモリ領域に記憶された前記左眼画像のフレームまたは前記右眼画像のフレームを読み出して一方の読み出しフレームとし、前記３つのメモリ領域に対する書き込み順序で最後にフレームを書き込んだメモリ領域に記憶された前記左眼画像のフレームまたは前記右眼画像のフレームを読み出して他方の読み出しフレームとし、
動きベクトルを参照して、前記３つのメモリ領域より読み出された前記一方の読み出しフレームまたは前記他方の読み出しフレームを用いて補間フレームを生成する
ことを特徴とする映像信号処理方法。

【請求項3】

第１のフレームレートの映像が２−３プルダウンによって第２のフレームレートに変換され、１垂直期間に左眼画像のフレームと右眼画像のフレームとが配置されたフレームパッキング方式の立体映像信号を処理する映像信号処理プログラムであり、
コンピュータに、
前記左眼画像のフレームの期間と前記右眼画像のフレームの期間とを識別するためのインデックス信号を生成するステップと、
前記インデックス信号と２−３プルダウンのシーケンスのフレーム位相を示すフェイズ信号とに基づいて、前記シーケンスの同じフレームが連続する最初のフレーム位相で前記インデックス信号が左眼画像であることを示す第１の場合と、前記シーケンスの同じフレームが連続する最後のフレーム位相で前記インデックス信号が右眼画像であることを示す第２の場合に、前記左眼画像のフレームまたは前記右眼画像のフレームを３フレーム分のみ記憶する３つのメモリ領域に巡回的に書き込むステップと、
前記第１及び第２の場合以外の第３の場合に、前記左眼画像のフレームまたは前記右眼画像のフレームを前記３つのメモリ領域に書き込む巡回を停止させて、同じメモリ領域に書き込むステップと、
前記インデックス信号と前記フェイズ信号とに基づいて、前記３つのメモリ領域に書き込まれた互いに異なる前記左眼画像のフレームまたは前記右眼画像のフレームのうち、前記第３の場合であって前記インデックス信号が右眼画像であることを示す場合には、前記３つのメモリ領域に対する書き込み順序で最後の１つ前にフレームを書き込んだメモリ領域に記憶された前記左眼画像のフレームまたは前記右眼画像のフレームを読み出し、前記第１の場合と、前記第２の場合と、前記第３の場合であって前記インデックス信号が左眼画像であることを示す場合には、前記３つのメモリ領域に対する書き込み順序で最後の２つ前にフレームを書き込んだメモリ領域に記憶された前記左眼画像のフレームまたは前記右眼画像のフレームを読み出して一方の読み出しフレームとし、前記３つのメモリ領域に対する書き込み順序で最後にフレームを書き込んだメモリ領域に記憶された前記左眼画像のフレームまたは前記右眼画像のフレームを読み出して他方の読み出しフレームとする読み出しフレーム生成ステップと、
動きベクトルを参照して、前記３つのメモリ領域より読み出された前記一方の読み出しフレームまたは前記他方の読み出しフレームを用いて補間フレームを生成するステップと、
を実行させることを特徴とする映像信号処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、フレームレート２４Ｈｚのフィルム映像を２−３プルダウンによってフレームレート６０Ｈｚに変換した映像信号を処理する映像信号処理装置、映像信号処理方法、映像信号処理プログラム関する。

【背景技術】

【0002】

フレームレート２４Ｈｚで撮影されたフィルム映像を、２−３プルダウンと称される変換処理によって、フレームレート６０Ｈｚの標準テレビジョン信号に変換することが行われている。フレームレート２４Ｈｚのフィルム映像を２−３プルダウンによってフレームレート６０Ｈｚの映像信号に変換すると、フィルム映像の同一のフレームが２つまたは３つ連続することになる。従って、画像の動きは滑らかではない。これをフィルムジャダと称している。

【0003】

そこで、フィルムジャダを除去または軽減するために、２−３プルダウンによってフレームレート６０Ｈｚに変換された映像信号の異なる原フレームを混合して補間フレームを生成し、一部のフレームを補間フレームに置き換えることによって画像の動きを滑らかにすることが行われている。画像の動きを滑らかにするよう映像信号を処理することをデジャダと称している。デジャダのためには映像信号の複数フレームを一時的に記憶するメモリが必要となる。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１０−２８４７２号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

近年になって、立体映像信号（３Ｄ映像信号）を用いて画像の立体視を実現する３Ｄ表示装置が普及し始めている。３Ｄ映像信号のフォーマットの１つとして、１垂直期間に左眼画像のフレームと右眼画像のフレームとを１組にして配置して伝送するフレームパッキング方式がある。フレームパッキング方式の３Ｄ映像信号では、左眼画像のフレームと右眼画像のフレームはそれぞれ、水平１２８０画素、垂直７２０画素の信号である。

【0006】

フレームレート２４Ｈｚのフィルム映像を２−３プルダウンによってフレームレート６０Ｈｚに変換したフレームパッキング方式の映像信号があり、この映像信号の画像の動きを滑らかにするためにデジャダの処理を行ったとする。上記のように、フレームパッキング方式の３Ｄ映像信号は１垂直期間に左眼画像のフレームと右眼画像のフレームとの２フレームを有することから、デジャダの処理を行う映像信号処理装置においては、映像信号のフレームを一時的に記憶するメモリは通常の非立体映像信号（２Ｄ映像信号）を処理する場合と比較して多くの容量が必要となる。

【0007】

特許文献１記載の構成では、５フレーム分のメモリ領域が必要となる。従って、回路規模やコストの増大につながるので、好ましくない。

【0008】

本発明はこのような問題点に鑑み、２−３プルダウン変換されたフレームパッキング方式の映像信号の左右のフレームそれぞれに基づいて補間フレームを生成するに際し、映像信号のフレームを一時的に記憶するメモリの容量の増加を極力抑えることができる映像信号処理装置、映像信号処理方法、映像信号処理プログラムを提供することを目的とする。

【課題を解決するための手段】

【0009】

本発明は、上述した従来の技術の課題を解決するため、第１のフレームレートの映像が２−３プルダウンによって第２のフレームレートに変換され、１垂直期間に左眼画像のフレームと右眼画像のフレームとが配置されたフレームパッキング方式の立体映像信号を処理する映像信号処理装置であり、前記左眼画像のフレームの期間と前記右眼画像のフレームの期間とを識別するためのインデックス信号を生成するインデックス生成部と、前記左眼画像のフレームまたは前記右眼画像のフレームを３フレーム分のみ記憶する３つのメモリ領域を有するメモリと、前記左眼画像のフレームまたは前記右眼画像のフレームを前記３つのメモリ領域に巡回的に書き込むよう制御する書き込み制御部と、前記インデックス信号と２−３プルダウンのシーケンスのフレーム位相を示すフェイズ信号とに基づいて、前記シーケンスの同じフレームが連続する最初のフレーム位相で前記インデックス信号が左眼画像であることを示す第１の場合と、前記シーケンスの同じフレームが連続する最後のフレーム位相で前記インデックス信号が右眼画像であることを示す第２の場合に、前記書き込み制御部による制御によって、前記左眼画像のフレームまたは前記右眼画像のフレームを前記３つのメモリ領域に書き込む際の巡回を有効にする一方、前記第１及び第２の場合以外の第３の場合では巡回を無効にして、同じメモリ領域に書き込むよう制御する書き込み領域巡回制御部と、前記インデックス信号と前記フェイズ信号とに基づいて、前記３つのメモリ領域に書き込まれた互いに異なる前記左眼画像のフレームまたは前記右眼画像のフレームのうち、前記第３の場合であって前記インデックス信号が右眼画像であることを示す場合には、前記３つのメモリ領域に対する書き込み順序で最後の１つ前にフレームを書き込んだメモリ領域に記憶された前記左眼画像のフレームまたは前記右眼画像のフレームを読み出し、前記第１の場合と、前記第２の場合と、前記第３の場合であって前記インデックス信号が左眼画像であることを示す場合には、前記３つのメモリ領域に対する書き込み順序で最後の２つ前にフレームを書き込んだメモリ領域に記憶された前記左眼画像のフレームまたは前記右眼画像のフレームを読み出して一方の読み出しフレームとし、前記３つのメモリ領域に対する書き込み順序で最後にフレームを書き込んだメモリ領域に記憶された前記左眼画像のフレームまたは前記右眼画像のフレームを読み出して他方の読み出しフレームとするよう制御する読み出し制御部と、動きベクトルを参照して、前記３つのメモリ領域より読み出された前記一方の読み出しフレームまたは前記他方の読み出しフレームを用いて補間フレームを生成する補間フレーム生成部とを備えることを特徴とする映像信号処理装置を提供する。

【0010】

また、本発明は、上述した従来の技術の課題を解決するため、第１のフレームレートの映像が２−３プルダウンによって第２のフレームレートに変換され、１垂直期間に左眼画像のフレームと右眼画像のフレームとが配置されたフレームパッキング方式の立体映像信号を処理する映像信号処理方法であり、前記左眼画像のフレームの期間と前記右眼画像のフレームの期間とを識別するためのインデックス信号を生成し、前記インデックス信号と２−３プルダウンのシーケンスのフレーム位相を示すフェイズ信号とに基づいて、前記シーケンスの同じフレームが連続する最初のフレーム位相で前記インデックス信号が左眼画像であることを示す第１の場合と、前記シーケンスの同じフレームが連続する最後のフレーム位相で前記インデックス信号が右眼画像であることを示す第２の場合に、前記左眼画像のフレームまたは前記右眼画像のフレームを３フレーム分のみ記憶する３つのメモリ領域に巡回的に書き込み、前記第１及び第２の場合以外の第３の場合に、前記左眼画像のフレームまたは前記右眼画像のフレームを前記３つのメモリ領域に書き込む巡回を停止させて、同じメモリ領域に書き込み、前記インデックス信号と前記フェイズ信号とに基づいて、前記３つのメモリ領域に書き込まれた互いに異なる前記左眼画像のフレームまたは前記右眼画像のフレームのうち、前記第３の場合であって前記インデックス信号が右眼画像であることを示す場合には、前記３つのメモリ領域に対する書き込み順序で最後の１つ前にフレームを書き込んだメモリ領域に記憶された前記左眼画像のフレームまたは前記右眼画像のフレームを読み出し、前記第１の場合と、前記第２の場合と、前記第３の場合であって前記インデックス信号が左眼画像であることを示す場合には、前記３つのメモリ領域に対する書き込み順序で最後の２つ前にフレームを書き込んだメモリ領域に記憶された前記左眼画像のフレームまたは前記右眼画像のフレームを読み出して一方の読み出しフレームとし、前記３つのメモリ領域に対する書き込み順序で最後にフレームを書き込んだメモリ領域に記憶された前記左眼画像のフレームまたは前記右眼画像のフレームを読み出して他方の読み出しフレームとし、動きベクトルを参照して、前記３つのメモリ領域より読み出された前記一方の読み出しフレームまたは前記他方の読み出しフレームを用いて補間フレームを生成することを特徴とする映像信号処理方法を提供する。

【0011】

さらに、本発明は、上述した従来の技術の課題を解決するため、第１のフレームレートの映像が２−３プルダウンによって第２のフレームレートに変換され、１垂直期間に左眼画像のフレームと右眼画像のフレームとが配置されたフレームパッキング方式の立体映像信号を処理する映像信号処理プログラムであり、コンピュータに、前記左眼画像のフレームの期間と前記右眼画像のフレームの期間とを識別するためのインデックス信号を生成するステップと、前記インデックス信号と２−３プルダウンのシーケンスのフレーム位相を示すフェイズ信号とに基づいて、前記シーケンスの同じフレームが連続する最初のフレーム位相で前記インデックス信号が左眼画像であることを示す第１の場合と、前記シーケンスの同じフレームが連続する最後のフレーム位相で前記インデックス信号が右眼画像であることを示す第２の場合に、前記左眼画像のフレームまたは前記右眼画像のフレームを３フレーム分のみ記憶する３つのメモリ領域に巡回的に書き込むステップと、前記第１及び第２の場合以外の第３の場合に、前記左眼画像のフレームまたは前記右眼画像のフレームを前記３つのメモリ領域に書き込む巡回を停止させて、同じメモリ領域に書き込むステップと、前記インデックス信号と前記フェイズ信号とに基づいて、前記３つのメモリ領域に書き込まれた互いに異なる前記左眼画像のフレームまたは前記右眼画像のフレームのうち、前記第３の場合であって前記インデックス信号が右眼画像であることを示す場合には、前記３つのメモリ領域に対する書き込み順序で最後の１つ前にフレームを書き込んだメモリ領域に記憶された前記左眼画像のフレームまたは前記右眼画像のフレームを読み出し、前記第１の場合と、前記第２の場合と、前記第３の場合であって前記インデックス信号が左眼画像であることを示す場合には、前記３つのメモリ領域に対する書き込み順序で最後の２つ前にフレームを書き込んだメモリ領域に記憶された前記左眼画像のフレームまたは前記右眼画像のフレームを読み出して一方の読み出しフレームとし、前記３つのメモリ領域に対する書き込み順序で最後にフレームを書き込んだメモリ領域に記憶された前記左眼画像のフレームまたは前記右眼画像のフレームを読み出して他方の読み出しフレームとする読み出しフレーム生成ステップと、動きベクトルを参照して、前記３つのメモリ領域より読み出された前記一方の読み出しフレームまたは前記他方の読み出しフレームを用いて補間フレームを生成するステップとを実行させることを特徴とする映像信号処理プログラムを提供する。

【発明の効果】

【0012】

本発明の映像信号処理装置、映像信号処理方法、映像信号処理プログラムによれば、２−３プルダウン変換されたフレームパッキング方式の映像信号の左右のフレームそれぞれに基づいて補間フレームを生成するに際し、映像信号のフレームを一時的に記憶するメモリの容量の増加を極力抑えることが可能となる。

【図面の簡単な説明】

【0013】

【図1】本発明の映像信号処理装置の一実施形態を示すブロック図である。

【図2】３Ｄのフィルム映像とフレームレート６０Ｈｚのフレームパッキング方式の映像信号との関係を示す図である。

【図3】一実施形態の動作を説明するための図である。

【図4】一実施形態よる補間フレームの生成動作を説明するための図である。

【発明を実施するための形態】

【0014】

以下、本発明の映像信号処理装置、映像信号処理方法、映像信号処理プログラムの一実施形態について、添付図面を参照して説明する。図１において、入力された映像信号Ｓinは、第１のフレームレートであるフレームレート２４Ｈｚのフィルム映像を２−３プルダウンによって第２のフレームレートであるフレームレート６０Ｈｚに変換したフレームパッキング方式の映像信号である。映像信号Ｓinは、メモリ１４及びフレームレート変換部１６に入力される。

【0015】

図２を用いて、３Ｄのフィルム映像と、フレームレート６０Ｈｚのフレームパッキング方式の映像信号との関係について説明する。図２（Ａ）において、フレームA-L，B-L，C-L，D-Lは左眼画像のフレームであり、フレームA-R，B-R，C-R，DRは右眼画像のフレームである。左眼画像のフレームA-Lと右眼画像のフレームA-R、左眼画像のフレームB-Lと右眼画像のフレームB-R、左眼画像のフレームC-Lと右眼画像のフレームC-R、左眼画像のフレームD-Lと右眼画像のフレームDRが、それぞれ３Ｄの組となる。左眼画像のフレームと右眼画像のフレームはそれぞれフレームレート２４Ｈｚである。

【0016】

図２（Ａ）のフィルム映像を２−３プルダウンによってフレームレート６０Ｈｚに変換し、フレームパッキング方式の映像信号とすると、概念的に図２（Ｂ）のようになる。フレームパッキング方式の映像信号では、１垂直期間である１／６０秒間に、左眼画像のフレームと右眼画像のフレームとがフレームパッキング方式の映像信号の１フレーム内に配置される。詳細には、１フレーム内の垂直方向上側に左眼画像のフレームが配置され、垂直方向下側に右眼画像のフレームが配置され、左眼画像のフレームと右眼画像のフレームとの間にはブランク層が設けられる。図２（Ｂ）では、ブランク層の図示を省略している。

【0017】

図２（Ｂ）に示すように、左眼画像のフレームA-Lと右眼画像のフレームA-Rとの組がフレームパッキング方式の映像信号の３フレームの期間連続し、左眼画像のフレームB-Lと右眼画像のフレームB-Rとの組がフレームパッキング方式の映像信号の２フレームの期間連続する。以下同様に、左眼画像のフレームと右眼画像のフレームとの組が３フレーム，２フレーム，３フレーム…と交互に連続することになる。

【0018】

図１に戻り、インデックス生成部１７には、同期信号Ｓsyが入力される。同期信号Ｓsyは垂直同期信号及び水平同期信号を含む。同期信号Ｓsyは、垂直期間及び水平期間の区切りを示し、データの有効領域を示すタイミング信号となっている。インデックス生成部１７は、入力される同期信号Ｓsyに基づいて、映像信号Ｓinとして順次入力される画素データが、左眼画像のフレームの画素データであるか、右眼画像のフレームの画素データであるかを示すインデックス信号を生成する。

【0019】

左眼画像のフレームの画素データであることを示すインデックス信号をインデックス信号ｉＬ、右眼画像のフレームの画素データであることを示すインデックス信号をインデックス信号ｉＲとする。インデックス生成部１７が生成するインデックス信号ｉＬ，ｉＲによって、左眼画像のフレームの期間と右眼画像のフレームの期間とを識別することができる。インデックス生成部１７が生成したインデックス信号ｉＬ，ｉＲは、書き込み領域巡回制御部１２と、読み出し制御部１３と、フレームレート変換部１６とに入力される。

【0020】

書き込み領域巡回制御部１２と、読み出し制御部１３と、フレームレート変換部１６には、２−３プルダウンのシーケンスのフレーム位相を示すフェイズ信号Ｓphが入力される。図２（Ｂ）に示すように、フェイズ信号Ｓphが示すフレーム位相はph1，ph2，ph3，ph4，ph5のいずれかである。左眼画像のフレームと右眼画像のフレームとの同じ組が３フレーム連続するときの３フレーム目をフレーム位相ph1とし、同じ組が２フレーム連続するときの１フレーム目をフレーム位相ph2とする。同じ組が２フレーム連続するときの２フレーム目をフレーム位相ph3、同じ組が３フレーム連続するときの１フレーム目をフレーム位相ph4、同じ組が３フレーム連続するときの２フレーム目をフレーム位相ph5とする。

【0021】

動きベクトルＭＶは、図示していない動きベクトル検出部によって検出される。動きベクトル検出部は、映像信号Ｓinにおける時間的に隣接したフレーム間の動きを推定して、動きベクトルＭＶを生成する。動きベクトル検出部は、例えば、映像信号Ｓinの時間的に隣接するフレーム間において、注目画素群がどの程度移動したかをブロックマッチングによって求め、注目画素群の移動量及び移動方向を求めることによって動きベクトルＭＶを生成すればよい。

【0022】

動きベクトルＭＶは、左眼画像と右眼画像とでそれぞれ生成される。左眼画像用の動きベクトルＭＶを動きベクトルＭＶ-L、右眼画像用の動きベクトルＭＶを動きベクトルＭＶ-Rとする。後述する補間フレーム生成部１５には、補間フレーム生成部１５が左眼画像の補間フレームを生成する際には左眼画像用の動きベクトルＭＶ-Lが供給され、右眼画像の補間フレームを生成する際には右眼画像用の動きベクトルＭＶ-Rが供給される。

【0023】

メモリ１４は、３つのメモリ領域１４１〜１４３を有する。メモリ領域１４１〜１４３は、それぞれ、左眼画像または右眼画像のフレームを１フレーム分記憶する容量を有する。書き込み領域巡回制御部１２は、インデックス信号ｉＬ，ｉＲとフェイズ信号Ｓphとを参照することによって、特定の条件を満たす場合に、映像信号Ｓinをメモリ１４に書き込む際にメモリ領域１４１〜１４３を巡回させるよう制御する制御信号Ｓ12を生成する。制御信号Ｓ12は、書き込み制御部１１，読み出し制御部１３，メモリ１４に入力される。

【0024】

本実施形態においては、特定の条件とは、インデックス生成部１７が生成したインデックス信号が左眼画像のフレームの画素データであることを示すインデックス信号ｉＬであり、フェイズ信号Ｓphが示すフレーム位相がph2またはph4である場合と、インデックス生成部１７が生成したインデックス信号が右眼画像のフレームの画素データであることを示すインデックス信号ｉＲであり、フェイズ信号Ｓphが示すフレーム位相がph1またはph3の場合である。

【0025】

書き込み制御部１１は、映像信号Ｓinをメモリ１４のメモリ領域１４１〜１４３のいずれかに書き込む書き込みコマンドＣ11を生成してメモリ１４に供給する。このとき、書き込み制御部１１は、制御信号Ｓ12に基づいて、映像信号Ｓinをメモリ領域１４１〜１４３に対して巡回的に書き込むよう制御する。書き込み制御部１１は例えば“１”，“２”，“３”，“１”，“２”，“３”，“１”…と巡回的にカウントし、フレーム単位でカウンタ値を更新するフレームカウンタを有している。

【0026】

メモリ１４は、書き込みコマンドＣ11として、カウンタ値が“１”のとき映像信号Ｓinの左眼画像または右眼画像のフレームをメモリ領域１４１に書き込み、カウンタ値が“２”のときフレームをメモリ領域１４２に書き込み、カウンタ値が“３”のときフレームをメモリ領域１４３に書き込む。書き込み制御部１１は、制御信号Ｓ12に基づいて、上述した特定の条件を満たす場合にフレームカウンタのカウンタ値を更新する。上述した特定の条件を満たさない場合には、フレームカウンタのカウンタ値は更新されない。

【0027】

このように、本実施形態においては、２−３プルダウンのシーケンスの同じフレームが連続する最初のフレーム位相で左眼画像のインデックス信号ｉＬである第１の場合と、２−３プルダウンのシーケンスの同じフレームが連続する最後のフレーム位相で右眼画像のインデックス信号ｉＲである第２の場合に、書き込み制御部１１による制御によって、左眼画像のフレームまたは右眼画像のフレームをメモリ領域１４１〜１４３に書き込む際の巡回が有効となる。一方、第１及び第２の場合以外の第３の場合では、巡回は無効となって巡回が停止し、左眼画像のフレームまたは右眼画像のフレームは同じメモリ領域に連続して書き込まれる（上書きされる）ことになる。

【0028】

読み出し制御部１３は、インデックス信号ｉＬ，ｉＲとフェイズ信号Ｓphと制御信号Ｓ12とに基づいて、メモリ領域１４１〜１４３のうちの２つの領域から２つのフレーム信号ｆａ，ｆｂそれぞれの画素データを読み出すよう制御する読み出しコマンドＣ13を生成してメモリ１４に供給する。フレーム信号ｆａ，ｆｂは、フレームパッキング方式の映像信号における左眼画像のフレーム信号または右眼画像のフレーム信号である。

【0029】

読み出し制御部１３にインデックス信号ｉＬが入力される場合には、読み出し制御部１３は、フレーム信号ｆａまたはｆｂとして、左眼画像のフレーム信号を読み出す読み出しコマンドＣ13を生成し、インデックス信号ｉＲが入力される場合には、読み出し制御部１３は、フレーム信号ｆａまたはｆｂとして、右眼画像のフレーム信号を読み出す読み出しコマンドＣ13を生成する。

【0030】

メモリ１４から読み出されたフレーム信号ｆａ，ｆｂそれぞれの画素データは、補間フレーム生成部１５に入力される。補間フレーム生成部１５は、フレーム信号ｆａ，ｆｂそれぞれの画素データを用い、動きベクトルＭＶ（ＭＶ-L，ＭＶ-R）を参照することによって、フレーム信号ｆａ，ｆｂそれぞれのフレームの間に内挿する補間フレーム信号ｆｉを構成する補間画素データを順次生成する。補間フレーム生成部１５によって生成された補間フレーム信号ｆｉは、フレームレート変換部１６に入力される。

【0031】

フレームレート変換部１６は、フェイズ信号Ｓphを参照しつつ、適切なシーケンスとなるよう、映像信号Ｓinの隣接するフレーム間に補間フレーム信号ｆｉによって生成された補間フレームを内挿し、フレームレートを１２０Ｈｚに変換して映像信号Ｓoutとして出力する。

【0032】

次に、図３を用いて、本実施形態の映像信号処理装置の動作について改めて説明する。図３において、入力映像信号Ｓinは、左眼画像のフレームZ-Lと右眼画像のフレームZ-Rとの組に続き、左眼画像のフレームA-Lと右眼画像のフレームA-Rとの組が３フレーム、左眼画像のフレームB-Lと右眼画像のフレームB-Rとの組が２フレーム、左眼画像のフレームC-Lと右眼画像のフレームC-Rとの組が３フレームと続いている。なお、左眼画像のフレームZ-Lと右眼画像のフレームZ-Rとの組の前には、左眼画像のフレームY-Lと右眼画像のフレームY-Rとの組が存在している。フェイズ信号Ｓphが示すフレーム位相はph1，ph2，ph3，ph4，ph5とインデックス信号ｉＬ，ｉＲは、図３のようになっている。

【0033】

映像信号Ｓinが左眼画像のフレームZ-Lのとき、書き込み制御部１１のフレームカウンタが例えば“１”であるとする。上述のように、インデックス信号ｉＬでフレーム位相がph2，ph4のとき、インデックス信号ｉＲでフレーム位相がph1，ph3のとき、制御信号Ｓ12が書き込み制御部１１へと供給されてフレームカウンタのカウンタ値が更新される。従って、フレーム位相ph3における右眼画像のフレームZ-Rのとき、カウンタ値は“２”となり、続くフレーム位相ph4の左眼画像のフレームA-Lのとき、カウンタ値は“３”となる。その後、フレーム位相ph4の右眼画像のフレームA-Rからフレーム位相ph1の左眼画像のフレームA-Lまでカウンタ値は更新されない。

【0034】

フレーム位相ph1の右眼画像のフレームA-Rのとき、カウンタ値は“１”に戻り、フレーム位相ph2の左眼画像のフレームB-Lのとき、カウンタ値は“２”となる。以下、同様にして、上記の条件のときのみカウンタ値が更新される。

【0035】

映像信号Ｓinの左眼画像または右眼画像のフレームは、フレームカウンタのカウンタ値に対応したメモリ領域へと書き込まれる。カウンタ値が“１”であれば、左眼画像または右眼画像のフレームがメモリ領域１４１に書き込まれ、カウンタ値が“２”であれば、左眼画像または右眼画像のフレームがメモリ領域１４２に書き込まれ、カウンタ値が“３”であれば、左眼画像または右眼画像のフレームがメモリ領域１４３に書き込まれる。図３に示すメモリ１４のメモリ領域１４１〜１４３において、ハッチングを付しているメモリ領域はフレームの書き込みが更新されたメモリ領域を示している。

【0036】

左眼画像のフレームZ-Lはカウンタ値が“１”であるので、メモリ領域１４１に書き込まれ、右眼画像のフレームZ-Rはカウンタ値が“２”であるので、メモリ領域１４２に書き込まれる。これに続く左眼画像のフレームA-Lはカウンタ値が“３”であるので、メモリ領域１４３に書き込まれる。その後、フレーム位相ph4の右眼画像のフレームA-Rからフレーム位相ph1の左眼画像のフレームA-Lまでカウンタ値は更新されないので、映像信号Ｓinの左眼画像または右眼画像のフレームはメモリ領域１４３に順次書き込まれて、メモリ領域１４３に書き込まれるフレームが更新されることになる。

【0037】

フレーム位相ph1の右眼画像のフレームA-R以降も同様に、映像信号Ｓinの左眼画像または右眼画像のフレームはカウンタ値に応じたメモリ領域１４１〜１４３いずれかのメモリ領域に書き込まれる。

【0038】

図３に示すように、読み出し制御部１３は、インデックス信号ｉＬのときには、互いに異なる左眼画像の２フレームをフレーム信号ｆａ，ｆｂとして読み出すよう制御し、インデックス信号ｉＲのときには、互いに異なる右眼画像の２フレームをフレーム信号ｆａ，ｆｂとして読み出すよう制御する。図３より分かるように、左眼画像のフレームと右眼画像のフレームのそれぞれで、隣接する２フレームをフレーム信号ｆａ，ｆｂとして読み出すことができる。

【0039】

隣接する２フレームのフレーム信号ｆａ，ｆｂによって、次のように出力映像信号Ｓoutが生成される。フレーム位相ph4の左眼画像のフレームZ-L，A-Lに基づいて補間フレームZA1-Lが生成され、フレーム位相ph4の右眼画像のフレームZ-R，A-Rに基づいて補間フレームZA1-Rが生成される。フレーム位相ph5の左眼画像のフレームZ-L，A-Lに基づいて補間フレームZA2-Lが生成され、フレーム位相ph5の右眼画像のフレームZ-R，A-Rに基づいて補間フレームZA2-Rが生成される。

【0040】

フレーム位相ph1の左眼画像のフレームZ-L，A-Lでは、左眼画像のフレームA-Lがそのまま出力され、フレーム位相ph1の右眼画像のフレームZ-R，A-Rでは、右眼画像のフレームA-Rがそのまま出力される。以下同様にして、補間フレームAB1-L，AB1-R，AB２-L，AB2-R，BC1-L，BC1-R，BC2-L，BC2-Rが生成される。フレーム位相ph1の左眼画像のフレームB-L，C-Lでは、左眼画像のフレームC-Lがそのまま出力され、フレーム位相ph1の右眼画像のフレームB-R，C-Rでは、右眼画像のフレームC-Rがそのまま出力される。

【0041】

出力映像信号Ｓoutのフレームレートは１２０Ｈｚであり、入力映像信号Ｓinのフレームレート６０Ｈｚの２倍である。出力映像信号Ｓoutに変換した後のフレーム位相は、図３に示すように、フレーム位相ph1ではph11，ph12、フレーム位相ph2ではph21，ph22、フレーム位相ph3ではph31，ph32、フレーム位相ph4ではph41，ph42、フレーム位相ph5ではph51，ph52となる。

【0042】

さらに図４を用いて、本実施形態の映像信号処理装置による補間フレームの生成動作について説明する。図４（Ａ）は、フレームレート６０Ｈｚであり、２−３プルダウン変換によって生成されたフレームパッキング方式の映像信号Ｓinにおける左眼画像及び右眼画像のフレームの所定の動きを示している。３Ｄ映像では、左眼画像と右眼画像とが両眼視差を有するので、左眼画像と右眼画像とは異なる動きとなるのが一般的である。図４（Ａ）に示す例では、左眼画像のフレームA-L，B-L，C-Lで物体の位置が水平に移動し、右眼画像のフレームA-R，B-R，C-Rで物体の位置が水平に移動している。

【0043】

２−３プルダウン変換によってフレーム位相ph2，ph3が同じフレームの組であり、フレーム位相ph4，ph5，ph1が同じフレームの組である。物体は２フレームまたは３フレームごとに移動するため、画像の動きが滑らかでなく、ジャダとして知覚される。

【0044】

図４（Ｂ）は、フレームレート１２０Ｈｚに変換され、ジャダが除去されて画像の動きが滑らかとなった映像信号Ｓoutの各フレームを示している。ハッチングを付している左眼画像のフレームA-L，C-Lは、図３で説明したように、図４（Ａ）の元の左眼画像のフレームA-L，C-Lがそのまま出力される。左眼画像のフレームA-L，C-L間では、補間フレームAB1-L，AB2-L，BC1-L，BC2-Lが出力される。ハッチングを付している右眼画像のフレームA-R，C-Rは、図３で説明したように、図４（Ａ）の元の右眼画像のフレームA-R，C-Rがそのまま出力される。右眼画像のフレームA-R，C-R間では、補間フレームAB1-R，AB2-R，BC1-R，BC2-Rが出力される。

【0045】

図４（Ｂ）に示すように、動きベクトルＭＶは、左眼画像のフレームにおいては動きベクトルＭＶ-Lとして検出され、右眼画像のフレームにおいては動きベクトルＭＶ-Rとして検出されている。左眼画像の補間フレームAB1-L，AB２-L，BC1-L，BC2-L及び右眼画像の補間フレームAB1-R，AB2-R，BC1-R，BC2-Rは、それぞれ、動きベクトルＭＶ-L，ＭＶ-Rを参照し、図４（Ａ）の映像信号Ｓinにおける２つのフレームの時間距離に応じた割合で混合して生成する。

【0046】

図４（Ａ）の映像信号Ｓinにおける左眼画像のフレームB-Lと右眼画像のフレームB-Rは映像信号Ｓoutとしては出力しないが、左眼画像のフレームB-Lは左眼画像のフレームA-L，C-Lの時間的な中間位置（フレーム位相ph41）に位置し、右眼画像のフレームB-Rは右眼画像のフレームA-R，C-Rの時間的な中間位置（フレーム位相ph42）に位置するものとして補間フレームの生成に利用する。

【0047】

例えば、補間フレームAB1-Lは、左眼画像のフレームA-L（フレーム位相ph12）と左眼画像のフレームB-L（フレーム位相ph41）との時間距離比が２：３であるので、フレームA-L，B-Lとを混合比３：２で混合することによって生成することができる。また、補間フレームAB2-Lは、左眼画像のフレームA-Lと左眼画像のフレームB-Lとの時間距離比が４：１であるので、フレームA-L，B-Lとを混合比１：４で混合することによって生成することができる。

【0048】

以上のようにして、本実施形態の映像信号処理装置及び映像信号処理方法によれば、メモリ１４に設けるメモリ領域をメモリ領域１４１〜１４３の３フレーム分（フレームパッキング方式の映像信号における左眼画像または右眼画像の３フレーム分）として、映像信号Ｓinにおける２つのフレームを用いてそれぞれの補間フレームを生成することが可能となる。従って、フレームパッキング方式の映像信号の左眼画像または右眼画像のフレームを一時的に記憶するメモリの容量の増加を極力抑えることができる。

【0049】

以上説明した本実施形態の映像信号処理装置及び映像信号処理方法と同等の構成をコンピュータプログラムによって実現することも可能である。コンピュータに接続されたＲＯＭ等の記憶媒体に映像信号処理プログラムを記憶しておき、映像信号処理プログラムをコンピュータによって動作させることによって、コンピュータを映像信号処理装置として機能させることができ、上述した映像信号処理方法と同様の各ステップを実行させることが可能である。

【0050】

この場合、コンピュータに、映像信号Ｓinと同期信号Ｓsyとフェイズ信号Ｓphと動きベクトルＭＶを入力し、コンピュータに接続されたＲＡＭ等の作業用のメモリ領域に左眼画像または右眼画像のフレームを記憶させつつ、補間フレームを生成すればよい。本実施形態の映像信号処理プログラムによれば、ＲＡＭ等の作業用のメモリ領域はメモリ１４と同様、左眼画像または右眼画像のフレームを記憶する容量としては、３フレーム分の容量を有すればよいことになる。Ｓsyとフェイズ信号Ｓphや動きベクトルＭＶをコンピュータによって生成してもよい。

【0051】

本発明は以上説明した本実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変更可能である。本実施形態では、フレームレート変換を行う構成について示したが、フレームレートを変換しなくてもよい。

【符号の説明】

【0052】

１１ 書き込み制御部
１２ 書き込み領域巡回制御部
１３ 読み出し制御部
１４ メモリ
１５ 補間フレーム生成部
１６ フレームレート変換部
１７ インデックス生成部
１４１〜１４３ メモリ領域

【図1】

【図2】

【図3】

【図4】