特許 7346124 映像処理装置及び映像処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-09-08

(45)【発行日】2023-09-19

(54)【発明の名称】映像処理装置及び映像処理プログラム

(51)【国際特許分類】

   H04N 7/01 20060101AFI20230911BHJP

【ＦＩ】

H04N7/01 270

【請求項の数】 8

(21)【出願番号】P 2019134107

(22)【出願日】2019-07-19

(65)【公開番号】P2021019295

(43)【公開日】2021-02-15

【審査請求日】2022-06-17

(73)【特許権者】

【識別番号】000004352

【氏名又は名称】日本放送協会

(74)【代理人】

【識別番号】110001106

【氏名又は名称】弁理士法人キュリーズ

(72)【発明者】

【氏名】森田 泰子

(72)【発明者】

【氏名】神田 菊文

【審査官】秦野 孝一郎

(56)【参考文献】

【文献】特開２０１４－０３３４３８（ＪＰ，Ａ）

【文献】特開２００７－０８１５００（ＪＰ，Ａ）

【文献】特開２０１４－１６５８８６（ＪＰ，Ａ）

【文献】特開２０１３－０４６１５４（ＪＰ，Ａ）

【文献】特開２００９－２６０９３０（ＪＰ，Ａ）

【文献】特開２０１０－１０３９８５（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１８／０２５５３４４（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／０１

(57)【特許請求の範囲】

【請求項1】

偶数番フレーム及び奇数番フレームからなる高フレームレート映像を処理する映像処理装置であって、
前記偶数番フレーム及び前記奇数番フレームの順序が反転するフレーム反転を検出するフレーム反転検出部を備え、
前記フレーム反転検出部は、
前記高フレームレート映像における対象フレームごとに、前記対象フレームの１つ前の直前フレーム及び前記対象フレームの１つ後の直後フレームの少なくとも一方を含む複数の参照フレームのそれぞれの画像に対する前記対象フレームの画像の差分の大きさを表す差分情報を計算する計算部と、
前記差分情報に基づいて、前記対象フレームについて前記フレーム反転が発生したか否かを判定する判定部と、を有することを特徴とする映像処理装置。

【請求項2】

前記複数の参照フレームは、前記直前フレーム及び前記直後フレームの両方を含むことを特徴とする請求項１に記載の映像処理装置。

【請求項3】

前記判定部は、前記対象フレームの１つである第１対象フレームについて前記計算部が計算した前記差分情報が、前記第１対象フレームの１つ前の第２対象フレームについて前記計算部が計算した前記差分情報に比べて増加した場合、前記第１対象フレームについて前記フレーム反転が発生したと判定することを特徴とする請求項２に記載の映像処理装置。

【請求項4】

前記フレーム反転検出部が前記フレーム反転を検出した場合、前記検出したフレーム反転を訂正するフレーム反転訂正部をさらに備える、請求項１に記載の映像処理装置。

【請求項5】

前記複数の参照フレームは、前記直前フレームと、前記対象フレームの３つ前のフレームとを含むことを特徴とする請求項４に記載の映像処理装置。

【請求項6】

前記複数の参照フレームは、前記直後フレームと、前記対象フレームの３つ後のフレームとを含むことを特徴とする請求項４に記載の映像処理装置。

【請求項7】

前記フレーム反転訂正部は、前記対象フレームの１つである第１対象フレームについて前記計算部が計算した前記差分情報が、前記第１対象フレームの１つ前の第２対象フレームについて前記計算部が計算した前記差分情報に比べて増加したか又は減少したかに応じて、前記第１対象フレームが前記フレーム反転により先行したフレームであるか又は前記フレーム反転により後続したフレームであるかを判定することを特徴とする請求項４乃至６のいずれか１項に記載の映像処理装置。

【請求項8】

コンピュータを、請求項１に記載の映像処理装置として機能させる
ことを特徴とする映像処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、映像処理装置及び映像処理プログラムに関する。

【背景技術】

【0002】

近年、フレーム周波数が１２０Ｈｚ（毎秒１２０フレーム）又は２４０Ｈｚ（毎秒２４０フレーム）といった高フレームレート映像の普及が進んでいる。高フレームレート映像は、動きが速い被写体を鮮明かつ滑らかに表示できることが特徴であり、スポーツなどのコンテンツに適している。なお、以下において、「映像」とは動画を意味し、「画像」とは静止画を意味するものとする。

【0003】

高フレームレート映像は、フレーム周波数が高い分、非圧縮形式のビットレートが高くなるため、伝送に用いるインターフェースの選択が課題となる。例えば８Ｋ １２０Ｈｚ非圧縮映像（最大１４４Ｇｂｐｓ）を伝送可能なインターフェースとして、ＡＲＩＢ ＳＴＤ－Ｂ５８に規定されるＵ－ＳＤＩが存在し、カメラ、ディスプレイ、非圧縮レコーダなどの入出力に使用されている。

【0004】

他方、非特許文献１に記載されているように、高フレームレート映像用の符号化・復号装置などでは、コストや実装面を勘案して、入力映像を時空間方向に分割し、４Ｋ ６０Ｈｚ映像までに対応している１２Ｇ－ＳＤＩやＤｉｓｐｌａｙ Ｐｏｒｔなどを複数用いて伝送することがある。

【先行技術文献】

【非特許文献】

【0005】

【文献】“ＮＨＫ技研 研究年報２０１７”、Ｐ．９、［ｏｎｌｉｎｅ］、２０１８年５月発行、日本放送協会、［２０１９年３月１９日検索］、インターネット＜ＵＲＬ：https://www.nhk.or.jp/strl/publica/nenpou-h29/2017-chap01.pdf＞

【発明の開示】

【発明が解決しようとする課題】

【0006】

非特許文献１に記載されているように６０Ｈｚ映像用のインターフェースを利用して１２０Ｈｚ映像を取り扱う際には、１２０Ｈｚ入力映像を１フレームずつ間引いた６０Ｈｚ映像を偶数番フレームと奇数番フレームとの２組に分けて生成し、１２０Ｈｚ映像を出力する際には２組の６０Ｈｚ映像を合成する。

【0007】

しかしながら、これらの生成や合成時の誤動作により、１２０Ｈｚ出力映像において偶数番フレームと奇数番フレームとの順序が反転することがある。このような異常が発生した際には、フレーム番号が前後することが繰り返されるため、出力映像中で物体が行ったり来たりする不自然な動きを目視によって確認することができるものの、このような状態が生じた瞬間を検出することは困難であるという問題点がある。

【0008】

さらに、フレーム番号情報を持つインターフェースであれば反転したフレームを検出及び訂正して出力することができるが、そうでない場合には検出及び訂正することは困難であるという問題点がある。

【0009】

そこで、本発明は、フレーム番号情報を持たないインターフェースを用いる場合であってもフレーム反転を検出可能な映像処理装置及び映像処理プログラムを提供することを目的とする。

【課題を解決するための手段】

【0010】

第１の態様に係る映像処理装置は、偶数番フレーム及び奇数番フレームからなる高フレームレート映像を処理する装置である。前記映像処理装置は、前記偶数番フレーム及び前記奇数番フレームの順序が反転するフレーム反転を検出するフレーム反転検出部を備える。前記フレーム反転検出部は、前記高フレームレート映像における対象フレームごとに、前記対象フレームの１つ前の直前フレーム及び前記対象フレームの１つ後の直後フレームの少なくとも一方を含む複数の参照フレームのそれぞれの画像に対する前記対象フレームの画像の差分の大きさを表す差分情報を計算する計算部と、前記差分情報に基づいて、前記対象フレームについて前記フレーム反転が発生したか否かを判定する判定部とを有する。

【0011】

第２の態様に係る映像処理プログラムは、偶数番フレーム及び奇数番フレームからなる高フレームレート映像を処理するプログラムである。前記映像処理プログラムは、前記偶数番フレーム及び前記奇数番フレームの順序が反転するフレーム反転を検出するフレーム反転検出ステップを含む。前記フレーム反転検出ステップは、前記高フレームレート映像における対象フレームごとに、前記対象フレームの１つ前の直前フレーム及び前記対象フレームの１つ後の直後フレームの少なくとも一方を含む複数の参照フレームのそれぞれの画像に対する前記対象フレームの画像の差分の大きさを表す差分情報を計算する計算ステップと、前記差分情報に基づいて、前記対象フレームについて前記フレーム反転が発生したか否かを判定する判定ステップとを有する。

【発明の効果】

【0012】

本発明によれば、フレーム番号情報を持たないインターフェースを用いる場合であってもフレーム反転を検出可能な映像処理装置及び映像処理プログラムを提供できる。

【図面の簡単な説明】

【0013】

【図1】第１実施形態及び第２実施形態に係る映像伝送システムの構成を示す図である。

【図2】第１実施形態に係る映像処理装置の構成を示す図である。

【図3】第１実施形態に係る映像処理装置の動作を示す図である。

【図4】第１実施形態に係る映像処理装置の動作を示す図である。

【図5】第１実施形態に係る映像処理装置の動作を示す図である。

【図6】第１実施形態に係る映像処理装置の動作フロー例を示す図である。

【図7】第２実施形態に係る映像処理装置の構成を示す図である。

【図8】第２実施形態に係る映像処理装置の動作を示す図である。

【図9】第２実施形態に係る映像処理装置の動作を示す図である。

【図10】第２実施形態に係る映像処理装置の動作を示す図である。

【図11】第２実施形態に係る映像処理装置の動作フロー例を示す図である。

【発明を実施するための形態】

【0014】

図面を参照して、実施形態に係る映像処理装置について説明する。以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を付している。

【0015】

＜第１実施形態＞
（映像伝送システムの構成）
まず、本実施形態に係る映像伝送システムについて説明する。図１は、本実施形態に係る映像伝送システムの構成を示す図である。

【0016】

図１（ａ）に示すように、本実施形態に係る映像伝送システムは、送信側装置１と、受信側装置２とを有する。

【0017】

送信側装置１には、フレーム周波数が１２０Ｈｚ（毎秒１２０フレーム）又は２４０Ｈｚ（毎秒２４０フレーム）といった高フレームレート映像が入力される。以下において、高フレームレート映像のフレーム周波数が１２０Ｈｚである一例について主として説明する。

【0018】

送信側装置１は、６０Ｈｚ映像用のインターフェースを２つ利用して１２０Ｈｚ映像を受信側装置２に伝送する。具体的には、送信側装置１は、分割部１１を有する。

【0019】

分割部１１は、図１（ｂ）に示すように、１２０Ｈｚ入力映像を１フレームずつ間引いた６０Ｈｚ映像を偶数番フレーム（ｅｖｅｎ ｆｒａｍｅｓ）と奇数番フレーム（ｏｄｄ ｆｒａｍｅｓ）との２組に分けて生成し、２組の６０Ｈｚ映像を２つの６０Ｈｚ映像用のインターフェースを介して受信側装置２に伝送する。本実施形態において、６０Ｈｚ映像用のインターフェースは、フレーム番号情報を持たないインターフェースであるものとする。

【0020】

受信側装置２は、偶数番フレームと奇数番フレームとを送信側装置１から受信する。受信側装置２は、合成部２１と、映像処理装置２２とを有する。

【0021】

合成部２１は、図１（ｂ）に示すように、受信した偶数番フレーム及び奇数番フレームを合成し、高フレームレート映像である１２０Ｈｚ合成映像を映像処理装置２２に出力する。ここで、分割部１１又は合成部２１の誤動作により、合成部２１が出力する１２０Ｈｚ出力映像において、偶数番フレームと奇数番フレームとの順序が反転することがある。

【0022】

映像処理装置２２は、合成部２１が出力する高フレームレート映像である１２０Ｈｚ合成映像を処理する。本実施形態において、映像処理装置２２は、偶数番フレーム及び奇数番フレームの順序が反転するフレーム反転を検出する。

【0023】

（映像処理装置の構成）
次に、本実施形態に係る映像処理装置２２の構成について説明する。図２は、本実施形態に係る映像処理装置２２の構成を示す図である。

【0024】

図２に示すように、本実施形態に係る映像処理装置２２は、入力部２２１と、バッファ部２２２と、フレーム反転検出部２２３と、出力部２２４とを有する。

【0025】

入力部２２１には、高フレームレート映像である１２０Ｈｚ合成映像が入力される。入力部２２１は、入力された１２０Ｈｚ合成映像をバッファ部２２２に出力する。

【0026】

バッファ部２２２は、入力部２２１から出力される１２０Ｈｚ映像を構成する各フレームを入力順に一時的に蓄積する。

【0027】

フレーム反転検出部２２３は、バッファ部２２２に蓄積されたフレームからフレームを順次読み出し、偶数番フレーム及び奇数番フレームの順序が反転するフレーム反転を検出する。フレーム反転検出部２２３は、フレーム反転が検出されない場合、バッファ部２２２から読み出したフレームを出力部２２４に順次出力する。一方、フレーム反転検出部２２３は、フレーム反転が検出された場合、フレーム反転が検出されたことを示す情報を出力部２２４に出力する。フレーム反転検出部２２３は、計算部２２３ａと、判定部２２３ｂとを有する。

【0028】

計算部２２３ａは、高フレームレート映像（１２０Ｈｚ映像）における対象フレームごとに、複数の参照フレームのそれぞれの画像に対する対象フレームの画像の差分の大きさを表す差分情報を計算する。本実施形態において、複数の参照フレームは、対象フレームの１つ前の直前フレームと対象フレームの１つ後の直後フレームとを含む。

【0029】

判定部２２３ｂは、計算部２２３ａが計算する差分情報に基づいて、対象フレームについてフレーム反転が発生したか否かを判定する。本実施形態において、判定部２２３ｂは、対象フレームの１つである第１対象フレームについて計算部２２３ａが計算した差分情報が、第１対象フレームの１つ前の第２対象フレームについて計算部２２３ａが計算した差分情報に比べて増加した場合、第１対象フレームについてフレーム反転が発生したと判定する。

【0030】

出力部２２４は、フレーム反転検出部２２３から出力されるフレームを外部（例えば、外部の表示装置）に順次出力する。出力部２２４は、フレーム反転検出部２２３から出力されるフレームの画像を順次出力する表示装置であってもよい。出力部２２４は、フレーム反転が検出されたことを示す情報をフレーム反転検出部２２３が出力する場合、当該情報を出力する。

【0031】

（映像処理装置の動作）
次に、本実施形態に係る映像処理装置２２の動作について説明する。図３乃至図４は、本実施形態に係る映像処理装置２２の動作を示す図である。図３乃至図４において、横軸のフレーム番号（Ｆｒａｍｅ ｎｕｍｂｅｒ）は正しい表示順におけるフレーム番号を示している。

【0032】

図３（ａ）は、ある映像内で等速運動をする物体の画面位置（縦軸）とフレーム表示順（横軸）の関係を示す。図３（ａ）に示す画面位置（ｐｏｓｉｔｉｏｎ）は、例えば１つのフレームの画像に含まれる物体の水平方向（ｘ）又は垂直方向（ｙ）の位置を示している。

【0033】

図３（ａ）に示すように、画像に含まれる物体の位置は、フレーム番号の増加につれて等間隔で変化する。全ての物体が等速運動をしているわけではないが、高フレームレート映像では連続するフレームの時間問隔が短く、変化が微小であるため、ここでは近似的に等速運動しているものとして扱っている。

【0034】

図３（ｂ）及び（ｃ）は、図３（ａ）の映像にフレーム反転が起きた場合を示している。

【0035】

具体的には、図３（ｂ）は、偶数番フレームが奇数番フレームよりも先行した場合を示している。フレーム番号“４”以降の偶数番フレームが奇数番フレームよりも先行し、フレーム番号が０，１，２，４，３，６，５，・・・となっている。

【0036】

図３（ｃ）は、奇数番フレームが偶数番フレームよりも先行した場合を示している。フレーム番号“３”以降の奇数番フレームが偶数番フレームよりも先行し、フレーム番号が０，１，３，２，５，４，７，６，・・・となっている。

【0037】

ここで、ｎ番目のフレーム（対象フレーム）の物体の画面位置ＰをＰ_ｎとし、ｎ－１番目のフレーム（直前フレーム）の物体の画面位置ＰをＰ_ｎ－１とし、ｎ＋１番目のフレーム（直後フレーム）の物体の画面位置ＰをＰ_ｎ＋１とすると、Ｐ_ｎの時問方向の二階微分ΔＰ_ｎの絶対値は、次の式（１）により計算される。

【0038】

｜ΔＰ_ｎ｜＝｜２Ｐ_ｎ－Ｐ_ｎ－１－Ｐ_ｎ＋１｜ ・・・（１）
図３（ａ）乃至（ｃ）のそれぞれに対する｜ΔＰ_ｎ｜の計算結果を図４（ａ）乃至（ｃ）に示す。

【0039】

図４（ａ）に示すように、図３における映像の物体は等速運動をしているため、｜ΔＰ_ｎ｜は０になる。一方、フレーム反転が発生した図３（ｂ）及び（ｃ）は、物体の位置が増減を繰り返すため、ΔＰ_ｎは正負の値を交互にとり、その絶対値｜ΔＰ_ｎ｜は徐々に大きくなった後、一定値を取る。このような原理によって、フレーム反転検出部２２３は、フレーム反転を検出することが可能である。

【0040】

同様の手法を８Ｋ １２０Ｈｚ映像に適用した結果を図５に示す。

【0041】

図５は、ｎ番目のフレームの輝度コンポーネントＹをＹ_ｎとし、時間方向の二階微分ΔＹ_ｎ＝２Ｙ_ｎ－Ｙ_ｎ－１－Ｙ_ｎ＋１の分散（Ｖａｒｉａｎｃｅ）を縦軸にとった場合を示している。

【0042】

例えば、フレーム反転検出部２２３の計算部２２３ａは、各対象フレームについて、画像位置（ｘ、ｙ）ごとにΔＹ_ｎを計算するととともに、フレーム単位で分散を計算する。本実施形態において、ΔＹ_ｎの分散は、複数の参照フレームのそれぞれの画像に対する対象フレームの画像の差分の大きさを表す差分情報に相当する。

【0043】

以下において、ΔＹ_ｎの分散を差分情報として用いる一例について主として説明するが、ΔＹ_ｎの他の統計量、例えばΔＹ_ｎの平均を差分情報として用いてもよい。

【0044】

また、本実施形態において、フレーム反転検出部２２３の計算部２２３ａは、８Ｋのフレーム全体を計算に使用しているが、計算量を減らすため、４Ｋなどに縮小してから計算を行ってもよいし、画像の一部分、例えば中央の２Ｋ領域などに対して計算を行ってもよい。

【0045】

図５（ａ）はフレーム番号順に正しく表示される場合、図５（ｂ）及び（ｃ）はそれぞれ偶数番フレーム及び奇数番フレームが先行するフレーム反転が発生した場合を示している。

【0046】

図５（ａ）に比べて、図５（ｂ）及び（ｃ）のΔＹ_ｎの分散が大きい。このため、フレーム反転検出部２２３の判定部２２３ｂは、ΔＹ_ｎの分散に基づいて、対象フレームについてフレーム反転が発生したか否かを判定可能である。例えば、フレーム反転検出部２２３の判定部２２３ｂは、ある１つのフレーム（第１対象フレーム）について計算したΔＹ_ｎの分散が、このフレームの直前のフレーム（第２対象フレーム）について計算したΔＹ_ｎ-1の分散に比べて増加した場合、第１対象フレームについてフレーム反転が発生したと判定する。

【0047】

（映像処理装置の動作フローの一例）
次に、本実施形態に係る映像処理装置２２の動作フロー例について説明する。図６は、本実施形態に係る映像処理装置２２の動作フロー例を示す図である。

【0048】

図６に示すように、ステップＳ１１において、フレーム反転検出部２２３の計算部２２３ａは、ｎ番目のフレームのΔＹ_ｎの分散（Ｖ_ｎとする）を差分情報として計算する。

【0049】

ステップＳ１２において、フレーム反転検出部２２３の判定部２２３ｂは、１つ前（ｎ－１番目）のフレームのΔＹ_ｎ－１の分散（Ｖ_ｎ－１とする）とＶ_ｎとを比較し、Ｖ_ｎがＶ_ｎ－１から増加したか否かを判定する。

【0050】

フレーム反転検出部２２３の判定部２２３ｂは、Ｖ_ｎ－１とＶ_ｎとをそのまま比較することに限らず、Ｖ_ｎ－１に係数を付与したものをＶ_ｎと比較してもよい。例えば、フレーム反転検出部２２３の判定部２２３ｂは、Ｖ_ｎと１．２×Ｖ_ｎ－１とを比較し、Ｖ_ｎが１．２×Ｖ_ｎ－１から増加した（Ｖ_ｎ＞１．２×Ｖ_ｎ－１）か否かを判定してもよい。

【0051】

また、フレーム反転検出部２２３の判定部２２３ｂは、Ｖ_ｎが複数フレーム連続して増加したか否かを判定してもよい。例えば、フレーム反転検出部２２３の判定部２２３ｂは、Ｖ_ｎ＞Ｖ_ｎ－１＞Ｖ_ｎ－２という条件が満たされたか否かを判定してもよい。このような判定は、シーンチェンジ（絵柄が変化したこと）による誤検出を防ぐために有効である。さらに、フレーム反転検出部２２３の判定部２２３ｂは、上述したような係数を導入し、Ｖ_ｎ＞Ｖ_ｎ－１＞Ｖ_ｎ－２かつＶ_ｎ＞１．１×Ｖ_ｎ－2という条件が満たされたか否かを判定してもよい。このような判定は、固定撮影の映像など、フレーム反転による分散の変化が小さい場合に特に効果的である。

【0052】

なお、係数の値は“１．２”や“１．１”とする場合に限らず、他の値を選択してもよい。

【0053】

ステップＳ１２において「Ｙｅｓ」である場合、ステップＳ１３において、フレーム反転検出部２２３の判定部２２３ｂは、ｎ番目のフレームについてフレーム反転が発生していると判定し、処理を終了する。

【0054】

一方、ステップＳ１２において「Ｎｏ」である場合、ステップＳ１４において、フレーム反転検出部２２３の判定部２２３ｂは、１つ後（ｎ＋１番目）のフレームが最後であるか否かを判定する。ステップＳ１２において「Ｙｅｓ」である場合は処理を終了する。

【0055】

ステップＳ１２において「Ｎｏ」である場合、ステップＳ１５において、フレーム反転検出部２２３の計算部２２３ａは、ｎ＋１をｎに代入し、ステップＳ１１からの処理を再開する。

【0056】

なお、図６のステップＳ１３でフレーム反転を検出した際に処理を終了しているが、フレーム反転検出部２２３の判定部２２３ｂは、その後にステップＳ１４に処理を進め、フレーム反転が元に戻ったか否かを判定しても良い。その際は、フレーム反転を検出する前後のＶ_ｎを保存しておき、フレーム反転を検出する前のＶ_ｎに近づいたこと（ステップＳ１２の逆）を判定するようにすればよい。

【0057】

このように、本実施形態によれば、フレーム番号情報を持たないインターフェースを用いる場合であっても、各フレームの画像に基づいて、高フレームレート映像の偶数、奇数番フレームの反転を検出できる。

【0058】

＜第２実施形態＞
次に、第２実施形態について、第１実施形態との相違点を主として説明する。

【0059】

第１実施形態ではフレーム反転を検出することができるが、フレーム反転を訂正することはできない。本実施形態では、フレーム反転を検出した際にそのフレーム反転を訂正できるようにする。

【0060】

（映像処理装置の構成）
図７は、本実施形態に係る映像処理装置２２の構成を示す図である。

【0061】

図７に示すように、本実施形態に係る映像処理装置２２は、フレーム反転訂正部２２５をさらに有する点で第１実施形態とは異なっている。フレーム反転訂正部２２５は、フレーム反転検出部２２３がフレーム反転を検出した場合、検出したフレーム反転を訂正し、訂正後のフレームを出力部２２４に出力する。

【0062】

また、本実施形態において、フレーム反転検出部２２３の計算部２２３ａは、対象フレームについて差分情報を計算する際に参照する複数の参照フレームとして、対象フレームの１つ前のフレーム（直前フレーム）と、対象フレームの３つ前のフレームとを用いる。

【0063】

或いは、フレーム反転検出部２２３の計算部２２３ａは、対象フレームについて差分情報を計算する際に参照する複数の参照フレームとして、対象フレームの１つ後のフレーム（直後フレーム）と、対象フレームの３つ後のフレームとを用いてもよい。

【0064】

フレーム反転訂正部２２５は、対象フレームの１つである第１対象フレームについて計算部２２３ａが計算した差分情報が、第１対象フレームの１つ前の第２対象フレームについて計算部２２３ａが計算した差分情報に比べて増加した場合、第１対象フレームがフレーム反転により先行したフレームであると判定し、第１対象フレームの順序を後にするように訂正する。

【0065】

一方、フレーム反転訂正部２２５は、対象フレームの１つである第１対象フレームについて計算部２２３ａが計算した差分情報が、第１対象フレームの１つ前の第２対象フレームについて計算部２２３ａが計算した差分情報に比べて減少した場合、第１対象フレームがフレーム反転により後続したフレームであると判定し、第１対象フレームの順序を前にするように訂正する。

【0066】

（映像処理装置の動作）
次に、本実施形態に係る映像処理装置２２の動作について説明する。図８乃至図１０は、本実施形態に係る映像処理装置２２の動作を示す図である。図８乃至図１０において、横軸のフレーム番号（Ｆｒａｍｅ ｎｕｍｂｅｒ）は正しい表示順におけるフレーム番号を示している。

【0067】

図８及び図９に、図３と同じ例における｜２Ｐ_ｎ－Ｐ_ｎ－１－Ｐ_ｎ－３｜及び｜２Ｐ_ｎ－Ｐ_ｎ＋１－Ｐ_ｎ＋３｜の計算結果をそれぞれ示す。具体的には、図８（ａ）及び図９（ａ）は表示順が正しい場合を示し、図８（ｂ）及び図９（ｂ）は偶数番フレームが奇数番フレームよりも先行した場合を示し、図８（ｃ）及び図９（ｃ）は奇数番フレームが偶数番フレームよりも先行した場合を示している。

【0068】

図８（ａ）及び図９（ａ）に示すように、表示順が正しい場合は、｜２Ｐ_ｎ－Ｐ_ｎ－１－Ｐ_ｎ－３｜及び｜２Ｐ_ｎ－Ｐ_ｎ＋１－Ｐ_ｎ＋３｜の計算結果は同じ値になり、一定値をとる。

【0069】

一方、図８（ｂ）及び（ｃ）に示すように、｜２Ｐ_ｎ－Ｐ_ｎ－１－Ｐ_ｎ－３｜の計算結果は、反転した先行するフレーム（すなわち、図８（ｂ）及び（ｃ）の横軸のそれぞれ偶数、奇数番フレーム）では、表示順が正しい場合よりも大きい値になり、反転した後続するフレーム（すなわち、図８（ｂ）及び（ｃ）の横軸のそれぞれ奇数、偶数番フレーム）では、０になる。０になるときは、正しい表示順で、第１実施形態で示した二階微分ΔＰ_ｎを計算していることに相当する。

【0070】

また、｜２Ｐ_ｎ－Ｐ_ｎ＋１－Ｐ_ｎ＋３｜を計算した図９（ｂ）及び（ｃ）は、図８（ｂ）及び（ｃ）と先行、後続フレームの関係が逆になる。

【0071】

したがって、｜２Ｐ_ｎ－Ｐ_ｎ－１－Ｐ_ｎ－３｜及び｜２Ｐ_ｎ－Ｐ_ｎ＋１－Ｐ_ｎ＋３｜の少なくともいずれかを計算することにより、ｎ番目のフレームが反転した先行、後続フレームのいずれかであるかを判定し、フレーム反転を訂正することができる。

【0072】

図１０は、８Ｋ １２０Ｈｚ映像に対して同様の手法を適用した例を示している。具体的には、フレーム反転検出部２２３の計算部２２３ａが、ｎ番目のフレーム（横軸）の輝度コンポーネントＹをＹ_ｎとし、前方差分Ｄｉｆｐｒｅｖ_ｎ＝２Ｙ_ｎ－Ｙ_ｎ－１－Ｙ_ｎ－３の分散を計算した例を示している。同様に、図９に相当する計算は後方差分ＤｉｆＢａｃｋ_ｎ＝２Ｙ_ｎ－Ｙ_ｎ＋１－Ｙ_ｎ＋３の分散によって求められる。

【0073】

本実施形態において、前方差分Ｄｉｆｐｒｅｖ_ｎの分散は、複数の参照フレームのそれぞれの画像に対する対象フレームの画像の差分の大きさを表す差分情報に相当する。前方差分Ｄｉｆｐｒｅｖ_ｎを計算することにより、ｎ番目のフレームが反転した先行、後続フレームのいずれかであるかを判定し、フレーム反転を訂正することができる。

【0074】

本実施形態では、フレーム反転の訂正に前方差分Ｄｉｆｐｒｅｖ_ｎのみを用いる一例について説明するが、後方差分ＤｉｆＢａｃｋ_ｎのみを用いてフレーム反転を訂正してもよいし、前方差分Ｄｉｆｐｒｅｖ_ｎ及び後方差分ＤｉｆＢａｃｋ_ｎの両方を用いても良い。また、フレーム反転の検出に第１実施形態の手法を用いた後、本実施形態に係る訂正処理を行っても良い。

【0075】

（映像処理装置の動作フローの一例）
次に、本実施形態に係る映像処理装置２２の動作フロー例について説明する。図１１は、本実施形態に係る映像処理装置２２の動作フロー例を示す図である。

【0076】

図１１に示すように、ステップＳ２１において、フレーム反転検出部２２３の計算部２２３ａは、ｎ番目のフレームの前方差分Ｄｉｆｐｒｅｖ_ｎの分散を差分情報として計算する。

【0077】

ステップＳ２２において、フレーム反転検出部２２３の判定部２２３ｂは、Ｄｉｆｐｒｅｖ_ｎがｎ－１番目のフレームの前方差分Ｄｉｆｐｒｅｖ_ｎ－１の分散と同程度（例えば、±５％など）であるか否かを判定する。

【0078】

ステップＳ２２において「Ｙｅｓ」である場合、フレーム反転検出部２２３の判定部２２３ｂは、フレーム反転が発生していないと判定し、ステップＳ２６に処理を進める。

【0079】

一方、ステップＳ２２において「Ｎｏ」である場合、フレーム反転検出部２２３の判定部２２３ｂは、フレーム反転が発生していると判定し、ステップＳ２３に処理を進める。

【0080】

ステップＳ２３において、フレーム反転訂正部２２５は、Ｄｉｆｐｒｅｖ_ｎがＤｉｆｐｒｅｖ_ｎ－１に対して増加したか否かを判定する。

【0081】

ステップＳ２３において「Ｙｅｓ」である場合、ステップＳ２４において、フレーム反転訂正部２２５は、ｎ番目のフレームがフレーム反転によって先行したフレームであると判定し、ｎ番目のフレームの表示順を１つ後に訂正し、ステップＳ２６に処理を進める。

【0082】

一方、ステップＳ２３において「Ｎｏ」である場合、ステップＳ２５において、フレーム反転訂正部２２５は、ｎ番目のフレームがフレーム反転によって後続したフレームであると判定し、ｎ番目のフレームの表示順を１つ前に訂正し、ステップＳ２６に処理を進める。

【0083】

一方、ステップＳ２６において、フレーム反転検出部２２３の判定部２２３ｂ又はフレーム反転訂正部２２５は、ｎ番目のフレームが最後のフレームであるか否かを判定する。ステップＳ２６において「Ｙｅｓ」である場合は処理を終了する。ステップＳ２６において「Ｎｏ」である場合、ステップＳ２７において、フレーム反転検出部２２３の計算部２２３ａは、ｎ＋１をｎに代入し、ステップＳ２１からの処理を再開する。なお、ステップＳ２４またはＳ２５で表示順を訂正した場合、ステップＳ２１乃至Ｓ２３のＤｉｆｐｒｅｖ_ｎおよびＤｉｆｐｒｅｖ_ｎ－１は訂正が適用された後の状態で計算される。

【0084】

このように、本実施形態によれば、フレーム番号情報を持たないインターフェースを用いる場合であっても、各フレームの画像に基づいて、高フレームレート映像の偶数、奇数番フレームの反転を訂正できる。

【0085】

＜その他の実施形態＞
映像処理装置２２が行う各処理をコンピュータに実行させるプログラムが提供されてもよい。プログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、コンピュータにプログラムをインストールすることが可能である。ここで、プログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ－ＲＯＭやＤＶＤ－ＲＯＭ等の記録媒体であってもよい。また、映像処理装置２２が行う各処理を実行する回路を集積化し、映像処理装置２２を半導体集積回路（チップセット、ＳｏＣ）により構成してもよい。

【0086】

以上、図面を参照して実施形態について詳しく説明したが、具体的な構成は上述のものに限られることはなく、要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。

【符号の説明】

【0087】

１ ：送信側装置
２ ：受信側装置
１１ ：分割部
２１ ：合成部
２２ ：映像処理装置
２２１ ：入力部
２２２ ：バッファ部
２２３ ：フレーム反転検出部
２２３ａ ：計算部
２２３ｂ ：判定部
２２４ ：出力部
２２５ ：フレーム反転訂正部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】