特許 5886075 画像処理装置及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5886075

(24)【登録日】2016年2月19日

(45)【発行日】2016年3月16日

(54)【発明の名称】画像処理装置及びプログラム

(51)【国際特許分類】

   H04N 5/232 20060101AFI20160303BHJP

   H04N 5/225 20060101ALI20160303BHJP

【ＦＩ】

   H04N5/232 Z

   H04N5/225 F

【請求項の数】5

【全頁数】22

(21)【出願番号】特願2012-35334(P2012-35334)

(22)【出願日】2012年2月21日

(65)【公開番号】特開2013-172321(P2013-172321A)

(43)【公開日】2013年9月2日

【審査請求日】2015年1月5日

(73)【特許権者】

【識別番号】000004352

【氏名又は名称】日本放送協会

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(72)【発明者】

【氏名】三須 俊枝

(72)【発明者】

【氏名】境田 慎一

【審査官】 ▲徳▼田 賢二

(56)【参考文献】

【文献】 特開２００６−２６１８９２（ＪＰ，Ａ）

【文献】 特開２００９−１９５３４３（ＪＰ，Ａ）

【文献】 特開２００６−２１７４６６（ＪＰ，Ａ）

【文献】 特開２００６−０５０４８３（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１０／００９２０９１（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２３２

Ｈ０４Ｎ ５／２２５

(57)【特許請求の範囲】

【請求項1】

映像に含まれるフレームを入力し、該フレーム毎に画像特徴を抽出する抽出手段と、
前記抽出手段により抽出された画像特徴を記憶して遅延させる遅延手段と、
前記抽出手段により抽出された画像特徴と、前記遅延手段により遅延された画像特徴とを比較し、画像特徴の変化を判定する判定手段と、
前記判定手段により画像特徴が変化したと判定された場合、画像特徴が変化したフレームを記憶する記憶手段と、
前記入力されたフレームと、前記記憶手段に記憶されたフレームとのいずれかを出力する出力手段と、
前記判定手段により画像特徴が変化したと判定された場合、前記記憶手段に記憶されたフレームを連続して所定数出力するよう前記出力手段を制御する制御手段と、
を備え、
前記記憶手段は、前記画像特徴が変化したフレーム以降の所定数のフレームを記憶し、
前記制御手段は、前記記憶手段に記憶された前記画像特徴が変化したフレームを連続して出力した後、前記記憶手段に記憶された前記所定数のフレームを出力するよう制御する画像処理装置。

【請求項2】

前記所定数のフレームは、前記画像特徴が変化したフレーム以降のフレームであり、不連続のフレームである請求項１記載の画像処理装置。

【請求項3】

前記入力された各フレームを映像符号化順に並べ替えて、並べ替えられた各フレームを前記抽出手段に出力する前処理手段をさらに備える請求項１または２に記載の画像処理装置。

【請求項4】

前記画像特徴は、輝度値に関する値である請求項１乃至３いずれか一項に記載の画像処理装置。

【請求項5】

コンピュータに、
映像に含まれるフレームを入力し、該フレーム毎に画像特徴を抽出する抽出ステップと、
前記抽出された画像特徴をバッファリングして遅延させる遅延ステップと、
前記抽出された画像特徴と、前記遅延された画像特徴とを比較し、画像特徴の変化を判定する判定ステップと、
画像特徴が変化したと判定された場合、前記画像特徴が変化したフレーム以降の所定数のフレームを記憶手段に記憶する記憶ステップと、
画像特徴が変化したと判定された場合、前記記憶手段に記憶された前記画像特徴が変化したフレームを連続して出力した後、前記記憶手段に記憶された前記所定数のフレームを出力するよう制御する制御ステップと、
前記入力されたフレームと、前記記憶手段に記憶されたフレームとのいずれかを出力する出力ステップと、
を実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、映像を強調する画像処理装置及びプログラムに関する。

【背景技術】

【0002】

映像の一部を強調する方法として、放送やビデオの番組制作においてはスロー再生やコマ送り、一時停止といった演出が行われる。これらの演出は、とくに動きの速いシーンの視認性を高めるため、とくに重要なシーンの提示時間を延長するものである。

【0003】

映像の一部領域を強調する手法として、部分拡大を行う演出がある。この部分拡大を自動化し、例えば被写体を追跡したり、被写体を認識したりすることで被写体領域を特定し、自動的に部分拡大して提示する技術がある。

【0004】

また、映像や画像の特定の被写体を認識し、この被写体領域の露光状態や色調が適切なものとなるように、自動的に画像補正を行うスチルカメラやビデオカメラ、プリンタが実用化されている（特許文献１）。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２００８−２６３３２０号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかし、従来技術では、スロー再生やコマ送り、一時停止といった演出は手動で行われており、その操作には熟練や手間を要した。

【0007】

また、部分拡大を行う手法は、小さな被写体を強調するのに有効であるが、瞬間的なシーンの強調を行うものではない。

【0008】

また、映像や画像の特定の被写体を認識し、該被写体領域の露光状態や色調が適切なものとなるよう自動的に画像補正を行う手法は、特定の被写体が良好な状態で撮影するのに有効な手法である。しかし、突発的に照明が変化した場合には、この変化を抑制するよう動作するため、この突発的な照明変化時にセンサ上で感知される輝度情報を捨ててしまうこととなる。

【0009】

よって、従来技術では、輝度などの画像の特徴が変化する映像を強調することができないという問題点があった。

【0010】

そこで、本発明は上記問題点に鑑みてなされたものであり、画像の特徴が変化する映像を強調することができる画像処理装置及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0011】

本発明の一態様における画像処理装置は、映像に含まれるフレームを入力し、該フレーム毎に画像特徴を抽出する抽出手段と、前記抽出手段により抽出された画像特徴を記憶して遅延させる遅延手段と、前記抽出手段により抽出された画像特徴と、前記遅延手段により遅延された画像特徴とを比較し、画像特徴の変化を判定する判定手段と、前記判定手段により画像特徴が変化したと判定された場合、画像特徴が変化したフレームを記憶する記憶手段と、前記入力されたフレームと、前記記憶手段に記憶されたフレームとのいずれかを出力する出力手段と、前記判定手段により画像特徴が変化したと判定された場合、前記記憶手段に記憶されたフレームを連続して所定数出力するよう前記出力手段を制御する制御手段と、を備える。

【0012】

また、前記記憶手段は、前記画像特徴が変化したフレーム以降の所定数のフレームを記憶し、前記制御手段は、前記記憶手段に記憶された前記画像特徴が変化したフレームを連続して出力した後、前記記憶手段に記憶された前記所定数のフレームを出力するよう制御してもよい。

【0013】

また、前記所定数のフレームは、前記画像特徴が変化したフレーム以降のフレームであり、不連続のフレームであってもよい。

【0014】

また、前記入力された各フレームを映像符号化順に並べ替えて、並べ替えられた各フレームを前記抽出手段に出力する前処理手段をさらに備えてもよい。

【0015】

また、前記画像特徴は、輝度値に関する値であってもよい。

【0016】

また、本発明の他の態様におけるプログラムは、映像に含まれるフレームを入力し、該フレーム毎に画像特徴を抽出する抽出ステップと、前記抽出された画像特徴をバッファリングして遅延させる遅延ステップと、前記抽出された画像特徴と、前記遅延された画像特徴とを比較し、画像特徴の変化を判定する判定ステップと、画像特徴が変化したと判定された場合、画像特徴が変化したフレームを記憶手段に記憶する記憶ステップと、前記入力されたフレームと、前記記憶手段に記憶されたフレームとのいずれかを出力する出力ステップと、画像特徴が変化したと判定された場合、前記記憶手段に記憶されたフレームを連続して所定数出力するよう制御する制御ステップと、コンピュータに実行させる。

【発明の効果】

【0017】

本発明によれば、画像の特徴が変化する映像を強調することができる。

【図面の簡単な説明】

【0018】

【図1】実施例１における画像処理装置の構成の一例を示すブロック図。

【図2】実施例１における画像処理の具体例を説明するための図。

【図3】実施例１における画像処理装置の画像処理の一例を示すフローチャート。

【図4】実施例２における画像処理の具体例を説明するための図。

【図5】実施例２における画像処理装置の画像処理の一例を示すフローチャート。

【図6】実施例３における画像処理装置の構成の一例を示すブロック図。

【図7】実施例３における画像処理の具体例を説明するための図。

【図8】実施例３における画像処理装置の画像処理の一例を示すフローチャート。

【図9】実施例４における画像処理装置の構成の一例を示すブロック図。

【発明を実施するための形態】

【0019】

以下、添付図面を参照しながら本発明について説明する。以下に説明する画像処理装置は、入力された画像（入力映像）Ａに対して、画像の特徴が変化した画像（フレーム）を強調し、その結果の画像（動画像）Ｂを出力する。

【0020】

［実施例１］
＜構成＞
図１は、実施例１における画像処理装置１の構成の一例を示すブロック図である。図１に示す例では、画像処理装置１は、特徴抽出手段１０１と、遅延手段１０２と、判定手段１０３と、画像記憶手段１０４と、出力手段１０５と、制御手段１０６とを有する。

【0021】

特徴抽出手段１０１は、入力映像Ａの時刻ｔにおけるフレームＡ（ｔ）を解析し、強調すべきフレームであるか否かを判定するのに用いる画像特徴Ｆ（ｔ）を抽出する。

【0022】

画像特徴Ｆ（ｔ）は、例えば、フレーム内の輝度値に関する値（輝度値の分散や平均や総和）や、色相の代表値（色ベクトル（Ｒ，Ｇ，Ｂ）の平均の色相成分）や、動きベクトルの平均や、特定領域の輝度値の平均などを用いる。

【0023】

輝度値に関する値を用いれば、急な輝度上昇（フラッシュなど）、急な絵柄の変化（爆発シーンなど）などが発生したフレームを特定することができる。色相の代表値を用いれば、急な色味の変化（ネオンサインの点滅など）が発生したフレームを特定することができる。

【0024】

また、動きベクトルの平均を用いれば、急な動きの変化（自身の発生の瞬間や爆発の瞬間）などが発生したフレームを特定することができる。特定領域の輝度値の平均を用いれば、ある領域に被写体が入った瞬間（動物が画面の中央を横切った瞬間）などが発生したフレームを特定することができる。

【0025】

以下では、画像特徴Ｆ（ｔ）として、輝度値に関する値を用いる場合について説明するが、この例に限られない。画像特徴として輝度値に関する値を用いると、例えば、報道用の映像で、暗い映像（夜の映像であり、犯人が乗った車の映像）からフラッシュにより人物（犯人）が映った画像を強調したいときなどに好適である。

【0026】

特徴抽出手段１０１は、例えば、現フレームＡ（ｔ）が照明変動時の映像か否かを判定するために、該フレームＡ（ｔ）の輝度値に基づく画像特徴Ｆ（ｔ）を算出する。

【0027】

具体的には、特徴抽出手段１０１は、例えば画像特徴Ｆ（ｔ）として現フレームＡ（ｔ）の輝度値の総和を算出する。輝度値の総和は、例えば輝度値の総和をフレームの総画素数で除した平均輝度値を用いてもよい。

【0028】

特徴抽出手段１０１は、入力映像Ａがモノクロ画像の場合には、時刻ｔにおけるフレームＡ（ｔ）の、画像座標（ｘ，ｙ）における画素値をＡ（ｔ；ｘ，ｙ）とおいたとき、以下の式（１）により輝度値の総和を求める。

【0029】

【数1】

また、特徴抽出手段１０１は、入力映像Ａがカラーであるなど、複数の色成分や波長（バンド）成分からなる場合には、例えば、ベクトル値たる画素値Ａ（ｔ；ｘ，ｙ）に対して、以下の式（２）により輝度値の総和を求める。

【0030】

【数2】

ここで、入力映像Ａの時刻ｔにおけるフレームの画像座標（ｘ，ｙ）における画素値をＡ（ｔ；ｘ，ｙ）のように表記する。

【0031】

また、特徴抽出手段１０１は、色ベクトルから輝度値への変換行列（行ベクトル）Ｍを用いる場合、式（３）により輝度値の総和を求める。

【0032】

【数3】

ここで、画素値Ａ（ｔ；ｘ，ｙ）が３次元の列ベクトルであり、その第１成分が赤成分を、第２成分が緑成分を、第３成分が青成分をそれぞれ表すとする。この場合、変換行列Ｍとして、例えば、以下のＩＴＵ−Ｒ ＢＴ．６０１規格に定める輝度信号算出用の行列（行ベクトル）を用いる。

【0033】

【数4】

また、変換行列Ｍとして、以下のＩＴＵ−Ｒ ＢＴ．７０９規格に定める輝度信号算出用の行列（行ベクトル）を用いてもよい。

【0034】

【数5】

特徴抽出手段１０１は、算出した画像特徴Ｆ（ｔ）を遅延手段１０２と、判定手段１０３とに出力する。

【0035】

遅延手段１０２は、画像特徴Ｆ（ｔ）を一時的に記憶（バッファリング）し、過去の画像特徴を出力する。例えば、遅延手段１０２は、１時点前の画像特徴Ｆ（ｔ−１）を判定手段１０３に出力する。

【0036】

判定手段１０３は、現時点ｔにおける画像特徴Ｆ（ｔ）と、過去の画像特徴（例えば、１時点前の画像特徴Ｆ（ｔ−１））とを比較し、特徴の時間的変化があったか否かを判定する。判定手段１０３は、例えば、この時間的変化が第１の閾値を超えたか否かによってその出力値（判定フラグ）Ｃ（ｔ）を決定する。

【0037】

この第１の閾値は、実験により適切な値が予め設定されていてもよいし、ユーザにより調節して設定されるようにしてもよい。

【0038】

判定フラグＣ（ｔ）は、例えば、「時間的変化あり」の場合に値「１」を、「時間的変化なし」の場合に値「０」をとるとする。

【0039】

例えば、判定手段１０３は、現時点ｔにおける画像特徴Ｆ（ｔ）と、過去の画像特徴Ｆ（ｔ−ｄ）（ｄは自然数；例えば、ｄ＝１）との差分の絶対値が第１の閾値θ（θは正の実数）を超えた場合に、「時間的変化あり」と判定する（式（４））。

【0040】

【数6】

判定手段１０３は、式（１）乃至式（３）のいずれか、および式（４）を用いることにより、輝度値が急激に増加または減少した瞬間に判定フラグＣ（ｔ）を「１」とすることができる。

【0041】

また、例えば、判定手段１０３は、現時点ｔにおける画像特徴Ｆ（ｔ）と、過去の画像特徴Ｆ（ｔ−ｄ）（ｄは自然数；-例えば、ｄ＝１）との差分値が第１の閾値θ（θは正の実数）を超えた場合に、「時間的変化あり」と判定してもよい（式（５））。

【0042】

【数7】

判定手段１０３は、式（１）乃至式（３）のいずれか、および式（５）を用いることにより、輝度値が急激に増加した瞬間に判定フラグＣ（ｔ）を「１」とすることができる。

【0043】

また、例えば、判定手段１０３は、現時点ｔにおける画像特徴Ｆ（ｔ）と、過去の画像特徴Ｆ（ｔ−ｄ）（ｄは自然数；例えば、ｄ＝１）との差分値が第１の閾値θ（θは負の実数）を下回った場合に、「時間的変化あり」と判定してもよい（式（６））。

【0044】

【数8】

判定手段１０３は、式（１）乃至式（３）のいずれか、および式（６）を用いることにより、輝度値が急激に減少した瞬間に判定フラグＣ（ｔ）を「１」とすることができる。

【0045】

判定手段１０３は、時間的変化を判定した判定結果である判定フラグを、画像記憶手段１０４と、制御手段１０６とに出力する。

【0046】

画像記憶手段１０４は、判定手段１０３により出力された判定フラグＣ（ｔ）が「時間的変化あり」（すなわちＣ（ｔ）＝１）となった時点における入力映像ＡのフレームＡ（ｔ）を記憶する。

【0047】

また、画像記憶手段１０４は、過去直近（現時点ｔを含む）に「時間的変化あり」と判定された時点（ｔ_１とおく；ｔ_１≦ｔ）のフレームＡ（ｔ_１）を出力手段１０５に出力する。つまり、画像記憶手段１０４は、「時間的変化あり」と判定された時点ｔ_１から所定フレーム数分は、フレームＡ（ｔ_１）を出力手段１０５に出力する。

【0048】

出力手段１０５は、入力映像の現フレームＡ（ｔ）と、画像記憶手段１０４から出力される過去直近（現時点ｔを含む）の「時間的変化あり」のフレームＡ（ｔ_１）とのいずれか一方を出力する。出力手段１０５は、後述する制御手段１０６からの制御信号Ｓ（ｔ）に応じて何れかのフレームを選択し、選択されたフレームを出力映像Ｂの時刻ｔにおけるフレームＢ（ｔ）として出力する（式（７））。

【0049】

【数9】

制御手段１０６は、判定手段１０３により出力された判定フラグＣ（ｔ）に基づき、出力手段１０５を制御するための制御信号Ｓ（ｔ）を生成し、出力手段１０５に対して出力する。

【0050】

例えば、制御手段１０６は、判定手段１０３により出力された判定フラグＣ（ｔ）が直近（現時点を含む）に１となってからｅ時点先までの間（ｅを継続時間と呼ぶ；ｅは１以上の整数）だけＳ（ｔ）を１とする（式（８））。

【0051】

【数10】

以上の構成を有することで、画像の特徴に変換があったフレームを継続時間だけ連続して表示することが可能となり、このフレームを強調することができるようになる。

【0052】

＜具体例＞
次に、実施例１における画像処理の具体例について説明する。この具体例では、例えば、継続時間ｅ＝２としたときの出力映像がどのようになるかについて説明する。

【0053】

図２は、実施例１における画像処理の具体例を説明するための図である。図２に示す例では、入力映像を上段のフレーム群（ｆｍ１１乃至ｆｍ１８に示すＡ（１）乃至Ａ（８））とし、出力映像を下段のフレーム群（ｆｍ２１乃至ｆｍ２８に示すＢ（１）乃至Ｂ（８））とする。

【0054】

図２に示す入力映像においては、ｆｍ１３に示す入力フレームＡ（３）がフラッシュの閃光によって明るく撮像されている。一方、他の入力フレーム群（ｆｍ１１、ｆｍ１２およびｆｍ１４乃至ｆｍ１８に示すＡ（１）、Ａ（２）およびＡ（４）乃至Ａ（８））は暗く撮像されている。

【0055】

このとき、上述した判定手段１０３が、式（５）を用いて時間的変化を判定した場合、入力フレームＡ（２）と入力フレームＡ（３）との差分が第１の閾値θより大きいとし、時点ｔ＝３において判定フラグＣ（３）が１となる。

【0056】

また、判定手段１０３は、他の時点では、フレーム間の輝度値の総和の差分が第１の閾値θ以下と判定し、Ｃ（ｔ）＝０とする。よって、画像記憶手段１０４は、判定フラグＣ（３）に基づいて、ｔ＝３時点のフレームＡ（３）を記憶する。

【0057】

次に、制御手段１０６は、時点ｔ＝３より継続時間ｅ＝２だけ（すなわち、ｔ＝３，４，５の間だけ）画像記憶手段１０４から出力されたフレームＡ（３）を出力し、その他の時点ｔにおいては、時点ｔにおける入力フレームＡ（ｔ）を出力するよう制御する。

【0058】

ここで、イントラ符号化を含む映像符号化を行った場合、画像の特徴が変化したフレームで画質が劣化しやすくなり、このフレームを強調することは困難である。しかし、実施例１によれば、例えばフレームＢ（５）ではフレームＢ（３）よりも画質が向上していることが期待され、このフレームＢ（５）を一時停止するなどしてこのフレームを強調して表示することができるようになる。

【0059】

＜動作＞
次に、実施例１における画像処理装置１の動作について説明する。図３は、実施例１における画像処理装置１の画像処理の一例を示すフローチャートである。図３に示すステップＳ１０１で、特徴抽出手段１０１は、入力映像から画像特徴Ｆ（ｔ）を抽出する。特徴抽出手段１０１は、例えば、式（１）乃至式（３）のいずれかを用いて画像特徴を抽出すればよい。

【0060】

ステップＳ１０２で、遅延手段１０２は、抽出された画像特徴Ｆ（ｔ）を記憶し、所定時間遅延させる。所定時間は、例えば１フレーム分などである。

【0061】

ステップＳ１０３で、判定手段１０３は、現在のフレームの画像特徴Ｆ（ｔ）と、遅延手段１０２により遅延された画像特徴Ｆ（ｔ−ｄ）とを比較する。

【0062】

ステップＳ１０４で、判定手段１０３は、比較の結果、画像特徴に時間的変化があったか否かを判定する。判定手段１０３は、例えば、式（４）乃至式（６）のいずれかを用いればよい。

【0063】

判定結果が時間的変化あり（Ｃ（ｔ）＝１）であれば（ステップＳ１０４−ＹＥＳ）ステップＳ１０５に進み、判定結果が時間的変化なし（Ｃ（ｔ）＝０）であれば（ステップＳ１０４−ＮＯ）ステップＳ１０６に進む。

【0064】

ステップＳ１０５で、画像記憶手段１０４は、判定手段１０３からの判定フラグＣ（ｔ）が「１」であるため、入力されたフレーム（入力フレーム）を記憶する。

【0065】

ステップＳ１０６で、制御手段１０６は、過去所定フレーム数（継続時間ｅ）以内に特徴変化（時間的変化）があるか否かを判定する。過去所定フレーム数以内に特徴変化があれば（ステップＳ１０６−ＹＥＳ）ステップＳ１０７に進み、過去所定フレーム数以内に特徴変化がなければ（ステップＳ１０６−ＮＯ）ステップＳ１０８に進む。

【0066】

ステップＳ１０７で、出力手段１０５は、制御手段１０６からの制御信号Ｓ（ｔ）（Ｓ（ｔ）＝１）に基づいて、画像記憶手段１０４に記憶されたフレームを出力する。

【0067】

ステップＳ１０８で、出力手段１０５は、制御手段１０６からの制御信号Ｓ（ｔ）（Ｓ（ｔ）＝０）に基づいて、入力フレームを出力する。

【0068】

ステップＳ１０９で、画像処理装置１は、全映像の処理を終了したか否かを判定する。全映像の処理が終了していれば（ステップＳ１０９−ＹＥＳ）この画像処理を終了し、全映像の処理が終了していなければ（ステップＳ１０９−ＮＯ）ステップＳ１０１に戻る。

【0069】

以上、実施例１によれば、画像の特徴が変化する映像を強調することができる。例えば、画像の特徴が時間的に変化したフレームを特定し、このフレームを継続時間だけ連続させることで、このフレームを強調することができるようになる。よって、画像の状態が変化した決定的な瞬間の映像を継続的に出力することで、本装置の後段で非可逆の映像符号化が行なわれても、決定的な瞬間の映像の画質劣化を防ぐことができる。

【0070】

［実施例２］
次に、実施例２における画像処理装置について説明する。実施例２では、画像の特徴が変化したときのフレームと、その後続のフレームとを記憶し、継続したフレームの後に、記憶されたフレームを出力するようにする。これにより、同一フレームの継続出力によりずれた再生のタイミングについて、後続のフレームを用いてスムーズに入力フレームに切り替えることができるようになる。

【0071】

＜構成＞
実施例２における画像処理装置の構成は、実施例１における画像処理装置１の構成と同様であるため、同じ符号を用いて説明する。以下に説明する構成以外の構成は、実施例１の構成と同様である。

【0072】

画像記憶手段１０４は、画像の特徴の「時間的変化あり」となった時点のフレームと、このフレーム以降の所定数のフレーム（以下、後続フレームと呼ぶ）を記憶する。後続フレームは、変化があった時点のフレーム以降の所定数のフレームであってもよいし、変化があった時点のフレーム以降のフレームで連続していない（例えば飛び飛び）所定数のフレームであってもよい。

【0073】

例えば、画像記憶手段１０４は、「時間的変化あり」と判定された時点をｔ_１としたとき、フレームＡ（ｔ_１）およびフレームＡ（ｔ_１＋２）を記憶する。

【0074】

また、画像記憶手段１０４は、過去直近（現時点ｔを含む）に「時間的変化あり」と判定された時点（ｔ_１とおく；ｔ_１≦ｔ）の映像フレームＡ（ｔ_１）を、時点ｔ_１および以降所定の継続時間ｅ（ｅは１以上の整数）にわたってＡ（ｔ_１）を出力する。

【0075】

さらに、画像記憶手段１０４は、時点ｔ_１＋ｅ＋１から時点ｔ_１＋ｅ＋ｆ（以下、ｆを後続フレーム数と呼ぶ；ｆは１以上の整数）まで、記憶した後続フレームを順次（飛び飛びのフレームとしてもよい）出力手段１０５に出力する。

【0076】

後続フレーム数がｆ＝１の場合、例えば、画像記憶手段１０４は、時点ｔ_１＋ｅ＋１において後続フレームＡ（ｔ_１＋２）を出力する。

【0077】

このようにして、画像記憶手段１０４から時点ｔにおいて出力されるフレームをＤ（ｔ）とおく。

【0078】

出力手段１０５は、入力映像の現フレームＡ（ｔ）と、画像記憶手段１０４から出力されるフレームＤ（ｔ）とのいずれか一方を出力する。出力手段１０５は、例えば後述する制御手段１０６からの制御信号Ｓ（ｔ）に応じて選択し、選択されたフレームを出力映像Ｂの時刻ｔにおけるフレームＢ（ｔ）として出力する（式（９））。

【0079】

【数11】

制御手段１０６は、継続時間ｅだけ、「時間的変化あり」のフレームを出力するよう制御し、その後のｆフレーム分を画像記憶手段１０４に記憶された所定フレームを出力するよう制御する。

【0080】

制御手段１０６は、例えば、判定手段１０３により出力された判定フラグＣ（ｔ）に基づき、出力手段１０５を制御するための制御信号Ｓ（ｔ）を生成し、出力手段１０５に対して出力する。

【0081】

例えば、制御手段１０６は、判定手段１０３により出力された判定フラグＣ（ｔ）が直近（現時点を含む）に１となってからｅ＋ｆ時点先までの間だけＳ（ｔ）を１とする（式（１０））。

【0082】

【数12】

以上の構成を有することで、画像の特徴に変換があったフレームを継続時間だけ連続して表示することが可能となり、このフレームを強調するとともに、記憶されたフレームから入力フレームへの切り替えをスムーズに行うことができるようになる。

【0083】

＜具体例＞
次に、実施例２における画像処理の具体例について説明する。この具体例では、例えば、継続時間ｅ＝２、ｆ＝１としたときの出力映像がどのようになるかについて説明する。

【0084】

図４は、実施例２における画像処理の具体例を説明するための図である。図４に示す例では、入力映像を上段のフレーム群（ｆｍ１１乃至ｆｍ１８に示すＡ（１）乃至Ａ（８））とし、出力映像を下段のフレーム群（ｆｍ３１乃至ｆｍ３８に示すＢ（１）乃至Ｂ（８））とする。

【0085】

図４に示す入力映像においては、ｆｍ１３に示す入力フレームＡ（３）がフラッシュの閃光によって明るく撮像されている。一方、他の入力フレーム群（ｆｍ１１、ｆｍ１２およびｆｍ１４乃至ｆｍ１８に示すＡ（１）、Ａ（２）およびＡ（４）乃至Ａ（８））は暗く撮像されている。

【0086】

このとき、上述した判定手段１０３が、式（５）を用いて時間的変化を判定した場合、入力フレームＡ（２）と入力フレームＡ（３）との差分が第１の閾値θより大きいとし、時点ｔ＝３において判定フラグＣ（３）が１となる。

【0087】

また、判定手段１０３は、他の時点では、フレーム間の輝度値の総和の差分が第１の閾値θ以下と判定し、Ｃ（ｔ）＝０とする。よって、画像記憶手段１０４は、判定フラグＣ（３）に基づいて、ｔ＝３時点のフレームＡ（３）と、後続フレーム、例えば２フレーム後のフレームＡ（５）を記憶する。

【0088】

次に、制御手段１０６は、時点ｔ＝３より継続時間ｅ＝２だけ（すなわち、図４に示すｆｍ３３乃至ｆｍ３５に示すｔ＝３，４，５の間だけ）画像記憶手段１０４から出力されるＤ（ｔ）＝Ａ（３）を出力するよう制御する。

【0089】

制御手段１０６は、その後のｆ＝１フレームにわたって（すなわち、図４に示すｆｍ３６に示すｔ＝６だけ）画像記憶手段１０４から出力されるＤ（ｔ）＝Ａ（５）を出力するよう制御する。制御手段１０６は、その他の時点ｔにおいては、時点ｔにおける入力フレームＡ（ｔ）を出力するよう制御する。

【0090】

これにより、同一フレームの継続出力によりずれた再生のタイミングについて、後続のフレームを用いてスムーズに入力フレームに切り替えることができるようになる。

【0091】

＜動作＞
次に、実施例２における画像処理装置の動作について説明する。図５は、実施例２における画像処理装置の画像処理の一例を示すフローチャートである。図５に示すステップＳ２０１〜Ｓ２０３の処理は、図３に示すステップＳ１０１〜Ｓ１０３の処理と同様であるため、その説明を省略する。

【0092】

ステップＳ２０４で、判定手段１０３は、比較の結果、過去第１のフレーム数以内に、画像特徴に時間的変化があったか否かを判定する。第１のフレームは、例えば、後続フレーム数である。

【0093】

判定結果が時間的変化あり（Ｃ（ｔ）＝１）であれば（ステップＳ２０４−ＹＥＳ）ステップＳ２０５に進み、判定結果が時間的変化なし（Ｃ（ｔ）＝０）であれば（ステップＳ２０４−ＮＯ）ステップＳ２０６に進む。

【0094】

ステップＳ２０５で、画像記憶手段１０４は、判定手段１０３からの判定フラグＣ（ｔ）が「１」であるため、入力されたフレーム（入力フレーム）を記憶する。

【0095】

ステップＳ２０６で、制御手段１０６は、過去第２のフレーム数（継続時間ｅ）以内に特徴変化（時間的変化）があるか否かを判定する。過去第２のフレーム数以内に特徴変化があれば（ステップＳ２０６−ＹＥＳ）ステップＳ２０７に進み、過去第２のフレーム数以内に特徴変化がなければ（ステップＳ２０６−ＮＯ）ステップＳ２０８に進む。

【0096】

ステップＳ２０７で、出力手段１０５は、制御手段１０６からの制御信号Ｓ（ｔ）（Ｓ（ｔ）＝１）に基づいて、画像記憶手段１０４に記憶されたフレーム（時間的変化があったフレーム）を出力する。

【0097】

ステップＳ２０８で、制御手段１０６は、現フレームが時間的変化があったフレームから第３のフレーム数（ｅ＋ｆ）以内であるか否かを判定する。第３のフレーム数以内であれば（ステップＳ２０８−ＹＥＳ）ステップＳ２０９に進み、第３のフレーム数以内でなければ（ステップＳ２０８−ＮＯ）ステップＳ２１０に進む。

【0098】

ステップＳ２０９で、出力手段１０５は、制御手段１０６からの制御信号Ｓ（ｔ）（Ｓ（ｔ）＝１）に基づいて、画像記憶手段１０４に記憶された後続フレームを出力する。

【0099】

ステップＳ２１０で、出力手段１０５は、制御手段１０６からの制御信号Ｓ（ｔ）（Ｓ（ｔ）＝０）に基づいて、入力フレームを出力する。

【0100】

ステップＳ２１１で、画像処理装置１は、全映像の処理を終了したか否かを判定する。全映像の処理が終了していれば（ステップＳ２１１−ＹＥＳ）この画像処理を終了し、全映像の処理が終了していなければ（ステップＳ２１１−ＮＯ）ステップＳ２０１に戻る。

【0101】

以上、実施例２によれば、画像の特徴が変化する映像を強調することができる。例えば、画像の特徴が時間的に変化したフレームを特定し、このフレームを継続時間だけ連続させることで、このフレームを強調するとともに、同一フレームの継続出力によりずれた再生のタイミングについて、後続のフレームを用いてスムーズに入力フレームに切り替えることができる。

【0102】

［実施例３］
次に、実施例３における画像処理装置について説明する。実施例３では、本装置の後段に映像符号化が行われることを前提とし、ＧＯＰ（Group Of Picture）構造の符号化順に従って、実施例１や実施例２の処理を行う。これにより、映像符号化におけるフレーム間予測の予測精度が向上するため、同一ビットレートにおいて画質を改善し、レート歪み特性を改善することができる。

【0103】

＜構成＞
図６は、実施例３における画像処理装置３の構成の一例を示すブロック図である。図６に示す例では、画像処理装置３は、前処理手段３０１と、特徴抽出手段１０１と、遅延手段１０２と、判定手段１０３と、画像記憶手段１０４と、出力手段１０５と、制御手段１０６と、後処理手段３０２とを有する。

【0104】

実施例３における画像処理装置３の構成で、実施例１や実施例２における構成と同様のものは同じ符号を付し、その説明を省略する。なお、後処理手段３０２は、本装置の後段で映像符号化処理が行われるので、必ずしも必要な構成ではない。

【0105】

前処理部３０１は、入力された映像を、映像符号化技術におけるＧＯＰ構造を考慮して、符号化順に並べ替える。前処理部３０１は、並べ替えられた各フレームを入力映像として、特徴抽出手段１０１などに出力する。

【0106】

特徴抽出手段１０１〜制御手段１０６の各構成は、実施例１や実施例２で説明した処理を実行する。

【0107】

後処理手段３０２は、出力手段１０５により出力された映像の各フレームを、表示順に並べ替えて出力映像として出力する。なお、後段で映像符号化が行われることを考慮すると、後処理手段３０２は、必ずしも必要ではない。

【0108】

後処理手段３０２を画像処理装置３に設けない場合、本装置の後段の映像符号化は、出力手段１０５により出力された順序で映像符号化を行うことができる。また、画像処理装置３は、映像符号化回路を含める構成にしてもよい。

【0109】

映像符号化技術は、例えばＭＰＥＧ（Moving Picture Experts Group）２や、Ｈ．２６４／ＡＶＣ（Advanced Video Coding）などである。

【0110】

以上の構成を有することで、画像の特徴に変換があったフレームを、映像符号化を考慮して継続時間だけ連続して表示することが可能となり、このフレームを強調するとともに、画質を向上させることができるようになる。

【0111】

＜具体例＞
次に、実施例３における画像処理の具体例について説明する。この具体例では、例えば継続時間ｅ＝２としたときであり、符号化順に並べ替えて処理した場合の出力映像がどのようになるかについて説明する。

【0112】

図７は、実施例３における画像処理の具体例を説明するための図である。図７に示す例では、例えばｆｍ１１乃至ｆｍ１９に示すような、ＩＢＰＢＰＢＰＢＰＢＰＢＰなるＧＯＰ構造とする。
Ｉ：イントラピクチャまたはスライス
Ｐ：前方向予測ピクチャまたはスライス
Ｂ：双方向予測ピクチャまたはスライス
この場合、前処理手段３０１は、入力されたフレーム順序ではなく、図７に示すｆｍ４１乃至ｆｍ４９に示すような符号化の処理順序（ＩＰＢＰＢＰＢＰＢ）に並べ替える。なお、図７に示す各フレーム内の番号は、入力順を示す。

【0113】

特徴抽出手段１０１以降の各手段は、整順したフレーム順序において、例えば、実施例１で説明した画像処理を実行する。

【0114】

図７に示すｆｍ５１乃至ｆｍ５９は、実施例１で説明した画像処理を行った結果を示す。図７に示すように、ｆｍ５２乃至ｆｍ５４のフレームが同一のフレームとなる。

【0115】

次に、後処理手段３０２は、図７に示すｆｍ５１乃至ｆｍ５９を、入力映像の順序に並べ替えて、出力映像とする。後処理手段３０２による並べ替え後のフレーム群を、ｆｍ６１乃至ｆｍ６９に示す。

【0116】

なお、フレームの並べ替えは、実際にフレーム順序を並べ替えるのではなく、画像処理装置３において、論理的に順序を並べ替えて処理を行ってもよい。

【0117】

＜動作＞
次に、実施例３における画像処理装置３の動作について説明する。図８は、実施例３における画像処理装置３の画像処理の一例を示すフローチャートである。図８に示す処理は、実施例１における画像処理を前提としているが、実施例２における画像処理を前提としてもよい。

【0118】

ステップＳ３０１で、前処理手段３０１は、入力された映像の各フレームを、映像符号化の符号化順に並べ替えて出力する。

【0119】

ステップＳ３０２〜Ｓ３１０の各処理は、図３に示すステップＳ１０１〜Ｓ１０９の各処理と同様である。

【0120】

ステップＳ３１１で、後処理手段３０２は、出力手段１０５から出力された映像の各フレームを、元の入力順に並べ替えて、出力映像として出力する。

【0121】

以上、実施例３によれば、画像の特徴が変化する映像を強調することができる。例えば、画像の特徴が時間的に変化したフレームを特定し、このフレームを継続時間だけ連続させて強調するとともに、映像符号化におけるフレーム間予測の予測精度が向上するため、同一ビットレートにおいて画質を改善し、レート歪み特性を改善することができる。

【0122】

［実施例４］
図９は、実施例４における画像処理装置４の構成の一例を示すブロック図である。図９に示す画像処理装置４は、上述した実施例１〜３で説明した各画像処理をソフトウェアで実装した装置の一例である。

【0123】

図９に示すように、画像処理装置４は、制御部４０１、主記憶部４０２、補助記憶部４０３、ドライブ装置４０４、ネットワークＩ／Ｆ部４０６、入力部４０７、表示部４０８を有する。これら各構成は、バスを介して相互にデータ送受信可能に接続されている。

【0124】

制御部４０１は、コンピュータの中で、各装置の制御やデータの演算、加工を行うＣＰＵである。また、制御部４０１は、主記憶部４０２又は補助記憶部４０３に記憶された画像処理のプログラムを実行する演算装置である。制御部４０１は、入力部４０７や記憶装置からデータを受け取り、演算、加工した上で、表示部４０８や記憶装置などに出力する。

【0125】

制御部４０１は、上述した画像処理のプログラムを実行することで、各実施例で説明した処理を実現することができる。

【0126】

主記憶部４０２は、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）などである。主記憶部４０２は、制御部４０１が実行する基本ソフトウェアであるＯＳ（Operating System）やアプリケーションソフトウェアなどのプログラムやデータを記憶又は一時保存する記憶装置である。

【0127】

補助記憶部４０３は、ＨＤＤ（Hard Disk Drive）などであり、アプリケーションソフトウェアなどに関連するデータを記憶する記憶装置である。

【0128】

ドライブ装置４０４は、記録媒体４０５、例えばフレキシブルディスクからプログラムを読み出し、記憶部にインストールする。

【0129】

また、記録媒体４０５に、所定のプログラムを格納し、この記録媒体４０５に格納されたプログラムはドライブ装置４０４を介して画像処理装置４にインストールされる。インストールされた所定のプログラムは、画像処理装置４により実行可能となる。

【0130】

ネットワークＩ／Ｆ部４０６は、有線及び／又は無線回線などのデータ伝送路により構築されたＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）などのネットワークを介して接続された通信機能を有する周辺機器と画像処理装置４とのインターフェースである。

【0131】

入力部４０７は、カーソルキー、数字入力及び各種機能キー等を備えたキーボード、表示部４０８の表示画面上でキーの選択等を行うためのマウスやスライスパット等を有する。また、入力部４０７は、ユーザが制御部４０１に操作指示を与えたり、データを入力したりするためのユーザインターフェースである。

【0132】

表示部４０８は、ＣＲＴ（Cathode Ray Tube）やＬＣＤ（Liquid Crystal Display）等により構成され、制御部４０１から入力される表示データに応じた表示が行われる。

【0133】

なお、実施例１〜３で説明した遅延手段や画像記憶手段は、例えば主記憶部４０２又は補助記憶部４０３により実現されうる。また、実施例１〜３で説明した遅延手段や画像記憶手段以外の構成は、例えば制御部４０１及びワークメモリとしての主記憶部４０２により実現されうる。

【0134】

画像処理装置４で実行されるプログラムは、実施例１〜３で説明した各手段を含むモジュール構成となっている。実際のハードウェアとしては、制御部４０１が補助記憶部４０３からプログラムを読み出して実行することにより上記各手段のうち１又は複数の各手段が主記憶部４０２上にロードされ、１又は複数の各部が主記憶部４０２上に生成されるようになっている。

【0135】

このように、上述した実施例１〜３で説明した各画像処理（映像強調処理）は、コンピュータに実行させるためのプログラムとして実現されてもよい。このプログラムをサーバ等からインストールしてコンピュータに実行させることで、各実施例で説明した処理を実現することができる。

【0136】

また、このプログラムを記録媒体４０５に記録し、このプログラムが記録された記録媒体４０５をコンピュータや携帯端末に読み取らせて、前述した画像処理を実現させることも可能である。なお、記録媒体４０５は、ＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク等の様に情報を光学的，電気的或いは磁気的に記録する記録媒体、ＲＯＭ、フラッシュメモリ等の様に情報を電気的に記録する半導体メモリ等、様々なタイプの記録媒体を用いることができる。

【0137】

なお、上述した実施例１〜３で説明した各手段は、各種の集積回路や電子回路を採用できる。また、実施例１〜３で説明した各手段の一部を別の集積回路や電子回路とすることもできる。例えば、集積回路としては、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）が挙げられる。また、電子回路としては、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）などが挙げられる。

【0138】

以上、各実施例について詳述したが、特定の実施例に限定されるものではなく、特許請求の範囲に記載された範囲内において、上記変形例以外にも種々の変形及び変更が可能である。

【符号の説明】

【0139】

１、３、４ 画像処理装置
１０１ 特徴抽出手段
１０２ 遅延手段
１０３ 判定手段
１０４ 画像記憶手段
１０５ 出力手段
１０６ 制御手段
３０１ 前処理手段
３０２ 後処理手段

【図1】

【図3】

【図5】

【図6】

【図8】

【図9】

【図2】

【図4】

【図7】