特許 6792541 画像生成装置、画像生成方法及び画像生成プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6792541

(24)【登録日】2020年11月10日

(45)【発行日】2020年11月25日

(54)【発明の名称】画像生成装置、画像生成方法及び画像生成プログラム

(51)【国際特許分類】

   H04N 7/01 20060101AFI20201116BHJP

   H04N 5/217 20110101ALI20201116BHJP

   G06T 7/32 20170101ALI20201116BHJP

【ＦＩ】

   H04N7/01 270

   H04N7/01 350

   H04N5/217 010

   G06T7/32

【請求項の数】4

【全頁数】17

(21)【出願番号】特願2017-218550(P2017-218550)

(22)【出願日】2017年11月13日

(65)【公開番号】特開2019-92013(P2019-92013A)

(43)【公開日】2019年6月13日

【審査請求日】2019年12月18日

(73)【特許権者】

【識別番号】000004226

【氏名又は名称】日本電信電話株式会社

(74)【代理人】

【識別番号】110001634

【氏名又は名称】特許業務法人 志賀国際特許事務所

(72)【発明者】

【氏名】坂東 幸浩

(72)【発明者】

【氏名】高村 誠之

(72)【発明者】

【氏名】清水 淳

【審査官】 鈴木 隆夫

(56)【参考文献】

【文献】 特開２０１２−０２２６５３（ＪＰ，Ａ）

【文献】 国際公開第２０１７／０６４８２９（ＷＯ，Ａ１）

【文献】 特開２０１０−０３５００６（ＪＰ，Ａ）

【文献】 坂東 幸浩, 高村 誠之, 清水 淳，高時間分解能制御による時空間軌道追跡に基づく高画質画像生成アルゴリズムの基礎検討 A study on high quality image generation algorithm based on trajectory tracking with high temporal resolution，第３２回 画像符号化シンポジウム 第２２回 映像メディア処理シンポジウム，日本，２０１７年１１月２０日，pp.138-139

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ７／０１

Ｇ０６Ｔ ７／３２

Ｈ０４Ｎ ５／２１７

(57)【特許請求の範囲】

【請求項1】

対象フレームと複数の参照フレームとを取得する動画像取得部と、
前記対象フレーム内の対象画素ごとに前記参照フレーム内の第１対応位置を検出する第１検出部と、
前記第１対応位置の近傍の第１参照画素ごとに、画素値の第１重み係数を生成する第１重み生成部と、
前記第１参照画素の画素値と前記第１重み係数とに基づいて、前記対象画素の画素値の第１近似値を生成する第１近似値生成部と、
前記第１近似値に基づいて、前記対象画素の画素値を更新する第１更新処理部と、
を備える画像生成装置。

【請求項2】

更新された画素値の前記対象画素ごとに前記参照フレームの第２対応位置を検出する第２検出部と、
前記第２対応位置の近傍の第２参照画素ごとに、画素値の第２重み係数を生成する第２重み生成部と、
前記第２参照画素の画素値と前記第２重み係数とに基づいて、更新された画素値の前記対象画素の画素値の第２近似値を生成する第２近似値生成部と、
前記第２近似値に基づいて、更新された画素値の前記対象画素の画素値を再び更新する第２更新処理部と、
を更に備える、請求項１に記載の画像生成装置。

【請求項3】

画像生成装置が実行する画像生成方法であって、
対象フレームと複数の参照フレームとを取得するステップと、
前記対象フレーム内の対象画素ごとに前記参照フレーム内の第１対応位置を検出するステップと、
前記第１対応位置の近傍の第１参照画素ごとに、画素値の第１重み係数を生成するステップと、
前記第１参照画素の画素値と前記第１重み係数とに基づいて、前記対象画素の画素値の第１近似値を生成するステップと、
前記第１近似値に基づいて、前記対象画素の画素値を更新するステップと
を含む画像生成方法。

【請求項4】

コンピュータに、
対象フレームと複数の参照フレームとを取得する手順と、
前記対象フレーム内の対象画素ごとに前記参照フレーム内の第１対応位置を検出する手順と、
前記第１対応位置の近傍の第１参照画素ごとに、画素値の第１重み係数を生成する手順と、
前記第１参照画素の画素値と前記第１重み係数とに基づいて、前記対象画素の画素値の第１近似値を生成する手順と、
前記第１近似値に基づいて、前記対象画素の画素値を更新する手順と
を実行させるための画像生成プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像生成装置、画像生成方法及び画像生成プログラムに関する。

【背景技術】

【0002】

従来のカメラは、光学系の開口時間を変更することによって、時間方向の画質である動きボケ及び重畳雑音を制御する。カメラが開口時間を短くすれば動きボケは低減するが、開口時間の短縮によって受光量が減少するため、重畳雑音は増加してしまう。このように、動きボケの低減と重畳雑音の低減とは、トレードオフの関係にある。つまり、雑音重畳を回避したい場合、従来のカメラは、動きボケを許容して一定の開口時間を確保する必要がある。動きボケを回避したい場合、従来のカメラは、雑音重畳を許容して開口時間を制限する必要がある。

【0003】

昨今の半導体技術の進歩を受け、高速度カメラにおける動画像のフレームレートが大きく向上している。高速度カメラにより取得された高フレームレート画像の用途は、画像再生時の高画質化と画像解析の高精度化とに分類される。

【0004】

画像再生時の高画質化は、視覚系で検知可能（ディスプレイで表示可能）なフレームレートの上限に迫ることにより、滑らかな動きを表現することが目的である。このため、画像再生時の高画質化は、ディスプレイ装置でのリアルタイム再生（１倍速再生）を前提としている。

【0005】

一方、画像解析の高精度化は、視覚の検知限を越えた高フレームレート画像を用いることにより、画像解析の高精度化を行うことが目的である。スポーツ選手、ＦＡ・検査、自動車等の高速移動物体のスロー再生による画像解析は、代表的な応用例である。

【0006】

動画像の入力システムのフレームレートの上限と動画像の出力システムのフレームレートの上限とは非対称である。現在では、動画像の入力システムである高速度カメラのフレームレートの上限は、１００００ｆｐｓを超えている。一方、動画像の出力システムであるディスプレイ装置のフレームレートの上限は、１２０ｆｐｓから２４０ｆｐｓである。このため、高速度カメラで撮影された動画像は、スロー再生に用いられる（特許文献１及び非特許文献１参照）。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特開２００４−２０１１６５号公報

【非特許文献】

【0008】

【非特許文献1】A. Golwelkar and J. Woods. Motion-compensated temporal filtering and motion vector coding using biorthogonal filter. IEEE Trans. Circuits Syst. Video, Vol. CSVT-17, No.4, 2007.

【発明の概要】

【発明が解決しようとする課題】

【0009】

しかしながら、動きボケや雑音低減を目的とした画像生成処理では、画像生成装置が再生フレームレートでフレームをサンプリングすることが前提となっている。このため、従来の画像生成装置は、再生フレームレートよりも高い時間分解能ではフレームをサンプリングしていない。

【0010】

高フレームレート画像は、時間方向に高密度でサンプリングされたフレーム群を含んでいる。画像生成装置は、１０００Ｈｚ等の高密度時間サンプリングされたフレーム群を用いて３０Ｈｚ等のリアルタイム再生用の画像を生成した場合、動きボケが低減されたリアルタイム再生用の画像を生成することが可能である。しかしながら、従来の画像生成装置は、動きボケ及び重畳雑音が低減されたリアルタイム再生用の画像を生成することができない場合があった。

【0011】

上記事情に鑑み、本発明は、動きボケ及び重畳雑音が低減されたリアルタイム再生用の画像を生成することが可能である画像生成装置、画像生成方法及び画像生成プログラムを提供することを目的としている。

【課題を解決するための手段】

【0012】

本発明の一態様は、対象フレームと複数の参照フレームとを取得する動画像取得部と、前記対象フレーム内の対象画素ごとに前記参照フレーム内の第１対応位置を検出する第１検出部と、前記第１対応位置の近傍の第１参照画素ごとに、画素値の第１重み係数を生成する第１重み生成部と、前記第１参照画素の画素値と前記第１重み係数とに基づいて、前記対象画素の画素値の第１近似値を生成する第１近似値生成部と、前記第１近似値に基づいて、前記対象画素の画素値を更新する第１更新処理部と、を備える画像生成装置である。

【0013】

本発明の一態様は、上記の画像生成装置であって、更新された画素値の前記対象画素ごとに前記参照フレームの第２対応位置を検出する第２検出部と、前記第２対応位置の近傍の第２参照画素ごとに、画素値の第２重み係数を生成する第２重み生成部と、前記第２参照画素の画素値と前記第２重み係数とに基づいて、更新された画素値の前記対象画素の画素値の第２近似値を生成する第２近似値生成部と、前記第２近似値に基づいて、更新された画素値の前記対象画素の画素値を再び更新する第２更新処理部と、を更に備える。

【0014】

本発明の一態様は、画像生成装置が実行する画像生成方法であって、対象フレームと複数の参照フレームとを取得するステップと、前記対象フレーム内の対象画素ごとに前記参照フレーム内の第１対応位置を検出するステップと、前記第１対応位置の近傍の第１参照画素ごとに、画素値の第１重み係数を生成するステップと、前記第１参照画素の画素値と前記第１重み係数とに基づいて、前記対象画素の画素値の第１近似値を生成するステップと、前記第１近似値に基づいて、前記対象画素の画素値を更新するステップとを含む画像生成方法である。

【0015】

本発明の一態様は、コンピュータに、対象フレームと複数の参照フレームとを取得する手順と、前記対象フレーム内の対象画素ごとに前記参照フレーム内の第１対応位置を検出する手順と、前記第１対応位置の近傍の第１参照画素ごとに、画素値の第１重み係数を生成する手順と、前記第１参照画素の画素値と前記第１重み係数とに基づいて、前記対象画素の画素値の第１近似値を生成する手順と、前記第１近似値に基づいて、前記対象画素の画素値を更新する手順とを実行させるための画像生成プログラムである。

【発明の効果】

【0016】

本発明により、動きボケ及び重畳雑音が低減されたリアルタイム再生用の画像を生成することが可能である。

【図面の簡単な説明】

【0017】

【図1】実施形態における、画像生成装置の構成の例を示す図である。

【図2】実施形態における、初期合成画像生成部の構成の例を示す図である。

【図3】実施形態における、合成画像生成部の構成の例を示す図である。

【図4】実施形態における、合成画像更新部の構成の例を示す図である。

【図5】実施形態における、画像生成装置の動作の例を示すフローチャートである。

【図6】実施形態における、初期合成画像生成部の動作の例を示すフローチャートである。

【図7】実施形態における、画像生成装置の詳細動作の例を示すフローチャートである。

【発明を実施するための形態】

【0018】

本発明の実施形態について、図面を参照して詳細に説明する。
図１は、画像生成装置１の構成の例を示す図である。画像生成装置１は、画像を生成する装置である。画像生成装置１は、動きボケ及び重畳雑音が低減されたリアルタイム再生用の画像を生成する。画像生成装置１は、入力画像記憶部１０と、初期合成画像生成部２０と、合成画像記憶部３０と、合成画像更新部４０と、更新終了判定部５０とを備える。

【0019】

入力画像記憶部１０と合成画像記憶部３０とは、例えばフラッシュメモリ、ＨＤＤ（Hard Disk Drive）などの不揮発性の記録媒体（非一時的な記録媒体）である。入力画像記憶部１０と合成画像記憶部３０とは、例えば、ＲＡＭ（Random Access Memory）やレジスタなどの揮発性の記録媒体を有してもよい。入力画像記憶部１０は、画像生成装置１に入力された画像データである入力画像を記憶する。

【0020】

初期合成画像生成部２０と合成画像更新部４０と更新終了判定部５０とのうち一部又は全部は、例えば、ＣＰＵ（Central Processing Unit）等のプロセッサが、記憶部に記憶されたプログラムを実行することにより実現される。各機能部のうち一部又は全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）等のハードウェアを用いて実現されてもよい。

【0021】

図２は、初期合成画像生成部２０の構成の例を示す図である。初期合成画像生成部２０は、更新される合成画像の初期画像である初期合成画像を生成する。初期合成画像生成部２０は、入力画像記憶部２１と、局所近傍領域設定部２２と、対応位置同定部２３と、合成画像生成部２４と、最終画素判定部２５とを備える。

【0022】

入力画像記憶部２１は、フィルタリング処理の対象フレームと参照フレームとを記憶する。対象フレーム及び参照フレームは、高フレームレート（高い時間解像度）の動画像のフレームである。動画像の出力システムであるディスプレイ装置のフレームレートの上限が例えば２４０ｆｐｓである場合、高フレームレートは、例えば２４０ｆｐｓを超えるレートである。

【0023】

局所近傍領域設定部２２は、予め定められた順序に基づいて、参照フレームの候補から参照フレームを選択する。局所近傍領域設定部２２は、対象フレーム内の処理対象の画素（以下「対象画素」という。）の局所近傍の領域（以下「局所近傍領域」という。）の画素を、対象フレームに設定する。以下、局所近傍の領域の画素を「局所近傍画素」という。

【0024】

対応位置同定部２３は、局所近傍画素の画素値を、局所近傍領域設定部２２から取得する。対応位置同定部２３は、参照フレームの探索範囲の画素値を、入力画像記憶部２１から取得する。対応位置同定部２３は、対象フレーム内の対象画素について、参照フレーム内の対応位置を同定する。対応位置同定部２３は、対応位置情報を合成画像生成部２４に出力する。

【0025】

図３は、合成画像生成部２４の構成の例を示す図である。合成画像生成部２４は、対応位置と参照フレームとに基づいて、合成画像を生成する。合成画像生成部２４は、合成画像の画素値（更新画素値）を、最終画素判定部２５に出力する。合成画像生成部２４は、参照フレーム設定部２４０と、参照画素設定部２４１と、重み設定部２４２と、近似値生成部２４３と、最終参照フレーム判定部２４４と、画素値更新処理部２４５とを備える。

【0026】

参照フレーム設定部２４０は、入力画像の参照フレームを、入力画像記憶部２１から取得する。参照画素設定部２４１は、参照フレーム内の対応位置の近傍の整数画素位置の画素を、参照画素と設定する。

【0027】

参照画素設定部２４１は、対応位置情報を対応位置同定部２３から取得する。参照画素設定部２４１は、予め定められた全ての参照フレーム内の対応位置の画素の局所近傍領域の画素値を、参照フレーム設定部２４０から取得する。

【0028】

重み設定部２４２は、参照画素の局所近傍領域の画素値で対象画素の局所近傍領域内の画素値を近似した場合に近似誤差が最小となるように、参照画素の重み係数を定める。重み設定部２４２は、参照画素の重み係数を近似値生成部２４３に出力する。

【0029】

近似値生成部２４３は、参照画素値と参照画素の重み係数との加重和を、対象画素の画素値である対象画素値の近似値として算出する。近似値生成部２４３は、対象画素値の近似値を最終参照フレーム判定部２４４に出力する。

【0030】

最終参照フレーム判定部２４４は、予め定められた全ての参照フレームについて対象画素値の近似値を算出する処理が終了したか否かを判定する。対象画素値の近似値を算出する処理がいずれかの参照フレームについて終了していない場合、合成画像生成部２４は、対象画素値の近似値を算出する処理を繰り返す。画素値更新処理部２４５は、いずれかの画素に対する処理が終了していない場合、対象画素値の近似値を算出する処理を次の画素に対して実行する。

【0031】

予め定められた全ての参照フレームについて対象画素値の近似値を算出する処理が終了した場合、画素値更新処理部２４５は、予め定められた全ての参照フレームの近似値と対象画素値とを取得する。画素値更新処理部２４５は、近似値及び対象画素値の平均値を算出する。画素値更新処理部２４５は、近似値及び対象画素値の平均値を、対象画素値の更新値として最終画素判定部２５に出力する。すなわち、画素値更新処理部２４５は、予め定められた全ての画素に対する処理が終了した場合、生成された合成画像（更新画素値）を最終画素判定部２５に出力する。

【0032】

図２に戻り、初期合成画像生成部２０の構成の説明を続ける。最終画素判定部２５は、合成画像の最終画素まで合成画像が生成された場合、生成された合成画像を合成画像記憶部３０に出力する。

【0033】

図４は、合成画像更新部４０の構成の例を示す図である。合成画像記憶部３０は、初期合成画像生成部２０によって生成された画像を記憶する。合成画像更新部４０は、初期合成画像生成部２０によって生成された画像を更新する。合成画像更新部４０は、合成画像記憶部４１と、局所近傍領域設定部４２と、対応位置同定部４３と、合成画像生成部４４と、最終画素判定部４５とを備える。

【0034】

合成画像記憶部４１は、初期合成画像生成部２０によって生成された合成画像（生成画像）と参照フレーム群とを記憶する。
局所近傍領域設定部４２は、予め定められた順序に基づいて、参照フレーム群から参照フレームを選択する。局所近傍領域設定部４２は、対象画素の局所近傍画素を対象フレームに設定する。

【0035】

対応位置同定部４３は、局所近傍画素の画素値を局所近傍領域設定部４２から取得する。対応位置同定部４３は、参照フレームの探索範囲の画素値を、合成画像記憶部４１から取得する。対応位置同定部４３は、対象フレーム内の対象画素について、参照フレーム内の対応位置を同定する。対応位置同定部４３は、対応位置情報を合成画像生成部４４に出力する。

【0036】

合成画像生成部４４の構成は、合成画像生成部２４の構成と同じ構成を含む。合成画像生成部４４は、合成画像生成部２４の動作と同様に動作する。動作の結果、合成画像生成部４４は、対応位置と参照フレームとに基づいて、更新された合成画像を生成する。

【0037】

最終画素判定部４５は、生成された合成画像が合成画像生成部４４によって合成画像の最終画素まで更新された場合、更新された合成画像を更新終了判定部５０に出力する。

【0038】

図１に戻り、画像生成装置１の構成の説明を続ける。更新終了判定部５０は、合成画像更新部４０から出力された合成画像と初期合成画像との差分二乗和が閾値未満となる等の反復の終了条件が満たされている場合、合成画像更新部４０から出力された合成画像を出力する。

【0039】

次に、画像生成装置１の動作の例を説明する。
図５は、画像生成装置１の動作の例を示すフローチャートである。画像生成装置１は、フィルタリング対象となる画像データを取得する（ステップＳ１）。初期合成画像生成部２０は、取得された画像データに基づいて初期合成画像を生成する（ステップＳ２）。

【0040】

図６は、初期合成画像生成部２０の動作の例を示すフローチャートである。図６のフローチャートは、図５のステップＳ２の詳細である。初期合成画像生成部２０は、取得された画像データのフレーム内の全ての対象画素に対して、ステップＳ２ａ−２からステップＳ２ａ−８までの処理を繰り返す（ステップＳ２ａ−１）。

【0041】

初期合成画像生成部２０は、対象画素に対して局所近傍画素を設定する（ステップＳ２ａ−２）。
初期合成画像生成部２０は、参照フレーム内の全ての参照画素に対して、ステップＳ２ａ−４からステップＳ２ａ−７までの処理を繰り返す（ステップＳ２ａ−３）。

【0042】

初期合成画像生成部２０は、局所近傍画素の画素値と参照フレームの探索範囲の画素値とを取得する。初期合成画像生成部２０は、参照フレーム内の対応位置を同定し、同定された対応位置情報を取得する（ステップＳ２ａ−４）。
初期合成画像生成部２０は、対応位置情報に基づいて、対応位置の近傍の整数画素位置の画素（近傍画素）を参照画素として設定する（ステップＳ２ａ−５）。

【0043】

初期合成画像生成部２０は、全ての参照画素の局所近傍領域の画素値と対象画素の局所近傍領域内の画素値とに基づいて、参照画素の重み係数を算出する。初期合成画像生成部２０は、参照画素の局所近傍領域の画素値で対象画素の局所近傍領域内の画素値を近似した場合に近似誤差が最小となるように、参照画素の重み係数を算出する（ステップＳ２ａ−６）。

【0044】

初期合成画像生成部２０は、参照画素値と参照画素の重み係数との加重和を、対象画素値の近似値として算出する（ステップＳ２ａ−７）。
初期合成画像生成部２０は、取得された画像データの全ての参照フレームの近似値及び対象画素値の平均値を、対象画素値の更新値として合成画像記憶部３０に出力する（ステップＳ２ａ−８）。

【0045】

図７は、画像生成装置１の詳細動作の例を示すフローチャートである。図７に示すフローチャートのステップＳ２−１からステップＳ５までは、図５のステップＳ２からステップＳ５までに対応する。

【0046】

入力画像記憶部２１は、指定された対象フレームである第ｔフレームと、指定されたｒ_ｔ枚の参照フレームを記憶する。各フレームは、時間フィルタの入力信号のフレーム間隔ｔ（＝ｊδ_ｔ（ｊ＝０，１，…））でサンプリングされる。ｆ（ｘ，ｙ，ｔ）（ｘ＝０，…，Ｘ−１, ｙ＝０，…，Ｙ−１）は、第ｔフレームの位置ｘ，ｙにおける画素値である。

【0047】

局所近傍領域設定部２２は、フレームの時間位置を表す変数ｔに、ｔ＝ｔ_０−ｔ_ｂ，…，ｔ_０−ｒ_ｔ−ｂ_ｔの順に値を設定する（ステップＳ２−１）。

【0048】

初期合成画像生成部２０は、設定された時間位置ｔのフレームに対して、ステップＳ２−２からステップＳ２−４−４までの処理を実行する。つまり、初期合成画像生成部２０は、（２ｂ_ｔ＋ｒ_ｔ＋１）枚の各フレームに対して、ステップＳ２−２からステップＳ２−４−４の処理を実行する。

【0049】

局所近傍領域設定部２２は、対象フレーム内の対象画素ｆ（ｘ，ｙ，ｔ）に対する局所近傍領域Ｆ_ｂ（ｘ，ｙ，ｔ）として、（２ｂ_ｘ＋１）×（２ｂ_ｙ＋１）×（２ｂ_ｔ＋１）画素から成る領域｛ｆ（ｘ−ｉ，ｙ−ｊ，ｔ−ｋ）｜ｉ∈［−ｂ_ｘ，ｂ_ｘ］，ｊ∈［−ｂ_ｙ，ｂ_ｙ］，ｋ∈［−ｂ_ｔ，ｂ_ｔ］｝を設定する。

【0050】

局所近傍領域設定部２２は、ｒ_ｔ枚の各参照フレームに対して、ステップＳ２−３からステップＳ２−４−４までの処理を実行する。局所近傍領域設定部２２は、処理対象とする参照フレーム（ｔ−ｒ_ｔフレーム）を、１，…，ｒ_ｔの順に設定する。つまり、局所近傍領域設定部２２は、対象フレームから近い参照フレームを優先して処理に使用する（ステップＳ２−２）。

【0051】

対応位置同定部２３は、参照フレーム内において、対象画素の対応位置を同定する。
ステップＳ２−３の詳細を説明する。
対応位置同定部２３は、局所近傍領域Ｆ_ｂ（ｘ，ｙ）と対応点の局所近傍領域との差分二乗和を最小化する参照フレーム内の位置を、式（１）のように同定する。

【0052】

【数1】

【0053】

ここで、ｅ（ｖ_ｘ，ｖ_ｙ，ｒ_ｔ）は、式（２）のように表される。

【0054】

【数2】

【0055】

式（２）は、ｅ（ｖ_ｘ，ｖ_ｙ，ｒ_ｔ−１）を最小化する対応点の位置（Ｖ（ｘ，ｔ’−ｒ_ｔ＋１），Ｖ（ｙ，ｔ’−ｒ_ｔ＋１））を探索中心とした処理を表す。ｒ_ｔは、参照フレームまでの時間間隔を表す。（ｖ_ｘ，ｖ_ｙ）は、探索中心に対する変位量を表す。対象画素位置に対する変位量は、式（３）のように表される。

【0056】

【数3】

【0057】

ここで、ｒｏｕｎｄ（）は、四捨五入によって整数値化された結果を返す関数である。対応位置同定部２３は、（１／４）画素精度で対応点を探索する。対応位置同定部２３は、小数画素位置の値を、バイリニア（bilinear）補間で取得する。

【0058】

【数4】

【0059】

閾値θ_ｅに対して、ｅ（ｖ_ｘ，ｖ_ｙ）＞θ_ｅとなる場合、対応位置同定部２３は、適切な対応点が存在しないものと判定し、（ｖ_ｘ，ｖ_ｙ）を設定しない。閾値θ_ｅは、外部パラメータとして設定される（ステップＳ２−３）。

【0060】

合成画像生成部２４は、対応位置の近傍画素を参照画素とする。
ステップＳ２−４−１（参照画素の設定）の詳細を説明する。
式（３）における、第（ｔ−ｒ_ｔ）フレームにおける対応位置での画素（ｘ−Ｖ（ｘ，ｔ−ｒ_ｔ），ｙ−Ｖ（ｙ，ｔ−ｒ_ｔ））と、その近傍に位置する画素（ｘ−Ｖ（ｘ，ｔ−ｒ_ｔ）＋１，ｙ−Ｖ（ｙ，ｔ−ｒ_ｔ）），（ｘ−Ｖ（ｘ，ｔ−ｒ_ｔ），ｙ−Ｖ（ｙ，ｔ−ｒｔ）＋１），（ｘ−Ｖ（ｘ，ｔ−ｒ_ｔ）＋１，ｙ−Ｖ（ｙ，ｔ−ｒ_ｔ）＋１）とについて、各々の局所近傍領域を考える。

【0061】

合成画像生成部２４は、各近傍領域に含まれる画素をラスター走査順に一元化して、（２ｂ_ｘ＋１）×（２ｂ_ｙ＋１）×（２ｂ_ｔ＋１）次元ベクトルの各ベクトルを算出する。（２ｂ_ｘ＋１）×（２ｂ_ｙ＋１）×（２ｂ_ｔ＋１）次元ベクトルの各ベクトルは、Ｒ_０（ｘ，ｙ，ｔ−ｒ_ｔ）と、Ｒ_１（ｘ，ｙ，ｔ−ｒ_ｔ）と、Ｒ_２（ｘ，ｙ，ｔ−ｒ_t）と、Ｒ_３（ｘ，ｙ，ｔ−ｒ_ｔ）とである。例えば、Ｒ_０（ｘ，ｙ，ｔ−ｒ_ｔ）の要素は、式（５）のように表される。

【0062】

【数5】

【0063】

合成画像生成部２４は、Ｒ_０（ｘ，ｙ，ｔ−ｒ_ｔ）と、Ｒ_１（ｘ，ｙ，ｔ−ｒ_ｔ）と、Ｒ_２（ｘ，ｙ，ｔ−ｒ_t）と、Ｒ_３（ｘ，ｙ，ｔ−ｒ_ｔ）との加重和で、対象画素の局所近傍領域Ｆ_ｂ（ｘ，ｙ，ｔ）を近似する。近似誤差電力Ｅは、式（６）のように表される（ステップＳ２−４−１）。

【0064】

【数6】

【0065】

合成画像生成部２４は、参照画素に重み係数を設定する。
ステップＳ２−４−２の詳細を説明する。
合成画像生成部２４は、近似誤差電力Ｅ（ｘ，ｙ，ｔ−ｒ_ｔ）を最小化する重み係数ｗ_０，ｗ_１，ｗ_２，ｗ_３を算出する。合成画像生成部２４は、重み係数ｗ_０，ｗ_１，ｗ_２を、式（７）に基づいて算出する。

【0066】

【数7】

【0067】

ここで、ｉ，ｊ＝０，１，２に対して、ベクトルの内積値は、式（８）のように表される。

【0068】

【数8】

【0069】

ここで、肩付のｔは転置を表す。合成画像生成部２４は、式（７）に示された重み係数ｗ_０，ｗ_１，ｗ_２を用いて、式（９）のように重み係数ｗ_３を算出する。

【0070】

【数9】

【0071】

式（９）は、重み係数の和が１になるという制約条件の下で近似誤差電力を最小化した結果である。重み係数の和に関して制約条件が設けられていない場合、重み係数は式（１０）のように表される。

【0072】

【数10】

【0073】

ここで、ｉ，ｊ＝０，１，２，３に対して、ベクトルの内積値は、式（１１）のように表される。肩付のｔは転置を表す（ステップＳ２−４−２）。

【0074】

【数11】

【0075】

合成画像生成部２４は、参照画素値と参照画素の重み係数とに基づいて、対象画素の近似値を生成する。
ステップＳ２−４−３の詳細を説明する。
合成画像生成部２４は、式（１１）に示された重み係数を各参照画素の画素値に式（１２）のように乗算することによって、対象画素値の近似値を算出する。合成画像生成部２４は、局所近傍領域単位で画素値に重み係数を乗じるのではなく、画素単位で画素値に重み係数を乗じる。合成画像生成部２４は、ｒ_ｔ枚の参照フレーム（第（ｔ−ｒ_ｔ）フレーム、（ｔ＝１，…，ｒ_ｔ））に対する参照画素値を、式（１２）のように算出する。

【0076】

【数12】

【0077】

ここで、ｒ_ｉ（ｘ，ｙ，ｔ−ｒ_ｔ）は、ｉ＝０，１，２，３に対して、式（１３）のように表される。すなわち、式（１３）は、時刻（ｔ−ｒ_ｔ）に位置する参照フレームに対する参照画素値である（ステップＳ２−４−３）。

【0078】

【数13】

【0079】

合成画像生成部２４は、各参照フレームから得た近似値に信頼度を割り当てる。合成画像生成部２４は、近似値に信頼度を乗じた加重和で対象画素値を更新することによって、合成画像~ｆ（ｘ，ｙ，ｔ）を生成する。

【0080】

ステップＳ２−４−４（対象画素値の更新）の詳細を説明する。
合成画像生成部２４は、式（１２）のように表されるｒ_ｔ枚の参照フレームに対する参照画素値に基づいて、式（１４）のように対象画素値を更新する。

【0081】

【数14】

【0082】

係数ａ_ｋの第１の設定例は、式（１５）及び式（１６）のように表される。

【0083】

【数15】

【0084】

【数16】

【0085】

係数ａ_ｋの第２の設定例は、式（１７）及び式（１８）のように表される。

【0086】

【数17】

【0087】

【数18】

【0088】

ここで、合成画像生成部２４は、各ｘ，ｙ，ｔに対して、｜ｆ（ｘ，ｙ，ｔ）−^ｆ（ｘ，ｙ，ｔ，ｌ_ｔ）｜＜ψを満たすサンプル数として、ｒ’ｔ（ｘ，ｙ，ｔ）を定める。なお、ｒ’_ｔ（ｘ，ｙ，ｔ）の値域は、ｒ_ｔ≦ｒ’ｔ（ｘ，ｙ，ｔ）≦ｒ_ｔである。変数ψは、外部から与えられる閾値パラメータである。

【0089】

係数ａ_ｋの第３の設定例は、式（１９）及び式（２０）のように表される。ここで、εは、ゼロ除算を回避するために付与された微小量である（ステップＳ２−４−４）。

【0090】

【数19】

【0091】

【数20】

【0092】

画像生成装置１は、合成画像の各画素に対して、参照フレーム内の対応点を同定する。対応位置同定部４３は、（２ｂ_ｔ＋ｒ_ｔ＋１）枚の合成画像ｆ（ｘ，ｙ，ｔ）（ｔ＝ｔ_０−ｂ_ｔ，…，ｔ_０−ｒ_ｔ−ｂ_ｔ）に対して、図７のステップＳ２−３の処理と同様の処理を施す。

【0093】

対応位置同定部４３は、~ｆ（ｘ，ｙ，ｔ_０）を対象フレームとして、各参照フレームである各合成画像~ｆ（ｘ，ｙ，ｔ）（ｔ＝ｔ_０−１，…，ｔ_０−ｒ_ｔ）内において、対象画素の対応位置を同定する（ステップＳ３）。

【0094】

画像生成装置１は、ステップＳ１で取得された画像データと対応点とに基づいて、合成画像を生成する。合成画像生成部４４は、各参照フレームに対する対応位置情報を、対応位置同定部４３から取得する。合成画像生成部４４は、原フレームｆ（ｘ，ｙ，ｔ）（ｔ＝ｔ_０−ｂ_ｔ，…，ｔ_０−ｒ_ｔ−ｂ_ｔ）を取得する。合成画像生成部４４は、ステップＳ２−４−１からステップＳ２−４−４までの処理と同様に、合成画像~ｆ（ｘ，ｙ，ｔ）（ｔ＝ｔ_０−ｂ_ｔ，…，ｔ_０−ｒ_ｔ−ｂ_ｔ）を生成する（ステップＳ４）。

【0095】

画像生成装置１は、反復の終了条件を合成画像が満たしているか否かを判定する。反復の終了条件は、例えば、ステップＳ３で取得された合成画像とステップＳ４で出力された合成画像との差分二乗和が閾値未満となるという条件である。更新終了判定部５０は、生成された合成画像~ｆ（ｘ，ｙ，ｔ）（ｔ＝ｔ_０−ｂ_ｔ，…，ｔ_０−ｒ_ｔ−ｂ_ｔ）を、合成画像更新部４０から取得する。更新終了判定部５０は、原フレームを、入力画像記憶部１０から取得する。更新終了判定部５０は、反復処理の終了条件が満たされているか否かを判定する（ステップＳ５）。

【0096】

反復の終了条件を合成画像が満たしていない場合（ステップＳ５：Ｎｏ）。画像生成装置１は、ステップＳ３に処理を戻す。反復の終了条件を合成画像が満たしている場合（ステップＳ５：Ｙｅｓ）、更新終了判定部５０は、合成画像~ｆ（ｘ，ｙ，ｔ_０）を出力する。すなわち、更新終了判定部５０は、動きボケ及び重畳雑音が低減された第ｔフレームの位置の画像を出力する（ステップＳ６）。

【0097】

以上のように、実施形態の画像生成装置１は、入力画像記憶部１０（動画像取得部）と、対応位置同定部２３（第１検出部）と、重み設定部２４２（第１重み生成部）と、近似値生成部２４３（第１近似値生成部）と、画素値更新処理部２４５（第１更新処理部）とを備える。入力画像記憶部１０は、対象フレームと複数の参照フレームとを取得する。対応位置同定部２３は、対象フレーム内の対象画素ごとに参照フレーム内の第１対応位置を検出する。重み設定部２４２は、第１対応位置の近傍の第１参照画素ごとに、画素値の第１重み係数を生成する。近似値生成部２４３は、第１参照画素の画素値と第１重み係数とに基づいて、対象画素の画素値の第１近似値を生成する。画素値更新処理部２４５は、複数の参照フレームについて生成された各第１近似値に基づいて、対象画素の画素値を更新する。

【0098】

これによって、実施形態の画像生成装置１は、動きボケ及び重畳雑音が低減されたリアルタイム再生用の画像を生成することが可能である。実施形態の画像生成装置１は、視覚の検知限を越えた高フレームレート画像から、リアルタイム再生用の高画質画像を生成すること（フィルタリング処理）が可能である。

【0099】

実施形態の画像生成装置１は、対応位置同定部４３（第２検出部）を更に備える。実施形態の画像生成装置１は、第２重み生成部と、第２近似値生成部と、第２更新処理部とを合成画像生成部４４の各構成として備える。第２検出部は、更新された画素値の対象画素ごとに参照フレームの第２対応位置を検出する。第２重み生成部は、第２対応位置の近傍の第２参照画素ごとに、画素値の第２重み係数を生成する。第２近似値生成部は、第２参照画素の画素値と第２重み係数とに基づいて、更新された画素値の対象画素の画素値の第２近似値を生成する。第２更新処理部は、複数の参照フレームについて生成された各第２近似値に基づいて、更新された画素値の対象画素の画素値を再び更新する。

【0100】

これによって、実施形態の画像生成装置１は、動きボケ及び重畳雑音が更に低減されたリアルタイム再生用の画像を生成することが可能である。

【0101】

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

【符号の説明】

【0102】

１…画像生成装置、１０…入力画像記憶部、２０…初期合成画像生成部、２１…入力画像記憶部、２２…局所近傍領域設定部、２３…対応位置同定部、２４…合成画像生成部、２５…最終画素判定部、３０…合成画像記憶部、４０…合成画像更新部、４１…合成画像記憶部、４２…局所近傍領域設定部、４３…対応位置同定部、４４…合成画像生成部、４５…最終画素判定部、５０…更新終了判定部、２４０…参照フレーム設定部、２４１…参照画素設定部、２４２…重み設定部、２４３…近似値生成部、２４４…最終参照フレーム判定部、２４５…画素値更新処理部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】