特許 6775146 映像修復システム、映像修復方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6775146

(24)【登録日】2020年10月8日

(45)【発行日】2020年10月28日

(54)【発明の名称】映像修復システム、映像修復方法及びプログラム

(51)【国際特許分類】

   H04N 5/91 20060101AFI20201019BHJP

   G06T 5/00 20060101ALI20201019BHJP

   G06T 5/50 20060101ALI20201019BHJP

   G06T 7/60 20170101ALI20201019BHJP

   H04N 5/262 20060101ALI20201019BHJP

【ＦＩ】

   H04N5/91

   G06T5/00 705

   G06T5/50

   G06T7/60 200H

   H04N5/262

【請求項の数】9

【全頁数】15

(21)【出願番号】特願2016-236855(P2016-236855)

(22)【出願日】2016年12月6日

(65)【公開番号】特開2018-93426(P2018-93426A)

(43)【公開日】2018年6月14日

【審査請求日】2019年9月20日

(73)【特許権者】

【識別番号】504258527

【氏名又は名称】国立大学法人 鹿児島大学

(73)【特許権者】

【識別番号】516366788

【氏名又は名称】株式会社グリーンツリー

(74)【代理人】

【識別番号】100095407

【弁理士】

【氏名又は名称】木村 満

(74)【代理人】

【識別番号】100162259

【弁理士】

【氏名又は名称】末富 孝典

(74)【代理人】

【識別番号】100133592

【弁理士】

【氏名又は名称】山口 浩一

(74)【代理人】

【識別番号】100168114

【弁理士】

【氏名又は名称】山中 生太

(72)【発明者】

【氏名】渡邊 睦

(72)【発明者】

【氏名】佐藤 公則

(72)【発明者】

【氏名】福元 伸也

(72)【発明者】

【氏名】鹿嶋 雅之

(72)【発明者】

【氏名】松本 惇史

(72)【発明者】

【氏名】森田 健太郎

【審査官】 鈴木 順三

(56)【参考文献】

【文献】 特表２００８−５２２５０８（ＪＰ，Ａ）

【文献】 米国特許第０４５２４３９２（ＵＳ，Ａ）

【文献】 特開２０００−０７４８４６（ＪＰ，Ａ）

【文献】 特開平０８−１１１８１４（ＪＰ，Ａ）

【文献】 特開２００５−０７２９３５（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／７６ − ５／９５６

Ｇ０６Ｔ ３／００ − ５／５０

Ｇ０６Ｔ ７／００ − ７／９０

Ｈ０４Ｎ ５／２６２ − ５／２８

(57)【特許請求の範囲】

【請求項1】

動画を修復する映像修復システムであって、
前記動画を構成する一連の画像のうち、スプライス直線が含まれる画像を検出するスプライス直線検出部と、
前記スプライス直線検出部で検出された検出画像と、前記検出画像の前後の画像との類似度をそれぞれ算出する類似度算出部と、
前記前後の画像のうち、前記検出画像と類似度が高い方の画像から、前記スプライス直線が出現した部分に対応する部分画像を抽出し、前記検出画像と前記類似度が高い方の画像との水平方向のずれ量を検出し、前記類似度が高い方の画像から抽出された前記部分画像を、水平方向に検出したずれ量だけずらして、抽出された前記部分画像を、対応する前記検出画像の前記部分画像と置換して、前記検出画像に含まれるスプライス直線を消去する画像修復部と、
前記画像修復部でスプライス直線が消去された一連の画像をつなげて前記動画を生成する動画生成部と、
を備える映像修復システム。

【請求項2】

前記スプライス直線検出部は、
前記一連の画像から、シーンの切り変わり時点に対応する画像を特定し、
特定された画像の中から、スプライス直線が含まれる画像を検出する、
請求項１に記載の映像修復システム。

【請求項3】

前記スプライス直線検出部は、
ハフ変換により、スプライス直線が含まれる画像を検出する、
請求項２に記載の映像修復システム。

【請求項4】

前記画像修復部は、
置換後の画像に、空白がある場合に、その空白に隣接する部分画像を、前記空白に埋め込んで、画像を修復する、
請求項１に記載の映像修復システム。

【請求項5】

前記画像修復部は、
位相限定相関法を用いて前記検出画像と前記類似度が高い方の画像との水平方向のずれ量を検出する、
請求項１から４のいずれか一項に記載の映像修復システム。

【請求項6】

前記画像修復部で修復された部分画像周辺の平滑化を行う画像平滑化部を備える、
請求項１から５のいずれか一項に記載の映像修復システム。

【請求項7】

前記動画を構成する一連の画像に含まれる縦キズが含まれる画像を検出する縦キズ検出部を備え、
前記画像平滑化部は、
前記縦キズ検出部で検出された縦キズの周辺領域の画像の平滑化を行う、
請求項６に記載の映像修復システム。

【請求項8】

映像修復システムによって動画を修復する映像修復方法であって、
前記動画を構成する一連の画像のうち、スプライス直線が含まれる画像を検出するスプライス直線検出工程と、
前記スプライス直線検出工程で検出された検出画像と、前記検出画像の前後の画像との類似度をそれぞれ算出する類似度算出工程と、
前記前後の画像のうち、前記検出画像と類似度が高い方の画像から、前記スプライス直線が出現した部分に対応する部分画像を抽出し、前記検出画像と前記類似度が高い方の画像との水平方向のずれ量を検出し、前記類似度が高い方の画像から抽出された前記部分画像を、水平方向に検出したずれ量だけずらして、抽出された前記部分画像を、対応する前記検出画像の前記部分画像と置換して、前記検出画像に含まれるスプライス直線を消去する画像修復工程と、
前記画像修復工程でスプライス直線が消去された一連の画像をつなげて前記動画を生成する動画生成工程と、
を含む映像修復方法。

【請求項9】

動画を修復するコンピュータを、
前記動画を構成する一連の画像のうち、スプライス直線が含まれる画像を検出するスプライス直線検出部、
前記スプライス直線検出部で検出された検出画像と、前記検出画像の前後の画像との類似度をそれぞれ算出する類似度算出部、
前記前後の画像のうち、前記検出画像と類似度が高い方の画像から、前記スプライス直線が出現した部分に対応する部分画像を抽出し、前記検出画像と前記類似度が高い方の画像との水平方向のずれ量を検出し、前記類似度が高い方の画像から抽出された前記部分画像を、水平方向に検出したずれ量だけずらして、抽出された前記部分画像を、対応する前記検出画像の前記部分画像と置換して、前記検出画像に含まれるスプライス直線を消去する画像修復部、
前記画像修復部でスプライス直線が消去された一連の画像をつなげて前記動画を生成する動画生成部、
として機能させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、映像修復システム、映像修復方法及びプログラムに関する。

【背景技術】

【0002】

多チャンネル時代をむかえ、古い映像コンテンツを大画面で精細なディスプレイで見ることが多くなっている。そこで、古い映像コンテンツなどのデジタル映像化が行われている。古い映画コンテンツでは、経年劣化したフィルムの色の修復技術や、パラ消しと言われるノイズ除去など、映像を修復する技術等が一部自動化されている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１１−１３８０３５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

古い映像コンテンツを大画面で精細なディスプレイで表示した場合に、特に際立ってくるのが、画像内に一瞬表示されるスプライス直線や縦キズなどのキズである。しかしながら、現状では、映像フィルムに残されたキズ等の検出及び修復は、依然として目視及び手作業で行われているのが一般的である。

【0005】

本発明は、上記実情に鑑みてなされたものであり、映像フィルムの修復作業を各段に効率化することができる映像修復システム、映像修復方法及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

上記目的を達成するために、本発明の第１の観点に係る映像修復システムは、
動画を修復する映像修復システムであって、
前記動画を構成する一連の画像のうち、スプライス直線が含まれる画像を検出するスプライス直線検出部と、
前記スプライス直線検出部で検出された検出画像と、前記検出画像の前後の画像との類似度をそれぞれ算出する類似度算出部と、
前記前後の画像のうち、前記検出画像と類似度が高い方の画像から、前記スプライス直線が出現した部分に対応する部分画像を抽出し、前記検出画像と前記類似度が高い方の画像との水平方向のずれ量を検出し、前記類似度が高い方の画像から抽出された前記部分画像を、水平方向に検出したずれ量だけずらして、抽出された前記部分画像を、対応する前記検出画像の前記部分画像と置換して、前記検出画像に含まれるスプライス直線を消去する画像修復部と、
前記画像修復部でスプライス直線が消去された一連の画像をつなげて前記動画を生成する動画生成部と、
を備える。

【0007】

この場合、前記スプライス直線検出部は、
前記一連の画像から、シーンの切り変わり時点に対応する画像を特定し、
特定された画像の中から、スプライス直線が含まれる画像を検出する、
こととしてもよい。

【0008】

また、前記スプライス直線検出部は、
ハフ変換により、スプライス直線が含まれる画像を検出する、
こととしてもよい。

【0010】

前記画像修復部は、
置換後の画像に、空白がある場合に、その空白に隣接する部分画像を、前記空白に埋め込んで、画像を修復する、
こととしてもよい。

【0011】

前記画像修復部は、
位相限定相関法を用いて前記検出画像と前記類似度が高い方の画像との水平方向のずれ量を検出する、
こととしてもよい。

【0012】

前記画像修復部で修復された部分画像周辺の平滑化を行う画像平滑化部を備える、
こととしてもよい。

【0013】

前記動画を構成する一連の画像に含まれる縦キズが含まれる画像を検出する縦キズ検出部を備え、
前記画像平滑化部は、
前記縦キズ検出部で検出された縦キズの周辺領域の画像の平滑化を行う、
こととしてもよい。

【0014】

本発明の第２の観点に係る映像修復方法は、
映像修復システムによって動画を修復する映像修復方法であって、
前記動画を構成する一連の画像のうち、スプライス直線が含まれる画像を検出するスプライス直線検出工程と、
前記スプライス直線検出工程で検出された検出画像と、前記検出画像の前後の画像との類似度をそれぞれ算出する類似度算出工程と、
前記前後の画像のうち、前記検出画像と類似度が高い方の画像から、前記スプライス直線が出現した部分に対応する部分画像を抽出し、前記検出画像と前記類似度が高い方の画像との水平方向のずれ量を検出し、前記類似度が高い方の画像から抽出された前記部分画像を、水平方向に検出したずれ量だけずらして、抽出された前記部分画像を、対応する前記検出画像の前記部分画像と置換して、前記検出画像に含まれるスプライス直線を消去する画像修復工程と、
前記画像修復工程でスプライス直線が消去された一連の画像をつなげて前記動画を生成する動画生成工程と、
を含む。

【0015】

本発明の第３の観点に係るプログラムは、
動画を修復するコンピュータを、
前記動画を構成する一連の画像のうち、スプライス直線が含まれる画像を検出するスプライス直線検出部、
前記スプライス直線検出部で検出された検出画像と、前記検出画像の前後の画像との類似度をそれぞれ算出する類似度算出部、
前記前後の画像のうち、前記検出画像と類似度が高い方の画像から、前記スプライス直線が出現した部分に対応する部分画像を抽出し、前記検出画像と前記類似度が高い方の画像との水平方向のずれ量を検出し、前記類似度が高い方の画像から抽出された前記部分画像を、水平方向に検出したずれ量だけずらして、抽出された前記部分画像を、対応する前記検出画像の前記部分画像と置換して、前記検出画像に含まれるスプライス直線を消去する画像修復部、
前記画像修復部でスプライス直線が消去された一連の画像をつなげて前記動画を生成する動画生成部、
として機能させる。

【発明の効果】

【0016】

本発明によれば、映像フィルムに残るスプライス直線と縦キズとを自動的に検出し、検出したスプライス直線と縦キズとを消去して自動的に修復することができる。これにより、映像フィルムの修復作業を各段に効率化することができる。

【図面の簡単な説明】

【0017】

【図1】本発明の実施の形態に係る映像修復システムの構成を示すブロック図である。

【図2】スプライス直線の一例を示す図である。

【図3】縦キズの一例を示す図である。

【図4】シーンの切り替わりの一例を示す図である。

【図5】図５（Ａ）及び図５（Ｂ）は、Ｈｏｕｇｈ変換を用いてスプライス直線を検出する流れの一例を示す図である。

【図6】図６（Ａ）、図６（Ｂ）及び図６（Ｃ）は、画像間の類似度を算出するために用いられる画像の輝度値のヒストグラムである。

【図7】図７（Ａ）及び図７（Ｂ）は、画像修復の流れを示す模式図である。

【図8】画像間のずれ量を算出する流れを示す模式図である。

【図9】図９（Ａ）及び図９（Ｂ）は、画像を修復する流れを示す模式図である。

【図10】図１０（Ａ）、図１０（Ｂ）及び図１０（Ｃ）は、縦キズの検出の流れを示す模式図である。

【図11】図１の映像修復システムのハードウエア構成を示すブロック図である。

【図12】本発明の実施の形態に係る映像修復システムの動作のフローチャートである。

【発明を実施するための形態】

【0018】

以下、本発明の実施の形態について、図面を参照して詳細に説明する。本実施の形態に係る映像修復システムは、古い映像フィルムを再生したときに画面に現れるキズを修復する画像処理システムである。

【0019】

図１に示すように、データ記憶部１０には、古い映像フィルムをデジタル化して得られた動画データを構成する一連の画像Ｐ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５、…、Ｐｎ（ｎは自然数）が記憶されている。本実施の形態では、この一連の画像Ｐ１〜Ｐｎが修復対象となる。以下では、各画像Ｐ１〜ＰｎをショットＰ１〜Ｐｎとも呼ぶ。本実施の形態では、修復されるキズは、主として、スプライス直線及び縦キズである。

【0020】

スプライス直線は、水平方向に延びるように画面に現れる直線である。スプライス直線は、主として、映像の編集の際にフィルムがカットされ、つなぎ合わせた部分に発生する。図２では、画像Ｐｎにスプライス直線Ｓが含まれている。図２に示すように、スプライス直線Ｓは、主として映像コンテンツのシーン（場面）の切り替わりにおいて発生し、その発生場所は、画像Ｐｎの上部又は下部となる。

【0021】

縦キズは、画面の垂直方向に延びるキズであり、各画像Ｐｎ内の任意の場所に出現する。図３では、縦キズＩの一例が示されている。縦キズＩは、映像コンテンツのシーンの切り替わり等に関係なく、ランダムに出現する。

【0022】

図１に戻り、映像修復システム１は、スプライス直線検出部２と、類似度算出部３と、画像修復部４と、縦キズ検出部５と、画像平滑化部６と、動画生成部７と、を備える。

【0023】

スプライス直線検出部２は、動画を構成する一連の画像Ｐ１〜ＰＮのうち、スプライス直線Ｓが含まれる画像Ｐｎ（ｎ＝１〜Ｎ）を検出する。

【0024】

より具体的には、スプライス直線検出部２は、まず、図４に示すように、一連の画像Ｐ１〜ＰＮから、映像コンテンツのシーンの切り変わり時点Ｃｋ（ｋは自然数）に対応する画像Ｐｎを特定する。スプライス直線Ｓは、主として映像コンテンツのシーンの切り替わりにおいて良く出現するため、本実施の形態では、スプライス直線検出部２は、予めシーンの切り替わり時点Ｃｋを検出し、その時点Ｃｋ近傍の画像Ｐｎに絞って、スプライス直線Ｓの検出を行う。スプライス直線検出部２は、特定された画像Ｐ１〜ＰＮ、すなわちシーンの切り替わり時点Ｃｋ前後の画像Ｐｎの中から、スプライス直線Ｓが含まれる画像Ｐｎを検出する。

【0025】

スプライス直線Ｓの検出には、例えばハフ（Ｈｏｕｇｈ）変換を用いることができる。Ｈｏｕｇｈ変換は、デジタル画像処理で用いられる特徴抽出法の１つであり、画像から直線、円、楕円等の図形を検出する技法である。例えば、図５（Ａ）に示すように、画像Ｐｎの各画素の位置座標を（ｘ，ｙ）とする。また、画像Ｐｎ内におけるスプライス直線Ｓがある場合に、スプライス直線Ｓの関係式をｙ＝ａｘ＋ｂとする。Ｈｏｕｇｈ変換を行うことにより、スプライス直線Ｓの関係式の係数ａ，ｂを求めることができる。

【0026】

まず、スプライス直線検出部２は、画像Ｐｎにおいて輝度変化の大きな画素点をスプライス直線Ｓ上の候補点として検出する。図５（Ａ）では、（ｘ１，ｙ１）、（ｘ２，ｙ２）、（ｘ３，ｙ３）、（ｘ４，ｙ４）、・・・が候補点として検出されている様子が示されている。

【0027】

候補点（ｘ１，ｙ１）、（ｘ２，ｙ２）、（ｘ３，ｙ３）、（ｘ４，ｙ４）、・・・をそれぞれ通過する直線は無数に存在する。スプライス直線検出部２は、抽出された候補点が最も多く通過する直線をスプライス直線Ｓとして検出する。

【0028】

ここで、図５（Ｂ）に、スプライス直線Ｓの関係式の係数ａ，ｂを座標軸とする平面を示す。スプライス直線検出部２は、図５（Ｂ）に示すように、この平面上で、それぞれ候補点（ｘ１，ｙ１）、（ｘ２，ｙ２）、（ｘ３，ｙ３）、（ｘ４，ｙ４）、・・・を通過する可能性のある点（ａ，ｂ）について投票を行っていく。この投票で最も点数の多かった座標（ａ１，ｂ１）を、スプライス直線Ｓの直線式の係数ａ，ｂとして決定する。

【0029】

図１に戻り、類似度算出部３は、スプライス直線検出部２で検出された検出画像Ｐｎと、検出画像Ｐｎの前後の画像Ｐｎ−１、Ｐｎ＋１との類似度をそれぞれ算出する。ここでは、検出画像Ｐｎとその前後の画像Ｐｎ−１、Ｐｎ＋１について、検出画像Ｐｎとその前の画像Ｐｎ−１との類似度と、検出画像Ｐｎとその後の画像Ｐｎ＋１との類似度がそれぞれ算出される。

【0030】

各画像Ｐｎの類似度は、各画像Ｐｎの輝度値のヒストグラムの相関度に基づいて算出される。例えば、図６（Ａ）、図６（Ｂ）及び図６（Ｃ）に示すように、類似度算出部３は、画像Ｐｎ、Ｐｎ−１、Ｐｎ＋１の輝度値のヒストグラムを得る。さらに、類似度算出部３は、画像Ｐｎの輝度値ヒストグラムと画像Ｐｎ−１の輝度値のヒストグラムとの相関度を求め、画像Ｐｎの輝度値ヒストグラムと画像Ｐｎ＋１の輝度値ヒストグラムとの相関度を求める。輝度値ヒストグラムの相関度が高い画像Ｐｎ＋１、Ｐｎ−１のいずれかが、類似度が高い画像となる。

【0031】

図１に戻り、画像修復部４は、図７（Ａ）に示すように、前後の画像Ｐｎ−１、Ｐｎ＋１のうち、類似度が高い方の画像Ｐ’を選択する。さらに、画像修復部４は、図７（Ｂ）に示すように、類似度が高い方の画像Ｐ’から、スプライス直線Ｓが出現した部分に対応する部分画像ＰＩ’を抽出する。さらに、画像修復部４は、抽出された部分画像ＰＩ’を、対応する検出画像Ｐｎの部分画像ＰＩと置換して、検出画像Ｐｎに含まれるスプライス直線Ｓを消去する。

【0032】

なお、スプライス直線Ｓは、各画像Ｐｎの上端近傍の領域又は下端近傍の領域に現れ、その発生領域は、上端又は下端から一定の範囲に現れるのが一般的である。従って、部分画像ＰＩ、ＰＩ’を、各画像Ｐｎの上端又は下端における固定大の画像領域とすることができる。このため、スプライス直線Ｓの位置は、画像の上側に出現しているか、下側に出現しているかを検出するだけでもよい。

【0033】

さらに、画像修復部４は、図８に示すように、検出画像Ｐｎと類似度が高い方の画像Ｐ’との水平方向のずれ量を検出する。そして、画像修復部４は、画像Ｐ’から抽出された部分画像ＰＩ’を、水平方向に検出したずれ量だけずらして、対応する検出画像Ｐｎの部分画像ＰＩと置換する。ずれ量の検出には、本実施の形態では、位相限定相関法（ＰＯＣ;Phase Only Correlation Method）を用いる。位相限定相関法は、２つの画像の間がどれぐらいずれているか、すなわち画像のシフト量を、各画像の位相画像を用いて推定する方法である。この方法は、２つの画像の位相に注目しそれらの位相の相関を取り、画像の間の「類似度」を測る。

【0034】

位相限定相関法において、画像修復部４は、まず、図８に示すように、画像Ｐｎ、画像Ｐ’をそれぞれフーリエ変換して、それぞれのスペクトル成分Ｆａ，Ｆｂを得る。そして、画像修復部４は、スペクトル成分Ｆａ、Ｆｂを振幅スペクトルで割ることで正規化し、逆フーリエ変換することで位相限定画像Ｆａｂを得る。位相限定画像Ｆａｂでは、位置座標（Δｘ，Δｙ）に点が形成されている。この点の位置座標（Δｘ，Δｙ）が、画像Ｐｎと画像Ｐ’とのｘ軸方向、ｙ軸方向のずれ量を示している。

【0035】

画像修復部４は、部分画像ＰＩ’をｘ軸方向にΔｘだけシフトさせて、画像Ｐｎに埋め込む。この場合、図９（Ａ）に示すように、空白部分Ｑが発生する。置換後の画像Ｐｎ’に空白部分Ｑがある場合、画像修復部４は、図９（Ｂ）に示すように、画像Ｐ’の空白部分Ｑに隣接する部分画像ＲＩを、空白部分Ｑに埋め込んで、画像を修復する。なお、図９（Ａ）は、Δｘが正の場合であるが、Δｘが負で、部分画像ＰＩ’を左方向にシフトするようにしてもよい。

【0036】

図１に戻り、縦キズ検出部５は、一連の画像Ｐ１〜ＰＮに含まれる縦キズＩを検出する。具体的には、縦キズ検出部５は、図１０（Ａ）に示すように、各画像Ｐｎにおいて、水平方向の画素の輝度変化を検出して、輝度が急激に変化するエッジ部分を検出し、エッジ部分が垂直方向に繋がっている部分を、縦キズＩとして検出する。

【0037】

図１に戻り、画像平滑化部６は、画像修復部４で修復された画像Ｐｎの部分画像ＰＩの周辺領域の平滑化又は縦キズ検出部５で検出された画像Ｐｎの縦キズＩ周辺の領域の平滑化を行う。この画像の平滑化には、メディアンフィルタが用いられる。メディアンフィルタは、周辺輝度値の大きさを順に並べ、メディアン（中央値）を注目画素に置き換えていくフィルタ処理を行う。

【0038】

このメディアンフィルタを用いることで、画像平滑化部６は、画像Ｐｎ内に含まれるノイズを除去することができる。例えば、図１０（Ｂ）に示すように、画素値が１００である注目画素について周辺の画素の輝度値が、１０、１５、４１、３０、３４、６０、１８０、１３０であったとする。この９つの画素の輝度値などを順番に並べ換えると、１０、１５、３０、３４、４１、６０、１００、１３０、１８０となる。この場合、画像平滑化部６は、中央の注目画素の値を中間値の４１とする。これがメディアンフィルタによる平滑化処理である。

【0039】

画像平滑化部６は、図１０（Ｃ）に示すように、縦キズＩ周辺の領域ＩＡに対してメディアンフィルタを適用する。これにより、縦キズＩが消去される。また、画像平滑化部６は、図９（Ｂ）に示す画像Ｐｎの部分画像ＰＩ’との境界周辺に対してメディアンフィルタを適用する。

【0040】

図１に戻り、動画生成部７は、スプライス直線Ｓ及び縦キズＩが消去された一連の画像Ｐ１〜ＰＮをつなげて動画を生成する。

【0041】

図１１は、図１の映像修復システム１のハードウエア構成を示す。図１１に示すように、映像修復システム１は、制御部３１、主記憶部３２、外部記憶部３３、操作部３４及び表示部３５を備える。主記憶部３２、外部記憶部３３、操作部３４、表示部３５はいずれも内部バス３０を介して制御部３１に接続されている。

【0042】

制御部３１は、ＣＰＵ（Central Processing Unit）等から構成されている。このＣＰＵが、外部記憶部３３に記憶されているプログラム３９を実行することにより、図１に示す映像修復システム１の各構成要素が実現される。

【0043】

主記憶部３２は、ＲＡＭ（Random-Access Memory）等から構成されている。主記憶部３２には、外部記憶部３３に記憶されているプログラム３９がロードされる。この他、主記憶部３２は、制御部３１の作業領域（データの一時記憶領域）として用いられる。

【0044】

外部記憶部３３は、フラッシュメモリ、ハードディスク、ＤＶＤ−ＲＡＭ（Digital Versatile Disc Random-Access Memory）、ＤＶＤ−ＲＷ（Digital Versatile Disc ReWritable）等の不揮発性メモリから構成される。外部記憶部３３には、制御部３１に実行させるためのプログラム３９があらかじめ記憶されている。また、外部記憶部３３は、制御部３１の指示に従って、このプログラム３９の実行の際に用いられるデータを制御部３１に供給し、制御部３１から供給されたデータを記憶する。

【0045】

操作部３４は、キーボード及びマウスなどのポインティングデバイス等と、キーボード及びポインティングデバイス等を内部バス３０に接続するインターフェイス装置から構成されている。操作部３４を介して、操作者が操作した内容に関する情報が制御部３１に入力される。

【0046】

表示部３５は、ＣＲＴ（Cathode Ray Tube）、ＬＣＤ（Liquid Crystal Display）又は有機ＥＬ（ElectroLuminescence）などから構成される。操作者が操作情報を入力する場合は、表示部３５には、操作用の画面が表示される。

【0047】

なお、制御部３１のプログラム３９の実行により、図１に示す映像修復システム１の構成において、スプライス直線検出部２、類似度算出部３、画像修復部４、縦キズ検出部５、画像平滑化部６及び動画生成部７は、制御部３１及び主記憶部３２に対応し、データ記憶部１０は、外部記憶部３３に対応する。

【0048】

次に、映像修復システム１の動作について説明する。

【0049】

まず、スプライス直線Ｓの修復に係る処理について説明する。図１２に示すように、まず、スプライス直線検出部２は、映像コンテンツのシーンの切り替わり時点Ｃｋを検出する（ステップＳ１）。これにより、図４に示すように、映像コンテンツのシーンの切り替わり時点Ｃｋが検出される。

【0050】

続いて、スプライス直線検出部２は、映像コンテンツのシーンの切り替わり時点Ｃｋの画像Ｐｎに含まれるスプライス直線Ｓを、図５（Ａ）及び図５（Ｂ）に示すように、Ｈｏｕｇｈ変換を行って検出する（ステップＳ２；スプライス直線検出工程）。

【0051】

続いて、スプライス直線検出部２は、スプライス直線Ｓが有るか否かを判定する（ステップＳ３）。スプライス直線Ｓがない場合（ステップＳ３；Ｎｏ）、映像修復システム１は、スプライス直線Ｓに係る処理を終了する。一方、スプライス直線Ｓがあった場合（ステップＳ３；Ｙｅｓ）、類似度算出部３が、図６（Ａ）、図６（Ｂ）及び図６（Ｃ）に示すように、画像Ｐｎと前後の画像Ｐｎ−１、Ｐｎ＋１の類似性を比較し、類似性の高い画像を選択する（ステップＳ４；類似度算出工程）。

【0052】

続いて、類似度算出部３は、類似性の高い画像とのずれがあるか否かを判定する（ステップＳ５）。類似性の高い画像とのずれがない場合（ステップＳ５；Ｎｏ）、画像修復部４は、図７（Ａ）、図７（Ｂ）及び図７（Ｃ）に示すように、画像Ｐｎにおけるスプライス直線Ｓが存在する部分画像ＰＩを、類似性の高い画像Ｐ’の対応する部分画像ＰＩ’と置換することで、画像修復を行う（ステップＳ６；画像修復工程）。

【0053】

一方、類似性の高い画像Ｐ’とのずれがあった場合（ステップＳ５；Ｙｅｓ）、画像修復部４は、図８に示すように、位相限界推定法を用いて、シフト量Δｘを算出する（ステップＳ７）。続いて、画像修復部４は、図９（Ａ）に示すように、シフト量Δｘだけシフトして画像Ｐ’の部分画像ＰＩ’を画像Ｐｎの部分画像ＰＩと置換する（ステップＳ８）。続いて、画像修復部４は、図９（Ｂ）に示すように、画像Ｐ’の隣接部分画像ＲＩを、画像Ｐｎの空白部分Ｑに埋め込んで、画像の埋め合わせを行う（ステップＳ９）。隣接する部分画像ＲＩが空白部分Ｑとして最も近似するためである。

【0054】

続いて、画像平滑化部６は、修復した画像に対してメディアンフィルタを用いて平滑化を行う（ステップＳ１０）。続いて、動画生成部７は、これまでに修復された画像を含む動画を生成する（ステップＳ１４；動画生成工程）。

【0055】

次に、縦キズの修復に係る処理について説明する。まず、縦キズ検出部５は、縦キズを検出する（ステップＳ１２）。続いて、縦キズ検出部５は、図１０（Ａ）に示すように、縦キズＩがあるか否かを判定する（ステップＳ１３）。縦キズＩがなかった場合（ステップＳ１３；Ｎｏ）、動画生成部７は、動画を生成し（ステップＳ１４；動画生成工程）、処理を終了する。一方、縦キズＩがあった場合（ステップＳ１３；Ｙｅｓ）、画像平滑化部６は、縦キズがある部分の平滑化を行う（ステップＳ１０）。その後、動画生成部７が、縦キズが除去された画像で、動画を生成する（ステップＳ１４；動画生成工程）。

【0056】

以上詳細に説明したように、本実施の形態によれば、映像フィルムの動画に残るスプライス直線Ｓと縦キズＩとを自動的に検出し、自動的に修復することができる。これにより、映像フィルムの修復作業を各段に効率化することができる。

【0057】

なお、上記実施の形態では、映像コンテンツのシーンの切り替わり時点Ｃｋを検出し、その時点Ｃｋの画像を対象としてスプライス直線Ｓを検出した。このようにすれば、スプライス直線Ｓを検出する画像Ｐｎを絞りこむことができるので、検出に要する時間を短縮することができる。しかしながら、本発明はこれには限られない。すべての画像Ｐｎについてスプライス直線Ｓを検出するようにしてもよい。

【0058】

また、上記実施の形態では、動画における物体の動きに基づく前後の画像Ｐｎの水平方向のずれ量を検出し、そのずれ量Δｘに応じて部分画像ＰＩ’をずらして置換する。これにより、ずれのない画像修復が可能となる。

【0059】

そして、部分画像ＰＩ’をずらして置換したことにより発生する空白部分Ｑには、図９（Ａ）及び図９（Ｂ）に示すように、その部分に隣接する部分画像ＲＩを埋め込む。これにより、違和感のない自然な画像修復が可能となる。

【0060】

また、上記実施の形態によれば、上述のような部分画像ＰＩ’の置換部分周辺の平滑化を行っているので、画像Ｐｎの一部を置換しつつ、違和感のない画像修復が可能となる。

【0061】

また、上記実施の形態によれば、古い映像フィルムに再生した時に画面に生じる縦キズＩを検出し、その縦キズＩを自動的に修正する。これにより、映像フィルムの修復作業を各段に効率化することができる。

【0062】

また、上記実施の形態では、スプライス直線Ｓの検出にＨｏｕｇｈ変換を用い、部分画像の動き検出（ずれ量検出）に位相限定相関法を用い、画像の平滑化にメディアンフィルタ等を用いたが、本発明はこれには限られない。これらの方法とは他の方法で、スプライス直線Ｓの検出、部分画像の動き検出（ずれ量検出）、画像の平滑化を可能であれば、その方法を適用することができる。

【0063】

その他、映像修復システム１のハードウエア構成やソフトウエア構成は一例であり、任意に変更および修正が可能である。

【0064】

制御部３１、主記憶部３２、外部記憶部３３、操作部３４、表示部３５及び内部バス３０などから構成される映像修復システム１の処理を行う中心となる部分は、専用のシステムによらず、通常のコンピュータシステムを用いて実現可能である。例えば、前記の動作を実行するためのコンピュータプログラムを、コンピュータが読み取り可能な記録媒体（フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等）に格納して配布し、当該コンピュータプログラムをコンピュータにインストールすることにより、前記の処理を実行する映像修復システム１を構成してもよい。また、インターネット等の通信ネットワーク上のサーバ装置が有する記憶装置に当該コンピュータプログラムを格納しておき、通常のコンピュータシステムがダウンロード等することで映像修復システム１を構成してもよい。

【0065】

映像修復システム１の機能を、ＯＳ（オペレーティングシステム）とアプリケーションプログラムの分担、またはＯＳとアプリケーションプログラムとの協働により実現する場合などには、アプリケーションプログラム部分のみを記録媒体や記憶装置に格納してもよい。

【0066】

搬送波にコンピュータプログラムを重畳し、通信ネットワークを介して配信することも可能である。たとえば、通信ネットワーク上の掲示板（BBS, Bulletin Board System）にコンピュータプログラムを掲示し、ネットワークを介してコンピュータプログラムを配信してもよい。そして、このコンピュータプログラムを起動し、ＯＳの制御下で、他のアプリケーションプログラムと同様に実行することにより、前記の処理を実行できるように構成してもよい。

【0067】

この発明は、この発明の広義の精神と範囲を逸脱することなく、様々な実施の形態及び変形が可能とされるものである。また、上述した実施の形態は、この発明を説明するためのものであり、この発明の範囲を限定するものではない。すなわち、この発明の範囲は、実施の形態ではなく、特許請求の範囲によって示される。そして、特許請求の範囲内及びそれと同等の発明の意義の範囲内で施される様々な変形が、この発明の範囲内とみなされる。

【産業上の利用可能性】

【0068】

本発明は、フィルム動画の修復に適用することができる。

【符号の説明】

【0069】

１ 映像修復システム、２ スプライス直線検出部、３ 類似度算出部、４ 画像修復部、５ 縦キズ検出部、６ 画像平滑化部、７ 動画生成部、１０ データ記憶部、３０ 内部バス、３１ 制御部、３２ 主記憶部、３３ 外部記憶部、３４ 操作部、３５ 表示部、３９ プログラム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】