特許 5873099 フィルムを自動的に修復する方法および装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5873099

(24)【登録日】2016年1月22日

(45)【発行日】2016年3月1日

(54)【発明の名称】フィルムを自動的に修復する方法および装置

(51)【国際特許分類】

   G06T 5/00 20060101AFI20160216BHJP

   H04N 1/409 20060101ALI20160216BHJP

【ＦＩ】

   G06T5/00 705

   H04N1/40 101C

【請求項の数】6

【全頁数】19

(21)【出願番号】特願2013-539174(P2013-539174)

(86)(22)【出願日】2011年6月8日

(65)【公表番号】特表2014-503872(P2014-503872A)

(43)【公表日】2014年2月13日

(86)【国際出願番号】EP2011059473

(87)【国際公開番号】WO2012065759

(87)【国際公開日】20120524

【審査請求日】2014年6月9日

(31)【優先権主張番号】10306263.4

(32)【優先日】2010年11月16日

(33)【優先権主張国】EP

(31)【優先権主張番号】11305205.4

(32)【優先日】2011年2月25日

(33)【優先権主張国】EP

(73)【特許権者】

【識別番号】501263810

【氏名又は名称】トムソン ライセンシング

【氏名又は名称原語表記】Ｔｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ

(74)【代理人】

【識別番号】110001243

【氏名又は名称】特許業務法人 谷・阿部特許事務所

(72)【発明者】

【氏名】オリバー テイス

(72)【発明者】

【氏名】ラルフ コーラー

(72)【発明者】

【氏名】オリバー カンペンケル

【審査官】 佐藤 実

(56)【参考文献】

【文献】 特開２００８−２８３４９４（ＪＰ，Ａ）

【文献】 米国特許出願公開第２００９／０２０８０５３（ＵＳ，Ａ１）

【文献】 米国特許出願公開第２００３／００３９４０３（ＵＳ，Ａ１）

【文献】 特開２００４−３０２８３６（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ５／００

Ｈ０４Ｎ １／４０９

(57)【特許請求の範囲】

【請求項1】

一連の画像のうちのある画像を修復する方法であって、
− 前記一連の画像のうちの、前記画像の掻き傷または汚れによって生じたアーチファクトを自動的に検出するステップと、
− 検出されたアーチファクトに関するメタデータ情報をメタデータデータベースに記憶するステップと、
− 検出されたアーチファクトのうちの１つまたは複数のアーチファクトを、前記メタデータデータベースに記憶された、前記検出されたアーチファクトに関する前記メタデータ情報に基づいて、前記一連の画像のうちの前記画像から自動的に除去するステップと、
を含み、
前記アーチファクトは、疑わしい画素を潜在的なアーチファクトにクラスタ化し、かつ該潜在的なアーチファクトの間でアーチファクトを識別することによって検出され、
前記方法は、
前記メタデータデータベースに記憶された前記検出されたアーチファクトに関する前記メタデータ情報に対して品質管理プロセスを実行するステップを含み、前記品質管理プロセスは、アーチファクトに関するメタデータ情報を前記メタデータデータベースに追加することおよび／または検出されたアーチファクトに関するメタデータ情報を前記メタデータデータベースから除去することを含み、検出されたアーチファクトに関するメタデータ情報は、前記メタデータデータベース内の前記検出されたアーチファクトに関する前記メタデータ情報を削除すること、または除去トグルフラグの値をセットすることにより除去のために検出されたアーチファクトを対象から外すことによって、前記メタデータデータベースから除去される、前記方法。

【請求項2】

前記検出されたアーチファクトに関する前記メタデータ情報は、前記検出されたアーチファクトの索引、前記検出されたアーチファクトのタイプ、前記検出されたアーチファクトを囲む長方形の境界ボックスの座標、前記検出されたアーチファクトの出現のフレーム索引、境界ボックスサイズの２値画素マスク、影響を受ける画素の数、前記検出されたアーチファクトに適用された重み関数による検出重み、前記検出されたアーチファクトが前記画像から除去されるべきかどうかを示す除去フラグ、前記除去フラグがトグルされているかどうかを示す除去トグルフラグおよび前記画像から前記検出されたアーチファクトの除去をどのように実行するかを示す除去情報のうちの１つまたは複数を含む、請求項１に記載の方法。

【請求項3】

検出されたアーチファクトに関する前記メタデータ情報は、前記一連の画像の前の画像中の同じ検出されたアーチファクトの索引と前記一連の画像の後の画像中の同じ検出されたアーチファクトの索引のうちの少なくとも一方をさらに含む、請求項１または２に記載の方法。

【請求項4】

前記画像中の検出されたアーチファクトによって覆われた画素の数と、前記画像中の除去対象としてセットされた検出されたアーチファクトによって覆われた画素の数のうちの少なくとも一方を求めるステップをさらに含む、請求項１から３のいずれかに記載の方法。

【請求項5】

前記メタデータデータベース中に記憶された前記メタデータ情報に基づいて品質レポートを作成するステップをさらに含む、請求項１から４のいずれかに記載の方法。

【請求項6】

一連の画像のうちのある画像を修復する装置であって、
− 前記一連の画像のうちの、前記画像の掻き傷または汚れによって生じたアーチファクトを自動的に検出するよう構成された第１の画像処理プロセッサと、
− 前記検出されたアーチファクトに関するメタデータ情報を記憶するよう構成されたメタデータデータベースと、
− 前記メタデータデータベースに記憶された前記メタデータ情報に基づいて、前記一連の画像のうちの前記画像から、検出されたアーチファクトのうちの１つまたは複数のアーチファクトを、自動的に除去するよう構成された第２の画像処理プロセッサと、
を備え、
前記第１の画像処理プロセッサは、疑わしい画素を潜在的なアーチファクトにクラスタ化し、かつ該潜在的なアーチファクトの間でアーチファクトを識別することによって、前記アーチファクトを検出するように構成され、
前記装置は、
前記メタデータデータベースに記憶された前記検出されたアーチファクトに関する前記メタデータ情報に対して品質管理プロセスを実行することを可能にするユーザインタフェースを備え、前記品質管理プロセスは、アーチファクトに関するメタデータ情報を前記メタデータデータベースに追加することおよび／または検出されたアーチファクトに関するメタデータ情報を前記メタデータデータベースから除去することを含み、検出されたアーチファクトに関するメタデータ情報は、前記メタデータデータベース内の前記検出されたアーチファクトに関する前記メタデータ情報を削除すること、または除去トグルフラグの値をセットすることにより除去のために検出されたアーチファクトを対象から外すことによって、前記メタデータデータベースから除去される、前記装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像または画像列、例えば映画フィルムを自動的に修復する方法および装置に関し、より具体的には、自動修復中に、画像中の掻き傷オブジェクト（ｓｃｒａｔｃｈ ｏｂｊｅｃｔ）および汚れ（ｄｉｒｔ）オブジェクトを除去する方法および装置に関する。

【背景技術】

【0002】

映画フィルムは私達の文化遺産の１つである。残念なことに、映画フィルムはしばしば、掻き傷、ちり、汚れ、しみ、擦り傷などの望ましくないオブジェクトの影響を受ける。これらのオブジェクトは通常、フィルムを現像し、取り扱い、保管し、上映またはスキャンする技術プロセスに由来する。いくつかのまれなケースでは、例えばレンズ内のほこりまたはスキャナガラスの汚れを捕捉している間に静止オブジェクトが既に生じていることもある。以下では、これらの全ての欠陥を単に「掻き傷および汚れ」と呼ぶ。

【0003】

掻き傷および汚れは、映画鑑賞の質および喜びを低下させる。これは、ほとんどの場合、かなりの量の視覚情報が失われるためではない。実際には逆であり、掻き傷および汚れは追加の情報を提供する。ただしそれは全く関係のない情報である。人間の脳は、日々の視覚的経験に基づいて、失われた関連情報の代わりを非常に効果的に処理する。しかし、影響を受けたフィルムを見ているとき、世の中の物理的物体が通常どのように見え、どのように振舞うのかに関する脳の経験は絶えず裏切られる。例えば、スキャン中または上映中にフィルムに付着した汚れは、一方のフレームで出現し、もう一方のフレームで消える。このことは、通常はスムーズに出現し、移動し、姿を消すオブジェクトについての人間の経験と矛盾し、その異常な視覚刺激を例外的に処理することを脳に強いる。したがって、関連情報と関係のない情報とをこのように分けて処理することは、フィルムを見ている人にとってストレスであり、疲労の原因になる。見る人がリラックスして内容に集中するためには掻き傷および汚れの除去が必要であり、したがって掻き傷および汚れの除去は修復プロセスの重要な部分である。

【0004】

修復は、スキャン後にディジタル方式で実施することが好ましい。素材を化学洗浄プロセスにかけて汚れおよび潜在的な掻き傷を減らしてからスキャンを実施する湿式のスキャン技法もあるが、その実施費用を大幅に増大させる技術的な問題がいくつかあるため、湿式スキャン技法は広範囲には使用されていない。加えて、多くのフィルムは既にスキャンされており、ディジタルデータとしてテープに記録されて保管されている。

【0005】

その作業の多くの局面において作業者を支援するソフトウェアは市販されてはいるものの、それぞれの掻き傷および汚れオブジェクトを見つけ出し除去することによってディジタル化されたフィルムを手動で修復する作業が時間のかかる作業であることは明白である。特に、掻き傷または汚れを大量に含む古いフィルムの手動修復は財務的に実行不可能であることがある。商業的価値が分からないフィルムを含む大規模なアーカイブ（ａｒｃｈｉｖｅ）では特にそうである。

【0006】

掻き傷および汚れを検出し除去することを試みるアルゴリズムを含む自動修復ソフトウェアの使用は、手動プロセスに代わる実行可能な唯一の代替策である。現在、掻き傷および汚れの検出および除去を程度の差はあれ自動的に実行するいくつかのソフトウェア製品およびハードウェア製品が市販されている。通常は、検出および除去を、時にはシーン（ｓｃｅｎｅ）ごとに個別に微調整するために、ある種のパラメータの手動調整が必要である。処理後、修復された出力またはその部分を受け入れるかまたは拒絶するかしなければならず、異なるパラメータを用いて修復をやり直す選択肢もある。調整には時間がかかり、特に適合しなかった重要なシーンにおいて品質が十分でないことがあるため、これは満足のいくものではない。掻き傷および汚れの検出は、現在も完全には解決されていない重大な問題である。今のところまだ、検出されないオブジェクトまたは誤って検出されるオブジェクトがある比率で存在する。

【発明の概要】

【0007】

本発明の目的は、画像の修復に対する解決策であって、自動フィルム修復アルゴリズムの結果を効率的な方法で制御し改善することを可能にする解決策を提供することにある。

【0008】

本発明の一態様によれば、この目的は、１つの画像または一連の画像を修復する方法であって、
− 前記１つの画像または前記一連の画像中のアーチファクト（ａｒｔｉｆａｃｔ）を検出するステップと、
− 検出されたアーチファクトに関する情報をメタデータ（ｍｅｔａｄａｔａ）データベースに記憶するステップと、
− 検出されたアーチファクトのうちの１つまたは複数のアーチファクトを、メタデータデータベースに記憶された前記情報に基づいて、前記１つの画像または前記一連の画像から除去するステップと、
を含む方法によって達成される。

【0009】

同様に、１つの画像または一連の画像を修復する装置は、
− 前記１つの画像または前記一連の画像中のアーチファクトを検出する第１の画像処理プロセッサと、
− 検出されたアーチファクトに関する検出されたアーチファクトに関する情報を記憶するメタデータデータベースと、
− 検出されたアーチファクトのうちの１つまたは複数のアーチファクトを、メタデータデータベースに記憶された前記情報に基づいて、前記１つの画像または前記一連の画像から除去する第２の画像処理プロセッサと、
を備える。

【0010】

修復プロセスを、オブジェクトの検出、例えば掻き傷および汚れオブジェクトの検出と、メタデータによって駆動される自動ワークフロー（ｗｏｒｋｆｌｏｗ）を使用する除去とに分ける本発明に基づく解決策は、複数の利点を有する。アーチファクトを除去する現状技術のワークフローとは違い、異なる内容に対してパラメータを個別に調整する必要はない。同時に、修復結果が完全に再現可能であり、反復に起因する冗長な処理労力が生じない。さらに、オブジェクト検出プロセス中に生成されるメタデータは、メタデータデータベースに記憶された情報に基づいて包括的な品質レポートを作成することを可能にする。したがって、本発明に基づく解決策は、大規模なフィルムアーカイブの修復によく適している。検出プロセスの間に、それぞれのアーチファクトに対するエントリ（ｅｎｔｒｙ）を有するメタデータデータベースが自動的に構築される。

【0011】

検出されたアーチファクトに関する情報をメタデータデータベースに記憶した後、検出されたアーチファクトのうちの１つまたは複数のアーチファクトを１つの画像または一連の画像から除去する前に、メタデータデータベースに記憶された情報に対して品質管理プロセスを実行すると有利である。

【0012】

パラメータの手動調整を必要としない掻き傷および汚れの自動修復アルゴリズムを使用すると、オブジェクトの数がかなり減り、他の画像領域は完全に無傷のまま残る。完璧でないが、これらのアルゴリズムは、使用者と対話しない多くのケースで良好な結果を達成することを可能にする。しかしながら、メタデータデータベースは検出プロセス中に自動的に構築されるため、アルゴリズムの性能が完璧でないことが原因で、メタデータデータベースが不正確であったりまたは不完全であったりすることがある。したがって、完璧な修復が必要な重要な状況では、検出後、除去前に、それぞれのオブジェクトに対するメタデータを、図表現を利用して再検討することによって、結果を改良することができる。これは、メタデータによって駆動される３ステップ修復ワークフローによって達成される。

【0013】

修復プロセスを検出プロセスと除去プロセスとに分けると、品質の再検討中に、メタデータデータベース内のエントリ、すなわちオブジェクトを変更し、追加し、除去することができる。品質の再検討はメタデータデータベースだけに対して実施され、個々のフレームまたは一連のフレームに基づく。アーチファクトは、メタデータデータベース内のアーチファクトに関する情報を削除することによって、または除去トグルフラグ（ｒｅｍｏｖａｌ ｔｏｇｇｌｅ ｆｌａｇ）の値をセットすることによりそのアーチファクトを除去対象から外すことによって、メタデータデータベースから除去されると都合がよい。

【0014】

アーチファクトに関する情報は、アーチファクトの索引（ｉｎｄｅｘ）、アーチファクトのタイプ、長方形の境界ボックス（ｂｏｕｎｄｉｎｇ ｂｏｘ）の座標、アーチファクトの出現のフレーム索引、境界ボックスサイズの２値画素マスク、影響を受ける画素の数、検出重み、除去フラグ、除去トグルフラグおよび除去情報のうちの１つまたは複数を含むと有利である。この情報は、包括的な品質管理プロセスを可能にする。加えて、この情報は、検出された欠陥をグラフィカルユーザインタフェースに表示するのによく適している。

【0015】

アーチファクトに関するこの情報は、前の画像中の同じアーチファクトの索引と後の画像中の同じアーチファクトの索引のうちの少なくとも一方をさらに含むことが好ましい。掻き傷、静止汚れなどのオブジェクトは通常、複数のフレームにわたって存在する。したがって、前および後のフレーム内の同じオブジェクトの索引を記憶することが有用である。

【0016】

品質の再検討のため、掻き傷および汚れオブジェクトにアノテーション（ａｎｎｏｔａｔｉｏｎ）を付け、検出された掻き傷および汚れオブジェクトを個別に除去し、掻き傷および汚れオブジェクトを（図表現を利用して）手作業で追加することを可能にするグラフィカルユーザインタフェースが提供されると都合がよい。グラフィカルユーザインタフェースはさらに、専用のグラフィカルエディタ（ｇｒａｐｈｉｃａｌ ｅｄｉｔｏｒ）を使用して、検出されたアーチファクトを手動で補正することを可能にすることが好ましい。

【0017】

画像中の検出されたアーチファクトの総面積と、画像中の除去対象としてセットされたアーチファクトの総面積のうちの少なくとも一方を求めると都合がよい。これらの値は統計目的だけでなく、図表現を利用したメタデータの再検討にも役立つ。

【図面の簡単な説明】

【0018】

【図1】掻き傷および汚れの検出の問題を示す図である。

【図2】２つの掻き傷を含むフレームを示す図である。

【図3】掻き傷を除去した後の図２のフレームを示す図である。

【図4】汚れオブジェクトおよび移動オブジェクトを含む一連のフレームを示す図である。

【図5】汚れオブジェクトを除去した後の図４の一連のフレームを示す図である。

【図6】フィルム修復のための単一ステップ自動プロセスを示す図である。

【図7】作業者が支援するフレームベースの修復プロセスを示す図である。

【図8】作業者が支援するシーケンスベースの修復プロセスを示す図である。

【図9】本発明に基づく分割修復プロセスを示す図である。

【図10】さらに改良された３ステップフィルム修復ワークフローを示す図である。

【図11】掻き傷および汚れを検出する多ステップ検出戦略を概略的に示す図である。

【図12】例示的なオブジェクト確率密度関数および非オブジェクト確率密度関数、ならびにそれらの確率密度関数と検出しきい値および除去しきい値との関係を示す図である。

【図13】掻き傷オブジェクトまたは汚れオブジェクトの例示的な境界ボックスを示す図である。

【図14】メタデータベースの例示的な図表現を示す図である。

【図15】メタデータベースの例示的な図表現を示す図である。

【図16】修復が一切なされていない原画像を示す図である。

【図17】メタデータアノテーションを有する検出プロセス後の図１６の画像を示す図である。

【図18】除去プロセスを適用した後の出力画像を示す図である。

【発明を実施するための形態】

【0019】

理解がより深まるように、図を参照した以下の説明では本発明をより詳細に説明する。本発明はこの例示的な実施形態だけに限定されないこと、および添付の特許請求の範囲に定義された本発明の範囲から逸脱することなく、本明細書に記載された特徴を適宜、組み合わせかつ／または変更することができることが理解される。

【0020】

使用者がパラメータを調整しない、ディジタル化されたフィルム上の掻き傷および汚れオブジェクトの完全自動検出は、ノイズ（ｎｏｉｓｅ）、粒子（ｇｒａｉｎ）、フリッカ（ｆｌｉｃｋｅｒ）、ジッタ（ｊｉｔｔｅｒ）、運動および内容(コンテンツ)自体のような異なるいくつかの因子が関係するため、困難な作業である。検出アルゴリズムの設計は一般に、検出しきい値の周囲で尤度を分けることによって、誤検出の比率（以後、誤検出率）および検出漏れの比率（以後、検出漏れ率）を低下させることを目指す。このことが図１に概略的に示されている。現実世界のアルゴリズムに関しては、オブジェクトの確率密度関数は通常、別のフレーム内容の確率密度関数と部分的に重なる。これは、オブジェクトの誤検出率および検出漏れ率が常にゼロよりも大きいことを意味する。その理由を以下で説明する。

【0021】

図２および３は、掻き傷の検出および除去の問題を示す。図２には、２つの掻き傷２、２’を含むフレーム１が示されている。図３は、掻き傷を除去した後の同じフレーム１を示している。

【0022】

掻き傷は、フィルムを処理装置、映写機またはスキャナに通している間に、小さな粒子がフィルムの表面を連続的に傷つけることによって生じる。掻き傷は、それぞれのフレームの横断方向に揺れ動く傾向を有する。揺れ動く速度が小さい場合、掻き傷はほぼ垂直であり、複数のフレームのほぼ同じ位置に現われる。しかしながら、揺れ動く速度が大きい場合には、掻き傷がかなりの水平成分を示し、掻き傷は、ある１つのフレームで出現し、同じフレームで消失することさえある。垂直な掻き傷の問題は、図２の建造物３に存在する垂直な画像フィーチャと混同しやすいことである。このことはしばしば、建造物、橋、柵などの人工のオブジェクトに対して起こる。

【0023】

複数のフレームのほぼ同じ位置に現われる掻き傷は、掻き傷の下の内容に関する時間情報を大規模に破壊する。したがって、除去は、掻き傷の周囲のエリアの空間情報を利用しなければならない。

【0024】

図４および５は、汚れの検出および除去の問題を示す。図４には、汚れオブジェクト４および移動オブジェクト５を含む一連のフレーム１が示されている。図５は、汚れオブジェクト４を除去した後の同じ一連のフレーム１を示す。

【0025】

フィルム表面に位置する汚れは、それが静止汚れでない限り、ある１つのフレームで出現し、次のフレームで消失する。局所的な近隣領域に注目すれば、同じことが移動オブジェクトについても言える。図４の一連のフレーム１は、左から右へ移動している移動オブジェクト５、すなわちボールを示しており、フレームｎでは移動オブジェクト５が近隣窓６の中にある。フレームｎ＋１およびｎ−１の移動オブジェクト５は同じ窓の位置にはない。したがって主要な問題は汚れを運動と区別することである。そのため運動が考慮される。

【0026】

別の問題は、不規則な運動（ｅｒｒａｔｉｃ ｍｏｔｉｏｎ）、モーションブラー（ｍｏｔｉｏｎ ｂｌｕｒ）、オクルージョン（ｏｃｃｌｕｓｉｏｎ）、アンカバリング（ｕｎｃｏｖｅｒｉｎｇ）および汚れと同じ時間特性を有するその他の影響によって引き起こされる病的な（ｐａｔｈｏｌｏｇｉｃａｌ）運動によって生じる。

【0027】

フレームが変わってもその下の内容があまり変化していない場合、汚れオブジェクト４は、クローニング（ｃｌｏｎｉｎｇ）によって容易に除去することができる。（病的な）運動の場合には、汚れオブジェクト４の下の原内容の位置がかなり変わっている可能性があるため状況はより困難である。

【0028】

図６に、修復された内容８を原内容７から生み出す単一ステップ自動修復プロセス１０を示す。掻き傷および汚れの自動修復アルゴリズムがあらゆるシーンおよびあらゆる種類のフィルムに対して等しく良好に機能するのであれば、このような監督なしの単一ステップ修復プロセス１０は多くの場合に十分であろう。しかしながら、完璧なアルゴリズムはまだ得られていない。主な問題は、異なる種類のフィルムに対してアルゴリズムの品質を制御することである。

【0029】

この問題に対する一般的な解決策を図７に示す。この解決策では、フレームごとに結果を再検討し１１、修復アルゴリズムのパラメータを個別に調整する１２ため、修復ループ内に作業者９が配置されている。この反復的な単一ステップ完全対話式ワークフローは、時間および作業者の技能によっては潜在的に、掻き傷および汚れの完璧な除去を可能にする。修復アルゴリズムを提供し、修復された内容８と原内容７とを作業者が比較するのを助ける高性能のソフトウェアツールが使用可能である。

【0030】

通常は、作業時間を短縮するために、このループを、図８に示すように２つのステージに分割する。図８は、作業者が支援するシーケンスベースの修復プロセスを示す。この修復プロセスは、フレーム列、例えばシーンカット（ｓｃｅｎｅ ｃｕｔ）に対して反復的に機能する。修復は、作業者９がある種のパラメータをセットすることによって開始され、中間結果１４が記憶される。品質管理ステップ１３では、中間結果１４が受け入れられるかまたは拒絶され、処理は、パラメータを調整しまたは処理領域の境界を画定した後に再開される。中間結果１４とともに、ノイズレベル、粒子レベル、運動ベクトルフィールドおよびシーンカット位置のような修復ステージの間に集められた全般的な情報を含むメタデータセット１５を記憶することができる。さらに、位置およびサイズのような特定の欠陥情報を記憶し、修復を手引きするために作業者に提示することもできる。メタデータの生成は、どちらかと言えば定性的なスクリーニングプロセスを、定量的な測定可能な品質プロセスに変えることを可能にする。例えば、修復された出力８に加えて、オブジェクトの数およびフレームごとの累積面積（画素カウント数）がメタデータ１５として記憶される。処理後、メタデータセット全体の図表現は、フレームごとにいくつの画素が変更されたかに関する情報を与える。このプロセスではまだ、生成されるメタデータ１５は、結果を受け入れるかまたは拒絶するかの決定を助けるだけである。

【0031】

本発明によれば、最終的な出力を生成する前に修復プロセスの品質を確認するため、修復プロセスを、図９に概略的に示すように、検出プロセス２０と除去プロセス２１とに分割する。メタデータ１５は、２つのプロセス２０、２１間で情報を伝達する役目を果たす。検出プロセス２０では、検出アルゴリズムが自動的に働いてメタデータ情報１５を生成する。メタデータ情報１５は次いで除去プロセス２１中に使用される。検出結果は集約されて２２、包括的な品質レポート２３が作成される。包括的な品質レポート２３は、人間または機械によって確認することができる。

【0032】

図１０は、さらに改良された３ステップワークフローを示す。このワークフローでは、掻き傷および汚れオブジェクトの検出２０と除去２１の間に、作業者９によって実行される品質管理２４が挿入される。品質管理２４の間に、例えば掻き傷オブジェクトまたは汚れオブジェクトの記述を変更しまたは追加することによって、メタデータデータベース１５が、除去の実行前に対話によって編集される。

【0033】

以下では、この３ステップワークフローを詳細に説明する。言うまでもなく、図９の２ステップワークフローでは、品質管理に関係したステップは実行されない。

【0034】

パラメータを手動で調整しない、掻き傷および汚れオブジェクトの自動検出２０、特にディジタル化されたフィルム上の掻き傷および汚れオブジェクトの自動検出２０は、ノイズ、粒子、フリッカ、ジッタおよび（病的な）運動のような異なるいくつかの因子が関係するため、複雑な作業である。これらのさまざまな因子に対処するため、掻き傷および汚れに対して多ステップ検出戦略を適用する。この戦略の概要を図１１に示す。第１のステップ３０で、全体のノイズレベルを推定する。続いて疑わしい画素の検出３１を実行する。疑わしい画素のクラスタ化によって、潜在的なオブジェクトを識別する３２。識別後、潜在的なオブジェクトに重み関数を適用する３３。続いて、例えば重みしきい値処理によってオブジェクトを検出する３４。これは、決められた検出しきい値よりも大きな重みを有する潜在的なオブジェクトだけをメタデータデータベース１５に記憶することを意味する。偽陰性（ｆａｌｓｅ ｎｅｇａｔｉｖｅ）事象を減らすために検出しきい値は比較的に低く設定する。最後に、それらのオブジェクトの妥当性を検証し３４、除去対象であることを示すフラグを立てる３５。除去フラグ属性は、フラグを立てるステップ３５において、事前に決められた除去しきい値重みに応じて自動的にセットされる。偽陽性（ｆａｌｓｅ ｐｏｓｉｔｉｖｅ）が除去されることを防ぐため、この除去しきい値重みは、検出しきい値よりも高く設定される。除去フラグは、妥当性検証ステップ３４で実行されるオブジェクトの妥当性検証によっても左右される。疑わしい画素の検出３１、潜在的なオブジェクトの識別３２および重み関数の適用３３に対して使用するアルゴリズムの設計は、オブジェクト確率密度関数および非オブジェクト確率密度関数の形状に影響を及ぼす。この設計は、誤った検出を減らすために、それらの関数が重なり合う領域を小さくすることを目指す。図１２は、例示的なオブジェクト確率密度関数および非オブジェクト確率密度関数、ならびにそれらの確率密度関数と検出しきい値および除去しきい値との関係を示す。

【0035】

掻き傷および汚れオブジェクトは、単一のフレーム内の有限のエリアを覆うあるタイプのオブジェクトと考えられる。これは、ノイズ、フリッカなどフレーム全体に影響を及ぼすアーチファクトとは対照的である。掻き傷および汚れオブジェクトごとに、以下の一組の属性をメタデータデータベース１５に記述情報として記憶することが好ましい。
− タイプ（掻き傷または汚れ）
− 長方形の境界ボックスの座標
− フレーム索引出現
− 境界ボックスサイズの２値画素マスク
− 影響を受ける画素の数
− 検出重み
− 除去フラグ（自動的にセットされる）
− 除去トグルフラグ（使用者がセットする）
− 除去情報

【0036】

以下では、掻き傷および汚れオブジェクトに対するメタデータの生成を、垂直、水平および時間索引が付けられた３次元フィールドであるディジタル化されたフィルム素材ｙ（ｈ，ｖ，ｔ）に関して説明する。フィルムのタイプに応じて、ｙ（ｈ，ｖ，ｔ）は、白黒フィルムではスカラー（ｓｃａｌａｒ）、またはカラーフィルムではＲＧＢもしくはＹＵＶ値のトリプル（ｔｒｉｐｌｅ）でありうる。

【0037】

Ｔ個のフレームのうちのフレーム番号ｔ内のＮ個のオブジェクトから検出されたそれぞれのオブジェクトｎに対して一意のメタデータセットｍｅｔａ（ｔ，ｎ）が定義される。オブジェクトは、フレームマトリックスｙ（：，：，ｔ）のある有限の領域を覆うように定義される。メタデータセットを、いくつかのオブジェクトタイプ、例えばｍｅｔａＳｃｒａｔｃｈ（ｔ，ｎ）、ｍｅｔａＤｉｒｔ（ｔ，ｎ）に分けることができる。以下では、ｍｅｔａＸ（ｔ，ｎ）を使用して、一方のタイプまたは両方のタイプのオブジェクトを示す。これは、掻き傷オブジェクトと汚れオブジェクトが同じ番号ｎを有することができることを意味する。以下のオブジェクト属性を記憶すると有利である。

【0038】

ａ）オブジェクトを識別し区別するため、一意の索引をセットしなければならない。番号付けは、オブジェクトの位置に従ってフレームの左上から右下へ実行することができる。
ｍｅｔａＸ（ｔ，ｎ）．ｉｎｄｅｘ＝ｎ｛１，．．．，Ｎ｝

【0039】

ｂ）オブジェクトの番号付けが全てのオブジェクトタイプにわたって連続的に実施される場合には、タイプ属性による差別化が必要である。
ｍｅｔａＸ（ｔ，ｎ）．ｔｙｐｅ＝｛‘掻き傷’｜‘汚れ’｜‘静止汚れ’｜．．．｝

【0040】

ｃ）オブジェクトの最大水平長および最大垂直長ｘＷｉｄｔｈ（ｎ）およびｙＷｉｄｔｈ（ｎ）によって、長方形の境界ボックスの幅および高さを定義する。左上隅とともに、ボックスによって覆われるエリアの水平位置および垂直位置を定義するｘＰｏｓ（ｎ）およびｙＰｏｓ（ｎ）を明白に指定する。
ｂ（ｔ，ｎ）＝ｙ（ｙＰｏｓ（ｎ）：ｙＰｏｓ（ｎ）＋ｙＷｉｄｔｈ（ｎ）−１，ｘＰｏｓ（ｎ）：ｘＰｏｓ（ｎ）＋ｘＷｉｄｔｈ（ｎ）−１，ｔ）
例示的な境界ボックスを図１３に示す。したがって、ボックス属性は４要素ベクトルとして定義される。
ｍｅｔａＸ（ｔ，ｎ）．ｂｏｘ＝［ｘＰｏｓ（ｎ） ｙＰｏｓ（ｎ） ｘＷｉｄｔｈ（ｎ） ｙＷｉｄｔｈ（ｎ）］

【0041】

ｄ）フレームマトリックスｙ（：，：，ｔ）内のオブジェクトによって覆われている画素を一意的に記述する目的にはさまざまな方法が使用可能である。検出後のタイプＸのそれぞれのオブジェクトｎは、２値マスクｍａｓｋＸ（１：ｙＷｉｄｔｈ（ｎ），１：ｘＷｉｄｔｈ（ｎ），ｎ）によって定義されると仮定する。ここで「１」はオブジェクトがその位置に存在することを示す。例えば、図１３の境界ボックス内に示されたオブジェクトに対する２値マスクは以下の表によって記述されることになる。

【0042】

【表1】

【0043】

第１の方法によれば、２値マスクの情報は、２値マスク自体を記憶することによって記憶される。
ｍｅｔａＸ（ｔ，ｎ）．ｐｉｘｅｌ＝ｍａｓｋＸ（：，：，ｎ）
他の方法によれば、マスクが「１」である索引のリストを記憶する。
ｍｅｔａＸ（ｔ，ｎ）．ｐｉｘｅｌ＝ｆｉｎｄ（ｍａｓｋＸ（：，：，ｎ））

【0044】

ｅ）ブール（Ｂｏｏｌｅａｎ）フラグｍｅｔａ．ｒｅｍｏｖｅは、後続の除去ステップでそのオブジェクトが修復されるのか否かを示す。自動検出の判断が明瞭でなく、作業者による承認を必要とするときには常に、その値をｆａｌｓｅ（偽）にセットすることもできる。

ｍｅｔａＸ（ｔ，ｎ）．ｒｅｍｏｖｅ＝｛ｔｒｕｅ｜ｆａｌｓｅ｝

【0045】

ｆ）掻き傷、静止汚れなどのオブジェクトは通常、複数のフレームにわたって存在する。したがって、前（ｉｎｄｅｘＦｏｒｗａｒｄ）のフレームおよび後（ｉｎｄｅｘＢａｃｋｗａｒｄ）のフレーム内の同じオブジェクトの索引を記憶することが提案される。「０」は、対応がないことを示すために使用される。
ｍｅｔａＸ（ｔ，ｎ）．ｉｎｄｅｘＦｏｒｗａｒｄ＝｛１，．．．，Ｎ_{ｆｏｒｗａｒｄ}｜０｝
ｍｅｔａＸ（ｔ，ｎ）．ｉｎｄｅｘＢａｃｋｗａｒｄ＝｛１，．．．，Ｎ_{ｂａｃｋｗａｒｄ}｜０｝

【0046】

ｇ）再検討目的および統計目的で、全てのマスク内の「１」の和を構築することによって、検出された全てのオブジェクトの面積または検出されたあるタイプＸのオブジェクトの面積を記憶することが提案される。

ｍｅｔａＸ（ｔ）．ａｒｅａＤｅｔｅｃｔｅｄ＝ｓ（ｍａｓｋＸ（：，：，：））

【0047】

ｈ）同様に、再検討目的および統計目的で、ｍｅｔａＸ．ｒｅｍｏｖｅ（ｔ，ｎ）が「ｔｒｕｅ（真）」である全てのマスク内の「１」の和を構築することによって、フレームｔ内で検出された後に除去される全てのオブジェクトの面積またはあるタイプＸのオブジェクトの面積を記憶することが提案される。
ｍｅｔａＸ（ｔ）．ａｒｅａＲｅｍｏｖｅｄ＝ｓｕｍ（ｍａｓｋＸ（：，：，ｍｅｔａＸ（ｔ，ｎ）．ｒｅｍｏｖｅ））

【0048】

ｉ）除去をどのように実行するのかについての情報、すなわちｍｅｔａＸ（ｔ，ｎ）．ｒｅｍｏｖｅ＝ｔｒｕｅである場合に、ｍｅｔａＸ（ｔ，ｎ）．ｐｉｘｅｌによって与えられるオブジェクト画素をどの方法で変更しまたは置き換えなければならないのかについての情報を提供するフィールド
ｍｅｔａＸ（ｔ，ｎ）．ｒｅｐｌａｃｅｍｅｎｔ
をｍｅｔａＸ（ｔ，ｎ）が含むと有利である。ｍｅｔａＸ（ｔ，ｎ）．ｒｅｍｏｖｅは品質管理ステップ２４の間に変更される可能性があるため、ｍｅｔａＸ（ｔ，ｎ）．ｒｅｍｏｖｅの状態を無視して、常にｍｅｔａＸ（ｔ，ｎ）．ｒｅｐｌａｃｅｍｅｎｔを定義することが好ましい。このフィールドは、除去ステップ２１の間に適当な置換パターンを見つけるための処理が必要ないという利点を有する。このことは、除去の計算要求がより小さくなることを意味する。ただし検出時間は長くなる。さらにメタデータの量も増大する。

【0049】

第１の可能性によれば、周囲ボックスｂ（ｎ）を有するオブジェクトｎに対するｍｅｔａＸ（ｔ，ｎ）．ｒｅｐｌａｃｅｍｅｎｔが、そのオブジェクトによって覆われるｒ（ｎ）の値だけを直接に記憶することによって得られる。

【0050】

ｍｅｔａＸ（ｔ，ｎ）．ｒｅｐｌａｃｅｍｅｎｔ＝ｒ（ｍｅｔａＸ（ｔ，ｎ）．ｐｉｘｅｌ））
あるいは、ｂ（ｎ）とｒ（ｎ）の差を記憶する。
ｍｅｔａＸ（ｔ，ｎ）．ｒｅｐｌａｃｅｍｅｎｔ＝ｒ（ｍｅｔａＸ（ｔ，ｎ）．ｐｉｘｅｌ））−ｂ（ｍｅｔａＸ（ｔ，ｎ）．ｐｉｘｅｌ））

【0051】

別の選択肢によれば、現在のフレーム内またはそれよりも前もしくはそれよりも後の他のフレーム内の画像領域からのクローニングによってｒ（ｎ）が見つかった場合には、水平オフセットｙＯｆｆ（ｎ）、垂直オフセットｘＯｆｆ（ｎ）および時間オフセットｔＯｆｆ（ｎ）を有する３要素ベクトルを記憶する。
ｍｅｔａＸ（ｔ，ｎ）．ｒｅｐｌａｃｅｍｅｎｔ＝［ｙＯｆｆ（ｎ） ｘＯｆｆ（ｎ） ｔＯｆｆ（ｎ）］

【0052】

品質管理ステップ２４での再検討は、既に「十分に良好な」出力を与えているメタデータセット１５を編集して、「優れた」修復結果を与えるメタデータセット１５を得ることを可能にする。言うまでもなく、実際の結果は、作業者９が費やす時間によって変わってくる。加えて、品質管理ステップ２４は、データセットを手動で変更することなくアルゴリズムの品質を制御するのにも役立つことがある。品質管理は、メタデータを確認し変更することによって実行される。このことにより、計数可能な尺度によってより客観的に、かつ対話式の逐次的なフレーム比較よりも潜在的にはるかに速く品質を制御することができる。メタデータが承認された後、修復されたバージョンに対する変更記録とともに、原ファイルに対する品質レポートを生成することが好ましい。

【0053】

グラフィカルユーザインタフェースを有するソフトウェアアプリケーション内のメタデータデータベース１５の図表現を使用することが好ましい。例示的な図表現を図１４および１５に示す。このグラフィカルユーザインタフェースが、集約されたメタデータの視覚化を提供すると有利である。そうすると、誤った検出を示す異常値を容易に発見することができる。通常はごく少数であるが、対応するフレームをさらに調べる必要がある。この目的のため、境界ボックスの座標属性を使用して、あるフレーム内で検出された掻き傷および汚れオブジェクト５０、５１にアノテーションを付ける。除去フラグ属性に従って、境界ボックスに対して異なるスタイルを使用することが好ましい。このようにすると、誤って検出されたオブジェクトを迅速に集めることができる。

【0054】

前述のようにして誤った検出が識別された場合には、メタデータの品質を向上させる必要がある。対応するメタデータを変更するかまたは拡張する。偽陽性として検出された掻き傷および汚れオブジェクトは、メタデータデータベース１５から除去されるか、またはトグルフラグ属性をセットすることによって除去対象から外される。検出されなかったまたは完全には検出されなかった（偽陰性の）掻き傷および汚れオブジェクトに手作業で印を付けて、メタデータデータベース１５に追加することができる。

【0055】

次に、図１４および１５に示したグラフィカルユーザインタフェースをより詳細に参照する。第１のパネル４１では、ｍｅｔａＸ（ｔ，ｎ）．ｂｏｘに記憶されたサイズおよび座標に従って現在のフレームｔの内容の上に長方形のボックスを描くことによって、それぞれのオブジェクト５０、５１にアノテーションが付けられている。ボックスの線に対して異なる色を使用し、かつ／またはボックスの線を破線にすることによって、除去するオブジェクト５０、すなわちｍｅｔａＸ（ｔ，ｎ）．ｒｅｍｏｖｅ＝ｔｒｕｅであるオブジェクトを、除去しないオブジェクト５１、すなわちｍｅｔａＸ（ｔ，ｎ）．ｒｅｍｏｖｅ＝ｆａｌｓｅであるオブジェクトから区別すると有利である。

【0056】

第２のパネル４２では、全てのフレームについて、ベクトルｍｅｔａＸ（ｔ）．ａｒｅａＤｅｔｅｃｔｅｄおよび／またはｍｅｔａＸ（ｔ）．ａｒｅａＲｅｍｏｖｅｄが視覚化されている。フレームＩの数は通常、表示画面の水平解像度よりもはるかに大きいため、データ全体を第２のパネル４２に収めるためのデータ整理が実行される。要素ｍｅｔａＸ（ｔ）．ａｒｅａＤｅｔｅｃｔｅｄ（ｔ）は常に、ｍｅｔａＸ（ｔ）．ａｒｅａＲｅｍｏｖｅｄ（ｔ）に等しいかまたはそれよりも大きいため、同じパネル４２内に、ｍｅｔａＸ）．ａｒｅａＤｅｔｅｃｔｅｄの前にｍｅｔａＸ．ａｒｅａＲｅｍｏｖｅｄが置かれた２本のバープロット（ｂａｒ ｐｌｏｔ）が示される。

【0057】

第３のパネル４３には、ｍｅｔａＸ（ｔ）．ａｒｅａＤｅｔｅｃｔｅｄの前にｍｅｔａＸ（ｔ）．ａｒｅａＲｅｍｏｖｅｄが置かれた追加の２本のバープロットがプロットされる。第２のパネル４２とは対照的に、ｍｅｔａＸ（ｔ）．ａｒｅａＤｅｔｅｃｔｅｄの前にｍｅｔａＸ（ｔ）．ａｒｅａＲｅｍｏｖｅｄが置かれたそれぞれの要素は、１画素よりも大きな幅を有する離れたバーによって表示される。フレームＩの数は通常、表示画面の水平解像度よりもはるかに大きいため、プロットの一部分だけが見えている。この部分は、現在のフレームｔに対応するバーが常にプロットの中央に位置するように選択される。

【0058】

誤って検出されたオブジェクトが除去されることを防ぐためには、対応するボックスをクリックするかまたは対応するボックスにタッチして、ｍｅｔａＸ（ｔ，ｎ）．ｒｅｍｏｖｅｄのオブジェクト状態を切り換え、それに応じてアノテーションボックスの色および／または破線表示を切り換える。ｍｅｔａＸ（ｔ，ｎ）．ｒｅｍｏｖｅｄの状態を切り換えたときに、ｍｅｔａＸ（ｔ）．ａｒｅａＲｅｍｏｖｅｄ内の累算された面積、ならびに第２のパネル４２および第３のパネル４３に示されたプロットが瞬時に更新されると都合がよい。

【0059】

第２のパネル４２および第３のパネル４３内のプロットのある位置をクリックしまたはその位置にタッチしたときには常に、グラフィカルユーザインタフェースが対応するフレームに切り換わることが好ましい。第１のパネル４１に示される内容およびアノテーション、ならびに第３のパネル４３内のメタデータバープロットの区間が瞬時に更新される。

【0060】

第４のパネル４４は、第１のパネル４１に掻き傷だけもしくは汚れだけを表示するのか、または掻き傷と汚れの両方を表示するのかを選択することを可能にする。加えて、第５のパネル４５は、第１のパネル４１内で、原内容の代わりに、除去プロセス２１の結果得られた出力をプレビューすることを可能にする。この目的のため、第４のパネル内の掻き傷および／または汚れのチェックボックスがアクティブにされ、第５のパネル４５内の対応する選択項目をクリックするかまたはショートカットキーを押すことによって表示が除去後（フィルタリング後）に変更されたときには常に、現在のフレームｔに除去プロセス２１が適用される。あるいはまたはそれに加えて、専用の除去／適用ボタン（図示せず）が押されたときに、現在のフレームｔに除去プロセス２１が適用される。

【0061】

このグラフィカルユーザインタフェースはさらに、索引
ｍｅｔａＸ（ｔ，ｎ）．ｉｎｄｅｘ＝ｎ＋１
およびタイプ
ｍｅｔａＸ（ｔ，ｎ＋１）．ｔｙｐｅ＝｛‘掻き傷’｜‘汚れ’｜‘静止汚れ’｜．．．｝
を有する別のオブジェクトｍｅｔａＸ（ｔ，ｎ＋１）を追加することを可能にする。

【0062】

それらのオブジェクトには、位置［ｘＰｏｓ ｙＰｏｓ］および幅［ｘＷｉｄｔｈ ｙＷｉｄｔｈ］を有する第１のパネル４１内のある領域
ｍｅｔａＸ（ｔ，ｎ＋１）．ｂｏｘ＝［ｘＰｏｓ ｙＰｏｓ ｘＷｉｄｔｈ ｙＷｉｄｔｈ］
にマウスフリーハンドツールなどを使用して印を付けることによって、
ｍｅｔａＸ（ｔ，ｎ＋１）．ｒｅｍｏｖｅ＝ｔｒｕｅ
のフラグが立てられる。

【0063】

それによって、上記ｄ）で既に説明したｍｅｔａＸ（ｔ，ｎ＋１）．ｐｉｘｅｌをセットするためのｍａｓｋＸ（：，：，ｎ＋１）が定義される。さらに、ｆ）に基づくエントリ
ｍｅｔａＸ（ｔ，ｎ＋１）．ｉｎｄｅｘＦｏｒｗａｒｄ＝｛１，．．．，Ｎ_{ｆｏｒｗａｒｄ}｜０｝
ｍｅｔａＸ（ｔ，ｎ＋１）．ｉｎｄｅｘＢａｃｋｗａｒｄ＝｛１，．．．，Ｎ_{ｂａｃｋｗａｒｄ}｜０｝
ｇ）に基づくエントリ
ｍｅｔａＸ（ｔ）．ａｒｅａＤｅｔｅｃｔｅｄ＝ｍｅｔａＸ（ｔ）．ａｒｅａＤｅｔｅｃｔｅｄ＋ｓｕｍ（ｍａｓｋＸ（：，：，ｎ＋１））
ｈ）に基づくエントリ
ｍｅｔａＸ（ｔ）．ａｒｅａＲｅｍｏｖｅｄ＝ｍｅｔａＸ（ｔ）．ａｒｅａＲｅｍｏｖｅｄ＋ｓｕｍ（ｍａｓｋＸ（：，：，ｎ＋１））
ｉ）に基づくエントリ
ｍｅｔａＸ（ｔ，ｎ）．ｒｅｐｌａｃｅｍｅｎｔ
がセットされる。

【0064】

最後に、掻き傷および汚れオブジェクトの除去２１をメタデータデータベース１５を使用して自動的に実行して、修復された出力８を生成する。したがって、結果は完全に予測でき、原ファイル７は、オブジェクトが検出され、除去に関してメタデータが承認された位置だけが変更される。より具体的には、メタデータｍｅｔａＸ（ｎ）をそれぞれのフレームｔに適用することによってフィルムの修復が実行される。ｍｅｔａＸ（ｔ，ｎ）．ｐｉｘｅｌによって定義されたオブジェクトｎの画素は、ｍｅｔａＸ（ｔ，ｎ）．ｒｅｍｏｖｅ＝ｔｒｕｅである場合に変更される。フレームｔ内の他の画素は無傷のままに残される。

【0065】

それぞれのオブジェクトに対して以下の手順が実行される。「’」が付けられた変数は「その場」で、すなわち追加の記憶域を割り当てることなく処理することもできる。それらの変数は例示のために導入したものである。

【0066】

ａ．フレームｔに対して、修復された出力マトリックスｙ’（ｔ）を入力マトリックスｙ（ｔ）にセットする。
ｙ’（ｔ）＝ｙ（ｔ）

【0067】

ｂ．ｍｅｔａＸ（ｔ，ｎ）．ｂｏｘを用いて、ｃ）で説明したようにして、境界ボックスマトリックスｂ（ｔ，ｎ）を見つける。

【0068】

ｃ．修復された境界ボックスマトリックスｂ’（ｔ，ｎ）をｂ（ｔ，ｎ）にセットする。
ｂ’（ｔ，ｎ）＝ｂ（ｔ，ｎ）

【0069】

ｄ．ｍｅｔａＸ（ｔ，ｎ）．ｔｙｐｅに応じて、ｂ’（ｔ，ｎ）内のｍｅｔａＸ（ｔ，ｎ）．ｐｉｘｅｌによって与えられる画素を変更する方法を選択する。
ｉ．ｂ’（ｔ，ｎ，ｍｅｔａＸ（ｔ，ｎ）．ｐｉｘｅｌ）＝ｍｅｔａＸ（ｔ，ｎ）．ｒｅｐｌａｃｅｍｅｎｔ
ｉｉ．ｂ’（ｔ，ｎ，ｍｅｔａＸ（ｔ，ｎ）．ｐｉｘｅｌ）＝ｂ’（ｔ，ｎ，ｍｅｔａＸ（ｔ，ｎ）．ｐｉｘｅｌ）＋ｍｅｔａＸ（ｔ，ｎ）．ｒｅｐｌａｃｅｍｅｎｔ
ｉｉｉ．ｍｅｔａＸ（ｔ，ｎ）．ｒｅｐｌａｃｅｍｅｎｔからｙＯｆｆ（ｎ）、ｘＯｆｆ（ｎ）およびｔＯｆｆ（ｎ）を抽出することによって、一時的な境界ボックスマトリックスｂ”を、
ｂ”＝ｙ（ｙＰｏｓ（ｎ）＋ｙＯｆｆ（ｎ）：ｙＰｏｓ（ｎ）＋ｙＯｆｆ（ｎ）＋ｙＷｉｄｔｈ（ｎ）−１，ｘＰｏｓ（ｎ）＋ｘＯｆｆ（ｎ）：ｘＰｏｓ（ｎ）＋ｘＯｆｆ（ｎ）＋ｘＷｉｄｔｈ（ｎ）−１，ｉ＋ｔＯｆｆ（ｎ））
にセットする。
ｂ’（ｔ，ｎ，ｍｅｔａＸ（ｔ，ｎ）．ｐｉｘｅｌ）＝ｂ”（ｍｅｔａＸ（ｔ，ｎ）．ｐｉｘｅｌ）
をセットする。

【0070】

ｅ）ｙ（ｎ）’内のオブジェクトｉを、修復された
ｙ’（ｙＰｏｓ（ｎ）：ｙＰｏｓ（ｎ）＋ｙＷｉｄｔｈ（ｎ）−１，ｘＰｏｓ（ｎ）：ｘＰｏｓ（ｎ）＋ｘＷｉｄｔｈ（ｎ）−１，ｉ）＝ｂ’（ｔ，ｎ）
で置き換える。

【0071】

図１６から１８は、修復ワークフローの例示的な結果を示す。図１６には、修復が一切なされていない原画像が示されている。図１７は、メタデータアノテーションを有する同じ画像、すなわち検出プロセス２０を実行した後の同じ画像を示す。図１８は、除去プロセス２１を適用した後の出力画像を示す。
(付記１)
１つの画像または一連の画像を修復する方法であって、
− 前記１つの画像または前記一連の画像中のアーチファクトを検出するステップと、
− 検出されたアーチファクトに関する情報をメタデータデータベースに記憶するステップと、
− 検出されたアーチファクトのうちの１つまたは複数のアーチファクトを、前記メタデータデータベースに記憶された前記情報に基づいて、前記１つの画像または前記一連の画像から除去するステップと、
を含む、前記方法。
(付記２)
前記アーチファクトは、掻き傷オブジェクトと汚れオブジェクトのうちの少なくとも一方のオブジェクトである、付記１に記載の方法。
(付記３)
アーチファクトに関する前記情報は、前記アーチファクトの索引、前記アーチファクトのタイプ、長方形の境界ボックスの座標、前記アーチファクトの出現のフレーム索引、境界ボックスサイズの２値画素マスク、影響を受ける画素の数、検出重み、除去フラグ、除去トグルフラグおよび除去情報のうちの１つまたは複数を含む、付記１または２に記載の方法。
(付記４)
アーチファクトに関する前記情報は、前の画像中の同じアーチファクトの索引と後の画像中の同じアーチファクトの索引のうちの少なくとも一方をさらに含む、付記１から３のいずれかに記載の方法。
(付記５)
検出されたアーチファクトに関する情報を前記メタデータデータベースに記憶した後、検出されたアーチファクトのうちの１つまたは複数のアーチファクトを前記１つの画像または前記一連の画像から除去する前に、前記メタデータデータベースに記憶された前記情報に対して品質管理プロセスを実行するステップをさらに含む、付記１から４のいずれかに記載の方法。
(付記６)
前記品質管理プロセスは、前記メタデータデータベースにアーチファクトを追加すること、および／または前記メタデータデータベースからアーチファクトを除去することを含む、付記５に記載の方法。
(付記７)
アーチファクトは、前記メタデータデータベース内の前記アーチファクトに関する前記情報を削除することによって、または前記除去トグルフラグの値をセットすることにより前記アーチファクトを除去対象から外すことによって、前記メタデータデータベースから除去される、付記６に記載の方法。
(付記８)
前記画像中の検出されたアーチファクトの総面積と、前記画像中の除去対象としてセットされたアーチファクトの総面積のうちの少なくとも一方を求めるステップをさらに含む、付記１から７のいずれかに記載の方法。
(付記９)
前記メタデータデータベース中に記憶された前記情報に基づいて品質レポートを作成するステップをさらに含む、付記１から８のいずれかに記載の方法。
(付記１０)
１つの画像または一連の画像を修復する装置であって、
− 前記１つの画像または前記一連の画像中のアーチファクトを検出する第１の画像処理プロセッサと、
− 検出されたアーチファクトに関する検出されたアーチファクトに関する情報を記憶するメタデータデータベースと、
− 検出されたアーチファクトのうちの１つまたは複数のアーチファクトを、前記メタデータデータベースに記憶された前記情報に基づいて、前記１つの画像または前記一連の画像から除去する第２の画像処理プロセッサと、
を備える、前記装置。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】