特表2024-520196画像の鮮明度を判定するための方法、データ処理システム、コンピュータプログラム製品、およびコンピュータ可読媒体
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-05-22
(54)【発明の名称】画像の鮮明度を判定するための方法、データ処理システム、コンピュータプログラム製品、およびコンピュータ可読媒体
(51)【国際特許分類】
G06T 7/00 20170101AFI20240515BHJP
【ＦＩ】
G06T7/00 Q
【審査請求】未請求
【予備審査請求】有
(21)【出願番号】P 2023569598
(86)(22)【出願日】2022-05-09
(85)【翻訳文提出日】2023-12-25
(86)【国際出願番号】 HU2022050043
(87)【国際公開番号】W WO2022238724
(87)【国際公開日】2022-11-17
(31)【優先権主張番号】P2100190
(32)【優先日】2021-05-10
(33)【優先権主張国・地域又は機関】HU
(81)【指定国・地域】
(71)【出願人】
【識別番号】518289852
【氏名又は名称】エーアイモーティブ ケーエフティー．
(74)【代理人】
【識別番号】110003797
【氏名又は名称】弁理士法人清原国際特許事務所
(72)【発明者】
【氏名】コズマ，ピーター ダニエル
(72)【発明者】
【氏名】リーラント―ニーステ，マティアス
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096AA06
5L096BA04
5L096BA06
5L096BA13
5L096CA02
5L096DA02
5L096EA02
5L096EA31
5L096FA23
5L096FA32
5L096FA33
5L096FA35
5L096GA32
5L096GA51
(57)【要約】
本発明は、入力画像が充分に鮮明であるかどうかを判定するための方法であって、ぼけスコアしきい値を提供するステップと、入力画像を画像処理システムに入力するステップと、画像処理システムによって、入力画像の二次元周波数スペクトルを生成するステップと、二次元周波数スペクトルから一次元周波数スペクトル（１４）を生成するステップと、一次元周波数スペクトル（１４）に直線（１６）をフィッティングするステップと、フィッティングの残差に基づいてぼけスコア値を決定し、ぼけスコア値のぼけスコアしきい値との比較に基づいて、入力画像を充分に鮮明であるとみなすステップとを含む方法である。さらに、本発明は、上記方法を実施するデータ処理システム、コンピュータプログラム製品、およびコンピュータ可読媒体に関する。
【選択図】図６
【選択図】図６
【特許請求の範囲】
【請求項1】
入力画像（１０）が充分に鮮明であるかどうかを判定するための方法であって、－ぼけスコアしきい値を提供するステップと、
－前記入力画像（１０）を画像処理システムに入力するステップと、
－前記画像処理システムによって、前記入力画像（１０）の二次元周波数スペクトル（１２）を生成するステップと、
－前記二次元周波数スペクトル（１２）から一次元周波数スペクトル（１４）を生成するステップと、
－前記一次元周波数スペクトル（１４）に直線（１６）をフィッティングするステップと、
－前記フィッティングの残差に基づいてぼけスコア値を決定し、前記ぼけスコア値の前記ぼけスコアしきい値との比較に基づいて前記入力画像（１０）が充分に鮮明であるとみなすステップと
を含む方法。
【請求項2】
前記一次元周波数スペクトル（１４）は、前記二次元周波数スペクトル（１２）の二次元振幅スペクトルから生成される、ことを特徴とする請求項１に記載の方法。
【請求項3】
前記二次元振幅スペクトルの対数が計算され、前記一次元周波数スペクトル（１４）は、前記二次元振幅スペクトルの前記対数から生成される、ことを特徴とする請求項２に記載の方法。
【請求項4】
前記一次元周波数スペクトル（１４）は、前記二次元周波数スペクトル（１２）の周波数範囲に対応するビンと、各々のビンについてのヒストグラム値とを有するヒストグラムであり、各々のヒストグラム値は、対応する前記周波数範囲における平均振幅または積算振幅である、ことを特徴とする請求項２または３に記載の方法。
【請求項5】
前記二次元周波数スペクトル（１２）は、中心型であり、前記一次元周波数スペクトル（１４）は、半径平均化によって生成される、ことを特徴とする請求項１～３のいずれか一項に記載の方法。
【請求項6】
前記入力画像（１０）の前記二次元周波数スペクトル（１２）は、二次元フーリエ変換または二次元ウェーブレット変換によって生成される、ことを特徴とする請求項１～５のいずれか一項に記載の方法。
【請求項7】
前記直線（１６）は、線形回帰法によってフィッティングされる、ことを特徴とする請求項１～６のいずれか一項に記載の方法。
【請求項8】
前記ぼけスコアしきい値を提供するステップは、第１のシナリオと第２のシナリオとの間で経験的データに基づいて判断を行うことを含み、前記第１のシナリオにおいて、前記ぼけスコアしきい値は、予め決定された値であり、
前記第２のシナリオにおいて、前記ぼけスコアしきい値は、以下のステップ、すなわち
－前記入力画像（１０）からぼけ画像（２０）を生成するステップ、
－前記画像処理システムによって、前記ぼけ画像（２０）のさらなる二次元周波数スペクトル（２２）を生成するステップ、
－前記さらなる二次元周波数スペクトル（２２）からさらなる一次元周波数スペクトル（２４）を生成するステップ、および
－前記さらなる一次元周波数スペクトル（２４）にさらなる直線（２６）をフィッティングするステップ
によって決定され、前記ぼけスコアしきい値は、前記フィッティングの残差に基づく、ことを特徴とする請求項１～７のいずれか一項に記載の方法。
【請求項9】
前記第２のシナリオにおいて、前記ぼけ画像（２０）は、ぼけパラメータを有するぼかしによって生成され、前記ぼけパラメータは、以下のステップ、すなわち
－鮮明な画像を取得するステップ、
－一連の後続のぼかしを適用することによって、前記鮮明な画像に基づいて一連のぼけ画像２０を生成するステップ、
－前記一連のぼけ画像２０の各々のぼけ画像についてのぼけスコア値を計算するステップ、および
－前記一連のぼけ画像２０の前記ぼけスコア値の最小値に対応する前記ぼけパラメータを選択するステップによって決定される、ことを特徴とする請求項８に記載の方法。
【請求項10】
前記ぼけ画像（２０）は、ガウスぼかしによって生成される、ことを特徴とする請求項９に記載の方法。
【請求項11】
前記さらなる二次元周波数スペクトル（２２）は、前記二次元周波数スペクトル（１２）と同じやり方で生成され、前記さらなる一次元周波数スペクトル（２４）は、前記一次元周波数スペクトル（１４）と同じやり方で生成され、前記さらなる直線（２６）は、前記直線（１６）と同じやり方でフィッティングされる、ことを特徴とする請求項９または１０に記載の方法。
【請求項12】
前記ぼけスコア値と前記ぼけスコアしきい値との前記比較は、前記ぼけスコア値から前記ぼけスコアしきい値を減算することによって差分スコア値を生成することによって実施され、正の値または負ではない値を有する差分スコア値が、前記入力画像１０が充分に鮮明であることを示す、ことを特徴とする請求項１～１１のいずれか一項に記載の方法。
【請求項13】
前記ぼけスコア値と前記ぼけスコアしきい値との前記比較は、前記ぼけスコア値を前記ぼけスコアしきい値で除算することによってスコア比を生成することによって実施され、１よりも大きい値または１以上の値を有するスコア比が、前記入力画像１０が充分に鮮明であることを示す、ことを特徴とする請求項１～１１のいずれか一項に記載の方法。
【請求項14】
請求項１～１３のいずれかに記載の方法のステップを実行するための手段を備えるデータ処理システム。
【請求項15】
プログラムがコンピュータによって実行されたときに請求項１～１３のいずれかに記載の方法を前記コンピュータに実行させる命令を含む非一時的コンピュータプログラム製品。
【請求項16】
コンピュータによって実行されたときに請求項１～１３のいずれかに記載の方法を前記コンピュータに実行させる命令を含む非一時的コンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、例えば、入力画像が計画された用途またはさらなる画像処理にとって充分なディテールまたは情報を含むことを確実にするために、入力画像が充分に鮮明であるかどうかを判定するための方法に関する。さらに、本発明は、この方法を実施するデータ処理システム、コンピュータプログラム製品、およびコンピュータ可読媒体に関する。
【背景技術】
【0002】
画像の鮮明度の測定または判定は、さまざまな用途で使用される。医療の用途または自動運転に関連する用途などの用途は、通常は、画像が充分に鮮明でないと、誤った判断につながり、健康上のリスクまたは事故を引き起こす可能性があるため、より高水準の鮮明度を必要とする。ぼけた画像（ぼけを有する画像）、すなわち鮮明さを欠く画像では、通常は、例えばエッジが明確に定まらず、明るい領域と影になった領域とが充分に区別されない。ぼけた画像について、考えられる原因が、特許文献１に要約されており、それらの原因として、カメラの焦点が合っていないこと、誤って前景または背景に焦点が合ってしまうこと、最良の焦点が或る特定の距離に設定され、したがって他の距離に位置する物体に焦点が合っていないこと、画像の取得時のカメラまたは物体の動き（モーションブラー）、あるいは画像のデジタル化または後処理が挙げられる。さらに、ぼけが結果の不確実性を高めるがゆえに、ぼけた画像は、エッジ検出タスクまたはセグメント化タスクの実行をより困難にする可能性がある。
【0003】
特許文献２が、デジタル画像の画像ぼけを推定および低減するためのぼけ検出システムを開示している。デジタル画像が、通常は、順離散コサイン変換（ＤＣＴ）によって符号化されて格納される。ぼけ指標として、単一のＤＣＴ係数、ＤＣＴ係数のセット、または１つ以上のＤＣＴ係数と他のＤＣＴ係数との比較が使用される。各々のＤＣＴ係数は、その対応する周波数成分に関連付けられ、このようにして二次元ヒストグラムが生成される。次いで、二次元（２Ｄ）ヒストグラムは、ラジアル周波数スペクトルと同様に、一次元（１Ｄ）ヒストグラムに縮小される。ぼけ指標は、１Ｄヒストグラムから、例えば、画像の一領域内の最大のＤＣＴ係数を使用することによって決定され、あるいは、第１の領域の標準偏差の別の領域への標準偏差に対する比を使用することによって決定され、大きい比は、ぼけ画像を表し、小さい比は、焦点が合った画像を表す。
【0004】
特許文献３が、圧縮されたビデオシーケンスの品質を基準を使用せずに測定するための方法および装置を開示しており、したがって、品質情報は、個々の画像フレームから直接導出される。画像フレームは、高速フーリエ変換（ＦＦＴ）によって変換され、蓄積された中～高周波振幅と蓄積された低周波振幅との間の比が決定される。この比は、比が小さいことが、画像内に低周波成分がより多く存在し、したがって画像がぼけて見える可能性があることを示しているため、画像の鮮明度を判定するために使用される。
【0005】
特許文献４が、入力画像において検出されたエッジと、周波数ドメインにおける入力画像のスペクトルエネルギー情報とに基づいて、ぼけ値を推定するためのシステムを開示している。画像は、空間ドメインから周波数ドメインに変換され、周波数成分が、ぼけた画像とぼけていない（鮮明な）画像とを分類するためのモデルに基づいて分析される。入力画像の２Ｄパワースペクトルが計算され、そこから方向に無関係な１Ｄスペクトルが計算される。２Ｄスペクトルは、低周波領域、中周波領域、および高周波領域に対応する円形領域に分割され、ぼけ値が、各々の領域におけるカウントに基づいて決定される。あるいは、エッジ検出を使用してぼけ値が決定される。
【0006】
特許文献５が、画像の鮮明度を測定する方法を開示しており、画像が鮮明であるか否かの判断は、離散フーリエ変換によって生成された２Ｄスペクトルに基づく。方向情報も画像の鮮明度を判定するために使用される。
【0007】
既知の手法に鑑み、画像のコンテンツまたは物体に関係なく、画像の鮮明度に関する判断を可能にするうえで助けとなる方法が、必要とされている。画像が充分に鮮明であるかどうかの判定を補完するためにエッジ検出を使用する既知の手法は、画像のコンテンツに大きく依存するため、コンテンツが鮮明度の判断に影響を及ぼす可能性がある。同程度に鮮明な画像が、異なるシーンをキャプチャしており、例えば、一方のシーンには少数の物体しか含まれず、もう一方のシーンにはより多くの物体が含まれる場合、結果的に、検出されるエッジの量が異なり、したがって、検出されたエッジに基づく判断も異なることになる。この理由で、エッジ検出に基づく方法は、未知のシーンまたは動的に変化するシーンに直接使用することができない。さらに、動的に変化するシーンに関して、リアルタイムでの鮮明度の判定を可能にする信頼できる方法が必要である。
【0008】
他の既知の手法のいくつかは、画像が充分に鮮明であるか否かを判定するために、機械学習ツールを使用している。機械学習ツールの使用は、かなりの量の訓練データを必要とし、かなりの時間および労力を必要とする訓練データの個別の分類も必要とする。上記の理由から、より容易かつ迅速に正確かつ客観的な判断を与える解決策が、強く求められている。
【先行技術文献】
【特許文献】
【0009】
【特許文献1】カナダ特許出願公開第２ ５６２ ４８０号明細書
【特許文献2】米国特許出願公開第２００４／０１２０５９８号明細書
【特許文献3】米国特許出願公開第２００４／０１５６５５９号明細書
【特許文献4】米国特許出願公開第２０１４／０００３７３４号明細書
【特許文献5】韓国特許第１０－１５７０６０２号明細書
【発明の概要】
【0010】
本発明の主な目的は、画像が鮮明であるか否かを判定するための方法であって、先行技術の手法の欠点を可能な限り排除した方法を提供することである。
【0011】
本発明の目的は、画像の鮮明度に関する判断を、画像のコンテンツにかかわらず、先行技術の手法よりも効率的なやり方で行うことができる方法を提供することである。したがって、本発明の目的は、画像が充分に鮮明であるか否かを判定することができる信頼性の高い方法を提供することである。
【0012】
本発明のさらなる目的は、本発明による方法のステップを実行するための手段を備えるデータ処理システムを提供することである。
【0013】
さらに、本発明の目的は、１つ以上のコンピュータ上で本発明による方法のステップを実施するための非一時的コンピュータプログラム製品、および１つ以上のコンピュータ上で本方法のステップを実行するための命令を含む非一時的コンピュータ可読媒体を提供することである。
【0014】
本発明の目的は、請求項１に記載の方法によって達成することが可能である。さらに、本発明の目的は、請求項１４に記載のデータ処理システム、請求項１５に記載の非一時的コンピュータプログラム製品、および請求項１６に記載の非一時的コンピュータ可読媒体によって達成することができる。本発明の好ましい実施形態が、従属請求項に定義される。
【0015】
先行技術の手法と比較した本発明による方法の主な利点は、画像が充分に鮮明であるかどうかを迅速かつ容易なやり方で判断することができ、したがってリアルタイムでの判断も可能にできるという事実からもたらされる。そのような迅速な判断は、一方では、カメラストリームから由来する画像の連続的な分析を可能にし、他方では、充分に鮮明な画像をキャプチャするためのカメラまたはその設定の再調整も可能にする。
【0016】
画像の二次元周波数スペクトルから生成された一次元周波数スペクトル、とりわけ一次元周波数スペクトルの形状または包絡線が、画像の鮮明さに対応すると認識された。充分に鮮明な画像が、滑らかな包絡線を有する一次元周波数スペクトルをもたらす一方で、ぼけた画像は、あまり滑らかでない包絡線を有する一次元周波数スペクトルをもたらす傾向にあり、すなわち包絡線がいくつかの構造を含むことが、明らかになった。この理由で、一次元周波数スペクトルに直線をフィッティングさせたとき、鮮明な画像は、フィッティングがあまり良好でないぼけた画像とは対照的に、比較的良好なフィッティングを有する。フィッティングの残差が、フィッティングの品質を特徴付けることができ、したがって画像の鮮明度の判断の根拠となり得るパラメータとして使用することができる。このパラメータを、例えば、鮮明さの尺度に対応するしきい値または一連のしきい値と比較することができる。
【0017】
本発明による方法の特定の実施形態は、そのようなしきい値を画像自体に基づいて生成することができる。
【0018】
本発明による方法のさらなる利点は、計算をあまり必要とせず、したがって、画像の鮮明さについてリアルタイムでの判断が可能になることである。計算の必要性が限られているため、本発明による方法を、各々の入力画像について２回、すなわち元の入力画像について１回、および入力画像のぼかしバージョン（ぼけ画像）について１回、実行することができ、依然としてリアルタイムで判断を行うことが可能である。好都合なことに、本発明による方法は、画像のコンテンツに依存せず、すなわちシーンに依存せず、したがって、本方法は、あらゆる種類のシーンをキャプチャする画像に使用することができる。
【0019】
したがって、本発明による方法は、医療の用途（医療画像処理）あるいは自動運転または自律型車両の視覚の改善を含む視覚に基づくあらゆるシーン認識システムにおいて使用可能である。
【図面の簡単な説明】
【0020】
本発明の好ましい実施形態が、以下の図面を参照して、例として後述される。
【0021】
【発明を実施するための形態】
【0022】
本発明は、入力画像１０が充分に鮮明であるかどうかを判定するための方法に関する。充分な鮮明度の水準は、本方法の具体的な用途に依存する可能性があり、例えば、医療の用途または自動運転に関連する用途は、画像の鮮明度が入力画像１０に基づく判断に直接影響を及ぼす可能性があり、したがって画像が充分に鮮明でないと、健康上のリスクまたは事故が生じかねないため、より高水準の鮮明度が必要となり得る。判断に基づいて、鮮明度が不充分な入力画像１０を、そのようにラベル付け（フラグ付け）することができ、特定の用途に関して無視することさえ可能であり、あるいは警告信号を生成することも可能である。さらに、充分な鮮明度の水準を、用途ごとに独立して設定することが可能である。
【0023】
本発明によれば、入力画像１０が充分に鮮明であるかどうかを判定する方法は、入力画像１０のためのぼけスコアしきい値を提供するステップを含む。ぼけスコアしきい値は、好ましくは、入力画像１０が充分に鮮明であるか、あるいは予定される用途に関して鮮明度が不充分であるかを区別する値である。ぼけスコアしきい値を提供するステップは、好ましくは、第１のシナリオと第２のシナリオとの間で経験的データに基づいて行われる判断を含む。前記第１のシナリオにおいて、ぼけスコアしきい値は、予め定められた値であり、前記第２のシナリオにおいて、ぼけスコアしきい値は、入力画像１０自体に基づいてさらなるステップによって決定される。
【0024】
第１のシナリオにおいて、ぼけスコアしきい値は、予め定められた値であり、好ましくは、入力画像１０を記録するカメラのカメラ種類またはカメラ設定、入力画像１０の記録時の照明条件、入力画像１０のコンテンツまたは予想されるコンテンツ、などの経験的データに基づいて決定される。第２のシナリオにおいては、ぼけスコアしきい値を、入力画像１０自体に基づいて直接決定することができる。
【0025】
第１のシナリオは、好ましくは、入力画像１０について限られた量のぼけ（すなわち、入力画像１０のぼけが、図８の０．９５までの範囲のぼけパラメータに対応する）しか予想されない用途に対応する。したがって、第１のシナリオにおいては、経験的に決定された（予め決定された）ぼけスコアしきい値を使用することができる。第１のシナリオは、例えば、良好な気象条件において日中に自動運転車のカメラによって入力画像１０が記録され、したがってカメラによって記録された入力画像１０が同様の鮮明度を有すると予想される場合に関する。そのようなシナリオにおいて、好ましくはカメラ種類およびカメラ設定に基づいて、経験的に予め決定されたぼけスコアしきい値を、入力画像１０のために提供することができる。好ましい実施形態においては、第１のシナリオにおいて、すべての入力画像１０について同じぼけスコアしきい値を提供することができる。
【0026】
好ましくは、予め決定されたぼけスコアしきい値は、入力画像１０のノイズに関連するカメラの利得に基づいて決定される。好ましい実施形態においては、異なるカメラ設定または撮像条件に対して予め決定されたぼけスコアしきい値のセットが提供され、各々の入力画像１０ごと、または入力画像１０の各々のセットごとに、適切なぼけスコアしきい値が選択される。予め決定されたぼけスコアしきい値を使用することにより、０．３または０．４までの範囲内のぼけパラメータに対応するぼけ（すなわち、人間の肉眼では見ることができないきわめてわずかなぼけ）を有する入力画像１０は、好ましくは、充分に鮮明であると分類される。しかしながら、そのような入力画像１０でさえも本発明による方法によって区別すべき場合には、第２のシナリオを選択することができる。
【0027】
第２のシナリオは、好ましくは、入力画像１０のぼけがより広い範囲において変化する可能性がある用途に対応し、したがって、ぼけスコアしきい値は、好ましくは、入力画像１０自体に基づいて決定される。第２のシナリオは、例えば、夜間または悪い気象条件（例えば、雨天）において自動運転車のカメラによって入力画像１０を記録することができる場合や、入力画像１０の品質に関する先験的な知識がなく、したがって記録された入力画像１０の鮮明度またはぼけがより広い範囲において変化する可能性があり、したがってよりロバストな分類方法が必要とされる場合に関する。そのようなシナリオにおいて、ぼけスコアしきい値は、好ましくは、各々の入力画像１０に対して個別に、入力画像１０自体に基づいて提供される。したがって、ぼけスコアしきい値が入力画像１０自体に基づいて計算される第２のシナリオは、あらゆる種類の入力画像１０、すなわちあらゆる天候または画像条件（良い条件および悪い条件を含む）において記録された入力画像１０にも使用することができる。
【0028】
さらに、本発明による方法は、入力画像１０を画像処理システムに入力するステップを含む。例示的な入力画像１０が、図１に示されている。図１の入力画像１０の拡大されたディテール１０’が、図３Ａに示されている。入力画像１０は、デジタルカメラによって撮影された画像であってよく、あるいはデジタル化された（例えば、スキャンされた）写真であってもよく、さらには、入力画像１０は、カメラストリームのフレームであってよく、入力画像１０は、生の画像または前処理された画像であってもよい。
【0029】
本発明による方法は、入力画像１０の二次元周波数スペクトル１２（例については、図４を参照）を生成するステップをさらに含み、二次元周波数スペクトル１２は、画像処理システムによって生成される。入力画像１０の二次元周波数スペクトル１２は、好ましくは、高速フーリエ変換などの二次元フーリエ変換を適用することによって生成され、あるいは入力画像１０における離散コサイン変換など二次元ウェーブレット変換によって生成される。
【0030】
適用される二次元フーリエ変換ゆえに、本発明による方法は、少なくとも一部分がぼけている入力画像１０（例えば、入力画像１０の意図されるコンテンツではない近接物体が入力画像１０上にキャプチャされている場合）も処理することができる。そのような場合でも、入力画像１０の残りの部分は、依然として高周波成分、中周波成分、および低周波成分を含むことができ、したがって、本発明による方法は、入力画像１０の大部分が充分に鮮明であるかどうかを判定することができる。入力画像１０の最大部分がぼけた物体によって覆われている場合、本方法は、入力画像を充分に鮮明ではないと分類することができ、したがって、この入力画像１０から意味のある結論を引き出すべきではないと提案することができる。さらに、この特徴は、不鮮明なぼけた画像を回避することができる本発明による方法の意図される使用および用途に良好に適合する。入力画像１０の全体的な鮮明度にかかわらず、鮮明な部分と不明瞭な（ぼけた）部分とを有する入力画像１０のさらなる使用が回避されるべき場合、そのような場合には、入力画像１０を、他の方法によって、例えばエッジ検出を入力画像１０に適用することによってフィルタ処理することができる。
【0031】
二次元周波数スペクトル１２から、以下で詳述されるように一次元周波数スペクトル１４が生成され、直線１６が、一次元周波数スペクトル１４にフィッティングされる（例については、図６を参照）。直線１６は、好ましくは線形回帰法によってフィッティングされ、フィッティングの残差に基づいてぼけスコア値が決定される。残差は、好ましくは、一次元周波数スペクトル１４およびフィッティングさせた直線１６のデータ点の距離であり、距離は、好ましくは任意の既知の測定基準で決定され、例えば、距離は、ユークリッド距離または二乗ユークリッド距離である。ぼけスコア値は、鮮明な画像よりもぼけた画像においてより大きいことが明らかになっており、したがって、ぼけスコア値がぼけスコアしきい値を下回る場合、入力画像１０は充分に鮮明であると見なされる。ぼけスコア値は、入力画像１０の実際のシーンとは無関係であり、したがって、本発明による方法は、連続的な鮮明度監視、すなわちカメラストリームからもたらされる入力画像１０に、たとえカメラストリームが動的に変化するシーンをキャプチャする場合であっても使用することが可能である。
【0032】
二次元周波数スペクトル１２は、通常は、二次元振幅スペクトルおよび二次元位相スペクトルを含み、それらの２つが協働して入力画像１０を一義的に記述する。好ましくは、一次元周波数スペクトル１４は、二次元周波数スペクトル１２の二次元振幅スペクトルから生成され、二次元振幅スペクトルは、空間周波数の振幅を含む。二次元位相スペクトルを、好ましくは、一次元周波数スペクトル１４の決定に関して省略することができる。
【0033】
一次元周波数スペクトル１４を、任意の二次元から一次元への二項関係を適用することによって二次元周波数スペクトル１２または二次元振幅スペクトルから生成することができ、結果として得られる一次元周波数スペクトル１４は、周波数によって並べられる。一例として、一次元周波数スペクトル１４は、周波数マッピングによって生成され、あるいは二次元周波数スペクトル１２または二次元振幅スペクトルの１つ以上のスライスを取ることによって生成される。
【0034】
好ましくは、二次元振幅スペクトルの対数が計算され、二次元振幅スペクトルの対数から一次元周波数スペクトル１４が生成される。二次元振幅スペクトルの対数を計算することにより、振幅がより小さい周波数と振幅がより大きい周波数とが、一次元周波数スペクトル１４において、より等しく表現される。
【0035】
あるいは、一次元周波数スペクトル１４は、二次元周波数スペクトル１２のそれぞれの周波数範囲に対応するビンと、各々のビンのヒストグラム値とを有するヒストグラムであり、各々のヒストグラム値は、好ましくは、対応する周波数範囲内の平均振幅または積算振幅である。
【0036】
好ましくは、二次元周波数スペクトル１２は、中心型であり、すなわち、ゼロ周波数に対応する周波数がスペクトルの中心に配置され、周波数は、中心から半径方向外側へと大きくなる（図４および図５と同様）。このような場合の一次元周波数スペクトル１４は、好ましくは、二次元周波数スペクトル１２または二次元振幅スペクトルの半径平均化または半径スライスを取ることによって生成される。
【0037】
（第１のシナリオにおいて）経験的データに基づいてぼけスコアしきい値を決定する他に、（第２のシナリオにおいて）以下のステップによって入力画像１０自体に基づいてぼけスコアしきい値を決定することも可能である。好ましくは、ぼけ画像２０（例については、図２を参照）が、好ましくは、ガウス関数が０．０１～２の範囲の標準偏差を有するガウスぼかしによって、入力画像１０から生成される。画像処理システムを使用することによって、ぼけ画像２０のさらなる二次元周波数スペクトル２２（例については、図５を参照）が生成され、好ましくは、さらなる二次元周波数スペクトル２２は、二次元周波数スペクトル１２と同じやり方で、すなわち同じ変換、すなわち同じ二次元フーリエ変換または同じ二次元ウェーブレット変換を使用することによって生成される。さらなる二次元周波数スペクトル２２から、さらなる一次元周波数スペクトル２４（例については、図７を参照）が生成され、さらなる直線２６（例については、図７を参照）が、さらなる一次元周波数スペクトル２４にフィッティングされる。好ましくは、さらなる一次元周波数スペクトル２４は、一次元周波数スペクトル１４と同じやり方で生成され、さらなる直線２６は、直線１６と同じやり方で、すなわち同じフィッティング方法、例えば同じ線形回帰法を適用することによってフィッティングされる。さらなる直線２６のフィッティングの残差が計算され、残差はぼけスコアしきい値である。ここでも、残差は、好ましくは、直線１６のフィッティングと同じ測定基準で計算される。入力画像１０のぼけスコア値およびぼけ画像２０からのぼけスコアしきい値を生成するために、同じ方法およびパラメータを使用することによって、ぼけスコア値およびぼけスコアしきい値を容易に比較することができる。
【0038】
ぼけスコア値とぼけスコアしきい値との間の比較は、好ましくは、ぼけスコア値からぼけスコアしきい値を減算することによって生成される差分スコア値に基づいて実施することができ、正の値または負でない値を有する差分スコア値は、入力画像１０が充分に鮮明であることを示し、負の値を有する差分スコア値は、入力画像１０が充分に鮮明ではなく、すなわちぼけていることを示す。
【0039】
ぼけスコア値とぼけスコアしきい値とを比較する他のやり方は、スコア比を生成することであり、スコア比は、ぼけスコア値をぼけスコアしきい値で除算することによって生成され、１より大きい値または１以上の値を有するスコア比は、入力画像１０が充分に鮮明であることを示し、１より小さい値を有するスコア比は、入力画像１０がぼけていることを示す。
【0040】
【0041】
図１は、車両、好ましくは自律型車両のカメラによって撮影された入力画像１０を示している。この例においては二次元高速フーリエ変換（ＦＦＴ）であるが、二次元フーリエ変換が、入力画像１０から二次元周波数スペクトル１２を生成するために使用されている。二次元周波数スペクトル１２が、図３に示されており、二次元周波数スペクトル１２は中心型であり、すなわち、二次元周波数スペクトル１２の中心がゼロ周波数に対応し、そこから周波数は半径方向外側へと高くなる。入力画像１０における鮮明なディテールは、より高い周波数におけるより高いスペクトル値に対応し、入力画像１０のぼけは、より高い周波数でのスペクトル値を抑制する。
【0042】
図２が、ガウスぼかしによって図１の入力画像１０から生成されたぼけ画像２０を示しており、ガウスぼかしの標準偏差は、０．７になるように選択されている。図３Ａおよび図３Ｂは、それぞれ図１および図２の拡大されたディテール１０’、２０’を示しており、これらから、図１および図３Ａに示される入力画像１０がぼけ画像２０よりも鮮明であること、すなわち図２および図３Ｂにおける物体のエッジがあまり明確でないことを、明らかに見て取ることができる。
【0043】
図４は、図１の入力画像１０に基づいて画像処理システムによって生成された二次元周波数スペクトル１２であり、図５は、図２のぼけ画像２０に基づいて画像処理システムによって生成されたさらなる二次元周波数スペクトル２２である。
【0044】
二次元周波数スペクトル１２およびさらなる二次元周波数スペクトル２２は、両方とも、それぞれ入力画像１０およびぼけ画像２０に適用される二次元ＦＦＴ変換によって生成された中心型スペクトルである。図４と図５との比較から、ぼけ画像２０から生成されたさらなる二次元周波数スペクトル２２は、鮮明なディテールがもたらす高周波成分がぼけによって減少するという事実ゆえに、高周波数成分をあまり含まず、したがって、さらなる二次元周波数スペクトル２２が、二次元周波数スペクトル１２と比べ、高い周波数に向かって（すなわち、さらなる二次元周波数スペクトル２２の周辺部分に向かって）より速く減衰することを、見て取ることができる。
【0045】
図６および図７が、それぞれ一次元周波数スペクトル１４およびさらなる一次元周波数スペクトル２４の例を示している。図６による一次元周波数スペクトル１４および図７によるさらなる一次元周波数スペクトル２４は、両方とも、図４による二次元周波数スペクトル１２および図５によるさらなる二次元周波数スペクトル２２からそれぞれ生成されたヒストグラムである。各々のヒストグラムは、周波数範囲、好ましくは均一な単一のサイズの周波数範囲に対応するビン、この場合には周波数ビンを有する。周波数ビンを、二次元周波数スペクトル１２およびさらなる二次元周波数スペクトル２２の中心の周りの同心リングと解釈することができ、図６および図７によるヒストグラムは、１ピクセルの幅を有する同心リングに対応する周波数ビンを有し、したがって、図６および図７による各々のヒストグラムは、２５６個の周波数ビンを有する。したがって、周波数ビンの数は、それぞれ二次元周波数スペクトル１２およびさらなる二次元周波数スペクトル２２のサイズに対応する。
【0046】
図６および図７のヒストグラムのヒストグラム値は、以下のやり方で決定される。第１に、二次元周波数スペクトル１２およびさらなる二次元周波数スペクトル２２にそれぞれ基づいて、それぞれの二次元振幅スペクトルが生成される。第２に、それぞれの二次元振幅スペクトルの対数が計算され、次いで、半径平均化によって、それぞれの二次元振幅スペクトルの対数からヒストグラム値が生成され、すなわち、各々の周波数ビンについて、対応するヒストグラム値は、その周波数範囲（同心リング）内の平均振幅（強度）であり、したがってヒストグラム値は、対数で表された周波数強度（対数周波数強度）である。
【0047】
【0048】
図６において、直線１６が、線形回帰のやり方により、例えば当技術分野において知られている任意の線形回帰法によって、一次元周波数スペクトル１４（ヒストグラム）にフィッティングされる。フィッティングの品質を特徴付ける残差が、フィッティングについて計算され、より小さい値を有する残差は、直線１６が一次元周波数スペクトル１４に良好にフィッティングしていることを示し、より大きい値を有する残差は、直線１６が一次元周波数スペクトル１４にあまりうまくフィッティングしていないことを示す。残差は、好ましくは、入力画像１０のサイズによって、例えば周波数ビンの数によって除算され、すなわち、入力画像１０のサイズとは無関係なぼけスコア値が生成される。入力画像１０が鮮明なディテールを有する場合、ヒストグラム（一次元周波数スペクトル１４）はかなりバランスがとれており、すなわち、その包絡線は平坦であり、したがって良好な直線フィッティングがもたらされ、残差およびぼけスコア値は小さな値を有する。ぼけた画像の場合、ヒストグラムの包絡線は特徴を有し、これが、典型的には、直線フィッティングの品質を低下させ、すなわち、より大きな残差およびより大きなぼけスコア値をもたらす。包絡線の平坦度と入力画像１０の鮮明度との間に、明確な相関関係が見出されている。図６に関して、フィッティングの残差に基づいて計算されたぼけスコア値は、１０５である。残差がビンの数（入力画像１０のサイズに依存する）で除算される場合、入力画像１０のサイズからも、ヒストグラムのビンの数からも独立した正規化されたぼけスコア値を生成することができる。図６に関して、正規化されたぼけスコア値は、０．４１であり、これは、ぼけスコア値を周波数ビンの数で割ったものであり、図６のヒストグラムは２５６個の周波数ビンを含んでいる。ぼけスコア値および正規化されたぼけスコア値は、両方とも、入力画像１０の実際のシーン、すなわち入力画像１０のコンテンツとは無関係である。
【0049】
図７において、さらなる直線２６が、線形回帰のやり方によってさらなる一次元周波数スペクトル２４（ヒストグラム）にフィッティングされ、フィッティングの残差が計算される。図７に示される例において、さらなる直線２６をさらなる一次元周波数スペクトル２４にフィッティングする際に用いられた線形回帰法は、図６における一次元周波数スペクトル１４への直線１６のフィッティングと同じである。図２のぼけ画像２０についても、ぼけスコア値を計算することができる。図７に関して、ぼけスコア値は１１６であり、したがって正規化されたぼけスコア値は０．４５であり、ぼけスコア値および正規化されたぼけスコア値は、どちらも図６の場合と同じやり方で計算される。入力画像１０とぼけ画像２０とが同じサイズであるため、図７のヒストグラムも２５６個のビンを有する。
【0050】
図６と図７との比較に基づいて、よりぼけた画像（例えば、ぼけ画像２０）について計算されたぼけスコア値は、より鮮明な画像（例えば、入力画像１０）よりも大きいため、入力画像１０が充分に鮮明であるかどうかを示すためにぼけスコア値を使用することができると理解することができる。
【0051】
図８が、入力画像１０のぼけの程度を表すぼけパラメータの関数としてのぼけスコア値の推移を示している。例えば入力画像１０についてぼけパラメータを増加させつつガウスぼかしを適用することにより、一連のぼけ画像２０が、ぼかしによって入力画像１０から生成される。ぼけパラメータは、好ましくは、ガウスぼかしに使用されるガウス関数の標準偏差である。
【0052】
驚くべきことに、ぼけ画像２０のぼけスコア値は、最初は控えめに減少し、次いで、ぼけパラメータ（標準偏差）が０．４となる付近でより急激な減少が始まり、ぼけパラメータ（標準偏差）が０．７５となった後に急な増加が観察される。０．４未満のぼけパラメータによってぼかされた鮮明な画像は、そのような低いレベルのぼけは人間の目ではほとんど見ることができないため、依然として鮮明であると考えることができることに留意されたい。ぼかしについて観察された異なる影響、すなわちぼけスコア値のより鮮明な減少および増加を、入力画像１０の鮮明度またはぼけを示すために使用することも可能である。例えば、入力画像１０が充分に鮮明であり、すなわち約０．４というぼけスコア値を有する場合、入力画像１０からぼかし（例えば、０．７という標準偏差を有するガウスぼかしによる）によって生成されたぼけ画像２０は、０．３２というぼけスコア値を有する。入力画像１０のぼけスコア値からぼけ画像２０のぼけスコア値を減算することによって生成される２つのぼけスコア値の差は、正の（負でない）数（０．８）である。
【0053】
しかしながら、入力画像１０がぼけており、例えば、そのぼけが０．４以上の標準偏差を有するガウスぼかしの効果と同等である場合、そのぼけスコア値は、約０．３９未満である。この入力画像１０が、標準偏差が０．７のガウスぼかしによってさらにぼかされるとき、標準偏差が１．１以上のガウスぼかしの効果と同等のぼけを有するぼけ画像２０がもたらされる。このようなぼけ画像２０に、０．４４（または、それ以上）のぼけスコア値を関連付けることができる。この場合、入力画像１０のぼけスコア値からぼけ画像２０のぼけスコア値を減算することによって生成される２つのぼけスコア値の差は、負の数（－０．０５）である。
【0054】
上記の観察に基づいて、ぼけ画像２０を使用してぼけスコアしきい値を決定することができ、すなわち、入力画像１０をぼかすことによって生成されたぼけ画像２０のぼけスコア値を、ぼけスコアしきい値として使用することができる。このように、入力画像１０のぼけスコア値とぼけ画像２０から決定されたぼけスコアしきい値とを比較することで、入力画像１０が充分に鮮明であるかどうかが明確に示された。
【0055】
好ましくは、ぼけ画像２０を生成することによって、適切なぼけパラメータ、すなわち入力画像１０の有意な可視のぼけをもたらすぼけパラメータが選択されるべきである。
【0056】
好ましい実施形態において、鮮明な画像が撮影され、ぼかしによって一連のぼけ画像２０が生成され、一連のぼけ画像２０の各々のぼけ画像は、好ましくは同じ種類の一連の後続のぼかしを適用することによって生成される。好ましくは、一連の後続のぼかしは、所定の範囲にわたって均一に分布した異なるぼけパラメータを適用することによって実行される。例えば、一連のぼけ画像２０を生成するために、ガウスぼかしが使用され、一連のぼけ画像２０の各々のぼけ画像は、異なる標準偏差を有するガウスぼかしによって生成され、好ましくは、標準偏差は０．１～１．２の範囲に均一に分布する。好ましくは、ぼけスコア値が、本発明に従って一連のぼけ画像２０の各々について計算され、すなわち、各々のぼけ画像２０のさらなる二次元周波数スペクトル２２を生成し、さらなる二次元周波数スペクトル２２のさらなる一次元周波数スペクトル２４を生成し、さらなる一次元周波数スペクトル２４にさらなる直線２６をフィッティングすることによって計算され、ぼけスコア値は、フィッティングの残差に基づいて決定される。各々のぼけ画像２０のぼけスコア値を計算した後に、一連のぼけ画像２０のぼけスコア値の最小値に対応するぼけパラメータ（ガウスぼかしの標準偏差）が選択される。したがって、図８を、第２のシナリオにおいて適切なぼけパラメータを決定するためのツールと解釈することもできる。
【0057】
図８によれば、ガウスぼかしの場合に、最小（最も小さい）ぼけスコア値は、０．７５という標準偏差に属するため、これを入力画像１０からぼけ画像２０を生成するための適切なぼけパラメータとして選択することができる。明らかに、一連のぼけ画像２０を生成するために使用される異なるぼけパラメータの数に応じて、異なるぼけパラメータを選択することができる。例えば、図８が、０．０５刻みのぼけパラメータの代わりに、０．１または０．２刻みのぼけパラメータによって構築された場合、最も小さいぼけスコア値は、それぞれ０．７または０．８という標準偏差に属すると考えられ、このぼけパラメータが、ぼけスコアしきい値を決定するためのぼけ画像２０の生成に使用されると考えられる。しかしながら、これは、入力画像１０が充分に鮮明であるか否かを判定する方法の最終結論に影響を及ぼさない。
【0058】
さらに、本発明は、本発明による方法のステップを実行するための手段を備えるデータ処理システムに関する。データ処理システムは、好ましくは、入力画像１０を入力するための入力部を有する。さらに、データ処理システムは、好ましくは、入力画像１０から二次元周波数スペクトル１２を生成する画像処理システムを備える。データ処理システムは、好ましくは、二次元周波数スペクトル１２から一次元周波数スペクトル１４を生成するための手段を備え、この手段は、好ましくは画像処理システムの一部である。
【0059】
データ処理システムは、好ましくは、一次元周波数スペクトル１４に直線１６をフィッティングするためのフィッティングユニットをさらに備える。フィッティングユニットは、好ましくは、フィッティングの残差を決定するように構成される。データ処理システムは、好ましくは、フィッティングの残差に基づいてぼけスコア値を決定するための手段をさらに備える。
【0060】
さらに、データ処理システムは、好ましくは、ぼけスコア値をぼけスコアしきい値と比較するための比較ユニットをさらに備える。
【0061】
データ処理システムは、好ましくは画像処理システムの一部として、ぼかしユニットをさらに備えることが好ましく、ぼかしユニットは、ガウスぼかしまたは当技術分野で知られている任意の他のぼかし方法を適用して、入力画像１０からぼけ画像２０を生成することが好ましい。好ましくは、ぼかしユニットは、ぼかしの程度を特徴付けるぼけパラメータのための入力部を有する。
【0062】
さらに、本発明は、命令を含むコンピュータプログラム製品であって、命令は、プログラムがコンピュータによって実行されるときに、本発明による方法の一実施形態をコンピュータに実行させる。
【0063】
コンピュータプログラム製品は、１つ以上のコンピュータによって実行可能であってよい。
【0064】
さらに、本発明は、コンピュータによって実行されたときに本発明による方法の一実施形態をコンピュータに実行させる命令を含むコンピュータ可読媒体に関する。
【0065】
コンピュータ可読媒体は、単一の媒体であっても、より多くの別個の部分を含んでもよい。
【0066】
本発明は、当然ながら、上記で詳細に説明した好ましい実施形態に限定されず、さらなる変形、修正、および発展が、特許請求の範囲によって決定される保護の範囲内で可能である。さらに、任意の従属請求項の組み合わせによって定義され得るすべての実施形態が、本発明に属する。
【符号の説明】
【0067】
１０ 入力画像
１０’ 拡大されたディテール
１２ 二次元周波数スペクトル
１４ 一次元周波数スペクトル
１６ 直線
２０ ぼけ画像
２０’ 拡大されたディテール
２２ さらなる二次元周波数スペクトル
２４ さらなる一次元周波数スペクトル
２６ さらなる直線
１０’ 拡大されたディテール
１２ 二次元周波数スペクトル
１４ 一次元周波数スペクトル
１６ 直線
２０ ぼけ画像
２０’ 拡大されたディテール
２２ さらなる二次元周波数スペクトル
２４ さらなる一次元周波数スペクトル
２６ さらなる直線
【図1】
【図2】
【図3A】
【図3B】
【図4】
【図5】
【図6】
【図7】
【図8】
【手続補正書】
【提出日】2023-03-10
【手続補正1】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、例えば、入力画像が計画された用途またはさらなる画像処理にとって充分なディテールまたは情報を含むことを確実にするために、入力画像が充分に鮮明であるかどうかを判定するための方法に関する。さらに、本発明は、この方法を実施するデータ処理システム、コンピュータプログラム製品、およびコンピュータ可読媒体に関する。
【背景技術】
【0002】
画像の鮮明度の測定または判定は、さまざまな用途で使用される。医療の用途または自動運転に関連する用途などの用途は、通常は、画像が充分に鮮明でないと、誤った判断につながり、健康上のリスクまたは事故を引き起こす可能性があるため、より高水準の鮮明度を必要とする。ぼけた画像（ぼけを有する画像）、すなわち鮮明さを欠く画像では、通常は、例えばエッジが明確に定まらず、明るい領域と影になった領域とが充分に区別されない。ぼけた画像について、考えられる原因が、特許文献１に要約されており、それらの原因として、カメラの焦点が合っていないこと、誤って前景または背景に焦点が合ってしまうこと、最良の焦点が或る特定の距離に設定され、したがって他の距離に位置する物体に焦点が合っていないこと、画像の取得時のカメラまたは物体の動き（モーションブラー）、あるいは画像のデジタル化または後処理が挙げられる。さらに、ぼけが結果の不確実性を高めるがゆえに、ぼけた画像は、エッジ検出タスクまたはセグメント化タスクの実行をより困難にする可能性がある。
【0003】
特許文献２が、デジタル画像の画像ぼけを推定および低減するためのぼけ検出システムを開示している。デジタル画像が、通常は、順離散コサイン変換（ＤＣＴ）によって符号化されて格納される。ぼけ指標として、単一のＤＣＴ係数、ＤＣＴ係数のセット、または１つ以上のＤＣＴ係数と他のＤＣＴ係数との比較が使用される。各々のＤＣＴ係数は、その対応する周波数成分に関連付けられ、このようにして二次元ヒストグラムが生成される。次いで、二次元（２Ｄ）ヒストグラムは、ラジアル周波数スペクトルと同様に、一次元（１Ｄ）ヒストグラムに縮小される。ぼけ指標は、１Ｄヒストグラムから、例えば、画像の一領域内の最大のＤＣＴ係数を使用することによって決定され、あるいは、第１の領域の標準偏差の別の領域への標準偏差に対する比を使用することによって決定され、大きい比は、ぼけ画像を表し、小さい比は、焦点が合った画像を表す。
【0004】
特許文献３が、圧縮されたビデオシーケンスの品質を基準を使用せずに測定するための方法および装置を開示しており、したがって、品質情報は、個々の画像フレームから直接導出される。画像フレームは、高速フーリエ変換（ＦＦＴ）によって変換され、蓄積された中～高周波振幅と蓄積された低周波振幅との間の比が決定される。この比は、比が小さいことが、画像内に低周波成分がより多く存在し、したがって画像がぼけて見える可能性があることを示しているため、画像の鮮明度を判定するために使用される。
【0005】
特許文献４が、入力画像において検出されたエッジと、周波数ドメインにおける入力画像のスペクトルエネルギー情報とに基づいて、ぼけ値を推定するためのシステムを開示している。画像は、空間ドメインから周波数ドメインに変換され、周波数成分が、ぼけた画像とぼけていない（鮮明な）画像とを分類するためのモデルに基づいて分析される。入力画像の２Ｄパワースペクトルが計算され、そこから方向に無関係な１Ｄスペクトルが計算される。２Ｄスペクトルは、低周波領域、中周波領域、および高周波領域に対応する円形領域に分割され、ぼけ値が、各々の領域におけるカウントに基づいて決定される。あるいは、エッジ検出を使用してぼけ値が決定される。
【0006】
特許文献５が、画像の鮮明度を測定する方法を開示しており、画像が鮮明であるか否かの判断は、離散フーリエ変換によって生成された２Ｄスペクトルに基づく。方向情報も画像の鮮明度を判定するために使用される。
【0007】
非特許文献１が、顔画像の画像鮮明度推定のための方法を開示している。非特許文献２が、手持ちカメラの揺れによって生じる画像ぼけの補正に適した画像の鮮明度を評価するための方法を開示している。
【0008】
既知の手法に鑑み、画像のコンテンツまたは物体に関係なく、画像の鮮明度に関する判断を可能にするうえで助けとなる方法が、必要とされている。画像が充分に鮮明であるかどうかの判定を補完するためにエッジ検出を使用する既知の手法は、画像のコンテンツに大きく依存するため、コンテンツが鮮明度の判断に影響を及ぼす可能性がある。同程度に鮮明な画像が、異なるシーンをキャプチャしており、例えば、一方のシーンには少数の物体しか含まれず、もう一方のシーンにはより多くの物体が含まれる場合、結果的に、検出されるエッジの量が異なり、したがって、検出されたエッジに基づく判断も異なることになる。この理由で、エッジ検出に基づく方法は、未知のシーンまたは動的に変化するシーンに直接使用することができない。さらに、動的に変化するシーンに関して、リアルタイムでの鮮明度の判定を可能にする信頼できる方法が必要である。
【0009】
他の既知の手法のいくつかは、画像が充分に鮮明であるか否かを判定するために、機械学習ツールを使用している。機械学習ツールの使用は、かなりの量の訓練データを必要とし、かなりの時間および労力を必要とする訓練データの個別の分類も必要とする。上記の理由から、より容易かつ迅速に正確かつ客観的な判断を与える解決策が、強く求められている。
【先行技術文献】
【特許文献】
【0010】
【特許文献1】カナダ特許出願公開第２ ５６２ ４８０号明細書
【特許文献2】米国特許出願公開第２００４／０１２０５９８号明細書
【特許文献3】米国特許出願公開第２００４／０１５６５５９号明細書
【特許文献4】米国特許出願公開第２０１４／０００３７３４号明細書
【特許文献5】韓国特許第１０－１５７０６０２号明細書
【非特許文献】
【0011】
【非特許文献1】Ｐ．Ｍｉｎｉｎ ｅｔ ａｌ．“Ｓｈａｒｐｎｅｓｓ ｅｓｔｉｍａｔｉｏｎ ｉｎ ｆａｃｉａｌ ｉｍａｇｅｓ ｂｙ ｓｐｅｃｔｒｕｍ ａｐｐｒｏｘｉｍａｔｉｏｎ”，Ｓｉｇｎａｌ，Ｉｍａｇｅ ａｎｄ Ｖｉｄｅｏ Ｐｒｏｃｅｓｓｉｎｇ，ｖｏｌ．１１，ｎｏ．１，ｐａｇｅｓ１６３－１７０（５ Ｊｕｌｙ ２０１６）
【非特許文献2】Ｑｉｎｇｂｏ Ｌｕ ｅｔ ａｌ．“Ａ Ｎｏ－Ｒｅｆｅｒｅｎｃｅ Ｉｍａｇｅ Ｓｈａｒｐｎｅｓｓ Ｍｅｔｒｉｃ Ｂａｓｅｄ ｏｎ Ｓｔｒｕｃｔｕｒａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｕｓｉｎｇ Ｓｐａｒｓｅ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ”，Ｉｎｆｏｒｍａｔｉｏｎ Ｓｃｉｅｎｃｅｓ，Ｅｌｓｅｖｉｅｒ，ｖｏｌ．３６９，ｐａｇｅｓ３３４－３４６（２７ Ｊｕｎｅ ２０１６）
【発明の概要】
【0012】
本発明の主な目的は、画像が鮮明であるか否かを判定するための方法であって、先行技術の手法の欠点を可能な限り排除した方法を提供することである。
【0013】
本発明の目的は、画像の鮮明度に関する判断を、画像のコンテンツにかかわらず、先行技術の手法よりも効率的なやり方で行うことができる方法を提供することである。したがって、本発明の目的は、画像が充分に鮮明であるか否かを判定することができる信頼性の高い方法を提供することである。
【0014】
本発明のさらなる目的は、本発明による方法のステップを実行するための手段を備えるデータ処理システムを提供することである。
【0015】
さらに、本発明の目的は、１つ以上のコンピュータ上で本発明による方法のステップを実施するための非一時的コンピュータプログラム製品、および１つ以上のコンピュータ上で本方法のステップを実行するための命令を含む非一時的コンピュータ可読媒体を提供することである。
【0016】
本発明の目的は、請求項１に記載の方法によって達成することが可能である。さらに、本発明の目的は、請求項１４に記載のデータ処理システム、請求項１５に記載の非一時的コンピュータプログラム製品、および請求項１６に記載の非一時的コンピュータ可読媒体によって達成することができる。本発明の好ましい実施形態が、従属請求項に定義される。
【0017】
先行技術の手法と比較した本発明による方法の主な利点は、画像が充分に鮮明であるかどうかを迅速かつ容易なやり方で判断することができ、したがってリアルタイムでの判断も可能にできるという事実からもたらされる。そのような迅速な判断は、一方では、カメラストリームから由来する画像の連続的な分析を可能にし、他方では、充分に鮮明な画像をキャプチャするためのカメラまたはその設定の再調整も可能にする。
【0018】
画像の二次元周波数スペクトルから生成された一次元周波数スペクトル、とりわけ一次元周波数スペクトルの形状または包絡線が、画像の鮮明さに対応すると認識された。充分に鮮明な画像が、滑らかな包絡線を有する一次元周波数スペクトルをもたらす一方で、ぼけた画像は、あまり滑らかでない包絡線を有する一次元周波数スペクトルをもたらす傾向にあり、すなわち包絡線がいくつかの構造を含むことが、明らかになった。この理由で、一次元周波数スペクトルに直線をフィッティングさせたとき、鮮明な画像は、フィッティングがあまり良好でないぼけた画像とは対照的に、比較的良好なフィッティングを有する。フィッティングの残差が、フィッティングの品質を特徴付けることができ、したがって画像の鮮明度の判断の根拠となり得るパラメータとして使用することができる。このパラメータを、例えば、鮮明さの尺度に対応するしきい値または一連のしきい値と比較することができる。
【0019】
本発明による方法の特定の実施形態は、そのようなしきい値を画像自体に基づいて生成することができる。
【0020】
本発明による方法のさらなる利点は、計算をあまり必要とせず、したがって、画像の鮮明さについてリアルタイムでの判断が可能になることである。計算の必要性が限られているため、本発明による方法を、各々の入力画像について２回、すなわち元の入力画像について１回、および入力画像のぼかしバージョン（ぼけ画像）について１回、実行することができ、依然としてリアルタイムで判断を行うことが可能である。好都合なことに、本発明による方法は、画像のコンテンツに依存せず、すなわちシーンに依存せず、したがって、本方法は、あらゆる種類のシーンをキャプチャする画像に使用することができる。
【0021】
したがって、本発明による方法は、医療の用途（医療画像処理）あるいは自動運転または自律型車両の視覚の改善を含む視覚に基づくあらゆるシーン認識システムにおいて使用可能である。
【図面の簡単な説明】
【0022】
本発明の好ましい実施形態が、以下の図面を参照して、例として後述される。
【0023】
【発明を実施するための形態】
【0024】
本発明は、入力画像１０が充分に鮮明であるかどうかを判定するための方法に関する。充分な鮮明度の水準は、本方法の具体的な用途に依存する可能性があり、例えば、医療の用途または自動運転に関連する用途は、画像の鮮明度が入力画像１０に基づく判断に直接影響を及ぼす可能性があり、したがって画像が充分に鮮明でないと、健康上のリスクまたは事故が生じかねないため、より高水準の鮮明度が必要となり得る。判断に基づいて、鮮明度が不充分な入力画像１０を、そのようにラベル付け（フラグ付け）することができ、特定の用途に関して無視することさえ可能であり、あるいは警告信号を生成することも可能である。さらに、充分な鮮明度の水準を、用途ごとに独立して設定することが可能である。
【0025】
本発明によれば、入力画像１０が充分に鮮明であるかどうかを判定する方法は、入力画像１０のためのぼけスコアしきい値を提供するステップを含む。ぼけスコアしきい値は、好ましくは、入力画像１０が充分に鮮明であるか、あるいは予定される用途に関して鮮明度が不充分であるかを区別する値である。ぼけスコアしきい値を提供するステップは、好ましくは、第１のシナリオと第２のシナリオとの間で経験的データに基づいて行われる判断を含む。前記第１のシナリオにおいて、ぼけスコアしきい値は、予め定められた値であり、前記第２のシナリオにおいて、ぼけスコアしきい値は、入力画像１０自体に基づいてさらなるステップによって決定される。
【0026】
第１のシナリオにおいて、ぼけスコアしきい値は、予め定められた値であり、好ましくは、入力画像１０を記録するカメラのカメラ種類またはカメラ設定、入力画像１０の記録時の照明条件、入力画像１０のコンテンツまたは予想されるコンテンツ、などの経験的データに基づいて決定される。第２のシナリオにおいては、ぼけスコアしきい値を、入力画像１０自体に基づいて直接決定することができる。
【0027】
第１のシナリオは、好ましくは、入力画像１０について限られた量のぼけ（すなわち、入力画像１０のぼけが、図８の０．９５までの範囲のぼけパラメータに対応する）しか予想されない用途に対応する。したがって、第１のシナリオにおいては、経験的に決定された（予め決定された）ぼけスコアしきい値を使用することができる。第１のシナリオは、例えば、良好な気象条件において日中に自動運転車のカメラによって入力画像１０が記録され、したがってカメラによって記録された入力画像１０が同様の鮮明度を有すると予想される場合に関する。そのようなシナリオにおいて、好ましくはカメラ種類およびカメラ設定に基づいて、経験的に予め決定されたぼけスコアしきい値を、入力画像１０のために提供することができる。好ましい実施形態においては、第１のシナリオにおいて、すべての入力画像１０について同じぼけスコアしきい値を提供することができる。
【0028】
好ましくは、予め決定されたぼけスコアしきい値は、入力画像１０のノイズに関連するカメラの利得に基づいて決定される。好ましい実施形態においては、異なるカメラ設定または撮像条件に対して予め決定されたぼけスコアしきい値のセットが提供され、各々の入力画像１０ごと、または入力画像１０の各々のセットごとに、適切なぼけスコアしきい値が選択される。予め決定されたぼけスコアしきい値を使用することにより、０．３または０．４までの範囲内のぼけパラメータに対応するぼけ（すなわち、人間の肉眼では見ることができないきわめてわずかなぼけ）を有する入力画像１０は、好ましくは、充分に鮮明であると分類される。しかしながら、そのような入力画像１０でさえも本発明による方法によって区別すべき場合には、第２のシナリオを選択することができる。
【0029】
第２のシナリオは、好ましくは、入力画像１０のぼけがより広い範囲において変化する可能性がある用途に対応し、したがって、ぼけスコアしきい値は、好ましくは、入力画像１０自体に基づいて決定される。第２のシナリオは、例えば、夜間または悪い気象条件（例えば、雨天）において自動運転車のカメラによって入力画像１０を記録することができる場合や、入力画像１０の品質に関する先験的な知識がなく、したがって記録された入力画像１０の鮮明度またはぼけがより広い範囲において変化する可能性があり、したがってよりロバストな分類方法が必要とされる場合に関する。そのようなシナリオにおいて、ぼけスコアしきい値は、好ましくは、各々の入力画像１０に対して個別に、入力画像１０自体に基づいて提供される。したがって、ぼけスコアしきい値が入力画像１０自体に基づいて計算される第２のシナリオは、あらゆる種類の入力画像１０、すなわちあらゆる天候または画像条件（良い条件および悪い条件を含む）において記録された入力画像１０にも使用することができる。
【0030】
さらに、本発明による方法は、入力画像１０を画像処理システムに入力するステップを含む。例示的な入力画像１０が、図１に示されている。図１の入力画像１０の拡大されたディテール１０’が、図３Ａに示されている。入力画像１０は、デジタルカメラによって撮影された画像であってよく、あるいはデジタル化された（例えば、スキャンされた）写真であってもよく、さらには、入力画像１０は、カメラストリームのフレームであってよく、入力画像１０は、生の画像または前処理された画像であってもよい。
【0031】
本発明による方法は、入力画像１０の二次元周波数スペクトル１２（例については、図４を参照）を生成するステップをさらに含み、二次元周波数スペクトル１２は、画像処理システムによって生成される。入力画像１０の二次元周波数スペクトル１２は、好ましくは、高速フーリエ変換などの二次元フーリエ変換を適用することによって生成され、あるいは入力画像１０における離散コサイン変換など二次元ウェーブレット変換によって生成される。
【0032】
適用される二次元フーリエ変換ゆえに、本発明による方法は、少なくとも一部分がぼけている入力画像１０（例えば、入力画像１０の意図されるコンテンツではない近接物体が入力画像１０上にキャプチャされている場合）も処理することができる。そのような場合でも、入力画像１０の残りの部分は、依然として高周波成分、中周波成分、および低周波成分を含むことができ、したがって、本発明による方法は、入力画像１０の大部分が充分に鮮明であるかどうかを判定することができる。入力画像１０の最大部分がぼけた物体によって覆われている場合、本方法は、入力画像を充分に鮮明ではないと分類することができ、したがって、この入力画像１０から意味のある結論を引き出すべきではないと提案することができる。さらに、この特徴は、不鮮明なぼけた画像を回避することができる本発明による方法の意図される使用および用途に良好に適合する。入力画像１０の全体的な鮮明度にかかわらず、鮮明な部分と不明瞭な（ぼけた）部分とを有する入力画像１０のさらなる使用が回避されるべき場合、そのような場合には、入力画像１０を、他の方法によって、例えばエッジ検出を入力画像１０に適用することによってフィルタ処理することができる。
【0033】
二次元周波数スペクトル１２から、以下で詳述されるように一次元周波数スペクトル１４が生成され、直線１６が、一次元周波数スペクトル１４にフィッティングされる（例については、図６を参照）。直線１６は、好ましくは線形回帰法によってフィッティングされ、フィッティングの残差に基づいてぼけスコア値が決定される。残差は、好ましくは、一次元周波数スペクトル１４およびフィッティングさせた直線１６のデータ点の距離であり、距離は、好ましくは任意の既知の測定基準で決定され、例えば、距離は、ユークリッド距離または二乗ユークリッド距離である。ぼけスコア値は、鮮明な画像よりもぼけた画像においてより大きいことが明らかになっており、したがって、ぼけスコア値がぼけスコアしきい値を下回る場合、入力画像１０は充分に鮮明であると見なされる。ぼけスコア値は、入力画像１０の実際のシーンとは無関係であり、したがって、本発明による方法は、連続的な鮮明度監視、すなわちカメラストリームからもたらされる入力画像１０に、たとえカメラストリームが動的に変化するシーンをキャプチャする場合であっても使用することが可能である。
【0034】
二次元周波数スペクトル１２は、通常は、二次元振幅スペクトルおよび二次元位相スペクトルを含み、それらの２つが協働して入力画像１０を一義的に記述する。好ましくは、一次元周波数スペクトル１４は、二次元周波数スペクトル１２の二次元振幅スペクトルから生成され、二次元振幅スペクトルは、空間周波数の振幅を含む。二次元位相スペクトルを、好ましくは、一次元周波数スペクトル１４の決定に関して省略することができる。
【0035】
一次元周波数スペクトル１４を、任意の二次元から一次元への二項関係を適用することによって二次元周波数スペクトル１２または二次元振幅スペクトルから生成することができ、結果として得られる一次元周波数スペクトル１４は、周波数によって並べられる。一例として、一次元周波数スペクトル１４は、周波数マッピングによって生成され、あるいは二次元周波数スペクトル１２または二次元振幅スペクトルの１つ以上のスライスを取ることによって生成される。
【0036】
好ましくは、二次元振幅スペクトルの対数が計算され、二次元振幅スペクトルの対数から一次元周波数スペクトル１４が生成される。二次元振幅スペクトルの対数を計算することにより、振幅がより小さい周波数と振幅がより大きい周波数とが、一次元周波数スペクトル１４において、より等しく表現される。
【0037】
あるいは、一次元周波数スペクトル１４は、二次元周波数スペクトル１２のそれぞれの周波数範囲に対応するビンと、各々のビンのヒストグラム値とを有するヒストグラムであり、各々のヒストグラム値は、好ましくは、対応する周波数範囲内の平均振幅または積算振幅である。
【0038】
好ましくは、二次元周波数スペクトル１２は、中心型であり、すなわち、ゼロ周波数に対応する周波数がスペクトルの中心に配置され、周波数は、中心から半径方向外側へと大きくなる（図４および図５と同様）。このような場合の一次元周波数スペクトル１４は、好ましくは、二次元周波数スペクトル１２または二次元振幅スペクトルの半径平均化または半径スライスを取ることによって生成される。
【0039】
（第１のシナリオにおいて）経験的データに基づいてぼけスコアしきい値を決定する他に、（第２のシナリオにおいて）以下のステップによって入力画像１０自体に基づいてぼけスコアしきい値を決定することも可能である。好ましくは、ぼけ画像２０（例については、図２を参照）が、好ましくは、ガウス関数が０．０１～２の範囲の標準偏差を有するガウスぼかしによって、入力画像１０から生成される。画像処理システムを使用することによって、ぼけ画像２０のさらなる二次元周波数スペクトル２２（例については、図５を参照）が生成され、好ましくは、さらなる二次元周波数スペクトル２２は、二次元周波数スペクトル１２と同じやり方で、すなわち同じ変換、すなわち同じ二次元フーリエ変換または同じ二次元ウェーブレット変換を使用することによって生成される。さらなる二次元周波数スペクトル２２から、さらなる一次元周波数スペクトル２４（例については、図７を参照）が生成され、さらなる直線２６（例については、図７を参照）が、さらなる一次元周波数スペクトル２４にフィッティングされる。好ましくは、さらなる一次元周波数スペクトル２４は、一次元周波数スペクトル１４と同じやり方で生成され、さらなる直線２６は、直線１６と同じやり方で、すなわち同じフィッティング方法、例えば同じ線形回帰法を適用することによってフィッティングされる。さらなる直線２６のフィッティングの残差が計算され、残差はぼけスコアしきい値である。ここでも、残差は、好ましくは、直線１６のフィッティングと同じ測定基準で計算される。入力画像１０のぼけスコア値およびぼけ画像２０からのぼけスコアしきい値を生成するために、同じ方法およびパラメータを使用することによって、ぼけスコア値およびぼけスコアしきい値を容易に比較することができる。
【0040】
ぼけスコア値とぼけスコアしきい値との間の比較は、好ましくは、ぼけスコア値からぼけスコアしきい値を減算することによって生成される差分スコア値に基づいて実施することができ、正の値または負でない値を有する差分スコア値は、入力画像１０が充分に鮮明であることを示し、負の値を有する差分スコア値は、入力画像１０が充分に鮮明ではなく、すなわちぼけていることを示す。
【0041】
ぼけスコア値とぼけスコアしきい値とを比較する他のやり方は、スコア比を生成することであり、スコア比は、ぼけスコア値をぼけスコアしきい値で除算することによって生成され、１より大きい値または１以上の値を有するスコア比は、入力画像１０が充分に鮮明であることを示し、１より小さい値を有するスコア比は、入力画像１０がぼけていることを示す。
【0042】
【0043】
図１は、車両、好ましくは自律型車両のカメラによって撮影された入力画像１０を示している。この例においては二次元高速フーリエ変換（ＦＦＴ）であるが、二次元フーリエ変換が、入力画像１０から二次元周波数スペクトル１２を生成するために使用されている。二次元周波数スペクトル１２が、図３に示されており、二次元周波数スペクトル１２は中心型であり、すなわち、二次元周波数スペクトル１２の中心がゼロ周波数に対応し、そこから周波数は半径方向外側へと高くなる。入力画像１０における鮮明なディテールは、より高い周波数におけるより高いスペクトル値に対応し、入力画像１０のぼけは、より高い周波数でのスペクトル値を抑制する。
【0044】
図２が、ガウスぼかしによって図１の入力画像１０から生成されたぼけ画像２０を示しており、ガウスぼかしの標準偏差は、０．７になるように選択されている。図３Ａおよび図３Ｂは、それぞれ図１および図２の拡大されたディテール１０’、２０’を示しており、これらから、図１および図３Ａに示される入力画像１０がぼけ画像２０よりも鮮明であること、すなわち図２および図３Ｂにおける物体のエッジがあまり明確でないことを、明らかに見て取ることができる。
【0045】
図４は、図１の入力画像１０に基づいて画像処理システムによって生成された二次元周波数スペクトル１２であり、図５は、図２のぼけ画像２０に基づいて画像処理システムによって生成されたさらなる二次元周波数スペクトル２２である。
【0046】
二次元周波数スペクトル１２およびさらなる二次元周波数スペクトル２２は、両方とも、それぞれ入力画像１０およびぼけ画像２０に適用される二次元ＦＦＴ変換によって生成された中心型スペクトルである。図４と図５との比較から、ぼけ画像２０から生成されたさらなる二次元周波数スペクトル２２は、鮮明なディテールがもたらす高周波成分がぼけによって減少するという事実ゆえに、高周波数成分をあまり含まず、したがって、さらなる二次元周波数スペクトル２２が、二次元周波数スペクトル１２と比べ、高い周波数に向かって（すなわち、さらなる二次元周波数スペクトル２２の周辺部分に向かって）より速く減衰することを、見て取ることができる。
【0047】
図６および図７が、それぞれ一次元周波数スペクトル１４およびさらなる一次元周波数スペクトル２４の例を示している。図６による一次元周波数スペクトル１４および図７によるさらなる一次元周波数スペクトル２４は、両方とも、図４による二次元周波数スペクトル１２および図５によるさらなる二次元周波数スペクトル２２からそれぞれ生成されたヒストグラムである。各々のヒストグラムは、周波数範囲、好ましくは均一な単一のサイズの周波数範囲に対応するビン、この場合には周波数ビンを有する。周波数ビンを、二次元周波数スペクトル１２およびさらなる二次元周波数スペクトル２２の中心の周りの同心リングと解釈することができ、図６および図７によるヒストグラムは、１ピクセルの幅を有する同心リングに対応する周波数ビンを有し、したがって、図６および図７による各々のヒストグラムは、２５６個の周波数ビンを有する。したがって、周波数ビンの数は、それぞれ二次元周波数スペクトル１２およびさらなる二次元周波数スペクトル２２のサイズに対応する。
【0048】
図６および図７のヒストグラムのヒストグラム値は、以下のやり方で決定される。第１に、二次元周波数スペクトル１２およびさらなる二次元周波数スペクトル２２にそれぞれ基づいて、それぞれの二次元振幅スペクトルが生成される。第２に、それぞれの二次元振幅スペクトルの対数が計算され、次いで、半径平均化によって、それぞれの二次元振幅スペクトルの対数からヒストグラム値が生成され、すなわち、各々の周波数ビンについて、対応するヒストグラム値は、その周波数範囲（同心リング）内の平均振幅（強度）であり、したがってヒストグラム値は、対数で表された周波数強度（対数周波数強度）である。
【0049】
【0050】
図６において、直線１６が、線形回帰のやり方により、例えば当技術分野において知られている任意の線形回帰法によって、一次元周波数スペクトル１４（ヒストグラム）にフィッティングされる。フィッティングの品質を特徴付ける残差が、フィッティングについて計算され、より小さい値を有する残差は、直線１６が一次元周波数スペクトル１４に良好にフィッティングしていることを示し、より大きい値を有する残差は、直線１６が一次元周波数スペクトル１４にあまりうまくフィッティングしていないことを示す。残差は、好ましくは、入力画像１０のサイズによって、例えば周波数ビンの数によって除算され、すなわち、入力画像１０のサイズとは無関係なぼけスコア値が生成される。入力画像１０が鮮明なディテールを有する場合、ヒストグラム（一次元周波数スペクトル１４）はかなりバランスがとれており、すなわち、その包絡線は平坦であり、したがって良好な直線フィッティングがもたらされ、残差およびぼけスコア値は小さな値を有する。ぼけた画像の場合、ヒストグラムの包絡線は特徴を有し、これが、典型的には、直線フィッティングの品質を低下させ、すなわち、より大きな残差およびより大きなぼけスコア値をもたらす。包絡線の平坦度と入力画像１０の鮮明度との間に、明確な相関関係が見出されている。図６に関して、フィッティングの残差に基づいて計算されたぼけスコア値は、１０５である。残差がビンの数（入力画像１０のサイズに依存する）で除算される場合、入力画像１０のサイズからも、ヒストグラムのビンの数からも独立した正規化されたぼけスコア値を生成することができる。図６に関して、正規化されたぼけスコア値は、０．４１であり、これは、ぼけスコア値を周波数ビンの数で割ったものであり、図６のヒストグラムは２５６個の周波数ビンを含んでいる。ぼけスコア値および正規化されたぼけスコア値は、両方とも、入力画像１０の実際のシーン、すなわち入力画像１０のコンテンツとは無関係である。
【0051】
図７において、さらなる直線２６が、線形回帰のやり方によってさらなる一次元周波数スペクトル２４（ヒストグラム）にフィッティングされ、フィッティングの残差が計算される。図７に示される例において、さらなる直線２６をさらなる一次元周波数スペクトル２４にフィッティングする際に用いられた線形回帰法は、図６における一次元周波数スペクトル１４への直線１６のフィッティングと同じである。図２のぼけ画像２０についても、ぼけスコア値を計算することができる。図７に関して、ぼけスコア値は１１６であり、したがって正規化されたぼけスコア値は０．４５であり、ぼけスコア値および正規化されたぼけスコア値は、どちらも図６の場合と同じやり方で計算される。入力画像１０とぼけ画像２０とが同じサイズであるため、図７のヒストグラムも２５６個のビンを有する。
【0052】
図６と図７との比較に基づいて、よりぼけた画像（例えば、ぼけ画像２０）について計算されたぼけスコア値は、より鮮明な画像（例えば、入力画像１０）よりも大きいため、入力画像１０が充分に鮮明であるかどうかを示すためにぼけスコア値を使用することができると理解することができる。
【0053】
図８が、入力画像１０のぼけの程度を表すぼけパラメータの関数としてのぼけスコア値の推移を示している。例えば入力画像１０についてぼけパラメータを増加させつつガウスぼかしを適用することにより、一連のぼけ画像２０が、ぼかしによって入力画像１０から生成される。ぼけパラメータは、好ましくは、ガウスぼかしに使用されるガウス関数の標準偏差である。
【0054】
驚くべきことに、ぼけ画像２０のぼけスコア値は、最初は控えめに減少し、次いで、ぼけパラメータ（標準偏差）が０．４となる付近でより急激な減少が始まり、ぼけパラメータ（標準偏差）が０．７５となった後に急な増加が観察される。０．４未満のぼけパラメータによってぼかされた鮮明な画像は、そのような低いレベルのぼけは人間の目ではほとんど見ることができないため、依然として鮮明であると考えることができることに留意されたい。ぼかしについて観察された異なる影響、すなわちぼけスコア値のより鮮明な減少および増加を、入力画像１０の鮮明度またはぼけを示すために使用することも可能である。例えば、入力画像１０が充分に鮮明であり、すなわち約０．４というぼけスコア値を有する場合、入力画像１０からぼかし（例えば、０．７という標準偏差を有するガウスぼかしによる）によって生成されたぼけ画像２０は、０．３２というぼけスコア値を有する。入力画像１０のぼけスコア値からぼけ画像２０のぼけスコア値を減算することによって生成される２つのぼけスコア値の差は、正の（負でない）数（０．８）である。
【0055】
しかしながら、入力画像１０がぼけており、例えば、そのぼけが０．４以上の標準偏差を有するガウスぼかしの効果と同等である場合、そのぼけスコア値は、約０．３９未満である。この入力画像１０が、標準偏差が０．７のガウスぼかしによってさらにぼかされるとき、標準偏差が１．１以上のガウスぼかしの効果と同等のぼけを有するぼけ画像２０がもたらされる。このようなぼけ画像２０に、０．４４（または、それ以上）のぼけスコア値を関連付けることができる。この場合、入力画像１０のぼけスコア値からぼけ画像２０のぼけスコア値を減算することによって生成される２つのぼけスコア値の差は、負の数（－０．０５）である。
【0056】
上記の観察に基づいて、ぼけ画像２０を使用してぼけスコアしきい値を決定することができ、すなわち、入力画像１０をぼかすことによって生成されたぼけ画像２０のぼけスコア値を、ぼけスコアしきい値として使用することができる。このように、入力画像１０のぼけスコア値とぼけ画像２０から決定されたぼけスコアしきい値とを比較することで、入力画像１０が充分に鮮明であるかどうかが明確に示された。
【0057】
好ましくは、ぼけ画像２０を生成することによって、適切なぼけパラメータ、すなわち入力画像１０の有意な可視のぼけをもたらすぼけパラメータが選択されるべきである。
【0058】
好ましい実施形態において、鮮明な画像が撮影され、ぼかしによって一連のぼけ画像２０が生成され、一連のぼけ画像２０の各々のぼけ画像は、好ましくは同じ種類の一連の後続のぼかしを適用することによって生成される。好ましくは、一連の後続のぼかしは、所定の範囲にわたって均一に分布した異なるぼけパラメータを適用することによって実行される。例えば、一連のぼけ画像２０を生成するために、ガウスぼかしが使用され、一連のぼけ画像２０の各々のぼけ画像は、異なる標準偏差を有するガウスぼかしによって生成され、好ましくは、標準偏差は０．１～１．２の範囲に均一に分布する。好ましくは、ぼけスコア値が、本発明に従って一連のぼけ画像２０の各々について計算され、すなわち、各々のぼけ画像２０のさらなる二次元周波数スペクトル２２を生成し、さらなる二次元周波数スペクトル２２のさらなる一次元周波数スペクトル２４を生成し、さらなる一次元周波数スペクトル２４にさらなる直線２６をフィッティングすることによって計算され、ぼけスコア値は、フィッティングの残差に基づいて決定される。各々のぼけ画像２０のぼけスコア値を計算した後に、一連のぼけ画像２０のぼけスコア値の最小値に対応するぼけパラメータ（ガウスぼかしの標準偏差）が選択される。したがって、図８を、第２のシナリオにおいて適切なぼけパラメータを決定するためのツールと解釈することもできる。
【0059】
図８によれば、ガウスぼかしの場合に、最小（最も小さい）ぼけスコア値は、０．７５という標準偏差に属するため、これを入力画像１０からぼけ画像２０を生成するための適切なぼけパラメータとして選択することができる。明らかに、一連のぼけ画像２０を生成するために使用される異なるぼけパラメータの数に応じて、異なるぼけパラメータを選択することができる。例えば、図８が、０．０５刻みのぼけパラメータの代わりに、０．１または０．２刻みのぼけパラメータによって構築された場合、最も小さいぼけスコア値は、それぞれ０．７または０．８という標準偏差に属すると考えられ、このぼけパラメータが、ぼけスコアしきい値を決定するためのぼけ画像２０の生成に使用されると考えられる。しかしながら、これは、入力画像１０が充分に鮮明であるか否かを判定する方法の最終結論に影響を及ぼさない。
【0060】
さらに、本発明は、本発明による方法のステップを実行するための手段を備えるデータ処理システムに関する。データ処理システムは、好ましくは、入力画像１０を入力するための入力部を有する。さらに、データ処理システムは、好ましくは、入力画像１０から二次元周波数スペクトル１２を生成する画像処理システムを備える。データ処理システムは、好ましくは、二次元周波数スペクトル１２から一次元周波数スペクトル１４を生成するための手段を備え、この手段は、好ましくは画像処理システムの一部である。
【0061】
データ処理システムは、好ましくは、一次元周波数スペクトル１４に直線１６をフィッティングするためのフィッティングユニットをさらに備える。フィッティングユニットは、好ましくは、フィッティングの残差を決定するように構成される。データ処理システムは、好ましくは、フィッティングの残差に基づいてぼけスコア値を決定するための手段をさらに備える。
【0062】
さらに、データ処理システムは、好ましくは、ぼけスコア値をぼけスコアしきい値と比較するための比較ユニットをさらに備える。
【0063】
データ処理システムは、好ましくは画像処理システムの一部として、ぼかしユニットをさらに備えることが好ましく、ぼかしユニットは、ガウスぼかしまたは当技術分野で知られている任意の他のぼかし方法を適用して、入力画像１０からぼけ画像２０を生成することが好ましい。好ましくは、ぼかしユニットは、ぼかしの程度を特徴付けるぼけパラメータのための入力部を有する。
【0064】
さらに、本発明は、命令を含むコンピュータプログラム製品であって、命令は、プログラムがコンピュータによって実行されるときに、本発明による方法の一実施形態をコンピュータに実行させる。
【0065】
コンピュータプログラム製品は、１つ以上のコンピュータによって実行可能であってよい。
【0066】
さらに、本発明は、コンピュータによって実行されたときに本発明による方法の一実施形態をコンピュータに実行させる命令を含むコンピュータ可読媒体に関する。
【0067】
コンピュータ可読媒体は、単一の媒体であっても、より多くの別個の部分を含んでもよい。
【符号の説明】
【0068】
１０ 入力画像
１０’ 拡大されたディテール
１２ 二次元周波数スペクトル
１４ 一次元周波数スペクトル
１６ 直線
２０ ぼけ画像
２０’ 拡大されたディテール
２２ さらなる二次元周波数スペクトル
２４ さらなる一次元周波数スペクトル
２６ さらなる直線
１０’ 拡大されたディテール
１２ 二次元周波数スペクトル
１４ 一次元周波数スペクトル
１６ 直線
２０ ぼけ画像
２０’ 拡大されたディテール
２２ さらなる二次元周波数スペクトル
２４ さらなる一次元周波数スペクトル
２６ さらなる直線
【手続補正2】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
入力画像（１０）が充分に鮮明であるかどうかを判定するための方法であって、－ぼけスコアしきい値を提供するステップと、
－前記入力画像（１０）を画像処理システムに入力するステップと、
－前記画像処理システムによって、前記入力画像（１０）の二次元周波数スペクトル（１２）を生成するステップと、
－前記二次元周波数スペクトル（１２）から一次元周波数スペクトル（１４）を生成するステップと、
－前記一次元周波数スペクトル（１４）に直線（１６）をフィッティングするステップと、
－前記フィッティングの残差に基づいてぼけスコア値を決定し、前記ぼけスコア値の前記ぼけスコアしきい値との比較に基づいて前記入力画像（１０）が充分に鮮明であるとみなすステップと
を含む方法。
【請求項2】
前記一次元周波数スペクトル（１４）は、前記二次元周波数スペクトル（１２）の二次元振幅スペクトルから生成される、ことを特徴とする請求項１に記載の方法。
【請求項3】
前記二次元振幅スペクトルの対数が計算され、前記一次元周波数スペクトル（１４）は、前記二次元振幅スペクトルの前記対数から生成される、ことを特徴とする請求項２に記載の方法。
【請求項4】
前記一次元周波数スペクトル（１４）は、前記二次元周波数スペクトル（１２）の周波数範囲に対応するビンと、各々のビンについてのヒストグラム値とを有するヒストグラムであり、各々のヒストグラム値は、対応する前記周波数範囲における平均振幅または積算振幅である、ことを特徴とする請求項２または３に記載の方法。
【請求項5】
前記二次元周波数スペクトル（１２）は、中心型であり、ゼロ周波数に対応する周波数が、前記スペクトルの中心に配置され、前記中心から半径方向外側へと周波数が高くなり、前記一次元周波数スペクトル（１４）は、半径平均化によって生成される、ことを特徴とする請求項１～３のいずれか一項に記載の方法。
【請求項6】
前記入力画像（１０）の前記二次元周波数スペクトル（１２）は、二次元フーリエ変換または二次元ウェーブレット変換によって生成される、ことを特徴とする請求項１～５のいずれか一項に記載の方法。
【請求項7】
前記直線（１６）は、線形回帰法によってフィッティングされる、ことを特徴とする請求項１～６のいずれか一項に記載の方法。
【請求項8】
前記ぼけスコアしきい値を提供するステップは、第１のシナリオと第２のシナリオとの間で経験的データに基づいて判断を行うことを含み、前記第１のシナリオにおいて、前記ぼけスコアしきい値は、予め決定された値であり、
前記第２のシナリオにおいて、前記ぼけスコアしきい値は、以下のステップ、すなわち
－前記入力画像（１０）からぼけ画像（２０）を生成するステップ、
－前記画像処理システムによって、前記ぼけ画像（２０）のさらなる二次元周波数スペクトル（２２）を生成するステップ、
－前記さらなる二次元周波数スペクトル（２２）からさらなる一次元周波数スペクトル（２４）を生成するステップ、および
－前記さらなる一次元周波数スペクトル（２４）にさらなる直線（２６）をフィッティングするステップ
によって決定され、前記ぼけスコアしきい値は、前記フィッティングの残差に基づく、ことを特徴とする請求項１～７のいずれか一項に記載の方法。
【請求項9】
前記第２のシナリオにおいて、前記ぼけ画像（２０）は、ぼけパラメータを有するぼかしによって生成され、前記ぼけパラメータは、以下のステップ、すなわち
－鮮明な画像を取得するステップ、
－一連の後続のぼかしを適用することによって、前記鮮明な画像に基づいて一連のぼけ画像（２０）を生成するステップ、
－各々のぼけ画像（２０）のさらなる二次元周波数スペクトル（２２）を生成し、前記さらなる二次元周波数スペクトル（２２）のさらなる一次元周波数スペクトル（２４）を生成し、前記さらなる一次元周波数スペクトル（２４）にさらなる直線（２６）をフィッティングすることによって、前記一連のぼけ画像（２０）の各々のぼけ画像についてのぼけスコア値を計算するステップであって、前記ぼけスコア値は、前記フィッティングの残差に基づいて決定される、ステップ、および
－前記一連のぼけ画像（２０）の前記ぼけスコア値の最小値に対応する前記ぼけパラメータを選択するステップによって決定される、ことを特徴とする請求項８に記載の方法。
【請求項10】
前記ぼけ画像（２０）は、ガウスぼかしによって生成される、ことを特徴とする請求項９に記載の方法。
【請求項11】
前記さらなる二次元周波数スペクトル（２２）は、前記二次元周波数スペクトル（１２）と同じやり方で生成され、前記さらなる一次元周波数スペクトル（２４）は、前記一次元周波数スペクトル（１４）と同じやり方で生成され、前記さらなる直線（２６）は、前記直線（１６）と同じやり方でフィッティングされる、ことを特徴とする請求項９または１０に記載の方法。
【請求項12】
前記ぼけスコア値と前記ぼけスコアしきい値との前記比較は、前記ぼけスコア値から前記ぼけスコアしきい値を減算することによって差分スコア値を生成することによって実施され、正の値または負ではない値を有する差分スコア値が、前記入力画像（１０）が充分に鮮明であることを示す、ことを特徴とする請求項１～１１のいずれか一項に記載の方法。
【請求項13】
前記ぼけスコア値と前記ぼけスコアしきい値との前記比較は、前記ぼけスコア値を前記ぼけスコアしきい値で除算することによってスコア比を生成することによって実施され、１よりも大きい値または１以上の値を有するスコア比が、前記入力画像（１０）が充分に鮮明であることを示す、ことを特徴とする請求項１～１１のいずれか一項に記載の方法。
【請求項14】
請求項１～１３のいずれかに記載の方法のステップを実行するための手段を備えるデータ処理システム。
【請求項15】
プログラムがコンピュータによって実行されたときに請求項１～１３のいずれかに記載の方法を前記コンピュータに実行させる命令を含む非一時的コンピュータプログラム製品。
【請求項16】
コンピュータによって実行されたときに請求項１～１３のいずれかに記載の方法を前記コンピュータに実行させる命令を含む非一時的コンピュータ可読媒体。
【国際調査報告】