特許 7204021 画像の鮮鋭レベルを表わす位置合わせ誤差マップを得るための装置および方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-01-04

(45)【発行日】2023-01-13

(54)【発明の名称】画像の鮮鋭レベルを表わす位置合わせ誤差マップを得るための装置および方法

(51)【国際特許分類】

   G06T 7/33 20170101AFI20230105BHJP

   G06T 7/00 20170101ALI20230105BHJP

   G06V 20/64 20220101ALI20230105BHJP

   H04N 23/55 20230101ALI20230105BHJP

   H04N 23/67 20230101ALI20230105BHJP

   H04N 23/60 20230101ALI20230105BHJP

【ＦＩ】

G06T7/33

G06T7/00 C

G06V20/64

H04N5/225 410

H04N5/232 120

H04N5/232 290

【請求項の数】 9

【外国語出願】

(21)【出願番号】P 2022006154

(22)【出願日】2022-01-19

(62)【分割の表示】P 2017564559の分割

【原出願日】2016-06-16

(65)【公開番号】P2022058658

(43)【公開日】2022-04-12

【審査請求日】2022-02-04

(31)【優先権主張番号】15305939.9

(32)【優先日】2015-06-17

(33)【優先権主張国・地域又は機関】EP

(73)【特許権者】

【識別番号】518341334

【氏名又は名称】インターディジタル・シーイー・パテント・ホールディングス・ソシエテ・パ・アクシオンス・シンプリフィエ

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(74)【代理人】

【識別番号】100108213

【弁理士】

【氏名又は名称】阿部 豊隆

(72)【発明者】

【氏名】フルール，ユリアン

(72)【発明者】

【氏名】エリエ，ピエール

(72)【発明者】

【氏名】ヴァンダム，ブノワ

【審査官】合田 幸裕

(56)【参考文献】

【文献】特開２０１２－２０５１１１（ＪＰ，Ａ）

【文献】国際公開第２０１３／１６９６７１（ＷＯ，Ａ１）

【文献】国際公開第２００９／０９０２９１（ＷＯ，Ａ１）

【文献】国際公開第２０１３／１６２７４７（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０１４／０１７６５９２（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／３３

Ｇ０６Ｔ ７／００

Ｇ０６Ｖ ２０／６４

Ｈ０４Ｎ ５／２２５

Ｈ０４Ｎ ５／２３２

ＩＥＥＥ Ｘｐｌｏｒｅ

ＪＳＴＰｌｕｓ（ＪＤｒｅａｍＩＩＩ）

(57)【特許請求の範囲】

【請求項1】

シーンに関連付けられた関心オブジェクトの三次元モデルを取得することと、
前記三次元モデルに基づいて再合焦表面を生成することと、
前記シーンの四次元ライトフィールド・データを取得することと、
前記再合焦表面を用いて前記四次元ライトフィールド・データを再合焦することと、
前記再合焦された四次元ライトフィールド・データを用いることによって、再合焦された画像を生成することと、
前記再合焦された画像を用いることによって、エンドユーザーが前記シーンに対して正しく位置決めされているかどうかを判断することと
を含む、方法。

【請求項2】

前記関心オブジェクトの前記三次元モデルは、前記エンドユーザーによる選択から取得される、請求項１記載の方法。

【請求項3】

前記関心オブジェクトの前記三次元モデルは、前記シーンを識別するコードの選択から取得される、請求項１記載の方法。

【請求項4】

前記三次元モデルに基づいて再合焦表面を生成することは、
前記関心オブジェクトの事前に選択された視点に基づいて参照位置に前記三次元モデルを位置決めすることと、
前記位置決めされた三次元モデルに基づいて距離マップを計算することと
を含む、請求項１に記載の方法。

【請求項5】

前記エンドユーザーは、人間のユーザーである、請求項１に記載の方法。

【請求項6】

前記再合焦された画像は、前記ユーザーが前記再合焦された画像を見るように携帯機器上に表示される、請求項５に記載の方法。

【請求項7】

前記エンドユーザーは、ロボットである、請求項１に記載の方法。

【請求項8】

前記シーンの前記四次元ライトフィールド・データは、前記エンドユーザーの現在の視野からカメラデバイスを用いることによって取得される、請求項１に記載の方法。

【請求項9】

前記再合焦された画像を用いることによって、エンドユーザーが前記シーンに対して正しく位置決めされているかどうかを判断することは、位置合わせ誤差マップを生成することを含み、
前記位置合わせ誤差マップのピクセルは、前記再合焦された画像における点のぼけの度合いを示す、請求項１に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は概括的には、四次元ライトフィールド・データから位置合わせ誤差マップ〔レジストレーション・エラー・マップ〕を得るための装置および方法に関する。そのような位置合わせ誤差マップは、視覚的案内または表面の品質管理といったビジュアルサーボ用途において使用されうる。

【背景技術】

【0002】

ビジュアルサーボは、ロボットもしくは場合によっては人間のようなエンドユーザーの動きを制御するために視覚的フィードバック情報を使う技法である。この視覚的フィードバック情報は、ロボットに接続されたもしくはロボットに組み込まれたカメラのような視覚センサーから受領されるか、携帯電話またはタブレットのようなエンドユーザーに属する装置の画面に表示される。

【0003】

非特許文献１に開示されるように、ビジュアルサーボには二つの手法がある。第一のものは画像ベースの制御（IBC: Image-Based Control）であり、第二のものは位置ベースの制御（PBC: Position-Based Control）である。

【0004】

IBCでは、視覚的フィードバックは画像において直接定義されるが、IBCは安定性および収束性の問題がある。

【0005】

3Dビジュアルサーボとも呼ばれるPBCでは、制御誤差関数がデカルト空間で計算され、画像特徴が画像から抽出される。カメラ座標系に関して目標の位置を決定するために、目標の完璧なモデルが使用される。目標の2Dもしくは3Dモデルおよびカメラの内部パラメータの知識に基づいて、目標に関してカメラの位置を決定することを許容する多くの方法が知られている。これらの方法は、点、線などといった異なる性質の視覚的情報を使う。

【0006】

しかしながら、IBCであろうとPBCであろうとビジュアルサーボ技法でも、画像空間における制御はなく、オブジェクトはサーボの間にカメラ視野から出てしまうことがあり、そのためカメラおよびオブジェクトの相対姿勢を決定するのが難しくなっている。

【先行技術文献】

【非特許文献】

【0007】

【文献】H. Mekki & M. Letaiel、"Path Planning for 3D Visual Servoing: for a Wheeled mobile Robot"、IEEE 2013 International Conference on Individual and Collective Behaviours in Robotics

【発明の概要】

【課題を解決するための手段】

【0008】

本発明の第一の側面によれば、位置合わせ誤差マップと呼ばれる画像の複数のピクセルの鮮鋭レベルを表わすマップを取得するための装置が提供される。本装置は、関心オブジェクトの三次元モデルから得られた再合焦表面と前記関心オブジェクトに関係する収集さ
れた四次元ライトフィールド・データに基づく焦点スタックとの交わりを計算することによって生成された、前記関心オブジェクトの画像に関係する位置合わせ誤差マップを取得するよう構成されたプロセッサを有する。

【0009】

本発明のある実施形態によれば、前記プロセッサは、前記再合焦表面を、参照位置に設置されたときの前記関心オブジェクトの前記三次元モデルの距離マップを計算することによって決定するよう構成される。

【0010】

本発明のある実施形態によれば、前記プロセッサは、前記再合焦表面と前記焦点スタックとの交わりを、再合焦されるべき画像の各ピクセルについて、前記あらかじめ定義された再合焦表面からの、前記焦点スタックをなす画像のうちの一つに対応する再合焦距離を決定することによって計算するよう構成される。

【0011】

本発明のある実施形態によれば、前記プロセッサは、表示されるべき前記位置合わせ誤差マップの見え方〔アピアランス〕を、前記再合焦された画像のピクセルの鮮鋭レベルに関係する情報に基づいて生成するよう構成される。

【0012】

本発明のある実施形態によれば、前記プロセッサは、得られた位置合わせ誤差マップを、当該装置の表示装置上に表示するよう構成される。

【0013】

本発明のもう一つの側面は、位置合わせ誤差マップと呼ばれる画像の複数のピクセルの鮮鋭レベルを表わすマップを取得するための方法に関する。本方法は、関心オブジェクトの三次元モデルから得られた再合焦表面と前記関心オブジェクトに関係する収集された四次元ライトフィールド・データに基づく焦点スタックとの交わりを計算することによって生成される、前記関心オブジェクトの画像に関係する位置合わせ誤差マップを取得することを含む。

【0014】

本発明のある実施形態によれば、前記再合焦表面を決定することは、参照位置に設置されたときの前記関心オブジェクトの前記三次元モデルの距離マップを計算することを含む。

【0015】

本発明のある実施形態によれば、前記再合焦表面と前記焦点スタックとの交わりを計算することは、再合焦されるべき画像の各ピクセルについて、前記再合焦表面からの、前記焦点スタックをなす画像のうちの一つに対応する再合焦距離を決定することを含む。

【0016】

本発明のある実施形態によれば、本方法は、表示されるべき前記位置合わせ誤差マップの見え方〔アピアランス〕を、前記再合焦された画像のピクセルの鮮鋭レベルに関係する情報に基づいて生成することを含む。

【0017】

本発明のある実施形態によれば、本方法は、得られた位置合わせ誤差マップを、表示装置上に表示することを含む。

【0018】

本開示の要素によって実装されるいくつかのプロセスは、コンピュータ実装されてもよい。よって、そのような要素は、完全にハードウェアの実施形態、完全にソフトウェアの実施形態（ファームウェア、常駐ソフトウェア、マイクロコードなどを含む）または本稿でみな一般に「回路」「モジュール」または「システム」として言及されうるソフトウェアおよびハードウェア側面を組み合わせた実施形態の形を取ることができる。さらに、要素は、任意の有体の媒体であって、該媒体に具現されるコンピュータ使用可能プログラム・コードをもつ媒体に具現されているコンピュータ・プログラム・プロダクトの形を取ることができる。

【0019】

本開示の要素はソフトウェアで実装できるので、本開示は、プログラム可能装置に提供するためのコンピュータ可読コードとして、任意の好適な担持媒体上で具現されることができる。有体な担持媒体は、フロッピーディスク、CD-ROM、ハードディスクドライブ、磁気テープ装置または半導体メモリ・デバイスなどといった記憶媒体を含んでいてもよい。一時的な担持媒体は、電気信号、電子信号、光信号、音響信号、磁気信号または電磁信号、たとえばマイクロ波もしくはRF信号といった信号を含んでいてもよい。

【0020】

本開示の目的および利点は、請求項において具体的に指摘される要素および組み合わせによって実現され、達成されるであろう。

【0021】

上記の概括的な記述および以下の記述はいずれも例示的であり、説明するものであり、特許請求される発明を制約するものではないことは理解しておくものとする。

【図面の簡単な説明】

【0022】

【図1A】プレノプティック・カメラを概括的に表わす図である。

【図1B】マルチアレイ・カメラを表わす図である。

【図2】ライトフィールド・カメラのイメージ・センサーの感知表面上に配列されたセンサー領域の平面図を概略的に示す図である。

【図3】理想的な完璧な薄いレンズのモデルを有する概略的なライトフィールド・カメラを示す図である。

【図4】本開示のある実施形態に基づく、画像のぼけレベルを表わす位置合わせ誤差マップを得るための装置の例を示す概略的なブロック図である。

【図5】本開示のある実施形態に基づく、画像のぼけレベルを表わす位置合わせ誤差マップを得るためのプロセスを説明するためのフローチャートである。

【図6】デジタル画像から導出される距離マップを表わす図である。

【図7】収集された4Dライトフィールド・データから計算される焦点スタックを表わす図である。

【図8】本開示のある実施形態に基づく、画像のぼけレベルを表わす位置合わせ誤差マップを得るためのプロセスを実行することによって得られる位置合わせ誤差マップを表わす図である。

【図9】本開示のある実施形態に基づく、位置合わせ誤差マップを表わす図である。

【発明を実施するための形態】

【0023】

当業者は理解するであろうが、本願の原理の諸側面は、システム、方法またはコンピュータ可読媒体として具現されることができる。よって、本願の原理の諸側面は、完全にハードウェアの実施形態、完全にソフトウェアの実施形態（ファームウェア、常駐ソフトウェア、マイクロコードなどを含む）または本稿でみな一般に「回路」「モジュール」または「システム」として言及されうるソフトウェアおよびハードウェア側面を組み合わせた実施形態の形を取ることができる。さらに、本願の原理の諸側面は、コンピュータ可読記憶媒体の形を取ることができる。一つまたは複数のコンピュータ可読記憶媒体の任意の組み合わせが利用されうる。

【0024】

プレノプティック・カメラは、主レンズとセンサーとの間にマイクロレンズ・アレイを配置することによって、センサーに交わる光線の各束に沿って進む光の量を測定できる。そのようなカメラによって収集されるデータはライトフィールド・データと呼ばれる。かかるライトフィールド・データは、異なる視点からのシーンの画像を再構成するために後処理されることができる。ライトフィールド・データは、それぞれ異なる再合焦深度をもつ画像の集合を含む焦点スタックを生成するために使用されることができる。結果として、ユーザーは画像の焦点を変えることができる。通常のカメラに比べて、プレノプティッ
ク・カメラは、後処理によって異なる視点および再合焦深度からのシーンの画像の再構成を達成するための、追加的な光情報成分を得ることができる。

【0025】

このように、ビジュアルサーボ〔視覚的サーボ〕および視覚的案内のコンテキストにおいてライトフィールド・データのこれらの特異性を使うことができる。そうしたコンテキストでは、関心オブジェクトに関する正しい位置を見出す助けとなるいかなる追加的情報でも有用である。

【0026】

図１のＡは、プレノプティック・カメラ１００を概略的に表わす図である。ライトフィールド・カメラは四次元（または4D）ライトフィールド・データを記録することができる。プレノプティック・カメラ１００は主レンズ１０１、マイクロレンズ・アレイ１０２およびイメージ・センサー１０４を有する。

【0027】

図１のＢは、マルチアレイ・カメラ１１０を表わしている。マルチアレイ・カメラ１１０はレンズ・アレイ１１２およびイメージ・センサー１１４を有する。

【0028】

図１のＡに示したようなプレノプティック・カメラ１００の例では、主レンズ１０１は主レンズ１０１のオブジェクト・フィールドにあるオブジェクト（図示せず）からの光を受け、その光を主レンズ１０１の像フィールドに通す。マイクロレンズ・アレイ１０２は、二次元アレイに配列された複数のマイクロレンズ１０３を含んでいる。

【0029】

ライトフィールド・カメラによって捕捉されたデータは、異なる視点からのシーンの画像を再構成するために後処理されることができる。ライトフィールド・カメラはわずかに変化した視点から同じシーンの部分ビューの集合を捕捉することができるので、それら異なる部分ビューを組み合わせることによってカスタマイズされた焦点面をもつ画像を作り出すことができる。

【0030】

図２は、ライトフィールド・カメラのイメージ・センサーの感知表面に配列されたセンサー領域の例を概略的に示す平面図である。図２に示されるように、イメージ・センサー２００は、二次元アレイに配列された複数のピクセル２０１を含み、マイクロレンズ・アレイ２０２を通じてオブジェクトからの光を受ける。マイクロレンズ・アレイ２０２の各マイクロレンズ２０３は、光をイメージ・センサー２００上の円形領域２０４に向けるレンズ属性をもつ。円形領域２０４の外側輪郭は、イメージ・センサー２００上に形成され捕捉されるマイクロレンズ像の形を表わしており、この形はマイクロレンズ２０３の形に依存する。イメージ・センサー２００上のピクセル２０１のすべてのうち、実質的に円形領域２０４内に位置しているピクセル２０１のみがイメージングに寄与する。換言すれば、イメージングに寄与する各ピクセル２０１のピクセル領域（または感知領域）は、実質的に円形領域２０４の内部に位置している。

【0031】

ライトフィールド・カメラのイメージ・センサー２００は、2D画像内に配列された二次元（または2D）マイクロレンズ像の集合を含む画像を記録する。マイクロレンズ・アレイ２０２の各マイクロレンズ２０３は、円形領域２０４によって表わされるマイクロレンズ像を形成する。センサー２００上のピクセル２０１の座標は、図２に示されるように、イメージ・センサー２００の表面上のxy座標系において、順序付きの対(x,y)によって示される。距離pは、二つの連続するマイクロレンズ像の間の距離である。マイクロレンズ２０３は、距離pがピクセル２０１のサイズより大きいよう選ばれる。距離wは、二つの連続するマイクロレンズ像の間の視差距離である。マイクロレンズ像は、図２に示されるようにイメージ・センサー２００の表面上のij座標系におけるそれぞれの座標(i,j)によって参照される。

【0032】

上述したように、実質的に円形領域２０４の内部に位置するピクセル２０１のみがマイクロレンズ２０３を通じて光を受ける。マイクロレンズ間のスペースは、光子がマイクロレンズ２０３の外部そ通過するのを防ぐために、マスクアウトされてもよい。マイクロレンズ２０３が正方形の形をもち、マイクロレンズ間のスペースができない場合には、そのようなマスキングは必要ない。

【0033】

マイクロレンズ像(i,j)の中心は、イメージ・センサー２００上で、xy座標系において座標(x_ij,y_ij)に位置される。θがピクセル２０１の正方形格子とマイクロレンズ２０４の正方形格子との間の角度を表わす。マイクロレンズ像の中心の座標(x_ij,y_ij)は、(x_0,0,y_0,0)をマイクロレンズ像(0,0)のピクセル座標と考えて、下記の式(1)によって推定されることができる。

【0034】

【数1】

距離pおよびwはピクセル単位で与えられる。これらは物理的な距離の単位、たとえばメートルに変換され、それぞれPおよびWとなる。これはメートル単位でのピクセル・サイズδを乗算することによる：W＝δw、P＝δp。これらの距離は、ライトフィールド・カメラの特性に依存する。

【0035】

ここで、ライトフィールド・カメラの例示的な光学属性について図３を参照して論じる。図３は、理想的な完璧な薄いレンズのモデルを有する概略的なライトフィールド・カメラを示している。

【0036】

主レンズ３０１は焦点距離Fおよび口径Φをもつ。マイクロレンズ・アレイ３０２は、焦点距離fをもつマイクロレンズ３０３を有する。マイクロレンズ・アレイ３０２のピッチはφである。マイクロレンズ・アレイ３０２は主レンズ３０１から距離D、センサー３０４から距離dのところに位置する。オブジェクト（図示せず）が主レンズ３０１から距離zのところに位置している。このオブジェクトが主レンズ３０１によって、主レンズ３０１から距離z'のところに合焦される。図３は、D＞z'である場合を示している。この場合、マイクロレンズ像は、dおよびfに依存して、センサー３０４上で焦点が合うことができる。

【0037】

視差（disparity）Wは、オブジェクトと主レンズ３０１の間の距離zとともに変わる。Wとzの間の関係の確立は、薄いレンズの式(2)およびタレス則の式（Thales law equation）(3)に依拠する。

【0038】

【数2】

すると、式(2)と(3)を混合することによって、次の式(4)が導き出せる。

【0039】

【数3】

Wとzの間の関係は、マイクロレンズ像に焦点が合っているという想定には基づいていない。マイクロレンズ像は、薄いレンズの式

【0040】

【数4】

に従って厳密に焦点が合う。

【0041】

ライトフィールド・カメラの主要な性質は、2Dの再合焦された画像を計算できることであり、再合焦距離は画像撮影後に自由に調整可能である。

【0042】

x軸およびy軸に沿ったピクセル数をそれぞれNxおよびNyで表わすとして、サイズ[N_x,N_y]の4Dのライトフィールド画像Lは、マイクロレンズ像をシフトおよびズームして、次いでそれらを合算して2D画像にすることによって、2D画像に投影される。マイクロレンズ像のシフト量が再合焦距離を制御する。4Dライトフィールド画像Lにおける座標(x,y,i,j)のピクセルの、再合焦された2D画像座標(X,Y)への投影は：

【0043】

【数5】

によって定義される。ここで、sは2D再合焦された画像のサイズを制御し、gは再合焦された画像の合焦距離を制御する。この式(6)は、式(1)を考慮することによって式(7)のように書き換えられる。

【0044】

【数6】

パラメータgは、式(8)のようにpおよびwの関数として表わせる。パラメータgは、マイクロレンズ像の中心を基準として使ってマイクロレンズ像に対して実行される必要があるズームを表わす。よって、同じオブジェクトのさまざまなズームされたビューが重畳される。

【0045】

【数7】

式(7)は次のようになる。

【0046】

【数8】

図４は、本開示のある実施形態に基づく、画像のぼけレベルを表わす位置合わせ誤差マップを得るための装置の例を示す概略的なブロック図である。

【0047】

装置４００は、プロセッサ４０１、記憶ユニット４０２、入力装置４０３、表示装置４０４およびインターフェース・ユニット４０５を有し、これらはバス４０６によって接続されている。もちろん、コンピュータ装置４００の構成要素はバス接続以外の接続によって接続されてもよい。

【0048】

プロセッサ４０１は、装置４００の動作を制御する。記憶ユニット４０２はプロセッサ４０１によって実行される少なくとも一つのプログラムならびにさまざまなデータを記憶する。該データは、ライトフィールド・カメラによって捕捉および提供される4Dライトフィールド画像のデータ、プロセッサ４０１によって実行される計算によって使用されるパラメータ、プロセッサ４０１によって実行される計算の中間データなどを含む。プロセッサ４０１は、いかなる既知であり好適なハードウェアもしくはソフトウェアまたはハードウェアとソフトウェアの組み合わせによって形成されてもよい。たとえば、プロセッサ４０１は、処理回路のような専用ハードウェアによって、あるいはメモリに記憶されたプログラムを実行するCPU（中央処理ユニット）のようなプログラム可能な処理ユニットによって形成されてもよい。

【0049】

記憶ユニット４０２は、プログラム、データなどをコンピュータ可読な仕方で記憶することができるいかなる好適な記憶または手段によって形成されてもよい。記憶ユニット４０２の例は、読み書きユニットにロードされた半導体メモリ・デバイスおよび磁気式、光学式または光磁気式記録媒体のような非一時的なコンピュータ可読記憶媒体を含む。プログラムは、プロセッサ４０１に、図５を参照して後述する本開示のある実施形態に基づく画像のぼけレベルを表わす位置合わせ誤差マップを得るプロセスを実行させる。

【0050】

入力装置４０３は、ユーザーがコマンドを入力するために使うためのキーボード、マウスのようなポインティングデバイスなどによって形成されてもよい。該入力により、再合焦表面を定義するために使われる関心オブジェクトの三次元（または3D）モデルのユーザー選択がされる。出力装置４０４は、たとえばグラフィカルユーザーインターフェース（GUI）、本開示の実施形態に従って生成された画像を表示するための表示装置によって形成されてもよい。入力装置４０３および出力装置４０４は、たとえばタッチスクリーン・パネルによって統合的に形成されてもよい。

【0051】

インターフェース・ユニット４０５は装置４００と外部装置との間のインターフェースを提供する。インターフェース・ユニット４０５は、ケーブルまたは無線通信を介して外
部装置と通信可能であってもよい。ある実施形態では、外部装置は、ライトフィールド・カメラであってもよい。この場合、ライトフィールド・カメラによって捕捉された4Dライトフィールド画像のデータがライトフィールド・カメラから装置４００に、インターフェース・ユニット４０５を通じて入力され、次いで記憶ユニット４０２に記憶されることができる。

【0052】

この実施形態では、装置４００は、ライトフィールド・カメラとは分離されており、それらはケーブルまたは無線通信を介して互いに通信可能であるとして例示的に論じられているが、装置４００はそのようなライトフィールド・カメラと統合されることができることを注意しておくべきである。この後者の場合、装置４００はたとえば、ライトフィールド・カメラを組み込んでいるタブレットまたはスマートフォンのようなポータブル装置であってもよい。

【0053】

図５は、本開示のある実施形態に基づく、画像のぼけレベル（level of fuzziness）を表わす誤差位置合わせマップを得るためのプロセスを説明するためのフローチャートである。

【0054】

誤差位置合わせマップを得るためのプロセスの第一のフェーズPh1では、再合焦表面が関心オブジェクトの三次元モデルから決定される。第一のフェーズPh1は段階５０１ないし５０３を含む。

【0055】

段階５０１の間に、プロセッサ４０１は装置４００のディスプレイ４０４上でGUI機能を実行する。このGUI機能は、装置４００のユーザーが、装置４００の記憶ユニット４０２に記憶されているオブジェクトの複数の3Dモデルから関心オブジェクトの3Dモデルを選択することを許容する。ディスプレイ４０４上のGUI上での3Dモデルのユーザー選択は、ポインティングデバイスを使って関心オブジェクトに対応する3Dモデルをポイントすることによってできる。本開示のもう一つの実施形態では、関心オブジェクトの3Dモデルはたとえば、オブジェクトまたはシーンに関連付けられた多次元コードをデコードすることによって選択される。多次元コードはたとえば、装置４００に組み込まれたカメラによって捕捉されるか、あるいはケーブルもしくは無線通信を介して外部装置から送信される。この後者の場合、多次元コードのデコードは、外部装置によって実行されることができ、デコードの結果が装置４００に送信される。選択された3Dモデルは次いで、記憶ユニット４０２に記憶される。

【0056】

ひとたび関心オブジェクトの3Dモデルが選択されたら、段階５０２においてオブジェクトの視点が選択される。本開示のある実施形態では、この視点または参照位置は、関心オブジェクトに関連付けられた前記多次元コードにおいて指定されている。本開示のもう一つの実施形態では、装置４００のユーザーは、たとえばポインティングデバイスを使って3Dモデルを自分が選んだ位置に位置付けて、自分で視点を選択してもよい。次いで、選択された視点に関係した情報が装置４００の記憶ユニット４０２に記憶される。

【0057】

段階５０３では、前記参照位置に設置されたときの関心オブジェクトの選択された3Dモデルの距離マップが計算される。図６を参照するに、距離マップ６０はデジタル画像６１からの導出された表現である。距離マップ６０はデジタル画像６１の各ピクセル６２を、最も近い障害物ピクセルまでの距離６３でラベル付けする。最も一般的な型の障害物ピクセルは、二値画像６１における境界ピクセルである。距離マップ６０は、装置４００のプロセッサ４０１によって計算される。

【0058】

図５に戻ると、誤差位置合わせマップを得るためのプロセスの第二のフェーズPh2では、関心オブジェクトの画像が、関心オブジェクトに関係した4Dライトフィールド・データ
および第一のフェーズPh1の間に決定された再合焦表面に基づいて計算され、この再合焦された画像から位置合わせ誤差マップが得られる。第二のフェーズPh2は段階５０４ないし５０９を含む。

【0059】

段階５０４では、関心オブジェクトに関係する4Dライトフィールド・データが装置４００によって収集される。本開示のある実施形態では、4Dライトフィールド・データは、ライトフィールド・カメラのような外部装置によって捕捉される。この実施形態では、4Dライトフィールド・データは、ライトフィールド・カメラから装置４００にインターフェース・ユニット４０５を通じて入力され、次いで記憶ユニット４０２に記憶されてもよい。本開示のもう一つの実施形態では、装置４００はライトフィールド・カメラを組み込んでいる。この場合、4Dライトフィールド・データは、装置４００のライトフィールド・カメラによって捕捉され、次いで記憶ユニット４０２に記憶される。

【0060】

段階５０５では、関心オブジェクトに関係する4Dライトフィールド・データから、焦点スタックがプロセッサ４０１によって計算される。図７を参照するに、Nがユーザーが選択した画像数であるとして、焦点スタック７０は、諸画像のキューブを定義するN枚の再合焦された画像Rn（ここでn∈[1,N]）の集合である。N枚の再合焦された画像は、式(4)および(8)によって定義されるz_minとz_maxの間の合焦距離の範囲に対応するg_minとg_maxの間で線形に変化するgについて計算される。もう一つのオプションは、式(4)によって定義されるz_minとz_maxの間の合焦距離の範囲に対応するw_minからw_maxまでで線形に変化するwを用いて焦点スタックを計算することである。gまたはwのmin max境界は、z_minとz_max以内の合焦距離をもつ再合焦された画像を包含するために、ユーザーによって定義される。

【0061】

この実施形態において記述される焦点スタック７０の計算は、4Dライトフィールド・データが、レンズ・アレイおよび任意的には主レンズを用いて、単一のイメージ・センサーによって記録されるという想定に基づいている。しかしながら、焦点スタック７０の計算は、そのような型のライトフィールド・カメラによって記録される4Dライトフィールド・データに限定されない。よって、任意の型のライトフィールド・カメラによって記録された4Dライトフィールド・データに基づいて再合焦された画像の焦点スタックを計算することが可能であることを注意しておくべきである。

【0062】

図５に戻ると、段階５０６において、プロセッサ４０１は、第一のフェーズPh1の間に決定された再合焦表面（re-focusing surface）と、段階５０５の間に計算された焦点スタック（focal stack）７０との交わりを計算する。

【0063】

図８を参照するに、再合焦されるべき画像８１の座標(x,y)の各ピクセル８０について、段階５０６の間に、プロセッサ４０１は、段階５０３の間に計算された距離マップから合焦距離zを決定する。実際、画像の各ピクセル(x,y)について、対応する距離マップは距離情報Zを関連付ける。こうして、再合焦されるべき画像８１の各ピクセル(x,y)について、距離マップのピクセル(x,y)に関連付けられた距離情報Zを参照することによって、距離マップから合焦距離zが取得される。再合焦距離zは、焦点スタック８２をなす画像Rnのうちの一つに対応する。

【0064】

次いで、図５に戻ると、段階５０７において、プロセッサ４０１は、焦点スタックと再合焦表面との交差部に属する座標(x,y,z)のピクセルすべてを組み合わせることによって、再合焦された画像を生成する。

【0065】

段階６０８では、装置４００のプロセッサ４０１は位置合わせ誤差マップを計算する。図９に表わされるように、位置合わせ誤差マップ９０はデジタル画像９２の各ピクセル９１に、該ピクセル９２のぼけのレベルに関係した情報９３でラベル付けする。たとえば、
ぼけに関係した情報９３は、最高のぼけレベルを示す0から最高の鮮鋭レベル（level of sharpness）（または最低のぼけレベル）を示す1までの間に含まれる値であってもよい。ピクセルのぼけレベルを示す値の増分はたとえば0.25である。換言すれば、ピクセルのぼけのレベルを示す値は：0,0.25,0.5,0.75または1の値を取ることができ、値0が最高のぼけの値を示し、値1が最低のぼけの値を示す。こうして、画像９２の左上隅の諸ピクセル９１に関連付けられたぼけレベルを表わす情報９３の値が1に等しいので、図９で表わされている画像９２の左上隅は鮮鋭である。逆に、画像９２の右下隅の諸ピクセル９１に関連付けられたぼけレベルを表わす情報９３の値は0に等しいので、画像９２の右下隅はぼけている。

【0066】

図５に戻ると、段階５０９において、プロセッサ４０１は、装置４００の出力装置４０４での位置合わせ誤差マップの表示をトリガーする。出力装置４０４に表示される位置合わせ誤差マップは種々の見え方〔アピアランス〕を取りうる。本開示のある実施形態では、位置合わせ誤差マップは、再合焦された画像自身の見え方をする。すなわち、装置４００のエンドユーザーは、出力装置４０４に表示された再合焦された画像を見る。再合焦された画像のいくつかの部分は、ピクセルのぼけレベルを示す情報の値に依存して、ぼけて、または鮮鋭に見えることがありうる。

【0067】

本開示のもう一つの実施形態では、位置合わせ誤差マップは、二色画像の見え方をしてもよい。たとえば、ぼけに関係する情報の値が0である場合、対応するピクセルは赤く見え、ぼけに関係する情報の値が1である場合、対応するピクセルは青く見える。0から1までの間のぼけに関係する情報の値をもつピクセルについて、前記ピクセルは、そのぼけのレベルに依存して、赤の混合された陰影または青の混合された陰影に見える。本開示のこの実施形態では、装置４００のプロセッサ４０１は、画像の各ピクセルに関連付けられた色を、ぼけのレベルに関係する情報の値に基づいて決定し、次いで、装置４００の出力装置４０４に表示されるべき位置合わせ誤差マップの見え方を生成する。

【0068】

上記の位置合わせ誤差マップを得るための方法の利点は、4Dライトフィールド・データを使うことに依拠しており、そのため3D表面のような複雑な再合焦表面に再合焦された画像の生成が可能であるということである。ひとたび複雑な再合焦表面が決定されたら、再合焦表面と、収集された4Dライトフィールド・データから計算された焦点スタックとの交差部を計算することによって、再合焦された画像が得られる。再合焦された画像の各ピクセルについて、該ピクセルのぼけのレベルに関係する情報が得られ、位置合わせ誤差マップの計算を可能にする。再合焦表面は複雑な表面なので、位置合わせ誤差マップは関心オブジェクトが現在、正しい視点の下で見られていないことを反映する。すなわち、位置合わせ誤差マップは、装置４００のエンドユーザーに、関心オブジェクトの鮮鋭な画像を得るために、エンドユーザーが関心オブジェクトに関して初期位置のまわりに自分の視点をどのようにシフトさせるべきかについての直接的な情報を与える。

【0069】

このように、装置４００が出力装置４０４上に関心オブジェクトの鮮鋭な画像を表示するとすぐに、あるいは位置合わせ誤差マップが関心オブジェクトに対応するピクセルが鮮鋭であることを示すとすぐに、エンドユーザーは、関心オブジェクトが正しい視点の下で見られていることを知る。

【0070】

そのような方法は、簡単かつユーザーフレンドリーな視覚的案内の解決策を提供する。

【0071】

上記の位置合わせ誤差マップを得るための方法の用途は、人間またはロボットであるエンドユーザーの視覚的案内である。

【0072】

本開示のある実施形態では、エンドユーザーは、タブレットのようなライトフィールド
・カメラを組み込んでいる装置４００を所有している人間である。

【0073】

視覚的案内は、美術館における彫像のような関心オブジェクトに関してエンドユーザーが精密に位置決めされる必要がある状況において有用である。その際、彫像に関する適正な位置決めが、彫像に関係した情報の、装置４００の出力装置４０４への表示をトリガーする。

【0074】

まず第一に、関心オブジェクトの3Dモデルが利用可能であるべきである。たとえば、エンドユーザーがたとえば当該彫像を収蔵している美術館によって開発されたアプリケーションをダウンロードしたため、関心オブジェクトの3Dモデルがすでに装置４００の記憶ユニット４０２に記憶されていてもよい。もう一つの例では、関心オブジェクトの3Dモデルは、トリガー・イベント発生後に、サーバーからダウンロードされ、記憶ユニット４０２に記憶される。そのようなトリガー・イベントはたとえば、装置４００のカメラによって捕捉された関心オブジェクトに関係する多次元コードのデコードである。該多次元コードは、関心オブジェクトの3DモデルをダウンロードできるURL（一様リソース位置指定子）のような情報を埋め込んでいる。

【0075】

本開示のある実施形態に基づく位置合わせ誤差マップを取得するための方法の第一のフェーズPh1は次いで、装置４００のプロセッサ４０１によって実行される。本開示のある実施形態では、位置合わせ誤差マップを取得するための方法の第一のフェーズPh1は外部装置によって実行される。第一のフェーズPh1の間に得られる距離マップは、次いで、外部装置から装置４００に、インターフェース・ユニット４０５を通じて入力され、次いで記憶ユニット４０２に記憶される。

【0076】

関心オブジェクトに関係する4Dライトフィールド・データが収集されるとき、本開示のある実施形態に基づく位置合わせ誤差マップを取得するための方法の第二のフェーズPh2が実行され、関心オブジェクトの位置合わせ誤差マップが装置４００の出力装置４０４に表示される。

【0077】

装置４００の出力装置４０４に表示される位置合わせ誤差マップがぼけた画像として見える場合、それは装置４００のエンドユーザーが関心オブジェクトに関して正しく位置されていないこと、すなわち、関心オブジェクトが、再合焦表面が決定されたときの視点に従って観察されていないことを意味する。

【0078】

この視覚的フィードバックに基づいて、エンドユーザーは、装置４００の出力装置４０４に現在表示されている位置合わせ誤差マップが鮮鋭になる、つまり関心オブジェクトが正しい視点から観察されている、すなわち再合焦表面が決定された視点に従って見られているようになるまで、自分の視点をシフトさせる。

【0079】

出力装置４０４に表示される位置合わせ誤差マップのぼけの強度および形またはぼけのレベルを示す色、赤もしくは青の量が、関心オブジェクトが現在観察されている視点をシフトさせるために装置４００をどの方向に動かすべきかをエンドユーザーが決定する助けとなる。

【0080】

エンドユーザーがロボットであるときは、プロセッサ４０１はデジタル画像のピクセルのぼけのレベルに関係する情報を、ロボットの動きを制御する装置に、装置４００のインターフェース・ユニット４０５を通じて送信してもよい。

【0081】

デジタル画像のピクセルのぼけに関係するこれらの情報に基づいて、ロボットの動きを制御する装置は、関心オブジェクトの鮮鋭な画像を得るためにロボットがどの方向に動く
必要があるかを決定しうる。

【0082】

さらに、GPS（全地球測位システム）または何らかの屋内測位システムのような位置特定システムが、関心オブジェクトを見る適正な位置をエンドユーザーが見出すのを助けるために使用されてもよい。

【0083】

本開示のある実施形態では、視覚的な案内効果を高めるために、位置合わせ誤差マップのぼけは、位置合わせ誤差マップのある種の領域において意図的に強調されてもよい。このように、視覚的フィードバックに基づいて、エンドユーザーは、参照位置に到達するために装置４００をどの方向に動かすべきかを知る。

【0084】

上記の位置合わせ誤差マップを取得するための方法のもう一つの応用は、人間またはロボットであるエンドユーザーによって実行される品質管理プロセスの際の表面の検査である。

【0085】

本開示のある実施形態によれば、エンドユーザーは、タブレットのような、ライトフィールド・カメラを組み込んでいる装置４００を所有している人間である。

【0086】

再合焦表面上に画像を再合焦させることは、エンドユーザーが、たとえば飛行機翼の一部のような関心オブジェクトの表面を検査しなければならない状況において有用でありうる。

【0087】

関心対象の飛行機翼の一部の3Dモデルが利用可能であるべきである。たとえば、検査されるべき飛行機翼の一部のかかる3Dモデルが、装置４００の記憶ユニット４０２においてすでに記憶されていてもよい。

【0088】

本開示のある実施形態に基づく位置合わせ誤差マップを取得するための方法の第一のフェーズPh1は次いで、装置４００のプロセッサ４０１によって実行される。本開示のある実施形態では、位置合わせ誤差マップを取得するための方法の第一のフェーズPh1は外部装置によって実行される。第一のフェーズPh1の間に得られる距離マップは、次いで、外部装置から装置４００に、インターフェース・ユニット４０５を通じて入力され、次いで記憶ユニット４０２に記憶される。

【0089】

検査されるべき飛行機翼の一部に関係する4Dライトフィールド・データが収集されるとき、本開示のある実施形態に基づく位置合わせ誤差マップを生成するための方法の第二のフェーズPh2が実行され、検査されるべき飛行機翼の一部の位置合わせ誤差マップが装置４００の出力装置４０４に表示される。

【0090】

装置４００の出力装置４０４に表示される位置合わせ誤差マップがぼけた画像として見える場合、それは飛行機翼の表面が欠陥をもつことを意味する。実際、検査される飛行機翼の一部の表面が、傷のない再合焦表面の3Dモデルに比べて欠陥をもつ場合、検査される飛行機翼の一部の表面の欠陥は、装置４００の出力装置４０４に表示される位置合わせ誤差マップにおいてぼけているように示される。

【0091】

この実施形態では、エンドユーザーが検査される飛行機翼の一部を、適正な視点に従って観察しており、よって位置合わせ誤差マップによって示されるぼけは飛行機翼の一部の表面の欠陥に起因するという仮定がある。たとえば、エンドユーザーはGPSまたは何らかの屋内測位システムを使って、関心対象を見るための適正な位置を見出してもよい。

【0092】

本開示のある実施形態では、欠陥の検出をエンドユーザーにとってより容易にするため
に、位置合わせ誤差マップによって示されるぼけは、位置合わせ誤差マップのある種の領域において意図的に強調されてもよい。

【0093】

本開示は、個別的な実施形態を参照して上記で記述してきたが、本開示はそれらの個別的実施形態に限定されるものではなく、本開示の範囲内にある修正が当業者には明白であろう。

【0094】

上記の例示的実施形態を参照すれば、さらに多くの修正および変形が当業者には思いつくであろう。上記の例示的実施形態は単に例として与えられており、本開示の範囲を限定することは意図されていない。本開示の範囲は、付属の請求項によってのみ決定される。特に、異なる実施形態からの異なる特徴が適宜交換されてもよい。

【図1A】

【図1B】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】