特許 7479840 画像処理装置、画像処理方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-26

(45)【発行日】2024-05-09

(54)【発明の名称】画像処理装置、画像処理方法およびプログラム

(51)【国際特許分類】

   G06T 15/60 20060101AFI20240430BHJP

   H04N 23/60 20230101ALI20240430BHJP

【ＦＩ】

G06T15/60

H04N23/60 500

【請求項の数】 12

(21)【出願番号】P 2019238733

(22)【出願日】2019-12-27

(65)【公開番号】P2021107983

(43)【公開日】2021-07-29

【審査請求日】2022-12-19

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100090273

【弁理士】

【氏名又は名称】國分 孝悦

(72)【発明者】

【氏名】石橋 拓也

【審査官】▲高▼橋 真之

(56)【参考文献】

【文献】特開２０１９－１００９９５（ＪＰ，Ａ）

【文献】特表２０１２－５２２２８３（ＪＰ，Ａ）

【文献】特開２０１８－０３６８８４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １５／６０

Ｈ０４Ｎ ２３／６０ －２３／６９８

Ｈ０４Ｎ ５／２２２－ ５／２５７

(57)【特許請求の範囲】

【請求項1】

画像を基に被写体の位置と前記被写体の位置における局所領域の面の傾きとを情報として持つ点の集合を点群として取得する点群取得手段と、
前記点群のうち、光源の位置を基準位置としたときに手前側にある点群を第１の点群とし、前記光源の位置を基準位置としたときに奥側にある点群を第２の点群とし、前記第１の点群の各点の前記局所領域の面の傾きと前記第２の点群の各点の前記局所領域の面の傾きとの差が大きいほど閾値が小さくなるように、閾値を設定する閾値設定手段と、
前記第２の点群のうち、前記光源から前記第１の点群の各点までの距離と前記光源から前記第２の点群の各点までの距離との距離差が前記閾値以上である点を影が付く領域として設定する領域設定手段と
を有することを特徴とする画像処理装置。

【請求項2】

前記影が付く領域に基づいて影を付けた画像を生成する画像生成手段をさらに有することを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記点群取得手段は、光学系の異なる瞳領域を通過する被写体の光束に基づく一対の画像を基に被写体までの距離を算出し、前記被写体までの距離を基に前記被写体の位置を取得することを特徴とする請求項１または２に記載の画像処理装置。

【請求項4】

前記点群取得手段は、照度差ステレオ法により法線情報を前記局所領域の面の傾きとして取得することを特徴とする請求項１～３のいずれか１項に記載の画像処理装置。

【請求項5】

前記点群取得手段は、前記被写体の位置の隣接する各点の位置の変位量に基づいて、前記局所領域の面の傾きを取得することを特徴とする請求項１～３のいずれか１項に記載の画像処理装置。

【請求項6】

前記点群取得手段は、前記局所領域に含まれる点群の位置を平均することで補正した位置を算出し、前記補正した位置を用いて前記変位量を算出することを特徴とする請求項５に記載の画像処理装置。

【請求項7】

前記閾値設定手段は、測定情報と撮像情報と画像情報のいずれか１つ以上の情報を基に前記閾値を設定することを特徴とする請求項１～６のいずれか１項に記載の画像処理装置。

【請求項8】

前記測定情報は、局所領域の位置の標準偏差と撮像装置のデフォーカス量のいずれか１つ以上の情報であることを特徴とする請求項７に記載の画像処理装置。

【請求項9】

前記撮像情報は、撮像装置の絞り値と、撮像装置のピント位置までの距離と、撮像装置の焦点距離のいずれか１つ以上の情報であること特徴とする請求項７に記載の画像処理装置。

【請求項10】

前記画像情報は、前記画像のコントラストと画像のＳＮ比のいずれか１つ以上の情報であることを特徴とする請求項７に記載の画像処理装置。

【請求項11】

画像を基に被写体の位置と前記被写体の位置における局所領域の面の傾きとを情報とし
て持つ点の集合を点群として取得する点群取得ステップと、
前記点群のうち、光源の位置を基準位置としたときに手前側にある点群を第１の点群とし、前記光源の位置を基準位置としたときに奥側にある点群を第２の点群とし、前記第１の点群の各点の前記局所領域の面の傾きと前記第２の点群の各点の前記局所領域の面の傾きとの差が大きいほど閾値が小さくなるように、閾値を設定する閾値設定ステップと、
前記第２の点群のうち、前記光源から前記第１の点群の各点までの距離と前記光源から前記第２の点群の各点までの距離との距離差が前記閾値以上である点を影が付く領域として設定する領域設定ステップと
を有することを特徴とする画像処理方法。

【請求項12】

コンピュータを、請求項１～１０のいずれか１項に記載された画像処理装置の各手段として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、画像処理方法およびプログラムに関する。

【背景技術】

【0002】

２つの撮像部を備え、立体視用の画像を撮像できるステレオカメラが知られている。ステレオカメラは、各撮像部によって同一の被写体を同時に撮像し、視差を有する第１の画像と第２の画像との２種類の画像を取得する。ステレオカメラは、視差を有する画像から画素毎の視差量を算出することで、カメラから被写体までの距離を算出することが可能である。この距離情報は、一般的にカメラ座標系で表され、座標変換により世界座標系での被写体の位置を有する点群に変換することができる。ステレオカメラは、仮想の光源を設定し、仮想の光源の位置と点群とを用いて、仮想の光源によって作り出される影の領域を算出し、影を付与した画像を生成することが可能である。

【0003】

非特許文献１には、仮想の光源位置から手前側にある点群の各点までの距離と奥側にある点群の各点までの距離との距離差を求めて、奥側の点群の各点で距離差が閾値以上ある領域を影が付く領域とすることで、影の領域を算出する方法が開示されている。閾値が小さすぎるとシャドウアクネとよばれる不要な影が発生し、閾値が大きすぎると必要な影が付かなくなるため、閾値を適切に制御する方法が必要である。

【0004】

特許文献１には、仮想の光源の光線方向ベクトルと影を付ける点群の法線方向ベクトルを参照し、両ベクトルの相違度が大きい場合は閾値を大きくし、両ベクトルの相違度が小さい場合は閾値を小さくすることで、影の領域の誤差を低減する方法が開示されている。

【先行技術文献】

【特許文献】

【0005】

【文献】特表２０１２－５２２２８３号公報

【非特許文献】

【0006】

【文献】Ｈａｎｇ Ｄｏｕ，Ｙａｊｉｅ Ｙａｎ，Ｅｔｈａｎ Ｋｅｒｚｎｅｒ，Ｚｅｎｇ Ｄａｉ，Ｃｈｒｉｓ Ｗｙｍａｎ，Ｗａｓｈｉｎｇｔｏｎ Ｕｎｉｖｅｒｓｉｔｙ ｉｎ Ｓｔ． Ｌｏｕｉｓ，ＳＣＩ Ｉｎｓｔｉｔｕｔｅ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｉｏｗａ，ＮＶＩＤＩＡ，“Ａｄａｐｔｉｖｅ Ｄｅｐｔｈ Ｂｉａｓ ｆｏｒ Ｓｈａｄｏｗ Ｍａｐｓ”，Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ Ｔｅｃｈｎｉｑｕｅｓ，Ｖｏｌ．３，Ｎｏ.４，２０１４

【発明の概要】

【発明が解決しようとする課題】

【0007】

従来技術では、被写体の位置は、コンピュータグラフィックスによって設計されたものであり、正確なものが取得できていることを前提とした場合に有効な方法となる。しかし、視差量を算出する方法によって取得した被写体の位置は、視差量算出時の誤差を含む可能性が高く、被写体の位置の誤差に起因した影領域の誤差を低減することができない。

【0008】

本発明の目的は、被写体の位置に誤差がある場合に、影が付く領域の誤差を低減することができるようにすることである。

【課題を解決するための手段】

【0009】

本発明の画像処理装置は、画像を基に被写体の位置と前記被写体の位置における局所領域の面の傾きとを情報として持つ点の集合を点群として取得する点群取得手段と、前記点群のうち、光源の位置を基準位置としたときに手前側にある点群を第１の点群とし、前記光源の位置を基準位置としたときに奥側にある点群を第２の点群とし、前記第１の点群の各点の前記局所領域の面の傾きと前記第２の点群の各点の前記局所領域の面の傾きとの差が大きいほど閾値が小さくなるように、閾値を設定する閾値設定手段と、前記第２の点群のうち、前記光源から前記第１の点群の各点までの距離と前記光源から前記第２の点群の各点までの距離との距離差が前記閾値以上である点を影が付く領域として設定する領域設定手段とを有する。

【発明の効果】

【0010】

本発明によれば、被写体の位置に誤差がある場合に、影が付く領域の誤差を低減することができる。

【図面の簡単な説明】

【0011】

【図1】撮像装置と画像処理装置の構成例を示す図である。

【図2】画像処理装置の画像処理方法を示すフローチャートである。

【図3】点群の取得について説明するフローチャートである。

【図4】位置情報の取得について説明するフローチャートである。

【図5】撮像部の画素配列構成について説明する図である。

【図6】微小ブロックの設定について説明する図である。

【図7】像ずれ量と相関値の関係について説明する図である。

【図8】閾値設定方法について説明する図である。

【図9】影領域を算出する被写体について説明する図である。

【図10】影領域算出を説明する図である。

【図11】基準となる閾値の設定方法について説明する図である。

【発明を実施するための形態】

【0012】

図１（ａ）は、本実施形態による画像処理装置１００と撮像装置１１１の構成例を示すブロック図である。画像処理装置１００は、制御部１０１、メモリ１０２、画像情報入力部１０５、パラメータ設定部１０６、点群取得部１０７、閾値設定部１０８、影領域算出部１０９、および影付画像生成部１１０を有する。撮像装置１１１は、制御部１０１、撮像部１０３、および発光部１０４を有する。

【0013】

制御部１０１は、画像処理装置１００と撮像装置１１１の構成要素間の情報のやり取りを制御する。メモリ１０２は、制御部１０１によって制御され、各構成要素での処理に必要な情報の読み出しと、各構成要素での処理結果の保存を行う。

【0014】

撮像部１０３は、光電変換により、被写体の画像を撮像し、画像情報を出力する。制御部１０１は、撮像部１０３により撮像された画像情報を、画像情報入力部１０５と点群取得部１０７へ供給する。発光部１０４は、制御部１０１の制御により、撮像部１０３の撮像時に発光する。

【0015】

画像情報入力部１０５は、撮像部１０３により撮像された画像情報、または撮像装置１１１以外で撮像された画像情報を入力し、メモリ１０２へ供給する。パラメータ設定部１０６は、ユーザによって画像処理装置１００へ入力された各パラメータ情報を設定する。制御部１０１は、パラメータ設定部１０６により設定されたパラメータ情報をメモリ１０２に保存する。

【0016】

点群取得部１０７は、撮像部１０３により撮像された画像情報から点群を算出し、算出した点群の情報をメモリ１０２へ供給する。閾値設定部１０８は、点群取得部１０７により算出された点群から閾値を算出する。制御部１０１は、閾値設定部１０８により算出された閾値をメモリ１０２に保存する。

【0017】

影領域算出部１０９は、点群取得部１０７により算出された点群と閾値設定部１０８により算出された閾値から影領域を算出し、算出した影領域の情報をメモリ１０２へ供給する。影付画像生成部１１０は、影領域算出部１０９により算出された影領域に基づいて影を付加した画像を生成し、生成した画像をメモリ１０２へ供給する。

【0018】

図１（ｂ）は、撮像装置１１１の撮像部１０３が有する光学系を示す図である。撮像部１０３は、物体１１２から発せられた光をレンズ１１３により予定結像面１１４で結像し、センサ面１１５で受光する。撮像部１０３は、受光した情報を画像情報に変換する。

【0019】

図２は、画像処理装置１００の画像処理方法を示すフローチャートである。ステップＳ２０１において、パラメータ設定部１０６は、パラメータを取得し、そのパラメータを設定する。パラメータは、少なくとも下記のパラメータを含む。

【0020】

撮像装置１１１から被写体のピント位置までの距離・・・（ａ）
撮像部１０３の画素ピッチ・・・（ｂ）
一対の測距瞳を通過する光束の重心の開き角の大きさによって決まる変換係数・・・（ｃ）
Ｆ値・・・（ｄ）
瞳距離・・・(ｅ)
撮像装置１１１のレンズ１１３における像側主点からセンサ面１１５までの距離・・・(ｆ)
撮像装置１１１のレンズ１１３における物側主点から被写体までの距離・・・(ｇ)
撮像装置１１１の焦点位置・・・(ｈ)
仮想光源位置・・・(ｉ)
基準となる閾値・・・(ｊ)
傾きの差に対して乗ずる任意の係数・・・(ｋ)

【0021】

パラメータは、デフォーカス量の算出や、三次元空間上での点群座標算出、影領域の算出に必要となる。

【0022】

ステップＳ２０２において、画像情報入力部１０５は、画像情報を取得する。例えば、画像情報入力部１０５は、撮像装置１１１の撮像部１０３により撮像された画像情報、または撮像装置１１１以外で撮像された画像情報を取得する。

【0023】

ステップＳ２０３において、点群取得部１０７は、ステップＳ２０２で取得された画像情報を基に点群を取得する。「点群」とは、被写体の位置と被写体の位置における局所領域の面の傾きとを情報として持つ点の集合である。「被写体の位置」とは、被写体の空間内の位置であり、所定の位置から被写体までの距離を計測して求めることができる。「局所領域の面の傾き」とは、被写体形状の局所領域の面の傾きであり、局所領域の形状の変位量や面法線等の情報である。

【0024】

図３は、図２のステップＳ２０３の詳細を示すフローチャートである。ステップＳ３０１において、点群取得部１０７は、ステップＳ２０２で取得された画像情報から被写体の位置の取得を行う。ステップＳ３０１については、図４を用いて説明する。

【0025】

図４は、図３のステップＳ３０１の詳細を示すフローチャートである。ステップＳ４０１において、点群取得部１０７は、ステップＳ２０２で取得された画像情報から一対の画像データを生成する。画像情報から一対の画像データを生成する方法について、図５（ａ）と図５（ｂ）を用いて説明する。

【0026】

図５(ａ)は、画像を撮像する際に使用する撮像部１０３の画素５１２の配列の構成例を示す図である。図５（ｂ）は、画素５１２を拡大した図である。撮像部１０３は、２次元行列状に配列された複数の画素５１２を有する。画素５１２は、マイクロレンズ５１１と、一対の瞳分割画素５１３Ａ、５１４Ｂを有する。瞳分割画素５１３Ａおよび５１４Ｂは、それぞれ、光電変換部であり、光電変換により画素信号を生成する。瞳分割画素５１３Ａで撮像される画像がＡ像であり、瞳分割画素５１４Ｂで撮像される画像がＢ像である。また、Ａ像とＢ像を合成した画像がＡＢ像である。ＡＢ像は、撮像時にユーザが取得する画像である。点群取得部１０７は、画像処理を行うために必要な情報として複数枚の画像情報から、Ａ像とＢ像を一対の画像データとして取得する。Ａ像とＢ像は、光学系の異なる瞳領域を通過する被写体の光束に基づく一対の画像である。

【0027】

ステップＳ４０２において、点群取得部１０７は、ステップＳ４０１で生成されたＡ像とＢ像に対して微小ブロックを設定する。図６（ａ）は、ステップＳ４０２を説明する図である。点群取得部１０７は、Ａ像６０１とＢ像６０２に対して、微小ブロック６０３を設定する。なお、点群取得部１０７は、入力画像が有する画素ごとに、微小ブロックの中心の着目画素を設定する。例えば、点群取得部１０７は、着目画素６０４に対して微小ブロック６０３を設定する。また、図６（ｂ）は、微小ブロックの形状について説明する図である。点群取得部１０７は、Ａ像６０１に対して、種々の形状またはサイズの微小ブロック６０５または微小ブロック６０６を設定することができる。微小ブロックのサイズまたは形状は、限定されない。

【0028】

ステップＳ４０３において、点群取得部１０７は、ステップＳ４０２で設定された微小ブロックに対して、相関演算処理を行い、Ａ像とＢ像の各点の像ずれ量を算出する。相関演算は、微小ブロックにおける一対の画素データを、ｍをデータ数として、Ｅ（１）～Ｅ（ｍ）とＦ（１）～Ｆ（ｍ）として一般化して表現する。この場合、点群取得部１０７は、データ系列Ｅ（１）～Ｅ（ｍ）に対してデータ系列Ｆ（１）～Ｆ（ｍ）を相対的にずらしながら、式（１）により、２つのデータ列間のずらし量ｋにおける相関量Ｃ（ｋ）を演算する。
Ｃ（ｋ）＝Σ｜Ｅ（ｎ）―Ｆ（ｎ＋ｋ）｜ ・・・（１）

【0029】

式（１）において、Σ演算は、ｎについて計算される。このΣ演算において、ｎとｎ＋ｋの取る範囲は、１～ｍの範囲に限定される。また、ずらし量ｋは整数であり、一対の画像データの検出ピッチを単位とした相対的シフト量である。

【0030】

図７は、式（１）の演算結果の例として、横軸がすらし量ｋ、縦軸が相関量Ｃ（ｋ）を示すグラフである。図７より、一対のデータ系列の相関が高いずらし量ｋにおいて相関量Ｃ（ｋ）が最小になる。そして、点群取得部１０７は、下記の式（２）～（５）による３点内挿の手法を用い、連続的な相関量に対する最小の相関量Ｃ（ｘ）を与える像ずれ量ｘを求める。

【0031】

ｘ＝ｋｊ＋Ｄ／ＳＬＯＰ ・・・（２）
Ｃ（ｘ）＝ Ｃ（ｋｊ）－｜Ｄ｜ ・・・（３）
Ｄ＝[Ｃ（ｋｊ－１）－Ｃ（ｋｊ＋１）]／２ ・・・（４）
ＳＬＯＰ＝ＭＡＸ[Ｃ（ｋｊ＋１）－Ｃ（ｋｊ），Ｃ（ｋｊ－１）－Ｃ（ｋｊ）]・・・（５）

【0032】

ここで、ｋｊは、離散的な相関量Ｃ（ｋ）が最小となるｋである。点群取得部１０７は、式（２）により、一対の瞳分割画像における像ずれ量ｘを求める。なお、像ずれ量ｘの単位は、画素（ｐｉｘｅｌ）とする。

【0033】

ステップＳ４０４において、点群取得部１０７は、式（２） により求めた像ずれ量ｘ より、被写体像面の予定結像面１１４に対するデフォーカス量ＤＥＦを下記の式（６） により求める。
ＤＥＦ＝ ＫＸ ・ＰＹ ・ｘ ・・・（６）

【0034】

式（６）において、ＰＹ は、撮像部１０３の画素ピッチ（撮像部１０３を構成する画素間距離） である。ＫＸ は、一対の測距瞳を通過する光束の重心の開き角の大きさによって決まる変換係数であり、単位が無次元である。点群取得部１０７は、このように着目画素位置を１画素ずつずらしながら繰り返し計算することで、各画素位置のデフォーカス量ＤＥＦを算出する。

【0035】

ステップＳ４０５において、点群取得部１０７は、ステップＳ４０４で算出されたデフォーカス量ＤＥＦを用いて、撮像装置１１１の撮像部１０３のセンサ面１１５から被写体までの距離ｚを算出する。点群取得部１０７は、各点における距離ｚを、式（７）～（８）から算出する。

【0036】

ｄｉｓｔ＝ １／（１／（ｄｉｓｔ＿ｄ＋ＤＥＦ）－１／ｆ） ・・・（７）
ｚ＝ｌｅｎｇｔｈ－ｄｉｓｔ ・・・（８）

【0037】

ここで、ｄｉｓｔは、撮像部１０３のレンズ１１３における物側主点から被写体までの距離である。ｄｉｓｔ＿ｄは、撮像装置１１１の撮像部１０３のレンズ１１３における像側主点からセンサ面１１５までの距離である。ｆは焦点距離である。ｌｅｎｇｔｈは、撮像装置１１１のセンサ面１１５からピント位置までの距離である。

【0038】

撮像装置１１１のセンサ面１１５からピント位置までの距離ｌｅｎｇｔｈは、例えば、レーザ測距手段により、測定することが可能である。また、点群取得部１０７は、撮像時のレンズ位置とピント位置の関係をデータテーブルに持つことで、撮像時のレンズ位置に対応したピント位置までの距離を推定することが可能である。これにより、点群取得部１０７は、撮像装置１１１のセンサ面１１５からピント位置までの距離を測距する手間を低減できる。

【0039】

以上により、点群取得部１０７は、撮像装置１１１の撮像部１０３のセンサ面１１５から被写体までの距離ｚの算出を行うことができる。このように、点群取得部１０７は、１枚の画像から一対の画像データを生成することにより、距離ｚを算出できることから、撮像装置１１１は、複眼である必要はなく、単眼のカメラでよいため、撮像装置１１１の構成を簡易にすることができる。さらに、複数のカメラを設置する際のキャリブレーション処理も簡易、または不要とすることができる。これにより、点群取得部１０７は、距離ｚの算出精度を高くすることができる。

【0040】

撮像装置１１１の撮像部１０３のセンサ面１１５から被写体までの距離ｚは、ステップＳ３０１において撮像装置１１１で撮像した画像情報から画像処理装置１００で算出することが可能である。このような方法以外にも、ステレオカメラによって距離ｚを算出する方法やＬｉＤＡＲのようなレーザの反射情報を取得し、距離ｚを算出することも可能である。また、これらの距離ｚの算出は、撮像装置１１１の外部装置で行い、画像処理装置１００は、外部装置で算出された距離ｚを取得することも可能である。なお、距離ｚは、センサ面１１５からの距離に限定されるものではなく、レンズ先端から等の任意の位置からの距離でもよい。

【0041】

ステップＳ４０６において、点群取得部１０７は、ステップＳ４０５で算出された距離ｚに対して、カメラ座標系から世界座標系の点群に変換し、被写体の位置を取得する。なお、点群取得部１０７は、カメラ座標系から世界座標系に変換することで、被写体の位置を取得しているが、被写体の位置をカメラ座標系のままにして、カメラ座標系での距離情報を被写体の位置として使用してもよい。

【0042】

ステップＳ３０２において、点群取得部１０７は、局所領域の面の傾きの取得を行う。局所領域の面の傾きは、照度差ステレオ法で取得することができる。点群取得部１０７は、照度差ステレオ法により高精度な法線情報を画素単位で取得し、その法線情報を局所領域の面の傾きとして使用する。また、点群取得部１０７は、ステップＳ３０１で算出された被写体の位置の隣接する各点の位置の変位量に基づいて、局所領域の面の傾きを算出することも可能である。例えば、各点がＸ、Ｙ、Ｚの三次元空間座標で定義される場合に、Ｘ方向の位置の変位量、またはＹ方向の位置の変位量、またはＸ方向の位置の変位量とＹ方向の変位量の二乗和の平方根等を各点の局所領域の面の傾きとすることができる。この時、画像処理装置１００やＬｉＤＡＲ等のセンサによって取得された位置は誤差を含むため、各点の変位量を求めると、変位量に誤差が発生する可能性が高くなる。このような場合は、点群取得部１０７は、局所領域に含まれる点群の位置を平均すること補正した位置を算出し、その補正した位置を用いて上記の変位量を算出することで、変位量の誤差を低減することが可能である。このようにすることで、法線を取得する装置がない場合でも、局所領域の面の傾きを取得することができる。以上により、点群取得部１０７は、局所領域の面の傾きを取得することができる。点群取得部１０７は、被写体の位置と局所領域の面の傾きを取得することにより、点群の取得が可能である。

【0043】

ステップＳ２０４において、閾値設定部１０８は、閾値を設定する。閾値の設定方法については、図８を用いて説明する。図８は、図２のステップＳ２０４の詳細を示すフローチャートである。図８のフローチャートについて、図９を用いて説明する。

【0044】

図９は、影領域を算出する被写体について説明する図である。点群取得部１０７は、撮像装置（カメラ）９０１で撮像した物体９０２の形状を画像処理によって、被写体の位置から点群９０３を求める。点群９０３に対して、仮想光源９０４を設定する。点群９０３のうち、仮想光源９０４の位置を基準位置としたときに手前側にある点群を第１の点群（点９０５と点９０６）とし、仮想光源９０４の位置を基準位置としたときに奥側にある点群を第２の点群（点９０７と点９０８）とする。仮想光源９０４の位置を基準位置としたときに手前側にある点は、仮想光源９０４から点群に向けて直線の光線を引いたときに光線上の一番手前にある点となり、奥側にある点は、光線上にある手前側にある点以外の点となる。このような仮想光源９０４の位置と点群の位置との関係から、第２の点群の各点が第１の点群の各点と仮想光源９０４の位置との関係により発生する影を付けられる領域であることを示す。これらの点９０５～点９０８は、それぞれ局所領域の面の傾き９０９～局所領域の面の傾き９１２を点群として持っている。また、点９０５と点９０７、点９０６と点９０８の距離差は、それぞれ距離差９１３、距離差９１４と定義できる。

【0045】

点９０５～点９０８は、正しい物体９０２の形状に対して誤差を含む。このような物体９０２の位置の誤差により距離差があると、本来、点９０６における物体９０２の形状は、点９０８における物体９０２の形状へ影を付ける形状ではないにも関わらず影を付ける領域と誤判定されてしまう。これに対して、点９０６と点９０８の距離差９１４を求め、距離差が閾値以上であれば、影を付ける領域とすることで、点９０８が影領域と判定されることを防ぐことができる。しかしながら、閾値を一律に決定してしまうと、点９０５と点９０７の関係のように、距離差が閾値以下であるが、影を付けるのが正しい場合でも影が付かない領域と誤判定されてしまう課題がある。この課題に対して、ステップＳ２０４とステップＳ２０５の処理を行うことにより、点９０８を影領域と判定しないようにしつつ、点９０７を影領域と判定することが可能である。

【0046】

ステップＳ８０１において、閾値設定部１０８は、基準となる閾値を設定する。基準となる閾値は、ステップＳ２０１において、パラメータとして設定することが可能である。基準となる閾値は、後述する測定情報、撮像情報、画像情報から求める方法によって、算出することも可能である。

【0047】

ステップＳ８０２において、閾値設定部１０８は、仮想光源から第１の点群の各点までの距離と第１の点群の各点の局所領域の面の傾きを取得する。第１の点群の各点までの距離と第１の点群の各点の局所領域の面の傾きは、図９において、仮想光源９０４から点９０５と点９０６までのそれぞれの距離と対応する局所領域の面の傾き９０９、局所領域の面の傾き９１０を意味する。

【0048】

ステップＳ８０３において、閾値設定部１０８は、仮想光源から第２の点群の各点までの距離と第２の点群の各点の局所領域の面の傾きを取得する。第２の点群の各点までの距離と第２の点群の各点の局所領域の面の傾きは、図９において、仮想光源９０４から点９０７と点９０８までのそれぞれの距離と対応する局所領域の面の傾き９１１、局所領域の面の傾き９１２を意味する。

【0049】

ステップＳ８０４において、閾値設定部１０８は、第１の点群の各点の局所領域の面の傾きと第２の点群の各点の局所領域の面の傾きの差を算出する。局所領域の面の傾きの差は、２つの局所領域の面の傾きの相違度と考えてよい。相違度が大きい場合は、すなわち、局所的な形状の変位量が大きいか、もしくは形状の面の向いている方向が大きく異なることを示す。図９において、局所領域の面の傾き９０９と局所領域の面の傾き９１１は、差が大きいことを表している。これに対して、局所領域の面の傾き９１０と局所領域の面の傾き９１２は、差が小さいことを表している。

【0050】

ステップＳ８０５において、閾値設定部１０８は、ステップＳ８０４で算出された第１の点群の各点の局所領域の面の傾きと第２の点群の各点の局所領域の面の傾きの差を基に、閾値を設定する。第１の点群の各点の局所領域の面の傾きと第２の点群の各点の局所領域の面の傾きの差を傾きの差Ｎ＿ｄｉｆｆと定義する。設定する閾値を閾値Ｔｈ、基準となる閾値を基準閾値Ｔｈ＿ｂｅ、傾きの差Ｎ＿ｄｉｆｆに対して乗ずる係数を係数ｑとして設定し、閾値設定部１０８は、式（９）により、閾値Ｔｈを算出できる。
Ｔｈ＝Ｔｈ＿ｂｅ－ｑ×Ｎ＿ｄｉｆｆ ・・・（９）

【0051】

このとき、閾値ＴｈがＴｈ≧０となるように、係数ｑを決定する。ただし、ｑ≧０とする。このように、閾値Ｔｈを定義することで、閾値Ｔｈは、０からＴｈ＿ｂｅまでの範囲で値を変更することが可能である。式（９）について、係数ｑをある定数とすると、差Ｎ＿ｄｉｆｆが大きくなるにつれて、閾値Ｔｈは小さくなる。これは、第１の点群の局所領域の面の傾きと第２の点群の局所領域の面の傾きの差が大きくなるにつれて、閾値Ｔｈが小さくなることを表している。

【0052】

ステップＳ２０５において、影領域算出部１０９は、影領域を算出する。ステップＳ２０５の詳細は、図９と図１０を用いて説明する。

【0053】

図１０は、図２のステップＳ２０５の詳細を示すフローチャートである。ステップＳ１００１において、影領域算出部１０９は、仮想光源から第１の点群の各点までの距離と仮想光源から第２の点群の各点までの距離との距離差を算出する。図９において、距離差は、距離差９１３、距離差９１４に対応する。

【0054】

ステップＳ１００２において、影領域算出部１０９は、式（１０）のように、距離差ＤＤが閾値Ｔｈ以上であるか否かを判定する。
Ｔｈ≦ＤＤ ・・・（１０）

【0055】

影領域算出部１０９は、距離差ＤＤが閾値Ｔｈ以上である場合、ステップＳ１００３に進み、距離差ＤＤが閾値Ｔｈ未満である場合、ステップＳ１００４に進む。点９０５と点９０７の局所領域の面の傾きの差は大きいため、閾値Ｔｈは基準となる閾値Ｔｈ＿ｂｅに対して小さい値とする。これにより、点９０５と点９０７については、式（１０）を満たすため、影領域算出部１０９は、ステップＳ１００３に進む。

【0056】

これに対し、点９０６と点９０８の局所領域の面の傾きの差は小さいため、閾値Ｔｈは基準となる閾値Ｔｈ＿ｂｅに対して同じか近い値とする。これにより、点９０６と点９０８については、式（１０）を満たさないため、影領域算出部１０９は、ステップＳ１００４に進む。

【0057】

ステップＳ１００３において、影領域算出部１０９は、領域設定部として機能し、第２の点群のうち、距離差ＤＤが閾値Ｔｈ以上となる点を影が付く領域として設定する。図９において、点９０７は、点９０５によって影が付く領域として設定される。

【0058】

ステップＳ１００４において、影領域算出部１０９は、領域設定部として機能し、第２の点群のうち、距離差ＤＤが閾値Ｔｈ未満となる点を影が付かない領域として設定する。図９において、点９０８は、点９０６によって影が付かない領域として設定される。

【0059】

以上により、影領域算出部１０９は、影領域の設定を終了する。画像処理装置１００は、局所領域の面の傾きを利用して閾値を設定する。これにより、画像処理装置１００は、被写体の位置の誤差によって発生していた影が付く領域の誤判定を低減しつつ、一律の閾値を設けることによって本来は影が付く領域を影が付かない領域としていた誤判定を低減できる。

【0060】

次に、影が付く領域に基づいた影付処理を説明する。影付画像生成部１１０は、ステップＳ２０５において、設定された影が付く領域に基づいて、画像に影を付加する画像処理を行い、影を付けた画像を生成する。影付画像生成部１１０は、影が付く領域として設定された点群に対応した画像のＲＧＢ値を小さくすることで、仮想光源によって影が付加された画像を生成する。

【0061】

次に、測定情報、撮像情報、画像情報から基準となる閾値を算出する方法を説明する。閾値設定部１０８は、ステップＳ８０１において、基準となる閾値を任意に設定したが、被写体の位置を測定した際の測定情報や、撮像時の撮像情報、撮像した画像の画像情報に基づいて、基準となる閾値を算出することが可能である。位置の誤差が大きいほど、影が付く領域の判定誤差も大きくなるため、基準となる閾値は高く設定することが好ましい。

【0062】

閾値設定部１０８は、基準となる閾値Ｔｈ＿ｂｅを、測定情報から求めた基準閾値Ｔｈ＿ａと撮像情報から求めた基準閾値Ｔｈ＿ｂと画像情報から求めた基準閾値Ｔｈ＿ｃから下記の式（１１）または式（１２）より求めることができる。

【0063】

Ｔｈ＿ｂｅ＝Ｔｈ＿ａ＋Ｔｈ＿ｂ＋Ｔｈ＿ｃ ・・・（１１）
Ｔｈ＿ｂｅ＝Ｔｈ＿ａ×Ｔｈ＿ｂ×Ｔｈ＿ｃ ・・・（１２）

【0064】

閾値設定部１０８は、基準となる閾値Ｔｈ＿ｂｅを、一例として各情報から算出した基準閾値の総和や積から求めているが、積と和の関係を変えてもよいし、各情報から算出した基準閾値に重みづけを行ってもよい。基準閾値Ｔｈ＿ａ、基準閾値Ｔｈ＿ｂ、基準閾値Ｔｈ＿ｃについて、図１１を用いて説明する。

【0065】

図１１（ａ）～（ｂ）は、測定情報から求めた基準閾値Ｔｈ＿ａを算出する際に評価した各パラメータとその時の各パラメータの基準閾値を説明する図である。測定情報から求めた基準閾値Ｔｈ＿ａは、局所領域の位置の標準偏差と、撮像装置１１１の撮像部１０３のデフォーカス量のいずれか１つ以上の情報から算出される。

【0066】

図１１（ａ）は、局所領域の位置の標準偏差と局所領域の位置の標準偏差の基準閾値Ａｐとの関係を示す図である。局所領域の位置の標準偏差を評価することで、被写体の位置のばらつきを評価する。標準偏差の値が大きいほど、ばらつきは大きくなる。任意の値Ａｂ、Ａｃと標準偏差の値Ａｄから、標準偏差の値の基準閾値Ａｐは、下記の式（１３）で表される。ただし、Ａｂ＞０、Ａｃ＞０とする。
Ａｐ＝Ａｃ×Ａｄ＋Ａｂ ・・・（１３）

【0067】

図１１（ｂ）は、撮像部１０３のデフォーカス量と撮像部１０３のデフォーカス量の基準閾値Ｂｐとの関係を示す図である。撮像部１０３のデフォーカス量が大きい領域は、左右の視差画像の対称性が低くなるため、算出した被写体の位置のばらつきが大きくなる。任意の値Ｂｂ、Ｂｃと撮像部１０３のデフォーカス量Ｂｄから、撮像部１０３のデフォーカス量の基準閾値Ｂｐは、下記の式（１４）で表される。ただし、Ｂｂ＞０、Ｂｃ＞０とする。
Ｂｐ＝Ｂｃ×Ｂｄ＋Ｂｂ ・・・（１４）

【0068】

閾値設定部１０８は、測定情報から求めた基準閾値Ｔｈ＿ａを、式（１５）により算出する。
Ｔｈ＿ａ＝Ａｐ＋Ｂｐ ・・・（１５）

【0069】

図１１（ｃ）～（ｅ）は、撮像情報から求めた基準閾値Ｔｈ＿ｂを算出する際に評価した各パラメータとその時の各パラメータの基準閾値を説明する図である。撮像情報から求めた基準閾値Ｔｈ＿ｂは、撮像装置１１１の撮像部１０３の絞り値と、撮像装置１１１の撮像部１０３のピント位置までの距離と、撮像装置１１１の撮像部１０３の焦点距離のいずれか１つ以上の情報から算出される。

【0070】

図１１（ｃ）は、撮像部１０３の絞り値と撮像部１０３の絞り値の基準閾値Ｃｐとの関係を示す図である。撮像時に絞り値を大きくして撮像すると、ステップＳ５０１において算出した被写体の位置のばらつきが大きくなる。任意の値Ｃｂ、Ｃｃと絞り値Ｃｄから、絞り値の基準閾値Ｃｐは、下記の式（１６）で表される。ただし、Ｃｂ＞０、Ｃｃ＞０とする。
Ｃｐ＝Ｃｃ×Ｃｄ＋Ｃｂ ・・・（１６）

【0071】

図１１（ｄ）は、撮像部１０３のピント位置までの距離と撮像部１０３のピント位置までの距離の基準閾値Ｄｐとの関係を示す図である。撮像時にピント位置までの距離を大きくして撮像すると、被写体の位置のばらつきが大きくなる。これは被写体の位置の算出精度がピント位置までの距離の二乗に反比例しているためである。任意の値Ｄｂ、Ｄｃと撮像部１０３のピント位置までの距離Ｄｄから、撮像部１０３のピント位置までの距離基準閾値Ｄｐは、下記の式（１７）で表される。ただし、Ｄｂ＞０、Ｄｃ＞０とする。
Ｄｐ＝Ｄｃ×Ｄｄ＋Ｄｂ ・・・（１７）

【0072】

図１１（ｅ）は、撮像部１０３の焦点距離と撮像部１０３の焦点距離の基準閾値Ｅｐとの関係を示す図である。撮像時に焦点距離を大きくして撮像すると、画角が狭くなるため、被写体の位置のばらつきが小さくなる。任意の値Ｅｂ、Ｅｃと撮像部１０３の焦点距離Ｅｄから、撮像部１０３の焦点距離の基準閾値Ｅｐは、下記の式（１８）で表される。ただし、Ｅｂ＞０、Ｅｃ＜０とする。
Ｅｐ＝Ｅｃ×Ｅｄ＋Ｅｂ ・・・（１８）

【0073】

閾値設定部１０８は、撮像情報から求めた基準閾値Ｔｈ＿ｂを、式（１９）により算出する。
Ｔｈ＿ｂ＝Ｃｐ＋Ｄｐ＋Ｅｐ ・・・（１９）

【0074】

図１１（ｆ）～（ｇ）は、画像情報から求めた基準閾値Ｔｈ＿ｃを算出する際に評価した各パラメータとその時の各パラメータの基準閾値を説明する図である。画像情報から求めた基準閾値Ｔｈ＿ｃは、画像のコントラストと、画像のＳＮ比のいずれか１つ以上の情報から算出される。

【0075】

図１１（ｆ）は、画像のコントラストとコントラストの基準閾値Ｆｐとの関係を示す図である。画像のコントラストが大きくなると、被写体の位置のばらつきが小さくなる。任意の値Ｆｂ、Ｆｃと画像のコントラストＦｄから、画像のコントラストの基準閾値Ｆｐは、下記の式（２０）で表される。ただし、Ｆｂ＞０、Ｆｃ＜０とする。
Ｆｐ＝Ｆｃ×Ｆｄ＋Ｆｂ ・・・（２０）

【0076】

図１１（ｇ）は、画像のＳＮ比と画像のＳＮ比の基準閾値Ｇｐとの関係を示す図である。画像のＳＮ比が大きいと、ノイズに対する信号の割合が大きくなることから、被写体の位置のばらつきが小さくなる。任意の値Ｇｂ、Ｇｃと画像のＳＮ比Ｇｄから、画像のＳＮ比の基準閾値Ｇｐは、下記の式（２１）で表される。ただし、Ｇｂ＞０、Ｇｃ＜０とする。
Ｇｐ＝Ｇｃ×Ｇｄ＋Ｇｂ ・・・（２１）

【0077】

閾値設定部１０８は、画像情報から求めた基準閾値Ｔｈ＿ｃを、式（２２）により算出する。
Ｔｈ＿ｃ＝Ｆｐ＋Ｇｐ ・・・（２２）

【0078】

以上のように、閾値設定部１０８は、測定情報と撮像情報と画像情報のいずれか１つ以上の情報を基に、基準となる閾値Ｔｈ＿ｂｅを設定することが可能である。閾値設定部１０８は、基準となる閾値Ｔｈ＿ｂｅを決定することにより、被写体の位置の誤差の大きさに応じて閾値Ｔｈをより詳細に決定できるため、影が付く領域の判定の誤差をさらに低減することができる。

【0079】

また、閾値設定部１０８は、撮像情報によって基準となる閾値Ｔｈ＿ｂｅを決定できるので、撮像前に基準となる閾値Ｔｈ＿ｂｅを決定することができる。さらに、閾値設定部１０８は、測定情報や画像情報によって基準となる閾値Ｔｈ＿ｂｅを決定できるので、撮像情報がわからない場合でも、基準となる閾値Ｔｈ＿ｂｅを決定することができる。

【0080】

撮像装置１１１は、デジタルカメラまたはビデオカメラの他、スマートフォン、タブレット、工業用カメラ、医療用カメラまたは車載カメラ等に適用可能である。

【0081】

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【0082】

なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

【符号の説明】

【0083】

１００ 画像処理装置、１０１ 制御部、１０２ メモリ、１０３ 撮像部、１０４ 発光部、１０５ 画像情報入力部、１０６ パラメータ設定部、１０７ 点群取得部、１０８ 閾値設定部、１０９ 影領域算出部、１１０ 影付画像生成部、１１１ 撮像装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】