特許 7463133 面積計測装置、面積計測方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-03-29

(45)【発行日】2024-04-08

(54)【発明の名称】面積計測装置、面積計測方法、及びプログラム

(51)【国際特許分類】

   G01B 11/00 20060101AFI20240401BHJP

【ＦＩ】

G01B11/00 H

【請求項の数】 14

(21)【出願番号】P 2020035836

(22)【出願日】2020-03-03

(65)【公開番号】P2021139672

(43)【公開日】2021-09-16

【審査請求日】2023-02-28

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100090273

【弁理士】

【氏名又は名称】國分 孝悦

(72)【発明者】

【氏名】南 東吉

【審査官】眞岩 久恵

(56)【参考文献】

【文献】特開２０１８－０１４５７２（ＪＰ，Ａ）

【文献】特開２０１９－１４４１９１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｂ １１／００－１１／３０

(57)【特許請求の範囲】

【請求項1】

複数の特徴点を含む所定のパターン光が投影された対象被写体を撮影した撮影画像から、前記投影された所定のパターン光の前記特徴点の座標を検出する特徴点検出手段と、
前記対象被写体が撮影された際の被写体距離を取得する距離取得手段と、
事前に用意された所定の参照座標と被写体距離とを対応付けて保持する座標保持手段と、
前記対象被写体の前記撮影画像から前記検出した前記特徴点の座標と、当該対象被写体を撮影した際の被写体距離に対応した前記参照座標とを用いた射影変換に基づいて、前記対象被写体の撮影画像に画像変換処理を行う画像変換手段と、
前記画像変換処理を行った後の前記対象被写体の撮影画像から、面積計測を行う対象領域を検出する領域検出手段と、
前記所定のパターン光が投影された状態の前記対象被写体を撮影した撮影画像から前記検出された前記特徴点の座標と、前記参照座標との差が、所定の座標差より大きい場合、前記差を所定の座標差より小さくさせるための指示を表す、ユーザへの通知を、表示装置に表示させる表示手段と、
前記領域検出手段によって前記検出された前記対象領域の画素数と、前記対象被写体を前記撮影した際の被写体距離に基づく画素当たりの面積とから、前記対象領域の面積を取得する面積取得手段と、
を有することを特徴とする面積計測装置。

【請求項2】

前記参照座標は、前記所定のパターンが投影された状態の平面被写体を複数の被写体距離毎に正面撮影した画像から検出された特徴点の座標であり、
前記参照座標に対応付けられている前記被写体距離は、当該平面被写体を前記正面撮影した際の被写体距離であることを特徴とする請求項１に記載の面積計測装置。

【請求項3】

前記参照座標は、前記被写体距離を変数とする計算式により求めた特徴点の座標であることを特徴とする請求項１に記載の面積計測装置。

【請求項4】

前記複数の特徴点を含む所定のパターン光を投影する投影装置と、
撮像により前記撮影画像を取得する撮像装置と、
を有することを特徴とする請求項１から請求項３のいずれか１項に記載の面積計測装置。

【請求項5】

前記撮像装置は、前記所定のパターン光が投影された状態の前記対象被写体を撮像し、
前記特徴点検出手段は、前記所定のパターン光が投影された状態の前記対象被写体を前記撮像装置が撮像した撮影画像から、前記投影された前記所定のパターン光の前記特徴点の座標を検出し、
前記画像変換手段は、前記所定のパターン光が投影された状態の前記対象被写体を前記撮像装置が撮像した撮影画像に対して前記画像変換処理を行うことを特徴とする請求項４に記載の面積計測装置。

【請求項6】

前記撮像装置は、前記所定のパターン光が投影された状態の前記対象被写体の撮影と、前記所定のパターン光が投影されていない状態の前記対象被写体の撮影とを、それぞれ同じ被写体距離で行い、
前記特徴点検出手段は、前記所定のパターン光が投影された状態の前記対象被写体を前記撮像装置が撮像した撮影画像から、前記投影された前記所定のパターン光の前記特徴点の座標を検出し、
前記画像変換手段は、前記所定のパターン光が投影されていない状態の前記対象被写体を前記撮像装置が撮像した撮影画像に対して前記画像変換処理を行うことを特徴とする請求項４に記載の面積計測装置。

【請求項7】

前記特徴点検出手段は、前記所定のパターン光において領域毎に制御された特定の波長、特定の照度、特定の形状の、少なくともいずれかを、前記特徴点として検出することを特徴とする請求項１から請求項６のいずれか１項に記載の面積計測装置。

【請求項8】

前記特徴点検出手段は、前記所定のパターン光の前記特定の波長を前記特徴点として検出する場合、前記撮影画像から、三原色のＲＧＢ値が所定の範囲内に収まる複数の画素が隣接している領域を検出し、前記複数の画素が隣接した領域の中の中心座標を前記特徴点の座標として検出することを特徴とする請求項７に記載の面積計測装置。

【請求項9】

前記特徴点検出手段は、前記所定のパターン光の前記特定の形状を前記特徴点として検出する場合、前記撮影画像から、直線が交差した交点部分を検出し、前記交点部分を前記特徴点の座標として検出することを特徴とする請求項７に記載の面積計測装置。

【請求項10】

前記特徴点検出手段は、前記撮影画像の中で同じ色領域の画素から近似した直線が交差した前記交点部分を、前記特徴点の座標として検出することを特徴とする請求項９に記載の面積計測装置。

【請求項11】

前記表示手段は、前記所定のパターン光が投影された状態の前記対象被写体を撮影した撮影画像から前記検出された前記特徴点の座標に基づく座標範囲のなかに、前記対象領域の座標が収まっていない場合、前記対象領域を前記座標範囲のなかに収めさせるための指示を表す通知を前記表示させることを特徴とする請求項１から請求項１０のいずれか１項に記載の面積計測装置。

【請求項12】

前記表示手段は、前記所定のパターン光が投影された状態の前記対象被写体を撮影した撮影画像から前記検出された前記特徴点の座標と、前記対象領域の座標との間の距離が所定の距離より大きい場合、前記特徴点と前記対象領域とを近づけさせるための指示を表す通知を前記表示させることを特徴とする請求項１から請求項１１のいずれか１項に記載の面積計測装置。

【請求項13】

面積計測装置が実行する面積計測方法であって、
複数の特徴点を含む所定のパターン光が投影された対象被写体を撮影した撮影画像から、前記投影された所定のパターン光の前記特徴点の座標を検出する特徴点検出工程と、
前記対象被写体が撮影された際の被写体距離を取得する距離取得工程と、
事前に用意された所定の参照座標と被写体距離とを対応付けて保持する座標保持工程と、
前記対象被写体の前記撮影画像から前記検出した前記特徴点の座標と、当該対象被写体を撮影した際の被写体距離に対応した前記参照座標とを用いた射影変換に基づいて、前記対象被写体の撮影画像に画像変換処理を行う画像変換工程と、
前記画像変換処理を行った後の前記対象被写体の撮影画像から、面積計測を行う対象領域を検出する領域検出工程と、
前記所定のパターン光が投影された状態の前記対象被写体を撮影した撮影画像から前記検出された前記特徴点の座標と、前記参照座標との差が、所定の座標差より大きい場合、前記差を所定の座標差より小さくさせるための指示を表す、ユーザへの通知を、表示装置に表示させる表示工程と、
前記領域検出工程によって前記検出された前記対象領域の画素数と、前記対象被写体を前記撮影した際の被写体距離に基づく画素当たりの面積とから、前記対象領域の面積を取得する面積取得工程と、
を有することを特徴とする面積計測方法。

【請求項14】

コンピュータを、請求項１から請求項１２のいずれか１項に記載の面積計測装置が有する各手段として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、被写体領域の面積を計測する技術に関する。

【背景技術】

【0002】

特許文献１には、画像情報に応じた投影光をスクリーンに投影するプロジェクタにおいて、投影画像を撮影してスクリーンの角度情報を計算し、その角度情報を基に投影画像の台形補正を行う技術が開示されている。特許文献１の技術では、光学系を光軸方向に移動させながら連続的に投影画像を撮影した画像内の所定領域のコントラスト値が最大となるピーク位置を、距離情報として画像内の複数の領域で取得し、それら距離情報を基にスクリーンの角度情報を計算する。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００４－２０８０８９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、近年は、撮影された画像を基に、被写体上の領域の実面積を求めることが望まれている。なお、前述した特許文献１の技術の場合、被写体上の領域までの距離や被写体の角度を計算することはできるが、その領域の実面積を求めるようなことについては全く想定されていない。

【0005】

そこで、本発明は、撮影された画像を基に、被写体上の領域の実面積を取得可能にすることを目的とする。

【課題を解決するための手段】

【0006】

本発明の面積計測装置は、複数の特徴点を含む所定のパターン光が投影された対象被写体を撮影した撮影画像から、前記投影された所定のパターン光の前記特徴点の座標を検出する特徴点検出手段と、前記対象被写体が撮影された際の被写体距離を取得する距離取得手段と、事前に用意された所定の参照座標と被写体距離とを対応付けて保持する座標保持手段と、前記対象被写体の前記撮影画像から前記検出した前記特徴点の座標と、当該対象被写体を撮影した際の被写体距離に対応した前記参照座標とを用いた射影変換に基づいて、前記対象被写体の撮影画像に画像変換処理を行う画像変換手段と、前記画像変換処理を行った後の前記対象被写体の撮影画像から、面積計測を行う対象領域を検出する領域検出手段と、前記所定のパターン光が投影された状態の前記対象被写体を撮影した撮影画像から前記検出された前記特徴点の座標と、前記参照座標との差が、所定の座標差より大きい場合、前記差を所定の座標差より小さくさせるための指示を表す、ユーザへの通知を、表示装置に表示させる表示手段と、前記領域検出手段によって前記検出された前記対象領域の画素数と、前記対象被写体を前記撮影した際の被写体距離に基づく画素当たりの面積とから、前記対象領域の面積を取得する面積取得手段と、を有することを特徴とする。

【発明の効果】

【0007】

本発明によれば、撮影された画像を基に、被写体上の領域の実面積を取得可能となる。

【図面の簡単な説明】

【0008】

【図1】面積計測装置のシステム構成例を示す図である。

【図2】面積計測処理の大まかな流れを示すフローチャートである。

【図3】特徴点座標取得処理のフローチャートである。

【図4】投影パターンと被写体の同時撮影による面積計測のフローチャートである。

【図5】投影パターン撮影後の被写体撮影による面積計測のフローチャートである。

【図6】画素当たりの面積計算の説明図である。

【図7】ライン投影パターンの例を示す図である。

【図8】ポイント投影パターンの例を示す図である。

【図9】格子投影パターンの例を示す図である。

【図10】撮影角度が大きい場合の通知画面例を示す図である。

【図11】特徴点が被写体にかかる場合の通知画面例を示す図である。

【図12】特徴点が被写体から離れている場合の通知画面例を示す図である。

【発明を実施するための形態】

【0009】

以下、本発明の実施形態を、添付の図面に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例にすぎず、本発明は図示された構成に限定されるものではない。
図１は、本実施形態に係る面積計測装置１００を有するシステム全体の構成例を示した図である。本実施形態の面積計測装置１００は、計測対象となる被写体（以下、対象被写体１１１とする）上の所望の領域（以下、対象領域１１２とする）の実面積を計測する機能を備えた装置である。本実施形態の面積計測装置１００は、撮像部１０１、投影部１０２、撮像処理部１０３、撮影画像保存部１０４、特徴点検出部１０５、特徴点座標保持部１０６、画像変換部１０７、領域検出部１０８、面積取得部１０９、および表示部１１０を備えている。

【0010】

投影部１０２は、光学的に分解可能な特徴点を四つ以上含む所定のパターン光（以下、投影パターンとする）を、投影可能範囲内の所望の投影領域に対して投影する機能を有する投影装置である。

【0011】

本実施形態において、光学的に分解可能な特徴点としては、例えばパターン光の特定の色（光の波長）、特定の照度、特定の形状などを挙げることができる。本実施形態における投影パターンは、これらの特徴点の少なくともいずれかが、当該パターン内の領域毎若しくは点領域毎に制御（調整）されたものとなされている。すなわち、投影部１０２は、投影制御部１０３ｂによる制御の下で、それら特定の色（光の波長）、特定の照度、特定の形状などの特徴点を、投影するパターン内の領域毎若しくは点領域毎に調整可能となされている。ここで、特徴点として例えば特定の色が用いられる場合、その特徴点の色は、一例として、光の三原色であるＲＧＢ値が所定の範囲内に収まる色を挙げることができる。また特徴点として例えば特定の形状が用いられる場合、その特定の形状は、一例として、直線が交差した交点部分の形状などを挙げることができる。もちろんこれらはあくまで一例であり、さらに他の色や形状等の特徴点であってもよい。本実施形態において投影部１０２から投影される投影パターンは、前述した特定の色、特定の照度、特定の形状などの、少なくともいずれかの特徴点が、そのパターン内の四つ以上の異なる位置にそれぞれ配されたパターンとなされている。本実施形態における投影パターンの具体的な例については後に詳述する。

【0012】

また本実施形態おいて、投影可能範囲とは、投影部１０２の投影画角内で且つ投影パターンの光が有効に届く距離内の範囲であるとする。投影部１０２の投影画角は固定であっても、或いは可変であってもよい。なお投影画角が可変である場合、その投影画角の変化に応じて、投影可能範囲も変化することになる。本実施形態の場合、投影部１０２の投影可能範囲内に対象被写体１１１が入るようにし、その対象被写体１１１を所望の投影領域として、投影部１０２から投影パターンが投影される。

【0013】

撮像部１０１は、少なくともフォーカスレンズを含む、撮像光学系（レンズ、レンズユニット）１０１ｂと、撮像光学系１０１ｂによって結像された被写体等の光画像を光電変換して撮像信号に変換出力する撮像素子１０１ａと、を有する撮像装置である。本実施形態において、撮像部１０１の撮影画角は、固定であってもよいし可変であってもよく、いずれの場合でも前述した投影パターンが投影されている状態の対象被写体１１１を、その投影パターンを含めて撮像可能であるとする。もちろん、撮像部１０１は、投影パターンが投影されていない状態の対象被写体１１１を撮像することも可能である。そして、撮像部１０１は、投影パターンが投影されている状態の対象被写体１１１を撮像した撮像信号、または、投影パターンが投影されていない対象被写体１１１を撮像した撮像信号を、撮像処理部１０３に出力する。

【0014】

また本実施形態の面積計測装置１００において、撮像部１０１の撮像光学系１０１ｂと投影部１０２の投影光学系とはそれぞれの光軸が平行になるように設置され、また撮像部１０１の撮影方向と投影部１０２の投影方向とは一致していることが望ましい。なお、以下の説明において、単に「光軸」とのみ記載した場合には、前述のように互いに平行な撮像光学系１０１ｂの光軸と投影光学系の光軸との両方を含んでいるものとする。

【0015】

撮像処理部１０３は、撮像部１０１からの撮像信号を画像データに変換し、その画像データを撮影画像保存部１０４に送出する。以下、投影パターンが投影された状態または投影パターンが投影されていない状態の対象被写体１１１を撮像部１０１で撮像し、その撮像信号を撮像処理部１０３で変換した画像データを、対象被写体画像と表記する。また以下の説明において、投影パターンが投影された状態の対象被写体１１１を撮影することで得られた対象被写体画像については、特に、「投影パターンを含む対象被写体画像」と呼ぶことにする。

【0016】

また本実施形態において、撮像処理部１０３は、焦点調節部１０３ａと投影制御部１０３ｂとを備えている。
投影制御部１０３ｂは、前述した投影部１０２における投影可能範囲内の所望の投影領域の指定、投影開始、および投影停止を制御する。すなわち、本実施形態の場合、投影制御部１０３ｂは、投影部１０２に対して、投影可能範囲内の所望の投影領域を指定して、前述した投影パターンの投影の開始および停止を指示する。

【0017】

焦点調節部１０３ａは、撮像部１０１の撮像光学系１０１ｂのフォーカスレンズを駆動制御することで、対象被写体１１１に対するオートフォーカス制御（合焦制御）を行う。本実施形態の場合、焦点調節部１０３ａは、撮像部１０１からの撮像信号を基に、いわゆるコントラストＡＦ方式によるオートフォーカス制御を行う。コントラストＡＦでは、撮像光学系１０１ｂのフォーカスレンズを光軸方向に移動させながら撮像素子１０１ａで連続的に撮像した画像内の所定の検出領域のコントラスト値が最大となったときのフォーカスレンズ位置が、合焦位置となされる。

【0018】

また焦点調節部１０３ａは、対象被写体１１１に合焦した際の、撮像部１０１から対象被写体１１１までの距離（対象被写体距離とする）を算出する距離測定部としての機能も備えている。本実施形態の場合、焦点調節部１０３ａの距離測定部は、例えばコントラストＡＦにおける焦点調整量またはフォーカスレンズ移動量に基づいて対象被写体距離を算出する。なお本実施形態では、オートフォーカス制御の方式としてコントラストＡＦを例に挙げたが、この例に限らず、いわゆる位相差ＡＦやその他のＡＦ方式でもよい。それらの場合、焦点調節部１０３ａの距離測定部は、位相差ＡＦやその他のＡＦ方式における焦点調整量またはフォーカスレンズ移動量に基づいて対象被写体距離を算出する。

【0019】

撮影画像保存部１０４は、撮像部１０１が対象被写体１１１を撮像して得られた対象被写体画像を、その撮像時に焦点調節部１０３ａの距離取得部が計測した対象被写体距離の情報と対応付けて保存する。そして、撮影画像保存部１０４は、その保存した対象被写体画像や対象被写体距離の情報を、面積計測装置１００の他の機能部からの要求に応じて送出する。なお本実施形態では、対象被写体距離の情報が、撮影画像保存部１０４に保存される例を挙げたが、対象被写体画像との対応付けがわかるのであれば、別途設けられた他の保存部（不図示）或いは面積計測装置１００内の他の機能部等に保存されてもよい。

【0020】

特徴点検出部１０５は、撮影画像保存部１０４から、投影パターンを含む対象被写体画像を取得し、その対象被写体画像に含まれる投影パターンから前述した四つ以上の各特徴点をそれぞれ検出する。すなわち特徴点検出部１０５は、前述したように、投影パターン光において領域毎に制御された特定の照度、特定の波長、特定の形状の、少なくともいずれかを、特徴点として検出可能となされている。例えば、特徴点が特定の色である場合、特徴点検出部１０５は、投影パターンを含む対象被写体画像の中で、ＲＧＢ値が所定の範囲内に収まる複数の画素が隣接している領域を、特徴点領域として検出する。そして、特徴点検出部１０５は、その検出した特徴点領域の中心座標を特徴点として検出し、その特徴点の座標を取得する。なお特徴点の座標の求め方は、前述したような特徴点領域の中心座標を求める方式に限定されるものではなく、他方式で求められてもよい。また例えば、特徴点が特定の形状であってその形状が、交差している直線の交点部分である場合、特徴点検出部１０５は、例えば同じ色領域の画素から直線近似を行い、その直線が交差している場合の交点部分を特徴点として検出し、その特徴点の座標を取得する。なお、同じ色領域の画素に基づく近似は直線近似に限定されるものではなく、多次元近似などでもよい。特徴点の検出方法はこれらの例に限定するものではなく、他の方法、色、形状などから特徴点を検出可能な方法であれば既存のいずれの方法でもよい。以下、投影パターンを含む対象被写体画像から検出された特徴点の座標を「対象座標」と呼ぶことにする。

【0021】

特徴点座標保持部１０６は、予め用意された、参照座標の情報と参照被写体距離の情報とを対応付けて保持している。参照座標は、例えば、前述同様の投影パターンが投影された平面被写体を、被写体距離を変えながら正面撮影により撮影した複数の画像（平面被写体画像とする）から、特徴点検出部１０５が前述同様の特徴点検出処理によって検出した特徴点の座標である。また本実施形態において、参照被写体距離は、前述同様の投影パターンが投影された平面被写体を、被写体距離を変えながら正面撮影により撮影した時の、当該被写体距離である。また本実施形態において、参照座標は、メカニックの設計値と調整などにより求まる参照被写体距離を変数とする特徴点座標の計算式によって求められてもよい。或いは、参照座標は、投影パターンが投影された平面被写体を撮影した平面被写体画像から求める方法と、参照被写体距離を変数とする特徴点座標の計算式により求める方法との、二つの方法を組み合わせて求められてもよい。このように本実施形態において、特徴点座標保持部１０６は、前以って用意された参照座標と参照被写体距離とを対応付けるようにして保持している。

【0022】

なお、参照座標を取得する際に使用する平面被写体は、表面が一様な平面を有する被写体であればよいが、より望ましくは、対象被写体１１１と同様の色や質感を有し、且つ対象被写体１１１上に対象領域１１２が存在しない一様な表面の被写体の方がよい。また本実施形態において、正面撮影とは、被写体面に対して、撮像部１０１の撮像光学系１０１ｂの光軸が直交した状態で撮影することである。以下、本実施形態では、正面撮影によって得られた画像を「正面画像」と呼ぶことにする。一方、撮像光学系１０１ｂの光軸に対して被写体面が直交していない状態、つまり正面撮影でない状態で撮影した画像を、「傾斜画像」と呼ぶことにする。

【0023】

本実施形態において、特徴点座標保持部１０６が保持している参照被写体距離毎の参照座標は、後述するように、正面撮影でない状態で対象被写体１１１を撮影した傾斜画像を、正面撮影された正面画像と同様の画像に変換する際に必要となる情報である。

【0024】

すなわち本実施形態の面積計測装置１００は、正面撮影ではない状態で対象被写体１１１が撮影されて得られた対象被写体画像（傾斜画像）から対象領域１１２の面積を計測する場合、その対象被写体画像を、正面撮影された正面画像と同様の画像に変換する。本実施形態において、傾斜画像になっている対象被写体画像を正面撮影されたような画像に変換する画像変換処理は、画像変換部１０７により行われる。このとき、画像変換部１０７は、投影パターンを含む対象被写体画像から検出される特徴点の座標（対象座標）と、特徴点座標保持部１０６が保持している参照被写体距離毎の参照座標とを、画像変換処理のための変換パラメータとして用いる。

【0025】

このため、対象領域１１２の面積計測が行われる場合、画像変換部１０７は、投影パターンを含む対象被写体画像から検出される対象座標を、特徴点検出部１０５に対して要求する。この要求を受けた特徴点検出部１０５は、撮影画像保存部１０４から、投影パターンを含む対象被写体画像を取得し、その対象被写体画像から前述のようにして特徴点を検出して得た対象座標の情報を、画像変換部１０７に送る。

【0026】

またこのときの画像変換部１０７は、特徴点座標保持部１０６に対して、対象被写体距離と同距離の参照被写体距離に対応付けられている参照座標を要求する。そして、画像変換部１０７は、その要求に応じて特徴点座標保持部１０６から読み出された参照座標の情報を取得する。なおこのとき、特徴点座標保持部１０６が保持している参照座標に対応付けられた参照被写体距離の中に、対象被写体距離と同距離の参照被写体距離が存在しないことも考えられる。この場合、画像変換部１０７は、特徴点座標保持部１０６が保持している参照被写体距離の中で、例えば対象被写体距離に最も近い参照被写体距離に対応した参照座標を取得し、その参照座標を、当該参照被写体距離と対象被写体距離との差分に応じて補正してもよい。

【0027】

さらに画像変換部１０７は、撮影画像保存部１０４に対し、画像変換処理で正面画像に変換されることになる対象被写体画像と、その画像に対応付けられた対象被写体距離とを要求する。そして、画像変換部１０７は、その要求に応じて撮影画像保存部１０４から読み出された対象被写体画像と対象被写体距離の情報とを取得する。このとき画像変換部１０７が撮影画像保存部１０４から取得する対象被写体画像は、投影パターンを含む対象被写体画像でもよいし、投影パターンが投影されていない状態の対象被写体１１１を撮影した対象被写体画像でもよい。つまり、画像変換部１０７において正面画像への画像変換処理の対象となる画像は、必ずしも投影パターンを含む画像でなくてもよく、投影パターンが含まれない対象被写体画像であってもよい。

【0028】

そして画像変換部１０７は、画像変換処理に用いる変換パラメータとして前述のようにして取得した対象座標と参照座標とを基に、傾斜画像になっている対象被写体画像を正面撮影されたような画像に変換する画像変換処理を行う。

【0029】

対象座標と参照座標を変換パラメータとして用いる画像変換処理についてさらに詳細に説明する。以下の説明では、参照座標として、投影パターンが投影された状態の平面被写体を撮影した平面被写体画像から検出された特徴点の座標が用いられる例を挙げる。ここで、投影パターンが投影された状態の平面被写体を撮影した平面被写体画像から検出される四つの特徴点のＸ，Ｙ座標（すなわち参照座標）を、それぞれ（Ｘ₁，Ｙ₁）、（Ｘ₂，Ｙ₂）、（Ｘ₃，Ｙ₃）、（Ｘ₄，Ｙ₄）とする。一方、投影パラメータが投影された状態の対象被写体１１１を撮影した対象被写体画像から検出される四つの特徴点のｘ，ｙ座標（すなわち対象座標）を、それぞれ（ｘ₁，ｙ₁）、（ｘ₂，ｙ₂）、（ｘ₃，ｙ₃）、（ｘ₄，ｙ₄）とする。また、対象被写体画像の各画素ｉのｘ，ｙ座標をｘ_i，ｙ_iとし、その対象被写体画像を正面画像に変換した後の変換後被写体画像の各画素ｉのｘ，ｙ座標をＸ_i，Ｙ_iとする。

【0030】

画像変換部１０７は、四つの特徴点に対応した対象座標と、同じく四つの特徴点に対応した参照座標とについて、それぞれ近い座標同士を対にして対応付ける。そして、画像変換部１０７は、それぞれ対になされた４対の座標を、下記の式（１）と式（２）の各変換式に代入することで、対象被写体画像を正面画像に変換した変換後被写体画像を取得する。なお、式（１）は射影変換の変換式であり、また式（１）と式（２）中のａ₁，ａ₂，ａ₃，・・・，ａ₇，ａ₈は変換式の係数である。

【0031】

【数1】

【0032】

【数2】

【0033】

画像変換部１０７は、それら式（１）および式（２）の変換式に基づく画像変換処理を行うことで、傾斜画像になっている対象被写体画像を正面撮影されたような画像に変換することができる。なお、四つの特徴点にそれぞれ対応した各対象座標と各参照座標との対応付けは、例えば、左上→右上→右下→左下の時計回り順に各座標を対応付ける方法などが用いられてもよい。そして、画像変換部１０７は、前述のようにして、画像変換処理を行った後の変換後被写体画像を、領域検出部１０８と面積取得部１０９とに送る。

【0034】

領域検出部１０８は、画像変換部１０７による変換後被写体画像から、対象被写体１１１の対象領域１１２を、面積計測の対象領域（以下、計測対象領域とする）として検出する。本実施形態において、領域検出部１０８は、変換後被写体画像から計測対象領域を検出する際に、例えば深層学習による意味的領域分割を行う。すなわち本実施形態においては、予め、学習用のコンピュータ（不図示）が、複数の被写体の画像を教師データとしてニューラルネットワークのモデルを学習させて学習済モデルが生成されている。領域検出部１０８は、その生成された学習済モデルに基づいて、画像変換部１０７による変換後被写体画像から計測対象領域を推定する。なお、ニューラルネットワークのモデルの一例としては、深層学習を用いたセグメンテーション・モデルである完全畳み込みネットワーク ＦＣＮ （Ｆｕｌｌｙ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋ）を適用することができる。なお、他の深層学習のモデルを用いて領域分割が実現されていてもよい。また、セグメンテーション手法は、深層学習に限らず、例えば、グラフカットや領域成長、エッジ検出、統治分割法等が用いられてもよい。なお、領域分割に使用される画像は、画像変換部１０７によって正面画像のように変換された後の画像に限らず、対象被写体１１１が正面撮影ではない状態で撮影した傾斜画像であってもよい。

【0035】

前述のようにして領域検出部１０８が検出した計測対象領域の情報（例えば計測対象領域に含まれる各画素の座標情報）は、面積取得部１０９に送られる。
面積取得部１０９は、計測対象体領域の各画素の座標情報と、当該対象被写体の対象被写体距離と、撮像素子１０１ａの既知のセンササイズおよび撮像光学系１０１ｂの既知の撮影画角を基に求まる画素当たりの実面積とから、計測対象領域の面積を算出する。なお、撮像光学系１０１ｂがズーム光学系を有していて撮影画角が可変である場合、例えばズーム量を基に撮影画角を求めることができる。センササイズと撮影画角とに基づいて画素当たりの実面積を求める手法については、後述する図５を以って説明する。

【0036】

表示部１１０は、対象被写体画像、対象座標、対象被写体距離、対象被写体距離に対応した参照座標、および計測対象領域の各情報を基に、後述する図１０、図１１および図１２などで説明するような各画面を表示装置に表示させる。それら図１０、図１１および図１２などに示す各画面表示の詳細については後述する。また表示部１１０は、計測対象領域の面積が計測できた場合には、それら計測対象領域、その計測対象領域の画素数、画素数当たりの実面積、被写体距離、検出特徴点座標、正面画像への変換前後の画像など、取得し得る情報を表示することもできる。

【0037】

図２は、本実施形態の面積計測装置１００における面積計測処理の大まかな流れを示したフローチャートである。
ステップＳ２０１において、面積計測装置１００は、特徴点座標保持部１０６内に、複数の参照座標の情報と、それら参照座標にそれぞれ対応付けられた複数の被写体距離（参照被写体距離）の情報とが保持されているかどうかを判定する。面積計測装置１００は、それらの情報が保持されていないと判定した場合にはステップＳ２０２へ遷移し、一方、それらの情報が保持されていると判定した場合にはステップＳ２０３へ遷移する。

【0038】

ステップＳ２０２に遷移する場合、特徴点座標保持部１０６には参照情報と参照被写体距離とが対応付けられた情報が保持されていないので、面積計測装置１００は、ステップＳ２０２にて参照座標とそれに対応した参照被写体距離を取得するための処理を行う。ステップＳ２０２における処理の詳細は、後述する図３のフローチャートで説明する。

【0039】

ステップＳ２０３に遷移した場合、特徴点座標保持部１０６には参照座標と被写体距離とが対応付けられて保持されているので、面積計測装置１００は、ステップＳ２０３において対象被写体１１１の対象領域１１２の面積計測処理を行う。ステップＳ２０３における処理の詳細は、後述する図４または図５のフローチャートで説明する。

【0040】

図３は、特徴点座標保持部１０６に参照座標と参照被写体距離とが対応付けられた情報が保持されていない場合に、図２のステップＳ２０２で行われる参照座標取得処理の流れを示すフローチャートである。なお、図３のフローチャートにおいて、ステップＳ３０１とステップＳ３０２は、ユーザ等により事前に行われる作業であるが、ここでは説明の都合上、フローチャート内に含めている。

【0041】

ステップＳ３０１では、撮像部１０１の撮影画角内で且つ投影部１０２の投影画角内の位置に、平面被写体が設置される。またその際、平面被写体は、その平面部分が光軸に対して直交するように設置される。

【0042】

またステップＳ３０２では、撮像部１０１と平面被写体との間の距離を、所定範囲内で且つ撮像部１０１にて撮像した場合に所定分解能の画像の取得が可能な複数の距離の中の何れか一つに設定するような距離調整が行われる。このステップＳ３０２における距離の設定は、後述するステップＳ３０３以降の処理後、後述するステップＳ３０７で測定完了と判定されるまで複数回行われる。すなわち、ステップＳ３０２における距離の設定は、所定範囲内で且つ所定分解能の画像の取得が可能な複数の各距離の、それぞれの距離毎に行われる。本実施形態の場合、このステップＳ３０２で設定される撮像部１０１と平面被写体との間の複数の距離は、前述した複数の参照被写体距離にそれぞれ対応する。

【0043】

次にステップＳ３０３において、撮像処理部１０３の投影制御部１０３ｂは、投影部１０２を制御して所定のパターン光（投影パターン）を平面被写体に投影させる。
次にステップＳ３０４において、撮像処理部１０３は、焦点調節部１０３ａにて撮像部１０１の撮像光学系１０１ｂを駆動制御して平面被写体に合焦させ、さらにその合焦状態で撮像部１０１に平面被写体を撮像させることで、投影パターンを含む画像を取得する。本実施形態の場合、このステップＳ３０４で取得された画像は、前述した参照被写体距離に対応した平面被写体画像に対応する。

【0044】

次にステップＳ３０５において、特徴点検出部１０５は、ステップＳ３０４で取得された画像、つまり投影パターンを含む平面被写体画像から、特徴点を検出してその座標（すなわち参照座標）を求める。
そして次のステップＳ３０６において、特徴点座標保持部１０６は、ステップＳ３０５で検出された特徴点の座標を、ステップＳ３０４で取得された平面被写体画像の撮影時における被写体距離（参照被写体距離）と対にして保持する。本実施形態の場合、このステップＳ３０６で参照被写体距離に対応付けられて保持された座標は、前述した参照座標に対応する。

【0045】

次にステップＳ３０７において、面積計測装置１００は、ステップＳ３０２で設定される前述した所定範囲内で且つ所定分解能の画像の取得が可能な複数の各距離について、ステップＳ３０３～Ｓ３０６までの処理が完了したかを判定する。そして、ステップＳ３０７において処理が完了していないと判定された場合には、ステップＳ３０２に戻って、未設定の距離に設定する距離調整が行われてステップＳ３０３以降の処理が行われる。一方、ステップＳ３０７で処理が完了したと判定された場合、この図３のフローチャートの処理は終了する。

【0046】

図４と図５は、図２のステップＳ２０３で行われる、対象被写体１１１の対象領域１１２に対する面積計測処理の流れを示したフローチャートである。図４は、投影パターンを含む対象被写体画像から、対象座標を取得すると共に対象領域１１２の面積をも計測する場合のフローチャートである。図５は、投影パターンを含む対象被写体画像から対象座標を取得した後、投影パターンが投影されていない状態の対象被写体１１１を撮影した対象被写体画像から対象領域１１２の面積を計測する場合のフローチャートである。

【0047】

先ず、投影パターンを含む対象被写体画像から、対象座標を取得すると共に対象領域１１２の面積をも計測する図４のフローチャートの流れを説明する。
ステップＳ４０１において、撮像処理部１０３ａの投影制御部１０３ｂは、投影部１０２を制御して所定のパターン光（投影パターン）を対象被写体１１１に投影させる。

【0048】

ステップＳ４０２において、撮像処理部１０３は、焦点調節部１０３ａにより撮像部１０１の撮像光学系１０１ｂを駆動制御して対象被写体１１１に合焦させる。さらに撮像処理部１０３は、その合焦状態で撮像部１０１に対象被写体１１１を撮像させることで、投影パターンを含む対象被写体画像を取得する。

【0049】

ステップＳ４０３において、特徴点検出部１０５は、ステップＳ４０２で取得された画像、つまり投影パターンを含む対象被写体画像から、投影パターンの四つの特徴点を検出してそれらの座標を求める。

【0050】

ステップＳ４０４において、画像変換部１０７は、対象被写体画像が取得された際の対象被写体距離と同一の参照被写体距離に対応した参照座標の情報を、特徴点座標保持部１０６から取得する。そして画像変換部１０７は、ステップＳ４０３で対象被写体画像に含まれる投影パターンから検出された四つの特徴点に対応した対象座標と、特徴点座標保持部１０６から得た四つの参照座標とについて、それぞれ近い座標同士を対応付ける。

【0051】

ステップＳ４０５において、画像変換部１０７は、ステップＳ４０４で対応付けた四つの座標から求まる射影変換の変換式を以って、傾斜画像になっている対象被写体画像を正面撮影された正面画像と同様の画像に変換する。

【0052】

ステップＳ４０６において、領域検出部１０８は、ステップＳ４０５での画像変換処理がなされた後の変換後被写体画像から計測対象領域を検出してその領域に含まれる画素数を求める。

【0053】

ステップＳ４０７において、面積取得部１０９は、計測対象体領域の各画素の座標情報と、対象被写体距離と、撮像素子１０１ａのセンササイズおよび撮像光学系１０１ｂの撮影画角とから、画素当たりの実面積を求める。そして、面積取得部１０９は、画素当たりの実面積と、ステップＳ４０６で求めた画素数とから、計測対象領域の面積を算出する。

【0054】

次に、投影パターンを含む対象被写体画像から対象座標を取得した後、投影パターンが投影されていない対象被写体１１１を撮影した対象参照画像から対象領域１１２の面積を計測する図５のフローチャートの流れを説明する。図５のフローチャートにおいて、図４と異なる点は、対象被写体の撮影が、投影パターンを投影した状態と投影していない状態とで２回に分けられている点、およぼ、それら２回の撮影の間に投影パターンの投影を停止させる処理が設けられている点である。なお、図５に示すフローチャートの処理は、図４に示したフローチャートの代替処理として行われてもよいし、モード選択という形で切り替えて行われてもよい。

【0055】

ステップＳ５０１において、撮像処理部１０３ａの投影制御部１０３ｂは、投影部１０２を制御して投影パターンを対象被写体１１１に投影させる。

【0056】

ステップＳ５０２において、撮像処理部１０３は、焦点調節部１０３ａにより撮像部１０１の撮像光学系１０１ｂを駆動制御して対象被写体１１１に合焦させる。さらに撮像処理部１０３は、その合焦状態で撮像部１０１に対象被写体１１１を撮像させることで、投影パターンを含む対象被写体画像を取得する。
このステップＳ５０２の後、ステップＳ５０３において、撮像処理部１０３ａの投影制御部１０３ｂは、投影部１０２を制御して投影パターンの投影を停止させる。

【0057】

ステップＳ５０４において、撮像処理部１０３は、焦点調節部１０３ａにより撮像部１０１の撮像光学系１０１ｂを駆動制御して対象被写体１１１に合焦させる。さらに撮像処理部１０３は、その合焦状態で撮像部１０１に対象被写体１１１を撮像させることで、投影パターンが投影されていない状態の対象被写体画像を取得する。ステップＳ５０４における撮影時の対象被写体と、ステップＳ５０２における撮影時の対象被写体とは、投影パターンが投影されている状態と、投影パターンが投影されていない状態とが異なるのみである。このため、ステップＳ５０４における撮影時の対象被写体距離とステップＳ５０２における撮影時の対象被写体距離とは同じである。

【0058】

ステップＳ５０５において、特徴点検出部１０５は、ステップＳ５０２で取得された画像、つまり投影パターンを含む対象被写体画像から、投影パターンの四つの特徴点を検出してそれらの座標を求める。

【0059】

ステップＳ５０６において、画像変換部１０７は、ステップＳ５０４で対象被写体画像が取得された際の対象被写体距離と同一の参照被写体距離に対応した参照座標の情報を、特徴点座標保持部１０６から取得する。そして画像変換部１０７は、ステップＳ５０５で検出された四つの特徴点に対応した対象座標と、特徴点座標保持部１０６から得た四つの参照座標とについて、それぞれ近い座標同士を対応付ける。

【0060】

ステップＳ５０７において、画像変換部１０７は、ステップＳ５０６で対応付けた四つの座標から求まる射影変換の変換式を以って、ステップＳ５０４で取得された対象被写体画像（傾斜画像）を正面撮影されたような画像に変換する。

【0061】

ステップＳ５０８において、領域検出部１０８は、ステップＳ５０７での画像変換処理がなされた後の変換後被写体画像から計測対象領域を検出してその領域に含まれる画素数を求める。

【0062】

ステップＳ５０９において、面積取得部１０９は、計測対象体領域の各画素の座標情報と、ステップＳ５０４で対象被写体画像を取得した際の対象被写体距離と、センササイズおよび撮影画角とから、画素当たりの実面積を求める。そして、面積取得部１０９は、画素当たりの実面積と、ステップＳ５０８で求めた画素数とから、計測対象領域の面積を算出する。

【0063】

なお、図５のフローチャートでは、ステップＳ５０２において投影パターンが投影された状態の対象被写体を撮影した後、ステップＳ５０４において投影パターンが投影されていない状態の対象被写体を撮影したが、それら撮影の順番は逆であってもよい。すなわち例えば、ステップＳ５０２において投影パターンが投影されていない状態の対象被写体を撮影した後、ステップＳ５０４において投影パターンが投影された状態の対象被写体を撮影してもよい。

【0064】

次に、図６を用いて面積取得部１０９における面積計算手法について説明する。
撮像部１０１のような撮像装置は、一般的には図６に示すようなピンホールモデルとして扱うことができる。入射光６０７は、レンズ６０２のレンズ主点を通り、イメージセンサの撮像面６０１で受光される。撮像面６０１からレンズ６０２のレンズ主点までの距離が焦点距離Ｆである。ここで、薄レンズ近似を用いた場合には、前側主点と後側主点の２つの主点は一致するとみなせる。また、ピンホールモデルでは、見かけ上、レンズ６０２が厚みのない単一のレンズとして表されるが、撮像光学系１０１ｂのような実際のレンズは、フォーカスレンズやズームレンズを含むそれぞれ厚みのある複数のレンズによって構成されている。そして、イメージセンサの撮像面６０１に光像が結像するように、レンズ６０２のフォーカスレンズの位置を光軸方向に移動させるように調節することで、被写体６０３に対する焦点合わせが行われる。またズームレンズを光軸方向移動させて焦点距離Ｆを変更した場合、画角θは変化する。

【0065】

このとき、画角θと被写体距離Ｄとの関係から、幾何学的に合焦面に写る被写体幅Ｗが決定され、その被写体幅Ｗは、三角関数を用いて計算される。すなわち被写体幅Ｗは、フォーカス位置とズーム量をパラメータとする画角θと、被写体距離Ｄとの関係によって決まる。そして、被写体幅Ｗの値を、対応するイメージセンサの撮像面６０１のライン上の画素数で除算することにより、画像上の１画素に対応する合焦面上の長さが得られる。そして、面積計算は、領域検出部１０８による前述した領域分割結果から得られる抽出領域（計測対象領域）の画素数と、その画像上の１画素に対応する合焦面上の長さから得られる１画素の面積との積として計算することができる。なお、被写体幅Ｗもしくは画像上の１画素に対応する合焦面上の長さを求める式は、被写体幅Ｗが既知の被写体を、被写体距離Ｄを変化させて撮影することによりデータを取得し回帰的に求めてもよい。なお、被写体距離Ｄが単一の場合は、正しく面積を求めるためには被写体が平面であることが前提となる。

【0066】

次に、図７、図８、図９を用いて、投影部１０２による投影パターンについて説明する。
図７（ａ）および図７（ｂ）は、投影パターンが例えば四角形のライン（線）からなるライン投影パターンである場合の例を示した図である。図７（ａ）は、投影部１０２から平面被写体の正面にライン投影パターン７０１ａが投影され、その平面被写体上のライン投影パターン７０１ａを、撮像部１０１が正面撮影する時の撮影画角７０１内の見え方を示した図である。一方、図７（ｂ）は、光軸に対して直交していない状態の対象被写体上に四角形のライン投影パターンを投影した場合の、撮像部１０１の撮影画角７０２内でのライン投影パターン７０２ｂの見え方を示した図である。図７（ｂ）のように、光軸に対して対象被写体が直交していない状態である場合、四角形のライン投影パターンは台形のライン投影パターン７０２ｂに見え、また対象被写体上の円形の対象領域７０２ｂは楕円に見えることになる。図３のステップＳ３０５における特徴点検出及び座標取得処理では、図７（ａ）に示したライン投影パターン７０１ａの例えば四隅が特徴点として検出され、それら四隅の特徴点の座標が参照座標として取得される。また図４のステップＳ４０３又は図５のステップＳ５０５における特徴点検出及び座標取得処理では、図７（ｂ）に示したライン投影パターン７０２ａの四隅が特徴点として検出され、それら四隅の特徴点の座標が対象座標として取得される。また図４のステップＳ４０５又は図５のステップＳ５０７の画像変換処理では、図７（ａ）のライン投影パターン７０１ａの四隅の参照座標と、図７（ｂ）のライン投影パターン７０２ａの四隅の対象座標との対応関係を基に画像変換処理が行われる。そして、図４のステップＳ４０６～Ｓ４０７又は図５のステップＳ５０８～Ｓ５０９では、画像変換処理後の画像から計測対象領域が検出されてその面積が算出される。

【0067】

図８（ａ）および図８（ｂ）は、投影パターンが例えば四つの点からなるポイント投影パターンである場合の例を示した図である。図８に例示したポイント投影パターンの四つの点は、例えば図７に示した四角形のライン投影パターンの四隅に対応しているが、この例に限定されるものではない。図８（ａ）は、投影部１０２から平面被写体の正面に四つポイント投影パターン８０１ａ～８０１ｄが投影され、その平面被写体上のポイント投影パターン８０１ａ～８０１ｄを、撮像部１０１が正面撮影する時の撮影画角８０１内の見え方を示した図である。図８（ｂ）は、図７（ｂ）の例と同様に、傾いた状態の対象被写体上に各ポイント投影パターンを投影した場合において、撮像部１０１の撮影画角８０２内でのポイント投影パターン８０２ａ～８０２ｄの見え方を示した図である。図８（ｂ）の場合も前述の図７（ｂ）の例と同様に、対象被写体が傾いた状態である場合、四つの各ポイント投影パターン８０２ａ～８０２ｄは台形の四隅に対応した位置に見え、また、対象被写体上の円形の対象領域８０３は楕円に見えることになる。この図８の例の場合、図３のステップＳ３０５の特徴点検出及び座標取得処理では、図８（ａ）に示した四つのポイント投影パターン８０１ａ～８０１ｄが特徴点として検出されてそれらの座標が参照座標として取得される。また図４のステップＳ４０３又は図５のステップＳ５０５の特徴点検出及び座標取得処理では、図８（ｂ）に示した四つのポイント投影パターン８０１ａ～８０１ｄが特徴点として検出されてそれらの座標が対象座標として取得される。以降の画像変換処理、面積計測処理は前述同様である。図８に例示した四つのポイント投影パターンを用いた場合、特徴点検出の処理が、図７に例示したライン投影パターンの場合よりも容易になる。

【0068】

図９（ａ）および図９（ｂ）は、投影パターンが例えば複数の縦ラインと横ラインとが交差した格子投影パターンである場合の例を示した図である。図９（ａ）は、投影部１０２から平面被写体の正面に格子投影パターン９０１が投影され、その平面被写体上の格子投影パターン９０１ａを、撮像部１０１が正面撮影する時の撮影画角９０１内の見え方を示した図である。図９（ｂ）は、図７（ｂ）の例と同様に、傾いた状態の対象被写体上に格子投影パターンを投影した場合において、撮像部１０１の撮影画角９０２内での格子投影パターン９０２ａの見え方を示した図である。図９（ｂ）の場合も前述の図７（ｂ）の例と同様に、対象被写体が傾いた状態である場合、格子投影パターンは台形の格子投影パターン９０２ａに見え、また対象被写体上の円形の対象領域９０２ｂは楕円に見える。この例の場合、図３のステップＳ３０５の特徴点検出及び座標取得処理では、図９（ａ）に示した格子投影パターン９０１ａの縦横ラインが交差した各格子点が特徴点として検出され、それら各格子点の座標が参照座標として取得される。また図４のステップＳ４０３又は図５のステップＳ５０５での特徴点検出及び座標取得処理では、図９（ｂ）に示した格子投影パターン９０２ａの各格子点が特徴点として検出され、それら格子点の座標が対象座標として取得される。図４のステップＳ４０５又は図５のステップＳ５０７の画像変換処理では、図９（ａ）の格子投影パターン９０１ａの各格子点の参照座標と、図９（ｂ）の格子投影パターン９０２ａの各格子点の対象座標との対応関係を基に画像変換処理が行われる。以降の面積計測処理は前述同様である。図９に例示した格子投影パターンを用いた場合、撮像部１０１の撮像画角内で対象領域９０２ｂの近くの特徴点を以って画像変換処理を行うことができる。すなわち格子投影パターンを用いた場合、例えば対象被写体の面が平面でなく曲線や凹凸があるような場合でも、対象領域９０２ｂの近くの特徴点を以って正面画像への画像変換が可能になるため、対象領域９０２ｂの面積計測精度の向上が図れる。

【0069】

次に、図１０、図１１、及び図１２を用いて、表示部１１０による画面表示の詳細について説明する。
図１０は、光軸に対して対象被写体が直交せずに大きく傾いていることで、対象領域１００４の面積計測が難しくなる場合に、表示部１１０が、ユーザに対する通知文１００２を画面１００１上に表示した例を示した図である。図１０の例では、光軸に直交せず傾いた状態の対象被写体上にライン投影パターン１００３が投影され、その対象被写体上のライン投影パターン１００３を撮像部１０１が撮像した画像が、表示部１１０によって画面１００１上に表示されている。すなわち図１０の例の場合、対象被写体が光軸に直交せず傾いた状態であるため、四角形のライン投影パターンは台形状のライン投影パターン１００３となり、また円形の対象領域は楕円の対象領域１００４になっている様子が表示されている。

【0070】

ここで、対象被写体が光軸と直交せずに大きく傾いている場合、撮像部１０１から見て、対象領域１００４の一部が隠れてしまい、対象領域１００４の全域を撮影できなくなる可能性がある。そして、対象領域１００４の一部が隠れて全域の撮影ができなかった場合、面積の正確な計測ができなくなる。このため、本実施形態の面積計測装置１００において、表示部１１０は、対象座標、対象被写体距離、および参照座標の各情報を基に、対象領域１００４の全域を撮影できない状態になっている可能性があるかどうかを判定する。この判定処理を行う際、表示部１１０は、対象被写体画像に含まれるライン投影パターン１００３から検出された対象座標と、対象被写体撮影時の対象被写体距離に対応した参照被写体距離の参照座標との間の座標差を求める。そして表示部１１０は、それら対象座標と参照座標との間の座標差が、予め設定された所定の座標差を超える場合、対象被写体が光軸に対して大きく傾いているために、対象領域１００４の全域を撮影できない状態になっている可能性があると判定する。

【0071】

前述のような判定処理の結果、対象領域１００４の全域を撮影できない状態になっている可能性があると判定した場合、表示部１１０は、図１０に示すような通知文１００２を画面上に表示する。例えば表示部１１０は、対象領域の全域を撮影できない可能性があることを表す「被写体の撮影角度が大きいです。」と、対象領域の全域を撮影可能にするための対策法を表す「被写体が正面にくるように調整してください。」とを含む通知文１００２を表示する。この通知文１００２を見ることで、面積計測装置１００を使用しているユーザは、対象被写体１１１の設置状態、若しくは面積計測装置１００の撮像部１０１の撮影角度を適切に調整することができ、その結果、対象領域の面積計測精度を向上させることができる。

【0072】

図１１は、対象領域１１０３がライン投影パターン１１０３と重なるか、若しくはライン投影パターン１１０３の外側になって、対象領域１１０４の面積計測が難しくなる場合に、表示部１１０が、通知文１１０２を画面１１０１上に表示した例を示した図である。図１１の例では、対象被写体の対象領域１１０４とライン投影パターン１１０３の一部とが重なっており、その状態でライン投影パターン１１０３を含む対象被写体を撮像部１０１が撮像した画像が、表示部１１０によって画面１１０１上に表示されている。なお図１１の例では、対象被写体が光軸と直交せずに傾いているが、対象領域１１０４の全域を撮影できない状態にはなっていないと判定されているとする。

【0073】

図１１の例の場合、ライン投影パターン１１０３の特徴点である四隅のうち一つの隅が、対象領域１１０４上にかかっている。ここで、対象領域１１０４とライン投影パターン１１０３の特徴点とが重なっている場合、そのライン投影パターン１１０３の特徴点の検出が難しくなる可能性がある。このように、ライン投影パターン１１０３の一部の特徴点の検出ができなかった場合、面積の正確な計測ができなくなる。このため、本実施形態の面積計測装置１００において、表示部１１０は、ライン投影パターン１１０４の対象座標の検出結果を基に、ライン投影パターン１１０３の特徴点に基づく座標範囲内に対象領域１１０４が収まっているかどうかを判定する。つまり、ライン投影パターン１１０３の特徴点に基づく座標範囲内に対象領域１１０４が収まっている場合には、対象領域１１０４とライン投影パターン１１０３の特徴点とが重なっていないことになる。この判定処理を行う際、表示部１１０は、対象被写体画像に含まれるライン投影パターン１１０３から検出された対象座標を基に、検出された特徴点の数を計測する。そして、表示部１１０は、その計測した特徴点の数が、ライン投影パターン１１０３から検出されるべき特徴点の数（四隅に相当する四つ）に満たないか場合、それら四つの特徴点に基づく座標範囲内に対象領域１１０４が収まっていないと判定する。図１１の例の場合は、対象領域１１０４とライン投影パターン１１０３の特徴点とが重なっている可能性があると判定する。

【0074】

前述した判定処理の結果、ライン投影パターン１１０３の特徴点に基づく座標範囲内に対象領域１１０４と収まっていない（対象領域と特徴点とが重なっている）と判定した場合、表示部１１０は、図１１に示す通知文１１０２を画面上に表示する。例えば表示部１１０は、対象領域と特徴点とが重なっていることを表す「特徴点が被写体にかかっています。」と、対象領域が座標範囲内に収めることの要求を表す「特徴点が被写体にかからないように調整してください。」とを含む通知文１１０２を表示する。この通知文１１０２を見ることで、面積計測装置１００を使用しているユーザは、対象被写体１１１の設置状態、若しくは面積計測装置１００の投影部１０２による投影位置を適切に調整することができ、その結果、対象領域の面積計測精度を向上させることができる。

【0075】

図１２は、対象領域１２０４に対してライン投影パターン１２０３の投影位置が離れていることで、対象領域１２０４の正確な面積計測が難しくなる場合に、表示部１１０が、通知文１２０２を画面１２０１上に表示した例を示した図である。図１２の例では、対象領域１２０４に対してある程度離れた位置にライン投影パターン１２０３が投影されており、その状態でライン投影パターン１２０３を含む対象被写体を撮影した画像が、表示部１１０によって画面１２０１上に表示されている。なお図１２の例では、対象被写体が光軸と直交せずに傾いているが、対象領域１２０４の全域を撮影できない状態にはなっていないと判定されているとする。

【0076】

図１２に示したように、対象領域１２０４に対し、ある程度離れた位置にライン投影パターン１２０３が投影されている場合、対象被写体上の対象領域１２０４の座標と、ライン投影パターン１２０３の特徴点の座標との間にズレ（誤差）が生ずる可能性がある。対象領域１２０４の座標とライン投影パターン１２０３の特徴点の座標との間にズレ（誤差）が生ずると、面積の正確な計測ができなくなる。このため、本実施形態の面積計測装置１００において、表示部１１０は、対象領域１２０４に対してライン投影パターン１２０３が離れ過ぎているかどうかを判定する。この判定処理を行う際、表示部１１０は、ライン投影パターン１２０４から検出された対象座標と、領域検出部１０８によって検出された対象領域１２０４の座標との間の距離が、所定の距離より大きくなっているかを判定する。そして、表示部１１０は、対象座標と対象領域１２０４の座標との間の距離が、所定の距離より大きくなっていると判定した場合、対象領域１２０４に対してライン投影パターン１２０３が離れ過ぎていると判定する。

【0077】

前述した判定処理の結果、対象領域１２０４に対してライン投影パターン１２０３が離れ過ぎていると判定した場合、表示部１１０は、図１２に示すような通知文１２０２を画面上に表示する。例えば表示部１１０は、対象領域に対してライン投影パターンが離れ過ぎていることを表す「特徴点が被写体から離れすぎています。」と、対象領域に対してライン投影パターンを近づけることの要求を表す「特徴点が被写体の近くになるように調整してください。」と、を含む通知文１２０２を表示する。この通知文１２０２を見ることで、面積計測装置１００を使用しているユーザは、対象被写体１１１の設置状態を適切に調整することができ、その結果、対象領域の面積計測精度を向上させることができる。

【0078】

以上説明したように、本実施形態の面積計測装置１００では、対象座標と参照座標とを基に対象被写体画像を正面撮影されたような画像に変換し、その変換後の画像から計測対象領域を検出し、その計測対象領域の画素数当たりの実面積を算出する。これにより、本実施形態の面積計測装置１００によれが、対象被写体が光軸に対して垂直ではない状態であっても、計測対象領域の実面積を計測することができる。

【0079】

前述した実施形態に係る構成または各フローチャートの処理は、ハードウェア構成により実現されてもよいし、例えばＣＰＵが本実施形態に係るプログラムを実行することによりソフトウェア構成により実現されてもよい。また、一部がハードウェア構成で残りがソフトウェア構成により実現されてもよい。ソフトウェア構成のためのプログラムは、予め用意されている場合だけでなく、不図示の外部メモリ等の記録媒体から取得されたり、不図示のネットワーク等を介して取得されたりしてもよい。

【0080】

本発明に係る制御処理における１以上の機能を実現するプログラムは、ネットワーク又は記憶媒体を介してシステム又は装置に供給可能であり、そのシステム又は装置のコンピュータの１つ以上のプロセッサにより読また出し実行されることで実現可能である。
前述の各実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

【符号の説明】

【0081】

１００：面積計測装置、１０１：撮像部、１０２：投影部、１０３：撮像処理部、１０３ａ：焦点調節部（距離測定部）、１０３ｂ：投影制御部、１０４：撮影画像保存部、１０５：特徴点検出部、１０６：特徴点座標保持部、１０７：画像変換部、１０８：領域検出部、１０９：面積取得部、１１０：表示部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】