ホーム > 特許ランキング > セイコーエプソン株式会社
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022183736
(43)【公開日】2022-12-13
(54)【発明の名称】検出方法、及び検出システム
(51)【国際特許分類】
G01B 11/24 20060101AFI20221206BHJP
【ＦＩ】
G01B11/24 K
【審査請求】有
【請求項の数】9
【出願形態】ＯＬ
(21)【出願番号】P 2021091205
(22)【出願日】2021-05-31
(71)【出願人】
【識別番号】000002369
【氏名又は名称】セイコーエプソン株式会社
(74)【代理人】
【識別番号】100179475
【弁理士】
【氏名又は名称】仲井 智至
(74)【代理人】
【識別番号】100216253
【弁理士】
【氏名又は名称】松岡 宏紀
(74)【代理人】
【識別番号】100225901
【弁理士】
【氏名又は名称】今村 真之
(72)【発明者】
【氏名】飯島 悠大郎
【テーマコード（参考）】
2F065
【Ｆターム（参考）】
2F065AA04
2F065AA53
2F065BB02
2F065BB27
2F065DD03
2F065FF04
2F065FF11
2F065FF61
2F065GG04
2F065GG07
2F065JJ03
2F065LL50
2F065MM16
2F065QQ03
2F065QQ21
2F065QQ24
2F065QQ25
2F065QQ31
2F065QQ36
2F065UU05
(57)【要約】
【課題】第１領域の三次元座標値を充分な精度で取得する。
【解決手段】赤外線プロジェクター１３、及びデプスカメラ１１によって、第１領域ＡＲ１の三次元形状を検出する検出方法であって、第１領域ＡＲ１は、第１領域ＡＲ１よりも狭い第２領域ＡＲ２を含み、デプスカメラ１１のデプス画像ＤＰに基づき、第２領域ＡＲ２の少なくとも２点の三次元座標値を取得することと、前記２点の三次元座標値に基づき、第２領域ＡＲ２を含む平面ＰＬの位置を算出することと、平面ＰＬの位置を、第１領域ＡＲ１の三次元形状として決定することと、を含む。
【選択図】図９
【解決手段】赤外線プロジェクター１３、及びデプスカメラ１１によって、第１領域ＡＲ１の三次元形状を検出する検出方法であって、第１領域ＡＲ１は、第１領域ＡＲ１よりも狭い第２領域ＡＲ２を含み、デプスカメラ１１のデプス画像ＤＰに基づき、第２領域ＡＲ２の少なくとも２点の三次元座標値を取得することと、前記２点の三次元座標値に基づき、第２領域ＡＲ２を含む平面ＰＬの位置を算出することと、平面ＰＬの位置を、第１領域ＡＲ１の三次元形状として決定することと、を含む。
【選択図】図９
【特許請求の範囲】
【請求項1】
赤外線方式の測距センサーによって、第１領域の三次元形状を検出する検出方法であって、
前記第１領域は、前記第１領域よりも狭い第２領域を含み、
前記測距センサーの測定値に基づき、前記第２領域の少なくとも２点の三次元座標値を取得することと、
前記少なくとも２点の三次元座標値に基づき、前記第２領域を含む平面の位置を算出することと、
前記平面の位置を、前記第１領域の三次元形状として決定することと、
を含む、検出方法。
前記第１領域は、前記第１領域よりも狭い第２領域を含み、
前記測距センサーの測定値に基づき、前記第２領域の少なくとも２点の三次元座標値を取得することと、
前記少なくとも２点の三次元座標値に基づき、前記第２領域を含む平面の位置を算出することと、
前記平面の位置を、前記第１領域の三次元形状として決定することと、
を含む、検出方法。
【請求項2】
前記第２領域は、赤外線を反射する反射体が設置された領域である、
請求項１に記載の検出方法。
請求項１に記載の検出方法。
【請求項3】
前記第１領域のサイズに対する前記第２領域のサイズの比率が閾値以下であるか否かを判定することと、
前記比率が前記閾値以下である場合には、前記反射体の設置をユーザーに促す報知をすることと、
を含む、請求項２に記載の検出方法。
前記比率が前記閾値以下である場合には、前記反射体の設置をユーザーに促す報知をすることと、
を含む、請求項２に記載の検出方法。
【請求項4】
前記第１領域のサイズに対する前記第２領域のサイズの比率が閾値以下であるか否かを判定することと、
前記比率が前記閾値以下である場合には、前記第１領域の三次元形状の検出精度が低い可能性があることをユーザーに報知することと、
を含む、請求項１又は請求項２に記載の検出方法。
前記比率が前記閾値以下である場合には、前記第１領域の三次元形状の検出精度が低い可能性があることをユーザーに報知することと、
を含む、請求項１又は請求項２に記載の検出方法。
【請求項5】
前記測距センサーによる前記第１領域の測定値において、前記第２領域に対応する測定値を指定する操作を受け付けること、
を含む、請求項１から請求項４のいずれか１項に記載の検出方法。
を含む、請求項１から請求項４のいずれか１項に記載の検出方法。
【請求項6】
前記第１領域を撮像し、撮像画像を取得することと、
前記撮像画像において、前記第２領域に対応する位置を特定することと、
を含む、請求項１から請求項４のいずれか１項に記載の検出方法。
前記撮像画像において、前記第２領域に対応する位置を特定することと、
を含む、請求項１から請求項４のいずれか１項に記載の検出方法。
【請求項7】
前記平面の位置に基づき、前記第１領域の三次元形状を示す第１距離情報を取得することと、
前記第１距離情報を取得した後に、前記測距センサーの測定値に基づき、前記第１領域内の三次元形状を示す第２距離情報を取得することと、
前記第１距離情報と前記第２距離情報とに基づき、前記第１領域内の第１物体を検出することと、
を含む、請求項１から請求項６のいずれか１項に記載の検出方法。
前記第１距離情報を取得した後に、前記測距センサーの測定値に基づき、前記第１領域内の三次元形状を示す第２距離情報を取得することと、
前記第１距離情報と前記第２距離情報とに基づき、前記第１領域内の第１物体を検出することと、
を含む、請求項１から請求項６のいずれか１項に記載の検出方法。
【請求項8】
前記第２距離情報を取得した後に、前記測距センサーの測定値に基づき、前記第１領域内の三次元形状を示す第３距離情報を取得することと、
前記第２距離情報と前記第３距離情報に基づき、前記第１領域内の前記第１物体と相違する第２物体を検出することと、
を含む、請求項７に記載の検出方法。
前記第２距離情報と前記第３距離情報に基づき、前記第１領域内の前記第１物体と相違する第２物体を検出することと、
を含む、請求項７に記載の検出方法。
【請求項9】
赤外線方式の測距センサーと、情報処理装置と、を備え、第１領域の三次元形状を検出する検出システムであって、
前記第１領域は、前記第１領域よりも狭い第２領域を含み、
前記情報処理装置は、
前記測距センサーの測定値に基づき、前記第２領域の少なくとも２点の三次元座標値を取得することと、
前記少なくとも２点の三次元座標値に基づき、前記第２領域を含む平面の位置を算出することと、
前記平面の位置を、前記第１領域の三次元形状として決定することと、
を実行する、検出システム。
前記第１領域は、前記第１領域よりも狭い第２領域を含み、
前記情報処理装置は、
前記測距センサーの測定値に基づき、前記第２領域の少なくとも２点の三次元座標値を取得することと、
前記少なくとも２点の三次元座標値に基づき、前記第２領域を含む平面の位置を算出することと、
前記平面の位置を、前記第１領域の三次元形状として決定することと、
を実行する、検出システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、検出方法、及び検出システムに関する。
【背景技術】
【0002】
従来、赤外線方式の測距センサーを用いて検出領域の三次元形状を取得する技術が知られている。
例えば、特許文献１には、デプスセンサーによって床面の三次元座標点群データを取得し、取得した複数の点群データに基づき、例えば、最小二乗法を用いることで床面を示す平面を推定する方法が記載されている。
例えば、特許文献１には、デプスセンサーによって床面の三次元座標点群データを取得し、取得した複数の点群データに基づき、例えば、最小二乗法を用いることで床面を示す平面を推定する方法が記載されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】国際公開２０２０－０１３０２１号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
先行文献１では、デプスセンサーによって床面の三次元座標が正確に取得できる場合を想定しているが、例えば、赤外線方式による測距センサーを用いる場合には、床面の反射特性によって、床面の三次元座標値を充分な精度で取得できない可能性がある。
【課題を解決するための手段】
【0005】
上記課題を解決する一態様は、赤外線方式の測距センサーによって、第１領域の三次元形状を検出する検出方法であって、前記第１領域は、前記第１領域よりも狭い第２領域を含み、前記測距センサーの測定値に基づき、前記第２領域の少なくとも２点の三次元座標値を取得することと、前記少なくとも２点の三次元座標値に基づき、前記第２領域を含む平面の位置を算出することと、前記平面の位置を、前記第１領域の三次元形状として決定することと、を含む。
【0006】
上記課題を解決する別の一態様は、赤外線方式の測距センサーと、情報処理装置と、を備え、第１領域の三次元形状を検出する検出システムであって、前記第１領域は、前記第１領域よりも狭い第２領域を含み、前記情報処理装置は、前記測距センサーの測定値に基づき、前記第２領域の少なくとも２点の三次元座標値を取得することと、前記少なくとも２点の三次元座標値に基づき、前記第２領域を含む平面の位置を算出することと、前記平面の位置を、前記第１領域の三次元形状として決定することと、を実行する。
【図面の簡単な説明】
【0007】
【図1】第１実施形態に係る検出システムの構成の一例を示す図。
【図2】デプスカメラとＲＧＢカメラとのカメラ座標の対応関係を示す図。
【図3】パーソナルコンピューターの構成の一例を示す図。
【図4】第１領域の三次元形状の検出方法の一例を示す図。
【図5】第１物体を含む三次元形状の検出方法の一例を示す図。
【図6】第１物体及び第２物体を含む三次元形状の検出方法の一例を示す図。
【図7】第１物体及び第２物体の検出方法の一例を示す図。
【図8】パーソナルコンピューターの処理の一例を示すフローチャート。
【図9】パーソナルコンピューターの処理の一例を示すフローチャート。
【図10】第２実施形態に係るパーソナルコンピューターの構成の一例を示す図。
【図11】パーソナルコンピューターの処理の一例を示すフローチャート。
【発明を実施するための形態】
【0008】
【0009】
図１は、第１実施形態に係る検出システム１の構成の一例を示す図である。
検出システム１は、検出装置１０と、パーソナルコンピューター２０と、プロジェクター３０と、を備える。
検出システム１は、検出装置１０と、パーソナルコンピューター２０と、プロジェクター３０と、を備える。
【0010】
パーソナルコンピューター２０は、検出装置１０、及びプロジェクター３０の各々と通信可能に接続される。
パーソナルコンピューター２０は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ケーブルによって、検出装置１０と通信可能に接続される。また、パーソナルコンピューター２０は、ＨＤＭＩ（登録商標）（Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）ケーブルによって、プロジェクター３０と通信可能に接続される。
パーソナルコンピューター２０は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ケーブルによって、検出装置１０と通信可能に接続される。また、パーソナルコンピューター２０は、ＨＤＭＩ（登録商標）（Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）ケーブルによって、プロジェクター３０と通信可能に接続される。
【0011】
検出装置１０は、赤外線方式の測距センサーを備える。検出装置１０は、本実施形態では、ＲＧＢ－Ｄ（Ｄｅｐｔｈ）カメラで構成される。検出装置１０は、図２に示すように、デプスカメラ１１と、ＲＧＢカメラ１２と、赤外線プロジェクター１３と、を備える。
赤外線プロジェクター１３は、被写体に赤外線を照射する。
デプスカメラ１１は、赤外線プロジェクター１３が照射した赤外線の反射光を計測することによって、いわゆるＴｏＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）方式で、デプスカメラ１１の座標（Ｕｄ，Ｖｄ）にデプス値（Ｚ座標）を対応付けたデプス画像ＤＰを取得する。Ｘ軸は、Ｕｄ軸と平行であり、Ｙ軸はＶｄ軸と平行である。Ｘ軸、Ｙ軸、及びＺ軸は、互いに直交する。
ＲＧＢカメラ１２は、被写体のＲＧＢ画像ＣＰを取得する。
デプス画像ＤＰ、Ｕｄ軸、Ｖｄ軸、及びＲＧＢ画像ＣＰについては、図２を参照して説明する。
赤外線プロジェクター１３、及びデプスカメラ１１は、「赤外線方式の測距センサー」の一例に対応する。
デプス画像ＤＰは、「測距センサーの測定値」の一例に対応する。
赤外線プロジェクター１３は、被写体に赤外線を照射する。
デプスカメラ１１は、赤外線プロジェクター１３が照射した赤外線の反射光を計測することによって、いわゆるＴｏＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）方式で、デプスカメラ１１の座標（Ｕｄ，Ｖｄ）にデプス値（Ｚ座標）を対応付けたデプス画像ＤＰを取得する。Ｘ軸は、Ｕｄ軸と平行であり、Ｙ軸はＶｄ軸と平行である。Ｘ軸、Ｙ軸、及びＺ軸は、互いに直交する。
ＲＧＢカメラ１２は、被写体のＲＧＢ画像ＣＰを取得する。
デプス画像ＤＰ、Ｕｄ軸、Ｖｄ軸、及びＲＧＢ画像ＣＰについては、図２を参照して説明する。
赤外線プロジェクター１３、及びデプスカメラ１１は、「赤外線方式の測距センサー」の一例に対応する。
デプス画像ＤＰは、「測距センサーの測定値」の一例に対応する。
【0012】
本実施形態では、「赤外線方式の測距センサー」がＲＧＢ－Ｄカメラの赤外線プロジェクター１３、及びデプスカメラ１１で構成される場合について説明するが、これに限定されない。
「赤外線方式の測距センサー」がＩＲ（Ｉｎｆｒａｒｅｄ）カメラ２台を含むステレオビジョンで構成されてもよい。なお、ステレオビジョンでは、２つの撮像画像上で対応する位置の座標を対応付けることが必要となる。しかしながら、撮像画像上で対応する点位置を正確に特定することは困難であり、計測精度が不安定となる可能性がある。そこで、特定マーカーを床面ＦＬ等に配置して、２つの撮像画像間の対応位置を特定すればよい。特定マーカーとしては、再帰性反射材を好適に使用できる。
また、「赤外線方式の測距センサー」が、ＩＲカメラとＩＲプロジェクターとを備えるストラクチャードライトで構成されてもよい。
「赤外線方式の測距センサー」がＩＲ（Ｉｎｆｒａｒｅｄ）カメラ２台を含むステレオビジョンで構成されてもよい。なお、ステレオビジョンでは、２つの撮像画像上で対応する位置の座標を対応付けることが必要となる。しかしながら、撮像画像上で対応する点位置を正確に特定することは困難であり、計測精度が不安定となる可能性がある。そこで、特定マーカーを床面ＦＬ等に配置して、２つの撮像画像間の対応位置を特定すればよい。特定マーカーとしては、再帰性反射材を好適に使用できる。
また、「赤外線方式の測距センサー」が、ＩＲカメラとＩＲプロジェクターとを備えるストラクチャードライトで構成されてもよい。
【0013】
パーソナルコンピューター２０は、検出装置１０からデプス画像ＤＰを取得する。また、パーソナルコンピューター２０は、デプス画像ＤＰに基づき、第１領域ＡＲ１の三次元形状を検出する。
視野角θ１は、第１領域ＡＲ１に対応するデプスカメラ１１の視野を示す。中心線ＬＣ１は、デプスカメラ１１の視野の中心を示す。中心線ＬＣ１は、Ｚ軸と平行である。
パーソナルコンピューター２０は、「情報処理装置」の一例に対応する。
視野角θ１は、第１領域ＡＲ１に対応するデプスカメラ１１の視野を示す。中心線ＬＣ１は、デプスカメラ１１の視野の中心を示す。中心線ＬＣ１は、Ｚ軸と平行である。
パーソナルコンピューター２０は、「情報処理装置」の一例に対応する。
【0014】
プロジェクター３０は、パーソナルコンピューター２０からの指示に基づき、画像光を床面ＦＬに投射し、床面ＦＬの投写領域ＡＲＰに投射画像を形成する。投写角θＰは、プロジェクター３０が床面ＦＬの投写領域ＡＲＰに向けて画像光を投写する拡がり角を示す。
投写領域ＡＲＰは、第１領域ＡＲ１に含まれる。中心線ＬＣ２は、プロジェクター３０が投写する投写光の中心を示す。
図１に示すように、中心線ＬＣ２と床面ＦＬとの交点の位置が、例えば、中心線ＬＣ１と床面ＦＬとの交点の位置と一致するように、検出装置１０、及びプロジェクター３０が配置される。
投写領域ＡＲＰは、第１領域ＡＲ１に含まれる。中心線ＬＣ２は、プロジェクター３０が投写する投写光の中心を示す。
図１に示すように、中心線ＬＣ２と床面ＦＬとの交点の位置が、例えば、中心線ＬＣ１と床面ＦＬとの交点の位置と一致するように、検出装置１０、及びプロジェクター３０が配置される。
【0015】
図２は、デプスカメラ１１とＲＧＢカメラ１２とのカメラ座標の対応関係を示す図である。
検出装置１０、すなわち、ＲＧＢ－Ｄカメラは、ＲＧＢカメラ１２で取得したＲＧＢ画像ＣＰと、デプスカメラ１１で取得したデプス画像ＤＰ、及び三次元のＸＹＺ座標とを取得し、色情報付きの六次元データ（Ｒ，Ｇ，Ｂ，Ｘ，Ｙ，Ｚ）を有する点群データ、すなわち、ポイントクラウドデータを生成できる。
検出装置１０、すなわち、ＲＧＢ－Ｄカメラは、ＲＧＢカメラ１２で取得したＲＧＢ画像ＣＰと、デプスカメラ１１で取得したデプス画像ＤＰ、及び三次元のＸＹＺ座標とを取得し、色情報付きの六次元データ（Ｒ，Ｇ，Ｂ，Ｘ，Ｙ，Ｚ）を有する点群データ、すなわち、ポイントクラウドデータを生成できる。
【0016】
ＲＧＢカメラ１２とデプスカメラ１１は、別々のデバイスであるため、これらのカメラの座標系は、通常、一致しない。そのため、色情報付きのポイントクラウドデータを生成するためには、ＲＧＢカメラ１２のＲＧＢ画像ＣＰとデプスカメラ１１のデプス画像ＤＰとの間の、ピクセル座標系の対応関係が必要となる。
ピクセル座標系の対応関係は、例えば、市販製品のＳＤＫ(Ｓｏｆｔｗａｒｅ Ｄｅｖｅｌｏｐｍｅｎｔ Ｋｉｔ)や外部ライブラリーにデフォルト値が用意されており、ＡＰＩ（Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｇｒａｍｍｉｎｇ Ｉｎｔｅｒｆａｃｅ）を用いて取得することができる。
ピクセル座標系の対応関係は、例えば、市販製品のＳＤＫ(Ｓｏｆｔｗａｒｅ Ｄｅｖｅｌｏｐｍｅｎｔ Ｋｉｔ)や外部ライブラリーにデフォルト値が用意されており、ＡＰＩ（Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｇｒａｍｍｉｎｇ Ｉｎｔｅｒｆａｃｅ）を用いて取得することができる。
【0017】
例えば、図２示すように、デプス画像ＤＰの一点（Ｕｄ，Ｖｄ）と、対応するデプス値（Ｚ座標）とを入力することによって、ＲＧＢ画像ＣＰ中の対応点（Ｕｃ，Ｖｃ）が得られる。Ｕｄ軸は、例えば、デプス画像ＤＰの長辺方向と平行である。Ｖｄ軸は、例えば、デプス画像ＤＰの短辺方向と平行である。Ｕｃ軸は、例えば、ＲＧＢ画像ＣＰの長辺方向と平行である。Ｖｃ軸は、例えば、ＲＧＢ画像ＣＰの短辺方向と平行である。
ＲＧＢカメラ１２とデプスカメラ１１とが一体的に組み込まれた市販のＲＧＢ－Ｄカメラ単体を用いる場合には、外部パラメーターのキャリブレーション等の作業を別途行うことなく、メーカー側で用意されたデフォルト値を用いることによって、ＲＧＢ画像ＣＰとデプス画像ＤＰとの間の、ピクセル座標系の対応付けを行うことができる。
ＲＧＢカメラ１２とデプスカメラ１１とが一体的に組み込まれた市販のＲＧＢ－Ｄカメラ単体を用いる場合には、外部パラメーターのキャリブレーション等の作業を別途行うことなく、メーカー側で用意されたデフォルト値を用いることによって、ＲＧＢ画像ＣＰとデプス画像ＤＰとの間の、ピクセル座標系の対応付けを行うことができる。
【0018】
図３は、パーソナルコンピューター２０の構成の一例を示す図である。
パーソナルコンピューター２０は、制御部２１、表示機構２３、音声出力機構２４、及びインターフェース機構２５、を備える。また、制御部２１は、操作機構２６と通信可能に接続される。
パーソナルコンピューター２０は、制御部２１、表示機構２３、音声出力機構２４、及びインターフェース機構２５、を備える。また、制御部２１は、操作機構２６と通信可能に接続される。
【0019】
表示機構２３は、制御部２１の制御に従って各種画像を表示する表示パネル２３１を備える。表示パネル２３１は、例えばＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）を含む。表示パネル２３１は、矩形状に構成される。
音声出力機構２４は、制御部２１の制御に従って各種音声を出力するスピーカー２４１を備える。
音声出力機構２４は、制御部２１の制御に従って各種音声を出力するスピーカー２４１を備える。
【0020】
インターフェース機構２５は、検出装置１０、及びプロジェクター３０を含む外部装置とデータ通信を実行する通信インターフェースであり、例えば、ＨＤＭＩ（登録商標）規格、及びＵＳＢ規格に対応する有線通信インターフェースである。インターフェース機構２５は、例えば、コネクター及びインターフェース回路を有するインターフェース基板であり、制御部２１のプロセッサー２１Ａ等が実装されるメイン基板に接続される。或いは、インターフェース機構２５を構成するコネクター及びインターフェース回路が、制御部２１のメイン基板に実装される。
【0021】
操作機構２６は、ユーザーからの操作を受け付け、操作信号を生成し、操作信号を制御部２１に出力する。操作機構２６は、例えば、キーボードと、マウスとを備える。
【0022】
制御部２１は、プロセッサー２１Ａ及びメモリー２１Ｂを備え、パーソナルコンピューター２０の各部を制御する。
メモリー２１Ｂは、プロセッサー２１Ａが実行するプログラムやデータを不揮発的に記憶する記憶装置である。メモリー２１Ｂは、磁気的記憶装置、フラッシュＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の半導体記憶素子、或いはその他の種類の不揮発性記憶装置により構成される。
また、メモリー２１Ｂは、プロセッサー２１Ａのワークエリアを構成するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）を含んでもよい。メモリー２１Ｂは、制御部２１により処理されるデータや、プロセッサー２１Ａが実行する制御プログラムＰＧＭを記憶する。
メモリー２１Ｂは、プロセッサー２１Ａが実行するプログラムやデータを不揮発的に記憶する記憶装置である。メモリー２１Ｂは、磁気的記憶装置、フラッシュＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の半導体記憶素子、或いはその他の種類の不揮発性記憶装置により構成される。
また、メモリー２１Ｂは、プロセッサー２１Ａのワークエリアを構成するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）を含んでもよい。メモリー２１Ｂは、制御部２１により処理されるデータや、プロセッサー２１Ａが実行する制御プログラムＰＧＭを記憶する。
【0023】
プロセッサー２１Ａは、単一のプロセッサーで構成されてもよいし、複数のプロセッサーがプロセッサー２１Ａとして機能する構成であってもよい。プロセッサー２１Ａは、制御プログラムを実行してパーソナルコンピューター２０の各部を制御する。
【0024】
制御部２１は、座標取得部２１１と、平面算出部２１２と、形状決定部２１３と、比率判定部２１４と、報知部２１５と、位置特定部２１６と、第１取得部２２１と、第２取得部２２２と、第１検出部２２３と、第３取得部２２４と、第２検出部２２５と、を備える。具体的には、制御部２１のプロセッサー２１Ａが、メモリー２１Ｂに記憶された制御プログラムＰＧＭを実行することによって、座標取得部２１１、平面算出部２１２、形状決定部２１３、比率判定部２１４、報知部２１５、位置特定部２１６、第１取得部２２１、第２取得部２２２、第１検出部２２３、第３取得部２２４、及び第２検出部２２５、として機能する。
【0025】
以下、図３と、図４～図７とを参照して、制御部２１の構成について説明する。
図４は、第１領域ＡＲ１の三次元形状の検出方法の一例を示す図である。
図４に示すように、第１領域ＡＲ１は、第１領域ＡＲ１よりも狭い第２領域ＡＲ２を含む。第２領域ＡＲ２は、赤外線を反射する反射体ＲＦがユーザーによって設置された領域である。
図４は、第１領域ＡＲ１の三次元形状の検出方法の一例を示す図である。
図４に示すように、第１領域ＡＲ１は、第１領域ＡＲ１よりも狭い第２領域ＡＲ２を含む。第２領域ＡＲ２は、赤外線を反射する反射体ＲＦがユーザーによって設置された領域である。
【0026】
反射体ＲＦは、赤外線を反射する物体であって、例えば、白い布である。
本実施形態では、反射体ＲＦが白い布である場合について説明するが、これに限定されない。反射体ＲＦは、赤外光を反射する物体であればよい。反射体ＲＦは、例えば、薄板状の物体の表面に赤外光を反射する塗料が塗布されていてもよい。
本実施形態では、反射体ＲＦが白い布である場合について説明するが、これに限定されない。反射体ＲＦは、赤外光を反射する物体であればよい。反射体ＲＦは、例えば、薄板状の物体の表面に赤外光を反射する塗料が塗布されていてもよい。
【0027】
また、第２領域ＡＲ２には、第２領域ＡＲ２を特定するマーカーＭＫが配置される。マーカーＭＫは、例えば、特定の色で形成される。マーカーＭＫは、例えば、赤色で形成される。
位置特定部２１６は、ＲＧＢカメラ１２からＲＧＢ画像ＣＰを取得し、ＲＧＢ画像ＣＰにおいて、第２領域ＡＲ２に対応する位置を特定する。位置特定部２１６は、ＲＧＢ画像ＣＰにおいて、赤色のマーカーＭＫを検出することによって、第２領域ＡＲ２に対応する位置を特定する。
ＲＧＢ画像ＣＰは、「撮像画像」の一例に対応する。
位置特定部２１６は、ＲＧＢカメラ１２からＲＧＢ画像ＣＰを取得し、ＲＧＢ画像ＣＰにおいて、第２領域ＡＲ２に対応する位置を特定する。位置特定部２１６は、ＲＧＢ画像ＣＰにおいて、赤色のマーカーＭＫを検出することによって、第２領域ＡＲ２に対応する位置を特定する。
ＲＧＢ画像ＣＰは、「撮像画像」の一例に対応する。
【0028】
なお、位置特定部２１６は、デプス画像ＤＰにおいて、第２領域ＡＲ２に対応する測定値を指定する操作を、操作機構２６を介して受け付けることによって、第２領域ＡＲ２に対応する位置を特定してもよい。例えば、位置特定部２１６は、ユーザーによる第２領域ＡＲ２の四隅に対応するデプス画像ＤＰの位置を指定する操作に基づいて、デプス画像ＤＰにおいて、第２領域ＡＲ２に対応する位置を特定してもよい。
なお、デプス画像ＤＰにおいて、ユーザーが第２領域ＡＲ２に対応する測定値を指定する操作を、位置特定部２１６が、操作機構２６を介して受け付ける場合には、第２領域ＡＲ２に、第２領域ＡＲ２を特定するマーカーＭＫは配置されなくても良い。
デプス画像ＤＰは、「測距センサーによる第１領域の測定値」の一例に対応する。
なお、デプス画像ＤＰにおいて、ユーザーが第２領域ＡＲ２に対応する測定値を指定する操作を、位置特定部２１６が、操作機構２６を介して受け付ける場合には、第２領域ＡＲ２に、第２領域ＡＲ２を特定するマーカーＭＫは配置されなくても良い。
デプス画像ＤＰは、「測距センサーによる第１領域の測定値」の一例に対応する。
【0029】
本実施形態では、第２領域ＡＲ２は、矩形状に形成され、マーカーＭＫは、第１マーカーＭＫ１、第２マーカーＭＫ２、第３マーカーＭＫ３、及び第４マーカーＭＫ４で構成される。第１マーカーＭＫ１～第４マーカーＭＫ４の各々は、第２領域ＡＲ２の四隅に配置される。
【0030】
図４に示すように、第１領域ＡＲ１のＸ軸方向の長さを示す第１長さＬ１は、第２領域ＡＲ２のＸ軸方向の長さを示す第２長さＬ２よりも長い。また、第１領域ＡＲ１のＹ軸方向の幅を示す第１幅Ｗ１は、第２領域ＡＲ２のＹ軸方向の幅を示す第２幅Ｗ２よりも長い。
【0031】
座標取得部２１１は、デプス画像ＤＰに基づき、第２領域ＡＲ２の２点の三次元座標値を取得する。
本実施形態では、例えば、第１マーカーＭＫ１が配置された第２領域ＡＲ２の隅部である第１隅部ＣＮ１と、第２マーカーＭＫ２が配置された第２領域ＡＲ２の隅部である第２隅部ＣＮ２との三次元座標値を取得する。
デプス画像ＤＰは、「測距センサーの測定値」の一例に対応する。
本実施形態では、例えば、第１マーカーＭＫ１が配置された第２領域ＡＲ２の隅部である第１隅部ＣＮ１と、第２マーカーＭＫ２が配置された第２領域ＡＲ２の隅部である第２隅部ＣＮ２との三次元座標値を取得する。
デプス画像ＤＰは、「測距センサーの測定値」の一例に対応する。
【0032】
本実施形態では、マーカーＭＫが第２領域ＡＲ２の四隅に配置される場合について説明するが、これに限定されない。マーカーＭＫは、ＲＧＢ画像ＣＰにおいて、第２領域ＡＲ２を特定可能に配置されればよい。例えば、マーカーＭＫが、第２領域ＡＲ２の中央に配置されてもよい。
【0033】
平面算出部２１２は、第２領域ＡＲ２の２点の三次元座標値に基づき、第２領域ＡＲ２を含む平面ＰＬの位置を算出する。
平面ＰＬは、次の式（１）で規定される。
Ｚ＝（（Ｚ２－Ｚ１）／（Ｙ２－Ｙ１））×Ｙ （１）
ここで、（Ｘ１，Ｙ１，Ｚ１）が、第１隅部ＣＮ１の（Ｘ，Ｙ，Ｚ）座標値を示し、（Ｘ２，Ｙ２，Ｚ２）が、第２隅部ＣＮ２の（Ｘ，Ｙ，Ｚ）座標値を示す。
デプスカメラ１１のＸｄ軸がＸ軸と平行であり、デプスカメラ１１のＹｄ軸がＹ軸と平行である場合に、式（１）で規定される平面ＰＬは第２領域ＡＲ２を含む平面と一致する。換言すれば、デプスカメラ１１が中心線ＬＣ１に対して適正な回転角度に配置されている場合に、平面ＰＬは式（１）で規定される。
平面ＰＬは、次の式（１）で規定される。
Ｚ＝（（Ｚ２－Ｚ１）／（Ｙ２－Ｙ１））×Ｙ （１）
ここで、（Ｘ１，Ｙ１，Ｚ１）が、第１隅部ＣＮ１の（Ｘ，Ｙ，Ｚ）座標値を示し、（Ｘ２，Ｙ２，Ｚ２）が、第２隅部ＣＮ２の（Ｘ，Ｙ，Ｚ）座標値を示す。
デプスカメラ１１のＸｄ軸がＸ軸と平行であり、デプスカメラ１１のＹｄ軸がＹ軸と平行である場合に、式（１）で規定される平面ＰＬは第２領域ＡＲ２を含む平面と一致する。換言すれば、デプスカメラ１１が中心線ＬＣ１に対して適正な回転角度に配置されている場合に、平面ＰＬは式（１）で規定される。
【0034】
形状決定部２１３は、平面ＰＬの位置を、第１領域ＡＲ１の三次元形状として決定する。
なお、本実施形態では、第２領域ＡＲ２の２点の三次元座標値に基づき、第２領域ＡＲ２を含む平面ＰＬの位置を算出する場合について説明するが、これに限定されない。平面算出部２１２は、第２領域ＡＲ２の少なくとも２点の三次元座標値に基づき、第２領域ＡＲ２を含む平面ＰＬの位置を算出すればよい。
例えば、平面算出部２１２は、第２領域ＡＲ２の３点の三次元座標値に基づき、第２領域ＡＲ２を含む平面ＰＬの位置を算出してもよい。
この場合には、平面ＰＬは、次の式（２）で規定される。
ここで、（Ｘ３，Ｙ３，Ｚ３）が、第３隅部ＣＮ３の（Ｘ，Ｙ，Ｚ）座標値を示す。
本実施形態では、（Ｘ１，Ｙ１，Ｚ１）、（Ｘ２，Ｙ２，Ｚ２）及び（Ｘ３，Ｙ３，Ｚ３）の各々が、第１隅部ＣＮ１、第２隅部ＣＮ２、及び第３隅部ＣＮ３の（Ｘ，Ｙ，Ｚ）座標値を示す場合について説明したが、これに限定されない。
式（１）で平面ＰＬを規定する場合には、（Ｘ１，Ｙ１，Ｚ１）及び（Ｘ２，Ｙ２，Ｚ２）は、第２領域ＡＲ２内に存在し、（Ｘ，Ｙ，Ｚ）座標値がそれぞれ異なる任意の２点の（Ｘ，Ｙ，Ｚ）座標値を用いれば良い。
式（２）で平面ＰＬを規定する場合には、（Ｘ１，Ｙ１，Ｚ１）、（Ｘ２，Ｙ２，Ｚ２）及び（Ｘ３，Ｙ３，Ｚ３）は、第２領域ＡＲ２内に存在し、（Ｘ，Ｙ，Ｚ）座標値がそれぞれ異なる任意の３点の（Ｘ，Ｙ，Ｚ）座標値を用いれば良い。
なお、本実施形態では、第２領域ＡＲ２の２点の三次元座標値に基づき、第２領域ＡＲ２を含む平面ＰＬの位置を算出する場合について説明するが、これに限定されない。平面算出部２１２は、第２領域ＡＲ２の少なくとも２点の三次元座標値に基づき、第２領域ＡＲ２を含む平面ＰＬの位置を算出すればよい。
例えば、平面算出部２１２は、第２領域ＡＲ２の３点の三次元座標値に基づき、第２領域ＡＲ２を含む平面ＰＬの位置を算出してもよい。
この場合には、平面ＰＬは、次の式（２）で規定される。
【数1】
本実施形態では、（Ｘ１，Ｙ１，Ｚ１）、（Ｘ２，Ｙ２，Ｚ２）及び（Ｘ３，Ｙ３，Ｚ３）の各々が、第１隅部ＣＮ１、第２隅部ＣＮ２、及び第３隅部ＣＮ３の（Ｘ，Ｙ，Ｚ）座標値を示す場合について説明したが、これに限定されない。
式（１）で平面ＰＬを規定する場合には、（Ｘ１，Ｙ１，Ｚ１）及び（Ｘ２，Ｙ２，Ｚ２）は、第２領域ＡＲ２内に存在し、（Ｘ，Ｙ，Ｚ）座標値がそれぞれ異なる任意の２点の（Ｘ，Ｙ，Ｚ）座標値を用いれば良い。
式（２）で平面ＰＬを規定する場合には、（Ｘ１，Ｙ１，Ｚ１）、（Ｘ２，Ｙ２，Ｚ２）及び（Ｘ３，Ｙ３，Ｚ３）は、第２領域ＡＲ２内に存在し、（Ｘ，Ｙ，Ｚ）座標値がそれぞれ異なる任意の３点の（Ｘ，Ｙ，Ｚ）座標値を用いれば良い。
【0035】
また、例えば、平面算出部２１２は、第２領域ＡＲ２の４点以上の三次元座標値に基づき、第２領域ＡＲ２を含む平面ＰＬの位置を算出してもよい。この場合には、最小二乗法等によって、平面ＰＬの位置を算出できる。
【0036】
このように、形状決定部２１３は、平面ＰＬの位置を、第１領域ＡＲ１の三次元形状として決定するため、簡素な処理で、正確な第１領域ＡＲ１の三次元形状を決定できる。
【0037】
また、平面算出部２１２は、第２領域ＡＲ２の２点の三次元座標値に基づき、第２領域ＡＲ２を含む平面ＰＬの位置を算出するため。平面ＰＬの位置を、簡素な処理で算出できる。
【0038】
比率判定部２１４は、第１領域ＡＲ１のサイズに対する第２領域ＡＲ２のサイズの比率ＲＴが閾値ＴＨ以下であるか否かを判定する。
【0039】
例えば、平面算出部２１２が、第２領域ＡＲ２の第１隅部ＣＮ１及び第２隅部ＣＮ２の三次元座標値に基づき、第２領域ＡＲ２を含む平面ＰＬの位置を算出する場合には、第１領域ＡＲ１のサイズは、例えば、第１長さＬ１であり、第２領域ＡＲ２のサイズは、例えば、第２長さＬ２である。第１長さＬ１は、第１領域ＡＲ１のＸ軸方向の長さである。第２長さＬ２は、第２領域ＡＲ２のＸ軸方向の長さである。
この場合には、比率ＲＴは、次の式（３）で求められる。
ＲＴ＝Ｌ２／Ｌ１ （３）
この場合には、閾値ＴＨは、例えば、０．２である。
この場合には、比率ＲＴは、次の式（３）で求められる。
ＲＴ＝Ｌ２／Ｌ１ （３）
この場合には、閾値ＴＨは、例えば、０．２である。
【0040】
また、例えば、平面算出部２１２が、第２領域ＡＲ２の第１隅部ＣＮ１、第２隅部ＣＮ２、及び第３隅部ＣＮ３の三次元座標値に基づき、第２領域ＡＲ２を含む平面ＰＬの位置を算出する場合には、第１領域ＡＲ１のサイズは、例えば、第１面積Ｓ１であり、第２領域ＡＲ２のサイズは、例えば、第２面積Ｓ２である。第１面積Ｓ１は、第１領域ＡＲ１の面積である。第２面積Ｓ２は、第２領域ＡＲ２の面積である。
この場合には、比率ＲＴは、次の式（４）で求められる。
ＲＴ＝Ｓ２／Ｓ１＝（Ｌ２×Ｗ２）／（Ｌ１×Ｗ１） （４）
この場合には、閾値ＴＨは、例えば、０．１４である。
この場合には、比率ＲＴは、次の式（４）で求められる。
ＲＴ＝Ｓ２／Ｓ１＝（Ｌ２×Ｗ２）／（Ｌ１×Ｗ１） （４）
この場合には、閾値ＴＨは、例えば、０．１４である。
【0041】
報知部２１５は、比率ＲＴが閾値ＴＨ以下であると比率判定部２１４が判定した場合には、反射体ＲＦの設置をユーザーに促す報知をする。換言すれば、報知部２１５は、比率ＲＴが閾値ＴＨ以下であると比率判定部２１４が判定した場合には、第２領域ＡＲ２のサイズを大きくするようにユーザーに促す報知をする。
【0042】
また、報知部２１５は、比率ＲＴが閾値ＴＨ以下であると比率判定部２１４が判定した場合には、第１領域ＡＲ１の三次元形状の検出精度が低い可能性があることをユーザーに報知する。
【0043】
報知部２１５によるユーザーへの報知は、例えば、表示パネル２３１への表示、音声出力機構２４からの音声出力、及び、プロジェクター３０による投写画像の表示、の少なくとも１つで行われる。
【0044】
第１取得部２２１は、平面ＰＬの位置に基づき、第１領域ＡＲ１の三次元形状を示す第１距離情報ＪＬ１を取得する。第１距離情報ＪＬ１は、平面ＰＬの位置を示す第１デプス画像ＤＰ１に対応する。例えば、第１取得部２２１は、形状決定部２１３が決定した第１領域ＡＲ１の三次元形状を示すデプス画像ＤＰを、第１デプス画像ＤＰ１として生成する。
第１デプス画像ＤＰ１については、図７を参照して更に説明する。
第１デプス画像ＤＰ１については、図７を参照して更に説明する。
【0045】
図５は、第１物体ＢＪ１を含む三次元形状の検出方法の一例を示す図である。
図５は、図４と比較して、第１物体ＢＪ１が床面ＦＬに配置されている点で相違する。本実施形態では、第１物体ＢＪ１は、直方体ＢＪ１１と、壁ＢＪ１２と、を含む。
直方体ＢＪ１１は、床面ＦＬ上に載置される。壁ＢＪ１２は、床面ＦＬに固定されて、鉛直方向と平行な方向に立設される。
図５は、図４と比較して、第１物体ＢＪ１が床面ＦＬに配置されている点で相違する。本実施形態では、第１物体ＢＪ１は、直方体ＢＪ１１と、壁ＢＪ１２と、を含む。
直方体ＢＪ１１は、床面ＦＬ上に載置される。壁ＢＪ１２は、床面ＦＬに固定されて、鉛直方向と平行な方向に立設される。
【0046】
第２取得部２２２は、第１取得部２２１が第１距離情報ＪＬ１を取得した後に、デプスカメラ１１によって生成されるデプス画像ＤＰに基づき、第１領域ＡＲ１内の三次元形状を示す第２距離情報ＪＬ２を取得する。
デプス画像ＤＰは、「測距センサーの測定値」の一例に対応する。
第２距離情報ＪＬ２は、図５に示すように、第１物体ＢＪ１が床面ＦＬに配置されている状態で、デプスカメラ１１によって生成される第２デプス画像ＤＰ２に対応する。
第２デプス画像ＤＰ２については、図７を参照して更に説明する。
デプス画像ＤＰは、「測距センサーの測定値」の一例に対応する。
第２距離情報ＪＬ２は、図５に示すように、第１物体ＢＪ１が床面ＦＬに配置されている状態で、デプスカメラ１１によって生成される第２デプス画像ＤＰ２に対応する。
第２デプス画像ＤＰ２については、図７を参照して更に説明する。
【0047】
第１検出部２２３は、第１距離情報ＪＬ１と第２距離情報ＪＬ２とに基づき、第１領域ＡＲ１内の第１物体ＢＪ１を検出する。
具体的には、第１検出部２２３は、第１デプス画像ＤＰ１と第２デプス画像ＤＰ２とに基づき、第１領域ＡＲ１内の第１物体ＢＪ１を検出する。
第１検出部２２３の処理については、図７を参照して更に説明する。
具体的には、第１検出部２２３は、第１デプス画像ＤＰ１と第２デプス画像ＤＰ２とに基づき、第１領域ＡＲ１内の第１物体ＢＪ１を検出する。
第１検出部２２３の処理については、図７を参照して更に説明する。
【0048】
図６は、第１物体ＢＪ１及び第２物体ＢＪ２を含む三次元形状の検出方法の一例を示す図である。
図６は、図５と比較して、第２物体ＢＪ２が床面ＦＬに配置されている点で相違する。本実施形態では、第２物体ＢＪ２は、第１領域ＡＲ１に進入した人に対応する。
図６は、図５と比較して、第２物体ＢＪ２が床面ＦＬに配置されている点で相違する。本実施形態では、第２物体ＢＪ２は、第１領域ＡＲ１に進入した人に対応する。
【0049】
第３取得部２２４は、第２距離情報ＪＬ２を取得した後に、デプスカメラ１１によって生成されるデプス画像ＤＰに基づき、第１領域内の三次元形状を示す第３距離情報ＪＬ３を取得する。
デプス画像ＤＰは、「測距センサーの測定値」の一例に対応する。
第３距離情報ＪＬ３は、図６に示すように、第１物体ＢＪ１及び第２物体ＢＪ２が床面ＦＬに配置されている状態で、デプスカメラ１１によって生成される第３デプス画像ＤＰ３に対応する。
第３デプス画像ＤＰ３については、図７を参照して更に説明する。
デプス画像ＤＰは、「測距センサーの測定値」の一例に対応する。
第３距離情報ＪＬ３は、図６に示すように、第１物体ＢＪ１及び第２物体ＢＪ２が床面ＦＬに配置されている状態で、デプスカメラ１１によって生成される第３デプス画像ＤＰ３に対応する。
第３デプス画像ＤＰ３については、図７を参照して更に説明する。
【0050】
第２検出部２２５は、第２距離情報ＪＬ２と第３距離情報ＪＬ３とに基づき、第１領域ＡＲ１内の第２物体ＢＪ２を検出する。
第２検出部２２５の処理については、図７を参照して更に説明する。
報知部２１５は、第２検出部２２５が第２物体ＢＪ２を検出した場合には、第２物体ＢＪ２を検出したことをユーザーに報知する。また、報知部２１５は、第２検出部２２５が第２物体ＢＪ２を検出していない場合には、第２物体ＢＪ２を検出していないことをユーザーに報知する。
第２検出部２２５の処理については、図７を参照して更に説明する。
報知部２１５は、第２検出部２２５が第２物体ＢＪ２を検出した場合には、第２物体ＢＪ２を検出したことをユーザーに報知する。また、報知部２１５は、第２検出部２２５が第２物体ＢＪ２を検出していない場合には、第２物体ＢＪ２を検出していないことをユーザーに報知する。
【0051】
図７は、第１物体ＢＪ１及び第２物体ＢＪ２の検出方法の一例を示す図である。
図７には、上から下に向けて、第１デプス画像ＤＰ１、第２デプス画像ＤＰ２、及び第３デプス画像ＤＰ３を示している。
また、図７には、第１デプス画像ＤＰ１、第２デプス画像ＤＰ２、及び第３デプス画像ＤＰ３の各々に対応付けて、デプス値（Ｚ座標）とデプス画像ＤＰ中の画素の輝度Ｂとの関係を示すスケール画像ＣＤを記載している。デプス値（Ｚ座標）は、デプスカメラ１１からの距離を示す。
図７には、上から下に向けて、第１デプス画像ＤＰ１、第２デプス画像ＤＰ２、及び第３デプス画像ＤＰ３を示している。
また、図７には、第１デプス画像ＤＰ１、第２デプス画像ＤＰ２、及び第３デプス画像ＤＰ３の各々に対応付けて、デプス値（Ｚ座標）とデプス画像ＤＰ中の画素の輝度Ｂとの関係を示すスケール画像ＣＤを記載している。デプス値（Ｚ座標）は、デプスカメラ１１からの距離を示す。
【0052】
スケール画像ＣＤに示すように、デプスカメラ１１からの距離が遠い程、デプス画像ＤＰ中の画素の輝度Ｂが高くなる。換言すれば、デプスカメラ１１からの距離が近い程、デプス画像ＤＰ中の画像の濃度が濃くなる。
第１デプス画像ＤＰ１には、デプスカメラ１１から床面ＦＬまでの距離に対応する第１輝度値Ｂ１の床面画像ＤＰ１１が表示される。
第１デプス画像ＤＰ１には、デプスカメラ１１から床面ＦＬまでの距離に対応する第１輝度値Ｂ１の床面画像ＤＰ１１が表示される。
【0053】
第２デプス画像ＤＰ２には、第１輝度値Ｂ１の画像に加えて、第１物体ＢＪ１に対応する第１画像ＤＰ２１、及び第２画像ＤＰ２２が表示される。
第１画像ＤＰ２１は、直方体ＢＪ１１に対応する画像であって、第１輝度値Ｂ１より低い第２輝度値Ｂ２で表示される。
第２画像ＤＰ２２は、壁ＢＪ１２に対応する画像であって、第１輝度値Ｂ１より低い第３輝度値Ｂ３で表示される。
直方体ＢＪ１１は、壁ＢＪ１２よりもデプスカメラ１１に近いため、第２輝度値Ｂ２は、第３輝度値Ｂ３よりも低い。
第１画像ＤＰ２１は、直方体ＢＪ１１に対応する画像であって、第１輝度値Ｂ１より低い第２輝度値Ｂ２で表示される。
第２画像ＤＰ２２は、壁ＢＪ１２に対応する画像であって、第１輝度値Ｂ１より低い第３輝度値Ｂ３で表示される。
直方体ＢＪ１１は、壁ＢＪ１２よりもデプスカメラ１１に近いため、第２輝度値Ｂ２は、第３輝度値Ｂ３よりも低い。
【0054】
第１検出部２２３は、第１デプス画像ＤＰ１と第２デプス画像ＤＰ２とに基づき、第１領域ＡＲ１内の第１物体ＢＪ１を検出する。換言すれば、第１検出部２２３は、第２デプス画像ＤＰ２に含まれる画像のうち、床面画像ＤＰ１１の第１輝度値Ｂ１と相違する輝度値の画像を抽出することによって、第１物体ＢＪ１を検出する。例えば、第１検出部２２３は、第２デプス画像ＤＰ２に含まれる画像のうち、床面画像ＤＰ１１の第１輝度値Ｂ１より低い輝度値の画像を抽出することによって、第１物体ＢＪ１を検出する。
【0055】
このようにして、第１検出部２２３は、直方体ＢＪ１１に対応する第１画像ＤＰ２１と、壁ＢＪ１２に対応する第２画像ＤＰ２２を検出できる。
【0056】
第３デプス画像ＤＰ３には、床面画像ＤＰ１１、第１画像ＤＰ２１、及び第２画像ＤＰ２２に加えて、第３画像ＤＰ３１が表示される。
第３画像ＤＰ３１は、人体を示す第２物体ＢＪ２に対応する画像であって、第４輝度値Ｂ４で表示される。第２物体ＢＪ２は、第１物体ＢＪ１よりもデプスカメラ１１に近いため、第４輝度値Ｂ４は、第３輝度値Ｂ３よりも低い。
第３画像ＤＰ３１は、人体を示す第２物体ＢＪ２に対応する画像であって、第４輝度値Ｂ４で表示される。第２物体ＢＪ２は、第１物体ＢＪ１よりもデプスカメラ１１に近いため、第４輝度値Ｂ４は、第３輝度値Ｂ３よりも低い。
【0057】
第２検出部２２５は、第２デプス画像ＤＰ２と第３デプス画像ＤＰ３とに基づき、第１領域ＡＲ１内の第２物体ＢＪ２を検出する。換言すれば、第２検出部２２５は、第３デプス画像ＤＰ３に含まれる画像のうち、床面画像ＤＰ１１の第１輝度値Ｂ１、第１物体ＢＪ１に対応する第１画像ＤＰ２１の第２輝度値Ｂ２、及び第２画像ＤＰ２２の第３輝度値Ｂ３、と相違する輝度値の画像を抽出することによって、第２物体ＢＪ２を検出する。例えば、第２検出部２２５は、第３デプス画像ＤＰ３に含まれる画像のうち、第２画像ＤＰ２２の第３輝度値Ｂ３より低い輝度値の画像を抽出することによって、第２物体ＢＪ２を検出する。
【0058】
このようにして、第２検出部２２５は、第２物体ＢＪ２に対応する第３画像ＤＰ３１を検出できる。
【0059】
第２検出部２２５が第２物体ＢＪ２を検出した場合に、報知部２１５は、第２物体ＢＪ２を検出したことをユーザーに報知する。報知部２１５は、例えば、プロジェクター３０に、第２物体ＢＪ２を検出したことを示す投写画像を床面ＦＬに表示させることによって、第２物体ＢＪ２を検出したことをユーザーに報知する。
また、第２検出部２２５が第２物体ＢＪ２を検出していない場合に、報知部２１５は、第２物体ＢＪ２を検出していないことをユーザーに報知する。報知部２１５は、例えば、プロジェクター３０に、第２物体ＢＪ２を検出していないことを示す投写画像を床面ＦＬに表示させることによって、第２物体ＢＪ２を検出していないことをユーザーに報知する。
また、第２検出部２２５が第２物体ＢＪ２を検出していない場合に、報知部２１５は、第２物体ＢＪ２を検出していないことをユーザーに報知する。報知部２１５は、例えば、プロジェクター３０に、第２物体ＢＪ２を検出していないことを示す投写画像を床面ＦＬに表示させることによって、第２物体ＢＪ２を検出していないことをユーザーに報知する。
【0060】
図８及び図９は、パーソナルコンピューター２０の処理の一例を示すフローチャートである。
まず、図８に示すように、ステップＳ１０１において、ユーザーが第２領域ＡＲ２に反射体ＲＦ、及びマーカーＭＫを配置する。
次に、ステップＳ１０３において、位置特定部２１６は、ＲＧＢカメラ１２からＲＧＢ画像ＣＰを取得する。
次に、ステップＳ１０５において、位置特定部２１６は、ＲＧＢ画像ＣＰにおいて、第２領域ＡＲ２に対応する位置を特定する。
次に、ステップＳ１０７において、比率判定部２１４は、第１長さＬ１を算出する。第１長さＬ１は、第１領域ＡＲ１のＸ軸方向の長さを示す。
次に、ステップＳ１０９において、比率判定部２１４は、第２長さＬ２を算出する。第２長さＬ２は、第２領域ＡＲ２のＸ軸方向の長さを示す。
次に、ステップＳ１１１において、比率判定部２１４は、比率ＲＴを算出する。
まず、図８に示すように、ステップＳ１０１において、ユーザーが第２領域ＡＲ２に反射体ＲＦ、及びマーカーＭＫを配置する。
次に、ステップＳ１０３において、位置特定部２１６は、ＲＧＢカメラ１２からＲＧＢ画像ＣＰを取得する。
次に、ステップＳ１０５において、位置特定部２１６は、ＲＧＢ画像ＣＰにおいて、第２領域ＡＲ２に対応する位置を特定する。
次に、ステップＳ１０７において、比率判定部２１４は、第１長さＬ１を算出する。第１長さＬ１は、第１領域ＡＲ１のＸ軸方向の長さを示す。
次に、ステップＳ１０９において、比率判定部２１４は、第２長さＬ２を算出する。第２長さＬ２は、第２領域ＡＲ２のＸ軸方向の長さを示す。
次に、ステップＳ１１１において、比率判定部２１４は、比率ＲＴを算出する。
【0061】
次に、ステップＳ１１３において、比率判定部２１４は、比率ＲＴが閾値ＴＨ以下であるか否かを判定する。
比率ＲＴが閾値ＴＨ以下であると比率判定部２１４が判定した場合、すなわち、ステップＳ１１３でＹＥＳの場合には、処理がステップＳ１１５へ進む。
そして、ステップＳ１１５で、報知部２１５は、反射体ＲＦの設置をユーザーに促す報知をする。その後、処理がステップＳ１０１に戻る。
比率ＲＴが閾値ＴＨ以下ではないと比率判定部２１４が判定した場合、すなわち、ステップＳ１１３でＮＯの場合には、処理が図９に示すステップＳ１１７へ進む。
比率ＲＴが閾値ＴＨ以下であると比率判定部２１４が判定した場合、すなわち、ステップＳ１１３でＹＥＳの場合には、処理がステップＳ１１５へ進む。
そして、ステップＳ１１５で、報知部２１５は、反射体ＲＦの設置をユーザーに促す報知をする。その後、処理がステップＳ１０１に戻る。
比率ＲＴが閾値ＴＨ以下ではないと比率判定部２１４が判定した場合、すなわち、ステップＳ１１３でＮＯの場合には、処理が図９に示すステップＳ１１７へ進む。
【0062】
そして、図９に示すように、ステップＳ１１７において、座標取得部２１１は、デプス画像ＤＰに基づき、第２領域ＡＲ２の２点の三次元座標値を取得する。
次に、ステップＳ１１９において、平面算出部２１２は、第２領域ＡＲ２の２点の三次元座標値に基づき、第２領域ＡＲ２を含む平面ＰＬの位置を算出する。
次に、ステップＳ１２１において、形状決定部２１３は、平面ＰＬの位置を、第１領域ＡＲ１の三次元形状として決定する。
次に、ステップＳ１１９において、平面算出部２１２は、第２領域ＡＲ２の２点の三次元座標値に基づき、第２領域ＡＲ２を含む平面ＰＬの位置を算出する。
次に、ステップＳ１２１において、形状決定部２１３は、平面ＰＬの位置を、第１領域ＡＲ１の三次元形状として決定する。
【0063】
次に、ステップＳ１２３において、第１取得部２２１は、平面ＰＬの位置に基づき、第１領域ＡＲ１の三次元形状を示す第１距離情報ＪＬ１を取得する。
次に、ステップＳ１２５において、第２取得部２２２は、デプス画像ＤＰに基づき、第１領域ＡＲ１内の三次元形状を示す第２距離情報ＪＬ２を取得する。第２距離情報ＪＬ２は、第１物体ＢＪ１が床面ＦＬに配置されている状態で、デプスカメラ１１によって生成される第２デプス画像ＤＰ２に対応する。
次に、ステップＳ１２７において、第１検出部２２３は、第１距離情報ＪＬ１と第２距離情報ＪＬ２とに基づき、第１領域ＡＲ１内の第１物体ＢＪ１を検出する。具体的には、第１検出部２２３は、第１デプス画像ＤＰ１と第２デプス画像ＤＰ２とに基づき、第１領域ＡＲ１内の第１物体ＢＪ１を検出する。
次に、ステップＳ１２５において、第２取得部２２２は、デプス画像ＤＰに基づき、第１領域ＡＲ１内の三次元形状を示す第２距離情報ＪＬ２を取得する。第２距離情報ＪＬ２は、第１物体ＢＪ１が床面ＦＬに配置されている状態で、デプスカメラ１１によって生成される第２デプス画像ＤＰ２に対応する。
次に、ステップＳ１２７において、第１検出部２２３は、第１距離情報ＪＬ１と第２距離情報ＪＬ２とに基づき、第１領域ＡＲ１内の第１物体ＢＪ１を検出する。具体的には、第１検出部２２３は、第１デプス画像ＤＰ１と第２デプス画像ＤＰ２とに基づき、第１領域ＡＲ１内の第１物体ＢＪ１を検出する。
【0064】
次に、ステップＳ１２９において、第３取得部２２４は、デプス画像ＤＰに基づき、第１領域内の三次元形状を示す第３距離情報ＪＬ３を取得する。第３距離情報ＪＬ３は、第１物体ＢＪ１及び第２物体ＢＪ２が床面ＦＬに配置されている状態で、デプスカメラ１１によって生成される第３デプス画像ＤＰ３に対応する。
次に、ステップＳ１３１において、第２検出部２２５は、第２距離情報ＪＬ２と第３距離情報ＪＬ３とに基づき、第１領域ＡＲ１内の第２物体ＢＪ２を検出したか否かを判定する。
第２物体ＢＪ２を検出していないと第２検出部２２５が判定した場合、すなわち、ステップＳ１３１でＮＯの場合には、処理がステップＳ１３５へ進む。
そして、ステップＳ１３５において、報知部２１５は、第２物体ＢＪ２を検出していないことをユーザーに報知する。報知部２１５は、例えば、プロジェクター３０に、第２物体ＢＪ２を検出していないことを示す投写画像を床面ＦＬに表示させることによって、第２物体ＢＪ２を検出していないことをユーザーに報知する。その後、処理がステップＳ１３９へ進む。
第２物体ＢＪ２を検出したと第２検出部２２５が判定した場合、すなわち、ステップＳ１３１でＹＥＳの場合には、処理がステップＳ１３７へ進む。
そして、ステップＳ１３７において、報知部２１５は、第２物体ＢＪ２を検出したことをユーザーに報知する。報知部２１５は、例えば、プロジェクター３０に、第２物体ＢＪ２を検出したことを示す投写画像を床面ＦＬに表示させることによって、第２物体ＢＪ２を検出したことをユーザーに報知する。その後、処理がステップＳ１３９へ進む。
次に、ステップＳ１３１において、第２検出部２２５は、第２距離情報ＪＬ２と第３距離情報ＪＬ３とに基づき、第１領域ＡＲ１内の第２物体ＢＪ２を検出したか否かを判定する。
第２物体ＢＪ２を検出していないと第２検出部２２５が判定した場合、すなわち、ステップＳ１３１でＮＯの場合には、処理がステップＳ１３５へ進む。
そして、ステップＳ１３５において、報知部２１５は、第２物体ＢＪ２を検出していないことをユーザーに報知する。報知部２１５は、例えば、プロジェクター３０に、第２物体ＢＪ２を検出していないことを示す投写画像を床面ＦＬに表示させることによって、第２物体ＢＪ２を検出していないことをユーザーに報知する。その後、処理がステップＳ１３９へ進む。
第２物体ＢＪ２を検出したと第２検出部２２５が判定した場合、すなわち、ステップＳ１３１でＹＥＳの場合には、処理がステップＳ１３７へ進む。
そして、ステップＳ１３７において、報知部２１５は、第２物体ＢＪ２を検出したことをユーザーに報知する。報知部２１５は、例えば、プロジェクター３０に、第２物体ＢＪ２を検出したことを示す投写画像を床面ＦＬに表示させることによって、第２物体ＢＪ２を検出したことをユーザーに報知する。その後、処理がステップＳ１３９へ進む。
【0065】
次に、ステップＳ１３９において、制御部２１は、第２物体ＢＪ２の検出を終了するか否かを判定する。制御部２１は、例えば、ユーザーからの操作を受け付け、受け付けた操作に基づいて、第２物体ＢＪ２の検出を終了するか否かを判定する。
第２物体ＢＪ２の検出を終了しないと制御部２１が判定した場合、すなわち、ステップＳ１３９でＮＯの場合には、処理がステップＳ１２９に戻る。第２物体ＢＪ２の検出を終了すると制御部２１が判定した場合、すなわち、ステップＳ１３９でＹＥＳの場合には、その後、処理が終了する。
第２物体ＢＪ２の検出を終了しないと制御部２１が判定した場合、すなわち、ステップＳ１３９でＮＯの場合には、処理がステップＳ１２９に戻る。第２物体ＢＪ２の検出を終了すると制御部２１が判定した場合、すなわち、ステップＳ１３９でＹＥＳの場合には、その後、処理が終了する。
【0066】
図８及び図９を参照して説明したように、座標取得部２１１は、デプス画像ＤＰに基づき、第２領域ＡＲ２の２点の三次元座標値を取得し、平面算出部２１２は、第２領域ＡＲ２の２点の三次元座標値に基づき、第２領域ＡＲ２を含む平面ＰＬの位置を算出する。そして、形状決定部２１３は、平面ＰＬの位置を、第１領域ＡＲ１の三次元形状として決定する。したがって、第２領域ＡＲ２の２点の三次元座標値が取得できれば、第１領域ＡＲ１の三次元座標値を充分な精度で取得できる。
【0067】
また、第２領域ＡＲ２には、反射体ＲＦが配置されるため、第２領域ＡＲ２の２点の三次元座標値を正確に取得できる。
更に、第２領域ＡＲ２には、マーカーＭＫが配置されるため、ＲＧＢ画像ＣＰにおける第２領域ＡＲ２の位置を容易に特定できる。
更に、第２領域ＡＲ２には、マーカーＭＫが配置されるため、ＲＧＢ画像ＣＰにおける第２領域ＡＲ２の位置を容易に特定できる。
【0068】
次に、第２実施形態に係る検出システム１について説明する。第２実施形態に係る検出システム１の基本構成は、第１実施形態に係る検出システム１と同様であるため、詳細な説明は省略する。
第１実施形態に係る検出システム１のパーソナルコンピューター２０の制御部２１が第２検出部２２５を備えるのに対して、第２実施形態に係る検出システム１のパーソナルコンピューター２０の制御部２１は、第２検出部２２５に換えて第２検出部２２６を備える点で相違する。
第１実施形態に係る検出システム１のパーソナルコンピューター２０の制御部２１が第２検出部２２５を備えるのに対して、第２実施形態に係る検出システム１のパーソナルコンピューター２０の制御部２１は、第２検出部２２５に換えて第２検出部２２６を備える点で相違する。
【0069】
図１０は、第２実施形態に係るパーソナルコンピューター２０の構成の一例を示す図である。
第２検出部２２６は、第１距離情報ＪＬ１と、第２距離情報ＪＬ２と、第３距離情報ＪＬ３とに基づき、第１領域ＡＲ１内の第２物体ＢＪ２を検出する。
第２検出部２２６は、第１距離情報ＪＬ１と、第２距離情報ＪＬ２と、第３距離情報ＪＬ３とに基づき、第１領域ＡＲ１内の第２物体ＢＪ２を検出する。
【0070】
図７を参照して、第２検出部２２６のより具体的な処理内容を説明する。
まず、第２検出部２２６は、第１デプス画像ＤＰ１と第３デプス画像ＤＰ３とに基づき、第１領域ＡＲ１内の第１物体ＢＪ１と第２物体ＢＪ２を検出する。換言すれば、第２検出部２２６は、第３デプス画像ＤＰ３に含まれる画像のうち、床面画像ＤＰ１１の第１輝度値Ｂ１と相違する輝度値の画像を抽出することによって、第１物体ＢＪ１と第２物体ＢＪ２を検出する。例えば、第２検出部２２６は、第３デプス画像ＤＰ３に含まれる画像のうち、床面画像ＤＰ１１の第１輝度値Ｂ１より低い輝度値の画像を抽出することによって、第１物体ＢＪ１と第２物体ＢＪ２を検出する。
まず、第２検出部２２６は、第１デプス画像ＤＰ１と第３デプス画像ＤＰ３とに基づき、第１領域ＡＲ１内の第１物体ＢＪ１と第２物体ＢＪ２を検出する。換言すれば、第２検出部２２６は、第３デプス画像ＤＰ３に含まれる画像のうち、床面画像ＤＰ１１の第１輝度値Ｂ１と相違する輝度値の画像を抽出することによって、第１物体ＢＪ１と第２物体ＢＪ２を検出する。例えば、第２検出部２２６は、第３デプス画像ＤＰ３に含まれる画像のうち、床面画像ＤＰ１１の第１輝度値Ｂ１より低い輝度値の画像を抽出することによって、第１物体ＢＪ１と第２物体ＢＪ２を検出する。
【0071】
次に、第２検出部２２６は、第２デプス画像ＤＰ２と第３デプス画像ＤＰ３とに基づき、第１領域ＡＲ１内の、第１検出部２２３によって検出された第１物体ＢＪ１とは異なる第２物体ＢＪ２を検出する。
換言すれば、第２検出部２２６は、第３デプス画像ＤＰ３に含まれる画像のうち、第２検出部２２６が第１デプス画像ＤＰ１と第３デプス画像ＤＰ３とに基づいて検出した第１物体ＢＪ１、及び第２物体ＢＪ２の各々に対応する画像の輝度値を抽出する。具体的には、第２検出部２２６は、第１物体ＢＪ１に対応する第１画像ＤＰ２１の第２輝度値Ｂ２と、第１物体ＢＪ１に対応する第２画像ＤＰ２２の第３輝度値Ｂ３、及び第２物体ＢＪ２に対応する第３画像ＤＰ３１の第４輝度値Ｂ４を抽出する。
そして、第２検出部２２６は、第２デプス画像ＤＰ２に含まれる画像のうち、第１検出部２２３が第１デプス画像ＤＰ１と第２デプス画像ＤＰ２とに基づいて検出した第１物体ＢＪ１に対応する画像の輝度値を抽出する。具体的には、第２検出部２２６は、第１領域ＡＲ１内の第１物体ＢＪ１に対応する第１画像ＤＰ２１の第２輝度値Ｂ２と、第１物体ＢＪ１に対応する第２画像ＤＰ２２の第３輝度値Ｂ３を抽出する。
その後、第３デプス画像ＤＰ３における第２輝度値Ｂ２、第３輝度値Ｂ３、及び第４輝度値Ｂ４と、第２デプス画像ＤＰ２における第２輝度値Ｂ２及び第３輝度値Ｂ３とを比較し、第２デプス画像ＤＰ２と第３デプス画像ＤＰ３との間で相違する輝度値を抽出することによって、第４輝度値Ｂ４に対応する第２物体ＢＪ２を検出する。
このようにして、第２検出部２２６は、第１デプス画像ＤＰ１と、第２デプス画像ＤＰ２と、第３デプス画像ＤＰ３とに基づき、第１領域ＡＲ１内の第２物体ＢＪ２を検出できる。
換言すれば、第２検出部２２６は、第３デプス画像ＤＰ３に含まれる画像のうち、第２検出部２２６が第１デプス画像ＤＰ１と第３デプス画像ＤＰ３とに基づいて検出した第１物体ＢＪ１、及び第２物体ＢＪ２の各々に対応する画像の輝度値を抽出する。具体的には、第２検出部２２６は、第１物体ＢＪ１に対応する第１画像ＤＰ２１の第２輝度値Ｂ２と、第１物体ＢＪ１に対応する第２画像ＤＰ２２の第３輝度値Ｂ３、及び第２物体ＢＪ２に対応する第３画像ＤＰ３１の第４輝度値Ｂ４を抽出する。
そして、第２検出部２２６は、第２デプス画像ＤＰ２に含まれる画像のうち、第１検出部２２３が第１デプス画像ＤＰ１と第２デプス画像ＤＰ２とに基づいて検出した第１物体ＢＪ１に対応する画像の輝度値を抽出する。具体的には、第２検出部２２６は、第１領域ＡＲ１内の第１物体ＢＪ１に対応する第１画像ＤＰ２１の第２輝度値Ｂ２と、第１物体ＢＪ１に対応する第２画像ＤＰ２２の第３輝度値Ｂ３を抽出する。
その後、第３デプス画像ＤＰ３における第２輝度値Ｂ２、第３輝度値Ｂ３、及び第４輝度値Ｂ４と、第２デプス画像ＤＰ２における第２輝度値Ｂ２及び第３輝度値Ｂ３とを比較し、第２デプス画像ＤＰ２と第３デプス画像ＤＰ３との間で相違する輝度値を抽出することによって、第４輝度値Ｂ４に対応する第２物体ＢＪ２を検出する。
このようにして、第２検出部２２６は、第１デプス画像ＤＰ１と、第２デプス画像ＤＰ２と、第３デプス画像ＤＰ３とに基づき、第１領域ＡＲ１内の第２物体ＢＪ２を検出できる。
【0072】
図１１は、第２実施形態に係る検出システム１に含まれるパーソナルコンピューター２０の処理の一例を示すフローチャートである。ステップＳ１１７からステップＳ１２９までの処理は、第１実施形態に係る検出システム１が実行する処理と同様であるため、その説明を省略する。
パーソナルコンピューター２０は、ステップＳ１２９を行った後に、ステップＳ２３１を行う。ステップＳ２３１において、第２検出部２２６は、第１距離情報ＪＬ１と、第２距離情報ＪＬ２と、第３距離情報ＪＬ３とに基づき、第１領域ＡＲ１内の第２物体ＢＪ２を検出したか否かを判定する。
第２物体ＢＪ２を検出していないと第２検出部２２６が判定した場合、すなわち、ステップＳ２３１でＮＯの場合には、処理がステップＳ１３５へ進む。また、第２物体ＢＪ２を検出したと第２検出部２２６が判定した場合、すなわち、ステップＳ２３１でＹＥＳの場合には、処理がステップＳ１３７へ進む。
ステップＳ１３５及びステップＳ１３７以降の処理は、第１実施形態に係る検出システム１が実行する処理と同様であるため、その説明は省略する。
パーソナルコンピューター２０は、ステップＳ１２９を行った後に、ステップＳ２３１を行う。ステップＳ２３１において、第２検出部２２６は、第１距離情報ＪＬ１と、第２距離情報ＪＬ２と、第３距離情報ＪＬ３とに基づき、第１領域ＡＲ１内の第２物体ＢＪ２を検出したか否かを判定する。
第２物体ＢＪ２を検出していないと第２検出部２２６が判定した場合、すなわち、ステップＳ２３１でＮＯの場合には、処理がステップＳ１３５へ進む。また、第２物体ＢＪ２を検出したと第２検出部２２６が判定した場合、すなわち、ステップＳ２３１でＹＥＳの場合には、処理がステップＳ１３７へ進む。
ステップＳ１３５及びステップＳ１３７以降の処理は、第１実施形態に係る検出システム１が実行する処理と同様であるため、その説明は省略する。
【0073】
以上、図１～図１１を参照して説明したように、本実施形態に係る検出方法は、赤外線プロジェクター１３、及びデプスカメラ１１によって、第１領域ＡＲ１の三次元形状を検出する検出方法であって、第１領域ＡＲ１は、第１領域ＡＲ１よりも狭い第２領域ＡＲ２を含み、デプスカメラ１１のデプス画像ＤＰに基づき、第２領域ＡＲ２の少なくとも２点の三次元座標値を取得することと、前記２点の三次元座標値に基づき、第２領域ＡＲ２を含む平面ＰＬの位置を算出することと、平面ＰＬの位置を、第１領域ＡＲ１の三次元形状として決定することと、を含む。
すなわち、デプス画像ＤＰに基づき、第２領域ＡＲ２の２点の三次元座標値を取得し、第２領域ＡＲ２の２点の三次元座標値に基づき、第２領域ＡＲ２を含む平面ＰＬの位置を算出する。そして、平面ＰＬの位置を、第１領域ＡＲ１の三次元形状として決定する。
したがって、第２領域ＡＲ２の２点の三次元座標値が取得できる場合には、第１領域ＡＲ１の三次元座標値を充分な精度で取得できる。
すなわち、デプス画像ＤＰに基づき、第２領域ＡＲ２の２点の三次元座標値を取得し、第２領域ＡＲ２の２点の三次元座標値に基づき、第２領域ＡＲ２を含む平面ＰＬの位置を算出する。そして、平面ＰＬの位置を、第１領域ＡＲ１の三次元形状として決定する。
したがって、第２領域ＡＲ２の２点の三次元座標値が取得できる場合には、第１領域ＡＲ１の三次元座標値を充分な精度で取得できる。
【0074】
また、第２領域ＡＲ２は、赤外線を反射する反射体ＲＦが設置された領域である。
よって、デプス画像ＤＰに基づき、第２領域ＡＲ２の２点の三次元座標値を正確に取得できる。したがって、第１領域ＡＲ１の三次元座標値を充分な精度で取得できる。
よって、デプス画像ＤＰに基づき、第２領域ＡＲ２の２点の三次元座標値を正確に取得できる。したがって、第１領域ＡＲ１の三次元座標値を充分な精度で取得できる。
【0075】
また、第１領域ＡＲ１のサイズに対する第２領域ＡＲ２のサイズの比率ＲＴが閾値ＴＨ以下であるか否かを判定することと、比率ＲＴが閾値ＴＨ以下である場合には、反射体ＲＦの設置をユーザーに促す報知をすることと、を含む。
すなわち、第１領域ＡＲ１のサイズに対する第２領域ＡＲ２のサイズの比率ＲＴが閾値ＴＨ以下である場合には、反射体ＲＦの設置をユーザーに促す報知をする。
よって、第２領域ＡＲ２を適正なサイズに設定できる。したがって、第１領域ＡＲ１の三次元座標値を充分な精度で取得できる。
すなわち、第１領域ＡＲ１のサイズに対する第２領域ＡＲ２のサイズの比率ＲＴが閾値ＴＨ以下である場合には、反射体ＲＦの設置をユーザーに促す報知をする。
よって、第２領域ＡＲ２を適正なサイズに設定できる。したがって、第１領域ＡＲ１の三次元座標値を充分な精度で取得できる。
【0076】
また、第１領域ＡＲ１のサイズに対する第２領域ＡＲ２のサイズの比率ＲＴが閾値ＴＨ以下であるか否かを判定することと、比率ＲＴが閾値ＴＨ以下である場合には、第１領域ＡＲ１の三次元形状の検出精度が低い可能性があることをユーザーに報知することと、を含む。
すなわち、第１領域ＡＲ１のサイズに対する第２領域ＡＲ２のサイズの比率ＲＴが閾値ＴＨ以下である場合には、第１領域ＡＲ１の三次元形状の検出精度が低い可能性があることをユーザーに報知する。
よって、第１領域ＡＲ１の三次元形状の検出精度が低い可能性があることを、ユーザーは認識できる。したがって、ユーザーの利便性を向上できる。
例えば、第１領域ＡＲ１の三次元形状の検出精度が低くても問題ない場合には、ユーザーは、検出された第１領域ＡＲ１の三次元形状を用いることができる。また、例えば、第１領域ＡＲ１の三次元形状の検出精度が低いと好ましくない場合には、ユーザーは、第２領域ＡＲ２のサイズを大きくすることによって、第１領域ＡＲ１の三次元形状の検出精度を向上できる。
すなわち、第１領域ＡＲ１のサイズに対する第２領域ＡＲ２のサイズの比率ＲＴが閾値ＴＨ以下である場合には、第１領域ＡＲ１の三次元形状の検出精度が低い可能性があることをユーザーに報知する。
よって、第１領域ＡＲ１の三次元形状の検出精度が低い可能性があることを、ユーザーは認識できる。したがって、ユーザーの利便性を向上できる。
例えば、第１領域ＡＲ１の三次元形状の検出精度が低くても問題ない場合には、ユーザーは、検出された第１領域ＡＲ１の三次元形状を用いることができる。また、例えば、第１領域ＡＲ１の三次元形状の検出精度が低いと好ましくない場合には、ユーザーは、第２領域ＡＲ２のサイズを大きくすることによって、第１領域ＡＲ１の三次元形状の検出精度を向上できる。
【0077】
また、赤外線プロジェクター１３、及びデプスカメラ１１による第１領域ＡＲ１のデプス画像ＤＰにおいて、第２領域ＡＲ２に対応する領域を指定する操作を受け付けること、を含む。
よって、第１領域ＡＲ１のデプス画像ＤＰにおいて、第２領域ＡＲ２に対応する領域を指定する操作を受け付けるため、マーカーＭＫを配置することなく第２領域ＡＲ２を容易に特定できる。したがって、ユーザーの利便性を向上できる。
よって、第１領域ＡＲ１のデプス画像ＤＰにおいて、第２領域ＡＲ２に対応する領域を指定する操作を受け付けるため、マーカーＭＫを配置することなく第２領域ＡＲ２を容易に特定できる。したがって、ユーザーの利便性を向上できる。
【0078】
また、ＲＧＢカメラ１２が第１領域ＡＲ１を撮像し、ＲＧＢカメラ１２からＲＧＢ画像ＣＰを取得することと、ＲＧＢ画像ＣＰにおいて、第２領域ＡＲ２に対応する位置を特定することと、を含む。
よって、ＲＧＢ画像ＣＰにおいて、第２領域ＡＲ２に対応する位置を特定するため、第２領域ＡＲ２に対応する位置を正確に特定できる。したがって、第１領域ＡＲ１の三次元形状の検出精度を向上できる。
よって、ＲＧＢ画像ＣＰにおいて、第２領域ＡＲ２に対応する位置を特定するため、第２領域ＡＲ２に対応する位置を正確に特定できる。したがって、第１領域ＡＲ１の三次元形状の検出精度を向上できる。
【0079】
また、平面ＰＬの位置に基づき、第１領域ＡＲ１の三次元形状を示す第１距離情報ＪＬ１を取得することと、第１距離情報ＪＬ１を取得した後に、赤外線プロジェクター１３、及びデプスカメラ１１による第１領域ＡＲ１のデプス画像ＤＰに基づき、第１領域ＡＲ１内の三次元形状を示す第２距離情報ＪＬ２を取得することと、第１距離情報ＪＬ１と第２距離情報ＪＬ２とに基づき、第１領域ＡＲ１内の第１物体ＢＪ１を検出することと、を含む。
すなわち、第１領域ＡＲ１の三次元形状を示す第１距離情報ＪＬ１と、第１距離情報ＪＬ１を取得した後の第１領域ＡＲ１内の三次元形状を示す第２距離情報ＪＬ２と、に基づき、第１領域ＡＲ１内の第１物体ＢＪ１を検出する。例えば、図７を参照して説明したように、第１デプス画像ＤＰ１と第２デプス画像ＤＰ２とに基づき、第１領域ＡＲ１内の第１物体ＢＪ１を検出する。第１デプス画像ＤＰ１は第１距離情報ＪＬ１に対応する。第２デプス画像ＤＰ２は、第２距離情報ＪＬ２に対応する。
したがって、第１領域ＡＲ１内の第１物体ＢＪ１を正確に検出できる。
すなわち、第１領域ＡＲ１の三次元形状を示す第１距離情報ＪＬ１と、第１距離情報ＪＬ１を取得した後の第１領域ＡＲ１内の三次元形状を示す第２距離情報ＪＬ２と、に基づき、第１領域ＡＲ１内の第１物体ＢＪ１を検出する。例えば、図７を参照して説明したように、第１デプス画像ＤＰ１と第２デプス画像ＤＰ２とに基づき、第１領域ＡＲ１内の第１物体ＢＪ１を検出する。第１デプス画像ＤＰ１は第１距離情報ＪＬ１に対応する。第２デプス画像ＤＰ２は、第２距離情報ＪＬ２に対応する。
したがって、第１領域ＡＲ１内の第１物体ＢＪ１を正確に検出できる。
【0080】
また、第２距離情報ＪＬ２を取得した後に、赤外線プロジェクター１３、及びデプスカメラ１１による第１領域ＡＲ１のデプス画像ＤＰに基づき、第１領域ＡＲ１内の三次元形状を示す第３距離情報ＪＬ３を取得することと、第２距離情報ＪＬ２と第３距離情報ＪＬ３に基づき、第１領域ＡＲ１内の第１物体ＢＪ１と相違する第２物体ＢＪ２を検出することと、を含む。
すなわち、第２距離情報ＪＬ２と、第２距離情報ＪＬ２を取得した後の第１領域ＡＲ１内の三次元形状を示す第３距離情報ＪＬ３と、に基づき、第１領域ＡＲ１内の第１物体ＢＪ１と相違する第２物体ＢＪ２を検出する。例えば、図７を参照して説明したように、第２デプス画像ＤＰ２と第３デプス画像ＤＰ３とに基づき、第１領域ＡＲ１内の第２物体ＢＪ２を検出する。第２デプス画像ＤＰ２は第２距離情報ＪＬ２に対応する。第３デプス画像ＤＰ３は、第３距離情報ＪＬ３に対応する。
したがって、第１領域ＡＲ１内の第２物体ＢＪ２を正確に検出できる。
また、第２距離情報ＪＬ２と、第２距離情報ＪＬ２を取得した後の第１領域ＡＲ１内の三次元形状を示す第３距離情報ＪＬ３に加え、更に、第１距離情報ＪＬ１とに基づき、第１領域ＡＲ１内の第１物体ＢＪ１と相違する第２物体ＢＪ２を検出しても良い。
すなわち、第２距離情報ＪＬ２と、第２距離情報ＪＬ２を取得した後の第１領域ＡＲ１内の三次元形状を示す第３距離情報ＪＬ３と、に基づき、第１領域ＡＲ１内の第１物体ＢＪ１と相違する第２物体ＢＪ２を検出する。例えば、図７を参照して説明したように、第２デプス画像ＤＰ２と第３デプス画像ＤＰ３とに基づき、第１領域ＡＲ１内の第２物体ＢＪ２を検出する。第２デプス画像ＤＰ２は第２距離情報ＪＬ２に対応する。第３デプス画像ＤＰ３は、第３距離情報ＪＬ３に対応する。
したがって、第１領域ＡＲ１内の第２物体ＢＪ２を正確に検出できる。
また、第２距離情報ＪＬ２と、第２距離情報ＪＬ２を取得した後の第１領域ＡＲ１内の三次元形状を示す第３距離情報ＪＬ３に加え、更に、第１距離情報ＪＬ１とに基づき、第１領域ＡＲ１内の第１物体ＢＪ１と相違する第２物体ＢＪ２を検出しても良い。
【0081】
本実施形態に係る検出システム１は、赤外線プロジェクター１３、及びデプスカメラ１１と、パーソナルコンピューター２０と、を備え、第１領域ＡＲ１の三次元形状を検出する検出システム１であって、第１領域ＡＲ１は、第１領域ＡＲ１よりも狭い第２領域ＡＲ２を含み、パーソナルコンピューター２０は、赤外線プロジェクター１３、及びデプスカメラ１１による第１領域ＡＲ１のデプス画像ＤＰに基づき、第２領域ＡＲ２の少なくとも２点の三次元座標値を取得することと、前記２点の三次元座標値に基づき、第２領域ＡＲ２を含む平面ＰＬの位置を算出することと、平面ＰＬの位置を、第１領域ＡＲ１の三次元形状として決定することと、を実行する。
したがって、本実施形態に係る検出システム１は、本実施形態に係る検出方法と同様の効果を奏する。
したがって、本実施形態に係る検出システム１は、本実施形態に係る検出方法と同様の効果を奏する。
【0082】
上述した本実施形態は、好適な実施の形態である。ただし、上述の本実施形態に限定されるものではなく、要旨を逸脱しない範囲内において種々の変形実施が可能である。
【0083】
本実施形態では、「測距センサー」及び撮像画像を生成する撮像装置が、ＲＧＢ－Ｄカメラで構成される場合について説明したが、これに限定されない。例えば、「測距センサー」と、撮像画像を生成する撮像装置とが別体として構成されてもよい。
【0084】
本実施形態では、「情報処理装置」がパーソナルコンピューター２０である場合について説明するが、これに限定されない。「情報処理装置」がタブレット端末、スマートフォン等でもよい。
【0085】
本実施形態では、検出システム１が、検出装置１０と、パーソナルコンピューター２０と、プロジェクター３０と、を備える場合について説明したが、これに限定されない。例えば、検出システム１が、検出装置１０と、パーソナルコンピューター２０と、で構成されてもよい。すなわち、検出システム１が、プロジェクター３０を備えなくてもよい。
【0086】
本実施形態では、第１領域ＡＲ１が床面ＦＬに含まれる場合について説明するが、これに限定されない。第１領域ＡＲ１が平面状の部材、構造物等に含まれればよい。例えば、第１領域ＡＲ１が壁面に含まれてもよい。また、例えば、第１領域ＡＲ１が天井面に含まれてもよい。
【0087】
本実施形態では、パーソナルコンピューター２０が、検出装置１０、及びプロジェクター３０の各々と有線で通信可能に接続されるが、これに限定されない。パーソナルコンピューター２０が、検出装置１０、及びプロジェクター３０の各々と、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ―Ｆｉ（登録商標）等の無線で通信可能に接続されてもよい。
【0088】
本実施形態では、パーソナルコンピューター２０の制御部２１が、座標取得部２１１と、平面算出部２１２と、形状決定部２１３と、比率判定部２１４と、報知部２１５と、位置特定部２１６と、第１取得部２２１と、第２取得部２２２と、第１検出部２２３と、第３取得部２２４と、第２検出部２２５と、を備える場合について説明したが、これに限定されない。
例えば、プロジェクター３０の図略の制御部が、座標取得部２１１と、平面算出部２１２と、形状決定部２１３と、比率判定部２１４と、報知部２１５と、位置特定部２１６と、第１取得部２２１と、第２取得部２２２と、第１検出部２２３と、第３取得部２２４と、第２検出部２２５と、を備えてもよい。この場合には、検出システム１は、パーソナルコンピューター２０を備える必要はない。
例えば、プロジェクター３０の図略の制御部が、座標取得部２１１と、平面算出部２１２と、形状決定部２１３と、比率判定部２１４と、報知部２１５と、位置特定部２１６と、第１取得部２２１と、第２取得部２２２と、第１検出部２２３と、第３取得部２２４と、第２検出部２２５と、を備えてもよい。この場合には、検出システム１は、パーソナルコンピューター２０を備える必要はない。
【0089】
また、図３に示した各機能部は機能的構成を示すものであって、具体的な実装形態は特に制限されない。つまり、必ずしも各機能部に個別に対応するハードウェアが実装される必要はなく、一つのプロセッサーがプログラムを実行することで複数の機能部の機能を実現する構成とすることも可能である。また、上記実施形態においてソフトウェアで実現される機能の一部をハードウェアで実現してもよく、或いは、ハードウェアで実現される機能の一部をソフトウェアで実現してもよい。その他、パーソナルコンピューター２０の他の各部の具体的な細部構成についても、趣旨を逸脱しない範囲で任意に変更可能である。
【0090】
また、図８及び図９に示すフローチャートの処理単位は、パーソナルコンピューター２０の処理を理解容易にするために、主な処理内容に応じて分割したものである。図８及び図９の各々のフローチャートに示す処理単位の分割の仕方や名称によって制限されることはなく、処理内容に応じて、さらに多くの処理単位に分割することもできるし、１つの処理単位がさらに多くの処理を含むように分割することもできる。また、上記のフローチャートの処理順序も、図示した例に限られるものではない。
【0091】
また、検出システム１の検出方法は、パーソナルコンピューター２０が備えるプロセッサー２１Ａに、検出システム１の検出方法に対応した制御プログラムＰＧＭを実行させることで実現できる。また、この制御プログラムＰＧＭは、コンピューターで読み取り可能に記録した記録媒体に記録しておくことも可能である。記録媒体としては、磁気的、光学的記録媒体又は半導体メモリーデバイスを用いることができる。
具体的には、フレキシブルディスク、ＨＤＤ、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ、Ｂｌｕ－ｒａｙ（登録商標） Ｄｉｓｃ、光磁気ディスク、フラッシュメモリー、カード型記録媒体等の可搬型、或いは固定式の記録媒体が挙げられる。また、記録媒体は、画像処理装置が備える内部記憶装置であるＲＡＭ、ＲＯＭ、ＨＤＤ等の不揮発性記憶装置であってもよい。
また、検出システム１の検出方法に対応した制御プログラムＰＧＭをサーバー装置等に記憶させておき、サーバー装置からパーソナルコンピューター２０に、制御プログラムＰＧＭをダウンロードすることで検出システム１の検出方法を実現することもできる。
具体的には、フレキシブルディスク、ＨＤＤ、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ、Ｂｌｕ－ｒａｙ（登録商標） Ｄｉｓｃ、光磁気ディスク、フラッシュメモリー、カード型記録媒体等の可搬型、或いは固定式の記録媒体が挙げられる。また、記録媒体は、画像処理装置が備える内部記憶装置であるＲＡＭ、ＲＯＭ、ＨＤＤ等の不揮発性記憶装置であってもよい。
また、検出システム１の検出方法に対応した制御プログラムＰＧＭをサーバー装置等に記憶させておき、サーバー装置からパーソナルコンピューター２０に、制御プログラムＰＧＭをダウンロードすることで検出システム１の検出方法を実現することもできる。
【0092】
また、本実施形態では、第２領域ＡＲ２に反射体ＲＦがユーザーによって設置される場合について説明したが、これに限定されない。第２領域ＡＲ２は、赤外線を反射する平面の領域であって、デプスカメラ１１によって取得したデプス画像ＤＰに基づき三次元座標値を取得できる領域であっても良い。例えば、第１領域ＡＲ１が床面であって、第１領域ＡＲ１のうち赤外線を充分に反射する素材で形成された領域を、第２領域ＡＲ２としても良い。また、第１領域ＡＲ１のうち、第１領域ＡＲ１である床面とデプスカメラ１１との相対的な角度の影響により、赤外線をデプスカメラ１１へ充分に反射できない領域を第２領域ＡＲ２とはせずに、赤外線をデプスカメラ１１へ充分に反射できる領域のみを第２領域ＡＲ２としても良い。他には、例えば、図５のように第１領域ＡＲ１に第１物体ＢＪ１が含まれる場合には、第１物体ＢＪ１が設置されずに、赤外線を反射する平面の領域を第２領域ＡＲ２としても良い。
【符号の説明】
【0093】
１…検出システム、１０…検出装置、１１…デプスカメラ、１２…ＲＧＢカメラ、１３…赤外線プロジェクター、２０…パーソナルコンピューター（情報処理装置）、２１…制御部、２１Ａ…プロセッサー、２１１…座標取得部、２１２…平面算出部、２１３…形状決定部、２１４…比率判定部、２１５…報知部、２１６…位置特定部、２２１…第１取得部、２２２…第２取得部、２２３…第１検出部、２２４…第３取得部、２２５、２２６…第２検出部、２１Ｂ…メモリー、２３…表示機構、２３１…表示パネル、２４…音声出力機構、２４１…スピーカー、２５…インターフェース機構、２６…操作機構、３０…プロジェクター、ＡＲ１…第１領域、ＡＲ２…第２領域、Ｂ…輝度、ＢＪ１…第１物体、ＢＪ１１…直方体、ＢＪ１２…壁、ＢＪ２…第２物体、ＣＰ…ＲＧＢ画像、ＤＰ…デプス画像、ＤＰ１…第１デプス画像、ＤＰ２…第２デプス画像、ＤＰ３…第３デプス画像、ＦＬ…床面、ＪＬ１…第１距離情報、ＪＬ２…第２距離情報、ＪＬ３…第３距離情報、Ｌ１…第１長さ、Ｌ２…第２長さ、ＭＫ…マーカー、ＰＧＭ…制御プログラム、ＰＬ…平面、ＲＦ…反射体、ＲＴ…比率、ＴＨ…閾値。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】