特開 2024-147397 平面検出方法、情報処理装置、投影制御システム及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024147397

(43)【公開日】2024-10-16

(54)【発明の名称】平面検出方法、情報処理装置、投影制御システム及びプログラム

(51)【国際特許分類】

   G06T 7/60 20170101AFI20241008BHJP

   G06T 7/64 20170101ALI20241008BHJP

【ＦＩ】

G06T7/60 200Z

G06T7/64

【審査請求】未請求

【請求項の数】14

【出願形態】ＯＬ

(21)【出願番号】P 2023060371

(22)【出願日】2023-04-03

(71)【出願人】

【識別番号】000001443

【氏名又は名称】カシオ計算機株式会社

(74)【代理人】

【識別番号】100095407

【弁理士】

【氏名又は名称】木村 満

(72)【発明者】

【氏名】原 駿介

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA09

5L096CA02

5L096DA02

5L096FA09

5L096FA59

5L096FA66

5L096FA67

5L096GA19

5L096GA32

5L096GA51

5L096JA11

(57)【要約】

【課題】平面を従来よりも精度良く検出する。
【解決手段】平面検出方法は、情報処理装置２００の制御部１１０が、所定の領域における２次元座標情報と深度情報とに基づく３次元情報から点群データを取得し、所定の領域が分割された複数のグリッドそれぞれに含まれる２次元座標情報を有する点群データであるグリッド点群データに基づいて、それぞれのグリッドの平面パラメータであるグリッドパラメータを導出し、グリッドパラメータの差が所定の条件を満たしており、かつ隣り合っている複数のグリッドを連結したグリッドグループを生成し、グリッドグループに含まれる点群データであるグリッドグループ点群データに基づいて、平面を検出するための第１平面パラメータを導出する。
【選択図】図３

【特許請求の範囲】

【請求項1】

情報処理装置の制御部が、
所定の領域における２次元座標情報と深度情報とに基づく３次元情報から点群データを取得し、
前記所定の領域が分割された複数のグリッドそれぞれに含まれる２次元座標情報を有する前記点群データであるグリッド点群データに基づいて、それぞれのグリッドの平面パラメータであるグリッドパラメータを導出し、
前記グリッドパラメータの差が所定の条件を満たしており、かつ隣り合っている前記複数のグリッドを連結したグリッドグループを生成し、
前記グリッドグループに含まれる前記点群データであるグリッドグループ点群データに基づいて、平面を検出するための第１平面パラメータを導出する、
平面検出方法。

【請求項2】

前記所定の条件は、前記複数のグリッドの前記グリッドパラメータの差が連続性判定閾値未満であることである、
請求項１に記載の平面検出方法。

【請求項3】

前記制御部が、
前記グリッドグループを複数生成した場合、
面積が最も大きい前記グリッドグループを選択し、
選択した前記グリッドグループに含まれる２次元座標情報を有する前記点群データであるグリッドグループ点群データに基づいて、前記第１平面パラメータを導出する、
請求項１に記載の平面検出方法。

【請求項4】

前記制御部が
ＲＡＮＳＡＣを用いて前記グリッド点群データから前記グリッドパラメータを導出する、
請求項１に記載の平面検出方法。

【請求項5】

前記制御部が、
最小二乗法を用いて前記グリッドグループ点群データから前記第１平面パラメータを導出する、
請求項１に記載の平面検出方法。

【請求項6】

前記制御部が、
前記第１平面パラメータが表す平面からの法線距離が第１閾値未満である点群データであって、前記グリッドグループに含まれる２次元座標情報又は前記グリッドグループに隣接する２次元座標情報を有する前記点群データである第１抽出点群を抽出し、
前記第１抽出点群に基づいて、平面を検出するための第２平面パラメータを導出する、
請求項１に記載の平面検出方法。

【請求項7】

前記制御部が、
最小二乗法を用いて前記第１抽出点群から前記第２平面パラメータを導出する、
請求項６に記載の平面検出方法。

【請求項8】

前記制御部が、
前記第２平面パラメータが表す平面からの法線距離が第２閾値未満である点群データである第２抽出点群を抽出し、
前記第２抽出点群からなる平面領域を検出する、
請求項６に記載の平面検出方法。

【請求項9】

前記制御部が、
前記第２平面パラメータが表す平面からの法線距離が第２閾値未満である点群データである第２抽出点群を抽出し、前記第２抽出点群に基づいて新たな第２平面パラメータを導出する処理を所定の回数繰り返して、最終的な第２平面パラメータを導出する、
請求項６に記載の平面検出方法。

【請求項10】

前記制御部が、
前記第２平面パラメータと前記新たな第２平面パラメータとの差異が所定範囲内だった場合には、それ以後新たな第２平面パラメータを導出する処理は繰り返さず、その時点での新たな第２平面パラメータを最終的な第２平面パラメータとする、
請求項９に記載の平面検出方法。

【請求項11】

前記第１閾値と前記第２閾値とは値が異なる、
請求項８に記載の平面検出方法。

【請求項12】

所定の領域における２次元座標情報と深度情報とに基づく３次元情報から点群データを取得し、
前記所定の領域が分割された複数のグリッドそれぞれに含まれる２次元座標情報を有する前記点群データであるグリッド点群データに基づいて、それぞれのグリッドの平面パラメータであるグリッドパラメータを導出し、
前記グリッドパラメータの差が所定の条件を満たしており、かつ隣り合っている前記複数のグリッドを連結したグリッドグループを生成し、
前記グリッドグループに含まれる２次元座標情報を有する前記点群データであるグリッドグループ点群データに基づいて、平面を検出するための第１平面パラメータを導出する、
制御部を備える、
情報処理装置。

【請求項13】

所定の領域を撮影して撮影画像を取得する少なくとも１つのカメラと、
制御部を備える情報処理装置と、
投影装置と、
を備える投影制御システムであって、
前記情報処理装置の前記制御部は、
前記カメラによって撮影された前記撮影画像から、前記所定の領域における２次元座標情報と深度情報とに基づく３次元情報を抽出し、
抽出した前記３次元情報から点群データを取得し、
前記所定の領域が分割された複数のグリッドそれぞれに含まれる２次元座標情報を有する前記点群データであるグリッド点群データに基づいて、それぞれのグリッドの平面パラメータであるグリッドパラメータを導出し、
前記グリッドパラメータの差が所定の条件を満たしており、かつ隣り合っている前記複数のグリッドを連結したグリッドグループを生成し、
前記グリッドグループに含まれる２次元座標情報を有する前記点群データであるグリッドグループ点群データに基づいて、平面を検出するための第１平面パラメータを導出し、
前記第１平面パラメータが表す平面からの法線距離が第１閾値未満である点群データであって、前記グリッドグループに含まれる２次元座標情報又は前記グリッドグループに隣接する２次元座標情報を有する前記点群データである第１抽出点群を抽出し、
前記第１抽出点群に基づいて、平面を検出するための第２平面パラメータを導出し、
前記第２平面パラメータが表す平面からの法線距離が第２閾値未満である点群データである第２抽出点群を抽出し、
前記第２抽出点群からなる平面領域を検出し、
前記投影装置は、
前記情報処理装置の前記制御部が検出した平面領域に映像を投影する、
投影制御システム。

【請求項14】

コンピュータに、
所定の領域における２次元座標情報と深度情報とに基づく３次元情報から点群データを取得し、
前記所定の領域が分割された複数のグリッドそれぞれに含まれる２次元座標情報を有する前記点群データであるグリッド点群データに基づいて、それぞれのグリッドの平面パラメータであるグリッドパラメータを導出し、
前記グリッドパラメータの差が所定の条件を満たしており、かつ隣り合っている前記複数のグリッドを連結したグリッドグループを生成し、
前記グリッドグループに含まれる前記点群データであるグリッドグループ点群データに基づいて、平面を検出するための第１平面パラメータを導出する、
処理を実行させることを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、平面検出方法、情報処理装置、投影制御システム及びプログラムに関する。

【背景技術】

【0002】

投影装置（プロジェクタ）が映像を投影する投影面に凸凹等があると、その投影面には映像を適切に投影することができない場合がある。また、移動体が走行する路面に障害物や段差があると、その路面を走破することができない場合がある。これらの問題を解決するために（映像を適切に投影可能な投影面や走破可能な路面等を判定するために）、平面を検出する技術が知られている。例えば特許文献１には、３次元データをグリッドに分割して区画毎にＲＡＮＳＡＣ（Ｒａｎｄｏｍ Ｓａｍｐｌｅ Ｃｏｎｓｅｎｓｕｓ）を用いて平面検出を行う技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２１－７７００３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１に開示されている平面検出技術は、ＲＡＮＳＡＣを用いることによって各グリッドがどのような平面であるかを精度良く検出することができる。しかし、各グリッドにおいてそれぞれ独立に平面検出を行うため、グリッドに分割される前の元の平面を精度良く検出することはできない。

【0005】

本発明は上記実情に鑑みてなされたものであり、平面を従来よりも精度良く検出することができる平面検出方法、情報処理装置、投影制御システム及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

上記目的を達成するため、本発明に係る平面検出方法の一態様は、
情報処理装置の制御部が、
所定の領域における２次元座標情報と深度情報とに基づく３次元情報から点群データを取得し、
前記所定の領域が分割された複数のグリッドそれぞれに含まれる２次元座標情報を有する前記点群データであるグリッド点群データに基づいて、それぞれのグリッドの平面パラメータであるグリッドパラメータを導出し、
前記グリッドパラメータの差が所定の条件を満たしており、かつ隣り合っている前記複数のグリッドを連結したグリッドグループを生成し、
前記グリッドグループに含まれる前記点群データであるグリッドグループ点群データに基づいて、平面を検出するための第１平面パラメータを導出する。

【発明の効果】

【0007】

本発明によれば、平面を従来よりも精度良く検出することができる。

【図面の簡単な説明】

【0008】

【図1】実施の形態に係る投影制御システムの構成例及び使用時のイメージを示す図である。

【図2】実施の形態に係る投影制御システムの機能構成の一例を示す図である。

【図3】実施の形態に係る平面検出処理のフローチャートの一例である。

【図4】撮影画像中の点群データの一例のイメージを示す図である。

【図5】点群データをグリッドで分割したイメージを示す図である。

【図6】グリッド内でのＲＡＮＳＡＣを説明するために、１つのグリッド内でランダムに３点を選択したイメージを示す図である。

【図7】グリッド内でのＲＡＮＳＡＣを説明するために、１つのグリッド内でランダムに１０点を選出したイメージを示す図である。

【図8】実施の形態に係るグリッドグループ生成処理のフローチャートの一例である。

【図9】各グリッドに付与されたグループ番号の一例を示す図である。

【図10】グリッドグループの一例を示す図である。

【図11】グリッドグループから得られる平面との距離が第１閾値未満の点群データのイメージを示す図である。

【図12】グリッドグループから得られる平面との距離が第１閾値未満の点群データのうち連続している点群データのイメージを示す図である。

【図13】第１抽出点群から得られる平面との距離が第２閾値未満の点群データのイメージを示す図である。

【図14】抽出平面の一例を示す図である。

【発明を実施するための形態】

【0009】

実施の形態に係る投影制御システム等について、図面を参照して説明する。なお、図中同一又は相当する部分には同一符号を付す。

【0010】

（実施の形態）
実施の形態に係る投影制御システム１００は、例えば図１に示すように、３Ｄ（Ｄｉｍｅｎｓｉｏｎａｌ）カメラ２４０とプロジェクタ２５０とが、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）２１０に接続されて構成される。そして、投影制御システム１００は、ＰＣ２１０で制御され、作業台３００上の平面領域３２０（作業物３１０やユーザの手等がない領域）を３Ｄカメラ２４０で検出し、その平面領域３２０上にプロジェクタ２５０で投影コンテンツを投影する。

【0011】

投影制御システム１００は、例えば図１に示すように、ＰＣ２１０に、３Ｄカメラ２４０がＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）で接続され、プロジェクタ２５０がＨＤＭＩ（登録商標）（Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）で接続されて構成される。

【0012】

投影制御システム１００及び情報処理装置２００は、機能構成としては、図２に示すように、情報処理装置２００が制御部１１０、記憶部１２０、操作入力部１３０を備え、投影制御システム１００はこれらに加えて検出部１４０、投影部１５０を備える。例えば情報処理装置２００となるＰＣ２１０が制御部１１０、記憶部１２０、操作入力部１３０に対応し、３Ｄカメラ２４０が検出部１４０に対応し、プロジェクタ２５０が投影部１５０に対応する。もっとも、投影制御システム１００が備える各装置のうち、どの装置をこれらの各機能構成部に対応させるかは任意である。例えば、情報処理装置２００を操作入力部１３０に対応させずに、プロジェクタ２５０を操作入力部１３０と投影部１５０に対応させてもよい。

【0013】

制御部１１０は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等のプロセッサで構成される。制御部１１０は、記憶部１２０に記憶されているプログラムにより、投影制御システム１００の各種機能を実現する処理や後述する平面検出処理等を実行する。また、制御部１１０はマルチスレッドに対応し、複数の処理を並行して実行することができる。

【0014】

記憶部１２０は、制御部１１０が実行するプログラムや、必要なデータを記憶する。記憶部１２０は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ等を含み得るが、これらに限られるものではない。なお、記憶部１２０は、制御部１１０の内部に設けられていてもよい。

【0015】

操作入力部１３０は、キーボード、マウス、押しボタンスイッチ等のユーザインタフェースを備え、ユーザからの操作入力を受け付ける。

【0016】

検出部１４０は画像情報（２次元座標情報）と深度情報（距離情報）とに基づく３次元情報を取得できる３Ｄカメラ２４０を備え、作業台３００の上面等、所定の領域の状態（検出部１４０で撮影された対象の立体形状を表す点群の３次元位置の情報）を取得する。制御部１１０は、後述する平面検出処理を実行することにより、検出部１４０が取得した情報（点群の位置情報）に基づいて、撮影対象のどこが平面であるかを検出することができる。なお、図１に示す例では、投影制御システム１００は検出部１４０として３Ｄカメラ２４０を備えることとしたが、検出部１４０は必ずしも３Ｄカメラ２４０を備えなければならないわけではない。検出部１４０は、撮影対象の点群の３次元位置情報を取得することができるなら、３Ｄカメラ２４０に代えて任意のセンサを備えることができる。

【0017】

例えば、投影制御システム１００は、検出部１４０として所定の領域を撮影して撮影画像を取得する少なくとも１つのカメラを備え、制御部１１０は、このカメラによって撮影された撮影画像から、所定の領域における２次元座標情報と深度情報とに基づく３次元情報を抽出してもよい。

【0018】

投影部１５０はプロジェクタ（投影装置）であり、光源、投影デバイス、レンズユニット等を備える。光源、投影デバイス等の方式は任意である。

【0019】

本実施の形態では、ユーザが作業台３００に作業物３１０を置いて作業する際に、情報処理装置２００に操作入力部１３０を介して例えば作業ガイドの投影を指示すると、制御部１１０は投影の前に、後述する平面検出処理を行い、平面検出処理で取得された検出平面に作業ガイドを投影する。

【0020】

制御部１１０が実行する平面検出処理について図３を参照して説明する。まず、制御部１１０は検出部１４０に撮影を指示し、検出部１４０は当該指示に従って対象（例えば作業台３００等）を撮影する（ステップＳ１０１）。

【0021】

そして、制御部１１０は、検出部１４０で撮影した対象の３次元位置を表す点群データを取得する（ステップＳ１０２）。これにより、例えば図４に示すような点群データが得られる。なお、図４には便宜上、撮影画像３３０にランダムに点が存在しているイメージの図を示しているが、実際には検出部１４０では、撮影画像３３０のピクセル毎に、当該ピクセルまでの距離（深度情報）が取得できている。したがって、実際には制御部１１０はステップＳ１０２で、撮影画像３３０に含まれる全てのピクセルの３次元位置を取得する。

【0022】

次に、制御部１１０は、取得した点群データをグリッド毎に分割する（ステップＳ１０３）。これにより、撮影画像３３０は、例えば図５に示すように所定のグリッド３３１に分割される。図５では、撮影画像３３０を縦５個×横８個の合計４０個の正方形のグリッド３３１に分割している例を示しているが、グリッド３３１のサイズや分割数は任意である。また、グリッド３３１は正方形でなくてもよく、またグリッドサイズは全てのグリッド３３１で均等でなくてもよい。本実施の形態では基本的には撮影画像３３０全体で均等に点群データが取得されるので、均等なグリッドに分割しているが、例えば取得できる点群データに密度のムラが生じる場合には、点群データの密度が高い領域は細かいグリッドに分割し、密度が低い領域は大きなグリッドに分割するようにしてもよい。

【0023】

そして、制御部１１０は、ＲＡＮＳＡＣを用いてグリッドそれぞれの平面パラメータを導出する（ステップＳ１０４）。なお、このステップで導出される平面パラメータは、グリッドの平面パラメータなので、グリッドパラメータとも呼ばれる。

【0024】

具体的には、まずステップＳ１－１として、図６に示すように、グリッド３３１に含まれる点群データ（グリッド点群データ）の中から３点（例えば白丸３３２で示す３点）をランダムに選択し、この３点を通る平面（この例では三角形３３３を含む平面）の平面パラメータを導出する。平面パラメータとは平面を表す方程式ａｘ＋ｂｙ＋ｃｚ＋ｄ＝０の係数ａ，ｂ，ｃ，ｄである。ただし、本実施の形態では、この平面が原点を通ることはない（３Ｄカメラ２４０の位置が原点となるが、原点を通る平面を検出する必要はないため）ので、ｄの値を１に正規化することにより、平面パラメータ（グリッドパラメータ）をａ，ｂ，ｃの３つの値で表すこととする。

【0025】

次に、ステップＳ１－２として、図７に示すように、グリッド３３１に含まれる点群データの中から所定の選出数（例えばＡ個）の点（例えば網掛丸３３４で示す１０点）をランダムに選出し、ステップＳ１－１で選択した３点で表される平面と本ステップで選出した点との距離をＡ個分すべて加算することにより、ステップＳ１－１で算出した平面パラメータの誤差を求める。

【0026】

以上のステップＳ１－１及びステップＳ１－２を所定のサンプリング回数（例えばＢ回）繰返し、誤差が最も小さくなる平面パラメータを、当該グリッド３３１の平面パラメータ（グリッドパラメータ）とする。

【0027】

図３に戻り、次に制御部１１０は、グリッドグループ生成処理を実行する（ステップＳ１０５）。この処理は、隣り合うグリッド３３１間で平面パラメータを比較して平面の連続性を判定し、平面が連続しているとみなせる複数のグリッド３３１を１つにグループ化してグリッドグループを生成する処理である。

【0028】

このグリッドグループ生成処理について図８を参照して説明する。まず隣り合うグリッドの連続性を判定した結果を格納する配列変数Ｂ［ｉ］［ｊ］［ｋ］を用意する。ここで、ｉはグリッドの上下方向の位置（一番上は０）、ｊはグリッドの左右方向の位置（一番左は０）、ｋは当該グリッドにおいて連続性を判定した方向（０は上、１は右、２は下、３は左）を表す。

【0029】

まず制御部１１０は、グリッドの位置を示す変数ｉ，ｊを０に初期化する（ステップＳ２０１）。これにより、最も左上のグリッドから判定が開始されることになる。

【0030】

そして、制御部１１０は、隣り合うグリッドとの平面連続性を判定した結果（連続しているなら１、連続していないなら０）を配列変数Ｂ［ｉ］［ｊ］［ｋ］に格納する（ステップＳ２０２）。平面連続性の判定は、グリッドパラメータの差が所定の条件を満たすか否か、より具体的にはグリッドパラメータの差が連続性判定閾値未満か否かで行われる。一例として、（ｉ，ｊ）に位置するグリッド１について、右隣の（ｉ，ｊ＋１）に位置するグリッド２との平面連続性を判定する場合を説明する。この場合、グリッド１の右隣がグリッド２なのでｋ＝１となる。そして、グリッド１の平面パラメータがａ１，ｂ１，ｃ１で、グリッド２の平面パラメータがａ２，ｂ２，ｃ２だったとする。

【0031】

この場合、ａ１－ａ２の絶対値、ｂ１－ｂ２の絶対値、ｃ１－ｃ２の絶対値が、全て連続性判定閾値未満なら、制御部１１０は、この２つのグリッドは連続していると判定し、Ｂ［ｉ］［ｊ］［１］に１を格納する。これらの３つの絶対値のうち、１つでも連続性判定閾値以上のものが存在したなら、制御部１１０は、この２つのグリッドは連続していないと判定し、Ｂ［ｉ］［ｊ］［１］に０を格納する。

【0032】

なお、平面性判定対象のグリッドが撮影画像３３０の端のグリッドだった場合には、撮影画像３３０の外側に向かう方向に隣り合うグリッドは存在しないので、制御部１１０は、その方向には平面が連続していないと判定する。例えば、撮影画像３３０の最も左上のグリッドの上方向にはグリッドが存在しないので、制御部１１０は、配列変数Ｂ［０］［０］［０］に０を格納する。

【0033】

ただし、グリッド内の点の深度（３Ｄカメラ２４０からの距離）の大小により平面パラメータの値のばらつきの大きさも変わる。具体的には、深度が小さい場合より大きい場合の方が平面パラメータの値のばらつきが大きくなる。したがって、深度に応じて連続性判定閾値を変化させた方が、より適切に平面の連続性の判定を行うことができる。そこで、例えば上述の例で、グリッド１内の点の深度（グリッド１内から任意に選択した１点の深度でも良いし、所定の個数を選択してそれらの深度を平均した値でもよい）がｚ１だった場合の連続性判定閾値を
ｍ×ｚ１＋ｎ
のように、深度に依存した値に設定してもよい。ただし、ｍ，ｎは実験等により求めた定数とする。

【0034】

さらに、ａ１とａ２の差の絶対値及びｂ１とｂ２の差の絶対値と比較する連続性判定閾値は深度に依存した値とし、ｚ（深度と同じ方向の軸）の係数であるｃ１とｃ２の差の絶対値と比較する連続性判定閾値は深度に依存しない定数に設定してもよい。発明者が実験した結果、平面パラメータのうちａ及びｂの値のばらつきは深度に依存するが、ｃの値のばらつきは深度にあまり依存しないことが判明したからである。

【0035】

図８に戻り、制御部１１０は、変数ｉ，ｊを更新する（ステップＳ２０３）。例えばグリッドの数が縦５個×横８個の合計４０個であるなら、このステップではまずｊに１を加算し、ｊが８になったら、ｊを０に戻してｉに１を加算する。

【0036】

そして、制御部１１０は、全グリッドに対して平面の連続性を判定したか否かを判定する（ステップＳ２０４）。上述の例ではｉが５になったら全グリッドに対して連続性の判定を行ったことになり、ｉが４以下ならまだ判定されていないグリッドが残っていることになる。

【0037】

まだ判定されていないグリッドが残っているなら（ステップＳ２０４；Ｎｏ）、ステップＳ２０２に戻る。全グリッドに対して平面の連続性を判定したなら（ステップＳ２０４；Ｙｅｓ）、制御部１１０は、変数ｉ，ｊを０に初期化する（ステップＳ２０５）。

【0038】

そして、制御部１１０は、配列変数Ｂ［ｉ］［ｊ］［ｋ］を参照し、隣り合うグリッドと平面が連続していたら、平面が連続しているグリッドに同じグループ番号を付与する（ステップＳ２０６）。より詳細には、位置（ｉ，ｊ）のグリッド（自グリッド）について、隣り合うグリッド（隣接グリッド）として右隣（ｉ，ｊ＋１）のグリッド及び下（ｉ＋１，ｊ）のグリッドとの連続性を確認し、連続していた場合に以下の付与ルールに従って同じグループ番号を付与する。

【0039】

‐自グリッドにも隣接グリッドにも番号が付与されていなければ未使用番号を割り振る。
‐自グリッドに番号が付与されていたら、その番号を隣接グリッドにも付与する。
‐隣接グリッドに番号が付与されていたら、その番号を自グリッドにも付与する。
‐自グリッドにも隣接グリッドにも番号が付与されていて、それらが異なる番号だったなら、小さい方の番号（統一番号）に統一し、大きい方の番号をルックアップテーブルに重複番号として登録。
‐ルックアップテーブルに登録された重複番号が付与されているグリッドのグループ番号を、当該重複番号に対応する統一番号に更新し、当該重複番号を未使用番号に戻す。

【0040】

そして制御部１１０は、変数ｉ，ｊを更新する（ステップＳ２０７）。この処理は上述のステップＳ２０３の処理と同様である。

【0041】

そして、制御部１１０は、配列変数Ｂ［ｉ］［ｊ］［ｋ］の全ての値を確認したか否かを判定する（ステップＳ２０８）。この判定は上述のステップＳ２０４での判定と同様にｉの値で判定できる。

【0042】

まだ確認していない配列変数Ｂ［ｉ］［ｊ］［ｋ］が残っているなら（ステップＳ２０８；Ｎｏ）、ステップＳ２０６に戻る。配列変数Ｂ［ｉ］［ｊ］［ｋ］の全ての値を確認したなら（ステップＳ２０８；Ｙｅｓ）、同一のグループ番号が付与されたグリッドをグループ化してグリッドグループを生成し（ステップＳ２０９）、グリッドグループ生成処理を終了する。

【0043】

このグリッドグループ生成処理を行うことにより、例えば図９で示すように平面が連続している各グリッド３３１には同じグループ番号が付与される。そして、同一のグループ番号が付与されたグリッド３３１をグループ化することで、図１０に示すようなグリッドグループ３３５が得られる。なお、本実施の形態では、ステップＳ２０９では最も多い個数のグリッドを含むグループ番号（図１０では１）が付与されたグリッド３３１のみをグループ化する。

【0044】

グリッドグループ生成処理においては、グループ番号の種類数だけ複数のグリッドグループが生成される可能性があるが、このように最も多い個数のグリッドを含むグループ番号が付与されたグリッド３３１のみをグループ化することにより、複数のグリッドグループが生成される場合でも、面積が最も大きいグリッドグループのみを選択することができる。そうすると、その後の処理はその選択したグリッドグループに対してのみ行えばよいので処理が高速化される。また、面積が最大のグリッドグループを対象に平面パラメータを導出することにより、他のグリッドグループを対象にした場合に比較して導出される平面パラメータの精度を向上させることができる。

【0045】

ただし、検出平面の用途によっては、面積が最大のグリッドグループだけを対象とするのではなく、全てのグリッドグループについて、それぞれ平面パラメータを導出したい場合も考えられる。したがって、制御部１１０は、最多数のグループ番号以外の番号が付与されたグリッド３３１についてもそれぞれ同一のグループ番号が付与されたグリッドをグループ化して、複数のグリッドグループ３３５を生成してもよい。この場合、後述する処理もそれぞれのグリッドグループに対して並行して行うことになる。

【0046】

図３に戻り、制御部１１０は、ステップＳ１０５で生成したグリッドグループ３３５の平面パラメータ（第１平面パラメータ）を導出する（ステップＳ１０６）。具体的には、制御部１１０は、グリッドグループ３３５に含まれる全ての点群データ（グリッドグループ点群データ）に最もフィットする平面の（すなわち、平面を検出するための）平面パラメータを最小二乗法により求め、第１平面パラメータとする。

【0047】

次に、制御部１１０は、ステップＳ１０２で取得された全ての３次元点群データの中から、ステップＳ１０６で導出した第１平面パラメータで表される平面からの法線距離が第１閾値未満である点群を抽出し、抽出した点群のうち連続しているものだけを選択して第１抽出点群とする（ステップＳ１０７）。ここで、「点群のうち連続しているもの」とは、撮影画像３３０中の当該点群に対応するピクセルが隣接している点群である。

【0048】

ステップＳ１０７の処理により、例えば図１１で示すように、グリッドグループ３３５から得られる平面Ｇとの距離が第１閾値未満の点群（例えば図１１に黒丸３３６で示されている点）が抽出され、平面Ｇとの距離が第１閾値以上の点群（例えば図１１に網掛丸３３７で示されている点）は抽出されない。さらに、これらの抽出された点群のうち、連続しているもの（例えば図１２に黒丸３３６で示されている点群）が選択され、連続していないもの（例えば図１２に白丸３３８で示されている点群）は選択されない。この結果、図１２に示す例では、黒丸３３６で示されている点群が第１抽出点群として抽出されることになる。

【0049】

図３に戻り、制御部１１０は、ステップＳ１０７で抽出された第１抽出点群から最小二乗法を用いて平面パラメータ（第２平面パラメータ）を導出する（ステップＳ１０８）。具体的には、制御部１１０は、第１抽出点群に含まれる全ての点に最もフィットする平面の（すなわち、平面を検出するための）平面パラメータを最小二乗法により求め、第２平面パラメータとする。

【0050】

次に、制御部１１０は、ステップＳ１０２で取得された全ての３次元点群データの中から、ステップＳ１０８で導出した第２平面パラメータで表される平面からの法線距離が第２閾値未満である点群を抽出し、抽出した点群のうち連続しているものだけを選択して第２抽出点群とする（ステップＳ１０９）。

【0051】

そして、制御部１１０は、第２抽出点群に含まれる連続した点群を全て連結して得られる平面領域を検出平面として取得し（ステップＳ１１０）、平面検出処理を終了する。

【0052】

ステップＳ１０９の処理により、例えば図１３で示すように、第２平面パラメータで表される平面Ｈとの距離が第２閾値未満の点群（例えば図１３に黒丸３３６及び白丸３３８で示されている点）が抽出され、これらの抽出された点群のうち、連続しているもの（例えば図１３に黒丸３３６で示されている点）が選択され、これらの選択された点群が第２抽出点群となる。そして、ステップＳ１１０の処理により、例えば図１４で示すように、ステップＳ１０９で抽出された第２抽出点群（例えば図１４に黒丸３３６で示されている点）を全て連結して得られる平面領域（例えば図１４に示されている平面領域３３９）が検出平面として取得される。

【0053】

なお、制御部１１０は、ステップＳ１０９の後に再度ステップＳ１０８に戻って新たな第２平面パラメータを導出する処理を所定の回数繰り返してもよい。すなわち、制御部１１０は、ステップＳ１０９で抽出された第２抽出点群から最小二乗法を用いて平面パラメータ（新たな第２平面パラメータ）を導出し、ステップＳ１０２で取得された全ての３次元点群データの中から、この新たな第２平面パラメータで表される平面からの法線距離が第２閾値未満である点群を抽出し、抽出した点群のうち連続しているものだけを選択して新たな第２抽出点群を抽出してもよい。

【0054】

さらにこの場合、直前の第２平面パラメータと新たに得られた第２平面パラメータとの差異が所定範囲内だったら、制御部１１０はステップＳ１０８に戻らずに、その時点での第２平面パラメータを最終的な第２平面パラメータとして、ステップＳ１１０に進んで検出平面を取得してもよい。

【0055】

また、グリッドグループ生成処理において複数のグリッドグループを生成した場合、制御部１１０は、各グリッドグループからそれぞれ別の検出平面を取得することになる。この場合、取得できた複数の検出平面を提示して、どの検出平面を採用するかユーザに選択させてもよい。また、何らかの基準（例えば、面積が最大、最も平坦、重心が最も中央に近い等）に従って、制御部１１０が１つの検出平面を選択してもよい。

【0056】

また、上述の第１閾値と第２閾値とは同じ値を設定してもよいし、異なる値を設定してもよい。これらの閾値が大きいと比較的広い平面が検出されやすくなる反面、検出された平面に凸凹が含まれやすくなる。基本的には、どのような平面を検出したいかによって第１閾値及び第２閾値には同じ値（広い面積を重視するなら大きめの値、平坦性を重視するなら小さめの値）を設定するのがよい。また、まず広めの平面に当たりを付けてから平坦性を重視した平面を検出したい場合には第１閾値より第２閾値を小さい値に設定するのがよい。逆に、まず平坦性を重視した平面に当たりを付けてから面積が広い平面を検出したい場合には第１閾値より第２閾値を大きい値に設定するのがよい。

【0057】

なお、平面検出処理（図３）で取得される検出平面の形状は不定であるが、プロジェクタ２５０が投影するエリアは所定のアスペクト比の長方形である。したがって、制御部１１０は、平面検出処理で検出された検出平面の内部であって、検出平面に内接する所定のアスペクト比の長方形をプロジェクタ２５０の投影領域に設定してもよい。

【0058】

逆に、制御部１１０は、平面検出処理で検出された検出平面を内部に含むようにプロジェクタ２５０の投影領域を設定し、投影領域内の検出平面内に投影コンテンツを投影するようにしてもよい。

【0059】

また、投影制御システム１００において、上述のように検出された平面に投影コンテンツを投影するためには、投影部１５０における座標（プロジェクタ座標）と検出部１４０における座標（カメラ座標）との対応関係の情報が必要になる場合がある。その場合には、この対応関係の情報を取得するために、事前にキャリブレーション処理を行っておく。

【0060】

キャリブレーション処理の処理内容は任意だが、例えば、まず作業台３００の上に何も載置されていない状態で、市松模様のチェック画像を投影部１５０（プロジェクタ２５０）で作業台３００に投影して、投影された画像を検出部１４０（３Ｄカメラ２４０）で撮影する。そして、制御部１１０は、撮影した画像中の各交点の座標（カメラ座標）と、元のチェック画像中の各交点の座標（プロジェクタ座標）とを対応させる。この両座標の対応に基づき、投影制御システム１００は、作業台３００上のある領域（カメラ座標で表される領域）に投影するには、どのような画像（プロジェクタ座標で表される画像）を投影すればよいか等、プロジェクタ座標とカメラ座標の対応関係の情報を取得することができる。

【0061】

以上説明した平面検出処理により、制御部１１０は、所定の領域における３次元情報から点群データを取得し、この所定の領域が分割された複数のグリッドそれぞれに含まれる点群データ（グリッド点群データ）に基づいて、グリッド単位での平面パラメータ（グリッドパラメータ）を導出するとともに、平面の連続性を考慮して複数の連続したグリッドから生成されたグリッドグループの平面パラメータ（第１平面パラメータ）を導出することができるので、平面を従来よりも精度良く検出することができる。

【0062】

また、上述のグリッドグループ生成処理においては、複数のグリッドグループが生成された場合、制御部１１０は、面積が最も大きいグリッドグループを選択し、選択したグリッドグループに含まれる点群データに基づいてグリッドグループの平面パラメータ（第１平面パラメータ）を導出することにより、処理の高速化と、平面パラメータの精度の向上を図ることができる。

【0063】

また、制御部１１０は、ＲＡＮＳＡＣを用いて各グリッドの平面パラメータを導出することにより、導出されるグリッドパラメータの精度を向上させることができる。

【0064】

また、制御部１１０は、グリッドグループに含まれる全ての点群データ（グリッドグループ点群データ）に最もフィットする平面の平面パラメータ（第１平面パラメータ）を最小二乗法により導出することにより、導出される第１平面パラメータの精度を向上させることができる。

【0065】

また、制御部１１０は、第１平面パラメータが表す平面からの法線距離が第１閾値未満であり、かつ、グリッドグループに含まれるか又は隣接する点群データ（第１抽出点群）に基づいて第２平面パラメータを導出する。したがって、制御部１１０は、導出される第２平面パラメータの精度を第１平面パラメータの精度よりもさらに向上させることができる。

【0066】

また、制御部１１０は、第１抽出点群に含まれる全ての点に最もフィットする平面の平面パラメータを最小二乗法により導出することにより、導出される第２平面パラメータの
精度を向上させることができる。

【0067】

また、制御部１１０は、第２平面パラメータが表す平面からの法線距離が第２閾値未満である点群データ（第２抽出点群）からなる平面領域を検出平面として取得することにより、平面を従来よりも精度良く検出することができる。

【0068】

また、制御部１１０は、第２平面パラメータが表す平面からの法線距離が第２閾値未満である点群データである第２抽出点群に基づいて新たな第２平面パラメータを導出する処理を所定の回数繰り返して、最終的な第２平面パラメータを導出することにより、最終的に導出される第２平面パラメータの精度をさらに向上させることができる。

【0069】

また、制御部１１０は、上述のように新たな第２平面パラメータを導出する処理を所定の回数繰り返す際に、第２平面パラメータと新たな第２平面パラメータとの差異が所定範囲内だった場合には、それ以後新たな第２平面パラメータを導出する処理は繰り返さず、その時点での新たな第２平面パラメータを最終的な第２平面パラメータとすることにより、最終的に導出される第２平面パラメータの精度を落とさずに処理を高速化することができる。

【0070】

（変形例）
上述の実施の形態では、投影制御システム１００は、投影部１５０を備え、情報処理装置２００は、投影面（投影部１５０で投影するエリア）を検出するために平面検出処理を行っていた。しかし、これは平面検出処理の活用例の１つにすぎない。例えば、投影部１５０を備えないシステム（平面検出システム）においても、机の上の平面領域を検出して、その検出した平面領域を「物体等が存在しない作業エリアとして使用可能なエリア」としてディスプレイ等に表示する等の活用方法もある。これに限らず平面検出処理は、平面領域が必要になる用途であれば、任意の用途に用いることができる。

【0071】

また、上述の実施の形態では、投影面に用いる平面を検出するために、グリッドグループの生成においては、各グリッドの平面パラメータが類似しているだけでなく、グリッド同士が隣り合っていることも同じグループ番号が付与されるための条件としていた。しかし、各グリッドの平面パラメータが類似していることのみを条件として、同じグループ番号を付与するようにしてもよい。このようにすることにより、分断されている平面であっても、同一の平面として検出することができるようになる。例えば、机の中央部分に大きな作業物が載置されていて、机の上の左の平面領域と右の平面領域とが作業物で分断されていたとしても、左右の平面領域を１つの平面領域として検出可能になる。

【0072】

（その他の変形例）
なお、投影制御システム１００は、ＰＣ２１０、３Ｄカメラ２４０、プロジェクタ２５０からなるシステムに限らず、測距機能を備えたプロジェクタ２５０単体のシステムや、３Ｄカメラ２４０とプロジェクタ２５０からなるシステムとして実現することもできる。また、上述の実施の形態では制御部１１０はＰＣ２１０が備えるものとして説明したが、例えばプロジェクタ２５０が制御部１１０を備え、投影制御システム１００の制御を全てプロジェクタ２５０の備える制御部１１０が行うようにしてもよい。また、投影が不要のシステム（平面検出システム）の場合には、ＰＣ２１０、３Ｄカメラ２４０からなるシステムとして実現することもできる。さらに、３Ｄカメラ２４０が、制御部１１０、記憶部１２０、操作入力部１３０を備えることにより、３Ｄカメラ２４０のみからなる平面検出システムを実現することもできる。

【0073】

また、情報処理装置２００としてのＰＣ２１０は、通常のＰＣに限らず、制御部１１０と記憶部１２０を備えたコンピュータであれば任意のコンピュータを用いることができる。情報処理装置２００は、例えばワンボードマイコンでもよい。

【0074】

また、上記実施の形態では、制御部１１０が実行する平面検出処理等のプログラムが、記憶部１２０に予め記憶されているものとして説明した。しかし、プログラムを、フレキシブルディスク、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）、ＭＯ（Ｍａｇｎｅｔｏ－Ｏｐｔｉｃａｌ ｄｉｓｃ）、メモリカード、ＵＳＢメモリ等の非一時的なコンピュータ読み取り可能な記録媒体に格納して配布し、そのプログラムをコンピュータに読み込んでインストールすることにより、上述の各処理を実行することができるコンピュータを構成してもよい。

【0075】

さらに、プログラムを搬送波に重畳し、インターネットなどの通信媒体を介して適用することもできる。例えば、通信ネットワーク上の掲示板（ＢＢＳ：Ｂｕｌｌｅｔｉｎ Ｂｏａｒｄ Ｓｙｓｔｅｍ）にプログラムを掲示して配信してもよい。そして、このプログラムを起動し、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）の制御下で、他のアプリケーションプログラムと同様に実行することにより、上述の各処理を実行できるように構成してもよい。

【0076】

また、制御部１１０は、シングルプロセッサ、マルチプロセッサ、マルチコアプロセッサ等の任意のプロセッサ単体で構成されるものの他、これら任意のプロセッサと、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ‐Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の処理回路とが組み合わせられて構成されてもよい。

【0077】

以上、本発明の好ましい実施の形態について説明したが、本発明は係る特定の実施の形態に限定されるものではなく、本発明には、特許請求の範囲に記載された発明とその均等の範囲とが含まれる。

【符号の説明】

【0078】

１００…投影制御システム、１１０…制御部、１２０…記憶部、１３０…操作入力部、１４０…検出部、１５０…投影部、２００…情報処理装置、２１０…ＰＣ、２４０…３Ｄカメラ、２５０…プロジェクタ、３００…作業台、３１０…作業物、３２０，３３９…平面領域、３３０…撮影画像、３３１…グリッド、３３２，３３８…白丸、３３３…三角形、３３４，３３７…網掛丸、３３５…グリッドグループ、３３６…黒丸

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】