ホーム > 特許ランキング > 株式会社日本総合研究所
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022113575
(43)【公開日】2022-08-04
(54)【発明の名称】情報処理装置、情報処理方法、及び、プログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20220728BHJP
G06T 7/70 20170101ALI20220728BHJP
G06F 3/04845 20220101ALI20220728BHJP
G09G 5/00 20060101ALI20220728BHJP
G09G 5/38 20060101ALI20220728BHJP
G09G 5/36 20060101ALI20220728BHJP
G09G 5/08 20060101ALI20220728BHJP
H04N 5/74 20060101ALN20220728BHJP
【ＦＩ】
G06T7/00 C
G06T7/70 A
G06F3/0484 150
G09G5/00 510B
G09G5/00 550C
G09G5/38 A
G09G5/00 530H
G09G5/36 520D
G09G5/08 K
G09G5/08 M
H04N5/74 Z
【審査請求】未請求
【請求項の数】11
【出願形態】ＯＬ
(21)【出願番号】P 2021009898
(22)【出願日】2021-01-25
(71)【出願人】
【識別番号】302064762
【氏名又は名称】株式会社日本総合研究所
(74)【代理人】
【識別番号】110000877
【氏名又は名称】龍華国際特許業務法人
(72)【発明者】
【氏名】武田 成広
【テーマコード（参考）】
5C058
5C182
5E555
5L096
【Ｆターム（参考）】
5C058BA35
5C058EA02
5C182AA04
5C182AA13
5C182AA14
5C182AB04
5C182AB34
5C182AC03
5C182AC38
5C182BA01
5C182BA04
5C182BA14
5C182BA45
5C182BA65
5C182BA66
5C182BA68
5C182BB02
5C182BC25
5C182CA32
5C182CB11
5C182CB41
5C182CB42
5C182DA19
5C182DA44
5C182DA62
5E555AA27
5E555BA29
5E555BA83
5E555BB29
5E555BC08
5E555CA29
5E555CA42
5E555CB45
5E555DA03
5E555DB53
5E555DC09
5E555FA00
5L096AA02
5L096AA06
5L096AA09
5L096CA05
5L096DA04
5L096FA06
5L096FA33
5L096FA66
5L096FA67
5L096FA69
5L096GA51
5L096HA05
5L096HA08
5L096HA11
5L096JA11
(57)【要約】
【解決手段】 情報処理装置が、三次元空間に配置された第１物体の三次元点群データを取得する点群データ取得部と、点群データ取得部が取得した三次元点群データに基づいて、第１物体の三次元モデルを含む仮想空間を構築するモデリング部と、第１ユーザからの指示であって、仮想空間に配された第１物体の三次元モデルの表面に配された点又は領域である指示位置を特定するための第１指示を受け付ける指示受付部と、画像を投影する投影装置を制御して、第１物体の表面における指示位置に対応する点又は領域である投影位置に、第１画像を投影させる投影制御部とを備える。
【選択図】図１
【選択図】図１
【特許請求の範囲】
【請求項1】
三次元空間に配置された第１物体の三次元点群データを取得する点群データ取得部と、
前記点群データ取得部が取得した前記三次元点群データに基づいて、前記第１物体の三次元モデルを含む仮想空間を構築するモデリング部と、
第１ユーザからの指示であって、前記仮想空間に配された前記第１物体の前記三次元モデルの表面に配された点又は領域である指示位置を特定するための第１指示を受け付ける指示受付部と、
画像を投影する投影装置を制御して、前記第１物体の表面における前記指示位置に対応する点又は領域である投影位置に、第１画像を投影させる投影制御部と、
を備える、情報処理装置。
前記点群データ取得部が取得した前記三次元点群データに基づいて、前記第１物体の三次元モデルを含む仮想空間を構築するモデリング部と、
第１ユーザからの指示であって、前記仮想空間に配された前記第１物体の前記三次元モデルの表面に配された点又は領域である指示位置を特定するための第１指示を受け付ける指示受付部と、
画像を投影する投影装置を制御して、前記第１物体の表面における前記指示位置に対応する点又は領域である投影位置に、第１画像を投影させる投影制御部と、
を備える、情報処理装置。
【請求項2】
前記投影制御部は、前記三次元空間において前記第１物体が移動した場合、前記第１物体に投影される前記第１画像が前記第１物体の移動に追従するように、前記投影装置を制御する、
請求項１に記載の情報処理装置。
請求項１に記載の情報処理装置。
【請求項3】
前記指示受付部は、前記第１ユーザからの指示であって、前記第１画像の属性を特定するための第２指示を受け付け、
前記投影制御部は、
（ｉ）前記第２指示により示される前記第１画像の属性が第１属性である場合、前記三次元空間において前記第１物体が移動したときに、前記第１物体に投影される前記第１画像が前記第１物体の移動に追従するように、前記第１画像の投影方向、並びに、前記第１画像の形状及び大きさの少なくとも１つを調整し、
（ｉｉ）前記第２指示により示される前記第１画像の属性が第２属性である場合、前記三次元空間において前記第１物体が移動しても、前記第１画像の投影方向、並びに、前記第１画像の形状及び大きさを調整しない、
請求項１又は請求項２に記載の情報処理装置。
前記投影制御部は、
（ｉ）前記第２指示により示される前記第１画像の属性が第１属性である場合、前記三次元空間において前記第１物体が移動したときに、前記第１物体に投影される前記第１画像が前記第１物体の移動に追従するように、前記第１画像の投影方向、並びに、前記第１画像の形状及び大きさの少なくとも１つを調整し、
（ｉｉ）前記第２指示により示される前記第１画像の属性が第２属性である場合、前記三次元空間において前記第１物体が移動しても、前記第１画像の投影方向、並びに、前記第１画像の形状及び大きさを調整しない、
請求項１又は請求項２に記載の情報処理装置。
【請求項4】
前記指示受付部は、前記第１ユーザからの指示であって、（ｉ）前記第１物体の前記三次元モデルの基準点に対する前記指示位置の相対位置、又は、（ｉｉ）前記仮想空間の基準点に対する前記指示位置の相対位置を固定するための第３指示を受け付け、
前記投影制御部は、
（ｉ）前記指示受付部が前記第３指示を受け付け、且つ、前記第２指示により示される前記第１画像の属性が第１属性である場合、前記三次元空間において前記第１物体が移動したときに、前記第１物体に投影される前記第１画像が前記第１物体の移動に追従するように、前記第１画像の投影方向、並びに、前記第１画像の形状及び大きさの少なくとも１つを調整し、
（ｉｉ）前記指示受付部が前記第３指示を受け付け、且つ、前記第２指示により示される前記第１画像の属性が第２属性である場合、前記三次元空間において前記第１物体が移動しても、前記第１画像の投影方向、並びに、前記第１画像の形状及び大きさを調整しない、
請求項３に記載の情報処理装置。
前記投影制御部は、
（ｉ）前記指示受付部が前記第３指示を受け付け、且つ、前記第２指示により示される前記第１画像の属性が第１属性である場合、前記三次元空間において前記第１物体が移動したときに、前記第１物体に投影される前記第１画像が前記第１物体の移動に追従するように、前記第１画像の投影方向、並びに、前記第１画像の形状及び大きさの少なくとも１つを調整し、
（ｉｉ）前記指示受付部が前記第３指示を受け付け、且つ、前記第２指示により示される前記第１画像の属性が第２属性である場合、前記三次元空間において前記第１物体が移動しても、前記第１画像の投影方向、並びに、前記第１画像の形状及び大きさを調整しない、
請求項３に記載の情報処理装置。
【請求項5】
前記指示受付部は、前記第１ユーザからの指示であって、前記第１画像の投影の開始又は停止に関する第４指示を受け付け、
前記投影制御部は、前記第４指示に基づいて、前記第１画像を前記第１物体に投影するか否かを決定する、
請求項１から請求項４までの何れか一項に記載の情報処理装置。
前記投影制御部は、前記第４指示に基づいて、前記第１画像を前記第１物体に投影するか否かを決定する、
請求項１から請求項４までの何れか一項に記載の情報処理装置。
【請求項6】
前記第１ユーザが前記仮想空間における前記指示位置を指定するために用いられるポインティングデバイス又はコントローラが出力した制御信号に基づいて、前記仮想空間の特定の点を指し示すマークの動きを制御する指示マーク制御部をさらに備える、
請求項１から請求項５までの何れか一項に記載の情報処理装置。
請求項１から請求項５までの何れか一項に記載の情報処理装置。
【請求項7】
前記指示マーク制御部は、前記第１物体の前記三次元モデルの境界近傍における前記マークの動き方を規定する第１設定情報に基づいて、前記マークの動きを制御する、
請求項６に記載の情報処理装置。
請求項６に記載の情報処理装置。
【請求項8】
前記第１物体の画像データを取得する画像データ取得部と、
前記画像データ取得部が取得した前記画像データに基づいて、前記第１物体の種類を推定する物体推定部と、
１以上の物体のそれぞれの種類を示す情報と、各物体の表面上の１以上の位置のそれぞれに対応する各物体の三次元モデルの１以上の位置のそれぞれにおける前記マークの動き方を規定する第２設定情報とを対応付けて格納する設定格納部を参照して、前記物体推定部が推定した前記第１物体の前記種類に応じた前記第２設定情報を抽出する設定抽出部と、
をさらに備え、
前記指示マーク制御部は、前記設定抽出部が抽出した前記第２設定情報に基づいて、前記マークの動きを制御する、
請求項６又は請求項７に記載の情報処理装置。
前記画像データ取得部が取得した前記画像データに基づいて、前記第１物体の種類を推定する物体推定部と、
１以上の物体のそれぞれの種類を示す情報と、各物体の表面上の１以上の位置のそれぞれに対応する各物体の三次元モデルの１以上の位置のそれぞれにおける前記マークの動き方を規定する第２設定情報とを対応付けて格納する設定格納部を参照して、前記物体推定部が推定した前記第１物体の前記種類に応じた前記第２設定情報を抽出する設定抽出部と、
をさらに備え、
前記指示マーク制御部は、前記設定抽出部が抽出した前記第２設定情報に基づいて、前記マークの動きを制御する、
請求項６又は請求項７に記載の情報処理装置。
【請求項9】
前記点群データ取得部は、前記第１物体に光を照射して得られた前記光の反射光に基づいて前記第１物体の前記三次元点群データを出力する測定装置から、前記第１物体の前記三次元点群データを取得し、
前記測定装置は、前記第１物体を撮像する撮像部を有し、
前記情報処理装置は、前記測定装置と、前記投影装置との位置関係を決定する較正部をさらに備え、
前記投影装置は、互いの相対位置が既知である少なくとも３つの線分を含む較正画像を、前記三次元空間に投影し、
前記撮像部は、前記投影装置が前記三次元空間に投影した前記較正画像を撮像し、
前記較正部は、前記撮像部が撮像した前記較正画像に基づいて、前記測定装置と、前記投影装置との位置関係を決定する、
請求項１から請求項８までの何れか一項に記載の情報処理装置。
前記測定装置は、前記第１物体を撮像する撮像部を有し、
前記情報処理装置は、前記測定装置と、前記投影装置との位置関係を決定する較正部をさらに備え、
前記投影装置は、互いの相対位置が既知である少なくとも３つの線分を含む較正画像を、前記三次元空間に投影し、
前記撮像部は、前記投影装置が前記三次元空間に投影した前記較正画像を撮像し、
前記較正部は、前記撮像部が撮像した前記較正画像に基づいて、前記測定装置と、前記投影装置との位置関係を決定する、
請求項１から請求項８までの何れか一項に記載の情報処理装置。
【請求項10】
コンピュータを、請求項１から請求項９までの何れか一項に記載の情報処理装置として機能させるためのプログラム。
【請求項11】
三次元空間に配置された第１物体の三次元点群データを取得する点群データ取得段階と、
前記点群データ取得段階において取得された前記三次元点群データに基づいて、前記第１物体の三次元モデルを含む仮想空間を構築するモデリング段階と、
第１ユーザからの指示であって、前記仮想空間に配された前記第１物体の前記三次元モデルの表面に配された点又は領域である指示位置を特定するための第１指示を受け付ける指示受付段階と、
画像を投影する投影装置を制御して、前記第１物体の表面における前記指示位置に対応する点又は領域である投影位置に、第１画像を投影させる投影制御段階と、
を有する、情報処理方法。
前記点群データ取得段階において取得された前記三次元点群データに基づいて、前記第１物体の三次元モデルを含む仮想空間を構築するモデリング段階と、
第１ユーザからの指示であって、前記仮想空間に配された前記第１物体の前記三次元モデルの表面に配された点又は領域である指示位置を特定するための第１指示を受け付ける指示受付段階と、
画像を投影する投影装置を制御して、前記第１物体の表面における前記指示位置に対応する点又は領域である投影位置に、第１画像を投影させる投影制御段階と、
を有する、情報処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、情報処理方法及びプログラムに関する。
【背景技術】
【0002】
特許文献１には、複数のオブジェクトが存在する対象空間を撮影して、複数のオブジェクトの三次元位置を測定する距離測定装置を利用して、複数のオブジェクトをトラッキングするトラッキング装置が開示されている。
［先行技術文献］
［特許文献］
［特許文献１］特開２０１９－２０５０６０号公報
［先行技術文献］
［特許文献］
［特許文献１］特開２０１９－２０５０６０号公報
【発明の概要】
【課題を解決するための手段】
【0003】
本発明の第１の態様においては、情報処理装置が提供される。上記の情報処理装置は、例えば、三次元空間に配置された第１物体の三次元点群データを取得する点群データ取得部を備える。上記の情報処理装置は、例えば、点群データ取得部が取得した三次元点群データに基づいて、第１物体の三次元モデルを含む仮想空間を構築するモデリング部を備える。上記の情報処理装置は、例えば、第１ユーザからの指示であって、仮想空間に配された第１物体の三次元モデルの表面に配された点又は領域である指示位置を特定するための第１指示を受け付ける指示受付部を備える。上記の情報処理装置は、例えば、画像を投影する投影装置を制御して、第１物体の表面における指示位置に対応する点又は領域である投影位置に、第１画像を投影させる投影制御部を備える。
【0004】
上記の情報処理装置において、投影制御部は、三次元空間において第１物体が移動した場合、第１物体に投影される第１画像が第１物体の移動に追従するように、投影装置を制御してよい。上記の情報処理装置において、指示受付部は、第１ユーザからの指示であって、第１画像の属性を特定するための第２指示を受け付けてよい。上記の情報処理装置において、投影制御部は、（ｉ）第２指示により示される第１画像の属性が第１属性である場合、三次元空間において第１物体が移動したときに、第１物体に投影される第１画像が第１物体の移動に追従するように、第１画像の投影方向、並びに、第１画像の形状及び大きさの少なくとも１つを調整してよい。投影制御部は、（ｉｉ）第２指示により示される第１画像の属性が第２属性である場合、三次元空間において第１物体が移動しても、第１画像の投影方向、並びに、第１画像の形状及び大きさを調整しなくてもよい。
【0005】
上記の情報処理装置において、指示受付部は、第１ユーザからの指示であって、（ｉ）第１物体の三次元モデルの基準点に対する指示位置の相対位置、又は、（ｉｉ）仮想空間の基準点に対する指示位置の相対位置を固定するための第３指示を受け付けてよい。上記の情報処理装置において、投影制御部は、（ｉ）指示受付部が第３指示を受け付け、且つ、第２指示により示される第１画像の属性が第１属性である場合、三次元空間において第１物体が移動したときに、第１物体に投影される第１画像が第１物体の移動に追従するように、第１画像の投影方向、並びに、第１画像の形状及び大きさの少なくとも１つを調整してよい。投影制御部は、（ｉｉ）指示受付部が第３指示を受け付け、且つ、第２指示により示される第１画像の属性が第２属性である場合、三次元空間において第１物体が移動しても、第１画像の投影方向、並びに、第１画像の形状及び大きさを調整しなくてもよい。
【0006】
上記の情報処理装置において、指示受付部は、第１ユーザからの指示であって、第１画像の投影の開始又は停止に関する第４指示を受け付けてよい。上記の情報処理装置において、投影制御部は、第４指示に基づいて、第１画像を第１物体に投影するか否かを決定してよい。上記の情報処理装置は、第１ユーザが仮想空間における指示位置を指定するために用いられるポインティングデバイス又はコントローラが出力した制御信号に基づいて、仮想空間の特定の点を指し示すマークの動きを制御する指示マーク制御部を備えてよい。上記の情報処理装置において、指示マーク制御部は、第１物体の三次元モデルの境界近傍におけるマークの動き方を規定する第１設定情報に基づいて、マークの動きを制御してよい。
【0007】
上記の情報処理装置は、第１物体の画像データを取得する画像データ取得部を備えてよい。上記の情報処理装置は、画像データ取得部が取得した画像データに基づいて、第１物体の種類を推定する物体推定部を備えてよい。上記の情報処理装置は、１以上の物体のそれぞれの種類を示す情報と、各物体の表面上の１以上の位置のそれぞれに対応する各物体の三次元モデルの１以上の位置のそれぞれにおけるマークの動き方を規定する第２設定情報とを対応付けて格納する設定格納部を参照して、物体推定部が推定した第１物体の種類に応じた第２設定情報を抽出する設定抽出部を備えてよい。上記の情報処理装置において、指示マーク制御部は、設定抽出部が抽出した第２設定情報に基づいて、マークの動きを制御してよい。
【0008】
上記の情報処理装置において、点群データ取得部は、第１物体に光を照射して得られた光の反射光に基づいて第１物体の三次元点群データを出力する測定装置から、第１物体の三次元点群データを取得してよい。上記の情報処理装置において、測定装置は、第１物体を撮像する撮像部を有してよい。上記の情報処理装置は、測定装置と、投影装置との位置関係を決定する較正部を備えてよい。上記の情報処理装置において、投影装置は、互いの相対位置が既知である少なくとも３つの線分を含む較正画像を、三次元空間に投影してよい。上記の情報処理装置において、撮像部は、投影装置が三次元空間に投影した較正画像を撮像してよい。上記の情報処理装置において、較正部は、撮像部が撮像した較正画像に基づいて、測定装置と、投影装置との位置関係を決定してよい。
【0009】
本発明の第２の態様においては、情報処理方法が提供される。上記の情報処理方法は、例えば、三次元空間に配置された第１物体の三次元点群データを取得する点群データ取得段階を有する。上記の情報処理方法は、例えば、点群データ取得段階において取得された三次元点群データに基づいて、第１物体の三次元モデルを含む仮想空間を構築するモデリング段階を有する。上記の情報処理方法は、例えば、第１ユーザからの指示であって、仮想空間に配された第１物体の三次元モデルの表面に配された点又は領域である指示位置を特定するための第１指示を受け付ける指示受付段階を有する。上記の情報処理方法は、例えば、画像を投影する投影装置を制御して、第１物体の表面における指示位置に対応する点又は領域である投影位置に、第１画像を投影させる投影制御段階を有する。
【0010】
本発明の第３の態様においては、プログラムが提供される。上記のプログラムは、コンピュータを、上記の第１の実施形態に係る情報処理装置として機能させるためのプログラムであってよい。上記のプログラムは、コンピュータに、上記の第２の実施形態に係る情報処理方法を実行させるためのプログラムであってもよい。上記のプログラムを格納するコンピュータ可読媒体が提供されてもよい。コンピュータ可読媒体は、非一時的なコンピュータ可読媒体であってもよい。コンピュータ可読媒体は、コンピュータ可読記録媒体であってもよい。
【0011】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【図面の簡単な説明】
【0012】
【図1】作業支援システム１００のシステム構成の一例を概略的に示す。
【図2】作業対象１０２の一例を概略的に示す。
【図3】支援画像２０の一例を概略的に示す。
【図4】支援画像２０を操作するための操作画面４００の一例を概略的に示す。
【図5】ライダー１２４の内部構成の一例を概略的に示す。
【図6】作業室制御部１６２の内部構成の一例を概略的に示す。
【図7】較正画像７００の一例を概略的に示す。
【図8】支援端末制御部１６４の内部構成の一例を概略的に示す。
【図9】点群データ出力部５４０の内部構成の一例を概略的に示す。
【図10】バラツキ指標算出部９２６における情報処理の概要を示す。
【図11】第１補正部９３２における情報処理の概要を示す。
【図12】第２補正部９３４及び第３補正部９３６における情報処理の概要を示す。
【図13】バラツキ指標の値に基づいて生成された画像１３００の一例を示す。
【図14】コンピュータ３０００のシステム構成の一例を概略的に示す。
【発明を実施するための形態】
【0013】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。なお、図面において、同一または類似の部分には同一の参照番号を付して、重複する説明を省く場合がある。
【0014】
［作業支援システム１００の概要］
図１は、作業支援システム１００のシステム構成の一例を概略的に示す。本実施形態においては、作業者３２が、作業室１１０の内部で、作業対象１０２に対して特定の作業を実施するときに、支援者３４が、遠隔地から作業者３２の作業を支援する場合を例として、作業支援システム１００の詳細が説明される。上記の特定の作業の詳細は限定されるものではないが、上記の作業としては、書類の作成作業、物品の製造作業、物品の保守作業、物品の修理作業などが例示される。
図１は、作業支援システム１００のシステム構成の一例を概略的に示す。本実施形態においては、作業者３２が、作業室１１０の内部で、作業対象１０２に対して特定の作業を実施するときに、支援者３４が、遠隔地から作業者３２の作業を支援する場合を例として、作業支援システム１００の詳細が説明される。上記の特定の作業の詳細は限定されるものではないが、上記の作業としては、書類の作成作業、物品の製造作業、物品の保守作業、物品の修理作業などが例示される。
【0015】
具体的には、本実施形態によれば、支援者３４が、作業室１１０から離れた場所に配された支援端末１４０を操作して、作業室１１０に配されたプロジェクタ１２６から、作業対象１０２の表面又は近傍の適切な位置に向かって、作業対象１０２に対する作業を支援するための支援画像２０を投影させる。これにより、作業者３２は、（ｉ）支援画像２０が照射された位置、（ｉｉ）支援画像２０の色、形状及び模様の少なくとも１つ、（ｉｉｉ）支援画像２０により提示された情報などを参照して、作業を実施することができる。
【0016】
例えば、店舗を訪問した顧客（作業者３２の一例である。）が、当該店舗から離れた他の店舗で働く店員（支援者３４の一例である。）の支援を受けながら、契約書、申込書などの書類（作業対象１０２の一例である。）を作成するときに、顧客が押印箇所を認識することができない場合がある。このような場合において、上記の他の店舗で働く店員が、当該他の店舗に配された端末を利用して作業支援システム１００にアクセスし、当該端末の画面中で押印箇所の位置を指定すると、顧客の書類の当該押印箇所に、当該押印箇所の位置を協調するための画像が投影される。例えば、顧客の書類の押印箇所に、赤いドーナツ状の図形が投影される。その後、店員が、顧客に対して「赤い丸の位置に印鑑を押してください」と伝えることで、顧客は、押印箇所を容易に認識することができる。
【0017】
また、本実施形態によれば、作業支援システム１００は、支援者３４による支援画像２０の投影位置の指定を支援するために、仮想空間上に、作業対象１０２の周辺の三次元モデルを構築する。これにより、支援者３４は、作業対象１０２の三次元モデルを利用して、作業対象１０２の表面又は近傍の任意の点又は領域に支援画像２０を投影することを指示することができる。例えば、支援者３４は、仮想空間上で作業対象１０２の三次元モデルを回転させることができる。そのため、支援者３４は、作業対象１０２を真上から見た状態で、作業対象１０２上の任意の位置を容易に指定することができる。
【0018】
また、作業支援システム１００が、画像認識処理により作業対象１０２を検出したり、作業対象１０２の種類を推定する場合に、作業支援システム１００は、特定の方向から作業対象１０２を撮像して得られた教師画像と、特定の方向から作業対象１０２の三次元モデルを観察して得られた画像とを比較して、上記の画像認識処理を実行することができる。そのため、作業対象１０２の二次元画像と、作業対象１０２の教師画像とを比較して上記の画像認識処理を実行する場合と比較して、当該画像認識処理の負荷が軽減したり、当該画像認識処理の精度が向上したりする。
【0019】
さらに、本実施形態によれば、作業支援システム１００は、（ｉ）作業室１１０の内部の少なくとも一部に配された１以上の物体に光を照射し、（ｉｉ）１以上の物体の表面の複数の点のそれぞれにおいて散乱又は反射して戻ってきた光（反射光と称される場合がある。）に基づいて、作業室１１０の内部の少なくとも一部の三次元点群データを出力する測定装置を利用して、仮想空間上に、作業対象１０２の周辺の三次元モデルを構築する。作業支援システム１００は、上記の複数の点のそれぞれからの反射光の受光強度に基づいて、各点の深度を算出する。このとき、作業支援システム１００は、各点における反射光の受光強度のバラツキ具合を示す指標（バラツキ指標と称される場合がある。）を算出する。
【0020】
本発明者は、各点における反射光の強度のバラツキ具合が、物体の材質に大きく依存することを見出した。そのメカニズムは下記に限定されるものではないが、物体の材質によって、光の反射率又は吸収率、拡散反射及び／又は正反射に関する特性などが異なることから、上記の反射光の強度のバラツキ具合が物体の材質に大きく依存するものと推定される。
【0021】
本実施形態によれば、上記の知見に基づいて、作業支援システム１００は、作業室１１０の内部の少なくとも一部の三次元点群データから作業対象１０２を検出するときに、上記のバラツキ指標を利用する。これにより、例えば、ＲＧＢ画像又は距離画像を利用して作業対象１０２を検出することが困難な場合であっても、作業支援システム１００は、作業室１１０の内部の少なくとも一部の三次元点群データから作業対象１０２を比較的容易に検出することができる。
【0022】
例えば、作業室１１０の室内が暗い場合、作業対象１０２の周辺に強い光が差し込んでいる場合、作業対象１０２の周辺が他の物体の影により覆われている場合、又は、作業対象１０２の模様と、作業対象１０２の周辺の模様とが類似する場合、作業台１１２の上に配された作業対象１０２のＲＧＢ画像から、作業対象１０２の境界を検出することが難しい。一方、例えば、作業対象１０２及び作業台１１２の材質が異なる場合、作業対象１０２の表面上の点と、作業台１１２の表面上の点とで、上記のバラツキ指標の値が異なる。そこで、ＲＧＢ画像に代えて、又は、ＲＧＢ画像とともに、上記のバラツキ指標を利用することで、上記のような場合であっても、作業対象１０２の境界を比較的容易に検出することができる。
【0023】
同様に、例えば、作業対象１０２の厚さが非常に小さい場合、作業台１１２の上に配された作業対象１０２の距離画像から、作業対象１０２の境界を検出することが難しい。一方、距離画像に代えて、又は、距離画像とともに、上記のバラツキ指標を利用することで、上記のような場合であっても、作業対象１０２の境界を比較的容易に検出することができる。
【0024】
［作業支援システム１００のシステム構成の概要］
本実施形態において、作業支援システム１００は、作業室１１０と、支援端末１４０と、支援サーバ１６０とを備える。本実施形態において、作業室１１０の内部には、作業台１１２が配され、作業台１１２の周囲には、作業領域１１４が設定される。また、本実施形態において、作業室１１０の内部には、ディスプレイ１２２と、ライダー１２４と、プロジェクタ１２６とが配される。
本実施形態において、作業支援システム１００は、作業室１１０と、支援端末１４０と、支援サーバ１６０とを備える。本実施形態において、作業室１１０の内部には、作業台１１２が配され、作業台１１２の周囲には、作業領域１１４が設定される。また、本実施形態において、作業室１１０の内部には、ディスプレイ１２２と、ライダー１２４と、プロジェクタ１２６とが配される。
【0025】
本実施形態において、作業対象１０２は、作業者３２が実施する作業の対象となる有体物である。作業対象１０２の表面には、正反射率と比較して拡散反射率の大きな物質が配されることが好ましい。作業対象１０２の表面には、紙、金属又は金属酸化物の薄膜、合成高分子又は天然高分子の薄膜、植物の葉、菌類などが配されてよい。菌類としては、カビ、キノコなどが例示される。作業対象１０２は、紙、金属又は金属酸化物の薄膜、合成高分子又は天然高分子の薄膜、樹脂の薄膜、植物、植物の葉、食品、及び、菌類の少なくとも１つを含んでよい。作業対象１０２は、紙、金属又は金属酸化物の薄膜、合成高分子又は天然高分子の薄膜、樹脂の薄膜、及び、これらの組み合わせ又は集合体であってよい。作業対象１０２は、植物の葉又は食品であってよい。
【0026】
作業対象１０２の厚さは、３ｍｍ未満であってもよく、１ｍｍ未満であってもよく、０．５ｍｍ未満であってもよく、０．３ｍｍ未満であってもよく、０．１ｍｍ未満であってもよい。作業対象１０２は、厚さが３ｍｍ未満の物体の集合体であってもよく、厚さが１ｍｍ未満の物体の集合体であってもよく、厚さが０．５ｍｍ未満の物体の集合体であってもよく、厚さが０．３ｍｍ未満の物体の集合体であってもよく、厚さが０．１ｍｍ未満の物体の集合体であってもよい。
【0027】
作業対象１０２が、紙、金属又は金属酸化物の薄膜、合成高分子又は天然高分子の薄膜、及び、これらの組み合わせ又は集合体である場合、作業対象１０２の厚さが非常に小さい。そのため、例えば、距離画像により示される深度情報に基づいて、作業対象１０２を検出又は認識することは、比較的困難である。しかしながら、後述されるとおり、作業支援システム１００の一実施形態によれば、作業対象１０２の厚さが非常に小さい場合であっても、作業対象１０２の表面における光の反射特性又は拡散特性と、作業対象１０２の周囲の物体の表面における光の反射特性又は拡散特性との違いを利用して、作業対象１０２を検出又は認識することができる。
【0028】
また、作業対象１０２が、植物の葉である場合、病気により、葉の表面が変色したり、葉の表面に菌が繁殖したりすることがある。ところが、例えば、葉の色は撮像条件（例えば、撮像時の明るさである。）によって大きく変動するので、葉のＲＧＢ画像に基づいて、葉の健康状態を推定したり、健康な葉及び病気の葉を区別することは、比較的困難である。しかしながら、作業支援システム１００の一実施形態によれば、健康な葉の表面における光の反射特性又は拡散特性と、病気の葉の表面における光の反射特性又は拡散特性との違いを利用して、葉の健康状態を推定したり、健康な葉及び病気の葉を区別することができる。
【0029】
さらに、作業対象１０２が食品である場合、腐敗又は発酵により、食品の性質が変化することがある。ところが、腐敗又は発酵による色の変化は必ずしも大きくはなく、食品のＲＧＢ画像に基づいて、当該食品の腐敗又は発酵の進行具合を検出することは、比較的困難である。しかしながら、作業支援システム１００の一実施形態によれば、腐敗又は発酵していない食品の表面における光の反射特性又は拡散特性と、腐敗又は発酵が進行した食品の表面における光の反射特性又は拡散特性との違いを利用して、食品の腐敗又は発酵の進行具合を検出することができる。
【0030】
本実施形態において、支援端末１４０は、支援端末１４２と、支援端末１４２の入力装置の一部として機能するコントローラ１４４とを含む。また、本実施形態において、支援端末１４０は、支援端末１４６と、支援端末１４６の入力装置の一部として機能するポインティングデバイス１４８とを含む。
【0031】
本実施形態において、支援サーバ１６０は、作業室制御部１６２と、支援端末制御部１６４とを備える。作業室１１０に配された各種の機器、支援端末１４０、及び、支援サーバ１６０は、通信ネットワーク１０を介して、互いに情報を送受することができる。
【0032】
［作業支援システム１００に関連する各部の概要］
本実施形態において、通信ネットワーク１０は、有線通信の伝送路であってもよく、無線通信の伝送路であってもよく、無線通信の伝送路及び有線通信の伝送路の組み合わせであってもよい。通信ネットワーク１０は、無線パケット通信網、インターネット、Ｐ２Ｐネットワーク、専用回線、ＶＰＮ、電力線通信回線などを含んでもよい。
本実施形態において、通信ネットワーク１０は、有線通信の伝送路であってもよく、無線通信の伝送路であってもよく、無線通信の伝送路及び有線通信の伝送路の組み合わせであってもよい。通信ネットワーク１０は、無線パケット通信網、インターネット、Ｐ２Ｐネットワーク、専用回線、ＶＰＮ、電力線通信回線などを含んでもよい。
【0033】
通信ネットワーク１０は、（ｉ）携帯電話回線網などの移動体通信網を含んでもよく、（ｉｉ）無線ＭＡＮ（例えば、ＷｉＭＡＸ（登録商標）である。）、無線ＬＡＮ（例えば、ＷｉＦｉ（登録商標）である。）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｚｉｇｂｅｅ（登録商標）、ＮＦＣ（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）などの無線通信網を含んでもよい。無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｚｉｇｂｅｅ（登録商標）、及び、ＮＦＣは、近距離無線通信の一例であってもよい。
【0034】
本実施形態において、支援画像２０は、図形を含んでもよく、文字列を含んでもよい。本実施形態において、支援画像２０は、作業者３２に対するメッセージを含んでもよい。
【0035】
本実施形態において、作業室１１０及び作業台１１２は、作業者３２が作業を実施するために利用される。例えば、作業対象１０２は、作業台１１２の上に配される。作業台１１２の材質は、作業対象１０２の材質とは異なることが好ましい。本実施形態において、作業領域１１４は、少なくとも作業対象１０２の一部を含む。作業領域１１４は、作業対象１０２の全体と、作業台１１２の少なくとも一部とを含む空間であってよい。
【0036】
本実施形態において、ディスプレイ１２２は、作業者３２に対して情報を提示する。ディスプレイ１２２は、画像及び／又は音声により、作業者３２に情報を提示してよい。例えば、ディスプレイ１２２は、支援者３４の映像及び／又は音声を出力する。これにより、作業者３２は、テレビ会議又はＷｅｂ会議のように、支援者３４と会話しながら作業を実施することができる。
【0037】
本実施形態において、ライダー１２４は、作業室１１０の内部の三次元点群データを取得する。ライダー１２４は、作業領域１１４の内部の三次元点群データを取得してよい。例えば、ライダー１２４は、作業領域１１４の内部に配された１以上の物体に光を照射し、当該光の反射光を受光する。ライダー１２４は、上記の反射光に基づいて、作業領域１１４の内部に配された１以上の物体の三次元点群データを出力する。ライダー１２４の詳細は後述される。
【0038】
本実施形態において、プロジェクタ１２６は、作業対象１０２の表面又近傍に支援画像２０を投影する。プロジェクタ１２６は、支援サーバ１６０からの指示に従って、作業対象１０２の表面又近傍に支援画像２０を投影してよい。プロジェクタ１２６は、支援サーバ１６０からの指示に従って、支援画像２０の投影のＯＮ／ＯＦＦを切り替えてよい。
【0039】
本実施形態において、支援端末１４０は、支援者３４により利用される。支援端末１４０は、支援者３４が作業支援システム１００にアクセスする場合におけるユーザインタフェースとして機能してよい。例えば、支援端末１４０は、支援者３４が支援画像２０の投影位置を指示するために利用される。支援端末１４０としては、パーソナルコンピュータ、携帯端末などが例示される。携帯端末としては、携帯電話、スマートフォン、ＰＤＡ、タブレット、ノートブック・コンピュータ又はラップトップ・コンピュータ、ウエアラブル・コンピュータなどが例示される。
【0040】
本実施形態において、支援端末１４２は、ＶＲ（仮想現実）ゴーグルのような、ユーザに対してＸＲ体験を提供する機器を含む。ＸＲは、ＶＲ（仮想現実）、ＡＲ（拡張現実）、ＭＲ（複合現実）、ＳＲ（代替現実）などの総称であってよい。支援者３４は、コントローラ１４４を利用して、支援端末１４２のディスプレイに表示される仮想空間の画像上で、支援画像２０の投影位置を指定することができる。
【0041】
本実施形態において、支援端末１４６は、ユーザに対してＸＲ体験を提供する機器を含まない。支援端末１４６がユーザに対してＸＲ体験を提供する機器を含まない場合であっても、支援端末１４６は、そのディスプレイ上に仮想空間の画像を表示することができる。また、支援者３４は、ポインティングデバイス１４８を利用して、支援端末１４６のディスプレイに表示される仮想空間の画像上で、支援画像２０の投影位置を指定することができる。
【0042】
本実施形態において、支援サーバ１６０は、支援者３４からの指示に基づいて、プロジェクタ１２６を制御し、支援者３４により指定された位置に支援画像２０を投影させる。また、支援サーバ１６０は、ライダー１２４が出力した作業領域１１４の三次元点群データに基づいて、作業領域１１４の内部に配された１以上の物体のそれぞれを認識する。例えば、支援サーバ１６０は、ライダー１２４が出力した作業領域１１４の三次元点群データに基づいて、作業対象１０２を検出する。
【0043】
一実施形態において、支援サーバ１６０は、例えば、作業領域１１４に配置された１以上の物体の三次元点群データを取得する。支援サーバ１６０は、上記の三次元点群データに基づいて、作業領域１１４に配置された１以上の物体の三次元モデルを含む仮想空間を構築する。また、支援サーバ１６０は、支援端末１４０を介して、支援者３４からの各種の指示を受け付ける。例えば、支援サーバ１６０は、支援者３４が利用する支援端末１４０から、上記の三次元モデルのの表面に配された点又は領域（指示位置と称される場合がある。）を特定するための指示（第１指示と称される場合がある。）を受け付ける。支援サーバ１６０は、プロジェクタ１２６を制御して、作業領域１１４の内部において、上記の指示位置に対応する点又は領域（投影位置と称される場合がある。）に、支援画像２０を投影させる。
【0044】
他の実施形態において、支援サーバ１６０は、例えば、ライダー１２４から、作業領域１１４に配置された１以上の物体の三次元点群データを取得する。上記の作業領域１１４の三次元点群データは、作業領域１１４の内部に配された１以上の物体の表面上の複数の点のそれぞれの三次元位置を示す三次元位置情報を含む。また、上記の作業領域１１４の三次元点群データは、作業領域１１４の内部に配された１以上の物体の表面上の複数の点のそれぞれからの反射光の強度のバラツキ具合を示すバラツキ情報を含む。支援サーバ１６０は、上記の作業領域１１４の三次元点群データに基づいて、作業対象１０２を検出する。例えば、支援サーバ１６０は、三次元位置情報及びバラツキ情報に基づいて、作業対象１０２の境界の少なくとも一部を検出する。
【0045】
本実施形態において、作業室制御部１６２は、作業室１１０に配された各機器の動作を制御する。また、作業室制御部１６２は、作業室１１０に配された各機器から各種の情報を取得する。作業室制御部１６２の詳細は後述される。
【0046】
本実施形態において、支援端末制御部１６４は、支援端末１４０を制御する。支援端末制御部１６４は、支援端末１４０からの要求を処理する。例えば、支援端末制御部１６４は、支援端末１４０からの要求を受け付け、支援端末１４０からの要求に応じて、当該要求により示される情報を取得、生成又は抽出する。支援端末制御部１６４は、上記の情報を支援端末１４０に送信する。
【0047】
また、支援端末制御部１６４は、支援端末１４０から、作業室１１０に配された各機器から情報を取得するための要求、又は、作業室１１０に配された各機器の動作を制御するための要求を受け付ける。支援端末制御部１６４は、これらの要求を作業室制御部１６２に出力する。支援端末制御部１６４は、作業室制御部１６２から上記の要求の結果を示す情報を取得し、当該情報を支援端末１４０に送信してもよい。支援端末制御部１６４の詳細は後述される。
【0048】
［作業支援システム１００の各部の具体的な構成］
作業支援システム１００の各部は、ハードウエアにより実現されてもよく、ソフトウエアにより実現されてもよく、ハードウエア及びソフトウエアにより実現されてもよい。作業支援システム１００の各部は、その少なくとも一部が、単一のサーバによって実現されてもよく、複数のサーバによって実現されてもよい。作業支援システム１００の各部は、その少なくとも一部が、仮想マシン上又はクラウドシステム上で実現されてもよい。作業支援システム１００の各部は、その少なくとも一部が、パーソナルコンピュータ又は携帯端末によって実現されてもよい。携帯端末としては、携帯電話、スマートフォン、ＰＤＡ、タブレット、ノートブック・コンピュータ又はラップトップ・コンピュータ、ウエアラブル・コンピュータなどを例示することができる。作業支援システム１００の各部は、ブロックチェーンなどの分散型台帳技術又は分散型ネットワークを利用して、情報を格納してもよい。
作業支援システム１００の各部は、ハードウエアにより実現されてもよく、ソフトウエアにより実現されてもよく、ハードウエア及びソフトウエアにより実現されてもよい。作業支援システム１００の各部は、その少なくとも一部が、単一のサーバによって実現されてもよく、複数のサーバによって実現されてもよい。作業支援システム１００の各部は、その少なくとも一部が、仮想マシン上又はクラウドシステム上で実現されてもよい。作業支援システム１００の各部は、その少なくとも一部が、パーソナルコンピュータ又は携帯端末によって実現されてもよい。携帯端末としては、携帯電話、スマートフォン、ＰＤＡ、タブレット、ノートブック・コンピュータ又はラップトップ・コンピュータ、ウエアラブル・コンピュータなどを例示することができる。作業支援システム１００の各部は、ブロックチェーンなどの分散型台帳技術又は分散型ネットワークを利用して、情報を格納してもよい。
【0049】
作業支援システム１００を構成する構成要素の少なくとも一部がソフトウエアにより実現される場合、当該ソフトウエアにより実現される構成要素は、一般的な構成の情報処理装置において、当該構成要素に関する動作を規定したソフトウエア又はプログラムを起動することにより実現されてよい。上記の一般的な構成の情報処理装置は、（ｉ）ＣＰＵ、ＧＰＵなどのプロセッサ、ＲＯＭ、ＲＡＭ、通信インタフェースなどを有するデータ処理装置と、（ｉｉ）キーボード、ポインティングデバイス、タッチパネル、カメラ、音声入力装置、ジェスチャ入力装置、各種センサ、ＧＰＳ受信機などの入力装置と、（ｉｉｉ）表示装置、音声出力装置、振動装置などの出力装置と、（ｉｖ）メモリ、ＨＤＤ、ＳＳＤなどの記憶装置（外部記憶装置を含む。）とを備えてよい。
【0050】
上記の一般的な構成の情報処理装置において、上記のデータ処理装置又は記憶装置は、上記のソフトウエア又はプログラムを記憶してよい。上記のソフトウエア又はプログラムは、プロセッサによって実行されることにより、上記の情報処理装置に、当該ソフトウエア又はプログラムによって規定された動作を実行させる。上記のソフトウエア又はプログラムは、非一時的なコンピュータ可読記録媒体に格納されていてもよい。上記のソフトウエア又はプログラムは、コンピュータを、作業支援システム１００又はその一部として機能させるためのプログラムであってよい。上記のソフトウエア又はプログラムは、コンピュータに、作業支援システム１００又はその一部における情報処理方法を実行させるためのプログラムであってよい。
【0051】
上記の情報処理方法は、支援サーバ１６０における情報処理方法であってもよい。上記の情報処理方法は、作業室制御部１６２における情報処理方法であってもよい。上記の情報処理方法は、支援端末制御部１６４における情報処理方法であってもよい。上記の情報処理方法は、ライダー１２４における情報処理方法であってもよい。上記の情報処理方法は、プロジェクタ１２６における情報処理方法であってもよい。
【0052】
一実施形態において、上記の情報処理方法は、例えば、三次元空間に配置された第１物体の三次元点群データを取得する点群データ取得段階を有する。上記の情報処理方法は、例えば、点群データ取得段階において取得された三次元点群データに基づいて、第１物体の三次元モデルを含む仮想空間を構築するモデリング段階を有する。上記の情報処理方法は、例えば、第１ユーザからの指示であって、仮想空間に配された第１物体の三次元モデルの表面に配された点又は領域である指示位置を特定するための第１指示を受け付ける指示受付段階を有する。上記の情報処理方法は、例えば、画像を投影する投影装置を制御して、第１物体の表面における指示位置に対応する点又は領域である投影位置に、第１画像を投影させる投影制御段階を有する。
【0053】
他の実施形態において、上記の情報処理方法は、例えば、１以上の物体が配置された三次元空間の三次元点群データを取得する点群データ取得段階を有する。上記の情報処理方法は、例えば、点群データ取得段階において取得された三次元空間の三次元点群データに基づいて、１以上の物体に含まれる第１物体の境界の少なくとも一部を検出する物体検出段階を有する。上記の情報処理方法において、点群データ取得段階は、例えば、１以上の物体に光を照射して得られた光の反射光に基づいて三次元空間の三次元点群データを出力する測定装置から、三次元空間の三次元点群データを取得する段階を含む。上記の情報処理方法において、三次元空間の三次元点群データは、例えば、１以上の物体の表面上の複数の点のそれぞれの三次元位置を示す三次元位置情報を含む。上記の情報処理方法において、三次元空間の三次元点群データは、例えば、複数の点のそれぞれからの反射光の強度のバラツキ具合を示すバラツキ情報を含む。上記の情報処理方法において、物体検出段階は、例えば、三次元位置情報及びバラツキ情報に基づいて、第１物体の境界の少なくとも一部を検出する段階を含む。
【0054】
支援画像２０は、第１画像の一例であってよい。支援者３４は、第１ユーザの一例であってよい。作業対象１０２は、第１物体、又は、１以上の物体の一例であってよい。作業対象１０２は、１以上の物体に含まれる第１物体の一例であってよい。作業室１１０は、三次元空間の一例であってよい。作業台１１２は、第１物体、又は、１以上の物体の一例であってよい。作業領域１１４は、三次元空間の一例であってよい。作業領域１１４の内部に配された１以上の物体は、第１物体の一例であってよい。ライダー１２４は、測定装置の一例であってよい。プロジェクタ１２６は、投影装置の一例であってよい。コントローラ１４４は、第１ユーザが使用するコントローラの一例であってよい。ポインティングデバイス１４８は、第１ユーザが使用するコントローラの一例であってよい。支援サーバ１６０は、情報処理装置又は検出装置の一例であってよい。作業室制御部１６２は、情報処理装置又は検出装置の一例であってよい。
【0055】
［作業支援システム１００を利用して作業を支援する方法の概要］
図２、図３及び図４を用いて、作業支援システム１００を利用して作業を支援する方法の概要が説明される。本実施形態においては、作業対象１０２が、契約書、申込書などの書類である場合を例として、作業支援システム１００を利用して作業を支援する方法の一例が説明される。上述されたとおり、作業対象１０２が書類、フィルムのように厚さの小さな物体である場合、距離画像に基づいて作業対象１０２を検出することが難しい。
図２、図３及び図４を用いて、作業支援システム１００を利用して作業を支援する方法の概要が説明される。本実施形態においては、作業対象１０２が、契約書、申込書などの書類である場合を例として、作業支援システム１００を利用して作業を支援する方法の一例が説明される。上述されたとおり、作業対象１０２が書類、フィルムのように厚さの小さな物体である場合、距離画像に基づいて作業対象１０２を検出することが難しい。
【0056】
【0057】
図２に示されるとおり、作業対象１０２の表面には、タイトル２１０と、符号化コード２１２とが印刷されている。タイトル２１０は、作業対象１０２の種類を識別するための識別情報の一例であってよい。符号化コード２１２は、作業対象１０２の種類を識別するための識別情報が符号化されて生成される。符号化コード２１２としては、バーコード、ＱＲコード（登録商標）などが例示される。
【0058】
作業対象１０２の表面には、記入欄２１４と、署名欄２１６と、押印欄２１８とが印刷されている。記入欄２１４は、作業者３２が文字列を記入するために用いられる。署名欄２１６は、作業者３２が署名するために用いられる。押印欄２１８は、作業者３２が押印するために用いられる。記入欄２１４への記入、署名欄２１６への署名、及び、押印欄２１８への押印は、作業の一例であってよい。
【0059】
次に、図３及び図４を用いて、作業対象１０２の表面に支援画像２０を投影させる手順の概要が説明される。図３に示されるとおり、本実施形態においては、支援者３４が、作業対象１０２における署名欄２１６の位置を作業者３２に伝えることを目的として、作業対象１０２の署名欄２１６の左上の位置に、矢印型の形状を有するマーカ３２２が投影される。また、支援者３４が、作業台１１２における作業対象１０２の載置位置を作業者３２に伝えることを目的として、作業対象１０２の符号化コード２１２の位置に、符号化コード２１２よりも少し大きな枠型の形状を有するポインタ３２４が表示される。
【0060】
本実施形態において、マーカ３２２は、作業対象１０２における署名欄２１６の位置を示す。そのため、作業対象１０２が移動した場合、マーカ３２２の投影位置も、作業対象１０２の移動に追従して移動することが好ましい。また、実空間において作業対象１０２が移動した場合、当該実空間における変化が仮想空間にも反映される。このとき、仮想空間におけるマーカ３２２の位置も、仮想空間における作業対象１０２の移動に追従して移動してよい。
【0061】
一方、本実施形態において、ポインタ３２４は、作業台１１２における作業対象１０２の載置位置を示す。そのため、作業対象１０２が移動しても、ポインタ３２４の投影位置は変わらないことが好ましい。実空間におけるポインタ３２４の投影位置は、例えば、支援者３４が仮想空間におけるポインタ３２４の位置を変更するための操作を実行することで変更される。
【0062】
そこで、本実施形態において、支援サーバ１６０は、作業者３２が作業対象１０２を移動させると、マーカ３２２が作業対象１０２の移動に追従するように、プロジェクタ１２６を制御する。一方、支援サーバ１６０は、作業者３２が作業対象１０２を移動させた場合であっても、現在の投影条件（例えば、ポインタ３２４の投影方向、並びに、ポインタ３２４の形状及び大きさの少なくとも１つである。）を変更することなく、ポインタ３２４の投影を継続するように、プロジェクタ１２６を制御する。支援サーバ１６０は、プロジェクタ１２６に、ポインタ３２４の投影条件に関する変更を指示しなくてもよい。
【0063】
【0064】
例えば、支援者３４が、署名欄２１６の位置を作業者３２に伝えたいと考えた場合、支援者３４は、支援端末１４０を利用して支援サーバ１６０にアクセスする。支援者３４が支援サーバ１６０にアクセスすると、支援端末１４０の表示装置に、図４に示される操作画面４００が表示される。支援者３４が、支援端末１４０を利用して操作画面４００に各種の指示を入力すると、支援端末１４０は、支援者３４の指示の内容を示す情報を、例えば、支援端末制御部１６４に送信する。支援端末制御部１６４は、支援者３４の指示（要求と称される場合がある。）に応じて、各種の処理を実行し、実行結果を示す情報を、作業室制御部１６２又は支援端末１４０に出力する。
【0065】
本実施形態によれば、支援者３４が、コントローラ１４４又はポインティングデバイス１４８を利用して、操作画面４００上で、仮想空間に配された作業対象１０２の三次元モデルの表面に配された点又は領域（指定位置と称される場合）を指定する。これにより、実空間に配された作業対象１０２の表面に配された点又は領域（投影位置と称される場合がある）に、例えば、マーカ３２２が投影される。
【0066】
具体的には、支援者３４は、コントローラ１４４又はポインティングデバイス１４８を利用して、操作画面４００上に表示されるカーソル４０２を操作することで、マーカ３２２に対応するオブジェクト４０４の指定位置を決定する。また、支援者３４は、同様にして、オブジェクト４０４に関する各種の設定を決定することができる。本実施形態において、カーソル４０２は、仮想空間表示領域４４０に表示される仮想空間中の特定の点を指し示す。本実施形態において、オブジェクト４０４は、仮想空間において、実空間に投影される支援画像２０に対応する。オブジェクト４０４の形状、色彩、模様及び属性は、支援画像２０の形状、色彩、模様及び属性に対応する。
【0067】
例えば、支援者３４は、操作画面４００を利用して、（ｉ）作業対象１０２上における支援画像２０の位置、（ｉｉ）作業対象１０２上における支援画像２０の大きさ、（ｉｉｉ）支援画像２０の形状、色彩、及び、模様の少なくとも１つ、並びに、（ｉｖ）支援画像２０の属性の少なくとも１つに関する指示を入力することができる。支援画像２０の属性としては、（ｉ）作業対象１０２が移動した場合に、支援画像２０が、作業対象１０２の移動に追従して移動するか否か、（ｉｉ）支援者３４が操作画面４００上で支援画像２０を操作している期間中も、支援画像２０が、作業対象１０２の表面に投影されるか否かなどが例示される。
【0068】
図４に示されるとおり、本実施形態において、操作画面４００は、メニューバー４２０と、仮想空間表示領域４４０と、オブジェクト設定領域４６０とを有する。本実施形態においては、支援者３４が操作画面４００上で支援画像２０を操作している期間中は、支援画像２０が、作業対象１０２の表面に投影されない場合を例として、操作画面４００の一例が説明される。
【0069】
本実施形態において、メニューバー４２０は、１以上の操作メニューを表示する。操作としては、ファイルに関する操作、３Ｄモデルに関する操作、操作画面４００中で３Ｄモデルを閲覧する際の視点に関する操作、実空間の投影される画像（例えば、マーカ３２２、ポインタ３２４などである。）に関する操作、各種の設定に関する操作などが例示される。３Ｄモデルに関する操作としては、実空間の最新の点群データに基づいて３Ｄモデルの再構築又は更新するための操作などが例示される。
【0070】
本実施形態において、仮想空間表示領域４４０には、作業領域１１４の三次元モデルが表示される。例えば、仮想空間表示領域４４０には、作業台１１２の三次元モデル４４２と、作業対象１０２の三次元モデル４４４とが表示される。そして、例えば、支援者３４は、コントローラ１４４又はポインティングデバイス１４８を利用して、操作画面４００上に表示されるカーソル４０２の位置を操作することで、マーカ３２２に対応するオブジェクト４０４の指定位置を決定する。
【0071】
本実施形態によれば、仮想空間表示領域４４０において、カーソル４０２による位置の指定を支援するための機能が提供される。例えば、支援端末制御部１６４は、一実施形態において、作業対象１０２の近傍において、支援者３４によるカーソル４０２の移動を支援する。他の実施形態において、オブジェクト４０４の近傍において、支援者３４によるオブジェクト４０４の操作を支援する。カーソル４０２による位置の指定を支援するための機能の詳細は後述される。
【0072】
オブジェクト設定領域４６０は、仮想空間中に配置されるオブジェクト４０４に関する各種の設定を入力するために用いられる。本実施形態において、オブジェクト設定領域４６０には、オブジェクト４０４の属性を選択するためのプルダウンリスト４６２と、オブジェクト４０４の形状、色彩及び模様を選択するためのプルダウンリスト４６４と、支援画像２０を作業対象１０２に投影したり、支援画像２０に関する変更を反映したりするための指示を入力するためのボタン４６６とが配される。
【0073】
本実施形態によれば、支援者３４は、作業対象１０２の三次元モデルを利用して、指定位置を特定することができる。そのため、二次元画像上で指定位置を特定する場合と比較して、指定位置と投影位置とを対応付けるための処理が簡略化される。例えば、支援者３４は、支援端末１４０の画面上で作業対象１０２の三次元モデルを回転させたり、支援端末１４０の画面上で当該三次元モデルの一部を拡大させたりすることができる。また、支援サーバ１６０は、作業者３２が身体の一部を使って指し示す対象を検出してもよい。作業者３２の身体の一部としては、顔、目、腕、手、指などが例示される。支援サーバ１６０は、例えば、作業対象１０２の三次元モデルが表示されている画面の一部に、当該対象の画像又は拡大画像を表示させる。支援サーバ１６０は、上記の対象の画像又は拡大画像をポップアップウインドウに表示させてもよい。
【0074】
作業対象１０２上における支援画像２０の位置に関する指示は、第１指示の一例であってよい。支援画像２０の属性に関する指示は、第２指示の一例であってよい。カーソル４０２は、マークの一例であってよい。
【0075】
図５は、ライダー１２４の内部構成の一例を概略的に示す。本実施形態において、ライダー１２４は、測距部５２０と、撮像部５３０と、点群データ出力部５４０とを備える。本実施形態において、測距部５２０は、照射部５２２と、受光部５２４とを有する。
【0076】
本実施形態において、測距部５２０は、作業領域１１４に配された１以上の物体の表面上の複数の点のそれぞれについて、測距部５２０の基準点からの距離及び角度を導出するための情報を出力する。測距部５２０は、例えば、作業領域１１４に配された１以上の物体の表面上の複数の点のそれぞれからの反射光の強度を示す情報（強度情報と称される場合がある。）を出力する。測距部５２０は、作業領域１１４に配された１以上の物体の表面上の複数の点のそれぞれについて、上記のバラツキ指標を導出するための情報を出力してもよい。
【0077】
本実施形態において、照射部５２２は、作業領域１１４に配された１以上の物体に光を照射する。上記の光としては、紫外線、可視光、近赤外線などが例示される。上記の光は、レーザーであってよい。上記の光は、パルス光であってよい。照射部５２２は、例えば、アレイ状に配列された複数の発光素子と、複数の発光素子が出射した光を走査位置の方向に向ける光学系とを備える。複数の発光素子のそれぞれは、照射部５２２の基準面に対して予め定められた角度で光を出射するように構成される。
【0078】
照射部５２２は、例えば、パルス光が出射された時刻と、当該時刻における走査位置とを示す情報を出力する。上記の走査位置を示す情報は、各光の進行方向を示すベクトルと、照射部５２２の基準面に配された基準点を通過する当該基準面の法線ベクトルとのなす角度であってもよい。なお、２つのベクトルのなす角は、２つのベクトルの少なくとも一方を平行移動して一方のベクトルの始点を他方のベクトルの始点に重ねた場合に、２つのベクトルで作られる角のうち１８０°以下となる角の角度を示す。
【0079】
本実施形態において、受光部５２４は、照射部５２２の近傍に配される。照射部５２２が上記の１以上の物体に照射した光は、上記の１以上の物体の表面で散乱又は反射して、受光部５２４に戻ってくる。受光部５２４は、上記の１以上の物体の表面で散乱又は反射して戻ってきた光（物体からの反射光と称される場合がある。）を受光する。
【0080】
受光部５２４は、上記の反射光の受光強度の変動を出力する。受光部５２４は、例えば、時刻と、当該時刻における上記の反射光の受光強度とを示す情報を出力する。
【0081】
本実施形態において、撮像部５３０は、作業領域１１４を撮像する。撮像部５３０は、作業領域１１４に配された１以上の物体を撮像してもよい。撮像部５３０は、作業領域１１４に配された１以上の物体の表面上の複数の点のそれぞれについて、各点の色を示す色情報を取得してよい。
【0082】
本実施形態において、点群データ出力部５４０は、測距部５２０が出力した情報と、撮像部５３０が出力した情報とに基づいて、色点群データ５６０を生成する。図５に示されるとおり、色点群データ５６０は、作業領域１１４に配された１以上の物体の表面上の複数の点のそれぞれについて、各点の識別情報と、各点の三次元位置情報と、各点の色情報と、各点のバラツキ情報とを対応付けて格納する。色点群データ５６０は、作業領域１１４に配された１以上の物体の表面上の複数の点のそれぞれからの反射光の強度を示す強度情報をさらに対応付けて格納してもよい。
【0083】
具体的には、例えば、点群データ出力部５４０は、測距部５２０が出力した情報に基づいて、作業領域１１４に配された１以上の物体の表面上の複数の点のそれぞれについて、測距部５２０の基準点からの距離を示す深度を算出する。点群データ出力部５４０は、測距部５２０が光を照射した時刻と、受光部５２４が当該光の反射光を受光した時刻とに基づいて、上記の複数の点のそれぞれについて、測距部５２０の基準点からの距離を示す深度を算出してよい。点群データ出力部５４０は、上記の深度に基づいて、上記の複数の点のそれぞれの三次元位置を導出してよい。
【0084】
また、点群データ出力部５４０は、予め定められた長さを有する単位期間における深度の変動に基づいて、上記の複数の点のそれぞれからの反射光の強度のバラツキ具合を示すバラツキ指標の値を算出する。上記の指標としては、分散、偏差、標準偏差などが例示される。
【0085】
点群データ出力部５４０は、上記の各点の識別情報と、各点の三次元位置を示す三次元位置情報と、各点のバラツキ指標の値を示すバラツキ情報と、各点の色情報とを対応付けて、色点群データ５６０を生成する。点群データ出力部５４０は、色点群データ５６０を支援サーバ１６０に出力してよい。これにより、ライダー１２４は、受光部５２４が受光した反射光に基づいて、作業領域１１４に配された１以上の物体の三次元点群データを出力することができる。
【0086】
［別実施形態の一例］
本実施形態においては、ライダー１２４の内部で、受光部５２４が出力した強度情報に基づいてバラツキ情報が生成される場合を例として、作業支援システム１００の一例が説明された。しかしながら、作業支援システム１００は、本実施形態に限定されない。他の実施形態において、支援サーバ１６０が、受光部５２４が出力した強度情報を取得し、当該強度情報に基づいて、バラツキ情報を生成してよい。
本実施形態においては、ライダー１２４の内部で、受光部５２４が出力した強度情報に基づいてバラツキ情報が生成される場合を例として、作業支援システム１００の一例が説明された。しかしながら、作業支援システム１００は、本実施形態に限定されない。他の実施形態において、支援サーバ１６０が、受光部５２４が出力した強度情報を取得し、当該強度情報に基づいて、バラツキ情報を生成してよい。
【0087】
点群データ出力部５４０は、深度算出部又は指標算出部の一例であってよい。色点群データ５６０は、三次元点群データの一例であってよい。作業領域１１４に配された１以上の物体の表面上の複数の点のそれぞれと、測距部５２０の基準点との距離は、作業領域１１４に配された１以上の物体の表面上の複数の点のそれぞれと、照射部５２２又は受光部５２４との距離の一例であってよい。
【0088】
図６は、作業室制御部１６２の内部構成の一例を概略的に示す。本実施形態において、作業室制御部１６２は、点群データ取得部６２２と、物体検出部６３２と、モデリング部６３４と、種類推定部６３６と、指示受付部６４２と、投影制御部６４４と、較正部６５０と、格納部６６０とを備える。
【0089】
本実施形態において、点群データ取得部６２２は、ライダー１２４が出力した三次元点群データを取得する。例えば、点群データ取得部６２２は、作業領域１１４の内部に配された１以上の物体に関する色点群データ５６０を取得する。
【0090】
物体検出部６３２は、点群データ取得部６２２が取得した三次元点群データに基づいて、作業領域１１４の内部に配された１以上の物体の少なくとも１つ（例えば、作業対象１０２である。）を検出する。上述されたとおり、三次元点群データは、作業領域１１４の内部に配された１以上の物体の表面上の複数の点のそれぞれに関する（ｉ）三次元位置情報又は深度情報と、（ｉｉ）色情報、バラツキ情報及び強度情報の少なくとも１つとを含む。一実施形態において、物体検出部６３２は、三次元位置情報又は深度情報に基づいて、作業領域１１４の内部に配された１以上の物体の少なくとも１つを検出してよい。他の実施形態において、物体検出部６３２は、色情報に基づいて、作業領域１１４の内部に配された１以上の物体の少なくとも１つを検出してよい。さらに他の実施形態に基づいて、物体検出部６３２は、バラツキ情報に基づいて、作業領域１１４の内部に配された１以上の物体の少なくとも１つを検出してよい。
【0091】
さらに他の実施形態において、物体検出部６３２は、（ｉ）三次元位置情報又は深度情報と、（ｉｉ）色情報、バラツキ情報及び強度情報の少なくとも１つとに基づいて、作業領域１１４の内部に配された１以上の物体の少なくとも１つを検出してよい。例えば、物体検出部６３２は、まず、三次元位置情報又は深度情報に基づいて物体の検出処理を実行する。少なくとも一部の物体の検出精度が予め定められた値よりも小さい場合、物体検出部６３２は、色情報、バラツキ情報及び強度情報の少なくとも１つに基づいて、作業領域１１４の内部に配された１以上の物体の少なくとも１つを検出してよい。
【0092】
さらに他の実施形態において、物体検出部６３２は、（ｉ）色情報と、（ｉｉ）三次元位置情報又は深度情報、バラツキ情報及び強度情報の少なくとも１つとに基づいて、作業領域１１４の内部に配された１以上の物体の少なくとも１つを検出してよい。例えば、物体検出部６３２は、まず、色情報に基づいて物体の検出処理を実行する。少なくとも一部の物体の検出精度が予め定められた値よりも小さい場合、物体検出部６３２は、三次元位置情報又は深度情報、バラツキ情報及び強度情報の少なくとも１つに基づいて、作業領域１１４の内部に配された１以上の物体の少なくとも１つを検出してよい。
【0093】
さらに他の実施形態において、物体検出部６３２は、（ｉ）バラツキ情報と、（ｉｉ）三次元位置情報又は深度情報、色情報及び強度情報の少なくとも１つとに基づいて、作業領域１１４の内部に配された１以上の物体の少なくとも１つを検出してよい。例えば、物体検出部６３２は、まず、バラツキ情報に基づいて物体の検出処理を実行する。少なくとも一部の物体の検出精度が予め定められた値よりも小さい場合、物体検出部６３２は、三次元位置情報又は深度情報、色情報及び強度情報の少なくとも１つに基づいて、作業領域１１４の内部に配された１以上の物体の少なくとも１つを検出してよい。
【0094】
本実施形態において、作業領域１１４の内部に配された１以上の物体のうち、少なくとも作業対象１０２及び作業台１１２の表面が平坦であることが既知である場合、物体検出部６３２は、下記の手順に従って、作業対象１０２を検出してもよい。まず、物体検出部６３２は、作業台１１２の上に作業対象１０２が配置される前に点群データ取得部６２２が取得した三次元点群データを用いて、作業台１１２の周辺の点群を、任意の平面式（近似平面式と称される場合がある。）で近似する。
【0095】
次に、作業台１１２の上に作業対象１０２が配置された後、物体検出部６３２は、点群データ取得部６２２が取得した三次元点群データを読み込む。物体検出部６３２は、作業台１１２が平面であること、及び、作業対象１０２が平面であることを仮定して、点群データ取得部６２２が取得した三次元点群データの中で、作業台１１２付近の三次元点群データを、上述された近似平面式に投影変換する。投影変換とは、作業対象１０２が反り繰り返った紙幣などのときでも、アイロンを掛けたように、物理的に曲面や凹凸、折れ曲がりのある紙幣の分子間距離を保ったまま、平たく伸ばした状態に点群データを座標変換することであり、これにより、物体検出部６３２及び／又は種類推定部６３６による分類又は推定の精度が向上する。
【0096】
本実施形態において、物体検出部６３２は、点群データ取得部６２２が取得した三次元点群データに基づいて、例えば、作業対象１０２を検出する。物体検出部６３２は、上記の色点群データ５６０に基づいて、作業対象１０２の境界の少なくとも一部を検出することで、作業対象１０２を検出してよい。
【0097】
物体検出部６３２は、色点群データ５６０に含まれる三次元位置情報及びバラツキ情報に基づいて、作業対象１０２の境界の少なくとも一部を検出してよい。物体検出部６３２は、色点群データ５６０に含まれる三次元位置情報、バラツキ情報及び色情報に基づいて、作業対象１０２の境界の少なくとも一部を検出してもよい。
【0098】
例えば、物体検出部６３２は、色点群データ５６０に含まれるバラツキ情報により示される複数の点のそれぞれにおけるバラツキ指標の値に基づいて、上記の複数の点の中から、作業対象１０２の表面上の点を抽出する。上述されたとおり、バラツキ指標の値は、物体の材質により異なる。そのため、物体検出部６３２は、各点のバラツキ指標の値を利用することで、作業対象１０２と、作業領域１１４に配された他の物体（例えば、作業台１１２である。）との材質の違いに基づいて、作業対象１０２と、作業領域１１４に配された他の物体とを区別することができる。これにより、物体検出部６３２は、作業領域１１４に配された１以上の物体の中から、作業対象１０２を検出することができる。
【0099】
より具体的には、物体検出部６３２は、まず、上記の複数の点の中から、バラツキ指標の値が予め定められた第１範囲の範囲内である少なくとも１つの点を抽出する。作業対象１０２のバラツキ指標の値の取り得る範囲が既知である場合、物体検出部６３２は、作業対象１０２のバラツキ指標の値の取り得る範囲として既知の範囲を、第１範囲として利用してよい。拡散反射特性が作業対象１０２と類似する物質について、上記のバラツキ指標の値の取り得る範囲が既知である場合、物体検出部６３２は、当該既知の範囲を、第１範囲として利用してもよい。
【0100】
特に、検出対象となる作業対象１０２の拡散反射率が、作業対象１０２の正反射率と比較して十分に大きい場合、バラツキ指標は、拡散反射率に比例することが想定される。上記の第１範囲は、物体検出部６３２の検出対象となる作業対象１０２の拡散反射率を考慮して決定されてもよい。
【0101】
次に、物体検出部６３２は、抽出された少なくとも１つの点のそれぞれについて、各点のバラツキ指標の値と、各点に隣接する点のバラツキ指標の値とを比較する。両者の差の絶対値が予め定められた値よりも小さい場合、物体検出部６３２は、両者が同一の物体の表面上の点であると判定する。一方。両者の差の絶対値が予め定められた値よりも大きい場合、物体検出部６３２は、両者が異なる物体の表面上の点であると判定する。これにより、物体検出部６３２は、作業領域１１４の内部に配された１以上の物体に含まれる少なくとも２つの物体を区別することができる。
【0102】
なお、物質の種類と、バラツキ指標の値の取り得る数値範囲とを対応づけて格納するデータベースが利用可能である場合、物体検出部６３２は、上記の隣接する２つの点におけるバラツキ指標の値の比較処理を簡略化してもよい。例えば、物体検出部６３２は、まず、作業対象１０２の材料をキーとして、上記のデータベースを参照して、作業対象１０２のバラツキ指標の値の取り得る数値範囲を抽出する。次に、物体検出部６３２は、作業領域１１４に配された１以上の物体の表面上の複数の点のうち、バラツキ指標の値が、上記の抽出された数値範囲の範囲内に含まれる１以上の点を抽出する。次に、物体検出部６３２は、抽出された１以上の点の中から、作業対象１０２の表面上の点を抽出する。物体検出部６３２は、（ｉ）抽出された１以上の点のそれぞれについて、上記と同様の比較処理を実行してもよく、（ｉｉ）抽出された１以上の点の少なくとも一部により形成される閉じた図形を、作業対象１０２として検出してもよい。
【0103】
物体検出部６３２は、作業領域１１４の内部に配された１以上の物体のそれぞれについて輪郭を検出し、上記の１以上の物体を検出してよい。物体検出部６３２は、検出された１以上の物体のそれぞれに識別情報を付与してよい。物体検出部６３２は、各物体の識別情報と、各物体の外観の特徴情報とを対応付けて格納してよい。各物体の外観の特徴情報は、例えば、撮像部５３０が各物体を撮像した画像に基づいて決定される。これにより、例えば、作業領域１１４の内部に同じ種類の振込伝票が２枚存在する場合、物体検出部６３２は、上記の２枚の振込伝票を異なる２つのインスタンスとして認識することができる。例えば、作業者３２が一方の振込伝票に文字を記入すると、文字が記入された振込伝票の特徴情報と、文字が記入されていない振込伝票の特徴情報とが相違する。そのため、物体検出処理が実行された最新の時刻である第１時刻と、第１時刻よりも前に物体検出処理が実行された最後のの時刻である第２時刻との間に、２枚の振込伝票の位置が移動していたとしても、物体検出部６３２は、上記の特徴情報の相違に基づいて、２枚の振込伝票を識別することができる。
【0104】
本実施形態において、モデリング部６３４は、点群データ取得部６２２が取得した三次元点群データに基づいて、作業領域１１４の内部に配された１以上の物体の三次元モデルを含む仮想空間を構築する。モデリング部６３４は、物体検出部６３２が検出した物体のそれぞれの三次元モデルを生成してよい。例えば、モデリング部６３４は、作業対象１０２の三次元モデルを含む仮想空間を構築する。モデリング部６３４は、作業対象１０２の三次元モデルと、作業台１１２の三次元モデルとを含む仮想空間を構築してもよい。
【0105】
本実施形態において、種類推定部６３６は、物体検出部６３２が検出した物体の種類を分類又は推定する。種類推定部６３６は、公知の機械学習手法を用いて、物体検出部６３２が検出した物体の種類を分類又は推定してよい。種類推定部６３６はディープラーニングなどのニューラルネットワーク系の分類器を用いて、物体の種類を分類又は推定してよい。種類推定部６３６は、撮像部５３０が撮像した上記の物体の画像に基づいて、当該物体の種類を分類又は推定してよい。種類推定部６３６は、物体検出部６３２が検出した上記の物体の境界と、撮像部５３０が撮像した上記の物体の画像とに基づいて、当該物体の種類を分類又は推定してよい。
【0106】
本実施形態によれば、物体検出部６３２が、バラツキ指標の値に基づいて、作業領域１１４に配された１以上の物体のそれぞれの境界を検出する。種類推定部６３６が、各物体の境界の内部の画像を利用して各物体の種類を分類又は推定することで、当該分類又は推定の精度が向上する。
【0107】
本実施形態において、指示受付部６４２は、支援者３４からの各種の指示を受け付ける。指示受付部６４２は、支援者３４が支援端末１４０を利用して操作画面４００上に入力した指示を受け付けてよい。
【0108】
指示受付部６４２は、上述された指示位置を特定するための指示（第１指示と称される場合がある。）を受け付けてよい。例えば、支援者３４は、操作画面４００上でオブジェクト４０４に対してドラック・アンド・ドロップ操作又はそれに類する操作を実行することにより、オブジェクト４０４を、三次元モデルの任意の位置に配置することができる。
【0109】
支援者３４によるオブジェクト４０４の配置操作が完了すると、指示受付部６４２は、支援端末１４０から、オブジェクト４０４が、操作画面４００の仮想空間表示領域４４０に表示されている三次元モデルの特定の位置に配置されたことを示す情報を取得する。例えば、支援者３４が、オブジェクト４０４のドラック・アンド・ドロップ操作中にポインティングデバイス１４８のボタンを離す操作を実行することにより、オブジェクト４０４の配置操作が完了する。これにより、指示受付部６４２は、上記の三次元モデル上でオブジェクト４０４が配置された位置を、上記の指示位置として特定するための指示を受け付ける。
【0110】
指示受付部６４２は、支援画像２０の属性を特定するための指示（第２指示と称される場合がある。）を受け付けてよい。例えば、支援者３４は、操作画面４００上でオブジェクト４０４の属性を選択するためのプルダウンリスト４６２を操作して、オブジェクト４０４の属性を選択する。支援者３４によるオブジェクト４０４の属性の選択操作が完了すると、指示受付部６４２は、支援端末１４０から、オブジェクト４０４の属性が決定されたことを示す情報を取得する。これにより、指示受付部６４２は、操作画面４００上で選択された属性を、支援画像２０の属性として特定するための指示を受け付ける。
【0111】
指示受付部６４２は、例えば、（ｉ）作業対象１０２の三次元モデルのおける基準点に対する、上記指示位置の相対位置、又は、（ｉｉ）仮想空間の基準点に対する、上記指示位置の相対位置を固定するための指示（第３指示と称される場合がある。）を受け付ける。第３指示は、（ｉ）オブジェクト４０４の配置が完了したことを示す明確な指示であってもよく、（ｉｉ）オブジェクト４０４を配置するための操作が終了したことであってもよい。オブジェクト４０４のドラック・アンド・ドロップ操作は、オブジェクト４０４を配置するための操作の一例であってよい。この場合、支援者３４が、オブジェクト４０４のドラック・アンド・ドロップ操作中にポインティングデバイス１４８のボタンを離す操作は、上記の第３指示の一例であってよい。オブジェクト４０４の配置が完了したことを示す明確な指示としては、ボタン４６６が押下されたことなどが例示される。
【0112】
上述されたとおり、オブジェクト４０４の属性によっては、支援者３４が操作画面４００上で支援画像２０を操作している期間中は、支援画像２０が、作業対象１０２の表面に投影されない。第３指示は、このような場合において、オブジェクト４０４の位置又は設定に関する変更を支援画像２０に反映させるための指示であってよい。なお、支援者３４が操作画面４００上で支援画像２０を操作している期間中も、支援画像２０が、作業対象１０２の表面に投影されるか否かは、操作画面４００の設定によって決定されてもよい。
【0113】
指示受付部６４２は、支援画像２０の投影の開始又は停止に関する指示（第４指示と称される場合がある。）を受け付けてよい。第４指示としては、ボタン４６６が押下されたことなどが例示される。
【0114】
本実施形態において、投影制御部６４４は、プロジェクタ１２６の動作を制御する。投影制御部６４４は、プロジェクタ１２６を制御して、例えば、作業対象１０２の表面において、作業対象１０２の三次元モデル上の指示位置に対応する点又は領域（投影位置と称される場合がある。）に、支援画像２０を投影させる。
【0115】
投影制御部６４４は、支援画像２０の投影方向、並びに、支援画像２０の形状及び大きさの少なくとも１つを制御してよい。上述されたとおり、投影制御部６４４は、例えば、実空間において作業対象１０２が移動した場合、作業対象１０２に投影される支援画像２０が、作業対象１０２の移動に追従するように、プロジェクタ１２６を制御する。
【0116】
より具体的には、指示受付部６４２が受け付けた第２指示により示される支援画像２０の属性が第１属性である場合、投影制御部６４４は、実空間において作業対象１０２が移動した場合に、作業対象１０２に投影される支援画像２０が、作業対象１０２の移動に追従するように、プロジェクタ１２６における支援画像２０の投影方向、並びに、支援画像２０の形状及び大きさの少なくとも１つを調整する。投影制御部６４４は、指示受付部６４２が第３指示を受け付け、且つ、第２指示により示される支援画像２０の属性が第１属性である場合に、上記のとおりプロジェクタ１２６を制御してもよい。
【0117】
一方、指示受付部６４２が受け付けた第２指示により示される支援画像２０の属性が第１属性である場合、投影制御部６４４は、実空間において作業対象１０２が移動しても、プロジェクタ１２６における支援画像２０の投影方向、並びに、支援画像２０の形状及び大きさを調整しない。投影制御部６４４は、指示受付部６４２が第３指示を受け付け、且つ、第２指示により示される支援画像２０の属性が第２属性である場合に、上記のとおりプロジェクタ１２６を制御してもよい。
【0118】
投影制御部６４４は、支援画像２０の投影の開始又は停止を制御してもよい。例えば、指示受付部６４２が上記の第４指示を受け付けた場合、投影制御部６４４は、第４指示に基づいて、支援画像２０を作業対象１０２に投影するか否かを決定してよい。投影制御部６４４は、上記の決定に基づいて、プロジェクタ１２６の動作を制御してよい。
【0119】
投影制御部６４４は、支援画像２０の明るさを制御してもよい。一実施形態において、投影制御部６４４は、実空間における投影位置の周囲の明るさに基づいて、支援画像２０の明るさを調整する。例えば、投影制御部６４４は、撮像部５３０が出力した画像データに基づいて、投影位置の周囲の明るさが予め定められた程度よりも明るいか否かを判定する。投影位置の周囲の明るさが予め定められた程度よりも明るいと判定された場合、投影制御部６４４は、支援画像２０の投影光の強度を小さくする。投影位置の周囲の明るさが予め定められた程度よりも暗いと判定された場合、投影制御部６４４は、支援画像２０の投影光の強度を大きくする。
【0120】
他の実施形態において、投影制御部６４４は、種類推定部６３６の動作に連動して、支援画像２０の少なくとも一部の明るさを制御する。投影制御部６４４は、種類推定部６３６の動作に連動して、支援画像２０の一部の明るさを制御してもよく、支援画像２０の全体の明るさを制御してもよい。例えば、投影制御部６４４は、支援画像２０のうち、種類推定部６３６による推定処理の対象物上に投影される部分の明るさを制御する。これにより、種類推定部６３６による推定処理の対象物に支援画像２０が投影されることによる、推定精度の低下が抑制される。
【0121】
例えば、種類推定部６３６が撮像部５３０が出力した画像データに基づいて作業対象１０２の種類を推定する処理を実行する場合、投影制御部６４４は、支援画像２０の投影を中止する、又は、支援画像２０の投影光の強度を小さくする。なお、上記の支援画像２０の投影が中止される期間、又は、支援画像２０の投影光の強度が小さくされる期間の長さは、撮像部５３０が作業対象１０２を撮像することができればよく、例えば、１秒未満であってよい。
【0122】
これにより、種類推定部６３６は、支援画像２０が投影されていない状態で撮像された作業対象１０２の画像データに基づいて、作業対象１０２の種類を推定することができる。例えば、作業対象１０２がトランプのカードである場合において、マーカ３２２又はポインタ３２４の形状がハート型であるとき、種類推定部６３６が、マーカ３２２又はポインタ３２４が作業対象１０２に投影された状態で撮像された画像データに基づいて作業対象１０２の種類を推定すると、推定精度が低下する可能性がある。本実施形態によれば、種類推定部６３６が上記の推定処理を実行する場合には、例えば支援画像２０の投影が中止されるので、種類推定部６３６による推定精度が向上する。
【0123】
なお、投影制御部６４４は、種類推定部６３６による推定処理の対象物と、支援画像２０が投影される物体とが同一である場合に、支援画像２０の投影を中止したり、支援画像２０の少なくとも一部の投影光の強度を小さくしたりしてよい。種類推定部６３６による推定処理の対象物と、支援画像２０が投影される物体とが異なる場合、投影制御部６４４は、支援画像２０の投影を中止したり、支援画像２０の投影光の強度を小さくしたりしなくてもよい。
【0124】
例えば、作業領域１１４の内部に、物体Ａ及び物体Ｂを含む５つの物体が配置されており、支援画像２０の一部が、物体Ａには投影されており、物体Ｂには投影されていない場合において、種類推定部６３６が物体Ａの種類を推定するために、撮像部５３０が作業領域１１４の内部を撮像している期間中、投影制御部６４４は、支援画像２０の投影を中止したり、支援画像２０の少なくとも一部の投影光の強度を小さくしたりする。一方、上記の場合において、種類推定部６３６が物体Ｂの種類を推定するために、撮像部５３０が作業領域１１４の内部を撮像している期間中、投影制御部６４４は、支援画像２０の投影を中止したり、支援画像２０の少なくとも一部の投影光の強度を小さくしたりしなくてもよい。
【0125】
本実施形態において、較正部６５０は、ライダー１２４と、プロジェクタ１２６との位置関係を決定するためのキャリブレーションを実行する。例えば、較正部６５０は、まず、プロジェクタ１２６を制御して、互いの相対位置が既知である少なくとも３つの線分を含む較正画像を、実空間の任意の平面上に投影させる。次に、較正部６５０は、ライダー１２４の撮像部５３０を制御して、上記の較正画像を撮像する。較正部６５０は、撮像部５３０が撮像した較正画像に基づいて、ライダー１２４と、プロジェクタ１２６との位置関係を決定する。
【0126】
本実施形態において、格納部６６０は、各種のデータを格納する。格納部６６０は、支援サーバ１６０における情報処理に用いられる各種のデータを格納してよい。格納部６６０は、支援サーバ１６０における情報処理により生成された各種のデータを格納してよい。格納部６６０は、作業領域１１４の内部に配された１以上の物体の三次元モデルのデータを格納してよい。格納部６６０は、操作画面４００の表示に利用される各種のデータを格納してよい。格納部６６０は、操作画面４００を利用して決定された各種の設定に関するデータを格納してよい。
【0127】
［別実施形態の一例］
本実施形態においては、支援者３４が、コントローラ１４４又はポインティングデバイス１４８を利用して、支援端末１４０に指示を入力し、指示受付部６４２が、支援端末１４０から、当該指示の内容を示す情報（要求と称される場合がある。）を受信する場合を例として、作業室制御部１６２の一例が説明された。しかしながら、作業室制御部１６２は、本実施形態に限定されない。他の実施形態において、支援者３４の指示は、コントローラ１４４又はポインティングデバイス１４８とは異なる機器により取得されてよい。例えば、支援者３４が装着するメガネのフレームに配された単一又は複数のカメラが、支援者３４の腕、手又は指の形状又は動きを検出することで、支援者３４の指示が支援端末１４０に入力される。
本実施形態においては、支援者３４が、コントローラ１４４又はポインティングデバイス１４８を利用して、支援端末１４０に指示を入力し、指示受付部６４２が、支援端末１４０から、当該指示の内容を示す情報（要求と称される場合がある。）を受信する場合を例として、作業室制御部１６２の一例が説明された。しかしながら、作業室制御部１６２は、本実施形態に限定されない。他の実施形態において、支援者３４の指示は、コントローラ１４４又はポインティングデバイス１４８とは異なる機器により取得されてよい。例えば、支援者３４が装着するメガネのフレームに配された単一又は複数のカメラが、支援者３４の腕、手又は指の形状又は動きを検出することで、支援者３４の指示が支援端末１４０に入力される。
【0128】
図７は、較正画像７００の一例を概略的に示す。図７に示されたとおり、較正画像７００は、Ｔ字型の図形を含む。図７に示されるとおり、上記のＴ字型の図形は、線分ＡＢ、線分ＢＣ及び線分ＢＤという、互いの相対位置が既知である３つの線分を含む。これにより、較正部６５０は、（ｉ）ＡＢと、プロジェクタ１２６の基準点Ｏとのなす角ＡＯＢの大きさ、（ｉｉ）ＢＣと、プロジェクタ１２６の基準点Ｏとのなす角ＢＯＣの大きさ、（ｉｉｉ）ＢＤと、プロジェクタ１２６の基準点Ｏとのなす角ＢＯＤの大きさに基づいて、プロジェクタ１２６の位置を特定することができる。
【0129】
図８は、支援端末制御部１６４の内部構成の一例を概略的に示す。本実施形態においては、支援者３４が、支援端末１４０の画面上の特定の点を指し示すためのマーク（ポインタ、カーソルなどと称される場合がある。）を操作する場合に、支援端末制御部１６４が、支援者３４によるマークの操作を支援する場合を例として、支援端末制御部１６４の詳細の一例が説明される。
【0130】
本実施形態において、支援端末制御部１６４は、設定格納部８１０と、指示マーク制御部８２０と、画像データ取得部８３２と、物体推定部８３４と、設定抽出部８３６とを備える。本実施形態において、設定格納部８１０は、第１設定情報格納部８１２と、第２設定情報格納部８１４とを備える。
【0131】
本実施形態において、設定格納部８１０は、指示マーク制御部８２０における情報処理により用いられる各種の設定に関する情報を格納する。三次元仮想空間中でカーソル４０２を移動させる操作は、二次元画面上でマウスカーソルを移動させる操作と比較して困難な場合が多い。上記の設定が適用されることで、三次元仮想空間中におけるカーソル４０２の操作が容易になり得る。
【0132】
本実施形態において、第１設定情報格納部８１２は、例えば、作業対象１０２の三次元モデルの境界近傍におけるカーソル４０２の動き方を規定する第１設定情報を格納する。第１設定情報格納部８１２は、作業対象１０２の種類ごとに上記の設定情報を格納してもよく、初作業対象１０２の種類によらず適用される初期設定として、上記の設定情報を格納してもよい。第１設定情報としては、（ｉ）上記の境界との距離と、コントローラ１４４又はポインティングデバイス１４８のＤＰＩとの対応関係に関する設定、（ｉｉ）上記の境界近傍において、カーソル４０２がバウンドするような動作を行うか否かに関する設定、（ｉｉｉ）カーソル４０２をバウンドさせる場合のバウンド態様に関する設定、（ｉｖ）上記の境界近傍において、カーソル４０２が境界に到達してから予め定められた期間、カーソル４０２を境界に沿って移動させるか否かに関する設定、（ｖ）カーソル４０２を境界に沿って移動させる場合の移動態様に関する設定などが例示される。
【0133】
本実施形態において、第２設定情報格納部８１４は、１以上の物体のそれぞれの種類を示す情報と、各物体の表面上の１以上の位置のそれぞれに対応する各物体の三次元モデルの１以上の位置のそれぞれにおけるカーソル４０２の動き方を規定する第２設定情報を格納する。図２及び図３に関連して説明された作業対象１０２を例とすると、各物体の表面上の１以上の位置としては、記入欄２１４、署名欄２１６、押印欄２１８などが例示される。記入欄２１４、署名欄２１６及び押印欄２１８の利用頻度は比較的大きい。そのため、上記の指定位置としてこれらの位置を容易に指定することができれば、支援者３４の負担が大きく軽減される。第２設定情報としては、（ｉ）上記の位置と、コントローラ１４４又はポインティングデバイス１４８のＤＰＩとの対応関係に関する設定、（ｉｉ）カーソル４０２が上記の位置に到達したら、予め定められた期間、カーソル４０２を上記の位置又は予め定められた他の位置に固定するか否かに関する設定などが例示される。
【0134】
指示マーク制御部８２０は、仮想空間表示領域４４０において、カーソル４０２による位置の指定を支援するための機能を提供する。例えば、指示マーク制御部８２０は、コントローラ１４４又はポインティングデバイス１４８が出力した制御信号に基づいて、カーソル４０２の動きを制御する。
【0135】
一実施形態において、指示マーク制御部８２０は、作業対象１０２の近傍における、支援者３４によるカーソル４０２の移動を支援する。指示マーク制御部８２０は、カーソル４０２が三次元モデルの境界近傍の位置に存在する場合と、カーソル４０２が三次元モデルの境界近傍以外の位置に存在する場合とで、制御方法を切り替えてよい。例えば、カーソル４０２が三次元モデルの境界近傍の位置に存在する場合、指示マーク制御部８２０は、第１設定情報に基づいて、カーソル４０２の動きを制御する。例えば、オブジェクト４０４の位置が、作業対象１０２の３Ｄモデルの境界に近づくと、指示マーク制御部８２０は、コントローラ１４４又はポインティングデバイス１４８のＤＰＩに関する設定を変更して、カーソル４０２の感度を下げる。
【0136】
また、指示マーク制御部８２０は、カーソル４０２が三次元モデルの予め定められた位置に存在する場合と、カーソル４０２が三次元モデルの予め定められた位置以外の位置に存在する場合とで、制御方法を切り替えてよい。例えば、カーソル４０２が三次元モデルの予め定められた位置に存在する場合、指示マーク制御部８２０は、設定抽出部８３６が抽出した第２設定情報に基づいて、カーソル４０２の動きを制御する。例えば、オブジェクト４０４の位置が、作業対象１０２の３Ｄモデル上の署名欄２１６に対応する位置に近づくと、指示マーク制御部８２０は、カーソル４０２を署名欄２１６の左上の位置に移動させる。
【0137】
他の実施形態において、指示マーク制御部８２０は、オブジェクト４０４の近傍において、支援者３４によるオブジェクト４０４の操作を支援する。指示マーク制御部８２０は、カーソル４０２が既に配置されたオブジェクト４０４の近傍に近づくと、作業室制御部１６２のモードを、オブジェクト４０４の属性に応じた操作を実行するためのモードに変更してよい。また、カーソル４０２が上記のオブジェクト４０４から離れると、作業室制御部１６２のモードを、初期設定により定められたモードに変更してよい。
【0138】
例えば、既存のオブジェクト４０４がマーカ３２２である場合、カーソル４０２が当該オブジェクトに近づくと、指示マーク制御部８２０は、操作画面４００のオブジェクト設定領域４６０に、マーカに関する各種の設定を入力するための画面を表示させる。一方、既存のオブジェクト４０４がポインタ３２４である場合、カーソル４０２が当該オブジェクトに近づくと、指示マーク制御部８２０は、操作画面４００のオブジェクト設定領域４６０に、ポインタに関する各種の設定を入力するための画面を表示させる。
【0139】
本実施形態において、画像データ取得部８３２は、作業領域１１４に配された１以上の物体の画像データを取得する。画像データ取得部８３２は、作業領域１１４に配された１以上の物体の色点群データ５６０の色情報を、当該物体の画像データとして取得してよい。本実施形態において、物体推定部８３４は、画像データ取得部８３２が取得した画像データに基づいて、作業領域１１４に配された１以上の物体のそれぞれの種類を推定する。
【0140】
本実施形態において、設定抽出部８３６は、設定格納部８１０の第２設定情報格納部８１４を参照して、物体推定部８３４が推定した各物体の種類に応じた第２設定情報を抽出する。上述されたとおり、第２設定情報は、１以上の物体のそれぞれの種類を示す情報と、各物体の表面上の１以上の位置のそれぞれに対応する各物体の三次元モデルの１以上の位置のそれぞれにおけるカーソル４０２の動き方を規定する第２設定情報とが対応付けられて格納されている。
【0141】
図９は、点群データ出力部５４０の内部構成の一例を概略的に示す。本実施形態において、点群データ出力部５４０は、深度算出部９２２と、三次元位置情報算出部９２４と、バラツキ指標算出部９２６と、バラツキ補正部９３０とを備える。本実施形態において、バラツキ補正部９３０は、第１補正部９３２と、第２補正部９３４と、第３補正部９３６と、第４補正部９３８とを有する。
【0142】
本実施形態において、深度算出部９２２は、照射部５２２が出射した光を散乱又は反射した複数の点のそれぞれからの反射光の強度を示す情報に基づいて、上記の複数の点のそれぞれについて、測距部５２０の基準点と、各点との距離を示す深度を算出する。例えば、深度算出部９２２は、測距部５２０が光を照射した時刻と、受光部５２４が当該光の反射光を受光した時刻とに基づいて、上記の複数の点のそれぞれの深度を算出する。例えば、測距部５２０が作業領域１１４の内部を走査した場合、深度算出部９２２は、作業領域１１４の内部に配された１以上の物体の表面上の複数の点のそれぞれについて、上記の深度を算出する。
【0143】
本実施形態において、三次元位置情報算出部９２４は、深度算出部９２２が算出した複数の点のそれぞれの深度に基づいて、複数の点のそれぞれの三次元位置を算出する。上述されたとおり、照射部５２２は、パルス光が出射された時刻と、当該時刻における走査位置とを示す情報を出力する。三次元位置情報算出部９２４は、上記の走査位置を示す情報と、深度算出部９２２が算出した深度とに基づいて、上記の複数の点のそれぞれについて、測距部５２０の基準点からの距離及び角度を算出する。
【0144】
一実施形態において、三次元位置情報算出部９２４は、測距部５２０の基準点からの距離及び角度に基づいて、上記の複数の点のそれぞれについて、測距部５２０の基準点を基準とする三次元位置を出力する。他の実施形態において、測距部５２０の基準点の絶対座標が既知である場合、三次元位置情報算出部９２４は、測距部５２０の基準点からの距離及び角度と、測距部５２０の基準点の絶対座標とに基づいて、上記の複数の点のそれぞれの絶対座標を出力してもよい。
【0145】
本実施形態において、バラツキ指標算出部９２６は、深度算出部９２２が算出した複数の点のそれぞれの深度に基づいて、当該複数の点のそれぞれからの反射光の強度のバラツキ具合を示すバラツキ指標の値を算出する。バラツキ指標算出部９２６は、各点における深度の変動に基づいて、各点におけるバラツキ指標の値を算出してもよい。例えば、バラツキ指標算出部９２６は、上記の複数の点のそれぞれについて、予め定められた長さを有する単位期間における深度の変動に基づいて、バラツキ指標の値を算出する。上記の指標としては、分散、偏差、標準偏差などが例示される。
【0146】
本実施形態において、バラツキ補正部９３０は、バラツキ指標算出部９２６が算出したバラツキ指標の値を補正する。上述されたとおり、測距部５２０から出射され、作業対象１０２の表面で散乱又は反射して戻ってくる反射光の強度は、作業対象１０２の材質の影響を大きく受ける。これは、作業対象１０２の表面に配される物質の種類、当該表面の構造などにより、拡散反射率、正反射率、特定の波長を有する光に対する吸収率などが異なることに起因するものと推定される。
【0147】
作業対象１０２の材質以外にも、バラツキ指標の値の誤差の要因となる事項（誤差要因と称される場合がある。）が存在する。バラツキ補正部９３０は、上記の誤差要因を考慮して、バラツキ指標の値を補正する。一実施形態において、バラツキ補正部９３０は、バラツキ指標算出部９２６が算出したバラツキ指標の値Ｓを補正するための補正係数ｋを導出する。バラツキ補正部９３０は、補正係数ｋを目的変数とし、１以上の誤差要因とを説明変数とする関数を用いて、上記の補正係数ｋを算出してもよい。また、バラツキ補正部９３０は、上記の値Ｓと補正係数ｋとを乗算することで、補正後のバラツキ指標の値Ｓｄを算出する。他の実施形態において、バラツキ補正部９３０は、補正後のバラツキ指標の値Ｓｄを目的変数とし、上記の値Ｓと、１以上の誤差要因とを説明変数とする関数を導出する。バラツキ補正部９３０は、当該関数に基づいて、補正後のバラツキ指標の値Ｓｄを算出する。
【0148】
本実施形態において、第１補正部９３２は、測距部５２０の基準点と、作業対象１０２の表面の測定対象面との距離に基づいて、バラツキ指標算出部９２６が算出したバラツキ指標の値を補正する。第１補正部９３２は、上記の距離が大きいほど、補正前のバラツキ指標の値Ｓから補正後のバラツキ指標の値Ｓｄを引いた値（補正による減少量と称される場合がある。）が大きくなるように、補正処理を実行してよい。
【0149】
例えば、第１補正部９３２は、深度算出部９２２が算出した複数の点のそれぞれの深度に基づいて、バラツキ指標算出部９２６が算出した当該複数の点のそれぞれのバラツキ指標の値を補正する。上記の複数の点のそれぞれは、測定対象面の一例であってよい。
【0150】
測距部５２０の基準点と、作業対象１０２の表面の測定対象面との距離が大きくなるにつれて、測定対象面の面積が大きくなる。そのため、測定対象面からの反射光の強度のバラツキ具合も大きくなり得る。測定対象面からの反射光のバラツキの強度は、反射面の着目点を中心とし、対象との距離を半径とする球の表面からの距離の二乗に比例すると想定され得る。実験的にも、測定対象面からの反射光のバラツキの強度を目的変数とし、上記の距離を説明変数とする関数は、二次方程式により近似可能であることが確認された。そこで、第１補正部９３２は、例えば、バラツキ指標算出部９２６が算出したバラツキ指標の値Ｓを、測距部５２０の基準点と、作業対象１０２の表面の測定対象面との距離を二乗した値で除算することで、補正後のバラツキ指標の値Ｓｄを算出する。
【0151】
これにより、測距部５２０及び作業対象１０２の距離がバラツキ指標の値に与える影響を小さくすることができる。その結果、例えば、物体検出部６３２が、バラツキ指標を利用して、作業領域１１４に配された１以上の物体の中から作業対象１０２を検出する場合において、作業対象１０２の材質と、他の物体の材質との違いによるバラツキ指標の相違がより明確になる。
【0152】
本実施形態において、第２補正部９３４は、受光部５２４を構成する受光素子の大きさに基づいて、バラツキ指標算出部９２６が算出した複数の点のそれぞれのバラツキ指標の値を補正する。第２補正部９３４は、受光素子の大きさが大きいほど、補正による減少量が大きくなるように、補正処理を実行してよい。
【0153】
例えば、受光素子の形状を四角形とみなすことができる場合、第２補正部９３４は、受光素子の長辺の長さに基づいて、バラツキ指標算出部９２６が算出した複数の点のそれぞれのバラツキ指標の値を補正する。例えば、受光部５２４が複数の受光素子により構成されており、少なくとも２つの受光素子の大きさが異なる場合、第２補正部９３４は、複数の点のそれぞれからの反射光の受光強度を出力した受光素子の大きさに基づいて、バラツキ指標算出部９２６が算出した複数の点のそれぞれのバラツキ指標の値を補正する。
【0154】
受光素子の大きさが大きくなるにつれて、測定対象面の面積が大きくなる。また、受光素子の大きさが大きくなるにつれて、測距部５２０及び作業対象１０２の距離による誤差の影響を受けやすくなる。同様に、受光素子の大きさが大きくなるにつれて、測距部５２０の基準面と、作業対象１０２の測定対象面との傾きによる誤差の影響を受けやすくなる。そのため、測定対象面からの反射光の強度のバラツキ具合も大きくなり得る。
【0155】
本実施形態によれば、第２補正部９３４における補正処理により、受光素子の大きさがバラツキ指標の値に与える影響を小さくすることができる。その結果、例えば、物体検出部６３２が、バラツキ指標を利用して、作業領域１１４に配された１以上の物体の中から作業対象１０２を検出する場合において、作業対象１０２の材質と、他の物体の材質との違いによるバラツキ指標の相違がより明確になる。
【0156】
本実施形態において、第３補正部９３６は、測距部５２０の基準面と、作業対象１０２の測定対象面との傾きに基づいて、バラツキ指標算出部９２６が算出したバラツキ指標の値を補正する。第３補正部９３６は、測距部５２０の基準面と、作業対象１０２の測定対象面とが平行でなくなるにつれて、補正前のバラツキ指標の値Ｓから補正後のバラツキ指標の値Ｓｄを引いた値（補正による減少量と称される場合がある。）が大きくなるように、補正処理を実行してよい。
【0157】
例えば、第３補正部９３６は、受光部５２４を構成する受光素子の受光面の法線ベクトルと、測定対象となる１以上の物体の表面上において、照射部５２２からの光が照射された測定対象面の法線ベクトルとがなす角度に基づいて、バラツキ指標算出部９２６が算出した複数の点のそれぞれのバラツキ指標の値を補正する。
【0158】
第３補正部９３６は、（ｉ）受光部５２４を構成する受光素子の受光面の法線ベクトルと、測定対象となる１以上の物体の表面上において、照射部５２２からの光が照射された測定対象面の法線ベクトルとがなす角度、及び、（ｉｉ）受光部５２４を構成する受光素子の受光面の法線ベクトルと、上記の測定対象面に照射された光の光軸の進行方向を示すベクトルとがなす角度に基づいて、バラツキ指標算出部９２６が算出した複数の点のそれぞれのバラツキ指標の値を補正してもよい。
【0159】
第３補正部９３６は、（ｉ）受光部５２４を構成する受光素子の受光面の法線ベクトルと、測定対象となる１以上の物体の表面上において、照射部５２２からの光が照射された測定対象面の法線ベクトルとがなす角度、及び、（ｉｉ）受光部５２４を構成する受光素子の受光面の法線ベクトルと、上記の測定対象面に照射された光の光軸の進行方向を示すベクトルとがなす角度と、（ｉｉｉ）受光部５２４を構成する受光素子の大きさとに基づいて、バラツキ指標算出部９２６が算出した複数の点のそれぞれのバラツキ指標の値を補正してもよい。
【0160】
測距部５２０の基準面と、作業対象１０２の測定対象面とが平行でなくなるにつれて、測定対象面の一端からの反射光が受光素子に到達する時間と、測定対象面の他端からの反射光が受光素子に到達する時間との差が大きくなる。また、測距部５２０の基準面と、作業対象１０２の測定対象面とが平行でなくなるにつれて、反射光に含まれる正反射成分が減少し、反射光の受光強度が小さくなる。そのため、両者の傾き具合は、バラツキ指標の誤差の要因となり得る。
【0161】
本実施形態によれば、第３補正部９３６における補正処理により、上記の傾き具合がバラツキ指標の値に与える影響を小さくすることができる。その結果、例えば、物体検出部６３２が、バラツキ指標を利用して、作業領域１１４に配された１以上の物体の中から作業対象１０２を検出する場合において、作業対象１０２の材質と、他の物体の材質との違いによるバラツキ指標の相違がより明確になる。
【0162】
本実施形態において、第４補正部９３８は、測定対象面における照射部５２２が出射した光の吸収率に基づいて、バラツキ指標算出部９２６が算出したバラツキ指標の値を補正する。第４補正部９３８は、測定対象面の色、又は、反射光の強度に基づいて、バラツキ指標算出部９２６が算出したバラツキ指標の値を補正してもよい。第４補正部９３８は、光の吸収率が大きいほど、補正後のバラツキ指標の値Ｓｄから補正前のバラツキ指標の値Ｓからを引いた値（補正による増加量と称される場合がある。）が大きくなるように、補正処理を実行してよい。
【0163】
例えば、第４補正部９３８は、（ｉ）撮像部５３０が取得した複数の点のそれぞれの色、又は、（ｉｉ）受光部５２４が受光した複数の点のそれぞれからの反射光の強度に基づいて、バラツキ指標算出部９２６が算出した複数の点のそれぞれのバラツキ指標の値を補正する。第４補正部９３８は、受光部５２４が受光した複数の点のそれぞれからの反射光の強度と、深度算出部９２２が算出した複数の点のそれぞれの深度とに基づいて、バラツキ指標算出部９２６が算出した複数の点のそれぞれのバラツキ指標の値を補正してもよい。
【0164】
第４補正部９３８は、物体検出部６３２の検出対象となる１以上の物体の材質又は色が既知である場合に、上記の補正処理を実行してもよい。第４補正部９３８は、（ｉ）作業領域１１４の大きさが既知であり、且つ、（ｉｉ）受光部５２４が受光した複数の点のそれぞれからの反射光の強度が、作業領域１１４の大きさを考慮して決定された閾値よりも小さい場合に、上記の補正処理を実行してもよい。
【0165】
［別実施形態の一例］
本実施形態においては、ライダー１２４に配された点群データ出力部５４０が、バラツキ指標を算出する場合を例として、作業支援システム１００の一例が説明された。しかしながら、作業支援システム１００は、本実施形態に限定されない。他の実施形態において、点群データ出力部５４０の機能の少なくとも一部が、支援端末１４０又は支援サーバ１６０により実現されてよい。例えば、バラツキ指標算出部９２６及びバラツキ補正部９３０の少なくとも一方が、支援端末１４０又は支援サーバ１６０に配される。
本実施形態においては、ライダー１２４に配された点群データ出力部５４０が、バラツキ指標を算出する場合を例として、作業支援システム１００の一例が説明された。しかしながら、作業支援システム１００は、本実施形態に限定されない。他の実施形態において、点群データ出力部５４０の機能の少なくとも一部が、支援端末１４０又は支援サーバ１６０により実現されてよい。例えば、バラツキ指標算出部９２６及びバラツキ補正部９３０の少なくとも一方が、支援端末１４０又は支援サーバ１６０に配される。
【0166】
［別実施形態の一例］
本実施形態においては、バラツキ補正部９３０において、第１補正部９３２、第２補正部９３４、第３補正部９３６及び第４補正部９３８が、それぞれ独立に補正処理を実行する場合を例として、バラツキ補正部９３０の一例が説明された。しかしながら、バラツキ補正部９３０は、本実施形態に限定されない。
本実施形態においては、バラツキ補正部９３０において、第１補正部９３２、第２補正部９３４、第３補正部９３６及び第４補正部９３８が、それぞれ独立に補正処理を実行する場合を例として、バラツキ補正部９３０の一例が説明された。しかしながら、バラツキ補正部９３０は、本実施形態に限定されない。
【0167】
他の実施形態において、バラツキ補正部９３０において、第１補正部９３２、第２補正部９３４、第３補正部９３６及び第４補正部９３８の機能が統合して実行されてもよい。例えば、バラツキ補正部９３０は、第１補正部９３２において補正対象となる誤差要因、第２補正部９３４において補正対象となる誤差要因、第３補正部９３６において補正対象となる誤差要因、及び、第４補正部９３８のにおいて補正対象となる誤差要因の少なくとも２つの組み合わせに基づいて、バラツキ指標算出部９２６が算出したバラツキ指標の値を補正する。
【0168】
図１０を用いて、バラツキ指標算出部９２６における情報処理の概要が説明される。図１０は、作業対象１０２の表面上の単一の測定対象面（例えば、上記の複数の点の１つである。）について、深度算出部９２２が算出した深度の変動１０２０の一例を示す。図１０において、測定期間Ｔｓは、測定対象面に複数のパルス光が照射された期間を示す。評価期間Δｔは、バラツキ指標算出部９２６がバラツキ指標を算出するために用いられるサンプルの抽出期間を示す。
【0169】
バラツキ指標算出部９２６は、評価期間Δｔに受光部５２４が受光した反射光に基づいて算出された深度Ｄを統計処理することにより、深度Ｄのバラツキ指標を算出する。上述されたとおり、バラツキ指標としては、分散、偏差、標準偏差などが例示される。バラツキ指標算出部９２６は、評価期間Δｔにおける深度Ｄの平均値Ｄａを算出してもよい。
【0170】
図１１を用いて、第１補正部９３２における情報処理の概要が説明される。図１１は、測距部５２０の受光面上の基準面１１２２に設定された基準点１１２４からの距離（例えば、深度Ｄである）と、図９に関連して説明された測定期間Ｔｓにおける深度Ｄの変動具合との関係を概略的に示す。図１１に示されるとおり、深度Ｄ１における深度Ｄの変動１１４２と、深度Ｄ２における深度Ｄの変動１１４４と、深度Ｄ３における深度Ｄの変動１１４６とを比較すると、この順に変動幅が大きくなることがわかる。
【0171】
図１２を用いて、第２補正部９３４及び第３補正部９３６における情報処理の概要が説明される。本実施形態において、測距部５２０は、受光素子１２２２と、光学系１２２４とを備える。説明を簡単にすることを目的として、本実施形態において、測距部５２０は単一の受光素子１２２２を備え、また、受光素子１２２２は、一辺の長さがｃである略正方形の形状を有する。
【0172】
図１２においては、基準点１１２４を通過する基準面１１２２の法線ベクトル１２２６と、パルス光１２４０の光軸の進行方向を示すベクトル１２４２とが平行でない場合を例として、第２補正部９３４及び第３補正部９３６における情報処理の概要が説明される。また、図１２においては、測距部５２０の基準面１１２２の法線ベクトル１２２６と、作業対象１０２の表面１２６０に配された測定対象面１２７０の法線ベクトル１２７２とが平行でない場合を例として、第２補正部９３４及び第３補正部９３６における情報処理の概要が説明される。
【0173】
表面１２６０の走査が進行するにつれて、表面１２６０上の複数の測定対象面１２７０の深度又は三次元位置が判明する。そこで、特定の測定対象面１２７０の法線ベクトル１２７２は、例えば、当該特定の測定対象面１２７０の深度と、当該特定の測定対象面１２７０の近傍に配された複数の測定対象面１２７０の深度とに基づいて、当該特定の測定対象面１２７０近傍における表面１２６０の傾きを算出することで、導出され得る。なお、本実施形態において、基準面１１２２は光学系１２２４の表面に設定される。しかしながら、基準面１１２２は、受光素子の受光面の一例であってもよい。
【0174】
図１２に示されるとおり、受光素子１２２２の一辺の長さｃが大きくなるほど、（ｉ）単一の測定対象面１２７０の一方の端部１２７４と、基準点１１２４との距離、及び、（ｉ）当該単一の測定対象面１２７０の他方の端部１２７６と、基準点１１２４との距離の差が大きくなる。また、上記の差は、測定対象面１２７０の法線ベクトル１２７２と、パルス光１２４０の光軸の進行方向を示すベクトル１２４２とのなす角に応じて変動することがわかる。測定対象面１２７０の法線ベクトル１２７２と、パルス光１２４０の光軸の進行方向を示すベクトル１２４２とのなす角は、例えば、（ｉ）基準面１１２２の法線ベクトル１２２６と、測定対象面１２７０の法線ベクトル１２７２とのなす角、及び、（ｉｉ）基準面１１２２の法線ベクトル１２２６と、パルス光１２４０の光軸の進行方向を示すベクトル１２４２とのなす角に基づいて決定され得る。
【0175】
図１３は、バラツキ指標の値に基づいて生成された画像１３００の一例を示す。画像１３００は、測定対象面における深度Ｄの標準偏差Ｓを２５６段階のグレースケールで表現した画像の一例である。画像１３００の作成手順は、下記のとおりである。
【0176】
まず、Ｍｉｃｒｏｓｏｆｔ社のＡｚｕｒｅ Ｋｉｎｅｃｔ ＤＫを用いて、暗闇の中で、円形状の木製の天板を有するテーブル（イケア社製、クヴィストブロー、青色）の上に載置された千円札、五千円札及び一万円札を撮像し、色点群データを取得した。なお、テーブルの天板はアクリル塗装により、青色に塗装されていた。
【0177】
また、Ａｚｕｒｅ Ｋｉｎｅｃｔ ＤＫから色点群データを取得するとき、Ａｚｕｒｅ Ｋｉｎｅｃｔ ＤＫから、各測定対象面からの反射光の受光強度の出力を取り出した。Ａｚｕｒｅ Ｋｉｎｅｃｔ ＤＫから出力された上記の反射光の受光強度の変動に基づいて、複数の測定対象面のそれぞれについて、深度Ｄの標準偏差Ｓを算出した。算出された各測定対象面の標準偏差の値を２５６段階のグレースケールに変換することで、画像１３００を作成した。
【0178】
上述されたとおり、特定の点における標準偏差Ｓは、当該特定の点からの反射光の受光強度のバラツキ具合を示す。また、Ａｚｕｒｅ Ｋｉｎｅｃｔ ＤＫが出力する各点の距離値が安定している期間のデータを利用して、各点における標準偏差Ｓを算出した。具体的には、下記の手順に従って、標準偏差Ｓを算出した。
【0179】
まず、所定の期間にわたって、当該特定の点又は当該特定の点の周囲の点の深度Ｄ（つまり、Ａｚｕｒｅ Ｋｉｎｅｃｔ ＤＫからの距離である。）の変動を観察した。次に、上記の変動幅が予め定められた値よりも小さな期間における深度Ｄのデータを抽出した。次に、抽出された深度Ｄのデータを統計処理して、深度Ｄの標準偏差Ｓを算出した。なお、上記の変動幅が予め定められた値よりも大きな期間については、値を正常に取得することができなかった場合の固定値を戻す処理を実行した。本実施例においては、上記の固定値として０が採用された。
【0180】
図１３に示されるとおり、画像１３００によれば、目視によっても、テーブルと、千円札、五千円札及び一万円札のそれぞれとの境界を検出することができる。一方、暗闇で撮影したことから、点群データから作成したＲＧＢ画像に基づいて、テーブル、千円札、五千円札及び一万円札の境界を検出することはできなかった。また、千円札、五千円札及び一万円札は非常に薄いことから、点群データから作成した距離画像に基づいて、テーブルと、千円札、五千円札及び一万円札のそれぞれとの境界を検出することはできなかった。
【0181】
図１４は、本発明の複数の態様が全体的又は部分的に具現化されてよいコンピュータ３０００の一例を示す。作業支援システム１００の少なくとも一部は、コンピュータ３０００により実現されてよい。例えば、支援サーバ１６０の少なくとも一部が、コンピュータ３０００により実現される。
【0182】
コンピュータ３０００にインストールされたプログラムは、コンピュータ３０００に、本発明の実施形態に係る装置に関連付けられるオペレーション又は当該装置の１又は複数の「部」として機能させ、又は当該オペレーション又は当該１又は複数の「部」を実行させることができ、及び／又はコンピュータ３０００に、本発明の実施形態に係るプロセス又は当該プロセスの段階を実行させることができる。そのようなプログラムは、コンピュータ３０００に、本明細書に記載のフローチャート及びブロック図のブロックのうちのいくつか又はすべてに関連付けられた特定のオペレーションを実行させるべく、ＣＰＵ３０１２によって実行されてよい。
【0183】
本実施形態によるコンピュータ３０００は、ＣＰＵ３０１２、ＲＡＭ３０１４、ＧＰＵ３０１６、及びディスプレイデバイス３０１８を含み、それらはホストコントローラ３０１０によって相互に接続されている。コンピュータ３０００はまた、通信インタフェース３０２２、ハードディスクドライブ３０２４、ＤＶＤ－ＲＯＭドライブ３０２６、及びＩＣカードドライブのような入出力ユニットを含み、それらは入出力コントローラ３０２０を介してホストコントローラ３０１０に接続されている。コンピュータはまた、ＲＯＭ３０３０及びキーボード３０４２のようなレガシの入出力ユニットを含み、それらは入出力チップ３０４０を介して入出力コントローラ３０２０に接続されている。
【0184】
ＣＰＵ３０１２は、ＲＯＭ３０３０及びＲＡＭ３０１４内に格納されたプログラムに従い動作し、それにより各ユニットを制御する。ＧＰＵ３０１６は、ＲＡＭ３０１４内に提供されるフレームバッファ等又はそれ自体の中に、ＣＰＵ３０１２によって生成されるイメージデータを取得し、イメージデータがディスプレイデバイス３０１８上に表示されるようにする。
【0185】
通信インタフェース３０２２は、ネットワークを介して他の電子デバイスと通信する。ハードディスクドライブ３０２４は、コンピュータ３０００内のＣＰＵ３０１２によって使用されるプログラム及びデータを格納する。ＤＶＤ－ＲＯＭドライブ３０２６は、プログラム又はデータをＤＶＤ－ＲＯＭ３００１から読み取り、ハードディスクドライブ３０２４にＲＡＭ３０１４を介してプログラム又はデータを提供する。ＩＣカードドライブは、プログラム及びデータをＩＣカードから読み取り、及び／又はプログラム及びデータをＩＣカードに書き込む。
【0186】
ＲＯＭ３０３０はその中に、アクティブ化時にコンピュータ３０００によって実行されるブートプログラム等、及び／又はコンピュータ３０００のハードウエアに依存するプログラムを格納する。入出力チップ３０４０はまた、様々な入出力ユニットをパラレルポート、シリアルポート、キーボードポート、マウスポート等を介して、入出力コントローラ３０２０に接続してよい。
【0187】
プログラムが、ＤＶＤ－ＲＯＭ３００１又はＩＣカードのようなコンピュータ可読記憶媒体によって提供される。プログラムは、コンピュータ可読記憶媒体から読み取られ、コンピュータ可読記憶媒体の例でもあるハードディスクドライブ３０２４、ＲＡＭ３０１４、又はＲＯＭ３０３０にインストールされ、ＣＰＵ３０１２によって実行される。これらのプログラム内に記述される情報処理は、コンピュータ３０００に読み取られ、プログラムと、上記様々なタイプのハードウエアリソースとの間の連携をもたらす。装置又は方法が、コンピュータ３０００の使用に従い情報のオペレーション又は処理を実現することによって構成されてよい。
【0188】
例えば、通信がコンピュータ３０００及び外部デバイス間で実行される場合、ＣＰＵ３０１２は、ＲＡＭ３０１４にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インタフェース３０２２に対し、通信処理を命令してよい。通信インタフェース３０２２は、ＣＰＵ３０１２の制御の下、ＲＡＭ３０１４、ハードディスクドライブ３０２４、ＤＶＤ－ＲＯＭ３００１、又はＩＣカードのような記録媒体内に提供される送信バッファ領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、又はネットワークから受信した受信データを記録媒体上に提供される受信バッファ領域等に書き込む。
【0189】
また、ＣＰＵ３０１２は、ハードディスクドライブ３０２４、ＤＶＤ－ＲＯＭドライブ３０２６（ＤＶＤ－ＲＯＭ３００１）、ＩＣカード等のような外部記録媒体に格納されたファイル又はデータベースの全部又は必要な部分がＲＡＭ３０１４に読み取られるようにし、ＲＡＭ３０１４上のデータに対し様々なタイプの処理を実行してよい。ＣＰＵ３０１２は次に、処理されたデータを外部記録媒体にライトバックしてよい。
【0190】
様々なタイプのプログラム、データ、テーブル、及びデータベースのような様々なタイプの情報が記録媒体に格納され、情報処理を受けてよい。ＣＰＵ３０１２は、ＲＡＭ３０１４から読み取られたデータに対し、本開示の随所に記載され、プログラムの命令シーケンスによって指定される様々なタイプのオペレーション、情報処理、条件判断、条件分岐、無条件分岐、情報の検索／置換等を含む、様々なタイプの処理を実行してよく、結果をＲＡＭ３０１４に対しライトバックする。また、ＣＰＵ３０１２は、記録媒体内のファイル、データベース等における情報を検索してよい。例えば、各々が第２の属性の属性値に関連付けられた第１の属性の属性値を有する複数のエントリが記録媒体内に格納される場合、ＣＰＵ３０１２は、当該複数のエントリの中から、第１の属性の属性値が指定されている条件に一致するエントリを検索し、当該エントリ内に格納された第２の属性の属性値を読み取り、それにより予め定められた条件を満たす第１の属性に関連付けられた第２の属性の属性値を取得してよい。
【0191】
上で説明したプログラム又はソフトウエアモジュールは、コンピュータ３０００上又はコンピュータ３０００近傍のコンピュータ可読記憶媒体に格納されてよい。また、専用通信ネットワーク又はインターネットに接続されたサーバシステム内に提供されるハードディスク又はＲＡＭのような記録媒体が、コンピュータ可読記憶媒体として使用可能であり、それにより、上記のプログラムを、ネットワークを介してコンピュータ３０００に提供する。
【0192】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。また、技術的に矛盾しない範囲において、特定の実施形態について説明した事項を、他の実施形態に適用することができる。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【0193】
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
【0194】
本願明細書には、例えば、下記の事項が開示されている。
［項目Ａ－１］
三次元空間に配置された第１物体の三次元点群データを取得する点群データ取得部と、
上記点群データ取得部が取得した上記三次元点群データに基づいて、上記第１物体の三次元モデルを含む仮想空間を構築するモデリング部と、
第１ユーザからの指示であって、上記仮想空間に配された上記第１物体の上記三次元モデルの表面に配された点又は領域である指示位置を特定するための第１指示を受け付ける指示受付部と、
画像を投影する投影装置を制御して、上記第１物体の表面における上記指示位置に対応する点又は領域である投影位置に、第１画像を投影させる投影制御部と、
を備える、情報処理装置。
［項目Ａ－２］
上記投影制御部は、上記三次元空間において上記第１物体が移動した場合、上記第１物体に投影される上記第１画像が上記第１物体の移動に追従するように、上記投影装置を制御する、
項目Ａ－１に記載の情報処理装置。
［項目Ａ－３］
上記指示受付部は、上記第１ユーザからの指示であって、上記第１画像の属性を特定するための第２指示を受け付け、
上記投影制御部は、
（ｉ）上記第２指示により示される上記第１画像の属性が第１属性である場合、上記三次元空間において上記第１物体が移動したときに、上記第１物体に投影される上記第１画像が上記第１物体の移動に追従するように、上記第１画像の投影方向、並びに、上記第１画像の形状及び大きさの少なくとも１つを調整し、
（ｉｉ）上記第２指示により示される上記第１画像の属性が第２属性である場合、上記三次元空間において上記第１物体が移動しても、上記第１画像の投影方向、並びに、上記第１画像の形状及び大きさを調整しない、
項目Ａ－１又は項目Ａ－２に記載の情報処理装置。
［項目Ａ－４］
上記指示受付部は、上記第１ユーザからの指示であって、（ｉ）上記第１物体の上記三次元モデルの基準点に対する上記指示位置の相対位置、又は、（ｉｉ）上記仮想空間の基準点に対する上記指示位置の相対位置を固定するための第３指示を受け付け、
上記投影制御部は、
（ｉ）上記指示受付部が上記第３指示を受け付け、且つ、上記第２指示により示される上記第１画像の属性が第１属性である場合、上記三次元空間において上記第１物体が移動したときに、上記第１物体に投影される上記第１画像が上記第１物体の移動に追従するように、上記第１画像の投影方向、並びに、上記第１画像の形状及び大きさの少なくとも１つを調整し、
（ｉｉ）上記指示受付部が上記第３指示を受け付け、且つ、上記第２指示により示される上記第１画像の属性が第２属性である場合、上記三次元空間において上記第１物体が移動しても、上記第１画像の投影方向、並びに、上記第１画像の形状及び大きさを調整しない、
項目Ａ－３に記載の情報処理装置。
［項目Ａ－５］
上記指示受付部は、上記第１ユーザからの指示であって、上記第１画像の投影の開始又は停止に関する第４指示を受け付け、
上記投影制御部は、上記第４指示に基づいて、上記第１画像を上記第１物体に投影するか否かを決定する、
項目Ａ－１から項目Ａ－４までの何れか一項に記載の情報処理装置。
［項目Ａ－６］
上記第１ユーザが上記仮想空間における上記指示位置を指定するために用いられるポインティングデバイス又はコントローラが出力した制御信号に基づいて、上記仮想空間の特定の点を指し示すマークの動きを制御する指示マーク制御部をさらに備える、
項目Ａ－１から項目Ａ－５までの何れか一項に記載の情報処理装置。
［項目Ａ－７］
上記指示マーク制御部は、上記第１物体の上記三次元モデルの境界近傍における上記マークの動き方を規定する第１設定情報に基づいて、上記マークの動きを制御する、
項目Ａ－６に記載の情報処理装置。
［項目Ａ－８］
上記第１物体の画像データを取得する画像データ取得部と、
上記画像データ取得部が取得した上記画像データに基づいて、上記第１物体の種類を推定する物体推定部と、
１以上の物体のそれぞれの種類を示す情報と、各物体の表面上の１以上の位置のそれぞれに対応する各物体の三次元モデルの１以上の位置のそれぞれにおける上記マークの動き方を規定する第２設定情報とを対応付けて格納する設定格納部を参照して、上記物体推定部が推定した上記第１物体の上記種類に応じた上記第２設定情報を抽出する設定抽出部と、
をさらに備え、
上記指示マーク制御部は、上記設定抽出部が抽出した上記第２設定情報に基づいて、上記マークの動きを制御する、
項目Ａ－６又は項目Ａ－７に記載の情報処理装置。
［項目Ａ－９］
上記点群データ取得部は、上記第１物体に光を照射して得られた上記光の反射光に基づいて上記第１物体の上記三次元点群データを出力する測定装置から、上記第１物体の上記三次元点群データを取得し、
上記測定装置は、上記第１物体を撮像する撮像部を有し、
上記情報処理装置は、上記測定装置と、上記投影装置との位置関係を決定する較正部をさらに備え、
上記投影装置は、互いの相対位置が既知である少なくとも３つの線分を含む較正画像を、上記三次元空間に投影し、
上記撮像部は、上記投影装置が上記三次元空間に投影した上記較正画像を撮像し、
上記較正部は、上記撮像部が撮像した上記較正画像に基づいて、上記測定装置と、上記投影装置との位置関係を決定する、
項目Ａ－１から項目Ａ－９までの何れか一項に記載の情報処理装置。
［項目Ａ－１０］
コンピュータを、項目Ａ－１から項目Ａ－１０までの何れか一項に記載の情報処理装置として機能させるためのプログラム。
［項目Ａ－１１］
三次元空間に配置された第１物体の三次元点群データを取得する点群データ取得段階と、
上記点群データ取得段階において取得された上記三次元点群データに基づいて、上記第１物体の三次元モデルを含む仮想空間を構築するモデリング段階と、
第１ユーザからの指示であって、上記仮想空間に配された上記第１物体の上記三次元モデルの表面に配された点又は領域である指示位置を特定するための第１指示を受け付ける指示受付段階と、
画像を投影する投影装置を制御して、上記第１物体の表面における上記指示位置に対応する点又は領域である投影位置に、第１画像を投影させる投影制御段階と、
を有する、情報処理方法。
［項目Ｂ－１］
１以上の物体が配置された三次元空間の三次元点群データを取得する点群データ取得部と、
上記点群データ取得部が取得した上記三次元空間の上記三次元点群データに基づいて、上記１以上の物体に含まれる第１物体の境界の少なくとも一部を検出する物体検出部と、
を備え、
上記点群データ取得部は、上記１以上の物体に光を照射して得られた上記光の反射光に基づいて上記三次元空間の上記三次元点群データを出力する測定装置から、上記三次元空間の上記三次元点群データを取得し、
上記三次元空間の上記三次元点群データは、
上記１以上の物体の表面上の複数の点のそれぞれの三次元位置を示す三次元位置情報と、
上記複数の点のそれぞれからの上記反射光の強度のバラツキ具合を示すバラツキ情報と、
を含み、
上記物体検出部は、上記三次元位置情報及び上記バラツキ情報に基づいて、上記第１物体の上記境界の上記少なくとも一部を検出する、
検出装置。
［項目Ｂ－２］
上記物体検出部は、
上記複数の点のそれぞれにおける上記バラツキ具合を示す指標の値に基づいて、上記複数の点の中から上記第１物体の表面上の点を抽出する、
項目Ｂ－１に記載の検出装置。
［項目Ｂ－３］
上記物体検出部は、
上記複数の点の中から、上記バラツキ具合を示す指標の値が予め定められた第１範囲の範囲内である少なくとも１つの点を抽出し、
抽出された上記少なくとも１つの点のそれぞれについて、各点の上記バラツキ具合を示す指標の値と、各点に隣接する点の上記バラツキ具合を示す指標の値とを比較し、
両者の差の絶対値が予め定められた値よりも小さい場合には、両者が同一の物体の表面上の点であると判定し、両者の差の絶対値が予め定められた値よりも大きい場合には、両者が異なる物体の表面上の点であると判定することで、上記１以上の物体に含まれる少なくとも２つの物体を区別する、
項目Ｂ－２に記載の検出装置。
［項目Ｂ－４］
上記物体検出部は、上記複数の点のうち、上記バラツキ具合を示す指標の値が上記第１物体の材質に基づいて定められる数値範囲の範囲内に含まれる１以上の点の中から、上記第１物体の表面上の点を抽出する、
項目Ｂ－２又は項目Ｂ－３に記載の検出装置。
［項目Ｂ－５］
上記三次元空間の上記三次元点群データは、上記複数の点のそれぞれの色を示す色情報をさらに含み、
上記物体検出部は、上記三次元位置情報、上記バラツキ情報及び上記色情報に基づいて、上記第１物体の上記境界の上記少なくとも一部を検出する、
項目Ｂ－１から項目Ｂ－４までの何れか一項に記載の検出装置。
［項目Ｂ－６］
上記測定装置は、
上記三次元空間に配置された上記１以上の物体に上記光を照射する照射部と、
上記照射部の近傍に配され、上記１以上の物体からの上記光の反射光を受光する受光部と、
を備え、
上記検出装置又は上記測定装置は、
上記照射部が上記光を照射した時刻、及び、上記受光部が上記反射光を受光した時刻に基づいて、上記１以上の物体の表面上の上記複数の点のそれぞれについて、上記照射部又は上記受光部からの距離を示す深度を算出する深度算出部と、
予め定められた長さを有する単位期間における上記深度の変動に基づいて、上記複数の点のそれぞれからの上記反射光の強度のバラツキ具合を示す指標を算出する指標算出部と、
をさらに備える、
項目Ｂ－１から項目Ｂ－５までの何れか一項に記載の検出装置。
［項目Ｂ－７］
上記検出装置又は上記測定装置は、
上記深度算出部が算出した上記複数の点のそれぞれの深度に基づいて、上記複数の点のそれぞれからの上記反射光の強度のバラツキ具合を示す指標を補正する第１補正部をさらに備える、
項目Ｂ－６に記載の検出装置。
［項目Ｂ－８］
上記検出装置又は上記測定装置は、
上記受光部を構成する受光素子の大きさに基づいて、上記複数の点のそれぞれからの上記反射光の強度のバラツキ具合を示す指標を補正する第２補正部をさらに備える、
項目Ｂ－６又は項目Ｂ－７に記載の検出装置。
［項目Ｂ－９］
上記検出装置又は上記測定装置は、
上記受光部を構成する受光素子の受光面の法線ベクトルと、上記１以上の物体の表面上の上記光が照射された測定対象面の法線ベクトルとがなす角度に基づいて、上記複数の点のそれぞれからの上記反射光の強度のバラツキ具合を示す指標を補正する第３補正部をさらに備える、
項目Ｂ－６から項目Ｂ－８までの何れか一項に記載の検出装置。
［項目Ｂ－１０］
上記検出装置又は上記測定装置は、
上記受光部が受光した上記複数の点のそれぞれからの上記反射光の強度に基づいて、上記複数の点のそれぞれからの上記反射光の強度のバラツキ具合を示す指標を補正する第４補正部をさらに備える、
項目Ｂ－６から項目Ｂ－９までの何れか一項に記載の検出装置。
［項目Ｂ－１１］
コンピュータを、項目Ｂ－１から項目Ｂ－１０までの何れか一項に記載の検出装置として機能させるためのプログラム。
［項目Ｂ－１２］
１以上の物体が配置された三次元空間の三次元点群データを取得する点群データ取得段階と、
上記点群データ取得段階において取得された上記三次元空間の上記三次元点群データに基づいて、上記１以上の物体に含まれる第１物体の境界の少なくとも一部を検出する物体検出段階と、
を有し、
上記点群データ取得段階は、上記１以上の物体に光を照射して得られた上記光の反射光に基づいて上記三次元空間の上記三次元点群データを出力する測定装置から、上記三次元空間の上記三次元点群データを取得する段階を含み、
上記三次元空間の上記三次元点群データは、
上記１以上の物体の表面上の複数の点のそれぞれの三次元位置を示す三次元位置情報と、
上記複数の点のそれぞれからの上記反射光の強度のバラツキ具合を示すバラツキ情報と、
を含み、
上記物体検出段階は、上記三次元位置情報及び上記バラツキ情報に基づいて、上記第１物体の上記境界の上記少なくとも一部を検出する段階を含む、
検出方法。
［項目Ｃ］
三次元空間に配置された１以上の物体に光を照射する照射部と、
上記照射部の近傍に配され、上記１以上の物体からの上記光の反射光を受光する受光部と、
上記照射部が上記光を照射した時刻、及び、上記受光部が上記反射光を受光した時刻に基づいて、上記１以上の物体の表面上の上記複数の点のそれぞれについて、上記照射部又は上記受光部からの距離を示す深度を算出する深度算出部と、
予め定められた長さを有する単位期間における上記深度の変動に基づいて、上記複数の点のそれぞれからの上記反射光の強度のバラツキ具合を示す指標を算出する指標算出部と、
を備える、測定装置。
［項目Ａ－１］
三次元空間に配置された第１物体の三次元点群データを取得する点群データ取得部と、
上記点群データ取得部が取得した上記三次元点群データに基づいて、上記第１物体の三次元モデルを含む仮想空間を構築するモデリング部と、
第１ユーザからの指示であって、上記仮想空間に配された上記第１物体の上記三次元モデルの表面に配された点又は領域である指示位置を特定するための第１指示を受け付ける指示受付部と、
画像を投影する投影装置を制御して、上記第１物体の表面における上記指示位置に対応する点又は領域である投影位置に、第１画像を投影させる投影制御部と、
を備える、情報処理装置。
［項目Ａ－２］
上記投影制御部は、上記三次元空間において上記第１物体が移動した場合、上記第１物体に投影される上記第１画像が上記第１物体の移動に追従するように、上記投影装置を制御する、
項目Ａ－１に記載の情報処理装置。
［項目Ａ－３］
上記指示受付部は、上記第１ユーザからの指示であって、上記第１画像の属性を特定するための第２指示を受け付け、
上記投影制御部は、
（ｉ）上記第２指示により示される上記第１画像の属性が第１属性である場合、上記三次元空間において上記第１物体が移動したときに、上記第１物体に投影される上記第１画像が上記第１物体の移動に追従するように、上記第１画像の投影方向、並びに、上記第１画像の形状及び大きさの少なくとも１つを調整し、
（ｉｉ）上記第２指示により示される上記第１画像の属性が第２属性である場合、上記三次元空間において上記第１物体が移動しても、上記第１画像の投影方向、並びに、上記第１画像の形状及び大きさを調整しない、
項目Ａ－１又は項目Ａ－２に記載の情報処理装置。
［項目Ａ－４］
上記指示受付部は、上記第１ユーザからの指示であって、（ｉ）上記第１物体の上記三次元モデルの基準点に対する上記指示位置の相対位置、又は、（ｉｉ）上記仮想空間の基準点に対する上記指示位置の相対位置を固定するための第３指示を受け付け、
上記投影制御部は、
（ｉ）上記指示受付部が上記第３指示を受け付け、且つ、上記第２指示により示される上記第１画像の属性が第１属性である場合、上記三次元空間において上記第１物体が移動したときに、上記第１物体に投影される上記第１画像が上記第１物体の移動に追従するように、上記第１画像の投影方向、並びに、上記第１画像の形状及び大きさの少なくとも１つを調整し、
（ｉｉ）上記指示受付部が上記第３指示を受け付け、且つ、上記第２指示により示される上記第１画像の属性が第２属性である場合、上記三次元空間において上記第１物体が移動しても、上記第１画像の投影方向、並びに、上記第１画像の形状及び大きさを調整しない、
項目Ａ－３に記載の情報処理装置。
［項目Ａ－５］
上記指示受付部は、上記第１ユーザからの指示であって、上記第１画像の投影の開始又は停止に関する第４指示を受け付け、
上記投影制御部は、上記第４指示に基づいて、上記第１画像を上記第１物体に投影するか否かを決定する、
項目Ａ－１から項目Ａ－４までの何れか一項に記載の情報処理装置。
［項目Ａ－６］
上記第１ユーザが上記仮想空間における上記指示位置を指定するために用いられるポインティングデバイス又はコントローラが出力した制御信号に基づいて、上記仮想空間の特定の点を指し示すマークの動きを制御する指示マーク制御部をさらに備える、
項目Ａ－１から項目Ａ－５までの何れか一項に記載の情報処理装置。
［項目Ａ－７］
上記指示マーク制御部は、上記第１物体の上記三次元モデルの境界近傍における上記マークの動き方を規定する第１設定情報に基づいて、上記マークの動きを制御する、
項目Ａ－６に記載の情報処理装置。
［項目Ａ－８］
上記第１物体の画像データを取得する画像データ取得部と、
上記画像データ取得部が取得した上記画像データに基づいて、上記第１物体の種類を推定する物体推定部と、
１以上の物体のそれぞれの種類を示す情報と、各物体の表面上の１以上の位置のそれぞれに対応する各物体の三次元モデルの１以上の位置のそれぞれにおける上記マークの動き方を規定する第２設定情報とを対応付けて格納する設定格納部を参照して、上記物体推定部が推定した上記第１物体の上記種類に応じた上記第２設定情報を抽出する設定抽出部と、
をさらに備え、
上記指示マーク制御部は、上記設定抽出部が抽出した上記第２設定情報に基づいて、上記マークの動きを制御する、
項目Ａ－６又は項目Ａ－７に記載の情報処理装置。
［項目Ａ－９］
上記点群データ取得部は、上記第１物体に光を照射して得られた上記光の反射光に基づいて上記第１物体の上記三次元点群データを出力する測定装置から、上記第１物体の上記三次元点群データを取得し、
上記測定装置は、上記第１物体を撮像する撮像部を有し、
上記情報処理装置は、上記測定装置と、上記投影装置との位置関係を決定する較正部をさらに備え、
上記投影装置は、互いの相対位置が既知である少なくとも３つの線分を含む較正画像を、上記三次元空間に投影し、
上記撮像部は、上記投影装置が上記三次元空間に投影した上記較正画像を撮像し、
上記較正部は、上記撮像部が撮像した上記較正画像に基づいて、上記測定装置と、上記投影装置との位置関係を決定する、
項目Ａ－１から項目Ａ－９までの何れか一項に記載の情報処理装置。
［項目Ａ－１０］
コンピュータを、項目Ａ－１から項目Ａ－１０までの何れか一項に記載の情報処理装置として機能させるためのプログラム。
［項目Ａ－１１］
三次元空間に配置された第１物体の三次元点群データを取得する点群データ取得段階と、
上記点群データ取得段階において取得された上記三次元点群データに基づいて、上記第１物体の三次元モデルを含む仮想空間を構築するモデリング段階と、
第１ユーザからの指示であって、上記仮想空間に配された上記第１物体の上記三次元モデルの表面に配された点又は領域である指示位置を特定するための第１指示を受け付ける指示受付段階と、
画像を投影する投影装置を制御して、上記第１物体の表面における上記指示位置に対応する点又は領域である投影位置に、第１画像を投影させる投影制御段階と、
を有する、情報処理方法。
［項目Ｂ－１］
１以上の物体が配置された三次元空間の三次元点群データを取得する点群データ取得部と、
上記点群データ取得部が取得した上記三次元空間の上記三次元点群データに基づいて、上記１以上の物体に含まれる第１物体の境界の少なくとも一部を検出する物体検出部と、
を備え、
上記点群データ取得部は、上記１以上の物体に光を照射して得られた上記光の反射光に基づいて上記三次元空間の上記三次元点群データを出力する測定装置から、上記三次元空間の上記三次元点群データを取得し、
上記三次元空間の上記三次元点群データは、
上記１以上の物体の表面上の複数の点のそれぞれの三次元位置を示す三次元位置情報と、
上記複数の点のそれぞれからの上記反射光の強度のバラツキ具合を示すバラツキ情報と、
を含み、
上記物体検出部は、上記三次元位置情報及び上記バラツキ情報に基づいて、上記第１物体の上記境界の上記少なくとも一部を検出する、
検出装置。
［項目Ｂ－２］
上記物体検出部は、
上記複数の点のそれぞれにおける上記バラツキ具合を示す指標の値に基づいて、上記複数の点の中から上記第１物体の表面上の点を抽出する、
項目Ｂ－１に記載の検出装置。
［項目Ｂ－３］
上記物体検出部は、
上記複数の点の中から、上記バラツキ具合を示す指標の値が予め定められた第１範囲の範囲内である少なくとも１つの点を抽出し、
抽出された上記少なくとも１つの点のそれぞれについて、各点の上記バラツキ具合を示す指標の値と、各点に隣接する点の上記バラツキ具合を示す指標の値とを比較し、
両者の差の絶対値が予め定められた値よりも小さい場合には、両者が同一の物体の表面上の点であると判定し、両者の差の絶対値が予め定められた値よりも大きい場合には、両者が異なる物体の表面上の点であると判定することで、上記１以上の物体に含まれる少なくとも２つの物体を区別する、
項目Ｂ－２に記載の検出装置。
［項目Ｂ－４］
上記物体検出部は、上記複数の点のうち、上記バラツキ具合を示す指標の値が上記第１物体の材質に基づいて定められる数値範囲の範囲内に含まれる１以上の点の中から、上記第１物体の表面上の点を抽出する、
項目Ｂ－２又は項目Ｂ－３に記載の検出装置。
［項目Ｂ－５］
上記三次元空間の上記三次元点群データは、上記複数の点のそれぞれの色を示す色情報をさらに含み、
上記物体検出部は、上記三次元位置情報、上記バラツキ情報及び上記色情報に基づいて、上記第１物体の上記境界の上記少なくとも一部を検出する、
項目Ｂ－１から項目Ｂ－４までの何れか一項に記載の検出装置。
［項目Ｂ－６］
上記測定装置は、
上記三次元空間に配置された上記１以上の物体に上記光を照射する照射部と、
上記照射部の近傍に配され、上記１以上の物体からの上記光の反射光を受光する受光部と、
を備え、
上記検出装置又は上記測定装置は、
上記照射部が上記光を照射した時刻、及び、上記受光部が上記反射光を受光した時刻に基づいて、上記１以上の物体の表面上の上記複数の点のそれぞれについて、上記照射部又は上記受光部からの距離を示す深度を算出する深度算出部と、
予め定められた長さを有する単位期間における上記深度の変動に基づいて、上記複数の点のそれぞれからの上記反射光の強度のバラツキ具合を示す指標を算出する指標算出部と、
をさらに備える、
項目Ｂ－１から項目Ｂ－５までの何れか一項に記載の検出装置。
［項目Ｂ－７］
上記検出装置又は上記測定装置は、
上記深度算出部が算出した上記複数の点のそれぞれの深度に基づいて、上記複数の点のそれぞれからの上記反射光の強度のバラツキ具合を示す指標を補正する第１補正部をさらに備える、
項目Ｂ－６に記載の検出装置。
［項目Ｂ－８］
上記検出装置又は上記測定装置は、
上記受光部を構成する受光素子の大きさに基づいて、上記複数の点のそれぞれからの上記反射光の強度のバラツキ具合を示す指標を補正する第２補正部をさらに備える、
項目Ｂ－６又は項目Ｂ－７に記載の検出装置。
［項目Ｂ－９］
上記検出装置又は上記測定装置は、
上記受光部を構成する受光素子の受光面の法線ベクトルと、上記１以上の物体の表面上の上記光が照射された測定対象面の法線ベクトルとがなす角度に基づいて、上記複数の点のそれぞれからの上記反射光の強度のバラツキ具合を示す指標を補正する第３補正部をさらに備える、
項目Ｂ－６から項目Ｂ－８までの何れか一項に記載の検出装置。
［項目Ｂ－１０］
上記検出装置又は上記測定装置は、
上記受光部が受光した上記複数の点のそれぞれからの上記反射光の強度に基づいて、上記複数の点のそれぞれからの上記反射光の強度のバラツキ具合を示す指標を補正する第４補正部をさらに備える、
項目Ｂ－６から項目Ｂ－９までの何れか一項に記載の検出装置。
［項目Ｂ－１１］
コンピュータを、項目Ｂ－１から項目Ｂ－１０までの何れか一項に記載の検出装置として機能させるためのプログラム。
［項目Ｂ－１２］
１以上の物体が配置された三次元空間の三次元点群データを取得する点群データ取得段階と、
上記点群データ取得段階において取得された上記三次元空間の上記三次元点群データに基づいて、上記１以上の物体に含まれる第１物体の境界の少なくとも一部を検出する物体検出段階と、
を有し、
上記点群データ取得段階は、上記１以上の物体に光を照射して得られた上記光の反射光に基づいて上記三次元空間の上記三次元点群データを出力する測定装置から、上記三次元空間の上記三次元点群データを取得する段階を含み、
上記三次元空間の上記三次元点群データは、
上記１以上の物体の表面上の複数の点のそれぞれの三次元位置を示す三次元位置情報と、
上記複数の点のそれぞれからの上記反射光の強度のバラツキ具合を示すバラツキ情報と、
を含み、
上記物体検出段階は、上記三次元位置情報及び上記バラツキ情報に基づいて、上記第１物体の上記境界の上記少なくとも一部を検出する段階を含む、
検出方法。
［項目Ｃ］
三次元空間に配置された１以上の物体に光を照射する照射部と、
上記照射部の近傍に配され、上記１以上の物体からの上記光の反射光を受光する受光部と、
上記照射部が上記光を照射した時刻、及び、上記受光部が上記反射光を受光した時刻に基づいて、上記１以上の物体の表面上の上記複数の点のそれぞれについて、上記照射部又は上記受光部からの距離を示す深度を算出する深度算出部と、
予め定められた長さを有する単位期間における上記深度の変動に基づいて、上記複数の点のそれぞれからの上記反射光の強度のバラツキ具合を示す指標を算出する指標算出部と、
を備える、測定装置。
【符号の説明】
【0195】
１０ 通信ネットワーク、２０ 支援画像、３２ 作業者、３４ 支援者、１００ 作業支援システム、１０２ 作業対象、１１０ 作業室、１１２ 作業台、１１４ 作業領域、１２２ ディスプレイ、１２４ ライダー、１２６ プロジェクタ、１４０ 支援端末、１４２ 支援端末、１４４ コントローラ、１４６ 支援端末、１４８ ポインティングデバイス、１６０ 支援サーバ、１６２ 作業室制御部、１６４ 支援端末制御部、２１０ タイトル、２１２ 符号化コード、２１４ 記入欄、２１６ 署名欄、２１８ 押印欄、３２２ マーカ、３２４ ポインタ、４００ 操作画面、４０２ カーソル、４０４ オブジェクト、４２０ メニューバー、４４０ 仮想空間表示領域、４４２ 三次元モデル、４４４ 三次元モデル、４６０ オブジェクト設定領域、４６２ プルダウンリスト、４６４ プルダウンリスト、４６６ ボタン、５２０ 測距部、５２２ 照射部、５２４ 受光部、５３０ 撮像部、５４０ 点群データ出力部、５６０ 色点群データ、６２２ 点群データ取得部、６３２ 物体検出部、６３４ モデリング部、６３６ 種類推定部、６４２ 指示受付部、６４４ 投影制御部、６５０ 較正部、６６０ 格納部、７００ 較正画像、８１０ 設定格納部、８１２ 第１設定情報格納部、８１４ 第２設定情報格納部、８２０ 指示マーク制御部、８３２ 画像データ取得部、８３４ 物体推定部、８３６ 設定抽出部、９２２ 深度算出部、９２４ 三次元位置情報算出部、９２６ バラツキ指標算出部、９３０ バラツキ補正部、９３２ 第１補正部、９３４ 第２補正部、９３６ 第３補正部、９３８ 第４補正部、１０２０ 変動、１１２２ 基準面、１１２４ 基準点、１１４２ 変動、１１４４ 変動、１１４６ 変動、１２２２ 受光素子、１２２４ 光学系、１２２６ 法線ベクトル、１２４０ パルス光、１２４２ ベクトル、１２６０ 表面、１２７０ 測定対象面、１２７２ 法線ベクトル、１２７４ 端部、１２７６ 端部、１３００ 画像、３０００ コンピュータ、３００１ ＤＶＤ－ＲＯＭ、３０１０ ホストコントローラ、３０１２ ＣＰＵ、３０１４ ＲＡＭ、３０１６ ＧＰＵ、３０１８ ディスプレイデバイス、３０２０ 入出力コントローラ、３０２２ 通信インタフェース、３０２４ ハードディスクドライブ、３０２６ ＤＶＤ－ＲＯＭドライブ、３０３０ ＲＯＭ、３０４０ 入出力チップ、３０４２ キーボード
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
