特許 6705926 ウェアラブルデバイスおよび制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】6705926

(24)【登録日】2020年5月18日

(45)【発行日】2020年6月3日

(54)【発明の名称】ウェアラブルデバイスおよび制御方法

(51)【国際特許分類】

   H04N 5/74 20060101AFI20200525BHJP

   G03B 21/00 20060101ALI20200525BHJP

   G09G 5/00 20060101ALI20200525BHJP

【ＦＩ】

   H04N5/74 Z

   G03B21/00 Z

   G09G5/00 510B

   G09G5/00 550C

   G09G5/00 X

【請求項の数】10

【全頁数】40

(21)【出願番号】特願2019-46024(P2019-46024)

(22)【出願日】2019年3月13日

【審査請求日】2019年3月13日

(73)【特許権者】

【識別番号】000227205

【氏名又は名称】ＮＥＣプラットフォームズ株式会社

(74)【代理人】

【識別番号】100109313

【弁理士】

【氏名又は名称】机 昌彦

(74)【代理人】

【識別番号】100124154

【弁理士】

【氏名又は名称】下坂 直樹

(72)【発明者】

【氏名】奥村 藤男

【審査官】 鈴木 隆夫

(56)【参考文献】

【文献】 国際公開第２０１８／０７９４４６（ＷＯ，Ａ１）

【文献】 国際公開第２０１６／１５２１０９（ＷＯ，Ａ１）

【文献】 国際公開第２０１６／０９８２８１（ＷＯ，Ａ１）

【文献】 特表２０１３−５０５５０８（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／７４

Ｇ０３Ｂ ２１／００

Ｇ０９Ｇ ５／００

(57)【特許請求の範囲】

【請求項1】

画像データを生成する撮像装置と、
前記画像データを前記撮像装置から取得し、取得した前記画像データに基づいて投射条件を設定する制御装置と、
前記制御装置から前記投射条件を取得し、取得した前記投射条件に応じた光を投射する投射装置と、を備え、
前記制御装置は、
所定の模様を形成する検出光を投射するための第１投射条件を設定し、
前記検出光が照射されていないときに撮像された第１画像と、前記検出光が照射されているときに撮像された第２画像とを取得し、
前記第２画像から検出される前記所定の模様の状態に基づいて第１領域を設定し、
少なくとも前記第１領域を前記第１画像から除いた検出用画像を生成し、
前記検出用画像から抽出される特徴に基づいて指示光照射位置を設定し、
前記指示光照射位置に指示光を投射するための第２投射条件を設定するウェアラブルデバイス。

【請求項2】

前記制御装置は、
前記第２画像において検出される前記所定の模様の不連続箇所を結ぶことによって前記第１領域を設定し、少なくとも前記第１領域の内部を前記第１画像から除くことによって前記検出用画像を生成する請求項１に記載のウェアラブルデバイス。

【請求項3】

前記制御装置は、
前記第１領域を拡大した第２領域を設定し、前記第２領域の内部を前記第１画像から削除することによって前記検出用画像を生成する請求項２に記載のウェアラブルデバイス。

【請求項4】

前記制御装置は、
前記第２画像において検出される前記所定の模様の不連続箇所を結ぶことによって前記第１領域を形成し、少なくとも前記第１領域の外部を前記第１画像から除くことによって前記検出用画像を生成する請求項１に記載のウェアラブルデバイス。

【請求項5】

前記制御装置は、
前記第２画像から検出される特徴に基づいて作業体の動きを推定し、前記作業体の動きに合わせて前記検出光の照射範囲を設定し、設定した前記検出光の照射範囲を前記第１投射条件に追加する請求項１乃至４のいずれか一項に記載のウェアラブルデバイス。

【請求項6】

前記制御装置は、
前記作業体を検出するまでは疎な前記検出光を投射するように前記投射装置を制御し、
前記作業体を検出中の期間においては密な前記検出光を投射するように前記投射装置を制御する請求項５に記載のウェアラブルデバイス。

【請求項7】

前記制御装置は、
前記所定の模様として縞状の模様を形成する前記検出光を投射するための前記第１投射条件を設定し、
前記第１投射条件に応じて前記検出光が照射されているときに撮像された前記第２画像を取得し、
取得した前記第２画像から検出される前記縞状の模様の不連続箇所を結ぶことによって前記第１領域を設定する請求項１乃至６のいずれか一項に記載のウェアラブルデバイス。

【請求項8】

前記制御装置は、
前記検出光のパルス幅を短くするとともに、単位時間当たりの出力を大きくする条件を前記第１投射条件に追加する請求項１乃至７のいずれか一項に記載のウェアラブルデバイス。

【請求項9】

外部システムと前記制御装置とを通信可能に接続する通信装置を備える請求項１乃至８のいずれか一項に記載のウェアラブルデバイス。

【請求項10】

画像データを生成する撮像装置と、前記画像データに基づいて投射条件を設定する制御装置と、前記投射条件に応じた光を投射する投射装置と、を備えるウェアラブルデバイスの制御方法であって、
前記制御装置が、
所定の模様を形成する検出光を投射するための第１投射条件を設定し、
前記検出光が照射されていないときに撮像された第１画像と、前記検出光が照射されているときに撮像された第２画像とを取得し、
前記第２画像から検出される前記所定の模様の状態に基づいて第１領域を設定し、
少なくとも前記第１領域を前記第１画像から除いた検出用画像を生成し、
前記検出用画像から抽出される特徴に基づいて指示光照射位置を設定し、
前記指示光照射位置に指示光を投射するための第２投射条件を設定する制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、作業者の作業を支援するウェアラブルデバイスおよび制御方法に関する。

【背景技術】

【0002】

特許文献１には、各種情報を出力するレンズと作業現場を撮像するカメラとを備えるウェアラブルデバイスと、実際の作業現場を画像として再現可能に画像処理したマッピング情報を蓄積するサーバとを備える作業管理システムについて開示されている。ウェアラブルデバイスは、サーバから送信されたマッピング情報に基づいて実際の作業現場を情報空間内に形成するとともに、情報空間内に形成した作業現場をレンズ越しの実際の視野に重ねるように投影する。サーバは、カメラによって撮像された撮像情報に基づいて作業者の挙動に関する情報を得て、情報空間内における作業者の挙動に関する情報を監視する。特許文献１のシステムによれば、ウェアラブルデバイスのカメラで作業者の動きを監視・管理したり、作業者への指示をレンズに表示させたりすることができる。

【0003】

特許文献２には、作業現場に設置されたカメラによって作業対象物に貼付された宛先ラベルを撮影し、宛先ラベルに基づいた仕分け先に関する情報をその作業対象物に投影することで仕分け作業を支援する情報処理装置について開示されている。特許文献２によれば、実世界の作業現場に設置されたカメラに撮影された宛先ラベルに基づいて、実世界の作業現場にある作業対象物に投影された仕分け先を示す情報を作業者が視認することができる。

【0004】

特許文献３には、有効表示情報を操作領域に形成させる投射部と、操作領域上での操作内容を取得する撮像部と、を備える情報入力装置について開示されている。特許文献３の装置の投射部は、複数の表示領域に区分けされる表示手段を有する空間変調素子と、複数の表示領域のそれぞれに対応付けられた複数の発光部を含む光源とを有する。特許文献３の装置の投射部は、空間変調素子の表示部に照射された光を基に形成される表示情報を操作領域に投射する構成を有し、投影部を小型化かつ低電力化できるため、ウェアラブルデバイスに好適である。

【0005】

特許文献４には、ジェスチャーによる操作入力を可能とする操作入力装置について開示されている。特許文献４の装置は、撮像画像中の手領域を検出し、検出された手領域以外の領域で構成される背景領域内の各部分について、当該部分の輝度や色彩に基づいて、光源が存在する可能性を示す指標としての光源存在度を設定する。特許文献４の装置は、光源存在度に基づいて、光源の影響を受けたと推定された領域と手領域とが予め定められた距離以内にあると判断された場合に、検出された手領域の形状に基づいて撮像画像中の手領域に欠損が生じているか判断する。特許文献４の装置は、撮像画像中の手領域の欠損の判断結果と、検出された手領域を表す情報とに基づいて、手の動作を判断する。

【0006】

特許文献５には、ターゲットの範囲内に投影するコンテンツをトリミングする方法について開示されている。特許文献５の方法では、Ｋｉｎｅｃｔ（登録商標）などの可視光カメラと深度カメラを用いて、オブジェクトまでの距離を決定するための深度マップが作成される。特許文献５の方法では、深度マップ内の背景から投影ターゲットをセグメント化することによってオブジェクトの形状を決定する。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特開２０１６−１８４３０３号公報

【特許文献2】国際公開第２０１５／１４５９８２号

【特許文献3】国際公開第２０１６／１９９４１５号

【特許文献4】国際公開第２０１５／０３７２７３号

【特許文献5】特表２０１７−５０３１９８号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

特許文献１〜３の手法を組み合わせれば、作業者の作業を支援するための情報をその作業者の視界に投射することで、作業者に対して作業支援を行う小型のウェアラブルデバイスを実現することができる。しかしながら、実際の作業現場においては、作業者の手と背景との相対的な位置関係が刻一刻と変わるため、作業者の手と背景とを分離できず、適格な作業支援を行うことができない。例えば、背景にある作業対象物に対して何らかの表示情報を表示させる場合、その作業対象物から特徴点を捕らえる必要がある。しかし、手の動きによって不要な特徴点が発生すると、その不要な特徴点がノイズとなり、背景から抽出したい特徴点を正確に抽出できないことがある。また、例えば、手の平に何らかの表示情報を表示させる場合、その手の平から特徴点を抽出する必要がある。しかし、背景が不要な特徴点を作ってしまうと、その不要な特徴点がノイズとなり、手の平から抽出したい特徴量を正確に抽出できないことがある。

【0009】

特許文献４の手法では、輝度や色彩に基づいて背景と手との差分を取ることによって、背景と手とを分離する。そのため、特許文献４の手法を用いれば、手を含まない背景から特徴を抽出することができるため、背景の特徴が手の特徴によって検出されにくくなることがない。しかしながら、特許文献４の手法では、輝度や色彩に基づいて背景と手とを分離するため、背景に手の色と同じような輝度や色彩がある場合、背景と手とを精度よく分離できない場合がある。

【0010】

特許文献５の手法では、深度カメラを用いて作成された深度マップ内の背景から投影ターゲットをセグメント化することによってオブジェクトの形状を決定する。そのため、特許文献５の手法を用いれば、輝度や色彩では判別の難しい領域を区別することができる。しかしながら、ウェアラブルデバイスに深度カメラを搭載すると装置が大型化してしまい、携帯性が低下する。

【0011】

本発明の目的は、上述した課題を解決し、大掛かりな装置を用いずに、作業支援のための情報を表示させる位置を確実に抽出し、適切な作業支援を実現するウェアラブルデバイスを提供することにある。

【課題を解決するための手段】

【0012】

本発明の一態様のウェアラブルデバイスは、画像データを生成する撮像装置と、画像データを撮像装置から取得し、取得した画像データに基づいて投射条件を設定する制御装置と、制御装置から投射条件を取得し、取得した投射条件に応じた光を投射する投射装置と、を備え、制御装置は、所定の模様を形成する検出光を投射するための第１投射条件を設定し、検出光が照射されていないときに撮像された第１画像と、検出光が照射されているときに撮像された第２画像とを取得し、第２画像から検出される所定の模様の状態に基づいて第１領域を設定し、少なくとも第１領域を第１画像から除いた検出用画像を生成し、検出用画像から抽出される特徴に基づいて指示光照射位置を設定し、指示光照射位置に指示光を投射するための第２投射条件を設定する。

【0013】

本発明の一態様の制御方法は、画像データを生成する撮像装置と、画像データに基づいて投射条件を設定する制御装置と、投射条件に応じた光を投射する投射装置と、を備えるウェアラブルデバイスの制御方法であって、制御装置が、検出光が照射されていないときに撮像された第１画像と、検出光が照射されているときに撮像された第２画像とを取得し、第２画像から検出される所定の模様の状態に基づいて第１領域を設定し、少なくとも第１領域を第１画像から除いた検出用画像を生成し、検出用画像から抽出される特徴に基づいて指示光照射位置を設定し、指示光照射位置に指示光を投射するための第２投射条件を設定する。

【発明の効果】

【0014】

本発明によれば、大掛かりな装置を用いずに、作業支援のための情報を表示させる位置を確実に抽出し、適切な作業支援を実現するウェアラブルデバイスを提供することが可能になる。

【図面の簡単な説明】

【0015】

【図1】本発明の第１の実施形態に係るウェアラブルデバイスの構成の一例を示すブロック図である。

【図2】本発明の第１の実施形態に係るウェアラブルデバイスの適用例を示す概念図である。

【図3】本発明の第１の実施形態に係るウェアラブルデバイスの適用例を示す概念図である。

【図4】本発明の第１の実施形態に係るウェアラブルデバイスの別の適用例を示す概念図である。

【図5】本発明の第１の実施形態に係るウェアラブルデバイスが作業対象領域を検出する際に用いる検出用画像の一例を示す概念図である。

【図6】本発明の第１の実施形態に係るウェアラブルデバイスによる手の検出処理から輪郭抽出処理までの流れについて説明するための概念図である。

【図7】本発明の第１の実施形態に係るウェアラブルデバイスによる輪郭抽出処理から指示光照射処理までの流れについて説明するための概念図である。

【図8】本発明の第１の実施形態に係るウェアラブルデバイスの動作について説明するための概念図である。

【図9】本発明の第１の実施形態に係るウェアラブルデバイスが備える撮像装置の構成の一例を示すブロック図である。

【図10】本発明の第１の実施形態に係るウェアラブルデバイスが備える投射装置の構成の一例を示すブロック図である。

【図11】本発明の第１の実施形態に係るウェアラブルデバイスが備える投射装置の投射光学系の構成の一例を示す概念図である。

【図12】本発明の第１の実施形態に係るウェアラブルデバイスが備える投射装置の投射光学系の構成の別の一例を示す概念図である。

【図13】本発明の第１の実施形態に係るウェアラブルデバイスが備える制御装置の構成の一例を示すブロック図である。

【図14】本発明の第１の実施形態に係るウェアラブルデバイスの動作の概要について説明するためのフローチャートである。

【図15】本発明の第１の実施形態に係るウェアラブルデバイスによる指示光投射条件設定処理について説明するためのフローチャートである。

【図16】本発明の第２の実施形態に係るウェアラブルデバイスが備える制御装置の構成の一例を示すブロック図である。

【図17】本発明の第２の実施形態に係るウェアラブルデバイスによる手の検出から輪郭抽出までの処理について説明するための概念図である。

【図18】本発明の第２の実施形態に係るウェアラブルデバイスによる輪郭抽出から指示光の照射までの処理について説明するための概念図である。

【図19】本発明の第２の実施形態に係るウェアラブルデバイスによる指示光投射条件設定処理について説明するためのフローチャートである。

【図20】本発明の第３の実施形態に係るウェアラブルデバイスが備える制御装置の構成の一例を示すブロック図である。

【図21】本発明の第３の実施形態に係るウェアラブルデバイスが投射する検出光について説明するための概念図である。

【図22】本発明の第３の実施形態に係るウェアラブルデバイスの動作の概要について説明するためのフローチャートである。

【図23】本発明の第３の実施形態に係るウェアラブルデバイスによる指示光投射条件設定処理について説明するためのフローチャートである。

【図24】本発明の第３の実施形態に係るウェアラブルデバイスによる検出光投射条件設定処理について説明するためのフローチャートである。

【図25】本発明の第４の実施形態に係るウェアラブルデバイスが備える制御装置の構成の一例を示すブロック図である。

【図26】本発明の第４の実施形態に係るウェアラブルデバイスによる投射装置および撮像装置の制御例に説明するための概念図である。

【図27】本発明の第５の実施形態に係るウェアラブルデバイスの構成の一例を示すブロック図である。

【図28】本発明の各実施形態に係るウェアラブルデバイスが備える制御装置を実現するハードウェア構成の一例を示すブロック図である。

【発明を実施するための形態】

【0016】

以下に、本発明を実施するための形態について図面を用いて説明する。ただし、以下に述べる実施形態には、本発明を実施するために技術的に好ましい限定がされているが、発明の範囲を以下に限定するものではない。なお、以下の実施形態の説明に用いる全図においては、特に理由がない限り、同様箇所には同一符号を付す。また、以下の実施形態において、同様の構成・動作に関しては繰り返しの説明を省略する場合がある。

【0017】

（第１の実施形態）
まず、本発明の第１の実施形態に係るウェアラブルデバイスについて図面を参照しながら説明する。本実施形態のウェアラブルデバイスは、作業対象を撮影した画像に基づいて、作業者が行う作業を支援するための指示光を投射するウェアラブルデバイスである。作業者は、投射された指示光を視認することによって次の作業を認識できる。

【0018】

（構成）
図１は、本実施形態に係るウェアラブルデバイス１の構成の概要を示すブロック図である。ウェアラブルデバイス１は、撮像装置１１、投射装置１２、および制御装置１３を備える。制御装置１３は、撮像装置１１および投射装置１２に接続される。撮像装置１１は、撮像機能を有するカメラである。投射装置１２は、投射機能を有するプロジェクタである。制御装置１３（コントローラとも呼ぶ）は、撮像装置１１および投射装置１２を制御する装置である。

【0019】

撮像装置１１は、制御装置１３の制御に応じて、作業対象を含む範囲を撮像する。撮像装置１１は、作業対象を含む範囲を撮像することで生成される画像データを制御装置１３に出力する。例えば、撮像装置１１は、撮影速度の速い高速カメラによって実現される。

【0020】

投射装置１２は、制御装置１３の制御に応じて投射光を投射する。投射装置１２は、作業者の手や腕などの作業体を検出するための検出光を投射する。また、投射装置１２は、作業者が次に作業を行う予定の作業対象箇所にその位置や指示を示す指示光を投射する。投射装置１２は、制御装置による制御に応じて検出光や指示光を投射する。例えば、投射装置１２は、空間光変調素子を用いたプロジェクタによって実現される。

【0021】

制御装置１３は、撮像装置１１および投射装置１２を制御する。制御装置１３は、所定の模様を形成する検出光を投射するための投射条件（第１投射条件とも呼ぶ）を生成し、生成した第１投射条件を投射装置１２に出力する。制御装置１３は、撮像装置１１を制御し、作業対象を含む範囲を撮像させる。制御装置１３は、撮像装置１１を制御し、検出光が表示されていない画像データ（第１画像）と、検出光が表示された画像データ（第２画像）とを連続したタイミングで撮像させる。制御装置１３は、撮像装置１１から第１画像および第２画像を取得し、取得した第２画像から作業者の手や腕を検出する。制御装置１３は、作業者の手や腕を第２画像から検出すると、作業者の手や腕の範囲を第１画像から削除することによって検出用画像を生成する。制御装置１３は、検出用画像から作業対象箇所を検出する。制御装置１３は、検出した作業対象箇所に指示光を投射するための投射条件（第２投射条件とも呼ぶ）を生成し、生成した第２投射条件を投射装置１２に出力する。例えば、制御装置１３は、プロセッサやメモリを有するマイクロコンピュータによって実現される。

【0022】

図２〜図４は、本実施形態のウェアラブルデバイス１の適用例を示す概念図である。図２および図３は、作業者の被るヘルメットにウェアラブルデバイス１を配置する例である。図４は、作業者の胸元にウェアラブルデバイス１を配置する例である。

【0023】

ウェアラブルデバイス１は、作業対象１００を撮像した画像データに作業者の体の一部が写っているか否かを検証する。本実施形態においては、作業者の手や腕を検出対象とする。ウェアラブルデバイス１は、手や腕を検出するための検出光１５１を作業対象１００に向けて投射する（図２）。ウェアラブルデバイス１は、作業者に視認されないように、短パルス化した検出光１５１を投射する。図２の例では、検出光１５１は、ストライプ状の模様で表示される。なお、検出光１５１の模様は、作業対象１００の上方に位置する物体を検出できさえすれば、ストライプ状に限定されない。また、ストライプ状の模様の検出光１５１を照射する場合、ストライプの間隔は、作業者の手や腕が検出されるまでは粗くし、作業者の手や腕が検出されてからは細かくするように設定するとエネルギー消費を低減できる。なお、検出光１５１の視認性は、環境光に依存する。例えば、検出光１５１と背景とのコントラストや、背景の明るさを調整することによって検出光１５１の視認性を制御できる。本実施形態においては、検出光１５１が視認されない方が好ましいため、検出光１５１が視認されにくいように、検出光１５１と背景とのコントラストや、背景の明るさを調整することが好ましい。

【0024】

ウェアラブルデバイス１は、作業者に視認できない条件で表示される検出光１５１を撮像できる高速カメラを備える。ウェアラブルデバイス１は、検出光１５１が表示されていないタイミングおいて作業対象１００を撮像する。このとき、ウェアラブルデバイス１は、検出光１５１が照射されていない作業対象１００の画像データ（第１画像とも呼ぶ）を生成する。また、ウェアラブルデバイス１は、検出光１５１が表示されるタイミングにおいて作業対象１００を撮像する。このとき、ウェアラブルデバイス１は、検出光１５１が照射されている作業対象１００の画像データ（第２画像とも呼ぶ）を生成する。

【0025】

ウェアラブルデバイス１は、検出光１５１が表示された画像データ（第２画像）から、検出光１５１が不連続になった箇所（切断点とも呼ぶ）を検出する。ウェアラブルデバイス１は、切断点を検出すると、切断点を結んだ領域を第１領域に設定する。ウェアラブルデバイス１は、検出された作業者の手や腕を確実にくり抜くために、第１領域を拡大して第２領域を設定する。ウェアラブルデバイス１は、検出光１５１が表示されていない画像データ（第１画像）から第２領域を削除し、第２領域を含まない画像データ（検出用画像とも呼ぶ）を生成する。ウェアラブルデバイス１は、検出用画像から、作業者が次に行う作業を行うことになる作業対象箇所１０５を検出する（図３）。

【0026】

ウェアラブルデバイス１は、作業対象箇所１０５を検出すると、検出した作業対象箇所１０５に指示光１５５を投射する（図３）。作業者は、作業対象箇所１０５に投射された指示光１５５を視認することによって次に行う作業の位置や内容を認識できる。例えば、作業者の次の作業内容がコネクタにケーブルを接続することであれば、ウェアラブルデバイス１は、コネクタの位置を作業対象箇所１０５に設定し、その位置に指示光１５５を照射する。作業者は、指示光１５５の位置を視認することによって、次の作業内容を認識できる。

【0027】

図５は、ウェアラブルデバイス１が作業対象箇所１０５を検出する際に用いる検出用画像１６５の一例を示す概念図である。検出用画像１６５には、作業者の手や腕が含まれないため、作業者の手や腕によって形成される特徴点が含まれず、作業対象箇所１０５の特徴点が検出されやすくなる。

【0028】

本実施形態では、作業対象箇所１０５を含む背景を追跡し続けるために、作業者の手や腕によって形成される特徴点を除去することによって、背景の特徴点に対するノイズ除去を行う。本実施形態では、手や腕が検出された後の段階において、背景から特徴点を抽出する例を挙げる。例えば、実際の作業現場においては、作業者の手や腕が作業対象箇所１０５の位置を塞いでしまうこともある。ウェアラブルデバイス１は、起動時において、手や腕によって作業対象箇所１０５が隠されていた場合、その作業対象箇所１０５を検出できない。しかしながら、作業者の手や腕が動けば、手や腕によって長時間隠されていた作業対象箇所１０５であっても、ウェアラブルデバイス１によってやがて検出される。このように検出される作業対象箇所１０５から特徴点を抽出してゆけば、背景のほとんどの特徴的な箇所から特徴点を抽出することができる。特徴点は、少しでも多く抽出されることが望ましいので、手や腕によって隠されていた作業対象箇所１０５が検出することは重要である。また、作業対象箇所１０５が長時間隠されてしまう場合を想定し、作業対象箇所１０５が長時間検出されなかった際に警告を示す表示を作業対象１００の表面に表示させるように構成してもよい。実際の作業現場では、手や腕が検出される前の段階で背景の特徴点を抽出しておき、手や腕が動いても背景の特徴点を把握し続けることが好ましい。

【0029】

〔作業対象箇所の検出〕
ここで、制御装置１３が、画像データから手や腕を検出し、作業対象箇所１０５を検出するまでの手順について図面を参照しながら説明する。

【0030】

図６は、制御装置１３が、画像データから手や腕を検出し、第１領域を設定するまでの手順を示す概念図である。

【0031】

制御装置１３は、検出光１５１が照射されていない作業対象１００の画像データ（第１画像１６１）を撮像装置１１から取得する（Ａ）。また、制御装置１３は、検出光１５１が照射された作業対象１００の画像データ（第２画像１６２）を撮像装置１１から取得する（Ｂ）。第２画像１６２には、検出光１５１の模様が写っている。このときに制御装置１３が取得する第１画像１６１および第２画像１６２は、連続したタイミングにおいて撮像されたものである。なお、第１画像１６１と第２画像１６２の撮像順番は入れ替わってもよい。

【0032】

制御装置１３は、第２画像１６２を取得すると（Ｂ）、検出光１５１の切断点１７０を抽出する（Ｃ）。図６のように、第２画像１６２に手や腕が写っていると、背景と比べて手や腕の方が撮像装置１１に近いため、手や腕に照射された検出光１５１の模様がずれる。その結果、作業対象１００の表面に照射された検出光１５１の模様には切断点１７０が表れる。制御装置１３は、抽出された複数の切断点１７０を結んで第１領域１７１を設定する（Ｄ）。

【0033】

図７は、制御装置１３が、第１領域を抽出し、作業対象箇所１０５を検出するまでの手順を示す概念図である。

【0034】

制御装置１３は、第１領域１７１を設定すると（Ｄ）、第１領域１７１を拡大して第２領域１７２を設定する（Ｅ）。制御装置１３は、第１画像１６１から第２領域１７２の内部を削除し、第１画像１６１から第２領域１７２の内部が削除された画像データ（検出用画像１６５）を生成する（Ｆ）。第１領域１７１は、手や腕の輪郭上の点を結んだ領域になるため、第１画像１６１から第１領域１７１の内部を削除すると、手や腕の一部が画像データに残存してしまい、背景の作業対象１００から特徴を抽出しにくくなる可能性がある。そのため、制御装置１３は、第１領域１７１を拡大した第２領域１７２を設定し、第１画像１６１から第２領域１７２の内部を削除する。

【0035】

そして、制御装置１３は、検出用画像１６５から作業対象箇所１０５を検出する（Ｇ）。制御装置１３は、作業対象箇所１０５を検出すると、その作業対象箇所１０５に指示光１５５を投射するための投射条件を生成し、生成した投射条件を投射装置１２に出力する。例えば、作業対象箇所１０５に表示される模様は、作業対象箇所１０５を示す図形や、作業内容を示す記号や文字など、作業状況に応じて任意に設定できる。

【0036】

なお、作業対象箇所１０５を検出できる程度であれば、検出用画像１６５に手や腕の一部が残存していてもよい。そのため、第１画像１６１から第１領域１７１の内部を削除した画像データを検出用画像１６５に設定し、その検出用画像１６５を用いて背景の作業対象１００から特徴を抽出するように構成してもよい。この場合、背景の作業対象１００から特徴を抽出できなかった場合には、第１領域１７１を拡大して第２領域を設定し、第１画像１６１から第２領域の内部を削除した画像データを検出用画像１６５に設定すればよい。また、第１画像１６１から第２領域の内部を削除した検出用画像１６５を用いても、背景の作業対象１００から特徴を抽出できない場合も想定される。そのような場合は、第２領域１７２をさらに拡大し、拡大した第２領域を第１画像１６１から削除すればよい。

【0037】

〔動作タイミング〕
ここで、ウェアラブルデバイス１の撮像装置１１、投射装置１２、および制御装置１３の動作タイミングについて図面を参照しながら説明する。図８は、撮像装置１１、投射装置１２、および制御装置１３の動作タイミングの一例について説明するための概念図である。

【0038】

図８のタイミングＴ０において、制御装置１３は、撮像装置１１から画像データを取得する。タイミングＴ０において撮像装置１１から取得される画像データ（第１画像）には検出光１５１が写っていない。

【0039】

タイミングＴ１において、制御装置１３は、投射装置１２を制御し、作業対象１００に向けて検出光１５１を投射させる。また、制御装置１３は、撮像装置１１から画像データを取得する。タイミングＴ１において撮像装置１１から取得される画像データ（第２画像）には検出光１５１が写っている。

【0040】

タイミングＴ２において、制御装置１３は、第２画像に手や腕が含まれるか否かを検証する。図８の例では、タイミングＴ２においては、第２画像から手や腕が検出されなかったものとする。なお、図８においては、タイミングＴ２において、撮像装置１１が撮像するものとしているが、撮像を停止するように構成してもよい。

【0041】

タイミングＴ３において、制御装置１３は、撮像装置１１から画像データを取得する。タイミングＴ３において撮像装置１１から取得される画像データ（第１画像）には検出光１５１が写っていない。

【0042】

タイミングＴ４において、制御装置１３は、作業対象１００に検出光１５１を投射するための投射条件に基づいて投射装置１２を制御し、作業対象１００に向けて検出光１５１を投射させる。また、制御装置１３は、撮像装置１１から画像データを取得する。タイミングＴ４において撮像装置１１から取得される画像データ（第２画像）には検出光１５１が写っている。

【0043】

タイミングＴ５において、制御装置１３は、第２画像に手や腕が含まれるか否かを検証する。図８の例では、タイミングＴ５において、第２画像から手や腕が検出されたものとする。なお、図８においては、タイミングＴ５において、撮像装置１１が撮像するものとしているが、撮像を停止するように構成してもよい。

【0044】

タイミングＴ６において、制御装置１３は、第２画像を用いて検出用画像１６５を生成する。制御装置１３は、生成した検出用画像１６５から作業対象箇所１０５を検出する。制御装置１３は、作業対象箇所１０５に指示光１５５を投射するための投射条件を生成する。

【0045】

タイミングＴ７において、制御装置１３は、作業対象箇所１０５に指示光１５５を投射するための投射条件に基づいて投射装置１２を制御し、作業対象箇所１０５に向けて指示光１５５を投射させる。また、制御装置１３は、撮像装置１１から画像データを取得する。タイミングＴ７において撮像装置１１から取得される画像データには、指示光１５５が写っている。

【0046】

タイミングＴ８において、制御装置１３は、作業対象箇所１０５に指示光１５５を投射するための投射条件に基づいて投射装置１２を制御し、投射光１５０を投射させる。また、制御装置１３は、撮像装置１１から画像データを取得する。タイミングＴ８において撮像装置１１から取得される画像データには、指示光１５５が写っている。

【0047】

タイミングＴ９において、制御装置１３は、作業対象１００に検出光１５１を投射するための投射条件に基づいて投射装置１２を制御し、作業対象１００に向けて検出光１５１を投射させる。また、タイミングＴ９において、制御装置１３は、作業対象箇所１０５に指示光１５５を投射するための投射条件に基づいて投射装置１２を制御し、作業対象箇所１０５に向けて指示光１５５を投射させる。また、制御装置１３は、撮像装置１１から画像データを取得する。タイミングＴ８において撮像装置１１から取得される画像データには、検出光１５１と指示光１５５が写っている。

【0048】

タイミングＴ１０以降において、制御装置１３は、手や腕の検出状況に応じて、タイミングＴ０〜Ｔ９に示す処理を繰り返す。例えば、制御装置１３は、手や腕が検出されない場合にはタイミングＴ０〜Ｔ２の処理を繰り返し、手や腕が検出された場合にはタイミングＴ３〜Ｔ９の処理を繰り返すことになる。

【0049】

以上が、ウェアラブルデバイス１の構成の概要についての説明である。なお、図１〜図８は一例であって、本実施形態のウェアラブルデバイス１の構成や利用シーン、処理などをそのままの形態や手順に限定するものではない。

【0050】

〔撮像装置〕
次に、ウェアラブルデバイス１の撮像装置１１について図面を参照しながら説明する。図９は、撮像装置１１の構成を示すブロック図である。撮像装置１１は、撮像素子１１１、画像処理プロセッサ１１３、内部メモリ１１５、およびデータ出力回路１１７を有する。撮像装置１１は、一般的なデジタルカメラの機能を含み、高速撮影の可能なカメラである。

【0051】

撮像素子１１１は、撮像装置１１の撮影範囲を撮像し、その撮影範囲の撮像データを取得するための素子である。本実施形態においては、作業対象１００を含む範囲が撮影範囲に設定される。撮像素子１１１は、半導体部品が集積回路化された光電変換素子である。撮像素子１１１は、例えば、ＣＣＤ（Charge-Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）などの固体撮像素子によって実現できる。通常、撮像素子１１１は、可視領域の光を撮像する素子によって構成するが、赤外線や紫外線、Ｘ線、ガンマ線、電波、マイクロ波などの電磁波を撮像・検波できる素子によって構成してもよい。

【0052】

画像処理プロセッサ１１３は、撮像素子１１１によって撮像された撮像データに対して、暗電流補正や補間演算、色空間変換、ガンマ補正、収差の補正、ノイズリダクション、画像圧縮などの画像処理を実行して画像データに変換する集積回路である。なお、画像情報を加工せずに出力する場合は、画像処理プロセッサ１１３を省略してもよい。

【0053】

内部メモリ１１５は、画像処理プロセッサ１１３が一度に処理しきれない画像情報や、処理済みの画像情報を一時的に格納する記憶素子である。なお、撮像素子１１１によって撮像された画像情報を内部メモリ１１５に一時的に記憶するように構成してもよい。内部メモリ１１５は、一般的なメモリによって構成すればよい。

【0054】

データ出力回路１１７は、画像処理プロセッサ１１３によって処理された画像データを制御装置１３に出力する。

【0055】

〔投射装置〕
次に、投射装置１２について図面を参照しながら説明する。図１０は、ウェアラブルデバイス１の投射装置１２の構成を示すブロック図である。図１１は、投射装置１２の構成例を示す概念図である。

【0056】

図１０のように、投射装置１２は、照射部１２１、光源駆動電源１２５、空間光変調素子１２６、変調素子駆動部１２７、および投射光学系１２９を備える。なお、図１０は概念的なものであり、各構成要素間の位置関係や、光の照射方向などを正確に表したものではない。

【0057】

照射部１２１は、特定波長のコヒーレントな光１２０を出射する。図１１のように、照射部１２１は、光源１２２とコリメートレンズ１２３を含む。図１１のように、照射部１２１が出射した光１１０は、コリメートレンズ１２３を通過してコヒーレントな光１２０となり、空間光変調素子１２６の表示部に入射される。例えば、照射部１２１は、照射部１２１としてレーザ光源を含む。通常、照射部１２１は、可視領域の光を出射するように構成する。なお、照射部１２１は、赤外領域や紫外領域などの可視領域以外の光を出射するように構成してもよい。また、照射部１２１は、発光ダイオードや白熱電球、放電管などのレーザ光源以外で構成してもよい。

【0058】

照射部１２１は、パルス状の光を出射する。検出光１５１を照射する際には、照射部１２１は、視認されにくいパルス幅で光を出射する。また、指示光１５５を照射する際には、照射部１２１は、視認されやすいパルス幅で光を出射する。

【0059】

光源駆動電源１２５は、制御装置１３の制御に応じて照射部１２１の光源１２２を駆動させて、照射部１２１から光を出射させる電源である。

【0060】

空間光変調素子１２６は、変調素子駆動部１２７の制御に応じて、検出光１５１や指示光１５５を生成するためのパターン（画像の位相分布）を自身の表示部に表示する。本実施形態においては、空間光変調素子１２６の表示部に所定のパターンが表示された状態で、その表示部に光１２０を照射する。空間光変調素子１２６は、入射される光１２０の反射光（変調光１３０）を投射光学系１２９に向けて出射する。

【0061】

図１１のように、本実施形態においては、空間光変調素子１２６の表示部に対して光１２０の入射角を非垂直にする。すなわち、本実施形態においては、照射部１２１からの光１２０の出射軸を空間光変調素子１２６の表示部に対して斜めにし、ビームスプリッタを用いずに空間光変調素子１２６の表示部に光１２０を入射させる。そのため、図１１の構成では、光１２０がビームスプリッタを通過することによって減衰することがないため、光１２０の利用効率を向上させることができる。

【0062】

空間光変調素子１２６は、位相がそろったコヒーレントな光１２０の入射を受け、入射された光１２０の位相を変調する位相変調型の空間光変調素子によって実現できる。位相変調型の空間光変調素子１２６を用いた投射光学系１２９からの出射光は、フォーカスフリーであるため、複数の投射距離に光を投射することになっても投射距離ごとに焦点を変える必要がない。なお、空間光変調素子１２６は、表示部が複数の表示領域に分割され、各表示領域に表示情報を表示できるのであれば、位相変調型とは異なる方式の素子であってもよい。

【0063】

位相変調型の空間光変調素子１２６の表示部には、作業対象１００の表面に表示させる検出光１５１や指示光１５５の位相分布が表示される。位相分布が表示された空間光変調素子１２６の表示部で反射された変調光１３０は、一種の回折格子が集合体を形成したような画像になり、回折格子で回折された光が集まるように像が形成される。

【0064】

空間光変調素子１２６は、例えば、強誘電性液晶やホモジーニアス液晶、垂直配向液晶などを用いた空間光変調素子によって実現される。空間光変調素子１２６は、具体的には、ＬＣＯＳ（Liquid Crystal on Silicon）によって実現できる。また、例えば、空間光変調素子１２６は、ＭＥＭＳ（Micro Electro Mechanical System）によって実現できる。

【0065】

位相変調型の空間光変調素子１２６では、投射光を投射する箇所を順次切り替えるように動作させることによってエネルギーを像の部分に集中することができる。そのため、位相変調型の空間光変調素子１２６を用いれば、光源の出力が同じであれば、その他の方式のものよりも表示情報を明るく表示させることができる。

【0066】

変調素子駆動部１２７は、制御装置１３の制御に応じて、作業対象１００の表面に表示させる像を生成するためのパターンを空間光変調素子１２６の表示部に表示させる。変調素子駆動部１２７は、空間光変調素子１２６の表示部に照射される光１１０の位相と、表示部で反射される変調光１３０の位相との差分を決定づけるパラメータが変化するように空間光変調素子１２６を駆動する。

【0067】

位相変調型の空間光変調素子１２６の表示部に照射される光１２０の位相と、表示部で反射される変調光１３０の位相との差分を決定づけるパラメータは、例えば、屈折率や光路長などの光学的特性に関するパラメータである。例えば、変調素子駆動部１２７は、空間光変調素子１２６の表示部に印可する電圧を変化させることによって、表示部の屈折率を変化させる。表示部に照射された光１２０は、表示部の各部の屈折率に基づいて適宜回折される。すなわち、位相変調型の空間光変調素子１２６に照射された光１２０の位相分布は、表示部の光学的特性に応じて変調される。なお、変調素子駆動部１２７による空間光変調素子１２６の駆動方法はここで挙げた限りではない。

【0068】

投射光学系１２９は、空間光変調素子１２６で変調された変調光１３０を投射光１５０として投射する。図１１のように、投射光学系１２９は、フーリエ変換レンズ１９１、アパーチャ１９２．および投射レンズ１９３を含む。空間光変調素子１２６で変調された変調光１３０は、投射光学系１２９によって投射光１５０として照射される。なお、作業対象１００の表面に像を形成できさえすれば、投射光学系１２９の構成要素のうちいずれかを省略してもよい。

【0069】

フーリエ変換レンズ１９１は、空間光変調素子１２６の表示部で反射された変調光１３０を無限遠に投射した際に形成される像を、近傍の焦点に結像させるための光学レンズである。図１１では、アパーチャ１９２の位置に焦点が形成されている。

【0070】

アパーチャ１９２は、フーリエ変換レンズ１９１によって集束された光に含まれる高次光を遮蔽し、投射光１５０が表示される範囲を特定する。アパーチャ１９２の開口部は、アパーチャ１９２の位置における表示領域の最外周よりも小さく開口され、アパーチャ１９２の位置における表示情報の周辺領域を遮るように設置される。例えば、アパーチャ１９２の開口部は、矩形状や円形状に形成される。アパーチャ１９２は、フーリエ変換レンズ１９１の焦点位置に設置されることが好ましいが、高次光を消去する機能を発揮できれば焦点位置からずれていても構わない。

【0071】

投射レンズ１９３は、フーリエ変換レンズ１９１によって集束された光を拡大して投射する光学レンズである。投射レンズ１９３は、空間光変調素子１２６の表示部に表示された位相分布に対応する画像が投射範囲内に投影されるように投射光１５０を投射する。

【0072】

単純な記号などの線画を投射する用途にウェアラブルデバイス１を用いる場合、投射光学系１２９から投射された投射光１５０は、各表示領域に均一に投射されるのではなく、表示情報を構成する文字や記号、枠などの部分に集中的に投射される。そのような場合、ウェアラブルデバイス１によれば、光１２０の出射量を実質的に減らせるため、全体的な光出力を抑えることができる。すなわち、ウェアラブルデバイス１は、小型かつ低電力な照射部１２１で構成できるため、その照射部１２１を駆動する光源駆動電源１２５を低出力にでき、全体的な消費電力を低減できる。

【0073】

複数の波長の光を出射するように照射部１２１を構成すれば、照射部１２１から出射する光の波長を変えることによって、指示光１５５の色を変更することができる。また、異なる波長の光を同時に出射する照射部１２１を用いれば、複数の色によって構成される指示光１５５を表示させることができる。

【0074】

図１２は、複数色の投射を実現する投射装置１２−２の構成例を示す概念図である。図１２の投射装置１２−２は、複数の色の光を出射する照射部１２１−２を備える。照射部１２１−２は、光源１２２−１、コリメートレンズ１２３−１、ミラー１２４−１、光源１２２−２、コリメートレンズ１２３−２、およびダイクロイックミラー１２４−２を有する。なお、図１２には、２つの光源（光源１２２−１、光源１２２−２）を用いて２色の光を出射する例を示すが、３つ以上の光源を用いて３色以上の光を出射するように構成してもよい。

【0075】

光源１２２−１は、第１の波長の光１１０−１を発する。光源１２２−１から発せられた光１１０−１は、コリメートレンズ１２３−１を通過してコヒーレントな光になる。コリメートレンズ１２３−１を通過した光は、ミラー１２４−１の反射面で反射され、ダイクロイックミラー１２４−２を通過する。ダイクロイックミラー１２４−２を通過した光１２０は、空間光変調素子１２６の表示部に向けて進行する。

【0076】

また、光源１２２−２は、第２の波長の光１１０−２を発する。光源１２２−２から発せられた光１１０−２は、コリメートレンズ１２３−２を通過してコヒーレントな光になる。コリメートレンズ１２３−２を通過した光は、ダイクロイックミラー１２４−２の反射面で反射される。ダイクロイックミラー１２４−２の反射面で反射された光１２０は、空間光変調素子１２６の表示部に向けて進行する。

【0077】

照射部１２１−２は、光源１２２−１および光源１２２−２の少なくともいずれかから発せられる光１２０を空間光変調素子１２６の表示部に向けて出射する。例えば、照射部１２１−２は、制御装置１３の制御に応じて、光源１２２−１からの第１の波長の光と、光源１２２−２からの第２の波長の光とを切り替えて照射する。なお、照射部１２１−２は、光源１２２−１からの第１の波長の光と、光源１２２−２からの第２の波長の光とを同時に照射してもよい。

【0078】

図１２の構成によれば、異なる色の像を表示させることができる。例えば、指示光１５５に応じて作業者が行った作業が正しい場合には緑色の光を照射し、間違っている場合には赤色の光を照射すれば、作業状況の正誤を色の違いで作業者に認識させることもできる。また、例えば、緑色の光が視認されにくい箇所に指示光１５５を表示させると、作業者がその指示光１５５を認識しにくい場合がある。そのような場合は、指示光１５５の色を作業者に視認されやすい色に切り替えればよい。また、例えば、手や腕を検出する際に、緑色の光が撮像装置１１に検出されにくい箇所に検出光１５１を照射させると、撮像装置１１がその検出光１５１を検出しにくい場合がある。そのような場合は、検出光１５１の色を撮像装置１１によって検出されやすい色に切り替えればよい。

【0079】

〔制御装置〕
次に、制御装置１３について図面を参照しながら説明する。図１３は、ウェアラブルデバイス１の制御装置１３の構成を示すブロック図である。図１３のように、制御装置１３は、撮像制御部１３１、検出部１３３、投射条件設定部１３６、投射条件記憶部１３７、および投射制御部１３９を有する。

【0080】

撮像制御部１３１は、作業対象１００を含む範囲を撮像装置１１に撮像させ、撮像装置１１が撮像した画像データを取得する。撮像制御部１３１は、取得した画像データを検出部１３３に出力する。

【0081】

検出部１３３は、撮像制御部１３１から画像データを取得する。検出部１３３は、検出光１５１が照射されていない作業対象１００の画像データ（第１画像１６１）と、検出光１５１が照射されている作業対象１００の画像データ（第２画像１６２）とを取得する。

【0082】

検出部１３３は、取得した画像データから手や腕、検出光１５１、作業対象箇所１０５、指示光１５５などを検出する。検出部１３３は、画像データに含まれる特徴に基づいて、投射範囲内に進入した人体の一部（手や腕）や、作業対象箇所１０５を検出する。例えば、検出部１３３は、取得した画像データに含まれる形状や色などの特徴に基づいて、人体の一部や作業対象箇所１０５を検出する。また、検出部１３３は、取得した画像データにそれまでは写っていなかった特徴が検出された際に、その特徴が人体に起因するとみなして検出してもよい。本実施形態においては、検出部１３３は、第２画像１６２に写っている検出光１５１のパターンの変化に基づいて手や腕を検出する例を挙げる。

【0083】

検出部１３３は、手や腕が写っている第２画像１６２を取得すると、その第２画像１６２から検出光１５１の切断点１７０を抽出する。検出部１３３は、切断点１７０を結んで第１領域１７１を設定する。また、検出部１３３は、第１領域１７１を拡大して第２領域１７２を設定する。検出部１３３は、第１画像１６１から第２領域１７２の内部を削除した画像データ（検出用画像１６５）を生成する。

【0084】

検出部１３３は、検出用画像１６５から、作業者が次に作業を行う予定の作業対象箇所１０５を検出する。検出部１３３は、検出用画像１６５から作業対象箇所１０５を検出すると、その作業対象箇所１０５の位置座標を抽出する。検出部１３３は、抽出した作業対象箇所１０５の位置座標を投射条件設定部１３６に出力する。

【0085】

指示光１５５を投射中であっても、検出光の投射から作業対象箇所１０５の検出までの一連の処理を継続すれば、指示光１５５の照射位置は正しい位置に補正される。また、指示光１５５の照射位置の精度をより向上させるために、指示光１５５が照射された画像データを検出部１３３が取得した際に、指示光１５５が表示されている位置と、作業対象１００との位置とが一致するか否かを検証するように構成してもよい。指示光１５５が表示されている位置と、作業対象１００との位置とのずれが検出された場合、そのずれの程度に応じて指示光１５５の照射位置を補正するように構成すれば、指示光１５５の照射位置の精度が向上する。

【0086】

投射条件設定部１３６は、検出光１５１や指示光１５５を投射するための投射条件を設定する。投射条件設定部１３６が設定する投射条件には、後述の光源制御条件および変調素子制御条件が含まれる。投射条件設定部１３６は、設定した投射条件を投射制御部１３９に出力する。

【0087】

投射条件設定部１３６は、作業対象１００の表面に表示させる像に対応するパターンを投射条件記憶部１３７から取得する。例えば、投射装置１２が位相変調型の空間光変調素子１２６を含む場合、作業対象１００の表面に表示させる情報に対応するパターンは位相分布である。以下においては、位相変調型の空間光変調素子１２６を用いる例について説明する。

【0088】

投射条件設定部１３６は、投射装置１２から光を出射させるタイミングや、出射させる光の出力を制御するための光源制御条件を設定する。光源制御条件は、投射装置１２に含まれる照射部１２１が光１２０を出射するタイミングを制御するための条件である。例えば、光源制御条件は、投射条件記憶部１３７に記憶させておけばよい。

【0089】

また、投射条件設定部１３６は、作業対象１００の表面に表示させる像を制御するための変調素子制御条件を設定する。変調素子制御条件は、作業対象１００の表面に表示させる像に対応するパターンを空間光変調素子１２６の表示部に表示させる条件に相当する。例えば、変調素子制御条件は、投射条件記憶部１３７に予め記憶させておく。

【0090】

空間光変調素子１２６の表示部にパターンが表示させた状態で、照射部１２１からの光１２０がその表示部に照射されると、そのパターンに対応する像を表示させるための投射光１５０が投射される。

【0091】

投射条件設定部１３６は、検出光１５１を照射するタイミングにおいて、検出光１５１のパターンを表示させるための位相分布を投射条件記憶部１３７から取得する。投射条件設定部１３６は、取得した位相分布と、検出光１５１の照射位置と、投射タイミングとを含む投射条件を投射制御部１３９に出力する。なお、検出光１５１の投射時間は、作業者が視認できない程度の短い時間に設定されることが好ましい。

【0092】

また、投射条件設定部１３６は、作業対象箇所１０５の位置座標を取得すると、作業対象箇所１０５に指示光１５５を表示させるための位相分布を投射条件記憶部１３７から取得する。投射条件設定部１３６は、取得した位相分布と、指示光１５５の照射位置と、投射タイミングとを含む投射条件を投射制御部１３９に出力する。指示光１５５の投射時間は、作業者が視認できる時間に設定される。

【0093】

投射条件記憶部１３７には、検出光１５１に対応するパターンと、指示光１５５に対応するパターンとが記憶される。本実施形態の場合、投射条件記憶部１３７には、検出光１５１に対応する位相分布と、指示光１５５に対応する位相分布とが記憶される。また、投射条件記憶部１３７には、図形や記号、数字、文字等の情報を作業対象１００の表面に表示させるためのパターンを記憶させておいてもよい。また、投射条件記憶部１３７には、投射条件に含まれる光源制御条件や変調素子制御条件が記憶される。また、投射条件記憶部１３７には、作業対象１００に対して行われる作業の順序や、指示光１５５を表示させる位置が記憶される。

【0094】

投射制御部１３９は、投射条件設定部１３６から投射条件を取得する。投射制御部１３９は、投射条件設定部１３６が設定した投射条件に応じて、作業対象１００の表面に投射光１５０を投射するように投射装置１２を制御する。投射制御部１３９は、表示させる像に対応するパターンを空間光変調素子１２６の表示部に表示させるタイミングと、投射装置１２の照射部１２１から照射される光の照射タイミングとを同期させる。その結果、作業対象１００の表面には、空間光変調素子１２６の表示部に表示されたパターンに対応する像が表示される。

【0095】

以上が、ウェアラブルデバイス１の構成の詳細についての説明である。なお、図９〜図１３の構成は一例であって、本実施形態のウェアラブルデバイス１の構成をそのままの形態に限定するものではない。

【0096】

（動作）
次に、本実施形態のウェアラブルデバイス１の動作について図面をしながら説明する。以下においては、ウェアラブルデバイス１の動作の概略（図１４）を説明した後に、制御装置１３による指示光投射条件設定処理（図１５）について説明する。

【0097】

図１４は、ウェアラブルデバイス１の動作の概略について説明するためのフローチャートである。図１４のフローチャートに沿った説明においては、ウェアラブルデバイス１を動作の主体として説明する。

【0098】

図１４において、まず、ウェアラブルデバイス１は、検出光１５１を照射せずに作業対象１００を撮像する（ステップＳ１１）。このとき、ウェアラブルデバイス１は、検出光１５１が照射されていない作業対象１００の画像（第１画像）を生成する。

【0099】

次に、ウェアラブルデバイス１は、検出光１５１を照射して作業対象１００を撮像する（ステップＳ１２）。このとき、ウェアラブルデバイス１は、検出光１５１が照射された作業対象１００の画像（第２画像）を生成する。

【0100】

ここで、ウェアラブルデバイス１は、第２画像に手や腕が含まれるか検証する（ステップＳ１３）。例えば、ウェアラブルデバイス１は、検出光１５１に変化が見られた際に、第２画像に手や腕が含まれると判断する。

【0101】

第２画像において手や腕が検出された場合（ステップＳ１３でＹｅｓ）、ウェアラブルデバイス１は、指示光投射条件設定処理を実行する（ステップＳ１４）。指示光投射条件設定処理は、第２画像から検出された手や腕の領域を第１画像から削除した検出用画像を生成し、その検出用画像から作業対象箇所を検出して指示光の投射条件を設定する処理である。指示光投射条件設定処理の詳細については、図１５のフローチャートに沿って後で説明する。一方、第２画像において手や腕が検出されなかった場合（ステップＳ１３でＮｏ）、ステップＳ１１に戻る。

【0102】

指示光投射条件設定処理（ステップＳ１４）の次に、ウェアラブルデバイス１は、検出された作業対象箇所に指示光１５５を投射する（ステップＳ１５）。

【0103】

そして、処理を継続する場合（ステップＳ１６でＹｅｓ）、ステップＳ１１に戻る。一方、処理を継続しない場合（ステップＳ１６でＮｏ）、図１４のフローチャートに沿った処理を終了とする。

【0104】

以上が、ウェアラブルデバイス１の動作の概略についての説明である。なお、図１４のフローチャートは一例であって、ウェアラブルデバイス１の動作の概略をそのままの手順に限定するものではない。

【0105】

〔指示光投射条件設定処理〕
図１５は、制御装置１３による指示光投射条件設定処理について説明するためのフローチャートである。図１５のフローチャートに沿った説明においては、制御装置１３を動作の主体として説明する。

【0106】

図１５において、まず、制御装置１３は、第２画像１６２から検出光１５１の切断点１７０を抽出する（ステップＳ１５１）。

【0107】

次に、制御装置１３は、切断点１７０を結んで第１領域１７１を設定する（ステップＳ１５２）。

【0108】

次に、制御装置１３は、第１領域１７１を拡大して第２領域１７２を設定する（ステップＳ１５３）。

【0109】

次に、制御装置１３は、第１画像１６１から第２領域１７２の内部を削除し、検出用画像１６５を生成する（ステップＳ１５４）。

【0110】

次に、制御装置１３は、検出用画像１６５から作業対象箇所１０５を検出する（ステップＳ１５５）。

【0111】

次に、制御装置１３は、投射装置１２に指示光を投射させるための投射条件を生成する（ステップＳ１５６）。

【0112】

そして、制御装置１３は、生成した投射条件を投射装置１２に出力する（ステップＳ１５７）。

【0113】

以上が、制御装置１３による指示光投射条件設定処理についての説明である。なお、図１５のフローチャートは一例であって、制御装置１３による指示光投射条件設定処理をそのままの手順に限定するものではない。

【0114】

以上のように、本実施形態のウェアラブルデバイスは、撮像装置、制御装置、および投射装置を備える。撮像装置は、画像データを生成する。制御装置は、画像データを撮像装置から取得し、取得した作業領域の画像データに基づいて投射条件を設定する。投射装置は、制御装置から投射条件を取得し、取得した投射条件に応じた光を投射する。制御装置は、所定の模様を形成する検出光を投射するための第１投射条件を設定する。制御装置は、検出光が照射されていないときに撮像された第１画像と、検出光が照射されているときに撮像された第２画像とを取得する。制御装置は、第２画像から検出される所定の模様の状態に基づいて第１領域を設定し、少なくとも第１領域を第１画像から除いた検出用画像を生成する。制御装置は、検出用画像から抽出される特徴に基づいて指示光照射位置を設定し、指示光照射位置に指示光を投射するための第２投射条件を設定する。

【0115】

本実施形態の一態様において、制御装置は、所定の模様として縞状の模様を形成する検出光を投射するための第１投射条件を設定する。制御装置は、第１投射条件に応じて検出光が照射されているときに撮像された第２画像を取得し、取得した第２画像から検出される縞状の模様の不連続箇所を結ぶことによって第１領域を設定する。

【0116】

本実施形態の一態様において、制御装置は、第２画像において検出される所定の模様の不連続箇所を結ぶことによって第１領域を設定し、少なくとも第１領域の内部を第１画像から除くことによって検出用画像を生成する。また、本実施形態の一態様において、制御装置は、第１領域を拡大した第２領域を設定し、第２領域の内部を第１画像から削除することによって検出用画像を生成する。

【0117】

本実施形態のウェアラブルデバイスにおいては、作業対象に対して作業を行う作業体を除いた画像データから指示光照射位置を検出するので、手や腕などの作業体が生成する特徴によって指示光照射位置の特徴が検出されにくくなることがない。そのため、本実施形態のウェアラブルデバイスによれば、指示光照射位置の検出精度が向上する。すなわち、本実施形態のウェアラブルデバイスによれば、大掛かりな装置を用いずに、作業支援のための情報を表示させる位置を確実に抽出し、適切な作業支援を実現することができる。

【0118】

（第２の実施形態）
次に、本発明の第２の実施形態に係るウェアラブルデバイスについて図面を参照しながら説明する。本実施形態のウェアラブルデバイスは、検出光の照射によって検出された手のひらに指示光を表示させる点において第１の実施形態とは異なる。

【0119】

（構成）
図１６は、本実施形態のウェアラブルデバイス２の構成の一例を示すブロック図である。ウェアラブルデバイス２は、撮像装置２１、投射装置２２、および制御装置２３を備える。制御装置２３は、撮像装置２１および投射装置２２に接続される。撮像装置２１および投射装置２２の構成は第１の実施形態と同様であるので、以下においては制御装置２３の構成について説明する。

【0120】

〔制御装置〕
図１６のように、制御装置２３は、撮像制御部２３１、検出部２３３、投射条件設定部２３６、投射条件記憶部２３７、および投射制御部２３９を有する。

【0121】

撮像制御部２３１は、作業対象を含む範囲を撮像装置２１に撮像させ、撮像装置２１が撮像した画像データを取得する。撮像制御部２３１は、取得した画像データを検出部２３３に出力する。

【0122】

検出部２３３は、撮像制御部２３１から画像データを取得する。検出部２３３は、検出光が照射されていない画像データ（第１画像）と、検出光が照射されている画像データ（第２画像）とを取得する。

【0123】

検出部２３３は、取得した画像データから手や腕、手のひら、作業対象箇所、検出光、指示光などを検出する。検出部２３３は、画像データに含まれる特徴に基づいて、投射範囲内に進入した人体の一部（手や腕）や、作業対象箇所を検出する。例えば、検出部２３３は、取得した画像データに含まれる形状や色などの特徴に基づいて、人体の一部や作業対象箇所を検出する。また、検出部２３３は、取得した画像データにそれまでは写っていなかった特徴が検出された際に、その特徴が人体に起因するとみなして検出してもよい。本実施形態においては、検出部２３３は、第２画像に写っている検出光の模様の変化に基づいて手や腕を検出する例を挙げる。

【0124】

検出部２３３は、手や腕が写っている第２画像を取得すると、その第２画像から検出光の切断点を抽出する。検出部２３３は、切断点を結んで第１領域を設定する。また、検出部２３３は、第１領域を拡大して第２領域を設定する。検出部２３３は、第１画像から第２領域の外部を削除した画像データ（検出用画像）を生成する。

【0125】

検出部２３３は、検出用画像から、作業者の手のひらを検出する。検出部２３３は、検出用画像から手のひらを検出すると、その手のひらの位置座標を抽出する。検出部１３３は、抽出した手のひらの位置座標を投射条件設定部２３６に出力する。例えば、検出部１３３は、手の輪郭や指の形状、しわなどの特徴に基づいて手のひらを検出する。

【0126】

投射条件設定部２３６は、検出光や指示光を投射するための投射条件を設定する。投射条件設定部２３６が設定する投射条件には、光源制御条件および変調素子制御条件が含まれる。投射条件設定部２３６は、設定した投射条件を投射制御部２３９に出力する。

【0127】

投射条件設定部２３６は、作業対象の表面に表示させる像に対応するパターンを投射条件記憶部２３７から取得する。例えば、投射装置２２が位相変調型の空間光変調素子を含む場合、作業対象の表面に表示させる情報に対応するパターンは位相分布である。以下においては、位相変調型の空間光変調素子を用いる例について説明する。

【0128】

投射条件設定部２３６は、投射装置２２から光を出射させるタイミングや、出射させる光の出力を制御するための光源制御条件を設定する。光源制御条件は、投射装置２２に含まれる照射部（図示しない）が光を出射するタイミングを制御するための条件である。例えば、光源制御条件は、投射条件記憶部２３７に記憶させておけばよい。

【0129】

また、投射条件設定部２３６は、作業対象の表面や手のひらに表示させる像を制御するための変調素子制御条件を設定する。変調素子制御条件は、作業対象の表面や手のひらに表示させる像に対応するパターンを空間光変調素子の表示部に表示させる条件に相当する。例えば、変調素子制御条件は、投射条件記憶部２３７に記憶させておけばよい。空間光変調素子の表示部にパターンが表示させた状態で、その表示部に光が照射されると、そのパターンに対応する像を作業対象の表面や手のひらに表示させるための投射光が投射される。

【0130】

投射条件設定部２３６は、検出光を照射するタイミングにおいて、検出光のパターンを表示させるための位相分布を投射条件記憶部２３７から取得する。投射条件設定部２３６は、取得した位相分布と、検出光の照射位置と、投射タイミングとを含む投射条件を投射制御部２３９に出力する。なお、検出光の投射時間は、作業者が視認できない程度の短い時間に設定されることが好ましい。

【0131】

また、投射条件設定部２３６は、手のひらの位置座標を取得すると、手のひらに指示光を表示させるための位相分布を投射条件記憶部２３７から取得する。投射条件設定部２３６は、取得した位相分布と、指示光の照射位置と、投射タイミングとを含む投射条件を投射制御部２３９に出力する。指示光は、作業者が視認できる時間に設定される。

【0132】

投射条件記憶部２３７には、検出光に対応するパターンと、指示光に対応するパターンとが記憶される。本実施形態の場合、投射条件記憶部２３７には、検出光に対応する位相分布と、指示光に対応する位相分布とが記憶される。また、投射条件記憶部２３７には、図形や記号、数字、文字等の情報を手のひらに表示させるためのパターンを記憶させておいてもよい。また、投射条件記憶部２３７には、投射条件に含まれる光源制御条件や変調素子制御条件が記憶される。

【0133】

投射制御部２３９は、投射条件設定部２３６から投射条件を取得する。投射制御部２３９は、投射条件設定部２３６が設定した投射条件に応じて、手のひらに投射光を投射するように投射装置２２を制御する。投射制御部２３９は、表示させる像に対応するパターンを空間光変調素子の表示部に表示させるタイミングと、投射装置２２の照射部（図示しない）から照射される光の照射タイミングとを同期させる。その結果、手のひらには、空間光変調素子の表示部に表示されたパターンに対応する像が表示される。

【0134】

以上が、制御装置２３の構成の詳細についての説明である。なお、図１６は一例であって、本実施形態の制御装置２３の構成をそのままの形態や手順に限定するものではない。

【0135】

〔作業対象箇所の検出〕
ここで、制御装置２３が、画像データから手を検出し、手のひらを検出するまでの手順について図面を参照しながら説明する。

【0136】

図１７は、制御装置２３が、画像データから手を検出し、第１領域を設定するまでの手順を示す概念図である。

【0137】

制御装置２３は、検出光２５１が照射されていない画像データ（第１画像２６１）を撮像装置２１から取得する（Ａ）。また、制御装置２３は、検出光２５１が照射された画像データ（第２画像２６２）を撮像装置２１から取得する（Ｂ）。第２画像２６２には、検出光２５１の模様（縦縞のストライプ）が写っている。このときに制御装置２３が取得する第１画像２６１および第２画像２６２は、連続したタイミングにおいて撮像されたものである。なお、第１画像２６１と第２画像２６２の撮像順番は入れ替わってもよい。

【0138】

制御装置２３は、第２画像２６２を取得すると（Ｂ）、検出光２５１の切断点２７０を抽出する（Ｃ）。図１７のように、第２画像２６２に手が写っていると、背景と比べて手や腕の方が撮像装置２１に近いため、手や腕に照射された検出光２５１の模様がずれる。その結果、背景に照射された検出光２５１の縦縞のストライプには切断点２７０が表れる。図１７のように、第２画像２６２に手が写っていると、複数の切断点２７０が表れる。制御装置２３は、抽出された複数の切断点２７０を結んで第１領域２７１を設定する（Ｄ）。

【0139】

図１８は、制御装置２３が、手の輪郭を抽出し、指示光照射領域２０５として手のひらを検出するまでの手順を示す概念図である。

【0140】

制御装置２３は、第１領域２７１を設定すると（Ｄ）、第１領域２７１を拡大して第２領域２７２を設定する（Ｅ）。制御装置２３は、第１画像２６１から第２領域２７２の外部を削除し、第１画像２６１から第２領域２７２の外部が削除された画像データ（検出用画像２６５）を生成する（Ｆ）。第１領域２７１は、手の輪郭上の点を結んだ領域になるため、第１画像２６１から第１領域２７１の外部を削除すると、手の一部が画像データから削除されてしまい、手の輪郭から特徴を抽出しにくくなる。そのため、第１領域２７１を拡大した第２領域２７２を設定し、第１画像２６１から第２領域２７２の外部を削除する。なお、検出用画像２６５は、指示光照射領域２０５を検出できる程度であれば、手の一部が削除されていてもよい。

【0141】

そして、制御装置２３は、検出用画像２６５から指示光照射領域２０５を検出する（Ｇ）。制御装置２３は、指示光照射領域２０５を検出すると、その指示光照射領域２０５に指示光を投射するための投射条件を生成し、生成した投射条件を投射装置２２に出力する。例えば、指示光照射領域２０５に表示されるパターンは、作業指示を示す図形や、記号、文字など、作業状況に応じて任意に設定できる。

【0142】

以上が、ウェアラブルデバイス２の構成についての説明である。なお、図１６〜図１８は一例であって、本実施形態のウェアラブルデバイス１の構成や処理などをそのままの形態や手順に限定するものではない。

【0143】

（動作）
次に、本実施形態のウェアラブルデバイス２の動作について図面をしながら説明する。以下においては、ウェアラブルデバイス２の動作の概略については省略し、制御装置２３による指示光投射条件設定処理（図１９）について説明する。なお、以下においては、指示光の照射対象を作業対象箇所と手のひらとで切り替え可能な例について説明する。例えば、作業者が手のひらを下に向けているときには作業対象箇所に指示光を照射し、作業者が手のひらを上に向けているときには手のひらに指示光を照射するように切り替える。

【0144】

〔指示光投射条件設定処理〕
図１９は、制御装置２３による指示光投射条件設定処理について説明するためのフローチャートである。図１９のフローチャートに沿った説明においては、制御装置２３を動作の主体として説明する。

【0145】

図１９において、まず、制御装置２３は、第２画像２６２から検出光２５１の切断点２７０を抽出する（ステップＳ２５１）。

【0146】

次に、制御装置２３は、切断点２７０を結んで第１領域２７１を設定する（ステップＳ２５２）。

【0147】

次に、制御装置２３は、第１領域２７１を拡大して第２領域２７２を設定する（ステップＳ２５３）。

【0148】

ここで、照射対象が手の場合（ステップＳ２５４でＹｅｓ）、制御装置２３は、第２領域２７２の外部を削除することで検出用画像２６５を生成する（ステップＳ２５５）。例えば、制御装置２３は、手の平が上を向いていることを検出した際には、照射対象が手であると判定してステップＳ２５５の処理を行う。

【0149】

一方、照射対象が背景（作業対象箇所）である場合（ステップＳ２５４でＮｏ）、制御装置２３は、第２領域の内部を削除することで検出用画像２６５を生成する（ステップＳ２５６）。例えば、制御装置２３は、手の平が下を向いていることを検出した際には、照射対象が作業対象箇所であると判定してステップＳ２５６の処理を行う。

【0150】

次に、制御装置２３は、検出用画像２６５から指示光照射領域２０５を検出する（ステップＳ２５７）。照射対象が手のひらの場合（ステップＳ２５４でＮｏ）、指示光照射領域２０５は手のひらに設定される。一方、照射対象が作業対象箇所である場合（ステップＳ２５４でＮｏ）、指示光照射領域２０５は背景（作業対象箇所）に設定される。

【0151】

そして、制御装置２３は、投射装置２２に指示光を投射させるための投射条件を生成し、生成した投射条件を投射装置２２に出力する（ステップＳ２５８）。

【0152】

以上が、制御装置２３による指示光投射条件設定処理についての説明である。なお、図１９のフローチャートは一例であって、指示光投射条件設定処理をそのままの手順に限定するものではない。

【0153】

以上のように、本実施形態のウェアラブルデバイスは、第２画像において検出される所定の模様の不連続箇所を結ぶことによって第１領域を形成し、少なくとも第１領域の外部を第１画像から除くことによって検出用画像を生成する。より好ましくは、第１領域を拡大させて第２領域を設定し、第２領域の外部を第１画像から除くことによって検出用画像を生成する。本実施形態のウェアラブルデバイスは、検出用画像から抽出された手や腕などの作業体を指示光照射位置に設定し、その指示光照射位置に向けて指示光を照射する。

【0154】

本実施形態のウェアラブルデバイスによれば、作業対象を撮像した画像データから背景を除くことによって、作業体から特徴を抽出しやすくなる。そのため、本実施形態のウェアラブルデバイスによれば、指示光照射位置の検出精度が向上する。すなわち、本実施形態のウェアラブルデバイスによれば、大掛かりな装置を用いずに、作業支援のための情報を表示させる位置を確実に抽出し、適切な作業支援を実現することができる。

【0155】

（第３の実施形態）
次に、本発明の第３の実施形態に係るウェアラブルデバイスについて図面を参照しながら説明する。本実施形態のウェアラブルデバイスは、作業者の手や腕が検出されるまでは低密度の検出光を照射し、手や腕が検出された時点で照射範囲を絞って高密度の検出光を照射する点において第１の実施形態とは異なる。

【0156】

（構成）
図２０は、本実施形態のウェアラブルデバイス３の構成の一例を示すブロック図である。ウェアラブルデバイス３は、撮像装置３１、投射装置３２、および制御装置３３を備える。撮像装置３１および投射装置３２の構成は第１の実施形態と同様であるので、以下においては制御装置３３の構成について説明する。

【0157】

〔制御装置〕
図２０のように、制御装置３３は、撮像制御部３３１、検出部３３３、推定部３３４、位相分布変換部３３５、投射条件設定部３３６、投射条件記憶部３３７、および投射制御部３３９を有する。

【0158】

撮像制御部３３１は、作業対象を含む範囲を撮像装置３１に撮像させ、撮像装置３１が撮像した画像データを取得する。撮像制御部３３１は、取得した画像データを検出部３３３に出力する。

【0159】

検出部３３３は、撮像制御部３３１から画像データを取得する。検出部３３３は、検出光が照射されていない画像データ（第１画像）と、検出光が照射されている画像データ（第２画像）とを取得する。

【0160】

検出部３３３は、取得した画像データから手や腕、作業対象箇所、検出光、指示光などを検出する。検出部３３３は、画像データに含まれる特徴に基づいて、投射範囲内に進入した人体の一部（手や腕）や、作業対象箇所を検出する。例えば、検出部３３３は、取得した画像データに含まれる形状や色などの特徴に基づいて、人体の一部や作業対象箇所を検出する。また、検出部３３３は、取得した画像データにそれまでは写っていなかった特徴が検出された際に、その特徴が人体に起因するとみなして検出してもよい。本実施形態においては、検出部３３３は、第２画像に写っている検出光の模様の変化に基づいて手や腕を検出する例を挙げる。

【0161】

検出部３３３は、手や腕が写っている第２画像を取得すると、その第２画像から検出光の切断点を抽出する。検出部３３３は、切断点を結んで第１領域を設定する。また、検出部３３３は、第１領域を拡大して第２領域を設定する。検出部３３３は、第１画像から第２領域の内部を削除した画像データ（検出用画像）を生成する。

【0162】

また、検出部３３３は、手や腕が写っている第２画像を取得すると、手や腕の動きを推定するための情報（推定補助情報とも呼ぶ）を推定部３３４に出力する。例えば、検出部３３３は、抽出した切断点を撮像時間に関連付けて推定部３３４に出力する。

【0163】

検出部３３３は、検出用画像から、作業者が次に作業を行う予定の作業対象箇所を検出する。検出部３３３は、検出用画像から作業対象箇所を検出すると、その作業対象箇所の位置座標を抽出する。検出部３３３は、抽出した作業対象箇所の位置座標を投射条件設定部３３６に出力する。

【0164】

推定部３３４は、手の動きを推定するための推定補助情報を検出部３３３から取得する。推定部３３４は、取得した推定補助情報に基づいて作業者の手の動きを推定し、次回に投射する検出光の照射範囲を設定する。推定部３３４は、設定した検出光の照射範囲を位相分布変換部３３５に出力する。

【0165】

例えば、推定部３３４は、撮像時間に関連付けられた切断点の座標を推定補助情報として検出部３３３から取得する。推定部３３４は、今回の検出光の投射タイミングまでの期間に撮像された第２画像から抽出された複数の切断点の移動状況を比較する。そして、推定部３３４は、切断点の移動状況に基づいて次回の検出光の投射タイミングにおける照射範囲を設定する。

【0166】

推定部３３４は、一例として、今回の検出光の投射タイミングまでの期間に抽出された複数の切断点のそれぞれの移動速度や位置に基づいて、次回の検出光の投射タイミングにおける手の位置を推定する。推定部３３４は、一例として、今回の検出光の投射タイミングまでの期間に抽出された複数の切断点を結んだ第１領域の重心などの特徴的な箇所の移動速度や位置に基づいて、次回の検出光の投射タイミングにおける手の位置を推定する。なお、推定部３３４による手の動きの推定方法は、次回の検出光の投射タイミングにおける手の位置を推定できさえすれば、ここで挙げた方法に限定されない。

【0167】

位相分布変換部３３５は、検出光の照射範囲を推定部３３４から取得する。また、位相分布変換部３３５は、高密度の模様（密な検出光）を投射するための位相分布を投射条件記憶部３３７から取得する。位相分布変換部３３５は、投射条件記憶部３３７から取得した位相分布を、推定部３３４から取得した検出光の照射範囲に高密度の模様が表示されるための位相分布に変換する。位相分布変換部３３５は、変換後の位相分布を投射条件設定部３３６に出力する。

【0168】

投射条件設定部３３６は、検出光や指示光を投射するための投射条件を設定する。投射条件設定部３３６が設定する投射条件には、光源制御条件および変調素子制御条件が含まれる。投射条件設定部３３６は、設定した投射条件を投射制御部３３９に出力する。

【0169】

投射条件設定部３３６は、作業対象の表面に表示させる像に対応するパターンを投射条件記憶部３３７から取得する。例えば、投射装置３２が位相変調型の空間光変調素子を含む場合、作業対象の表面に表示させる情報に対応するパターンは位相分布である。以下においては、位相変調型の空間光変調素子を用いる例について説明する。

【0170】

投射条件設定部３３６は、投射装置３２から光を出射させるタイミングや、出射させる光の出力を制御するための光源制御条件を設定する。光源制御条件は、投射装置３２に含まれる照射部（図示しない）が光を出射するタイミングを制御するための条件である。例えば、光源制御条件は、投射条件記憶部３３７に予め記憶させておく。

【0171】

また、投射条件設定部３３６は、作業対象表面に表示させる像を制御するための変調素子制御条件を設定する。変調素子制御条件は、作業対象の表面に表示させる像に対応する位相分布を空間光変調素子（図示しない）の表示部に表示させる条件に相当する。例えば、変調素子制御条件は、投射条件記憶部３３７に予め記憶させておく。空間光変調素子の表示部に位相分布が表示させた状態で、その表示部に光が照射されると、その位相分布に対応する画像を作業対象の表面に表示させるための投射光が投射される。

【0172】

投射条件設定部３３６は、検出光を照射するタイミングにおいて、検出光の模様を表示させるための位相分布を投射条件記憶部３３７から取得する。手や腕が検出されていない段階において、投射条件設定部３３６は、低密度の模様（疎な検出光）を投射するための位相分布を投射条件記憶部３３７から取得する。一方、手や腕が検出されると、投射条件設定部３３６は、推定部３３４によって設定された照射範囲に高密度の模様（密な検出光）を投射するための位相分布を位相分布変換部３３５から取得する。

【0173】

投射条件設定部３３６は、取得した位相分布と、検出光の照射位置と、投射タイミングとを含む投射条件を投射制御部３３９に出力する。なお、検出光の投射時間は、作業者が視認できない程度の短い時間に設定されることが好ましい。

【0174】

また、投射条件設定部３３６は、作業対象箇所の位置座標を取得すると、作業対象箇所に指示光を表示させるための位相分布を投射条件記憶部３３７から取得する。投射条件設定部３３６は、取得した位相分布と、指示光の照射位置と、投射タイミングとを含む投射条件を投射制御部３３９に出力する。指示光は、作業者が視認できる以上の時間表示させることが好ましい。

【0175】

投射条件記憶部３３７には、検出光に対応するパターンと、指示光に対応するパターンとが記憶される。検出光に対応するパターンには、疎な検出光（粗い模様）に対応するパターンと、密な検出光（細かい模様）に対応するパターンが含まれる。本実施形態の場合、投射条件記憶部３３７には、疎な検出光（粗い模様）に対応する位相分布と、密な検出光（細かい模様）に対応する位相分布と、指示光に対応する位相分布とが記憶される。また、投射条件記憶部３３７には、図形や記号、数字、文字等の情報を作業対象の表面に表示させるためのパターンを記憶させておいてもよい。また、投射条件記憶部３３７には、投射条件に含まれる光源制御条件や変調素子制御条件が記憶される。

【0176】

投射制御部３３９は、投射条件設定部３３６から投射条件を取得する。投射制御部３３９は、投射条件設定部３３６が設定した投射条件に応じて、作業対象の表面に投射光を投射するように投射装置３２を制御する。投射制御部３３９は、表示させる像に対応するパターンを空間光変調素子の表示部に表示させるタイミングと、投射装置３２の照射部（図示しない）から照射される光の照射タイミングとを同期させる。

【0177】

図２１は、検出光の照射範囲を設定する例について説明するための概念図である。１回目の検出光の投射タイミングにおいて、投射装置３２は、全領域に向けて、疎な検出光３５１−１を照射する。このとき、全領域に粗い検出光３５１−１が表示された第２画像３６２−１が取得される（Ａ）。１回目の検出光の投射タイミングにおいて手が検出されると、２回目以降の検出光の投射タイミングにおいて、投射装置３２は、照射範囲３５３が設定された密な検出光３５１−２を照射する。このとき、照射範囲３５３の内部に密な検出光３５１−２が表示された第２画像３６２−２が取得される（Ｂ）。２回目以降の検出光の投射タイミングにおいて、手の動きに追従できない状況になった場合は、全領域に向けて検出光３５１−１を照射しなおせばよい。

【0178】

以上が、制御装置３３の構成の詳細についての説明である。なお、図２０および図２１は一例であって、本実施形態の制御装置３３の構成をそのままの形態や手順に限定するものではない。

【0179】

（動作）
次に、本実施形態のウェアラブルデバイス３の動作について図面をしながら説明する。以下においては、ウェアラブルデバイス３の動作の概略（図２２）を説明した後に、制御装置３３による指示光投射条件設定処理（図２３）と検出光投射条件設定処理（図２４）について説明する。

【0180】

図２２は、ウェアラブルデバイス３の動作の概略について説明するためのフローチャートである。図２２のフローチャートに沿った説明においては、ウェアラブルデバイス３を動作の主体として説明する。

【0181】

図２２において、まず、ウェアラブルデバイス３は、疎な検出光を照射して作業対象を撮像する（ステップＳ３１）。このとき、ウェアラブルデバイス３は、疎な検出光が照射された作業対象の画像（第２画像）を生成する。

【0182】

ここで、ウェアラブルデバイス３は、第２画像に手や腕が含まれるか検証する（ステップＳ３２）。例えば、ウェアラブルデバイス３は、検出光に変化が見られた際に、第２画像に手や腕が含まれると判断する。

【0183】

第２画像において手や腕が検出された場合（ステップＳ３２でＹｅｓ）、密な検出光を照射して作業対象を撮像する（ステップＳ３３）。このとき、ウェアラブルデバイス３は、密な検出光が照射された作業対象の画像（第２画像）を生成する。一方、第２画像において手や腕が検出されなかった場合（ステップＳ３２でＮｏ）、ステップＳ３１に戻る。

【0184】

次に、ウェアラブルデバイス３は、検出光を照射せずに作業対象を撮像する（ステップＳ３４）。このとき、ウェアラブルデバイス３は、検出光が照射されていない作業対象の画像（第１画像）を生成する。

【0185】

次に、ウェアラブルデバイス３は、指示光投射条件設定処理を実行する（ステップＳ３５）。指示光投射条件設定処理は、第２画像から検出された手や腕の領域を第１画像から削除した検出用画像を生成し、その検出用画像から作業対象箇所を検出して指示光の投射条件を設定する処理である。指示光投射条件設定処理の詳細については、図２３のフローチャートに沿って後で説明する。

【0186】

指示光投射条件設定処理（ステップＳ３５）の次に、ウェアラブルデバイス３は、検出された作業対象箇所に指示光を投射する（ステップＳ３６）。

【0187】

次に、ウェアラブルデバイス３は、検出光投射条件設定処理を実行する（ステップＳ３７）。検出光投射条件設定処理は、検出された手や腕の動きに合わせて検出光の照射範囲を設定する処理を含む。

【0188】

そして、処理を継続する場合（ステップＳ３８でＹｅｓ）、ステップＳ３３に戻る。一方、処理を継続しない場合（ステップＳ３８でＮｏ）、図２２のフローチャートに沿った処理を終了とする。

【0189】

以上が、ウェアラブルデバイス１の動作の概略についての説明である。なお、図２２のフローチャートは一例であって、ウェアラブルデバイス３の動作の概略をそのままの手順に限定するものではない。

【0190】

〔指示光投射条件設定処理〕
図２３は、制御装置３３による指示光投射条件設定処理について説明するためのフローチャートである。図２３のフローチャートに沿った説明においては、制御装置３３を動作の主体として説明する。

【0191】

図２３において、まず、制御装置３３は、第２画像から検出光の切断点を抽出する（ステップＳ３５１）。

【0192】

次に、制御装置３３は、切断点を結んで第１領域を設定する（ステップＳ３５２）。

【0193】

次に、制御装置３３は、第１領域を拡大して第２領域を設定する（ステップＳ３５３）。

【0194】

次に、制御装置３３は、第２領域の内部を削除することで検出用画像を生成する（ステップＳ３５４）。

【0195】

次に、制御装置３３は、検出用画像から作業対象領域を検出する（ステップＳ３５５）。

【0196】

次に、制御装置３３は、投射装置３２に指示光を投射させるための投射条件を生成する（ステップＳ３５６）。

【0197】

そして、制御装置３３は、生成した投射条件を投射装置３２に出力する（ステップＳ３５７）。

【0198】

以上が、制御装置３３による指示光投射条件設定処理についての説明である。なお、図２３のフローチャートは一例であって、制御装置３３による指示光投射条件設定処理をそのままの手順に限定するものではない。

【0199】

〔検出光投射条件設定処理〕
図２４は、制御装置３３による検出光投射条件設定処理について説明するためのフローチャートである。図２４のフローチャートに沿った説明においては、制御装置３３を動作の主体として説明する。

【0200】

図２４において、まず、制御装置３３は、検出された手や腕の動きを推定する（ステップＳ３７１）。例えば、制御装置３３は、切断点の移動速度や位置変化に基づいて手や腕の動きを推定する。

【0201】

ここで、手や腕の動きを推定できた場合（ステップＳ３７２でＹｅｓ）、制御装置３３は、検出光の照射範囲を設定する（ステップＳ３７３）。

【0202】

次に、制御装置３３は、検出光の位相分布を、照射範囲が設定された検出光の位相分布に変換する（ステップＳ３７４）。

【0203】

次に、制御装置３３は、照射範囲が設定された検出光の投射条件を生成する（ステップＳ３７５）。

【0204】

一方、手や腕の動きを推定できなかった場合（ステップＳ３７２でＮｏ）、制御装置３３は、照射範囲を設定せずに検出光の投射条件を生成する（ステップＳ３７６）。

【0205】

そして、制御装置３３は、設定された投射条件を投射装置３２に出力する（ステップＳ３７７）。

【0206】

以上が、制御装置３３による検出光投射条件設定処理についての説明である。なお、図２４のフローチャートは一例であって、検出光投射条件設定処理をそのままの手順に限定するものではない。

【0207】

以上のように、本実施形態のウェアラブルデバイスは、第２画像から検出される特徴に基づいて作業体の動きを推定し、作業体の動きに合わせて検出光の照射範囲を設定し、設定した検出光の照射範囲を第１投射条件に追加する制御装置を備える。また、制御装置は、作業体を検出するまでは疎な検出光を投射するように投射装置を制御し、作業体を検出中の期間においては密な検出光を投射するように投射装置を制御する。

【0208】

本実施形態のウェアラブルデバイスによれば、作業体の動きに合わせて検出光の照射範囲を設定することによって投射光の投射範囲を絞ることができるので、消費電力を低減できる。また、本実施形態のウェアラブルデバイスによれば、作業体を検出するまでは疎な検出光を投射し、作業体を検出中の期間においては密な検出光を投射するように投射装置を制御することによって、作業体を検出するまでの消費電力をさらに低減できる。

【0209】

（第４の実施形態）
次に、本発明の第４の実施形態に係るウェアラブルデバイスについて図面を参照しながら説明する。本実施形態のウェアラブルデバイスは、検出光を投射する際に、投射光のパルス幅を小さくして出力を増大する点において第１の実施形態とは異なる。

【0210】

（構成）
図２５は、本実施形態のウェアラブルデバイス４の構成の一例を示すブロック図である。ウェアラブルデバイス４は、撮像装置４１、投射装置４２、および制御装置４３を備える。撮像装置４１および投射装置４２の構成は第１の実施形態と同様であるので、以下においては制御装置４３の構成について説明する。

【0211】

〔制御装置〕
図２５のように、制御装置４３は、撮像制御部４３１、検出部４３３、投射条件設定部４３６、投射条件記憶部４３７、および投射制御部４３９を有する。

【0212】

撮像制御部４３１は、作業対象を含む範囲を撮像装置４１に撮像させ、撮像装置４１が撮像した画像データを取得する。撮像制御部４３１は、取得した画像データを検出部４３３に出力する。

【0213】

検出部４３３は、撮像制御部４３１から画像データを取得する。検出部４３３は、検出光が照射されていない画像データ（第１画像）と、検出光が照射されている画像データ（第２画像）とを取得する。

【0214】

検出部４３３は、取得した画像データから腕や手、検出光、作業対象箇所、指示光などを検出する。検出部４３３は、画像データに含まれる特徴に基づいて、投射範囲内に進入した人体の一部（手や腕）や、作業対象箇所を検出する。例えば、検出部４３３は、取得した画像データに含まれる形状や色などの特徴に基づいて、人体の一部や作業対象箇所を検出する。また、検出部４３３は、取得した画像データにそれまでは写っていなかった特徴が検出された際に、その特徴が人体に起因するとみなして検出してもよい。本実施形態においては、検出部４３３は、第２画像に写っている検出光の模様の変化に基づいて手や腕を検出する例を挙げる。

【0215】

検出部４３３は、手や腕が写っている第２画像を取得すると、その第２画像から検出光の切断点を抽出する。検出部４３３は、切断点を結んで第１領域を設定する。また、検出部４３３は、第１領域を拡大して第２領域を設定する。検出部４３３は、第１画像から第２領域の内部を削除し、第２領域の内部が削除された画像データ（検出用画像）を生成する。

【0216】

検出部４３３は、検出用画像から、作業者が次に作業を行う予定の作業対象箇所を検出する。検出部４３３は、検出用画像から作業対象箇所を検出すると、その作業対象箇所の位置座標を抽出する。検出部４３３は、抽出した作業対象箇所の位置座標を投射条件設定部４３６に出力する。

【0217】

投射条件設定部４３６は、検出光や指示光を投射するための投射条件を設定する。投射条件設定部４３６が設定する投射条件には、光源制御条件および変調素子制御条件が含まれる。投射条件設定部４３６は、設定した投射条件を投射制御部４３９に出力する。

【0218】

投射条件設定部４３６は、作業対象の表面に表示させる像に対応するパターンを投射条件記憶部４３７から取得する。例えば、投射装置４２が位相変調型の空間光変調素子を含む場合、作業対象の表面に表示させる情報に対応するパターンは位相分布である。以下においては、位相変調型の空間光変調素子を用いる例について説明する。

【0219】

投射条件設定部４３６は、投射装置４２から光を出射させるタイミングや、出射させる光の出力を制御するための光源制御条件を設定する。光源制御条件は、投射装置４２に含まれる照射部（図示しない）が光を出射するタイミングを制御するための条件である。例えば、光源制御条件は、投射条件記憶部４３７に記憶させておけばよい。

【0220】

また、投射条件設定部４３６は、作業対象表面に表示させる像を制御するための変調素子制御条件を設定する。変調素子制御条件は、作業対象の表面に表示させる像に対応するパターンを空間光変調素子（図示しない）の表示部に表示させる条件に相当する。例えば、変調素子制御条件は、投射条件記憶部４３７に記憶させておけばよい。

【0221】

空間光変調素子の表示部にパターンが表示させた状態で、照射部からの光がその表示部に照射されると、そのパターンに対応する情報を作業対象の表面に表示させるための投射光が投射される。

【0222】

投射条件設定部４３６は、検出光を照射するタイミングにおいて、作業対象に検出光のパターンを表示させるための位相分布を投射条件記憶部４３７から取得する。投射条件設定部４３６は、取得した位相分布と、検出光の照射位置と、投射タイミングとを含む投射条件を投射制御部４３９に出力する。投射条件設定部４３６は、検出光の投射条件を設定する際には、投射装置４２から光を出射させる時間を短くするとともに、出射させる光の出力を大きくするような光源制御条件を設定する。なお、検出光の投射時間は、作業者が視認できない程度の短い時間に設定されることが好ましい。

【0223】

また、投射条件設定部４３６は、作業対象箇所の位置座標を取得すると、作業対象箇所に指示光を表示させるための位相分布を投射条件記憶部４３７から取得する。投射条件設定部４３６は、取得した位相分布と、指示光の照射位置と、投射タイミングとを含む投射条件を投射制御部４３９に出力する。指示光は、作業者が視認できる以上の時間表示させることが好ましい。

【0224】

投射条件記憶部４３７には、検出光に対応するパターンと、指示光に対応するパターンとが記憶される。本実施形態の場合、投射条件記憶部４３７には、検出光に対応する位相分布と、指示光に対応する位相分布とが記憶される。また、投射条件記憶部４３７には、図形や記号、数字、文字等の情報を作業対象の表面に表示させるためのパターンを記憶させておいてもよい。また、投射条件記憶部４３７には、投射条件に含まれる光源制御条件や変調素子制御条件が記憶される。

【0225】

投射制御部４３９は、投射条件設定部４３６から投射条件を取得する。投射制御部４３９は、投射条件設定部４３６が設定した投射条件に応じて、作業対象の表面に投射光を投射するように投射装置４２を制御する。投射制御部４３９は、表示させる像に対応するパターンを空間光変調素子の表示部に表示させるタイミングと、投射装置４２の照射部（図示しない）から照射される光の照射タイミングとを同期させる。なお、撮像制御部４３１と投射制御部４３９とを接続し、投射装置４２から検出光を投射させる際に、撮像装置４１のシャッターが開いている時間を大きくする指示を撮像制御部４３１から撮像装置４１に出力するように構成してもよい。

【0226】

図２６は、撮像装置４１の撮像タイミングと、投射装置４２の検出光の投射タイミングとの関係について説明するための概念図である。図２６の上段（Ａ）は、第１の実施形態に係るウェアラブルデバイス１の撮像装置１１の撮像タイミングと、投射装置１２の検出光の投射タイミングとの関係の一例である。図２６の中段（Ｂ）は、本実施形態に係るウェアラブルデバイス４の撮像タイミングと、投射装置４２の検出光の投射タイミングとの関係の一例である。図２６の下段（Ｃ）は、本実施形態に係るウェアラブルデバイス４の撮像タイミングと、投射装置４２の検出光の投射タイミングとの関係の別の一例である。

【0227】

図２６の中段（Ｂ）の例では、第１の実施形態と比べて、投射装置４２からの検出光の投射タイミングにおいて、投射装置４２からの投射光のパルス幅を短くするとともに、単位時間当たりの出力を大きくする。検出光の出射時間を短くし、出力を大きくすれば、検出光のコントラストが向上し、手の検出率が向上する。

【0228】

図２６の下段（Ｃ）の例では、中段（Ｂ）の例と比べて、投射装置４２からの検出光の投射タイミングにおいて、撮像装置４１のシャッター開放時間を短くする。検出光の出射時間を短くし、出力を大きくすれば、検出光のコントラストが向上し、手の検出率が向上すれば、撮像装置４１のシャッター開放時間を短くすることができる。

【0229】

以上が、制御装置４３の構成の詳細についての説明である。なお、図２５および図２６は一例であって、本実施形態の制御装置４３の構成をそのままの形態や手順に限定するものではない。

【0230】

以上のように、本実施形態の制御装置は、検出光のパルス幅を短くするとともに、単位時間当たりの出力を大きくする条件を第１投射条件に追加する。本実施形態によれば、単位時間当たりの出力を大きくすることによって検出光の検出精度を向上することができるので、所定の模様の不連続箇所をより高精度に抽出できる。そのため、本実施形態によれば、手や腕などの検出体を検出用画像から高精度で除くことができるので、第１の実施形態よりも高精度の作業精度を実現できる。

【0231】

（第５の実施形態）
次に、本発明の第５の実施形態に係るウェアラブルデバイスについて図面を参照しながら説明する。本実施形態のウェアラブルデバイスは、外部システムに接続可能な通信装置を備える点において第１の実施形態とは異なる。

【0232】

（構成）
図２７は、本実施形態のウェアラブルデバイス５の構成の一例を示すブロック図である。ウェアラブルデバイス５は、撮像装置５１、投射装置５２、制御装置５３、および通信装置５５を備える。制御装置５３は、投射装置５２、制御装置５３、および通信装置５５に接続される。

【0233】

撮像装置５１は、制御装置５３の制御に応じて、作業対象を含む範囲を撮像する。撮像装置５１は、作業対象を含む範囲を撮像することで生成される画像データを制御装置５３に出力する。

【0234】

投射装置５２は、制御装置５３の制御に応じて、投射光を投射する。投射装置５２は、作業者の手や腕を検出するための検出光を投射する。また、投射装置５２は、作業者が次に作業を行う予定の作業対象箇所にその位置や指示を示す指示光を投射する。

【0235】

制御装置５３は、撮像装置５１および投射装置５２を制御する。また、制御装置５３は、通信装置５５を介して、図示しない外部システムに接続される。

【0236】

制御装置５３は、所定のタイミングで検出光を投射するための投射条件（第１投射条件とも呼ぶ）を生成し、生成した第１投射条件を投射装置５２に出力する。制御装置５３は、撮像装置５１を制御し、作業対象を含む範囲を撮像させる。制御装置５３は、撮像装置５１を制御し、検出光が表示されていない画像データ（第１画像）と、検出光が表示された画像データ（第２画像）とを連続したタイミングで撮像させる。制御装置５３は、撮像装置５１から第１画像および第２画像を取得し、取得した第２画像から作業者の手や腕を検出する。制御装置５３は、作業者の手や腕を第２画像から検出すると、作業者の手や腕の範囲を第１画像から削除することによって検出用画像を生成する。制御装置５３は、検出用画像から作業対象箇所を検出する。制御装置５３は、検出した作業対象箇所に指示光を投射するための投射条件（第２投射条件とも呼ぶ）を生成し、生成した第２投射条件を投射装置５２に出力する。

【0237】

通信装置５５は、有線通信や無線通信によって、外部システムと通信する機能を有する。例えば、通信装置５５は、有線通信や無線通信によって、図示しない情報処理装置や携帯端末、表示装置などとの接続を可能とする入出力インターフェースや通信インターフェースによって実現される。

【0238】

例えば、制御装置５３は、外部システムからの指示に応じて、撮像装置５１や投射装置５２を制御する。また、例えば、制御装置５３は、撮像装置５１から取得する画像データを外部システムに出力する。例えば、第１画像や第２画像、検出用画像を外部システムにおいて確認できるように構成すれば、作業者の作業を遠隔で監視したり、作業者に対して遠隔で指示を行なったりすることが可能になる。

【0239】

以上のように、本実施形態のウェアラブルデバイスは、外部システムと制御装置とを通信可能に接続する通信装置を備える。本実施形態のウェアラブルデバイスによれば、外部システムと連携した作業支援が可能になる。例えば、本実施形態によれば、外部のコンピュータやサーバに構築された管理システムを通じて、作業者の作業を遠隔で監視したり、指示を与えたりすることが可能になる。また、例えば、本実施形態によれば、作業対象が設置された場所とは異なる位置から、外部システムを介して、作業対象が設置された場所に配置された作業用ロボットを制御し、作業用ロボットを用いて作業を行うことが可能になる。

【0240】

（ハードウェア）
ここで、本発明の各実施形態に係る制御装置の処理を実行するハードウェア構成について、図２８の情報処理装置９０を一例として挙げて説明する。なお、図２８の情報処理装置９０は、各実施形態の制御装置の処理を実行するための構成例であって、本発明の範囲を限定するものではない。

【0241】

図２８のように、情報処理装置９０は、プロセッサ９１、主記憶装置９２、補助記憶装置９３、入出力インターフェース９５および通信インターフェース９６を備える。図２８においては、インターフェースをＩ／Ｆ（Interface）と略して表記する。プロセッサ９１、主記憶装置９２、補助記憶装置９３、入出力インターフェース９５および通信インターフェース９６は、バス９９を介して互いにデータ通信可能に接続される。また、プロセッサ９１、主記憶装置９２、補助記憶装置９３および入出力インターフェース９５は、通信インターフェース９６を介して、インターネットやイントラネットなどのネットワークに接続される。

【0242】

プロセッサ９１は、補助記憶装置９３等に格納されたプログラムを主記憶装置９２に展開し、展開されたプログラムを実行する。本実施形態においては、情報処理装置９０にインストールされたソフトウェアプログラムを用いる構成とすればよい。プロセッサ９１は、本実施形態に係る制御装置による処理を実行する。

【0243】

主記憶装置９２は、プログラムが展開される領域を有する。主記憶装置９２は、例えばＤＲＡＭ（Dynamic Random Access Memory）などの揮発性メモリとすればよい。また、ＭＲＡＭ（Magnetoresistive Random Access Memory）などの不揮発性メモリを主記憶装置９２として構成・追加してもよい。

【0244】

補助記憶装置９３は、種々のデータを記憶する。補助記憶装置９３は、ハードディスクやフラッシュメモリなどのローカルディスクによって構成される。なお、種々のデータを主記憶装置９２に記憶させる構成とし、補助記憶装置９３を省略することも可能である。

【0245】

入出力インターフェース９５は、情報処理装置９０と周辺機器とを接続するためのインターフェースである。通信インターフェース９６は、規格や仕様に基づいて、インターネットやイントラネットなどのネットワークを通じて、外部のシステムや装置に接続するためのインターフェースである。入出力インターフェース９５および通信インターフェース９６は、外部機器と接続するインターフェースとして共通化してもよい。

【0246】

情報処理装置９０には、必要に応じて、キーボードやマウス、タッチパネルなどの入力機器を接続するように構成してもよい。それらの入力機器は、情報や設定の入力に使用される。なお、タッチパネルを入力機器として用いる場合は、表示機器の表示画面が入力機器のインターフェースを兼ねる構成とすればよい。プロセッサ９１と入力機器との間のデータ通信は、入出力インターフェース９５に仲介させればよい。

【0247】

また、情報処理装置９０には、情報を表示するための表示機器を備え付けてもよい。表示機器を備え付ける場合、情報処理装置９０には、表示機器の表示を制御するための表示制御装置（図示しない）が備えられていることが好ましい。表示機器は、入出力インターフェース９５を介して情報処理装置９０に接続すればよい。

【0248】

また、情報処理装置９０には、必要に応じて、ディスクドライブを備え付けてもよい。ディスクドライブは、バス９９に接続される。ディスクドライブは、プロセッサ９１と図示しない記録媒体（プログラム記録媒体）との間で、記録媒体からのデータ・プログラムの読み出し、情報処理装置９０の処理結果の記録媒体への書き込みなどを仲介する。記録媒体は、例えば、ＣＤ（Compact Disc）やＤＶＤ（Digital Versatile Disc）などの光学記録媒体で実現できる。また、記録媒体は、ＵＳＢ（Universal Serial Bus）メモリやＳＤ（Secure Digital）カードなどの半導体記録媒体や、フレキシブルディスクなどの磁気記録媒体、その他の記録媒体によって実現してもよい。

【0249】

以上が、本発明の各実施形態に係る制御装置を可能とするためのハードウェア構成の一例である。なお、図２８のハードウェア構成は、各実施形態に係る制御装置の演算処理を実行するためのハードウェア構成の一例であって、本発明の範囲を限定するものではない。また、各実施形態に係る制御装置に関する処理をコンピュータに実行させるプログラムも本発明の範囲に含まれる。さらに、各実施形態に係るプログラムを記録したプログラム記録媒体も本発明の範囲に含まれる。

【0250】

各実施形態の制御装置の構成要素は、任意に組み合わせることができる。また、各実施形態の制御装置の構成要素は、ソフトウェアによって実現してもよいし、回路によって実現してもよい。

【0251】

以上、実施形態を参照して本発明を説明してきたが、本発明は上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

【符号の説明】

【0252】

１、２、３、４、５ ウェアラブルデバイス
１１、２１、３１、４１、５１ 撮像装置
１２、２２、３２、４２、５２ 投射装置
１３、２３、３３、４３、５３ 制御装置
５５ 通信装置
１１１ 撮像素子
１１３ 画像処理プロセッサ
１１５ 内部メモリ
１１７ データ出力回路
１２１ 照射部
１２２ 光源
１２３ コリメートレンズ
１２５ 光源駆動電源
１２６ 空間光変調素子
１２７ 変調素子駆動部
１２９ 投射光学系
１３１、２３１、４３１ 撮像制御部
１３３、２３３、４３３ 検出部
１３６、２３６、４３６ 投射条件設定部
１３７、２３７、４３７ 投射条件記憶部
１３９、２３９、４３９ 投射制御部
１９１ フーリエ変換レンズ
１９２ アパーチャ
１９３ 投射レンズ
３３１ 撮像制御部
３３３ 検出部
３３４ 推定部
３３５ 位相分布変換部
３３６ 投射条件設定部
３３７ 投射条件記憶部
３３９ 投射制御部

【要約】

【課題】作業性を低下することなく、高精度の作業支援を実現するウェアラブルデバイスを提供する。
【解決手段】画像データを生成する撮像装置と、画像データに基づいて投射条件を設定する制御装置と、投射条件に応じた光を投射する投射装置と、を備えるウェアラブルデバイスとする。制御装置は、所定の模様を形成する検出光を投射するための第１投射条件を設定し、検出光が照射されていないときに撮像された第１画像と、検出光が照射されているときに撮像された第２画像とを取得し、第２画像から検出される所定の模様の状態に基づいて第１領域を設定し、少なくとも第１領域を第１画像から除いた検出用画像を生成し、検出用画像から抽出される特徴に基づいて指示光照射位置を設定し、指示光照射位置に指示光を投射するための第２投射条件を設定する。
【選択図】 図２

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】