特開 2020-21473 操作指示制御装置及びその方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2020-21473(P2020-21473A)

(43)【公開日】2020年2月6日

(54)【発明の名称】操作指示制御装置及びその方法

(51)【国際特許分類】

   G06F 3/01 20060101AFI20200110BHJP

   H04Q 9/00 20060101ALI20200110BHJP

【ＦＩ】

   G06F3/01 570

   H04Q9/00 301D

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

【全頁数】23

(21)【出願番号】特願2019-129789(P2019-129789)

(22)【出願日】2019年7月12日

(31)【優先権主張番号】特願2018-138215(P2018-138215)

(32)【優先日】2018年7月24日

(33)【優先権主張国】JP

(71)【出願人】

【識別番号】516388230

【氏名又は名称】株式会社ｔｉｗａｋｉ

(74)【代理人】

【識別番号】100154014

【弁理士】

【氏名又は名称】正木 裕士

(74)【代理人】

【識別番号】100154520

【弁理士】

【氏名又は名称】三上 祐子

(74)【代理人】

【識別番号】100069578

【弁理士】

【氏名又は名称】藤川 忠司

(72)【発明者】

【氏名】阮 翔

(72)【発明者】

【氏名】中川 智博

(72)【発明者】

【氏名】綿末 太郎

(72)【発明者】

【氏名】福田 健二

【テーマコード（参考）】

5E555

5K048

【Ｆターム（参考）】

5E555AA04

5E555AA16

5E555AA71

5E555BA15

5E555BB29

5E555BB38

5E555BC01

5E555CA42

5E555CB10

5E555CB66

5E555CC01

5E555EA14

5E555EA22

5E555FA00

5K048AA04

5K048BA01

5K048DA02

5K048DB02

5K048DC01

5K048EB02

5K048FB15

(57)【要約】

【課題】プライバシーの確保をし、認識精度のばらつきを低減させることができる操作指示制御装置及びその方法を提供することを目的としている。
【解決手段】カメラ３にて撮像された撮像対象物Ｗに対して、所定位置を設定し、設定された所定位置に対して、使用者が、光照射装置２を用いて所定の光２ａを照射し、該照射した所定の光２ａにて所定の動作を実施すると、該所定の動作に応じた操作指示内容を、スマート家電などの操作指示体に送出するようにしている。
【選択図】図１

【特許請求の範囲】

【請求項1】

撮像手段にて撮像された所定対象物に対して、所定位置を設定する位置設定手段と、
前記位置設定手段にて設定された前記所定位置に対して、所定の光を照射する照射手段を用いて使用者が、該所定の光を照射し、該照射した所定の光にて所定の動作を実施すると、該所定の動作に応じた操作指示内容を所定の操作指示体に送出、又は、前記位置設定手段にて設定された前記所定位置に対して、使用者が使用者の指、或いは、手だけを用いて所定の動作を実施すると、該所定の動作に応じた操作指示内容を所定の操作指示体に送出する操作指示手段と、を有してなる操作指示制御装置。

【請求項2】

撮像手段にて撮像された所定対象物に対して、所定位置を設定する位置設定手段と、
前記位置設定手段にて設定された前記所定位置に対して、所定の光を照射する照射手段を用いて使用者が、該所定の光を照射し、該照射した所定の光にて所定の動作を実施すると、該所定の動作に応じた複数の操作指示内容を所定の操作指示装置に送出、又は、前記位置設定手段にて設定された前記所定位置に対して、使用者が使用者の指、或いは、手だけを用いて所定の動作を実施すると、該所定の動作に応じた複数の操作指示内容を所定の操作指示装置に送出する操作指示手段と、を有し、
前記所定の操作指示装置は、前記複数の操作指示内容の中から少なくとも一つの操作指示内容を所定の操作指示体に送出可能である操作指示制御装置。

【請求項3】

前記操作指示手段は、
前記照射手段を用いる使用者毎に、前記所定の動作が同一であっても、異なる操作指示内容を所定の操作指示体又は所定の操作指示装置に送出してなる請求項１又は２に記載の操作指示制御装置。

【請求項4】

前記操作指示手段は、
前記照射手段を用いる使用者毎に、同一の前記操作指示内容を前記所定の操作指示体又は前記所定の操作指示装置に送出するにあたって、異なる所定の動作を実施するようにしてなる請求項１又は２に記載の操作指示制御装置。

【請求項5】

撮像手段にて撮像された所定対象物に対して、所定位置を設定するステップと、
前記設定された前記所定位置に対して、所定の光を照射する照射手段を用いて使用者が、該所定の光を照射し、該照射した所定の光にて所定の動作を実施すると、該所定の動作に応じた操作指示内容を所定の操作指示体に送出、又は、前記設定された前記所定位置に対して、使用者が使用者の指、或いは、手だけを用いて所定の動作を実施すると、該所定の動作に応じた操作指示内容を所定の操作指示体に送出するステップと、を含んでなる操作指示制御方法。

【請求項6】

撮像手段にて撮像された所定対象物に対して、所定位置を設定するステップと、
前記設定された前記所定位置に対して、所定の光を照射する照射手段を用いて使用者が、該所定の光を照射し、該照射した所定の光にて所定の動作を実施すると、該所定の動作に応じた複数の操作指示内容を所定の操作指示装置に送出、又は、前記設定された前記所定位置に対して、使用者が使用者の指、或いは、手だけを用いて所定の動作を実施すると、該所定の動作に応じた複数の操作指示内容を所定の操作指示装置に送出するステップと、を含み、
前記所定の操作指示装置は、前記複数の操作指示内容の中から少なくとも一つの操作指示内容を所定の操作指示体に送出可能である操作指示制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、所定の光を照射する照射手段を用いるか、又は、使用者が使用者の指、或いは、手だけを用いて所定の動作を行うことによって、スマート家電などの操作指示体に対して操作内容を指示することができる操作指示制御装置及びその方法に関する。

【背景技術】

【0002】

近年、発話者の音声での入力に応じて発呼処理を実行して、通信を開始する音声認識技術（例えば、特許文献１参照）や、撮像された画像に含まれる被写体の動作を認識し、認識した動作が予め設定された所定の動作であった場合に、その所定の動作に対応する処理を行うことが可能な動作認識技術（例えば、特許文献２参照）が知られている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開平１１−６８９２０号公報

【特許文献2】特開２０１２−１３７９８９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、発話者や被写体である人物の音声や動作を使用しなければならず、その人物のプライバシーが確保されていないという問題があった。また、上記のような音声認識や、動作認識では、使用する環境の影響を受け易いため、複雑な処理が必要となり、もって、認識精度にばらつきが生じる可能性があるという問題があった。

【0005】

そこで本発明は、上記問題に鑑み、プライバシーの確保をし、認識精度のばらつきを低減させることができる操作指示制御装置及びその方法を提供することを目的としている。

【課題を解決するための手段】

【0006】

上記課題を解決するための手段は、以下の手段によって達成される。なお、括弧内は、後述する実施形態の参照符号を付したものであるが、本発明はこれに限定されるものではない。

【0007】

請求項１に係る操作指示制御装置は、撮像手段（例えば、図１，図８に示すカメラ３）にて撮像された所定対象物（例えば、図５（ａ）に示す撮像対象物Ｗ）に対して、所定位置（例えば、図５（ｂ）に示す位置Ｒａ〜Ｒｃ）を設定する位置設定手段（例えば、図１，図８に示すＣＰＵ４０，図３に示すステップＳ２）と、
前記位置設定手段（例えば、図１，図８に示すＣＰＵ４０，図３に示すステップＳ２）にて設定された前記所定位置（例えば、図５（ｂ）に示す位置Ｒａ〜Ｒｃ）に対して、所定の光（例えば、図１，図８に示す光２ａ）を照射する照射手段（例えば、図１に示す光照射装置２，図８に示す光照射装置２Ａ）を用いて使用者が、該所定の光（例えば、図１，図８に示す光２ａ）を照射し、該照射した所定の光（例えば、図１，図８に示す光２ａ）にて所定の動作を実施すると、該所定の動作に応じた操作指示内容（例えば、図２に示す操作内容の項目ＴＢ３，図９に示す操作内容の項目ＴＢ３Ａ，図１０に示す操作内容の項目ＴＢ３Ｂ）を所定の操作指示体に送出、又は、前記位置設定手段（例えば、図１，図８に示すＣＰＵ４０，図３に示すステップＳ２）にて設定された前記所定位置（例えば、図５（ｂ）に示す位置Ｒａ〜Ｒｃ）に対して、使用者が使用者の指、或いは、手だけを用いて所定の動作を実施すると、該所定の動作に応じた操作指示内容（例えば、図２に示す操作内容の項目ＴＢ３，図９に示す操作内容の項目ＴＢ３Ａ，図１０に示す操作内容の項目ＴＢ３Ｂ）を所定の操作指示体に送出する操作指示手段（例えば、図１，図８に示すＣＰＵ４０，図４に示すステップＳ１０〜ステップＳ１３，図１１に示すステップＳ２０〜ステップＳ１３）と、を有してなることを特徴としている。

【0008】

一方、請求項２に係る操作指示制御装置は、撮像手段（例えば、図１２に示すカメラ３）にて撮像された所定対象物（例えば、図５（ａ）に示す撮像対象物Ｗ）に対して、所定位置（例えば、図５（ｂ）に示す位置Ｒａ〜Ｒｃ）を設定する位置設定手段（例えば、図１２に示すＣＰＵ４０，図３に示すステップＳ２）と、
前記位置設定手段（例えば、図１２に示すＣＰＵ４０，図３に示すステップＳ２）にて設定された前記所定位置（例えば、図５（ｂ）に示す位置Ｒａ〜Ｒｃ）に対して、所定の光（例えば、図１２に示す光２ａ）を照射する照射手段（例えば、図１２に示す光照射装置２）を用いて使用者が、該所定の光（例えば、図１２に示す光２ａ）を照射し、該照射した所定の光（例えば、図１２に示す光２ａ）にて所定の動作を実施すると、該所定の動作に応じた複数の操作指示内容（例えば、図１３に示す操作内容の項目ＴＢ３Ｃ）を所定の操作指示装置（例えば、図１２に示す操作指示装置５）に送出、又は、前記位置設定手段（例えば、図１２に示すＣＰＵ４０，図３に示すステップＳ２）にて設定された前記所定位置（例えば、図５（ｂ）に示す位置Ｒａ〜Ｒｃ）に対して、使用者が使用者の指、或いは、手だけを用いて所定の動作を実施すると、該所定の動作に応じた複数の操作指示内容（例えば、図１３に示す操作内容の項目ＴＢ３Ｃ）を所定の操作指示装置（例えば、図１２に示す操作指示装置５）に送出する操作指示手段（例えば、図１２に示すＣＰＵ４０，図１４に示すステップＳ１０〜ステップＳ３０）と、を有し、
前記所定の操作指示装置（例えば、図１２に示す操作指示装置５）は、前記複数の操作指示内容（例えば、図１３に示す操作内容の項目ＴＢ３Ｃ）の中から少なくとも一つの操作指示内容を所定の操作指示体に送出可能であることを特徴としている。

【0009】

また、請求項３に係る操作指示制御装置は、上記請求項１又は２に記載の操作指示制御装置において、前記操作指示手段（例えば、図８に示すＣＰＵ４０，図１１に示すステップＳ２０〜ステップＳ１３）は、
前記照射手段（例えば、図８に示す光照射装置２Ａ）を用いる使用者毎に、前記所定の動作が同一であっても、異なる操作指示内容（例えば、図９に示す操作内容の項目ＴＢ３Ａ）を所定の操作指示体又は所定の操作指示装置（例えば、図１２に示す操作指示装置５）に送出してなることを特徴としている。

【0010】

さらに、請求項４に係る操作指示制御装置は、上記請求項１又は２に記載の操作指示制御装置において、前記操作指示手段（例えば、図８に示すＣＰＵ４０，図１１に示すステップＳ２０〜ステップＳ１３）は、
前記照射手段（例えば、図８に示す光照射装置２Ａ）を用いる使用者毎に、同一の前記操作指示内容を前記所定の操作指示体又は所定の操作指示装置（例えば、図１２に示す操作指示装置５）に送出するにあたって、異なる所定の動作を実施する（例えば、図１０に示す動作内容の項目ＴＢ３Ｂ）ようにしてなることを特徴としている。

【0011】

一方、請求項５に係る操作指示制御方法は、撮像手段（例えば、図１，図８に示すカメラ３）にて撮像された所定対象物（例えば、図５（ａ）に示す撮像対象物Ｗ）に対して、所定位置（例えば、図５（ｂ）に示す位置Ｒａ〜Ｒｃ）を設定するステップ（例えば、図３に示すステップＳ２）と、
前記設定された前記所定位置（例えば、図５（ｂ）に示す位置Ｒａ〜Ｒｃ）に対して、所定の光（例えば、図１，図８に示す光２ａ）を照射する照射手段（例えば、図１に示す光照射装置２，図８に示す光照射装置２Ａ）を用いて使用者が、該所定の光（例えば、図１，図８に示す光２ａ）を照射し、該照射した所定の光（例えば、図１，図８に示す光２ａ）にて所定の動作を実施すると、該所定の動作に応じた操作指示内容（例えば、図２に示す操作内容の項目ＴＢ３，図９に示す操作内容の項目ＴＢ３Ａ，図１０に示す操作内容の項目ＴＢ３Ｂ）を所定の操作指示体に送出、又は、前記設定された前記所定位置（例えば、図５（ｂ）に示す位置Ｒａ〜Ｒｃ）に対して、使用者が使用者の指、或いは、手だけを用いて所定の動作を実施すると、該所定の動作に応じた操作指示内容（例えば、図２に示す操作内容の項目ＴＢ３，図９に示す操作内容の項目ＴＢ３Ａ，図１０に示す操作内容の項目ＴＢ３Ｂ）を所定の操作指示体に送出するステップ（例えば、図４に示すステップＳ１０〜ステップＳ１３，図１１に示すステップＳ２０〜ステップＳ１３）と、を含んでなることを特徴としている。

【0012】

また一方、請求項６に係る操作指示制御方法は、撮像手段（例えば、図１２に示すカメラ３）にて撮像された所定対象物（例えば、図５（ａ）に示す撮像対象物Ｗ）に対して、所定位置（例えば、図５（ｂ）に示す位置Ｒａ〜Ｒｃ）を設定するステップ（例えば、図３に示すステップＳ２）と、
前記設定された前記所定位置（例えば、図５（ｂ）に示す位置Ｒａ〜Ｒｃ）に対して、所定の光（例えば、図１２に示す光２ａ）を照射する照射手段（例えば、図１２に示す光照射装置２）を用いて使用者が、該所定の光（例えば、図１２に示す光２ａ）を照射し、該照射した所定の光（例えば、図１２に示す光２ａ）にて所定の動作を実施すると、該所定の動作に応じた複数の操作指示内容（例えば、図１３に示す操作内容の項目ＴＢ３Ｃ）を所定の操作指示装置（例えば、図１２に示す操作指示装置５）に送出、又は、前記設定された前記所定位置（例えば、図５（ｂ）に示す位置Ｒａ〜Ｒｃ）に対して、使用者が使用者の指、或いは、手だけを用いて所定の動作を実施すると、該所定の動作に応じた複数の操作指示内容（例えば、図１３に示す操作内容の項目ＴＢ３Ｃ）を所定の操作指示装置（例えば、図１２に示す操作指示装置５）に送出するステップ（例えば、図１４に示すステップＳ１０〜ステップＳ３０）と、を含み、
前記所定の操作指示装置（例えば、図１２に示す操作指示装置５）は、前記複数の操作指示内容（例えば、図１３に示す操作内容の項目ＴＢ３Ｃ）の中から少なくとも一つの操作指示内容を所定の操作指示体に送出可能であることを特徴としている。

【発明の効果】

【0013】

次に、本発明の効果について、図面の参照符号を付して説明する。なお、括弧内は、後述する実施形態の参照符号を付したものであるが、本発明はこれに限定されるものではない。

【0014】

請求項１，５に係る発明によれば、使用者は、所定の光（例えば、図１，図８に示す光２ａ）を照射する照射手段（例えば、図１に示す光照射装置２，図８に示す光照射装置２Ａ）を用いて、所定対象物（例えば、図５（ａ）に示す撮像対象物Ｗ）の設定された所定位置（例えば、図５（ｂ）に示す位置Ｒａ〜Ｒｃ）に対して、該所定の光（例えば、図１，図８に示す光２ａ）を照射し、該照射した所定の光（例えば、図１，図８に示す光２ａ）にて所定の動作を実施、又は、使用者は使用者の指、或いは、手だけを用いて、所定対象物（例えば、図５（ａ）に示す撮像対象物Ｗ）の設定された所定位置（例えば、図５（ｂ）に示す位置Ｒａ〜Ｒｃ）に対して、所定の動作を実施するだけで、所定の操作指示体に所定の操作を指示することができる。

【0015】

しかして、本発明によれば、音声認識や、動作認識のように、発話者や被写体である人物の音声や動作を使用する必要がないため、プライバシーを確保することができる。さらには、照射手段（例えば、図１に示す光照射装置２，図８に示す光照射装置２Ａ）より照射される所定の光（例えば、図１，図８に示す光２ａ）の動き、又は、使用者の指、或いは、手の動きを認識するだけで良いため、使用する環境の影響を受けにくく、もって、処理が簡便となり、認識精度のばらつきを低減させることができる。

【0016】

一方、請求項２，６に係る発明によれば、使用者は、所定の光（例えば、図１２に示す光２ａ）を照射する照射手段（例えば、図１２に示す光照射装置２）を用いて、所定対象物（例えば、図５（ａ）に示す撮像対象物Ｗ）の設定された所定位置（例えば、図５（ｂ）に示す位置Ｒａ〜Ｒｃ）に対して、該所定の光（例えば、図１２に示す光２ａ）を照射し、該照射した所定の光（例えば、図１２に示す光２ａ）にて所定の動作を実施するだけで、所定の操作指示装置（例えば、図１２に示す操作指示装置５）に複数の所定の操作を送出、又は、使用者は、所定対象物（例えば、図５（ａ）に示す撮像対象物Ｗ）の設定された所定位置（例えば、図５（ｂ）に示す位置Ｒａ〜Ｒｃ）に対して、使用者が使用者の指、或いは、手だけを用いて、所定の動作を実施するだけで、所定の操作指示装置（例えば、図１２に示す操作指示装置５）に複数の所定の操作を送出することができ、もって、所定の操作指示装置（例えば、図１２に示す操作指示装置５）から、所定の操作指示体に少なくとも一つの所定の操作を指示することができる。

【0017】

しかして、本発明においても、音声認識や、動作認識のように、発話者や被写体である人物の音声や動作を使用する必要がないため、プライバシーを確保することができる。さらには、照射手段（例えば、図１２に示す光照射装置２）より照射される所定の光（例えば、図１２に示す光２ａ）の動き、又は、使用者の指、或いは、手の動きを認識するだけで良いため、使用する環境の影響を受けにくく、もって、処理が簡便となり、認識精度のばらつきを低減させることができる。

【0018】

また、請求項３に係る発明によれば、照射手段（例えば、図８に示す光照射装置２Ａ）を用いる使用者毎に、所定の動作が同一であっても、異なる操作指示内容（例えば、図９に示す操作内容の項目ＴＢ３Ａ）を所定の操作指示体又は所定の操作指示装置（例えば、図１２に示す操作指示装置５）に送出するようにしているから、使用者毎のカスタマイズが可能となる。また、何時どの使用者が、照射手段（例えば、図８に示す光照射装置２Ａ）を用いたかのデータを保存することが可能となる。

【0019】

さらに、請求項４に係る発明によれば、照射手段（例えば、図８に示す光照射装置２Ａ）を用いる使用者毎に、同一の操作指示内容を所定の操作指示体又は所定の操作指示装置（例えば、図１２に示す操作指示装置５）に送出するにあたって、異なる所定の動作を実施する（例えば、図１０に示す動作内容の項目ＴＢ３Ｂ）ようにしているから、使用者毎のカスタマイズが可能となる。また、何時どの使用者が、照射手段（例えば、図８に示す光照射装置２Ａ）を用いたかのデータを保存することが可能となる。

【図面の簡単な説明】

【0020】

【図1】本発明に係る操作指示制御システムの第１実施形態を示す全体図である。

【図2】同実施形態に係る操作指示内容関連情報登録データベースに格納されているテーブルを示す図である。

【図3】同実施形態に係る操作指示内容関連情報登録データベースに情報を格納する際の制御手順を示すフローチャート図である。

【図4】同実施形態に係る操作指示制御システムの制御手順を示すフローチャート図である。

【図5】（ａ）は、同実施形態に係るカメラにて撮像された撮像対象物の一例を示す図、（ｂ）は、（ａ）にて示す撮像対象物が表示部に表示され、所定の位置が設定されている例を示す図である。

【図6】（ａ）は、図５（ｂ）にて設定された位置Ｒａに対して、使用者が光照射装置を用いて、光を照射し、その照射した光により生じた輝点にて、時計回りに円を２回描いている例を示す図、（ｂ）は、図５（ｂ）にて設定された位置Ｒａに対して、使用者が光照射装置を用いて、光を照射し、その照射した光により生じた輝点にて、反時計回りに円を２回描いている例を示す図、（ｃ）は、図５（ｂ）にて設定された位置Ｒａに対して、使用者が光照射装置を用いて、光を照射し、その照射した光により生じた輝点にて、三角形を描いている例を示す図である。

【図7】（ａ）は、図５（ｂ）にて設定された位置Ｒｂに対して、使用者が光照射装置を用いて、光を照射し、その照射した光により生じた輝点にて、時計回りに円を２回描いている例を示す図、（ｂ）は、図５（ｂ）にて設定された位置Ｒｃに対して、使用者が光照射装置を用いて、光を照射し、その照射した光により生じた輝点にて、反時計回りに円を２回描いている例を示す図である。

【図8】本発明に係る操作指示制御システムの第２実施形態を示す全体図である。

【図9】同実施形態に係る操作指示内容関連情報登録データベースに格納されているテーブルを示す図である。

【図10】図９とは異なるテーブルを示す図である。

【図11】同実施形態に係る操作指示制御システムの制御手順を示すフローチャート図である。

【図12】本発明に係る操作指示制御システムの第３実施形態を示す全体図である。

【図13】同実施形態に係る操作指示内容関連情報登録データベースに格納されているテーブルを示す図である。

【図14】同実施形態に係る操作指示制御システムの制御手順を示すフローチャート図である。

【図15】（ａ）〜（ｂ）は、同実施形態に係る操作指示装置の表示部に表示される、画面遷移を示す画面例である。

【発明を実施するための形態】

【0021】

＜第１実施形態＞
以下、本発明に係る操作指示制御装置及びその方法に関する操作指示制御システムの第１実施形態について、図面を参照して具体的に説明する。なお、以下の説明において、上下左右の方向を示す場合は、図示正面から見た場合の上下左右をいうものとする。

【0022】

＜操作指示制御システムの説明＞
図１に示すように、操作指示制御システム１は、光照射装置２と、カメラ３と、制御装置４と、で構成されている。なお、符号Ｗは、カメラ３にて撮像される撮像対象物を示すものである。

【0023】

光照射装置２は、レーザーポインタや、リング型ライト、腕時計型ライト、メガネ型ライト、ペン型ライト、懐中電灯などからなる装置であって、図１に示すように、カメラ３にて撮像される撮像対象物Ｗから離れた距離にいる使用者によって、撮像対象物Ｗに光２ａを照射できるものである。なお、この光照射装置２から照射された光２ａにより生じた輝点２ｂは、撮像対象物Ｗに重ね合わさることとなる。

【0024】

一方、カメラ３は、図１に示すように、撮像対象物Ｗを撮像できるものである。より詳しく説明すると、このカメラ３は、所定箇所に固定配置されているものであって、例えば、図５（ａ）に示すような、室内の一部である撮像対象物Ｗを撮像できるものである。そしてさらに、このカメラ３は、１秒間に３０フレームを超えるフレームを連続的に撮像できるハイスピードカメラであって、図５に示すような、輝点２ｂの動きをぶれなく撮像できるものである。なお、このカメラ３にて撮像された撮像データは、図１に示すように、制御装置４に出力される。

【0025】

他方、制御装置４は、ＣＰＵ４０と、マウスやキーボード、タッチパネル等にて外部から所定データを制御装置４に入力することができる入力部４１と、制御装置４外に所定データを出力することができる出力部４２と、所定のプログラム等を格納した書込み可能なフラッシュＲＯＭ等からなるＲＯＭ４３と、作業領域やバッファメモリ等として機能するＲＡＭ４４と、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）等からなる表示部４５と、無線ＬＡＮ（例えばＷｉｆｉ（登録商標）），有線ＬＡＮ，ダイヤルアップ等の通信手段で、図示しないスマート家電などの操作指示体に、ネットワークを介して接続が可能な通信部４６と、図示しないスマート家電などの操作指示体への操作指示内容に必要な情報が格納されている操作指示内容関連情報登録データベース４７と、で構成されている。なお、この操作指示体としては、エアコン、炊飯器、電子レンジなどのスマート家電や、ＰＣやｉｐｈｏｎｅ（登録商標）等のスマートフォン等の情報処理端末や、自動車などのスマートビークル（Ｓｍａｒｔ ｖｅｈｉｃｌｅ）や、ドローン（ｄｒｏｎｅ）、家庭用ロボットなど、ネットワークを介して接続が可能なものであれば、どのようなものでも良い。

【0026】

ところで、操作指示内容関連情報登録データベース４７には、図２に示すテーブルＴＢＬが格納されている。より具体的に説明すると、このテーブルＴＢＬには、カメラ３にて撮像された撮像対象物Ｗに対して、設定された位置（ＴＢ１参照）が格納され、その設定された位置（ＴＢ１参照）に対して、使用者が光照射装置２を用いて動作する内容（ＴＢ２参照）が格納され、その動作内容に応じた、図示しないスマート家電などの操作指示体への操作内容（ＴＢ３参照）が格納されている。

【0027】

＜操作指示内容関連情報登録データベースのテーブルの登録例の説明＞
ここで、より詳しく上記内容（ＴＢ１〜ＴＢ３参照）をテーブルＴＢＬ（図２参照）に格納する方法を、図３を主に参照して具体的に説明する。

【0028】

上記のような方法を行うにあたっては、作業者が、図１に示す制御装置４の入力部４１を用いて、図１に示すＲＯＭ４３内に格納されているプログラムの起動を指示する。これにより、制御装置４のＣＰＵ４０（図１参照）は、図３に示すような処理を行う。以下、図３を参照して説明する。なお、図３に示すプログラムの処理内容はあくまで一例であり、これに限定されるものではない。

【0029】

まず、ＣＰＵ４０（図１参照）は、カメラ３にて撮像された撮像対象物Ｗの撮像データを取得する（ステップＳ１）。例えば、撮像対象物Ｗとして、図５（ａ）に示すような、室内のエアコンの温度を調整できるエアコン操作盤Ｗａが設置され、現在の時刻を示す壁掛け時計Ｗｂが設置され、電話Ｗｃが設置されているような室内の一部を、所定箇所に固定配置されているカメラ３にて撮像される。これにより、カメラ３は、その撮像した撮像対象物Ｗ（図５（ａ）参照）の撮像データを制御装置４（図１参照）に出力する。これを受けて、ＣＰＵ４０（図１参照）は、入力部４１（図１参照）を介して、その撮像データを取得することとなる。なお、エアコン操作盤Ｗａにて温度調整等がされるエアコン（図示せず）は、通信部４６（図１参照）と、ネットワークを介して接続が可能なものである。また、現在の時刻を示す壁掛け時計Ｗｂは、今日の予定などを音声で通知する等が可能なスピーカ（図示せず）と接続されており、このスピーカ（図示せず）は、通信部４６（図１参照）と、ネットワークを介して接続可能なものである。またさらに、電話Ｗｃは、留守番電話の内容を再生等が可能なスピーカ（図示せず）と接続されており、このスピーカ（図示せず）は、通信部４６（図１参照）と、ネットワークを介して接続可能なものである。

【0030】

次いで、ＣＰＵ４０（図１参照）は、取得した撮像データに対し、作業者に所定の位置を設定させるような指示内容を表示部４５（図１参照）に表示させる（ステップＳ２）。具体的に説明すると、ＣＰＵ４０（図１参照）は、図５（ｂ）に示すように、取得した撮像データ（撮像対象物Ｗ）を、表示部４５に表示させる。これを受けて、作業者は、入力部４１（図１参照）を用いて、エアコン操作盤Ｗａの位置Ｒａを設定し、さらに、壁掛け時計Ｗｂの位置Ｒｂを設定し、そしてさらに、電話Ｗｃの位置Ｒｃを設定することとなる。これにより、ＣＰＵ４０（図１参照）は、その設定された位置Ｒａ〜Ｒｃの位置座標を算出し、その算出した位置座標を、テーブルＴＢＬ（図２参照）の位置の項目（ＴＢ１参照）に格納することとなる。この点、より具体的に説明すると、図５（ｂ）に示す左上隅を原点Ｏとした場合、ＣＰＵ４０（図１参照）は、位置Ｒａの左上隅Ｐａ１のＸ，Ｙ座標位置が原点Ｏを基準とした際、どの座標位置にあるかをピクセル値等から算出（図２では、Ｘ座標を５０，Ｙ座標を１０００としている）し、位置Ｒａの右下隅Ｐａ２のＸ，Ｙ座標位置が原点Ｏを基準とした際、どの座標位置にあるかをピクセル値等から算出（図２では、Ｘ座標を２００，Ｙ座標を１２００としている）する。これにより、テーブルＴＢＬ（図２参照）の位置の項目（ＴＢ１参照）に、（５０，１０００）−（２００，１２００）のように格納されることとなる。さらに、ＣＰＵ４０（図１参照）は、図５（ｂ）に示す位置Ｒｂの左上隅Ｐｂ１のＸ，Ｙ座標位置が原点Ｏを基準とした際、どの座標位置にあるかをピクセル値等から算出（図２では、Ｘ座標を１０００，Ｙ座標を５０としている）し、位置Ｒｂの右下隅Ｐｂ２のＸ，Ｙ座標位置が原点Ｏを基準とした際、どの座標位置にあるかをピクセル値等から算出（図２では、Ｘ座標を１２００，Ｙ座標を２００としている）する。これにより、テーブルＴＢＬ（図２参照）の位置の項目（ＴＢ１参照）に、（１０００，５０）−（１２００，２００）のように格納されることとなる。またさらに、ＣＰＵ４０（図１参照）は、図５（ｂ）に示す位置Ｒｃの左上隅Ｐｃ１のＸ，Ｙ座標位置が原点Ｏを基準とした際、どの座標位置にあるかをピクセル値等から算出（図２では、Ｘ座標を５００，Ｙ座標を１８００としている）し、位置Ｒｃの右下隅Ｐｃ２のＸ，Ｙ座標位置が原点Ｏを基準とした際、どの座標位置にあるかをピクセル値等から算出（図２では、Ｘ座標を８００，Ｙ座標を２０００としている）する。これにより、テーブルＴＢＬ（図２参照）の位置の項目（ＴＢ１参照）に、（５００，１８００）−（８００，２０００）のように格納されることとなる。

【0031】

次いで、ＣＰＵ４０（図１参照）は、作業者が設定した位置に対し、作業者に所定の動作内容及び所定の操作内容を設定させるような指示内容を表示部４５（図１参照）に表示させる（ステップＳ３）。これを受けて、作業者は、入力部４１（図１参照）を用いて、位置Ｒａ〜Ｒｃに対し、使用者が光照射装置２を用いてどのような動作をすれば、エアコンやスピーカに対しどのような操作内容を指示するのかの入力を行う。具体的には、図６（ａ）に示すように、位置Ｒａに対し、使用者が光照射装置２を用いて、光２ａ（図１参照）を照射し、その照射した光２ａにより生じた輝点２ｂを、時計回りに円を２回描くような動作をさせた場合に、エアコンの温度を上げるというような入力を、作業者は、入力部４１（図１参照）を用いて行う。これにより、ＣＰＵ４０（図１参照）は、テーブルＴＢＬ（図２参照）の動作内容の項目（ＴＢ２参照）に、時計回りに円を２回描くと格納し、テーブルＴＢＬ（図２参照）の操作内容の項目（ＴＢ３参照）に、エアコンの温度を上げると格納することとなる。さらに、図６（ｂ）に示すように、位置Ｒａに対し、使用者が光照射装置２を用いて、光２ａ（図１参照）を照射し、その照射した光２ａにより生じた輝点２ｂを、反時計回りに円を２回描くような動作をさせた場合に、エアコンの温度を下げるというような入力を、作業者は、入力部４１（図１参照）を用いて行う。これにより、ＣＰＵ４０（図１参照）は、テーブルＴＢＬ（図２参照）の動作内容の項目（ＴＢ２参照）に、反時計回りに円を２回描くと格納し、テーブルＴＢＬ（図２参照）の操作内容の項目（ＴＢ３参照）に、エアコンの温度を下げると格納することとなる。またさらに、図６（ｃ）に示すように、位置Ｒａに対し、使用者が光照射装置２を用いて、光２ａ（図１参照）を照射し、その照射した光２ａにより生じた輝点２ｂを、三角形を描くような動作をさせた場合に、エアコンをＯＦＦするというような入力を、作業者は、入力部４１（図１参照）を用いて行う。これにより、ＣＰＵ４０（図１参照）は、テーブルＴＢＬ（図２参照）の動作内容の項目（ＴＢ２参照）に、三角形を描くと格納し、テーブルＴＢＬ（図２参照）の操作内容の項目（ＴＢ３参照）に、エアコンをＯＦＦと格納することとなる。

【0032】

一方、図７（ａ）に示すように、位置Ｒｂに対し、使用者が光照射装置２を用いて、光２ａ（図１参照）を照射し、その照射した光２ａにより生じた輝点２ｂを、時計回りに円を２回描くような動作をさせた場合に、今日の予定を通知するというような入力を、作業者は、入力部４１（図１参照）を用いて行う。これにより、ＣＰＵ４０（図１参照）は、テーブルＴＢＬ（図２参照）の動作内容の項目（ＴＢ２参照）に、時計回りに円を２回描くと格納し、テーブルＴＢＬ（図２参照）の操作内容の項目（ＴＢ３参照）に、今日の予定を通知すると格納することとなる。

【0033】

また一方、図７（ｂ）に示すように、位置Ｒｃに対し、使用者が光照射装置２を用いて、光２ａ（図１参照）を照射し、その照射した光２ａにより生じた輝点２ｂを、反時計回りに円を２回描くような動作をさせた場合に、留守電を再生するというような入力を、作業者は、入力部４１（図１参照）を用いて行う。これにより、ＣＰＵ４０（図１参照）は、テーブルＴＢＬ（図２参照）の動作内容の項目（ＴＢ２参照）に、反時計回りに円を２回描くと格納し、テーブルＴＢＬ（図２参照）の操作内容の項目（ＴＢ３参照）に、留守電を再生すると格納することとなる。

【0034】

かくして、このようにして、テーブルＴＢＬ（図２参照）に格納されている内容（ＴＢ１〜ＴＢ３参照）が、テーブルＴＢＬ（図２参照）に格納されることとなる。

【0035】

なお、本実施形態においては、図１に示す制御装置４の入力部４１を用いて上記のようなデータを入力する例を示したが、それに限らず、スマート家電などの操作指示体を提供しているメーカ等に参照ＡＰＩ（Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｇｒａｍｍｉｎｇ Ｉｎｔｅｒｆａｃｅ）を提供して、ネットワークを介して外部から入力できるようにしても良い。この際、ＣＰＵ４０（図１参照）は、図１に示す制御装置４の通信部４６より外部から入力されたデータを取得することとなる。これにより、操作指示内容関連情報登録データベース４７（図１参照）に格納されているテーブルＴＢＬ（図２参照）に、上記の内容（ＴＢ１〜ＴＢ３参照）が格納されることとなる。

【0036】

＜操作指示制御システムの一使用例の説明＞
ここで、上記説明した操作指示制御システム１の一使用例を、図４を参照して説明する。なお、図４に示すプログラムの処理内容はあくまで一例であり、これに限定されるものではない。

【0037】

使用者は、この操作指示制御システム１を使用するにあたって、図１に示す制御装置４の入力部４１を用いて、図１に示すＲＯＭ４３内に格納されているプログラムの起動を指示する。これにより、制御装置４のＣＰＵ４０（図１参照）は、図４に示すような処理を行うこととなる。

【0038】

まず、ＣＰＵ４０（図１参照）は、カメラ３にて撮像された撮像対象物Ｗの撮像データを取得し、その撮像データのフレーム間の輝度の変化を確認する（ステップＳ１０）。すなわち、使用者が、例えば、図６に示す位置Ｒａに対し、光照射装置２を用いて、光２ａ（図１参照）を照射していた場合、光２ａを照射する前のフレームの撮像データと、光２ａを照射した後のフレームの撮像データとを比較すると、光２ａを照射したことにより、その照射した光２ａにより生じた輝点２ｂによって、フレーム間の輝度が変化しているため、輝点２ｂの位置が分かることとなる。さらには、その輝点２ｂの位置が変化すれば、輝点２ｂ変化前のフレームの撮像データと、輝点２ｂ変化後のフレームの撮像データとを比較すると、フレーム間の輝度が変化しているため、輝点２ｂの位置が変化したことが分かることとなる。それゆえ、ＣＰＵ４０（図１参照）は、その輝度の変化を、フレーム間で確認する。

【0039】

次いで、ＣＰＵ４０（図１参照）は、その輝度の変化を確認することで、光照射装置２を用いて照射した光２ａにより生じた輝点２ｂの動作内容を確認する（ステップＳ１１）。具体的には、使用者が、例えば、図６（ａ）に示す位置Ｒａに対し、光照射装置２を用いて光２ａ（図１参照）を照射し、その照射した光２ａにより生じた輝点２ｂを、時計回りに円を２回描くような動作をさせた場合、ＣＰＵ４０（図１参照）は、フレーム間で輝度の変化を確認しているから、フレーム毎の輝点２ｂのＸ，Ｙ座標位置を、図５（ｂ）に示す原点Ｏを基準とした際、どの座標位置にあるかをピクセル値等から算出することができ、もって、フレーム毎の輝点２ｂのＸ，Ｙ座標位置を繋ぎ合わせることで、輝点２ｂが、図６（ａ）に示す位置Ｒａ内で、時計回りに円を２回描くような動作をしたことが確認できることとなる。

【0040】

次いで、ＣＰＵ４０（図１参照）は、操作指示内容関連情報登録データベース４７（図１参照）に格納されているテーブルＴＢＬ（図２参照）を読み出し、そのテーブルＴＢＬから、上記ステップＳ１１にて確認した内容に該当する箇所を検索し、操作内容の項目（ＴＢ３参照）より、操作内容を取得する（ステップＳ１２）。具体的には、図６（ａ）に示す位置Ｒａに対し、光照射装置２を用いて光２ａ（図１参照）を照射し、その照射した光２ａにより生じた輝点２ｂを、時計回りに円を２回描くような動作をさせたことが確認された場合、ＣＰＵ４０（図１参照）は、操作指示内容関連情報登録データベース４７（図１参照）に格納されているテーブルＴＢＬ（図２参照）より、エアコンの温度を上げるというような操作内容を取得することとなる。

【0041】

次いで、ＣＰＵ４０（図１参照）は、その取得した操作内容を、通信部４６（図１参照）を介して外部に送信する（ステップＳ１３）。これにより、ネットワークを介して通信部４６（図１参照）と接続されている、例えば、エアコン（図示せず）は、温度を上げる操作をすることとなる。

【0042】

しかして、以上説明した本実施形態によれば、使用者は、図示しないスマート家電などの操作指示体に対して、所定の操作を指示したい場合、光照射装置２を用いて、撮像対象物Ｗの位置Ｒａ〜Ｒｃに対して、光２ａを照射し、その照射した光２ａにて生じた輝点２ｂに所定の動作をさせるだけで、所定の操作を指示することができることなる。

【0043】

しかして、本実施形態によれば、音声認識や、動作認識のように、発話者や被写体である人物の音声や動作を使用する必要がないため、プライバシーを確保することができる。さらには、光２ａにて生じた輝点２ｂの動きを認識するだけで良いため、使用する環境の影響を受けにくく、もって、処理が簡便となり、認識精度のばらつきを低減させることができる。

【0044】

＜第２実施形態＞
次に、本発明に係る操作指示制御装置及びその方法に関する操作指示制御システムの第２実施形態について、図面を参照して具体的に説明する。なお、第１実施形態と同一構成については、同一の符号を付し、説明は省略する。

【0045】

第１実施形態と第２実施形態とで異なる点は、第１実施形態では、不特定の使用者が光照射装置２を用いる例を示したが、第２実施形態では、特定の使用者が光照射装置２を用いるという点が相違している。以下、この点につき、詳述することとする。

【0046】

＜操作指示制御システムの説明＞
図８に示すように、操作指示制御システム１Ａは、光照射装置２Ａと、カメラ３と、制御装置４と、で構成されている。

【0047】

光照射装置２Ａは、レーザーポインタや、リング型ライト、腕時計型ライト、メガネ型ライト、ペン型ライト、懐中電灯などからなる装置であって、光照射装置２Ａを使用する複数の使用者毎の識別子（例えば、ＩＤ）を登録できるものである。そして、これら使用者の識別子（例えば、ＩＤ）は、制御装置４からの指示に応じて、制御装置４に出力できるようになっている。

【0048】

一方、制御装置４の操作指示内容関連情報登録データベース４７には、図９に示すテーブルＴＢＬＡが格納されている。このテーブルＴＢＬＡには、光照射装置２Ａを使用する使用者ＩＤ（ＴＢ０Ａ参照）が格納され、この使用者ＩＤ（ＴＢ０Ａ参照）に対応する、カメラ３（図８参照）にて撮像された撮像対象物Ｗに対して、設定された位置（ＴＢ１Ａ参照）が格納され、その設定された位置（ＴＢ１Ａ参照）に対して、この使用者ＩＤ（ＴＢ０Ａ参照）に対応する使用者が光照射装置２を用いて動作する動作内容（ＴＢ２Ａ参照）が格納され、その動作内容に応じた、図示しないスマート家電などの操作指示体への操作内容（ＴＢ３Ａ参照）が格納されている。具体的に説明すると、使用者ＩＤ「ｘ０００１」であるＡさん（ＴＢ０Ａ参照）が、図５（ｂ）に示す位置Ｒａ（図９では、（５０，１０００）−（２００，１２００）としている）（ＴＢ１Ａ参照）に対し、光照射装置２Ａを用いて、光２ａ（図８参照）を照射し、その照射した光２ａにより生じた輝点２ｂを、時計回りに円を２回描くような動作をさせた場合（ＴＢ２Ａ参照）、ネットワークを介して通信部４６（図８参照）と接続されているエアコンの温度を上げるという操作内容（ＴＢ３Ａ参照）が格納されている。さらに、使用者ＩＤ「ｘ０００１」であるＡさん（ＴＢ０Ａ参照）が、図５（ｂ）に示す位置Ｒａ（図９では、（５０，１０００）−（２００，１２００）としている）（ＴＢ１Ａ参照）に対し、光照射装置２Ａを用いて、光２ａ（図８参照）を照射し、その照射した光２ａにより生じた輝点２ｂを、反時計回りに円を２回描くような動作をさせた場合（ＴＢ２Ａ参照）、ネットワークを介して通信部４６（図８参照）と接続されているエアコンの温度を下げるという操作内容（ＴＢ３Ａ参照）が格納されている。そしてさらに、使用者ＩＤ「ｘ０００１」であるＡさん（ＴＢ０Ａ参照）が、図５（ｂ）に示す位置Ｒａ（図９では、（５０，１０００）−（２００，１２００）としている）（ＴＢ１Ａ参照）に対し、光照射装置２Ａを用いて、光２ａ（図８参照）を照射し、その照射した光２ａにより生じた輝点２ｂを、三角形を描くような動作をさせた場合（ＴＢ２Ａ参照）、ネットワークを介して通信部４６（図８参照）と接続されているエアコンをＯＦＦするという操作内容（ＴＢ３Ａ参照）が格納されている。

【0049】

一方、使用者ＩＤ「ｘ０００２」であるＢさん（ＴＢ０Ａ参照）が、図５（ｂ）に示す位置Ｒａ（図９では、（５０，１０００）−（２００，１２００）としている）（ＴＢ１Ａ参照）に対し、光照射装置２Ａを用いて、光２ａ（図８参照）を照射し、その照射した光２ａにより生じた輝点２ｂを、時計回りに円を２回描くような動作をさせた場合（ＴＢ２Ａ参照）、ネットワークを介して通信部４６（図８参照）と接続されているエアコンの温度を下げるという操作内容（ＴＢ３Ａ参照）が格納されている。さらに、使用者ＩＤ「ｘ０００２」であるＢさん（ＴＢ０Ａ参照）が、図５（ｂ）に示す位置Ｒａ（図９では、（５０，１０００）−（２００，１２００）としている）（ＴＢ１Ａ参照）に対し、光照射装置２Ａを用いて、光２ａ（図８参照）を照射し、その照射した光２ａにより生じた輝点２ｂを、反時計回りに円を２回描くような動作をさせた場合（ＴＢ２Ａ参照）、ネットワークを介して通信部４６（図８参照）と接続されているエアコンの温度を上げるという操作内容（ＴＢ３Ａ参照）が格納されている。そしてさらに、使用者ＩＤ「ｘ０００２」であるＢさん（ＴＢ０Ａ参照）が、図５（ｂ）に示す位置Ｒａ（図９では、（５０，１０００）−（２００，１２００）としている）（ＴＢ１Ａ参照）に対し、光照射装置２Ａを用いて、光２ａ（図８参照）を照射し、その照射した光２ａにより生じた輝点２ｂを、三角形を描くような動作をさせた場合（ＴＢ２Ａ参照）、ネットワークを介して通信部４６（図８参照）と接続されているエアコンをＯＮするという操作内容（ＴＢ３Ａ参照）が格納されている。

【0050】

しかして、このように、動作内容が同一であっても、使用者毎に、操作内容を異なるようにしておけば、使用者毎のカスタマイズが可能となる。また、制御装置４にＲＴＣ（リアルタイムクロック）を内蔵させておけば、何時どの使用者が、光照射装置２Ａを用いたかをＲＯＭ４３内に記憶させておくことが可能となる。これにより、何時どの使用者が、光照射装置２を用いたかを確認することが可能となる。

【0051】

また一方、同一の操作内容であっても、使用者毎に、動作内容を異なるようにしておくこともできる。すなわち、制御装置４の操作指示内容関連情報登録データベース４７に、図１０に示すテーブルＴＢＬＢを格納する。このテーブルＴＢＬＢには、光照射装置２Ａを使用する使用者ＩＤ（ＴＢ０Ｂ参照）が格納され、この使用者ＩＤ（ＴＢ０Ｂ参照）に対応する、カメラ３（図８参照）にて撮像された撮像対象物Ｗに対して、設定された位置（ＴＢ１Ｂ参照）が格納され、その設定された位置（ＴＢ１Ｂ参照）に対して、この使用者ＩＤ（ＴＢ０Ｂ参照）に対応する使用者が光照射装置２Ａを用いて動作する内容（ＴＢ２Ｂ参照）が格納され、その動作内容に応じた、図示しないスマート家電などの操作指示体への操作内容（ＴＢ３Ｂ参照）が格納されている。具体的に説明すると、使用者ＩＤ「ｘ０００１」であるＡさん（ＴＢ０Ｂ参照）が、図５（ｂ）に示す位置Ｒａ（図１０では、（５０，１０００）−（２００，１２００）としている）（ＴＢ１Ｂ参照）に対し、光照射装置２Ａを用いて、光２ａ（図８参照）を照射し、その照射した光２ａにより生じた輝点２ｂを、時計回りに円を２回描くような動作をさせた場合（ＴＢ２Ｂ参照）、ネットワークを介して通信部４６（図８参照）と接続されているエアコンの温度を上げるという操作内容（ＴＢ３Ｂ参照）が格納されている。さらに、使用者ＩＤ「ｘ０００１」であるＡさん（ＴＢ０Ｂ参照）が、図５（ｂ）に示す位置Ｒａ（図１０では、（５０，１０００）−（２００，１２００）としている）（ＴＢ１Ｂ参照）に対し、光照射装置２Ａを用いて、光２ａ（図８参照）を照射し、その照射した光２ａにより生じた輝点２ｂを、反時計回りに円を２回描くような動作をさせた場合（ＴＢ２Ｂ参照）、ネットワークを介して通信部４６（図８参照）と接続されているエアコンの温度を下げるという操作内容（ＴＢ３Ｂ参照）が格納されている。そしてさらに、使用者ＩＤ「ｘ０００１」であるＡさん（ＴＢ０Ｂ参照）が、図５（ｂ）に示す位置Ｒａ（図１０では、（５０，１０００）−（２００，１２００）としている）（ＴＢ１Ｂ参照）に対し、光照射装置２Ａを用いて、光２ａ（図８参照）を照射し、その照射した光２ａにより生じた輝点２ｂを、三角形を描くような動作をさせた場合（ＴＢ２Ｂ参照）、ネットワークを介して通信部４６（図８参照）と接続されているエアコンをＯＦＦするという操作内容（ＴＢ３Ｂ参照）が格納されている。

【0052】

一方、使用者ＩＤ「ｘ０００２」であるＢさん（ＴＢ０Ｂ参照）が、図５（ｂ）に示す位置Ｒａ（図１０では、（５０，１０００）−（２００，１２００）としている）（ＴＢ１Ｂ参照）に対し、光照射装置２Ａを用いて、光２ａ（図８参照）を照射し、その照射した光２ａにより生じた輝点２ｂを、反時計回りに円を２回描くような動作をさせた場合（ＴＢ２Ｂ参照）、ネットワークを介して通信部４６（図８参照）と接続されているエアコンの温度を上げるという操作内容（ＴＢ３Ｂ参照）が格納されている。さらに、使用者ＩＤ「ｘ０００２」であるＢさん（ＴＢ０Ｂ参照）が、図５（ｂ）に示す位置Ｒａ（図１０では、（５０，１０００）−（２００，１２００）としている）（ＴＢ１Ｂ参照）に対し、光照射装置２Ａを用いて、光２ａ（図８参照）を照射し、その照射した光２ａにより生じた輝点２ｂを、時計回りに円を２回描くような動作をさせた場合（ＴＢ２Ｂ参照）、ネットワークを介して通信部４６（図８参照）と接続されているエアコンの温度を下げるという操作内容（ＴＢ３Ｂ参照）が格納されている。そしてさらに、使用者ＩＤ「ｘ０００２」であるＢさん（ＴＢ０Ｂ参照）が、図５（ｂ）に示す位置Ｒａ（図１０では、（５０，１０００）−（２００，１２００）としている）（ＴＢ１Ｂ参照）に対し、光照射装置２Ａを用いて、光２ａ（図８参照）を照射し、その照射した光２ａにより生じた輝点２ｂを、四角形描くような動作をさせた場合（ＴＢ２Ｂ参照）、ネットワークを介して通信部４６（図８参照）と接続されているエアコンの温度をＯＦＦという操作内容（ＴＢ３Ｂ参照）が格納されている。

【0053】

しかして、このように、同一の操作内容であっても、使用者毎に、動作内容を異なるようにしておけば、使用者毎のカスタマイズが可能となる。また、制御装置４にＲＴＣ（リアルタイムクロック）を内蔵させておけば、何時どの使用者が、光照射装置２Ａを用いたかをＲＯＭ４３内に記憶させておくことが可能となる。これにより、何時どの使用者が、光照射装置２を用いたかを確認することが可能となる。

【0054】

なお、上記説明したテーブルＴＢＬＡ（図９参照），テーブルＴＢＬＢ（図１０参照）に格納されている内容を格納する方法は、使用者毎に、図３に示す処理を行えばよいため、説明は省略することとする。

【0055】

かくして、上記説明した操作指示制御システム１Ａを使用するにあたっては、使用者が、図８に示す制御装置４の入力部４１を用いて、図８に示すＲＯＭ４３内に格納されているプログラムの起動を指示する。これにより、制御装置４のＣＰＵ４０（図８参照）は、図１１に示すような処理を行う。以下、図１１を参照して説明する。なお、図１１に示すプログラムの処理内容はあくまで一例であり、これに限定されるものではない。

【0056】

まず、ＣＰＵ４０（図１参照）は、光照射装置２Ａより、光照射装置２Ａを使用する使用者の識別子（例えば、ＩＤ）を取得する（ステップＳ２０）。具体的に説明すると、使用者（例えば、Ａさん）は、光照射装置２Ａを使用するにあたって、登録しておいた自身の識別子（例えば、ＩＤ）を読み出し、現在の使用者（例えば、Ａさん）を光照射装置２Ａに認識させておく。これにより、ＣＰＵ４０（図１参照）が、光照射装置２Ａより、光照射装置２Ａを使用する使用者の識別子（例えば、ＩＤ）を取得するようにすれば、光照射装置２Ａを使用している現在の使用者（例えば、Ａさん）が判別できることとなる。

【0057】

次いで、ＣＰＵ４０（図１参照）は、上述したステップＳ１０及びステップＳ１１の処理を行う。

【0058】

次いで、ＣＰＵ４０（図１参照）は、操作指示内容関連情報登録データベース４７（図１参照）に格納されているテーブルＴＢＬＡ（図９参照）、又は、テーブルＴＢＬＢ（図１０参照）を読み出し、そのテーブルＴＢＬＡ、又は、テーブルＴＢＬＢから、取得した使用者の識別子（例えば、ＩＤ）に対する、上記ステップＳ１１にて確認した内容に該当する箇所を検索し、操作内容の項目（ＴＢ３Ａ，ＴＢ３Ｂ参照）より、操作内容を取得する（ステップＳ２２）。具体的には、使用者ＩＤ「ｘ０００１」であるＡさん（ＴＢ０Ａ参照）が、図６（ａ）に示す位置Ｒａに対し、光照射装置２を用いて光２ａ（図８参照）を照射し、その照射した光２ａにより生じた輝点２ｂを、時計回りに円を２回描くような動作をさせたことが確認された場合、ＣＰＵ４０（図１参照）は、操作指示内容関連情報登録データベース４７（図１参照）に格納されているテーブルＴＢＬＡ（図９参照）又は、テーブルＴＢＬＢ（図１０参照）より、エアコンの温度を上げるというような操作内容を取得することとなる。

【0059】

次いで、ＣＰＵ４０（図１参照）は、その取得した操作内容を、通信部４６（図１参照）を介して外部に送信する（ステップＳ１３）。これにより、ネットワークを介して通信部４６（図１参照）と接続されている、例えば、エアコン（図示せず）は、温度を上げる操作をすることとなる。

【0060】

しかして、以上説明した本実施形態においても、特定の使用者は、図示しないスマート家電などの操作指示体に対して、所定の操作を指示したい場合、光照射装置２を用いて、撮像対象物Ｗの位置Ｒａ〜Ｒｃに対して、光２ａを照射し、その照射した光２ａにて生じた輝点２ｂに所定の動作をさせるだけで、所定の操作を指示することができる。

【0061】

しかして、本実施形態においても、音声認識や、動作認識のように、発話者や被写体である人物の音声や動作を使用する必要がないため、プライバシーを確保することができる。さらには、光２ａにて生じた輝点２ｂの動きを認識するだけで良いため、使用する環境の影響を受けにくく、もって、処理が簡便となり、認識精度のばらつきを低減させることができる。

【0062】

＜第３実施形態＞
次に、本発明に係る操作指示制御装置及びその方法に関する操作指示制御システムの第３実施形態について、図面を参照して具体的に説明する。なお、第１実施形態と同一構成については、同一の符号を付し、説明は省略する。

【0063】

第１実施形態と第３実施形態とで異なる点は、第１実施形態では、図示しないスマート家電などの操作指示体に対して、操作指示内容を送信するようにしていたが、第３実施形態では、複数の操作指示内容を操作指示装置に送信するという点が相違している。以下、この点につき、詳述することとする。

【0064】

＜操作指示制御システムの説明＞
図１２に示すように、操作指示制御システム１Ｂは、光照射装置２と、カメラ３と、制御装置４と、操作指示装置５とで構成されている。

【0065】

操作指示装置５は、ｉｐｈｏｎｅ（登録商標）等のスマートフォンや携帯電話、あるいは、ウェアラブルデバイスや、ＰＣ等からなるもので、通信部４６（図１２参照）と、ネットワークを介して接続可能なものであり、種々の画像を表示できる表示部５０を備えているものである。そして、この操作装置装置５は、ネットワークを介して、図示しないスマート家電などの操作指示体と接続可能なものである。

【0066】

一方、制御装置４の操作指示内容関連情報登録データベース４７には、図１３に示すテーブルＴＢＬＣが格納されている。このテーブルＴＢＬＣには、カメラ３にて撮像された撮像対象物Ｗに対して、設定された位置（ＴＢ１参照）が格納され、その設定された位置（ＴＢ１参照）に対して、使用者が光照射装置２を用いて動作する内容（ＴＢ２参照）が格納され、その動作内容に応じた、図示しないスマート家電などの操作指示体への複数の操作内容（ＴＢ３Ｃ参照）が格納されている。具体的に説明すると、図５（ｂ）に示す位置Ｒａ（図１３では、（５０，１０００）−（２００，１２００）としている）（ＴＢ１参照）に対し、光照射装置２を用いて、光２ａ（図１２参照）を照射し、その照射した光２ａにより生じた輝点２ｂを、時計回りに円を２回描くような動作をさせた場合（ＴＢ２参照）、操作装置装置５とネットワークを介して接続されているエアコンの温度を上げるという操作内容、エアコンの温度を下げるという操作内容（ＴＢ３Ｃ参照）が格納されている。さらに、図５（ｂ）に示す位置Ｒａ（図１３では、（５０，１０００）−（２００，１２００）としている）（ＴＢ１参照）に対し、光照射装置２を用いて、光２ａ（図１２参照）を照射し、その照射した光２ａにより生じた輝点２ｂを、反時計回りに円を２回描くような動作をさせた場合（ＴＢ２参照）、操作装置装置５とネットワークを介して接続されているエアコンの湿度を上げるという操作内容、エアコンの湿度を下げるという操作内容（ＴＢ３Ｃ参照）が格納されている。そしてさらに、図５（ｂ）に示す位置Ｒａ（図１３では、（５０，１０００）−（２００，１２００）としている）（ＴＢ１参照）に対し、光照射装置２を用いて、光２ａ（図８参照）を照射し、その照射した光２ａにより生じた輝点２ｂを、三角形を描くような動作をさせた場合（ＴＢ２参照）、操作装置装置５とネットワークを介して接続されているエアコンをＯＮするという操作内容、エアコンをＯＦＦするという操作内容（ＴＢ３Ｃ参照）が格納されている。

【0067】

しかして、このように、第３実施形態においては、一つの動作内容に対して、複数の操作内容が格納されている。なお、本実施形態においては、２つの操作内容しか例示していないが、勿論、一つの動作内容に対して、３つ以上の操作内容が格納されていても良い。

【0068】

ところで、上記説明したテーブルＴＢＬＣ（図１３参照）に格納されている内容を格納する方法は、図３に示す処理のうち、ステップＳ１〜ステップＳ２の処理は同一であり、ステップＳ３にて複数の操作内容を入力する点が相違するだけでそれ以外は同一であるため、説明は省略することとする。

【0069】

かくして、上記説明した操作指示制御システム１Ｂを使用するにあたっては、使用者が、図１２に示す制御装置４の入力部４１を用いて、図１２に示すＲＯＭ４３内に格納されているプログラムの起動を指示する。これにより、制御装置４のＣＰＵ４０（図１２参照）は、図１４に示すような処理を行う。以下、図１４を参照して説明する。なお、図１４に示すプログラムの処理内容はあくまで一例であり、これに限定されるものではない。

【0070】

図１４に示すように、ＣＰＵ４０（図１２参照）、上記説明したステップＳ１０〜ステップＳ１２の処理を行う。

【0071】

次いで、ＣＰＵ４０（図１２参照）は、その取得した操作内容（例えば、エアコンの温度を上げる、エアコンの温度を下げるという操作内容）を、通信部４６（図１２参照）を介して操作指示装置５に送信する（ステップＳ３０）。これを受けて、操作指示装置５は、図１５（ａ）に示すように、表示部５０に、送信されてきた操作内容を表示させる。具体的には、取得した操作内容が、エアコンの温度を上げる、エアコンの温度を下げるという操作内容であった場合、表示部５０に、エアコンの温度を上げる、エアコンの温度を下げるという内容が表示され、何れかの操作を使用者に選択させることとなる。これを受けて、使用者が、エアコンの温度を下げるという内容を操作指示装置５のタッチパネル等の入力部（図示せず）を用いて選択すると、図１５（ｂ）に示すように、表示部５０に、エアコンの温度を下げるが選択されましたと表示され、もって、操作指示装置５とネットワークを介して接続されているエアコンにエアコンの温度を下げるという操作内容が送信されることとなる。これにより、ネットワークを介して操作指示装置５と接続されている、エアコンは、温度を下げる操作をすることとなる。

【0072】

なお、本実施形態においては、一つの操作内容を選択できる例を示したが、二つ以上の操作内容を選択できるようにしても良い。

【0073】

しかして、以上説明した本実施形態においても、使用者は、図示しないスマート家電などの操作指示体に対して、所定の操作を指示したい場合、光照射装置２を用いて、撮像対象物Ｗの位置Ｒａ〜Ｒｃに対して、光２ａを照射し、その照射した光２ａにて生じた輝点２ｂに所定の動作をさせるだけで、操作指示装置５に複数の操作内容を送信することができ、もって、操作指示装置５から、図示しないスマート家電などの操作指示体に対して、少なくとも一つの所定の操作を指示することができる。

【0074】

しかして、本実施形態においても、音声認識や、動作認識のように、発話者や被写体である人物の音声や動作を使用する必要がないため、プライバシーを確保することができる。さらには、光２ａにて生じた輝点２ｂの動きを認識するだけで良いため、使用する環境の影響を受けにくく、もって、処理が簡便となり、認識精度のばらつきを低減させることができる。

【0075】

なお、第１実施形態〜第３実施形態において示した形状等はあくまで一例であり、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。例えば、第１実施形態〜第３実施形態においては、理解を容易にするために、図６（ａ）に示すように、位置Ｒａ内で、輝点２ｂを、時計回りに円を２回描くような動作をさせた例を示したが、予め誤差範囲を設定しておき、位置Ｒａ外で、輝点２ｂを、時計回りに円を２回描くような動作をさせたとしても、予め設定された誤差範囲内であれば、操作指示内容関連情報登録データベース４７（図１，図８，図１２参照）に格納されているテーブルＴＢＬ（図２参照）、ＴＢＬＡ（図９参照）、ＴＢＬＢ（図１０参照）、ＴＢＬＣ（図１３参照）から、上記ステップＳ１１にて確認した内容に該当する箇所を検索し、操作内容の項目（ＴＢ３、ＴＢ３Ａ、ＴＢ３Ｂ、ＴＢ３Ｃ参照）より、操作内容を取得するようにしても良い。

【0076】

一方、第１実施形態〜第３実施形態において示した位置Ｒａ〜Ｒｃの設定方法は、あくまで一例であり、これに限定されるものではない。例えば、第１実施形態〜第３実施形態においては、位置Ｒａ〜Ｒｃを手動で設定する例を示したが、自動で設定するようにしても良い。例えば、操作指示内容関連情報登録データベース４７（図１，図８，図１２参照）に格納されているテーブルＴＢＬ（図２参照）、ＴＢＬＡ（図９参照）、ＴＢＬＢ（図１０参照）、ＴＢＬＣ（図１３参照）に、位置Ｒａ内にあるエアコン操作盤Ｗａの模様及び／又は画像、位置Ｒｂ内にある壁掛け時計Ｗｂの模様及び／又は画像、位置Ｒｃ内にある電話Ｗｃの模様及び／又は画像を格納しておいても良い。この際、ＣＰＵ４０（図１，図８，図１２参照）は、カメラ３にて撮像された撮像対象物Ｗの撮像データから、輝点２ｂが動作した範囲にある模様及び／又は画像を抽出し、テーブルＴＢＬ（図２参照）、ＴＢＬＡ（図９参照）、ＴＢＬＢ（図１０参照）、ＴＢＬＣ（図１３参照）に予め格納されている模様及び／又は画像に、その抽出した模様及び／又は画像に近似するものがあるかを検索し、近似するものがあれば、操作内容の項目（ＴＢ３、ＴＢ３Ａ、ＴＢ３Ｂ、ＴＢ３Ｃ参照）より、その近似する模様及び／又は画像に対応する操作内容を取得するようにすることとなる。このようにすれば、エアコン操作盤Ｗａや、壁掛け時計Ｗｂなどが移動しても、位置Ｒａ〜Ｒｃを自動で設定することができ、作業効率を図ることができる。なお、近似する模様及び／又は画像が複数存在した場合は、輝点２ｂが動作した範囲の位置に最も近似する位置に対応する模様及び／又は画像を選択するようにすれば良い。

【0077】

一方、第１実施形態〜第３実施形態においては、輝点２ｂを、時計回りに円を２回描くような動作、又は、反時計回りに円を２回描くような動作等を例示したが、それに限らず、一定時間、位置Ｒａ〜Ｒｃ内に輝点２ｂを待機させておくような処理でも良い。

【0078】

他方、第１実施形態〜第３実施形態においては、光照射装置２，２Ａを用いて所定の動作を行う例を示したが、それに限らず、使用者の指、或いは、手だけを用いた所定の動作によるものでも良い。例えば、使用者が、位置Ｒａ内にあるエアコン操作盤Ｗａを指でタッチする動作をすれば、エアコンの温度を上げたり、使用者が、位置Ｒａ内にあるエアコン操作盤Ｗａに対して、指、或いは、手を用いて、円を描く動作をすれば、温度を下げたり等するようにすれば良い。そのため、第１実施形態〜第３実施形態において説明した光照射装置２，２Ａを用いた認識を、使用者の指、或いは、手だけを用いた所定の動作の認識に変更するだけで良い。具体的には、カメラ３にて撮像された撮像対象物Ｗの撮像データを取得し、その撮像データのフレーム間の使用者の指、或いは、手の変化を確認するようにすれば、使用者の指、或いは、手の動作を認識できることとなる。しかして、このようにすれば、使用者の顔を認識する必要がないため、プライバシーを確保することができる。さらには、使用者の指、或いは、手の動きを認識するだけで良いため、使用する環境の影響を受けにくく、もって、処理が簡便となり、認識精度のばらつきを低減させることができる。

【0079】

一方、第１実施形態〜第３実施形態においては、カメラ３にて撮像された撮像対象物Ｗのうち実在するものを対象として位置Ｒａ〜Ｒｃを設定するようにしたが、プロジェクターを用いて、所定の画像を投影させ、その投影させた画像に対して位置を設定するようにしても良い。このようにすれば、タッチパネルを設置できない場所でも、バーチャルなタッチパネルを実現することができる。

【0080】

また一方、第１実施形態〜第３実施形態においては、制御装置４を一台で構築する例を示したが、勿論、処理を分散させ複数台で構築しても良い。

【0081】

また、第１実施形態〜第３実施形態においては、カメラ３を一台で構築する例を示したが、勿論、複数台用いても良い。

【0082】

さらに、第１実施形態〜第３実施形態の構成を適宜選択して、又は、適宜組み合わせて実施することも可能である。例えば、第２実施形態の内容を第３実施形態に組み合わせることも可能である。

【0083】

ところで、このような操作指示制御システムは、様々な用途に適用することができる。例えば、プレゼンテーションや、在庫管理に適用することができる。また、ロボットに光照射装置２，２Ａを備えさせ、巡回ロボット等に適用することができる。さらには、手術中の医師の頭に光照射装置２，２Ａを装着させれば、医療行為にも適用することが可能である。

【符号の説明】

【0084】

１，１Ａ，１Ｂ 操作指示制御システム
２，２Ａ 光照射装置（照射手段）
２ａ 光
２ｂ 輝点
３ カメラ（撮像手段）
４ 制御装置
５ 操作指示装置
４０ ＣＰＵ（位置設定手段、操作指示手段）
Ｗ 撮像対象物（所定対象物）
ＴＢＬ，ＴＢＬＡ，ＴＢＬＢ，ＴＢＬＣ テーブル
Ｒａ〜Ｒｃ 位置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】