知財求人 - 知財ポータルサイト「IP Force」
特開2023-74136スマートグラスシステム、スマートグラス、スマートグラスを用いたロボットの制御方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023074136
(43)【公開日】2023-05-29
(54)【発明の名称】スマートグラスシステム、スマートグラス、スマートグラスを用いたロボットの制御方法
(51)【国際特許分類】
G06T 7/00 20170101AFI20230522BHJP
B25J 19/00 20060101ALI20230522BHJP
G06F 3/01 20060101ALI20230522BHJP
【ＦＩ】
G06T7/00 P
B25J19/00 Z
G06F3/01 590
【審査請求】未請求
【請求項の数】12
【出願形態】ＯＬ
(21)【出願番号】P 2021186920
(22)【出願日】2021-11-17
(71)【出願人】
【識別番号】000005108
【氏名又は名称】株式会社日立製作所
(74)【代理人】
【識別番号】110000350
【氏名又は名称】ポレール弁理士法人
(72)【発明者】
【氏名】ヴティア ヴォン
(72)【発明者】
【氏名】納谷 英光
(72)【発明者】
【氏名】青野 正裕
【テーマコード（参考）】
3C707
5E555
5L096
【Ｆターム（参考）】
3C707JU02
3C707JU14
3C707KS11
3C707KS12
3C707KT02
3C707KT04
3C707KV09
5E555AA16
5E555AA62
5E555BA02
5E555BB04
5E555BC30
5E555CA42
5E555CA45
5E555CA47
5E555CB64
5E555CB65
5E555CB82
5E555CC01
5E555CC24
5E555DA08
5E555EA22
5E555EA23
5E555FA00
5L096CA05
5L096CA27
5L096EA03
5L096EA35
5L096FA66
5L096FA67
5L096JA16
5L096KA04
(57)【要約】 （修正有）
【課題】容易で実時間で視野内の任意のロボットに緊急コマンドを送信するスマートグラスシステム及びロボットの制御方法を提供する。
【解決手段】人とロボットの協調作業で用いるスマートグラスシステムにおいて、風景画像を取得するフロントカメラ、ユーザの顔画像を取得するバックカメラ、ユーザの注視方向を検出する注視方向検出器、ユーザの音声を捕捉するマイク、視野内のロボットのＩＤを検出するロボットＩＤ識別器、音声又は注視方向に基づき特定のロボットＩＤを選択するロボットＩＤ選択器、予め登録済みの緊急事態に関する言葉の発声を検出する緊急事態キーワード検出器及びユーザの視野内のロボットにメッセージ又はコマンドを送信するメッセージ／コマンド送信器、を備える。記緊急事態キーワード検出器が上記発声を検出した場合、選択したロボットＩＤのロボットに対し、メッセージ／コマンド送信器からメッセージ又はコマンドを送信する。
【選択図】図１Ａ
【解決手段】人とロボットの協調作業で用いるスマートグラスシステムにおいて、風景画像を取得するフロントカメラ、ユーザの顔画像を取得するバックカメラ、ユーザの注視方向を検出する注視方向検出器、ユーザの音声を捕捉するマイク、視野内のロボットのＩＤを検出するロボットＩＤ識別器、音声又は注視方向に基づき特定のロボットＩＤを選択するロボットＩＤ選択器、予め登録済みの緊急事態に関する言葉の発声を検出する緊急事態キーワード検出器及びユーザの視野内のロボットにメッセージ又はコマンドを送信するメッセージ／コマンド送信器、を備える。記緊急事態キーワード検出器が上記発声を検出した場合、選択したロボットＩＤのロボットに対し、メッセージ／コマンド送信器からメッセージ又はコマンドを送信する。
【選択図】図１Ａ
【特許請求の範囲】
【請求項1】
ユーザの前の風景画像を取得するフロントカメラと、
前記ユーザの顔画像を取得するバックカメラと、
前記ユーザの音声を捕捉するマイクロホンと、
前記バックカメラで取得した前記ユーザの目の画像から当該ユーザの注視方向を検出する注視方向検出器と、
前記ユーザの視野内のロボットのIDを検出するロボットID識別器と、
前記ユーザの音声または注視方向に基づき特定のロボットIDを選択するロボットID選択器と、
前記マイクロホンで捕捉した前記ユーザの音声に基づいて、当該ユーザが予め登録されている緊急事態に関する言葉を発したことを検出する緊急事態キーワード検出器と、
前記ユーザの視野内の任意のロボットにメッセージまたはコマンドを送信するメッセージ／コマンド送信器と、を備え、
前記緊急事態キーワード検出器が緊急事態に関する言葉を検出した場合、前記ロボットID選択器で選択したロボットIDのロボットに対し、前記メッセージ／コマンド送信器からメッセージまたはコマンドを送信することを特徴とするスマートグラスシステム。
前記ユーザの顔画像を取得するバックカメラと、
前記ユーザの音声を捕捉するマイクロホンと、
前記バックカメラで取得した前記ユーザの目の画像から当該ユーザの注視方向を検出する注視方向検出器と、
前記ユーザの視野内のロボットのIDを検出するロボットID識別器と、
前記ユーザの音声または注視方向に基づき特定のロボットIDを選択するロボットID選択器と、
前記マイクロホンで捕捉した前記ユーザの音声に基づいて、当該ユーザが予め登録されている緊急事態に関する言葉を発したことを検出する緊急事態キーワード検出器と、
前記ユーザの視野内の任意のロボットにメッセージまたはコマンドを送信するメッセージ／コマンド送信器と、を備え、
前記緊急事態キーワード検出器が緊急事態に関する言葉を検出した場合、前記ロボットID選択器で選択したロボットIDのロボットに対し、前記メッセージ／コマンド送信器からメッセージまたはコマンドを送信することを特徴とするスマートグラスシステム。
【請求項2】
請求項１に記載のスマートグラスシステムであって、
前記ユーザの視界の障害となる物体を検出する視覚障害物検出器と、
前記視覚障害物検出器の検出結果に基づき、前記ユーザの可視領域を決定する可視領域プリキャッシュと、を備え、
前記ロボットID識別器により前記ユーザの視野内のロボットのIDを検出する際、前記可視領域プリキャッシュで決定した可視領域内のロボットIDの中から前記ロボットID選択器で選択したロボットIDを探索することを特徴とするスマートグラスシステム。
前記ユーザの視界の障害となる物体を検出する視覚障害物検出器と、
前記視覚障害物検出器の検出結果に基づき、前記ユーザの可視領域を決定する可視領域プリキャッシュと、を備え、
前記ロボットID識別器により前記ユーザの視野内のロボットのIDを検出する際、前記可視領域プリキャッシュで決定した可視領域内のロボットIDの中から前記ロボットID選択器で選択したロボットIDを探索することを特徴とするスマートグラスシステム。
【請求項3】
請求項２に記載のスマートグラスシステムであって、
前記可視領域プリキャッシュは、リモートサーバからロボットの位置情報を取得することを特徴とするスマートグラスシステム。
前記可視領域プリキャッシュは、リモートサーバからロボットの位置情報を取得することを特徴とするスマートグラスシステム。
【請求項4】
請求項３に記載のスマートグラスシステムであって、
グローバル座標を取得するGPSセンサを備え、
前記GPSセンサにより取得した前記ユーザの位置情報に基づき、前記ロボットの前記ユーザとの相対位置を検出することを特徴とするスマートグラスシステム。
グローバル座標を取得するGPSセンサを備え、
前記GPSセンサにより取得した前記ユーザの位置情報に基づき、前記ロボットの前記ユーザとの相対位置を検出することを特徴とするスマートグラスシステム。
【請求項5】
請求項１に記載のスマートグラスシステムであって、
前記フロントカメラで取得した風景画像の機械学習により、前記ユーザの視野内の物体の奥行を検出し、
当該検出した物体の奥行と、前記注視方向検出器で検出したユーザの注視方向に基づき、ロボット以外の物体および注視領域外のロボットを除外することを特徴とするスマートグラスシステム。
前記フロントカメラで取得した風景画像の機械学習により、前記ユーザの視野内の物体の奥行を検出し、
当該検出した物体の奥行と、前記注視方向検出器で検出したユーザの注視方向に基づき、ロボット以外の物体および注視領域外のロボットを除外することを特徴とするスマートグラスシステム。
【請求項6】
請求項１に記載のスマートグラスシステムであって、
前記フロントカメラで取得した風景画像からロボットの領域を切り取り、拡大する画像切り取り及びズーム器を備えることを特徴とするスマートグラスシステム。
前記フロントカメラで取得した風景画像からロボットの領域を切り取り、拡大する画像切り取り及びズーム器を備えることを特徴とするスマートグラスシステム。
【請求項7】
請求項１から６のいずれか１項に記載のスマートグラスシステムを搭載したスマートグラス。
【請求項8】
（ａ）フロントカメラでユーザの前の風景画像を取得するステップと、
（ｂ）バックカメラで前記ユーザの顔画像を取得するステップと、
（ｃ）マイクロホンで前記ユーザの音声を捕捉するステップと、
（ｄ）前記（ｂ）ステップで取得した前記ユーザの目の画像から当該ユーザの注視方向を検出するステップと、
（ｅ）前記（ａ）ステップで取得した前記風景画像から前記ユーザの視野内のロボットのIDを検出するステップと、
（ｆ）前記（ｃ）ステップで捕捉した前記ユーザの音声に基づいて当該ユーザが予め登録されている緊急事態に関する言葉を発したか否かを判定するステップと、
を有するスマートグラスを用いたロボットの制御方法であって、
前記（ｆ）ステップにおいて、前記ユーザが緊急事態に関する言葉を発したと判定した場合、前記ユーザの音声または注視方向に基づき特定のロボットIDを選択し、
当該選択したロボットIDのロボットに対し、メッセージまたはコマンドを送信することを特徴とするロボットの制御方法。
（ｂ）バックカメラで前記ユーザの顔画像を取得するステップと、
（ｃ）マイクロホンで前記ユーザの音声を捕捉するステップと、
（ｄ）前記（ｂ）ステップで取得した前記ユーザの目の画像から当該ユーザの注視方向を検出するステップと、
（ｅ）前記（ａ）ステップで取得した前記風景画像から前記ユーザの視野内のロボットのIDを検出するステップと、
（ｆ）前記（ｃ）ステップで捕捉した前記ユーザの音声に基づいて当該ユーザが予め登録されている緊急事態に関する言葉を発したか否かを判定するステップと、
を有するスマートグラスを用いたロボットの制御方法であって、
前記（ｆ）ステップにおいて、前記ユーザが緊急事態に関する言葉を発したと判定した場合、前記ユーザの音声または注視方向に基づき特定のロボットIDを選択し、
当該選択したロボットIDのロボットに対し、メッセージまたはコマンドを送信することを特徴とするロボットの制御方法。
【請求項9】
請求項８に記載のロボットの制御方法であって、
（ｇ）前記ユーザの視界の障害となる物体を検出するステップと、
（ｈ）前記（ｇ）ステップの検出結果に基づき、前記ユーザの可視領域を決定するステップと、を有し、
前記（ｅ）ステップにおいて、前記ユーザの視野内のロボットのIDを検出する際、前記決定した可視領域内のロボットIDの中から前記特定のロボットIDを探索することを特徴とするロボットの制御方法。
（ｇ）前記ユーザの視界の障害となる物体を検出するステップと、
（ｈ）前記（ｇ）ステップの検出結果に基づき、前記ユーザの可視領域を決定するステップと、を有し、
前記（ｅ）ステップにおいて、前記ユーザの視野内のロボットのIDを検出する際、前記決定した可視領域内のロボットIDの中から前記特定のロボットIDを探索することを特徴とするロボットの制御方法。
【請求項10】
請求項９に記載のロボットの制御方法であって、
前記（ｅ）ステップにおいて、リモートサーバからロボットの位置情報を取得することを特徴とするロボットの制御方法。
前記（ｅ）ステップにおいて、リモートサーバからロボットの位置情報を取得することを特徴とするロボットの制御方法。
【請求項11】
請求項１０に記載のロボットの制御方法であって、
GPSセンサにより取得したグローバル座標に基づき、前記ロボットの前記ユーザとの相対位置を検出することを特徴とするロボットの制御方法。
GPSセンサにより取得したグローバル座標に基づき、前記ロボットの前記ユーザとの相対位置を検出することを特徴とするロボットの制御方法。
【請求項12】
請求項８に記載のロボットの制御方法であって、
前記風景画像の機械学習により、前記ユーザの視野内の物体の奥行を検出し、
当該検出した物体の奥行と、前記ユーザの注視方向に基づき、ロボット以外の物体および注視領域外のロボットを除外することを特徴とするロボットの制御方法。
前記風景画像の機械学習により、前記ユーザの視野内の物体の奥行を検出し、
当該検出した物体の奥行と、前記ユーザの注視方向に基づき、ロボット以外の物体および注視領域外のロボットを除外することを特徴とするロボットの制御方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、スマートグラスとそれを用いたロボットの制御方法に係り、特に、人とロボットの協調作業に適用して有効な技術に関する。
【背景技術】
【0002】
人間とロボットが協調して働く将来においては、安全性が特に重要である。この問題に取り組むために、多くのセンシング技術や人工知能が開発されてきた。しかし、誤作動の無い完全なロボットを構築することは不可能である。センサや人工知能の限界から事故が発生する可能性は依然としてある。したがって、人間が必要に応じてロボットを制御する能力を有することが特に重要である。
【0003】
しかしながら、人間は既知の識別情報（ID）を有するロボットのみを制御することができる。また、人間が周囲のロボットのIDをすべて覚えているとは限らない。そのため、人間は、ロボットにコマンドを送信する前に、例えばHMI（Human Machine Interface）等を介してロボットのIDを検索する必要がある。
【0004】
本技術分野の背景技術として、例えば、特許文献１のような技術がある。特許文献１には「現場における機器の点検や保守が、コストの上昇を抑制してより容易に実施できるようにする表示装置」が開示されている。
【0005】
また、特許文献２には「作業者が頭部に装着しているヘッドマウント装置によって該作業者に対して、作業を行う対象の各装置に対応する画像を提示する画像表示システム」が開示されている。
【0006】
また、特許文献３には「対象物の管理をより容易に行うことが可能な表示制御装置」が開示されている。
【0007】
また、特許文献４には「利用者のプライバシーを保護すると同時に、サーバへのデータ集中を回避し、利用者の音声情報を認識して利用者が所有する家電機器を適切に制御し得るシステムの制御方法」が開示されている。
【先行技術文献】
【特許文献】
【0008】
【特許文献1】特開２０１９－３２７２８号公報
【特許文献2】特開２０１７－１６７９７８号公報
【特許文献3】国際公開第２０１８／１００８８３号
【特許文献4】特開２０２０－１４４３７５号公報
【発明の概要】
【発明が解決しようとする課題】
【0009】
上述したように、人とロボットの協調作業現場においては、視野内の任意のロボットに緊急コマンド等のメッセージを送信できるようにすることで、ロボットの不完全性を人が補うようにすることが求められている。
【0010】
そして、人間はHMI等を介してロボットとコミュニケーションを取る必要があり、緊急コマンド等のメッセージを送信するためには、まずロボットのIDが必要である。
【0011】
しかしながら、HMI等の操作に時間が掛かり、緊急コマンド等のメッセージを遅滞なく送信することができない。
【0012】
このため、例え人間がセンサの死角や認識ミスによるロボットの誤作動を事前に察知できたとしても、人間がロボットの事故を止めることができない。
【0013】
上記特許文献１から特許文献４のいずれにも、人間が自分の視界にあるロボットに緊急コマンドや信号をリアルタイムで送信できるようにすることについては触れられていない。
【0014】
そこで、本発明の目的は、人とロボットの協調作業現場で用いられるスマートグラスシステムにおいて、人が容易にかつリアルタイムで視野内の任意のロボットに緊急コマンドを送信可能な信頼性の高いスマートグラスシステム、スマートグラス及びそれを用いたロボットの制御方法を提供することにある。
【課題を解決するための手段】
【0015】
上記課題を解決するために、本発明は、ユーザの前の風景画像を取得するフロントカメラと、前記ユーザの顔画像を取得するバックカメラと、前記ユーザの音声を捕捉するマイクロホンと、前記バックカメラで取得した前記ユーザの目の画像から当該ユーザの注視方向を検出する注視方向検出器と、前記ユーザの視野内のロボットのIDを検出するロボットID識別器と、前記ユーザの音声または注視方向に基づき特定のロボットIDを選択するロボットID選択器と、前記マイクロホンで捕捉した前記ユーザの音声に基づいて、当該ユーザが予め登録されている緊急事態に関する言葉を発したことを検出する緊急事態キーワード検出器と、前記ユーザの視野内の任意のロボットにメッセージまたはコマンドを送信するメッセージ／コマンド送信器と、を備え、前記緊急事態キーワード検出器が緊急事態に関する言葉を検出した場合、前記ロボットID選択器で選択したロボットIDのロボットに対し、前記メッセージ／コマンド送信器からメッセージまたはコマンドを送信することを特徴とする。
【0016】
また、本発明は、（ａ）フロントカメラでユーザの前の風景画像を取得するステップと、（ｂ）バックカメラで前記ユーザの顔画像を取得するステップと、（ｃ）マイクロホンで前記ユーザの音声を捕捉するステップと、（ｄ）前記（ｂ）ステップで取得した前記ユーザの目の画像から当該ユーザの注視方向を検出するステップと、（ｅ）前記（ａ）ステップで取得した前記風景画像から前記ユーザの視野内のロボットのIDを検出するステップと、（ｆ）前記（ｃ）ステップで捕捉した前記ユーザの音声に基づいて当該ユーザが予め登録されている緊急事態に関する言葉を発したか否かを判定するステップと、を有するスマートグラスを用いたロボットの制御方法であって、前記（ｆ）ステップにおいて、前記ユーザが緊急事態に関する言葉を発したと判定した場合、前記ユーザの音声または注視方向に基づき特定のロボットIDを選択し、当該選択したロボットIDのロボットに対し、メッセージまたはコマンドを送信することを特徴とする。
【発明の効果】
【0017】
本発明によれば、人とロボットの協調作業現場で用いられるスマートグラスシステムにおいて、人が容易にかつリアルタイムで視野内の任意のロボットに緊急コマンドを送信可能な信頼性の高いスマートグラスシステム、スマートグラス及びそれを用いたロボットの制御方法を実現することができる。
【0018】
これにより、ロボットのセンサの死角や認識ミスによる事故を防止することができ、人とロボットの協調作業の安全性向上が図れる。
【0019】
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
【図面の簡単な説明】
【0020】
【図1A】本発明の実施例１に係るスマートグラスシステムの概略構成を示す図である。
【図6】ロボットの切り取り画像の例を示す図である。
【図8】クリック可能なアイコンとロボットの切り取り画像の例を示す図である。
【図10】ユーザの話し言葉を検出するためのリカレント（反復）ニューラルネットワークの例を示す図である。
【図11】画像内の物体を検出するための領域畳み込みニューラルネットワークの例を示す図である。
【図12】カメラのセンサ面上への注視領域の投影の様子を概念的に示す図である。
【図13】センサペイン上の画素の入射角を計算する方法を概念的に示す図である。
【発明を実施するための形態】
【0021】
以下、図面を用いて本発明の実施例を説明する。なお、各図面において同一の構成については同一の符号を付し、重複する説明についてはその詳細な説明は省略する。
【実施例0022】
【0023】
図１Ａは、本実施例のスマートグラスシステム１００の概略構成を示す図である。図１Ｂは、図１Ａのスマートグラスシステム１００を搭載したスマートグラス１００ａの例を示す図である。なお、図１Ａ中の丸付き数字は、各構成要素間の入出力を示している。
【0024】
本実施例のスマートグラスシステム１００は、図１Ａ及び図１Ｂに示すように、主要な構成として、マイクロホン１０１と、緊急事態キーワード検出器１０２と、フロントカメラ１０３と、バックカメラ１０４と、注視方向検出器１０５と、GPS（Global Positioning System）センサ１０６と、視覚障害物検出器１０７と、ロボットID識別器１０８と、画像切り取り及びズーム器１０９と、手動ロボットID選択器１１０と、可視領域プリキャッシュ１１２と、メッセージ／コマンド送信器１１３とを備えている。
【0025】
マイクロホン１０１は、ユーザの声（デジタル音声）を捕捉し、スマートグラスシステム１００に取り込む。
【0026】
緊急事態キーワード検出器１０２は、マイクロホン１０１により取得したユーザのデジタル音声に基づいて、ユーザが予め登録されている緊急キーワードを話したかどうかを検出する。
【0027】
フロントカメラ１０３は、ユーザが見る風景画像を取得する。
【0028】
バックカメラ１０４は、ユーザの目の画像を取得する。
【0029】
注視方向検出器１０５は、バックカメラ１０４により取得したユーザの目の画像に基づいて、ユーザが見ている方向を検出する。
【0030】
GPSセンサ１０６は、スマートグラスシステム１００のグローバル座標を取得する。GPSセンサ１０６により取得したユーザの位置情報に基づき、ロボットのユーザとの相対位置を検出する。
【0031】
視覚障害物検出器１０７は、ユーザの視界の障害となる物体を検出する。
【0032】
ロボットID識別器１０８は、スマートグラスシステム１００から離れた位置に設置されたリモートID管理サーバまたはスマートグラスシステム１００の近傍に設置されたローカルID管理サーバであるロボットの位置及び経路管理サーバ（リモートサーバ）１１１から、ユーザの居る領域内のロボットのIDを照会する。
【0033】
画像切り取り及びズーム器１０９は、フロントカメラ１０３で撮影した画像から、対象となるロボットの領域を切り取り、拡大する。
【0034】
手動ロボットID選択器１１０は、ユーザが音声または手のジェスチャーを使用して特定のロボットIDを選択できるようにする。
【0035】
可視領域プリキャッシュ１１２は、ロボットの位置及び経路管理サーバ（リモートサーバ）１１１からのユーザの可視範囲内のロボットの情報を一時的に保存（キャッシュ）するローカルサーバである。
【0036】
メッセージ／コマンド送信器１１３は、ロボットID識別器１０８及び手動ロボットID選択器１１０からの情報に基づいてロボットのIDが与えられると、任意のロボットにメッセージ／コマンドを送信する。
【0037】
スマートグラスシステム１００は、緊急事態キーワード検出器１０２が、ユーザが予め登録されている緊急キーワードを話したことを検出すると、ロボットへのメッセージ／コマンドの送信を開始する。
【0038】
【0039】
緊急事態キーワード検出器１０２は、マイクロホン１０１によって録音されたデジタル音声を取得し続ける。（ステップＳ２０１）
次に、緊急事態キーワード検出器１０２は、フーリエ変換により経時的なデジタル音声を周波数領域信号に変換する。（ステップＳ２０２）
続いて、ステップＳ２０２において取得した周波数領域信号は、ユーザが緊急事態キーワードを話した確率を予測するために、例えば図１０に示すようなリカレント（反復）ニューラルネットワークに入力される。（ステップＳ２０３）
図１０は、ユーザの話し言葉を検出するためのリカレント（反復）ニューラルネットワークの例を示している。
次に、緊急事態キーワード検出器１０２は、フーリエ変換により経時的なデジタル音声を周波数領域信号に変換する。（ステップＳ２０２）
続いて、ステップＳ２０２において取得した周波数領域信号は、ユーザが緊急事態キーワードを話した確率を予測するために、例えば図１０に示すようなリカレント（反復）ニューラルネットワークに入力される。（ステップＳ２０３）
図１０は、ユーザの話し言葉を検出するためのリカレント（反復）ニューラルネットワークの例を示している。
【0040】
予測された確率が所定の閾値（例えば、０．６）よりも高い場合、緊急事態キーワード検出器１０２は、ユーザが予め登録されている緊急キーワードを話したと結論付ける。
【0041】
緊急事態キーワード検出器１０２は、ステップＳ２０３で検出した結果を、ロボットID識別器１０８と画像切り取り及びズーム器１０９へ出力し（図１Ａ参照）、処理を終了する。（ステップＳ２０４）
ロボットID識別器１０８は、緊急事態キーワード検出器１０２が、ユーザが緊急事態キーワードを発出したことを検出すると、図４に示すように、緊急プロセス（ステップＳ４０３～Ｓ４０８）を実行する。
ロボットID識別器１０８は、緊急事態キーワード検出器１０２が、ユーザが緊急事態キーワードを発出したことを検出すると、図４に示すように、緊急プロセス（ステップＳ４０３～Ｓ４０８）を実行する。
【0042】
【0043】
ロボットID識別器１０８は、フロントカメラ１０３から風景画像を取得し、図１１に示すような領域畳み込みニューラルネットワークR-CNN（Region Convolutional Neural Network）等の機械学習を使用して、奥行き情報を含む物体検出情報を取得する。
【0044】
図１１は、画像内の物体を検出するための領域畳み込みニューラルネットワークの例を示している。
【0045】
また、ロボットID識別器１０８は、注視方向検出器１０５からユーザの注視方向を取得する。
【0046】
【0047】
注視方向検出器１０５は、バックカメラ１０４からユーザの顔画像を取得する。（ステップＳ３０１）
次に、ステップＳ３０１において取得したユーザの顔画像は、顔の特徴（ランドマーク）を検出するUネット（U-Net）ニューラルネットワークに入力される。（ステップＳ３０２）
続いて、注視方向検出器１０５は、Uネット（U-Net）ニューラルネットワークにより処理された結果から、ユーザの顔の特徴を取得する。（ステップＳ３０３）
その後、目の中心部とその周囲の画像を切り取り、目の画像の主軸が水平になるように回転させる。（ステップＳ３０４）
続いて、ステップＳ３０４においてトリミングされた画像は、注視方向ｒ→及びその不確実性範囲Δｒ→を予測する畳み込みニューラルネットワークに入力される。注視領域（視野)は、ｒ→＋Δｒ→として定義される。（ステップＳ３０５）
注視方向検出器１０５は、ステップＳ３０５で予測した結果を、ロボットID識別器１０８と画像切り取り及びズーム器１０９と手動ロボットID選択器１１０へ出力し（図１Ａ参照）、処理を終了する。（ステップＳ３０６）
注視方向検出器１０５によりユーザの注視方向が決定された後、ロボットID識別器１０８は、図４のステップＳ４０５で見つかった物体検出結果から、非ロボット物体及びユーザの注視領域外のロボットを除外する。
次に、ステップＳ３０１において取得したユーザの顔画像は、顔の特徴（ランドマーク）を検出するUネット（U-Net）ニューラルネットワークに入力される。（ステップＳ３０２）
続いて、注視方向検出器１０５は、Uネット（U-Net）ニューラルネットワークにより処理された結果から、ユーザの顔の特徴を取得する。（ステップＳ３０３）
その後、目の中心部とその周囲の画像を切り取り、目の画像の主軸が水平になるように回転させる。（ステップＳ３０４）
続いて、ステップＳ３０４においてトリミングされた画像は、注視方向ｒ→及びその不確実性範囲Δｒ→を予測する畳み込みニューラルネットワークに入力される。注視領域（視野)は、ｒ→＋Δｒ→として定義される。（ステップＳ３０５）
注視方向検出器１０５は、ステップＳ３０５で予測した結果を、ロボットID識別器１０８と画像切り取り及びズーム器１０９と手動ロボットID選択器１１０へ出力し（図１Ａ参照）、処理を終了する。（ステップＳ３０６）
注視方向検出器１０５によりユーザの注視方向が決定された後、ロボットID識別器１０８は、図４のステップＳ４０５で見つかった物体検出結果から、非ロボット物体及びユーザの注視領域外のロボットを除外する。
【0048】
【0049】
ロボットID識別器１０８は、緊急事態キーワード検出器１０２から言葉を得取する。（ステップＳ４０１）
次に、ステップＳ４０１で取得した言葉が、緊急事態を意図するものであるか否かを判定する。（ステップＳ４０２）
緊急事態を意図するものであると判定された場合（YES）、ステップＳ４０３に進み、フロントカメラ１０３から風景画像を取得する（ステップＳ４０３）。一方、緊急事態を意図するものでないと判定された場合（YES）は、処理を終了する。
次に、ステップＳ４０１で取得した言葉が、緊急事態を意図するものであるか否かを判定する。（ステップＳ４０２）
緊急事態を意図するものであると判定された場合（YES）、ステップＳ４０３に進み、フロントカメラ１０３から風景画像を取得する（ステップＳ４０３）。一方、緊急事態を意図するものでないと判定された場合（YES）は、処理を終了する。
【0050】
続いて、ステップＳ４０３で取得した風景画像を、領域畳み込みニューラルネットワークR-CNNに入力し、対象物の奥行を検出する。（ステップＳ４０４）
次に、注視方向検出器１０５からユーザの注視方向に関する情報を取得する。（ステップＳ４０５）
続いて、ステップＳ４０５で取得したユーザの注視方向に関する情報に基づいて、ロボット以外の対象物及び注視領域外のロボット対象物を除外する。（ステップＳ４０６）
次に、距離及び注視領域が一致するロボットIDを照会する。（ステップＳ４０７）
最後に、ステップＳ４０７での照会結果から、対象となるIDを有するロボットへのメッセージの送信をメッセージ／コマンド送信器１１３へ要求し、処理を終了する。（ステップＳ４０８）
図１２に、カメラのセンサ面上への注視領域の投影の様子を概念的に示す。
次に、注視方向検出器１０５からユーザの注視方向に関する情報を取得する。（ステップＳ４０５）
続いて、ステップＳ４０５で取得したユーザの注視方向に関する情報に基づいて、ロボット以外の対象物及び注視領域外のロボット対象物を除外する。（ステップＳ４０６）
次に、距離及び注視領域が一致するロボットIDを照会する。（ステップＳ４０７）
最後に、ステップＳ４０７での照会結果から、対象となるIDを有するロボットへのメッセージの送信をメッセージ／コマンド送信器１１３へ要求し、処理を終了する。（ステップＳ４０８）
図１２に、カメラのセンサ面上への注視領域の投影の様子を概念的に示す。
【0051】
ロボットが注視領域内にあるか否かを判定するために、図１２に示すように、まずセンサ面から距離をおいた有効光学穴を通してフロントカメラ１０３のセンサ面に注視領域を投影する。
【0052】
ここで、投影領域内の画素を、センサ面内の投影注視領域と呼ぶ。ロボットの境界ボックスと投影された注視領域との交点が閾値（例えば、ロボットの境界ボックスの５０％）を超える場合、ロボットはユーザの注視領域にあると考えられる。
【0053】
注視領域内のロボットが決定された後、ロボットID識別器１０８は、リモートのロボットの位置及び経路管理サーバ１１１またはローカル管理サーバである可視領域プリキャッシュ１１２から各ロボットのIDを照会する。
【0054】
クエリは、以下の式（１）で計算される各ロボットのグローバル座標に基づく。
【0055】
【数1】
【0056】
ここで、ｃ→はGPSセンサ１０６によって提供されるスマートグラス１００ａのグローバル座標、ｕ→はロボット領域の中心の入射ベクトル、ｄは図４のステップＳ４０５で計算された奥行の距離である。
【0057】
【0058】
ロボットID識別器１０８がユーザの注視領域内のロボットのIDを識別すると、ロボットID識別器１０８は、メッセージ／コマンド送信器１１３に、緊急事態のために予め登録されたコマンドを注視領域内のすべてのロボットに送信するように要求する。
【0059】
以上説明したように、本実施例のスマートグラスシステム、スマートグラス及びそれを用いたロボットの制御方法によれば、ユーザが、ロボットを見て、予め登録されたキーワードやフレーズを言うだけで、視界内の任意のロボットに緊急コマンドを容易に送信することができる。
【実施例0060】
図５を参照して、本発明の実施例２に係るスマートグラスシステム、スマートグラス及びそれを用いたロボットの制御方法について説明する。
【0061】
【0062】
本実施例では、ロボットID識別器１０８は、ユーザの周囲に見えるロボットの情報のみを含むローカル管理サーバである可視領域プリキャッシュ１１２からロボットIDを問い合わせ、可視領域プリキャッシュ１１２は、可視領域を決定するために視覚障害物検出器１０７の検出結果を使用する。
【0063】
【0064】
まず、フロントカメラ１０３から風景画像を取得する。（ステップＳ５０１）
次に、図１１に示す領域畳み込みニューラルネットワークR-CNNを用いて画像内の物体及びその奥行を検出する。（ステップＳ５０２）
検出された全ての物体のうち、視覚障害物として登録されている物体（例えば、壁、建物等）のみが保持される。（ステップＳ５０３）
最後に、ユーザの周囲の全ての角度の可視距離を、その角度に位置する視覚障害物の距離に設定し、出力する。（ステップＳ５０４，Ｓ５０５）
ここで、ユーザの周囲の全ての角度のこの制限された距離を「限定可視領域」と呼ぶ。
次に、図１１に示す領域畳み込みニューラルネットワークR-CNNを用いて画像内の物体及びその奥行を検出する。（ステップＳ５０２）
検出された全ての物体のうち、視覚障害物として登録されている物体（例えば、壁、建物等）のみが保持される。（ステップＳ５０３）
最後に、ユーザの周囲の全ての角度の可視距離を、その角度に位置する視覚障害物の距離に設定し、出力する。（ステップＳ５０４，Ｓ５０５）
ここで、ユーザの周囲の全ての角度のこの制限された距離を「限定可視領域」と呼ぶ。
【0065】
可視領域プリキャッシュ１１２が、リモートのロボットの位置及び経路管理サーバ１１１からロボットの情報を一時的に保存（キャッシュ）する際、可視領域プリキャッシュ１１２は、以下の式（２）を満足するロボットのみを照会し、その情報を一時的に保存（キャッシュ）する。
【0066】
【数2】
【0067】
ここで、ｒ→はリモートサーバであるロボットの位置及び経路管理サーバ１１１から提供されるロボットの座標、θ（ｘ→）はベクトルｘ→の角度、ｌ（ｙ）は角度ｙにおける限定距離である。
【0068】
本実施例では、注視領域内のロボットIDを探索する時間を短縮することができ、ユーザが緊急コマンドをリアルタイムで送信することができる。
【実施例0069】
【0070】
図６は、ロボットの切り取り画像の例を示す図である。図７は、図１Ａの画像切り取り＆ズーム器１０９の動作を示すフローチャートである。図８は、クリック可能なアイコンとロボットの切り取り画像の例を示す図である。図９は、図１Ａの手動ロボットID選択器１１０の動作を示すフローチャートである。
【0071】
本実施例では、メッセージ／コマンド送信器１１３が、ユーザの注視領域内の全てのロボットに緊急コマンドを送信した後、画像切り取り及びズーム器１０９は、図７に示す処理を実行する。
【0072】
画像切り取り及びズーム器１０９は、図７に示すように、まずフロントカメラ１０３から風景画像を取得する。（ステップＳ７０１）
次に、ステップＳ７０１において取得した風景画像を、領域畳み込みニューラルネットワークR-CNNに入力して、対象物の奥行を検出する。（ステップＳ７０２）
続いて、注視方向検出器１０５からユーザの注視方向を取得する。（ステップＳ７０３）
次に、ロボット以外の対象物及び注視領域外のロボット対象物を除外する。（ステップＳ７０４）
無関係な物体を除外した後、検出されたロボット領域の周辺の画像を切り取る。（ステップＳ７０５）
切り取られた画像は、同じサイズにサイズ変更され、背景色は識別可能な色に変更され（ステップＳ７０６）、最終的にトリミングされた画像は、手動ロボットID選択器１１０に送信される。
次に、ステップＳ７０１において取得した風景画像を、領域畳み込みニューラルネットワークR-CNNに入力して、対象物の奥行を検出する。（ステップＳ７０２）
続いて、注視方向検出器１０５からユーザの注視方向を取得する。（ステップＳ７０３）
次に、ロボット以外の対象物及び注視領域外のロボット対象物を除外する。（ステップＳ７０４）
無関係な物体を除外した後、検出されたロボット領域の周辺の画像を切り取る。（ステップＳ７０５）
切り取られた画像は、同じサイズにサイズ変更され、背景色は識別可能な色に変更され（ステップＳ７０６）、最終的にトリミングされた画像は、手動ロボットID選択器１１０に送信される。
【0073】
手動ロボットID選択器１１０は、ユーザが停止したい１つまたは複数のロボットを選択するようにユーザに促す。また、手動ロボットID選択器１１０は、例えばヘッドマウント・ディスプレイ（頭部装着型ディスプレイ）等を使用して、図６に示すように、ある種の乱数６０３とともに、ロボットの切り取られた全ての画像６０２を表示する。
【0074】
ロボットを選択するために、ユーザはロボットの背景色とロボットの番号を言う必要がある。
【0075】
図９を用いて、手動ロボットID選択器１１０の動作を説明する。
【0076】
手動ロボットID選択器１１０は、まずマイクロホン１０１を通してユーザ音声を受け取る。（ステップＳ９０１）
その後、フーリエ変換を用いて、デジタル音声を周波数領域信号に変換する。（ステップＳ９０２）
周波数領域信号は、図１０に示すようなリカレント（反復）ニューラルネットワークに入力され、ユーザが言った言葉の確率を予測し、回答を取得する。（ステップＳ９０３，Ｓ９０４）
続いて、ロボットの番号とロボットの背景色が一致するか否かを判定する。（ステップＳ９０５）
ユーザが、一致する番号と色を言った場合（YES）、手動ロボットID選択器１１０は、該当する色のロボットを選択したと結論付ける。
その後、フーリエ変換を用いて、デジタル音声を周波数領域信号に変換する。（ステップＳ９０２）
周波数領域信号は、図１０に示すようなリカレント（反復）ニューラルネットワークに入力され、ユーザが言った言葉の確率を予測し、回答を取得する。（ステップＳ９０３，Ｓ９０４）
続いて、ロボットの番号とロボットの背景色が一致するか否かを判定する。（ステップＳ９０５）
ユーザが、一致する番号と色を言った場合（YES）、手動ロボットID選択器１１０は、該当する色のロボットを選択したと結論付ける。
【0077】
そして、手動ロボットID選択器１１０は、メッセージ／コマンド送信器１１３に、選択されていない注視領域内の他のIDのロボットにメッセージを送信するように要求する（ステップＳ９０７）。このメッセージは、それらのロボットを緊急事態から解放するものである。
【0078】
一方、ステップＳ９０５において、ユーザが、一致する番号と色を言っていないと判断された場合（NO）は、ユーザに再試行を依頼した後（ステップＳ９０６）、ステップＳ９０１に戻り、それ以降の処理を繰り返す。
【0079】
またｍａｔａは、マイクロホン１０１を介してユーザの回答を受信する代わりに、手動ロボットID選択器１１０は、図８に示すような、ユーザがロボットを選択するためのクリック可能なAR（Augmented Reality）アイコン８０１を作成するようにしても良い。ユーザがアイコンをクリックすると、そのアイコンに関連付けられたロボットが選択される。
【0080】
本実施例では、ユーザが停止する必要のあるロボットのみを選択し、緊急事態から他のロボットを自動的に解放するための対話型方法を提供する。
【0081】
これにより、緊急事態の場合のロボットのダウンタイムを改善することができる。
【0082】
なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。