(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-06-07
(45)【発行日】2023-06-15
(54)【発明の名称】コントローラ
(51)【国際特許分類】
G06F 3/01 20060101AFI20230608BHJP
G06F 3/0338 20130101ALI20230608BHJP
B25J 5/00 20060101ALN20230608BHJP
【FI】
G06F3/01 560
G06F3/0338
B25J5/00 E
(21)【出願番号】P 2019013591
(22)【出願日】2019-01-29
【審査請求日】2021-09-13
【国等の委託研究の成果に係る記載事項】(出願人による申告)平成28年度から30年度、知の拠点あいち重点研究プロジェクト「次世代ロボット社会形成技術開発プロジェクト」委託研究、産業技術力強化法第19条の適用を受ける特許出願
【前置審査】
(73)【特許権者】
【識別番号】000191009
【氏名又は名称】新東工業株式会社
(73)【特許権者】
【識別番号】304027349
【氏名又は名称】国立大学法人豊橋技術科学大学
(74)【代理人】
【識別番号】110000338
【氏名又は名称】弁理士法人 HARAKENZO WORLD PATENT & TRADEMARK
(72)【発明者】
【氏名】三枝 亮
(72)【発明者】
【氏名】鈴木 薪雄
【審査官】滝谷 亮一
(56)【参考文献】
【文献】米国特許出願公開第2016/0154468(US,A1)
【文献】米国特許出願公開第2010/0204624(US,A1)
【文献】米国特許第05212476(US,A)
【文献】特開2017-146400(JP,A)
【文献】特開2010-248703(JP,A)
【文献】特開2018-183608(JP,A)
【文献】特開2007-213190(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06F 3/01
G06F 3/0338
B25J 5/00
(57)【特許請求の範囲】
【請求項1】
対象物を遠隔制御するコントローラであって、操作者が口腔内で操作するコントローラにおいて、
上記対象物からフィードバックされた情報に応じた刺激を、上記操作者の口腔及び顔面の少なくとも何れか一方に与える刺激付与部を備え、
上記刺激付与部は、上記情報に応じた味覚刺激又は臭覚刺激を上記操作者の口腔又は鼻腔に与える、紛体噴出器、液体噴出器、又は気体噴出器を有している、
ことを特徴とするコントローラ。
【請求項2】
対象物を遠隔制御するコントローラであって、操作者が口腔内で操作するコントローラにおいて、
上記対象物からフィードバックされた情報に応じた刺激を、上記操作者の口腔及び顔面の少なくとも何れか一方に与える刺激付与部を備え、
上記対象物は、走行可能なロボットであり、
上記情報は、上記ロボットの周囲に人が存在することを示す情報である、
ことを特徴とするコントローラ。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、対象物を遠隔制御するコントローラであって、操作者が口腔内で操作するコントローラに関する。
【背景技術】
【0002】
近年、様々な用途のロボットが熱心に開発されており、移動の自由度が低下している患者に向けてテレプレゼンスを提供するためのロボットもその一態様である。患者自身が自由に移動できない状況であっても、患者が操作者となってロボットを遠隔操作することによって、当該ロボットを自身から離れた場所へ移動させることができるので、操作者は、当該ロボットを介して自身から離れた場所の雰囲気を体験したり、当該ロボットの周囲に存在する人とコミュニケーションを図ったりすることができる。
【0003】
ところで、従来、操作者がロボットを遠隔操作するためには、キーボードやジョイスティックなどに代表される手で操作するコントローラが用いられていた。
【0004】
そのため、手が不自由な操作者にとって、ロボットを遠隔操作することは、困難であった。
【先行技術文献】
【特許文献】
【0005】
【文献】特開2004-329954号公報
【文献】特開2005-215818号公報
【文献】特開2009-169464号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
ところで、手が不自由な操作者のための入力装置であって、操作者の口腔を用いて操作する入力装置が特許文献1~3に記載されている。これらの入力装置のように、ロボットを遠隔操作するためのコントローラを口腔内で操作することも考えられる。
【0007】
しかしながら、ロボットを遠隔操作するためには、コントローラを自由に操作することができるかという課題に加えて、自身から離れた場所に存在するロボットの状態を把握することが難しいという課題がある。
【0008】
本発明の一態様に係るコントローラは、上述した課題に鑑みなされたものであり、その目的は、対象物を遠隔制御するコントローラであって、操作者が口腔内で操作するコントローラにおいて、自身から離れた場所に存在するロボットの状態を操作者が把握可能にすることである。
【課題を解決するための手段】
【0009】
上記の課題を解決するために、本発明の一態様に係るコントローラは、対象物を遠隔制御するコントローラであって、操作者が口腔内で操作するコントローラにおいて、上記対象物からフィードバックされた情報に応じた刺激を、上記操作者の口腔及び顔面の少なくとも何れか一方に与える刺激付与部を備えている。
【発明の効果】
【0010】
本発明の一態様によれば、対象物を遠隔制御するコントローラであって、操作者が口腔内で操作するコントローラにおいて、自身から離れた場所に存在するロボットの状態を操作者が把握することができる。
【図面の簡単な説明】
【0011】
【
図1】(a)は、本発明の第1の実施形態に係るコントローラのブロック図である。(b)は、(a)に示したコントローラにより遠隔制御されるロボットのブロック図である。
【
図2】(a)は、
図1の(a)に示したコントローラの斜視図である。(b)は、
図1の(b)に示したロボットの斜視図である。(c)は、操作者の口腔により保持された状態の上記コントローラの斜視図である。(d)は、操作者の口腔により保持された状態の上記コントローラの背面図である。
【
図3】本発明の変形例に係るコントローラの斜視図であって、操作者の口腔により保持された状態の上記コントローラの斜視図である。
【
図4】操作者が本発明の第1の実施形態に係るコントローラを用いてロボットを操作している様子を示す斜視図である。
【
図5】(a),(c),(e)の各々は、それぞれ、第1~第3の操作者がキーボードを用いてロボットを操作した軌跡を示す平面図である。(b),(d),(f)の各々は、それぞれ、第1~第3の操作者が本発明の第1の実施形態に係るコントローラを用いてロボットを操作した軌跡を示す平面図である。
【
図6】(a)は、第4の操作者がゲーム用のコントローラを用いてロボットを操作した軌跡を示す平面図である。(b)は、第4の操作者が本発明の第1の実施形態に係るコントローラを用いてロボットを操作した軌跡を示す平面図である。
【発明を実施するための形態】
【0012】
〔第1の実施形態〕
本発明の第1の実施形態に係るコントローラ10と、コントローラ10により遠隔制御されるロボット20とについて、
図1及び
図2を参照して説明する。
図1の(a)は、コントローラ10のブロック図である。
図1の(b)は、ロボット20のブロック図である。
図2の(a)は、コントローラ10の斜視図である。
図2の(b)は、ロボット20の斜視図である。
図2の(c)は、操作者の口腔P
Oにより保持された状態のコントローラ10の斜視図である。
図2の(d)は、口腔P
Oにより保持された状態のコントローラ10の背面図である。
【0013】
(口腔を用いることのメリット)
これまでの脳に関する研究により、人の口腔PO及び顔の運動野及び体性感覚野は、脳の広範な領域に亘っており、指及び手腕の運動野及び体性感覚野の広さに匹敵することが分かっている。したがって、口腔PO及び顔は、刺激の感受に優れており、訓練をすることによってより確度が高いコントローラの操作を実現可能ではないかと期待される。すなわち、口腔PO及び顔は、コントローラを操作する操作部として大きな潜在能力を有していると考えられる。
【0014】
また、交通事故や、筋萎縮性側索硬化症(ALS)などの様々な理由により四肢が麻痺しているなど運動の自由度が低下している患者であっても、口腔PO及び顔は、麻痺していない場合も多い。そのため、対象物であり、且つ、操作者にテレプレゼンスを提供するためのロボット20を遠隔制御するコントローラ10であって、操作者が口腔内で操作するコントローラ10は、運動の自由度が低下した患者であって、これまではロボット20を遠隔操作することが困難であった患者に対しても、ロボット20を遠隔操作する機会を提供することができる。したがって、コントローラ10は、運動の自由度が低下した多くの患者に対してテレプレゼンスの機会を提供することができるので、これらの患者の生活の質を高めることができる。
【0015】
(コントローラ10及びロボット20の概要)
コントローラ10(
図1の(a)参照)は、操作者が口腔P
O内で操作するコントローラであって、本実施形態では、対象物の一例であるロボット20(
図1の(b)参照)を遠隔制御するコントローラである。
【0016】
コントローラ10は、例えば、入出力装置の1つとして、
図1の(a)には図示していないパソコン(例えば
図4に示したパソコンPC)に接続されている。パソコンは、コントローラ10が生成した遠隔制御情報であって、ロボット20を遠隔制御するため遠隔制御情報を、ロボット20へネットワークを介して供給する。
【0017】
なお、コントローラ10は、パソコンに対して、ケーブルを用いて有線接続されていてもよいし、Bluetooth(登録商標)などの技術を用いて無線接続されていてもよい。本実施形態においては、コントローラ10は、パソコンに対して無線接続されているものとして説明する。
【0018】
ロボット20は、ネットワークを介して上述したパソコンに接続されている。ロボット20は、電力を利用して走行可能な電動ロボットであり、コントローラ10が生成した遠隔制御情報に応じてその移動を制御されている。
【0019】
ロボット20は、複数のセンサを備えていることにより、自身の周囲における様々な状況を検知することができる。ロボット20は、検知した状況が所定の状況である場合に、そのことを操作者にフィードバックするためのフィードバック情報を生成する。ロボット20は、フィードバック情報をパソコンへネットワークを介して供給する。
【0020】
上述した所定の状況の例としては、ロボット20の走行に障害がある状況、及び、ロボット20の周囲に人が存在する状況が挙げられる。前者の場合、ロボット20は、ロボット20の走行に障害があることを示すフィードバック情報を生成する。また、後者の場合、ロボット20は、ロボット20の周囲に人が存在することを示すフィードバック情報を生成する。
【0021】
パソコンは、ロボット20が生成したフィードバック情報をコントローラ10へ供給する。
【0022】
コントローラ10が備えている刺激付与部は、ロボット20が生成したフィードバック情報、すなわち、ロボット20からフィードバックされた情報に応じた刺激を、操作者の口腔PO及び顔面の少なくとも何れか一方に与える。本実施形態では、刺激付与部として、6個のバイブレータ14a~14fを採用している場合について説明する。バイブレータ14a~14fの各々は、ロボット20からフィードバックされた情報に応じた触覚刺激を上記操作者の口腔PO及び顔面の少なくとも何れか一方に与える。
【0023】
以下では、
図1の(a)及び
図2の(a)を参照してコントローラ10の構成について説明し、
図1の(b)及び
図2の(b)を参照してロボット20の構成について説明し、
図2の(a)~(d)を参照して、コントローラ10の使用方法及びロボット20の遠隔制御の例について説明する。
【0024】
(コントローラ10の構成)
図1の(a)に示すように、コントローラ10は、制御部11と、第1のセンサ12と、第2のセンサ13と、バイブレータ14a~14fと、圧力センサ15と、ベース16と、レバー17とを備えている。
【0025】
ベース16は、樹脂製の筐体であって、後述する制御部11及び第1のセンサ12を収容する。ベース16は、操作者の上あご及び下あごにより挟持されることによって、口腔P
Oの近傍に保持される(
図2の(c)及び(d)参照)。口腔P
Oに対する感触を和らげ、上あご及び下あごによる保持性を高め、且つ、防水性を高めるために、ベース16のうち口腔P
O側の部分は、柔らかい樹脂(本実施形態ではシリコーン樹脂)により覆われていることが好ましい。なお、
図2の(a),(c),(d)においては、この柔らかい樹脂を図示していない。
【0026】
レバー17は、一方の端部がベース16の内部に保持されており、他方の端部がベース16の外部に突出した、樹脂製の棒状部材である。レバー17の他方の端部が突出する方向は、上あご及び下あごにより保持された状態のベース16において、口腔P
O側に向かう方向である(
図2の(a)及び(c)参照)。
【0027】
レバー17の一方の端部は、ベース16の内部に摺動可能な状態で保持されているので、レバー17の他方の端部は、ベース16に対して2次元的に操作することができる。操作者は、自身の舌を用いてレバー17の他方の端部を2次元的に操作する。
【0028】
第1のセンサ12は、姿勢センサであって、上述したように、筐体であるベース16の内部に収容されている。
【0029】
第2のセンサ13は、第1のセンサ12と同じ構成を有する姿勢センサであって、レバー17の他方の端部に配置されている。なお、第2のセンサ13は、ベース16のうち口腔PO側の部分とともに、上述した柔らかい樹脂により覆われていることが好ましい。
【0030】
バイブレータ14a~14fの各々は、後述する刺激付与部制御部115から制御されることによって振動する。本実施形態において、バイブレータ14a~14fの各々は、口腔P
O内に配置されるように構成されており、制御部11に対して有線接続されている(
図1の(a)参照)。具体的には、バイブレータ14a~14cの各々は、口腔P
O内の上あごの右側、中央、及び左側に配置されており、バイブレータ14d~14fの各々は、口腔P
Oの内の下あごの右側、中央、及び左側に配置されている(
図2の(c),(d)参照)。
【0031】
バイブレータ14d~14fの各々を口腔PO内の空間の予め定められた位置に配置することによって、制御部11は、ロボット20の周囲の空間に関する空間情報を口腔PO内の空間内に投射することによって、ロボット20の周囲の空間の様子をより詳しく操作者にフィードバックすることができる。
【0032】
なお、
図2の(c)及び(d)においては、バイブレータ14a~14fの各々と、制御部11とを接続するケーブルの図示を省略している。また、本実施形態では、刺激付与部として6個のバイブレータ14d~14fを採用している。しかし、バイブレータの数は、限定されるものではない。例えば、バイブレータの数を更に増やすことによって、口腔P
O内の空間により密にバイブレータを配置してもよい。
【0033】
また、バイブレータ14d~14fは、
図2の(c)及び(d)に示すように、上あご又は下あごに直接接するように配置されていてもよいし、口腔P
O内にフィットするように成形されたマウスピースの内部又は歯茎側の表面に配置されていてもよい。バイブレータ14d~14fをマウスピースに配置する場合、例えば、ベース16のうち口腔P
O側の部分を柔らかい樹脂により構成し、その柔らかい樹脂を口腔P
O内にフィットする形状に成形することによって、マウスピースを構成することができる。
【0034】
圧力センサ15は、ベース16のうち口腔PO側の部分に配置されており、歯に噛まれることによってベース16に加えられる圧力を検出し、その圧力を示す圧力信号を制御部11へ供給する。制御部11は、供給された圧力信号が表す圧力と、予め定められた閾値とを参照し、上記圧力が上記閾値を上回っているか否かに応じて、スイッチのON又はOFFを切り替える。圧力センサ15は、如何なる機能のスイッチとしても利用可能である。例えば、圧力センサ15は、モード切替スイッチや、イネーブルスイッチとして利用可能である。
【0035】
第1のセンサ12及び第2のセンサ13として採用する姿勢センサは、市販されている姿勢センサのなかから適宜選択して採用することができる。また、これらの姿勢センサは、市販されている加速度センサとジャイロセンサとを組み合わせることによって実現することもできる。
【0036】
第1のセンサ12及び第2のセンサ13の各々は、自身の姿勢を3次元のベクトル量として検知することができる。以下において、第1のセンサ12の姿勢を示す3次元のベクトル量である姿勢情報を第1の姿勢情報と称し、第2のセンサ13の姿勢を示す3次元のベクトル量である姿勢情報を第2の姿勢情報と称する。
【0037】
そのうえで、第1のセンサ12及び第2のセンサ13の各々は、レバー17がベース16に対する原点に位置する状態(すなわち操作者がレバー17を操作していない状態)において、第1の姿勢情報と、第2の姿勢情報とが一致するように、それぞれ配置されている。
【0038】
操作者が舌を用いてレバー17を操作した場合、第1の姿勢情報と、第2の姿勢情報との間に差分が生じる。後述するように、制御部11は、第1の姿勢情報と、第2の姿勢情報との差分から、レバー17の操作された方向及びレバー17の操作された量(すなわちレバー17の操作ベクトル)を特定することができる。
【0039】
(ロボット20の構成)
図1の(b)及び
図2の(b)に示すように、ロボット20は、制御部21と、タブレット端末22と、磁界センサ23と、レーザ測域センサ24と、駆動機構25と、筐体26とを備えている。なお、
図1の(b)に示した二点鎖線は、後述するロボット20の変形例における情報の伝送系路を示すものである。
【0040】
図2の(b)に示すように、筐体26は、円筒形であり、その頭部が半球状に成形されている。筐体26は、その内部に、制御部21と、磁界センサ23と、駆動機構25とを収容している。また、筐体26の頭部には、タブレット端末22が設置されている。本実施形態において、タブレット端末22は、カメラ221と、液晶表示装置222とを備えている。
【0041】
カメラ221は、ロボット20の前方の画像を撮影し、該画像を表す画像情報を生成するデジタルカメラである。カメラ221は、生成した画像情報を制御部21に供給する。カメラ221が生成する画像は、動画像であってもよいし、静止画像であってもよい。カメラ221は、ロボット20の周囲に人が存在する場合に、その人を検知する人感センサとして機能する。
【0042】
なお、本実施形態において、カメラ221は、ロボット20の前方の画像のみを撮影するように構成されている。しかし、カメラ221は、円筒形である筐体26の中心軸を回転軸として、その軸回りにその画角を回転可能なように配置されており、ロボット20の全方位の画像を順次撮影するように構成されていてもよい。また、ロボット20は、複数のカメラを備えており、ロボット20の全方位の画像を撮影可能なように構成されていてもよい。これらのように、カメラがロボット20の全方位の画像を撮影可能であることによって、ロボット20は、その周囲に人が存在することをより高い確度で検知することができる。
【0043】
液晶表示装置222は、制御部21からの制御に応じて、ロボット20の感情を表す表情を表示する。
【0044】
磁界センサ23は、ロボット20の周囲における磁界の強さを検出する磁界センサであり、ロボット20の周囲の空間の様子を検知する空間センサの一態様である。本実施形態において、磁界センサ23は、4つの磁界センサ231~234により構成されている。
図2の(b)に示すように、磁界センサ231は、ロボット20の左斜め前方に配置されており、磁界センサ232は、左斜め後方に配置されており、磁界センサ233は、右斜め前方に配置されており、磁界センサ234は、右斜め後方に配置されている。
【0045】
図4を参照して後述するように、ロボット20が移動可能な通路が予め定められており、その通路の輪郭が磁界により規定されている場合がある。このような場合に、磁界センサ23及び制御部21は、ロボット20の周囲における磁界の強さを検出することによって、ロボット20が進もうとしている方向が、上述した通路に沿った方向なのか、上述した通路から外れる方向なのか特定することができる。
【0046】
また、本実施形態において、磁界センサ23は、4つの磁界センサ231~234により構成されている。4つの磁界センサ231~234の各々は、それぞれが検出した磁界の強さを表す第1~第4の磁界情報を生成する。第1~第4の磁界情報を解析することにより、制御部21は、上述した通路から外れる方向がロボット20の何れの方向であるのかを特定することができる。
【0047】
レーザ測域センサ24は、構造物や人などを検知可能な空間センサの一態様である。以下では、構造物を例にしてレーザ測域センサ24について説明するが、人も構造物と同様に検知することができる。レーザ測域センサ24は、市販されているレーザ測域センサから好適なスペックを有するレーザ測域センサを適宜選択すればよい。
【0048】
レーザ測域センサ24は、ロボット20の周囲360度の領域内をレーザ光により走査することによって、その領域内に壁などの構造物が存在するか否か、及び、構造物が存在する場合には、構造物が位置する方向と、構造物までの距離を推定する。換言すれば、レーザ測域センサ24は、ロボット20の周囲の空間内における自己位置を推定することができる。構造物を検出可能なロボット20からの距離は、レーザ測域センサ24の性能に依存するが、例えば遮蔽物がない場合において10mである。
【0049】
レーザ測域センサ24は、ロボット20の周囲に構造物が存在するか否か、及び、構造物が存在する場合には、構造物が位置する方向と、構造物までの距離とを表す構造物情報を生成する。
【0050】
駆動機構25は、電動モータと、該電動モータにより発生された駆動力を地面に伝える複数のタイヤとを備えている。複数のタイヤの各々は、上記駆動力を適宜分配して地面に伝えることによって、ロボット20を、前進させたり(
図2の(b)に示す矢印B1)、後退させたり(
図2の(b)に示す矢印B2)、右方向を向くように筐体26の軸回りに回転させたり(
図2の(b)に示す矢印B3)、左方向を向くように筐体26の軸回りに回転させたり(
図2の(b)に示す矢印B4)、することができる。
【0051】
また、ロボット20は、
図1の(b)及び
図2の(b)に図示しないスピーカ及びマイクを備えていてもよい。ロボット20がスピーカ及びマイクを備えていることによって、ロボット20は、自身の周囲に人が存在する場合に、その人とコミュニケーションを図ることができる。また、コントローラ10が接続されているパソコンが入出力装置としてスピーカ及びマイクを備えている場合であれば、操作者は、上述したパソコン及びロボット20を介して、ロボット20の周囲に存在している人とコミュニケーションを図ることができる。これらの構成によれば、操作者は、自身が移動することなくテレプレゼンスを実現することができる。
【0052】
(コントローラ10及びロボット20の機能)
コントローラ10の制御部11としては、例えばマイコンのような簡易なコンピュータを採用することができる。
図1の(a)に示すように、制御部11は、センサ情報受信部111と、遠隔制御情報生成部112と、遠隔制御情報送信部113と、フィードバック情報受信部114と、刺激付与部制御部115とを備えている。
【0053】
また、ロボット20の制御部21としては、コンピュータを採用することができる。
図1の(b)に示すように、制御部21は、人検知部211と、磁界検知部212と、フィードバック情報生成部213と、フィードバック情報送信部214と、遠隔制御情報受信部215と、駆動機構制御部216とを備えている。
【0054】
以下、コントローラ10及びロボット20が実現する機能について、順を追って説明する。
【0055】
センサ情報受信部111は、第1のセンサ12から第1の姿勢情報を取得し、第2のセンサ13から第2の姿勢情報を取得する。
【0056】
遠隔制御情報生成部112は、センサ情報受信部111から第1の姿勢情報及び第2の姿勢情報を取得し、第1の姿勢情報と第2の姿勢情報との差分からレバー17の操作ベクトルを特定する。遠隔制御情報生成部112は、特定したレバー17の操作ベクトルに応じて、ロボット20を遠隔制御するための情報である遠隔制御情報を生成する。例えば、遠隔制御情報生成部112は、特定したベクトルを、矢印A1,A2に平行な方向の成分(前後方向成分)と、矢印A3,A4に平行な方向の成分(回転方向成分)とに分解し、前後方向成分及び回転方向成分の各々に応じた遠隔制御情報を生成する。
【0057】
図2の(a)には、レバー17の操作ベクトルの例として、レバー17を上及び下の各々に操作した場合の操作ベクトルを、それぞれ、矢印A1及びA2として示している。また、レバー17を右及び左の各々に操作した場合の操作ベクトルを、それぞれ、矢印A3及びA4として示している。
【0058】
例えば、レバー17が上方向に操作された場合、遠隔制御情報生成部112は、矢印A1の方向を向き、且つ、レバー17が倒された角度に応じた大きさを有するベクトルを特定する。そのうえで、遠隔制御情報生成部112は、特定した当該ベクトルを、矢印A1,A2に平行な方向の成分である前後方向成分と、矢印A3,A4に平行な方向の成分である回転方向成分とに分解し、前後方向成分及び回転方向成分の各々に応じた遠隔制御情報を生成する。ただし、この場合、回転方向成分は、0である。
【0059】
また、レバー17が右上方向(矢印A1の方向と矢印A3の方向との間の方向)に操作された場合、遠隔制御情報生成部112は、矢印A1の方向と矢印A3の方向との間の方向を向き、且つ、レバー17が倒された角度に応じた大きさを有するベクトルを特定する。そのうえで、遠隔制御情報生成部112は、特定した当該ベクトルを、前後方向成分と、回転方向成分とに分解し、前後方向成分及び回転方向成分の各々に応じた遠隔制御情報を生成する。
【0060】
遠隔制御情報送信部113は、パソコンを介して、遠隔制御情報生成部112が生成した遠隔制御情報をロボット20へ送信する。
【0061】
ロボット20の遠隔制御情報受信部215は、遠隔制御情報送信部113がパソコンを介して送信した遠隔制御情報を受信する。
【0062】
駆動機構制御部216は、遠隔制御情報受信部215から遠隔制御情報を取得し、該遠隔制御情報に応じて駆動機構25を制御する。その結果、操作者がコントローラ10のレバー17を上方向に操作した場合(
図2の(a)に示す矢印A1)、ロボット20は、前進し(
図2の(b)に示す矢印B1)、操作者がコントローラ10のレバー17を下方向に操作した場合(
図2の(a)に示す矢印A2)、ロボット20は、後退する(
図2の(b)に示す矢印B2)。また、操作者がコントローラ10のレバー17を右方向に操作した場合(
図2の(a)に示す矢印A3)、ロボット20は、右方向を向くように筐体26の軸回りに回転させ(
図2の(b)に示す矢印B3)、操作者がコントローラ10のレバー17を左方向に操作した場合(
図2の(a)に示す矢印A4)、ロボット20は、左方向を向くように筐体26の軸回りに回転させる(
図2の(b)に示す矢印B4)。
【0063】
また、操作者がレバー17を右上方向に操作した場合、駆動機構制御部216は、上述した前後方向成分に応じてロボット20を前進させるとともに、上述した回転方向成分に応じてロボット20が右方向を向くように筐体26の軸回りに回転させる。
【0064】
以上のように、ロボット20は、遠隔制御情報に応じて移動可能である。したがって、操作者は、コントローラ10を口腔PO内で操作することによって、ロボット20を遠隔操作することができる。
【0065】
人検知部211は、ロボット20の前方の画像を表す画像情報をカメラ221から取得する。人検知部211は、当該画像情報を解析することによって、ロボット20の前方の画像に人が含まれているか否かを判定する。
【0066】
磁界検知部212は、磁界センサ23を構成する磁界センサ231~234の各々がそれぞれ生成する第1~第4の磁界情報を、磁界センサ231~234の各々から取得する。磁界検知部212は、第1~第4の磁界情報が表す磁界の強さが、予め定められた閾値磁界を超えているか否かを判定する。
【0067】
そのうで、磁界検知部212は、ロボット20の進路が通路から外れそうな場合に、通路から外れる方向がロボット20の何れの方向であるのかを表す方向特定情報をフィードバック情報生成部213へ供給する。
【0068】
フィードバック情報生成部213は、ロボット20の前方の画像に人が含まれていると人検知部211が判定した場合、すなわち、人検知部211は、ロボット20の前方に人が存在する場合に、ロボット20の前方に人が存在する旨を表すフィードバック情報を生成する。
【0069】
また、フィードバック情報生成部213は、第1~第4の磁界情報のうち少なくとも何れか1つが表す磁界の強さが、予め定められた閾値磁界を超えていると磁界検知部212が判定した場合、ロボット20が上述した通路から外れようとしている方向を特定し、当該方向を示すフィードバック情報を生成する。
【0070】
例えば、第1,第2の磁界情報が表す磁界の強さ上述した閾値磁界を上回っている場合、フィードバック情報生成部213は、ロボット20が上述した通路から外れようとしている方向がロボット20の左方向であると特定し、特定した左方向を示すフィードバック情報を生成する。
【0071】
また、フィードバック情報生成部213は、レーザ測域センサ24が生成する構造物情報を参照し、ロボット20の周囲に構造物が存在する場合には、構造物が位置する方向に対応した方向を示すフィードバック情報を生成する。また、このフィードバック情報には、構造物が位置する方向に対応した方向のバイブレータ(14a~14fのうち少なくとも何れか)の振動強度であって、構造物までの距離に応じて定められた振動強度を表す強度情報が含まれていてもよい。
【0072】
フィードバック情報送信部214は、フィードバック情報生成部213が生成したフィードバック情報をパソコンへ送信する。
【0073】
コントローラ10のフィードバック情報受信部114は、パソコンを介して、フィードバック情報生成部213が生成したフィードバック情報を取得し、刺激付与部制御部115へ供給する。
【0074】
刺激付与部制御部115は、フィードバック情報受信部114から取得したフィードバック情報に応じて、バイブレータ14a~14fのうち少なくとも何れか一方を振動させる。すなわち、刺激付与部制御部115は、フィードバック情報に応じた諸各区刺激を操作者の口腔PO及び顔面の少なくとも何れか一方に与える。
【0075】
例えば、フィードバック情報がロボット20の前方に人が存在する旨を表すフィードバック情報である場合、刺激付与部制御部115は、バイブレータ14a~14fのうち前方に対応したバイブレータ14b,14eを振動させる。これにより、操作者は、ロボット20からのフィードバックされた情報に基づき、ロボット20の前方に人が存在していることを知ることができる。
【0076】
また、例えば、フィードバック情報が、ロボット20が上述した通路から外れようとしている方向を特定しているフィードバック情報である場合、刺激付与部制御部115は、バイブレータ14a~14fのうち、特定された方向に対応付けられたバイブレータを振動させる。例えば、フィードバック情報が特定している方向が左側である場合、刺激付与部制御部115は、口腔POの左側に配置されたバイブレータ14c,14fを振動させる。これにより、操作者は、ロボット20からのフィードバックされた情報に基づき、ロボット20が上述した通路から左側へ外れようとしていることを知ることができる。
【0077】
また、例えば、フィードバック情報が、構造物情報を含んでいる場合、刺激付与部制御部115は、バイブレータ14a~14fのうち、特定された方向に対応付けられたバイブレータを振動させる。構造物情報に強度情報が更に含まれている場合、刺激付与部制御部115は、強度情報が表す振動強度で特定された方向に対応付けられたバイブレータを振動させる。これにより、操作者は、ロボット20からのフィードバックされた情報に基づき、ロボット20の周囲に存在する壁の方向及び壁までの距離を知ることができる。
【0078】
なお、(1)ロボット20の周囲に人が存在する旨をフィードバックする場合と、(2)ロボット20が通路から外れようとしている旨をフィードバックする場合と、(3)ロボット20の周囲に存在する壁の方向及び壁までの距離をフィードバックする場合とを操作者が区別できるようにするために、(1)~(3)の各場合における振動は、それぞれ、振動の態様(リズムや振動強度など)が異なっていることが好ましい。
【0079】
(ロボット20が備えているセンサの例)
本実施形態では、ロボット20が備えているセンサの例として、カメラ221、磁界センサ23、及びレーザ測域センサ24を用いた。しかし、ロボット20が備えているセンサは、これらの限定されるものではない。他のセンサの例としては、人及び空間を検知するための赤外カメラ、人を検知するための熱カメラ、及び、特定の装置(例えばロボットを充電するためのロボットステーション)や特定の人(例えば介護施設の職員)を検知するためのビーコンユニットが挙げられる。
【0080】
フィードバック情報生成部213は、これらのセンサが生成した情報に応じて、予め定められたフィードバック情報を生成するように構成されていてもよい。
【0081】
〔ロボット20の変形例〕
本実施形態において、ロボット20は、操作者がコントローラ10を操作することによって、操作者の意図に基づき操作されているものとして説明した。しかし、ロボット20においては、予め定められた目的地へ向かって自律走行可能なように駆動機構25を制御するように、駆動機構制御部216が構成されていてもよい。この場合、駆動機構制御部216は、ロボット20が自律走行している場合に、(1)人検知部211が生成するロボット20の前方の画像に人が含まれているか否かを表す情報、(2)磁界検知部212が生成する方向特定情報、及び、(3)レーザ測域センサ24が生成する構造物情報を参照して(
図1の(b)に示した二点鎖線参照)、目的地へ向かうための経路を再設定してもよい。
【0082】
また、ロボット20が自律走行している場合に、フィードバック情報生成部213は、上述した(1)、(2)、及び(3)の情報を参照してフィードバック情報を生成し、フィードバック情報送信部214を介して該フィードバック情報をパソコンへ送信してもよい。
【0083】
例えば、ロボット20が自律走行している場合に前方に人を検知したとする。その場合、フィードバック情報生成部213は、ロボット20の前方の画像に人が含まれている旨を示すフィードバック情報を生成する。コントローラ10の刺激付与部制御部115は、そのフィードバック情報に応じてバイブレータ14a~14fのうち前方に対応したバイブレータ14b,14eを振動させることにより、操作者に人の存在をフィードバックする。
【0084】
ここで、操作者がコントローラ10を何も操作しない場合、駆動機構制御部216は、予め設定されていた経路の通り、ロボット20を進めるように駆動機構25を制御する。
【0085】
一方、ここで、操作者がコントローラ10を操作することによって、ロボット20の前方にいる人にアプローチしたいという意思を示した場合(すなわち、操作者が一時的な目的地を設定した場合)、ロボット20は、コントローラ10からの信号に応じて、予め設定されていた経路を一度キャンセルし、人にアプローチする。すなわち、駆動機構制御部216は、ロボット20を人のそばへ移動させ、その場へ停止させるように駆動機構25を制御する。人にアプローチしたいという意思を示すためのコントローラ10の操作は、限定されるものではなく適宜定めることができるが、例えば、圧力センサ15のダブルクリックをこの操作に割り当てることもできる。
【0086】
ロボット20がこのように構成されていることにより、操作者が常にロボット20を操作している必要がなくなるため、操作者の負担を軽減できる。そのうえで、操作者は、ロボット20からのフィードバックに基づいて、自身の意思を介入させることができるため、受け身ではなくより積極的な気持ちでテレプレゼンスを利用することができる。
【0087】
また、ロボット20が自律走行可能に構成されている場合であっても、上述したように、操作者が自分の意思に基づいてロボット20を直接操作することもできる。
【0088】
なお、ロボット20において、操作者がロボット20の経路にどの程度介入できるかは、変更可能に構成されていてもよい。この介入度合いの変更は、介護施設の職員が行うように構成されていてもよいし、操作者が行うように構成されていてもよい。
【0089】
〔コントローラ10の変形例〕
本発明の変形例であり、
図1及び
図2に示したコントローラ10の変形例であるコントローラ10Aについて、
図3を参照して説明する。
図3は、口腔P
Oにより保持された状態のコントローラ10Aの斜視図である。
【0090】
コントローラ10Aは、コントローラ10をベースにして、コントローラ10が備えているバイブレータ14a~14fを液体噴出器14Aに置き換えることによって得られる。したがって、本変形例においては、液体噴出器14Aについて説明する。なお、説明の便宜上、コントローラ10Aが備えている部材のうち、コントローラ10が備えている部材と同じ部材については、同じ符号を付記し、その説明を繰り返さない。
【0091】
液体噴出器14Aは、特許請求の範囲に記載の刺激付与部の一例であり、フィードバック情報に応じた味覚刺激を操作者の口腔POに与えるように構成されている。
【0092】
図3に示すように、液体噴出器14Aは、ノズル141と、バルブ142と、リザーバ143とを備えている。
【0093】
ノズル141は、一方の端部から液体である味覚刺激物を供給され、他方の端部である噴出口から味覚刺激物を噴出させる。ノズル141は、噴出口を口腔PO内に配置するように設計されている。
【0094】
バルブ142は、後述する刺激付与部制御部115によりその開閉を制御されている。バルブ142が開かれた場合、リザーバ143からノズル141へ味覚刺激物が供給され、ノズル141は、味覚刺激物を噴出させる。バルブ142が閉じられた場合、リザーバ143からノズル141への味覚刺激物の供給が遮断されるので、ノズル141は、味覚刺激物を噴出させない。
【0095】
リザーバ143は、味覚刺激物を貯蔵している貯蔵庫である。上述したように、味覚刺激物は、バルブ142を介してノズル141へ供給される。
【0096】
リザーバ143は、それぞれ味が異なる複数の味覚刺激物を貯蔵していてもよい。例えば、リザーバ143は、味が甘い第1の味覚刺激物と、味が苦い第2の味覚刺激物とを貯蔵していてもよい。
【0097】
刺激付与部制御部115は、フィードバック情報に応じてバルブ142の開閉を制御する。また、リザーバ143がそれぞれ味の異なる複数の味覚刺激物を貯蔵している場合、例えば、リザーバ143が第1の味覚刺激物と第2の味覚刺激物とを貯蔵している場合、刺激付与部制御部115は、フィードバック情報に応じて、ノズル141へ供給する味覚刺激物を適宜切り替える。
【0098】
例えば、フィードバック情報がロボット20の前方に人が存在する旨を表すフィードバック情報である場合、刺激付与部制御部115は、味が甘い第1の味覚刺激物を選択したうえで、バルブ142を開くことによって、口腔PO内に甘い味覚刺激を与える。口腔PO内に甘い味覚刺激を与えられた操作者は、ロボット20からのフィードバックされた情報に基づき、ロボット20の前方に人が存在していることを知ることができる。
【0099】
また、例えば、フィードバック情報が、ロボット20が上述した通路から外れようとしている方向を特定しているフィードバック情報である場合、刺激付与部制御部115は、味が苦い第2の味覚刺激物を選択したうえで、バルブ142を開くことによって、口腔PO内に苦い味覚刺激を与える。口腔PO内に苦い味覚刺激を与えられた操作者は、ロボット20からのフィードバックされた情報に基づき、ロボット20が上述した通路からいずれかの方向へ外れようとしていることを知ることができる。
【0100】
なお、本変形例において、刺激付与部の一例として液体を噴出する液体噴出器14Aを用いて説明した。しかし、刺激付与部は、粉体を噴出する粉体噴出器であってもよいし、気体を噴出する気体噴出器であってもよい。
【0101】
換言すれば、リザーバ143は、液体である味覚刺激物の代わりに粉体又は気体の味覚刺激物を貯蔵するように構成されていてもよい。
【0102】
また、本変形例において、ノズル141は、噴出口を口腔PO内に配置するように設計されている。しかし、ノズル141は、噴出口を鼻腔内に配置するように設計されていてもよい。この場合、リザーバ143は、味覚刺激を与える味覚刺激物の代わりに、臭覚刺激を与える臭覚刺激物を貯蔵するように構成されていることが好ましい。
【0103】
以上のように、コントローラ10Aが備えている刺激付与部は、フィードバック情報に応じた味覚刺激又は臭覚刺激を操作者の口腔PO又は鼻腔に与える、紛体噴出器、液体噴出器、又は気体噴出器を有していればよい。
【0104】
〔対象物の変形例〕
コントローラ10により遠隔制御される対象物は、ロボット20に限定されるものではなく、電動車いすであってもよいし、パソコンを用いたシミュレータにより仮想的に可視化された移動体であってもよい。
【0105】
対象物が電動車いすである場合、操作者は、口腔PO内でコントローラ10を操作することのよって、電動車いすを制御することができる。
【0106】
更に、コントローラ10は、ロボット20が生成したフィードバック情報に応じた刺激を、刺激付与部を用いて操作者の口腔PO及び顔面の少なくとも何れか一方に与えることができる。したがって、操作者は、口腔PO及び顔面の少なくとも何れか一方を用いてロボット20からフィードバックを受けることができる。たとえば、フィードバック情報が、ロボット20が上述した通路から外れようとしている方向を特定しているフィードバック情報である場合、操作者は、ロボット20からのフィードバックされた情報に基づき、ロボット20が上述した通路から左側へ外れようとしていることを知ることができる。
【0107】
対象物がシミュレータによって仮想的に可視化された移動体である場合、操作者は、このシミュレータを用いてコントローラ10の扱いを習熟することができる。
【0108】
この場合であっても同様に、フィードバック情報が、ロボット20が上述した通路から外れようとしている方向を特定しているフィードバック情報である場合、操作者は、ロボット20からのフィードバックされた情報に基づき、ロボット20が上述した通路から外れようとしていることを知ることができる。
【0109】
〔実施例群〕
第1~第4の操作者が第1の実施形態に係るコントローラ10を用いてロボット20を遠隔操作した場合の実施例群について、
図4~
図6を参照して説明する。
【0110】
図4は、操作者がコントローラ10を用いてロボットを操作している様子を示す斜視図である。
図5の(a),(c),(e)の各々は、それぞれ、第1~第3の操作者がキーボードを用いてロボットを操作した軌跡を示す平面図である。
図5の(b),(d),(f)の各々は、それぞれ、第1~第3の操作者が本発明の第1の実施形態に係るコントローラを用いてロボットを操作した軌跡を示す平面図である。
図6の(a)は、第4の操作者がゲーム用のコントローラを用いてロボットを操作した軌跡を示す平面図である。
図6の(b)は、第4の操作者が本発明の第1の実施形態に係るコントローラを用いてロボットを操作した軌跡を示す平面図である。なお、第1~第3の操作者は、健常者であり、第4の操作者は、筋萎縮性側索硬化症(ALS)の患者である。
【0111】
図4に示すように、本実施例群において、ロボット20が移動する地面には、2本の導線W1,W2を敷設することによって、クランク形状の通路Paが設けられている。各操作者は、口腔P
O内でコントローラ10を操作することによって、ロボット20が通路Paの入口から出口まで通過するように、ロボット20を遠隔操作する。
【0112】
なお、第1の実施形態において上述したように、コントローラ10は、パソコンPCに対して無線接続されている。また、ロボット20とパソコンPCとも、互いに無線接続されている。
【0113】
図5の(a)~(f)によれば、第1の操作者の1回目のトライにおいて、ロボット20は、通路Paから大きく逸脱した(
図5の(b)参照)。しかし、第1の操作者の2回目以降のトライ、及び、第2~第3の操作者の全トライにおいて、ロボット20は、通路Paから大きく逸脱することもなく通路Paを通過した。すなわち、コントローラ10を用いた場合であっても、キーボードを用いる場合と同様に、操作者は、ロボット20を遠隔操作可能なことが分かった。
【0114】
これは、コントローラ10を用いることにより、ロボット20からのフィードバック情報に応じたフィードバックを操作者が受けることができたためと考えられる。
【0115】
また、トライの回数を重ね操作者がコントローラ10の操作に慣れるにしたがって、キーボードを用いた場合のロボット20の軌跡と、コントローラ10を用いた場合のロボット20の軌跡との間に有意な差はなくなった。
【0116】
また、第1~第3の操作者の各々について、それぞれ、3回のトライについて、通路Paを通過する移動時間を測定した。キーボードを用いた場合の移動時間と、コントローラ10を用いた場合の移動時間とについても、トライの回数を重ね操作者がコントローラ10の操作に慣れるにしたがって、有意な差はなくなった。
【0117】
図6の(a)及び(b)によれば、ALSの患者である第4の操作者がロボット20を遠隔操作した場合においても、ゲーム用のコントローラを用いた場合のロボット20の軌跡と、コントローラ10を用いた場合のロボット20の軌跡との間に有意な差はなくなった。
【0118】
以上のように、操作者が健常者である場合であっても、ALSの患者である場合であっても、コントローラ10を口腔PO内で操作することによって、キーボード又はゲーム用のコントローラを手で操作する場合と同程度の確かさでロボット20を遠隔操作できることが分かった。
【0119】
〔まとめ〕
本発明の態様1に係るコントローラは、対象物(ロボット20、電動車いす、及びパソコンを用いたシミュレータにより仮想的に可視化された移動体)を遠隔制御するコントローラ10であって、操作者が口腔PO内で操作するコントローラ10において、上記対象物からフィードバックされた情報に応じた刺激を、上記操作者の口腔PO及び顔面の少なくとも何れか一方に与える刺激付与部(バイブレータ14a~14f及び液体噴出器14A)を備えている。
【0120】
上記の構成によれば、操作者は、口腔POを用いてロボット20に代表される移動体を遠隔操作することができる。口腔POを用いて例えばロボット20を遠隔操作することには、上述したようなメリットがある。
【0121】
更に、コントローラ10は、ロボット20が生成したフィードバック情報に応じた刺激を、刺激付与部を用いて操作者の口腔PO及び顔面の少なくとも何れか一方に与えることができる。したがって、操作者は、口腔PO及び顔面の少なくとも何れか一方を用いてロボット20からフィードバックを受けることができる。
【0122】
以上のように、コントローラ10を用いることによって、操作者は、口腔POを用いてロボット20を遠隔操作することができ、且つ、口腔PO及び顔面の少なくとも何れか一方を用いてロボット20からフィードバックを受けることができる。したがって、コントローラ10は、自身から離れた場所に存在するロボット20の状態を操作者が把握することができる。
【0123】
本発明の態様2に係るコントローラにおいて、上記刺激付与部は、上記情報に応じた触覚刺激を上記操作者の口腔及び顔面の少なくとも何れか一方に与えるバイブレータを有している、ことが好ましい。
【0124】
上記の構成によれば、操作者は、口腔及び顔面の少なくとも何れか一方に伝わる振動を介して、ロボット20からのフィードバックを受けることができる。したがって、口腔及び顔面の少なくとも何れか一方の触覚が機能していれば、操作者は、ロボット20からのフィードバックを受けることができる。
【0125】
また、刺激付与部として複数のバイブレータを採用し、各バイブレータを所定の空間内(例えば口腔PO内)に配置するように構成した場合には、例えば構造物の方向及び構造物までの距離に関する情報を操作者にフィードバック(空間投射)することができる。
【0126】
本発明の態様3に係るコントローラにおいて、上記刺激付与部は、上記情報に応じた味覚刺激又は臭覚刺激を上記操作者の口腔又は鼻腔に与える、紛体噴出器、液体噴出器、又は気体噴出器を有していてもよい。
【0127】
上記の構成によれば、操作者は、味覚刺激又は臭覚刺激を介して、ロボット20からのフィードバックを受けることができる。したがって、味覚又は臭覚が機能していれば、操作者は、ロボット20からのフィードバックを受けることができる。
【0128】
本発明の態様4に係るコントローラにおいて、上記対象物は、走行可能なロボット20であり、上記情報は、ロボット20の走行に障害があることを示す情報である、ことが好ましい。
【0129】
上記の構成によれば、操作者は、ロボット20の走行に障害がある旨の情報を、ロボット20からのフィードバックとして得ることができる。
【0130】
本発明の態様5に係るコントローラにおいて、上記対象物は、走行可能なロボット20であり、上記情報は、ロボット20の周囲に人が存在することを示す情報である、ことが好ましい。
【0131】
上記の構成によれば、操作者は、ロボット20の周囲に人が存在する旨の情報を、ロボット20からのフィードバックとして得ることができる。
【0132】
〔付記事項〕
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【符号の説明】
【0133】
10 コントローラ
11 制御部
12,13 第1,第2のセンサ
14a~14f バイブレータ(刺激付与部)
14A 液体噴出器(刺激付与部)
15 圧力センサ
20 ロボット(対象物)
PO 操作者の口腔