知財求人 - 知財ポータルサイト「IP Force」
▶ 株式会社リコーの特許一覧 ▶ 国立大学法人九州大学の特許一覧
特開2023-177286情報処理装置、情報処理システム、情報処理方法、及びプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023177286
(43)【公開日】2023-12-13
(54)【発明の名称】情報処理装置、情報処理システム、情報処理方法、及びプログラム
(51)【国際特許分類】
G05D 1/00 20060101AFI20231206BHJP
G05D 1/02 20200101ALI20231206BHJP
【ＦＩ】
G05D1/00 B
G05D1/02 H
【審査請求】未請求
【請求項の数】11
【出願形態】ＯＬ
(21)【出願番号】P 2023085484
(22)【出願日】2023-05-24
(31)【優先権主張番号】P 2022088966
(32)【優先日】2022-05-31
(33)【優先権主張国・地域又は機関】JP
(31)【優先権主張番号】P 2022173809
(32)【優先日】2022-10-28
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】000006747
【氏名又は名称】株式会社リコー
(71)【出願人】
【識別番号】504145342
【氏名又は名称】国立大学法人九州大学
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(72)【発明者】
【氏名】青木 惇季
(72)【発明者】
【氏名】山科 亮太
(72)【発明者】
【氏名】倉爪 亮
【テーマコード（参考）】
5H301
【Ｆターム（参考）】
5H301AA01
5H301AA10
5H301BB14
5H301DD01
5H301DD06
5H301DD07
5H301DD15
5H301GG08
5H301GG09
5H301GG16
5H301LL01
5H301LL02
5H301LL06
5H301LL11
(57)【要約】
【課題】自律移動装置を操作する操作者が操作に対応するフィードバックに違和感を覚えることなく所望の操作を行う技術を提供する。
【解決手段】自律移動装置と通信可能な情報処理装置は、自律移動装置に対する操作者の操作指令を、現実世界に存在する自律移動装置と、現実世界を模した仮想世界に存在していて自律移動装置を模した仮想移動装置とに送出する操作指令処理部と、自律移動装置が操作者による自律移動装置の操作性を阻害する阻害因子を検出した場合に、現実世界における自律移動装置の自律動作に対応する知覚フィードバックを操作者に提供する現実モードから、仮想世界における仮想移動装置の操作指令に応じた動作に対応する知覚フィードバックを操作者に提供する仮想モードへ切替える仮想現実切替部と、を含む。
【選択図】図４
【解決手段】自律移動装置と通信可能な情報処理装置は、自律移動装置に対する操作者の操作指令を、現実世界に存在する自律移動装置と、現実世界を模した仮想世界に存在していて自律移動装置を模した仮想移動装置とに送出する操作指令処理部と、自律移動装置が操作者による自律移動装置の操作性を阻害する阻害因子を検出した場合に、現実世界における自律移動装置の自律動作に対応する知覚フィードバックを操作者に提供する現実モードから、仮想世界における仮想移動装置の操作指令に応じた動作に対応する知覚フィードバックを操作者に提供する仮想モードへ切替える仮想現実切替部と、を含む。
【選択図】図４
【特許請求の範囲】
【請求項1】
自律移動装置と通信可能な情報処理装置であって、
前記自律移動装置に対する操作者の操作指令を、現実世界に存在する前記自律移動装置と、前記現実世界を模した仮想世界に存在していて前記自律移動装置を模した仮想移動装置とに送出する操作指令処理部と、
前記自律移動装置が前記操作者による前記自律移動装置の操作性を阻害する阻害因子を検出した場合に、前記現実世界における前記自律移動装置の自律動作に対応する知覚フィードバックを前記操作者に提供する現実モードから、前記仮想世界における前記仮想移動装置の前記操作指令に応じた動作に対応する知覚フィードバックを前記操作者に提供する仮想モードへ切替える仮想現実切替部と、
を含む、情報処理装置。
前記自律移動装置に対する操作者の操作指令を、現実世界に存在する前記自律移動装置と、前記現実世界を模した仮想世界に存在していて前記自律移動装置を模した仮想移動装置とに送出する操作指令処理部と、
前記自律移動装置が前記操作者による前記自律移動装置の操作性を阻害する阻害因子を検出した場合に、前記現実世界における前記自律移動装置の自律動作に対応する知覚フィードバックを前記操作者に提供する現実モードから、前記仮想世界における前記仮想移動装置の前記操作指令に応じた動作に対応する知覚フィードバックを前記操作者に提供する仮想モードへ切替える仮想現実切替部と、
を含む、情報処理装置。
【請求項2】
前記現実モードから前記仮想モードに切替えた後、前記自律移動装置が前記阻害因子を自律的に回避した場合に前記仮想モードから前記現実モードに切替える、請求項１に記載の情報処理装置。
【請求項3】
前記現実モードから前記仮想モードに切替えた後、前記操作指令に応じて前記仮想移動装置の動作を制御する仮想移動制御部をさらに備える、請求項１又は２に記載の情報処理装置。
【請求項4】
前記現実モードから前記仮想モードに切替えた後、前記操作指令処理部は、前記自律移動装置と前記仮想移動装置の位置偏差及び姿勢偏差の少なくとも一方が小さくなるように前記仮想移動装置の位置及び姿勢の少なくとも一方を調整する、請求項１又は２に記載の情報処理装置。
【請求項5】
前記現実モードから前記仮想モードに切替えた後、前記仮想現実切替部は、前記現実世界において前記仮想移動装置の位置に前記阻害因子がある場合は、前記自律移動装置が前記阻害因子を自律的に回避する必要があると判定し、前記阻害因子を自律的に回避する自律移動を前記自律移動装置に要求する、請求項１又は２に記載の情報処理装置。
【請求項6】
前記現実モードから前記仮想モードに切替えた後、前記仮想現実切替部は、前記現実世界において前記仮想移動装置の未来の軌跡上に前記阻害因子がある場合は、前記自律移動装置が前記阻害因子を自律的に回避する必要がないと判定し、前記仮想モードから前記現実モードに切替える、請求項１又は２に記載の情報処理装置。
【請求項7】
前記現実モードから前記仮想モードに切替えた後、前記仮想現実切替部は、前記操作指令と、前記仮想移動装置の位置及び姿勢の少なくとも一方とに応じて前記仮想移動装置の未来の軌跡を算出し、未来の軌跡上で前記阻害因子がなくなる位置を目標位置に設定し、前記阻害因子を自律的に回避して前記目標位置まで移動する自律移動を前記自律移動装置に要求する、請求項１又は２に記載の情報処理装置。
【請求項8】
前記現実モードから前記仮想モードに切替えた後、前記自律移動装置が前記現実世界において前記阻害因子により前記自律動作を阻害されることを検出した場合、あるいは、前記阻害因子とは異なる別の阻害因子により前記自律動作を阻害されることを検出した場合、前記仮想現実切替部は、前記仮想モードから前記現実モードに切替える、請求項１又は２に記載の情報処理装置。
【請求項9】
自律移動装置と、前記自律移動装置と通信可能な情報処理装置と、を含む情報処理システムであって、
前記自律移動装置は、
前記自律移動装置に対する操作者の操作指令と自律移動要求とに応じて前記自律移動装置の動作を制御する実制御部を備え、
前記情報処理装置は、
前記操作指令を、現実世界に存在する前記自律移動装置と、前記現実世界を模した仮想世界に存在していて前記自律移動装置を模した仮想移動装置とに送出する操作指令処理部と、
前記自律移動装置が前記操作者による前記自律移動装置の操作性を阻害する阻害因子を検出した場合に、前記現実世界における前記自律移動装置の動作に対応する知覚フィードバックを前記操作者に提供する現実モードから、前記仮想世界における前記仮想移動装置の前記操作指令に応じた動作に対応する知覚フィードバックを前記操作者に提供する仮想モードへ切替える仮想現実切替部と、
を含む、情報処理システム。
前記自律移動装置は、
前記自律移動装置に対する操作者の操作指令と自律移動要求とに応じて前記自律移動装置の動作を制御する実制御部を備え、
前記情報処理装置は、
前記操作指令を、現実世界に存在する前記自律移動装置と、前記現実世界を模した仮想世界に存在していて前記自律移動装置を模した仮想移動装置とに送出する操作指令処理部と、
前記自律移動装置が前記操作者による前記自律移動装置の操作性を阻害する阻害因子を検出した場合に、前記現実世界における前記自律移動装置の動作に対応する知覚フィードバックを前記操作者に提供する現実モードから、前記仮想世界における前記仮想移動装置の前記操作指令に応じた動作に対応する知覚フィードバックを前記操作者に提供する仮想モードへ切替える仮想現実切替部と、
を含む、情報処理システム。
【請求項10】
自律移動装置と通信可能な情報処理装置による情報処理方法であって、前記情報処理装置が、
前記自律移動装置に対する操作者の操作指令を、現実世界に存在する前記自律移動装置と、前記現実世界を模した仮想世界に存在していて前記自律移動装置を模した仮想移動装置とに送出するステップと、
前記自律移動装置が前記操作者による前記自律移動装置の操作性を阻害する阻害因子を検出した場合に、前記現実世界における前記自律移動装置の自律動作に対応する知覚フィードバックを前記操作者に提供する現実モードから、前記仮想世界における前記仮想移動装置の手動動作に対応する知覚フィードバックを前記操作者に提供する仮想モードへ切替えるステップと、
を実行する、情報処理方法。
前記自律移動装置に対する操作者の操作指令を、現実世界に存在する前記自律移動装置と、前記現実世界を模した仮想世界に存在していて前記自律移動装置を模した仮想移動装置とに送出するステップと、
前記自律移動装置が前記操作者による前記自律移動装置の操作性を阻害する阻害因子を検出した場合に、前記現実世界における前記自律移動装置の自律動作に対応する知覚フィードバックを前記操作者に提供する現実モードから、前記仮想世界における前記仮想移動装置の手動動作に対応する知覚フィードバックを前記操作者に提供する仮想モードへ切替えるステップと、
を実行する、情報処理方法。
【請求項11】
自律移動装置と通信可能な情報処理装置に実行させるプログラムであって、
前記自律移動装置に対する操作者の操作指令を、現実世界に存在する前記自律移動装置と、前記現実世界を模した仮想世界に存在していて前記自律移動装置を模した仮想移動装置とに送出するステップと、
前記自律移動装置が前記操作者による前記自律移動装置の操作性を阻害する阻害因子を検出した場合に、前記現実世界における前記自律移動装置の自律動作に対応する知覚フィードバックを前記操作者に提供する現実モードから、前記仮想世界における前記仮想移動装置の前記操作指令に応じた動作に対応する知覚フィードバックを前記操作者に提供する仮想モードへ切替えるステップと、
を前記情報処理装置に実行させるプログラム。
前記自律移動装置に対する操作者の操作指令を、現実世界に存在する前記自律移動装置と、前記現実世界を模した仮想世界に存在していて前記自律移動装置を模した仮想移動装置とに送出するステップと、
前記自律移動装置が前記操作者による前記自律移動装置の操作性を阻害する阻害因子を検出した場合に、前記現実世界における前記自律移動装置の自律動作に対応する知覚フィードバックを前記操作者に提供する現実モードから、前記仮想世界における前記仮想移動装置の前記操作指令に応じた動作に対応する知覚フィードバックを前記操作者に提供する仮想モードへ切替えるステップと、
を前記情報処理装置に実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、情報処理システム、情報処理方法、及びプログラムに関する。
【背景技術】
【0002】
ＡＭＲ（Autonomous Mobile Robot：自律移動ロボット）等の自律移動装置は、大局的な自律移動機能と、局所的な自律移動機能とを有している。大局的な自律移動機能は、ＳＬＡＭ（Simultaneous Localization And Mapping：自己位置推定と地図生成）を行い、目標位置までの大局的な移動経路を算出して自律的な移動を可能にする。局所的な自律移動機能は、人又は障害物等を検知し、副目標位置までの局所的な移動経路を算出して人又は障害物等を自律的な回避を可能にする。
【0003】
一方、移動ロボットにカメラ又はマイク等を搭載し、カメラの映像又はマイクの音声等をＰＣ（Personal Computer）等で確認しながら、操作者が移動ロボットを遠隔操作する遠隔操作型移動ロボットがある。遠隔操作型移動ロボットには、操作指示に合わせて補助的に動作を補正するＳＣ（Shared Control：共有制御）を行うものがある。共有制御によれば、人又は障害物等を検出した場合に、操作者と移動ロボットが協働して人又は障害物等を回避し、安全な移動を実現する。
【0004】
遠隔操作型の自律移動ロボットでは、操作指示と、ロボットのカメラ等によるフィードバックから把握されるロボットの自律動作との間に相違がある場合に操作者が違和感を覚えることがある。例えば操作者がカメラの映像から障害物を知覚できないときに自律移動装置が障害物を自律的に回避すると、操作者は、なぜ自律移動装置が指示通りに動作しないのかを直感的に理解できない。その結果、ロボットの自律動作と、操作者の操作によるロボットの期待動作との間で不一致が生じ、違和感を覚えることとなる。そこで、ＡＲ（Augmented Reality：拡張現実）技術を用いてロボットの将来の軌跡又は目標位置及び目標姿勢を可視化する技術が存在する（例えば非特許文献１）。
【発明の概要】
【発明が解決しようとする課題】
【0005】
非特許文献１には、ロボットの自律動作の将来の軌跡又は目標位置及び目標姿勢を可視化することが記載されている。可視化されたロボットの将来の軌跡等により、操作者がロボットの動作に違和感を覚える可能性は低下するものの、斯かる可視化技術は、操作者が意図した通りにロボットが動作することを補償するものではない。
【0006】
そこで、開示の技術は、自律移動装置を操作する操作者が操作に対応するフィードバックに違和感を覚えることなく所望の操作を行う技術を提供することを目的とする。
【課題を解決するための手段】
【0007】
開示の技術は、自律移動装置と通信可能な情報処理装置であって、前記自律移動装置に
対する操作者の操作指令を、現実世界に存在する前記自律移動装置と、前記現実世界を模した仮想世界に存在していて前記自律移動装置を模した仮想移動装置とに送出する操作指令処理部と、前記自律移動装置が前記操作者による前記自律移動装置の操作性を阻害する阻害因子を検出した場合に、前記現実世界における前記自律移動装置の自律動作に対応する知覚フィードバックを前記操作者に提供する現実モードから、前記仮想世界における前記仮想移動装置の前記操作指令に応じた動作に対応する知覚フィードバックを前記操作者に提供する仮想モードへ切替える仮想現実切替部と、を含む、情報処理装置である。
対する操作者の操作指令を、現実世界に存在する前記自律移動装置と、前記現実世界を模した仮想世界に存在していて前記自律移動装置を模した仮想移動装置とに送出する操作指令処理部と、前記自律移動装置が前記操作者による前記自律移動装置の操作性を阻害する阻害因子を検出した場合に、前記現実世界における前記自律移動装置の自律動作に対応する知覚フィードバックを前記操作者に提供する現実モードから、前記仮想世界における前記仮想移動装置の前記操作指令に応じた動作に対応する知覚フィードバックを前記操作者に提供する仮想モードへ切替える仮想現実切替部と、を含む、情報処理装置である。
【発明の効果】
【0008】
本開示によれば、自律移動装置を操作する操作者が操作に対応するフィードバックに違和感を覚えることなく所望の操作を行う技術を提供できる。
【図面の簡単な説明】
【0009】
【図1】第１実施形態に係る情報処理システムのシステム構成例を示す図である。
【図2】第１実施形態に係る自律移動装置のハードウェア構成例を示す図である。
【図3】第１実施形態に係る情報処理装置のハードウェア構成例を示す図である。
【図4】第１実施形態に係る情報処理システムの全体動作例を示す図である。
【図5】第１実施形態に係る自律移動装置と仮想移動装置の位置関係を示す図である。
【図6】第１実施形態に係る情報処理装置のユーザインタフェース例を示す図である。
【図7】第１実施形態に係る情報処理システムの機能構成例を示す図である。
【図8】第１実施形態に係る初期化シーケンス例を示す図である。
【図9】第１実施形態に係る現実モードシーケンス例を示す図である。
【図10】第１実施形態に係る仮想モードシーケンス例を示す図である。
【図11】第１実施形態に係る自律移動要否シーケンス例を示す図である。
【図12】第１実施形態に係る情報処理システムの機能構成の変形例を示す図である。
【図13】第１実施形態に係る仮想モードシーケンスの変形例を示す図である。
【図14】第２実施形態に係る情報処理システムのシステム構成例を示す図である。
【図15】第２実施形態に係る情報処理システムのハードウェア構成例を示す図である。
【図16】第２実施形態に係る情報処理装置のユーザインタフェース例を示す図である。
【発明を実施するための形態】
【0010】
以下、図面を参照して本開示の実施形態について詳細に説明する。
【0011】
（第１実施形態）
以下、情報処理システム１００のシステム構成について説明する。
＜システム構成＞
図１は、本実施形態に係る情報処理システム１００のシステム構成例を示す図である。情報処理システム１００は、自律移動装置２００と、自律移動装置２００に通信可能に接続して自律移動装置２００を操作する情報処理装置３００と、を備えている。
以下、情報処理システム１００のシステム構成について説明する。
＜システム構成＞
図１は、本実施形態に係る情報処理システム１００のシステム構成例を示す図である。情報処理システム１００は、自律移動装置２００と、自律移動装置２００に通信可能に接続して自律移動装置２００を操作する情報処理装置３００と、を備えている。
【0012】
自律移動装置２００は、例えばＡＭＲ（自律移動ロボット）である。自律移動装置２００は、大局的な自律移動機能と、局所的な自律移動機能とを有している。自律移動装置２００は、例えばＳＬＡＭ（自己位置推定と地図生成）を行い、目標位置までの大局的な移動経路を算出して自律的に移動する。また、自律移動装置２００は、例えば大局的な移動経路上で人又は障害物等を検出した場合、副目標位置までの局所的な移動経路を算出して人又は障害物等を自律的に回避する。
【0013】
また、自律移動装置２００は、操作者Ｏが情報処理装置３００を用いて遠隔操作する遠隔操作型移動ロボットである。自律移動装置２００は、操作者Ｏの操作指示に合わせて補助的に動作を補正するＳＣ（共有制御）を行う。操作者Ｏと自律移動装置２００は１つのタスクを共有し、協働して自律移動装置２００の制御を行う。自律移動装置２００は、ネットワークＮを介して情報処理装置３００に通信可能に接続する。
【0014】
情報処理装置３００は、例えばＰＣ（Personal Computer）である。情報処理装置３００は、通信機能を備えた装置であれば、ＰＣに限定されない。情報処理装置３００は、タブレット端末、スマートフォン、又はＰＤＡ（Personal Digital Assistant）等の情報処理装置でもよい。
【0015】
情報処理装置３００は、操作者Ｏの操作指示を処理した操作指令（例えば前進指令、後退指令、右信地旋回指令、左信地旋回指令、加速指令、及び減速指令等）を自律移動装置２００に送信する。自律移動装置２００は、大局的な移動経路に沿って自律的に移動する間、操作指令に合わせて補助的に動作を補正する。例えば、自律移動装置２００は、人又は障害物等を検出し、人又は障害物等を回避する局所的な移動経路を算出し、局所的な移動経路に沿って自律的に移動することで、操作指令に応じた動作を補正する。人又は障害物等は、操作者Ｏによる自律移動装置２００の操作性を阻害する阻害因子の一例である。また、情報処理装置３００と自律移動装置２００との間の通信遅延（タイムラグ）等も、操作者Ｏによる自律移動装置２００の操作性を阻害する阻害因子の一例である。
【0016】
＜ハードウェア構成＞
以下、情報処理システム１００のハードウェア構成について説明する。
以下、情報処理システム１００のハードウェア構成について説明する。
【0017】
【0018】
図１に示すように、自律移動装置２００は、本体２４０、一対の走行ユニット２３０、及び制御ユニット２１０を備えている。
【0019】
本体２４０は、金属等で形成した筐体であり、制御ユニット２１０を内蔵する。本体２４０は、一対の走行ユニット２３０を連結する２つの側面を備えている。
【0020】
走行ユニット２３０は、本体２４０の側面に連結した移動機構である。走行ユニット２３０は、例えばクローラ型の移動機構であり、自律移動装置２００に全方向移動と不整地移動を可能にする。走行ユニット２３０は、起動輪２３１、２つの転輪２３２、履帯２３３、及び支持体２３４を備えている。
【0021】
起動輪２３１は、２つの転輪２３２より上方に位置する。起動輪２３１は、後述の走行制御用モータ２０９によって駆動して回転し、履帯２３３に駆動力を伝達する。２つの転輪２３２は、起動輪２３１より下方に位置する。転輪２３２は、履帯２３３の動作に応じて回転する。履帯２３３は、金属又はゴム等で形成した複数の履板を連結した帯体である。履帯２３３は、起動輪２３１と２つの転輪２３２に掛け回す。支持体２３４は、起動輪２３１と２つの転輪２３２を回転可能に支持し、走行ユニット２３０を本体２４０に連結する。
【0022】
なお、走行ユニット２３０は、移動機能を備えた装置であれば、クローラ型に限定されない。走行ユニット２３０は、例えば車輪型、脚型、特殊型、又はこれらを任意に組合せた移動機構でもよい。
【0023】
制御ユニット２１０は、自律移動装置２００の全体動作を制御する。制御ユニット２１０は、無線通信機能、バッテリ機能、走行制御機能、及び知覚機能等を提供する。無線機能は、情報処理装置３００との通信を可能にする。バッテリ機能は、自律移動装置２００に電力を供給する。走行制御機能は、自律移動装置２００の走行制御を可能にする。知覚機能は、自律移動装置２００に視覚、聴覚、平衡覚、及び力覚等の知覚を付与する。
【0024】
図２に示すように、制御ユニット２１０は、無線モジュール２０１を備えている。また、制御ユニット２１０は、ＣＰＵ（Central Processing Unit）２０２、ＲＯＭ（Read Only Memory）２０３、及びＲＡＭ（Random Access Memory）２０４を備えている。或いは、制御ユニット２１０は、ＰＬＣ（Programmable Logic Controller）を備えていてもよい。さらに、制御ユニット２１０は、ＮＶＲＡＭ（Non Volatile Random Access Memory）２０５を備えている。
【0025】
制御ユニット２１０は、バッテリコントローラ２０６、及びバッテリ２０７をさらに備えている。また、制御ユニット２１０は、走行制御用モータドライバ２０８、及び２つの走行制御用モータ２０９を備えている。さらに、制御ユニット２１０は、知覚センサ２１１、及びバス２１２を備えている。
【0026】
無線モジュール２０１は、アンテナ、送受信回路、Ｄ／Ａ（Digital-to-Analog）変換器、及びＡ／Ｄ（Analog-to-Digital）変換器等を備えている。無線モジュール２０１は、ネットワークＮを介して情報処理装置３００に通信可能に接続する。無線モジュール２０１は、ネットワークＮを介して情報処理システム１００の外部にあるクラウドサーバ又はＰＣ等の外部装置に通信可能に接続し、各種プログラムを外部装置からダウンロードしてインストールを可能にする。
【0027】
ＣＰＵ２０２は、自律移動装置２００全体の動作を制御する。ＲＯＭ２０３は、ＩＰＬ（Initial Program Loader）等のＣＰＵ２０２の駆動に用いるプログラムを記憶する。ＲＡＭ２０４は、プログラムをロードする記憶領域として、又はロードしたプログラムのワークエリアとして使用する。ＮＶＲＡＭ２０５は、各種プログラム及びプログラムが利用する各種データを保存する不揮発性メモリの一例である。ＣＰＵ２０２は、ＲＡＭ２０４にロードした各種プログラムを実行することで各種機能を実現する。
【0028】
バッテリコントローラ２０６は、ＣＰＵ２０２の指令に応じてバッテリ２０７の充放電を制御する。バッテリ２０７は、例えばリチウムイオンバッテリ等の二次電池である。バッテリ２０７は、バッテリコントローラ２０６の指令に応じて充電し、バッテリコントローラ２０６の指令に応じて各種ハードウェアに電力を供給する。
【0029】
走行制御用モータドライバ２０８は、ＣＰＵ２０２の動作指令（位置指令及び速度指令等）に応じてモータ駆動信号を生成し、モータ駆動信号を２つの走行制御用モータ２０９に供給する。走行制御用モータ２０９は、モータ駆動信号に応じて回転し、起動輪２３１に回転力を伝達する。伝達効率を高めるため、走行制御用モータ２０９は、例えば起動輪２３１に内蔵したインホイールモータであるとよい。２つの走行制御用モータ２０９は、それぞれ走行ユニット２３０を駆動する。
【0030】
２つの走行制御用モータ２０９が正方向に回転すると、自律移動装置２００が前進する。２つの走行制御用モータ２０９が負方向に回転すると、自律移動装置２００が後退する。一方の走行制御用モータ２０９が停止し、他方の走行制御用モータ２０９が正方向に回転又は負方向に回転すると、自律移動装置２００が信地旋回する。一方の走行制御用モータ２０９が正方向に回転し、他方の走行制御用モータ２０９が負方向に回転すると、自律移動装置２００が超信地旋回する。
【0031】
なお、走行制御用モータ２０９は、走行制御用モータ２０９の回転角度及び回転速度等を検知するモータエンコーダを内蔵している。ＣＰＵ２０２は、モータエンコーダが検知した回転角度及び回転速度等に基づいて自律移動装置２００の位置を推定するオドメトリ（Odometry）機能を有している。なお、位置とは、例えば直交座標系の３軸（Ｘ軸、Ｙ軸、及びＺ軸）方向の位置である。
【0032】
知覚センサ２１１は、カメラ及びＬｉＤＡＲ（Light Detection And Ranging）を備えている。カメラ及びＬｉＤＡＲは、視覚センサの一例である。ＣＰＵ２０２は、ＬｉＤＡＲで時々刻々と検知する３次元点群データに基づいて自律移動装置２００の位置を推定する。或いは、知覚センサ２１１は、ＬｉＤＡＲの代わりにＴＯＦ（Time Of Flight）センサを備えていてもよい。ＣＰＵ２０２は、ＴＯＦセンサで時々刻々と検知する３次元点群データに基づいて自律移動装置２００の位置を推定する。
【0033】
或いは、知覚センサ２１１は、ＭＥＭＳ（Micro Electro Mechanical Systems）センサ又はＩＭＵ（Inertial Measurement Unit）等をさらに備えているとよい。ＭＥＭＳセンサ又はＩＭＵは、直交座標系の３軸方向の加速度と、直交座標系の３軸回りの角速度とを検知する。ＭＥＭＳセンサ又はＩＭＵは、平衡覚センサの一例である。ＣＰＵ２０２は、ＭＥＭＳセンサ又はＩＭＵで時々刻々と検知する加速度等に基づいて自律移動装置２００の位置を推定してもよい。
【0034】
また、知覚センサ２１１は、視覚センサ及び平衡覚センサに限定されない。例えば、知覚センサ２１１は、力覚センサ、触覚センサ、聴覚センサ、又はこれらを任意に組合せたセンサをさらに備えていてもよい。
【0035】
バス２１２は、各種ハードウェア間を電気的に接続する。バス２１２は、データ線、アドレス線、制御線等の各種信号線を備えている。バス２１２は、各種ハードウェア間のデータの送受信及び制御等に使用する。
【0036】
【0037】
情報処理装置３００は、ＣＰＵ３０１、ＲＯＭ３０２、ＲＡＭ３０３、ＨＤ３０４、及びＨＤＤコントローラ３０５を備えている。また、情報処理装置３００は、ディスプレイ３０６、外部機器接続Ｉ／Ｆ３０８、ネットワークＩ／Ｆ３０９、及びバス３１０を備えている。さらに、情報処理装置は、キーボード３１１、ポインティングデバイス３１２、光学ドライブ３１４、及びメディアＩ／Ｆ３１６を備えている。
【0038】
ＣＰＵ３０１は、情報処理装置全体の動作を制御する。ＲＯＭ３０２は、ＩＰＬ等のＣＰＵ３０１の駆動に用いるプログラムを記憶する。ＲＡＭ３０３は、ＣＰＵ３０１のワークエリアとして使用する。ＨＤ３０４は、プログラム等の各種データを記憶する。ＨＤ３０４は、不揮発性ストレージの一例である。ＨＤＤコントローラ３０５は、ＣＰＵ３０１の制御に従ってＨＤ３０４に対する各種データの読出し又は書込みを制御する。
【0039】
ディスプレイ３０６は、カーソル、メニュー、ウィンドウ、文字、又は画像等の各種情報を表示する。外部機器接続Ｉ／Ｆ３０８は、各種の外部機器を接続するためのインタフェースである。外部機器は、例えば、ＵＳＢ（Universal Serial Bus）メモリ、プリンタ等を含む。ネットワークＩ／Ｆ３０９は、ネットワークを介してデータ通信を行うためのインタフェースである。
【0040】
ネットワークＩ／Ｆ３０９は、ネットワークＮを介して自律移動装置２００に通信可能に接続する。ネットワークＩ／Ｆ３０９は、ネットワークＮを介して情報処理システム１００の外部にあるクラウドサーバ又はＰＣ等の外部装置に通信可能に接続し、各種プログラムを外部装置からダウンロードしてインストールを可能にする。バス３１０は、ＣＰＵ３０１等の各種ハードウェア間を電気的に接続する。バス３１０は、アドレスバス、データバス等を含む。
【0041】
キーボード３１１は、文字、数値、各種指示等の入力のための複数のキーを備えた自律移動装置２００の操作手段の一例である。ポインティングデバイス３１２は、各種指示の選択又は実行、処理対象の選択、カーソルの移動等を行う自律移動装置２００の操作手段の一例である。
【0042】
光学ドライブ３１４は、着脱可能な記録媒体３１３に対する各種データの読出し又は書込みを制御する。なお、記録媒体３１３は、ＣＤ－Ｒ、ＣＤ－ＲＷ、ＤＶＤ－Ｒ、又はＤＶＤ－ＲＷ等を含む。メディアＩ／Ｆ３１６は、フラッシュメモリ等のメディア３１５に対するデータの読出し又は書込みを制御する。メディア３１５は、不揮発性メモリの一例である。
【0043】
＜情報処理システムの全体動作例＞
以下、本実施形態に係る情報処理システム１００の全体動作について説明する。図４は、本実施形態に係る情報処理システム１００の全体動作を示す図である。
以下、本実施形態に係る情報処理システム１００の全体動作について説明する。図４は、本実施形態に係る情報処理システム１００の全体動作を示す図である。
【0044】
情報処理装置３００は、現実モードと仮想モードを切替える処理モード切替機能を有している。現実モードとは、現実世界ＲＷに存在する自律移動装置２００の動作に対応する知覚フィードバックを操作者Ｏに提供する処理モードである。仮想モードとは、現実世界ＲＷを模した仮想世界ＶＷに存在していて自律移動装置２００を模した仮想移動装置ＶＭの動作に対応する知覚フィードバックを操作者Ｏに提供する処理モードである。
【0045】
なお、仮想世界ＶＷは、現実世界ＲＷを模した３次元モデルであり、仮想移動装置ＶＭは、自律移動装置２００を模した３次元モデルである。仮想世界ＶＷの３次元モデルは、ＬｉＤＡＲで検知した現実世界ＲＷの３次元点群データ又はカメラセンサで取得した画像データから事前に構築するか、或いはリアルタイムに構築する。仮想移動装置ＶＭの３次元モデルは、ＬｉＤＡＲ等で検知した自律移動装置２００の３次元点群データから事前に構築する。
【0046】
また、知覚フィードバックとは、現実世界ＲＷ又は仮想世界ＶＷから知覚する任意の知覚フィードバックを含む。例えば、知覚フィードバックは、視覚フィードバック、触覚フィードバック、力覚フィードバック、聴覚フィードバック、平衡覚フィードバック、又はこれらを任意に組合せた知覚フィードバックを含む。現実世界ＲＷの現実画像又は仮想世界ＶＷの仮想画像は、視覚フィードバックの一例である。現実画像はカメラ等で検知した現実世界の映像から取得し、仮想画像は仮想世界ＶＷの３次元モデルから取得する。３次元モデルは、３Ｄ点群から明示的に作成したモデルでもよいし、ニューラルネットワーク等で暗示的に作成したモデルでもよい。
【0047】
情報処理装置３００は、ユーザインタフェース部３２０を備えている。ユーザインタフェース部３２０は、操作指令処理部３２１、及び仮想現実切替部３２２を備えている。ユーザインタフェース部３２０の各種機能は、情報処理装置３００にインストールした１以上のプログラムがＣＰＵ３０１等のプロセッサに実行させる処理によって実現する。
【0048】
操作指令処理部３２１は、操作者Ｏの操作指示を処理した操作指令を自律移動装置２００又は仮想移動装置ＶＭに送出する。自律移動装置２００は、操作指令に応じて現実世界ＲＷの環境Ｅの下で移動し、現実世界ＲＷの知覚フィードバックをユーザインタフェース部３２０に提供する。仮想移動装置ＶＭは、操作指令に応じて仮想世界ＶＷの環境Ｅの下で移動し、仮想世界ＶＷの知覚フィードバックをユーザインタフェース部３２０に提供する。
【0049】
ユーザインタフェース部３２０は、現実世界ＲＷ又は仮想世界ＶＷの知覚フィードバックを操作者Ｏに提供する。操作者Ｏは、ユーザインタフェース部３２０を介して知覚フィードバックを確認しながら自律移動装置２００又は仮想移動装置ＶＭに対して操作指示を行う。操作指令処理部３２１は、操作指示を処理した操作指令を自律移動装置２００又は仮想移動装置ＶＭに送出する。
【0050】
自律移動装置２００が操作者Ｏによる自律移動装置２００の操作性を阻害する阻害因子（人又は障害物等）を検出した場合、仮想現実切替部３２２は現実モードから仮想モードに切替える。
【0051】
現実モードから仮想モードに切替えた後、操作指令処理部３２１は操作者Ｏの操作指示を処理した操作指令を仮想移動装置ＶＭに送出する。仮想移動装置ＶＭは、操作指令に応じて仮想世界ＶＷの環境Ｅの下で移動し、仮想世界ＶＷの知覚フィードバックをユーザインタフェース部３２０に提供する。ユーザインタフェース部３２０は、仮想世界ＶＷの知覚フィードバックを操作者Ｏに提供する。操作者Ｏは、ユーザインタフェース部３２０を介して知覚フィードバックを確認しながら仮想移動装置ＶＭに対して操作指示を行い、操作指令処理部３２１は、操作指示を処理した操作指令を仮想移動装置ＶＭに送出する。
【0052】
現実モードから仮想モードに切替えた後、自律移動装置２００が阻害因子（人又は障害物等）を回避した場合、仮想現実切替部３２２が仮想モードから現実モードに戻す。
【0053】
操作指令処理部３２１は、現実モードでは操作指令を自律移動装置２００に送信する。自律移動装置２００は、操作指令に応じて現実世界ＲＷの環境Ｅの下で移動し、現実世界ＲＷの知覚フィードバックをユーザインタフェース部３２０に提供する。ユーザインタフェース部３２０は、現実世界ＲＷの知覚フィードバックを操作者Ｏに提供する。操作者Ｏは、ユーザインタフェース部３２０を介して知覚フィードバックを確認しながら自律移動装置２００に対して操作指示を行い、操作指令処理部３２１は、操作指示を処理した操作指令を自律移動装置２００に送出する。
【0054】
以降、ユーザインタフェース部３２０は、自律移動装置２００が操作者Ｏによる自律移動装置２００の操作性を阻害する阻害因子ＯＢ（人又は障害物等）の検出結果に応じて、現実モードと仮想モードとの間で状態遷移を繰返す。
【0055】
＜自律移動装置と仮想移動装置の位置関係＞
以下、自律移動装置２００と仮想移動装置ＶＭの位置関係について説明する。図５は、本実施形態に係る自律移動装置２００と仮想移動装置ＶＭの位置関係を示す図である。図中、実線の矢印は過去の軌跡を示し、破線の矢印は未来の軌跡を示している。
以下、自律移動装置２００と仮想移動装置ＶＭの位置関係について説明する。図５は、本実施形態に係る自律移動装置２００と仮想移動装置ＶＭの位置関係を示す図である。図中、実線の矢印は過去の軌跡を示し、破線の矢印は未来の軌跡を示している。
【0056】
図５（Ａ）の列は、現実空間ＲＳに存在する自律移動装置２００が仮想空間ＶＳに存在する仮想移動装置ＶＭに追従して自律的に移動する様子を示している。第１の時刻Ｔ１では、自律移動装置２００が仮想移動装置ＶＭの第１の位置Ｐ１に追従して自律的に移動している。第２の時刻Ｔ２では、仮想移動装置ＶＭが第２の位置Ｐ２で停止し、自律移動装置２００が仮想移動装置ＶＭの位置Ｐ２に追従して自律的に移動している。第３の時刻Ｔ３では、自律移動装置２００が仮想移動装置ＶＭに追いつき、第２の位置Ｐ２で停止している。
【0057】
図５（Ｂ）の列は、自律移動装置２００が人又は障害物等の阻害因子ＯＢを検出し、阻害因子ＯＢを自律的に回避する様子を示している。第１の時刻Ｔ１では、自律移動装置２００が操作者Ｏによる自律移動装置２００の操作性を阻害する阻害因子ＯＢ（人又は障害物等）を検出している。第２の時刻Ｔ２では、仮想移動装置ＶＭの未来の軌跡上にある有効な点を自律移動装置２００の副目標位置ＳＰに設定している。第３の時刻Ｔ３では、自律移動装置２００が副目標位置ＳＰに応じて阻害因子ＯＢを自律的に回避する局所的な移動経路ＭＲを算出し、局所的な移動経路ＭＲに沿って副目標位置ＳＰまで移動している。
【0058】
第１の時刻Ｔ１に示すように、現実空間ＲＳにおいて仮想移動装置ＶＭの位置Ｐ１に阻害因子ＯＢがある場合、仮想世界ＶＷでは仮想移動装置ＶＭが阻害因子ＯＢを通過しているため、操作者Ｏは阻害因子ＯＢに気づかない。なお、仮想世界ＶＷの３次元モデルを事前に構築した場合は、阻害因子ＯＢ自体が仮想世界ＶＷに存在しない。そこで、自律移動装置２００は自律的に阻害因子ＯＢを回避する必要がある。
【0059】
一方、現実空間ＲＳにおいて仮想移動装置ＶＭの未来の軌跡上に阻害因子ＯＢがある場合、仮想モードでは仮想移動装置ＶＭの前方に阻害因子ＯＢがあるため、操作者Ｏが阻害因子ＯＢに気づく。従って、仮想モードである必要はなく、現実モードにおいて、操作者Ｏが自律移動装置２００を操作して阻害因子ＯＢを回避するか、又は自律移動装置２００が阻害因子ＯＢを自律的に回避してもよい。
【0060】
また、第３の時刻Ｔ３に示すように、仮想移動装置ＶＭが直進し、自律移動装置２００が阻害因子ＯＢを自律的に回避する場合、仮想移動装置ＶＭが自律移動装置２００より先に進んでしまう。従って、ユーザインタフェース部３２０が仮想モードから現実モードに切替えた場合には、操作者Ｏに違和感を与える。従って、仮想移動装置ＶＭの速度を減速させる必要がある。
【0061】
＜ユーザインタフェース＞
以下、情報処理装置３００のユーザインタフェースについて説明する。図６は、本実施形態に係る情報処理装置３００のユーザインタフェース例を示す図である。
以下、情報処理装置３００のユーザインタフェースについて説明する。図６は、本実施形態に係る情報処理装置３００のユーザインタフェース例を示す図である。
【0062】
ユーザインタフェース部３２０は、自律移動装置２００又は仮想移動装置ＶＭに対する操作指示（走行指示）を、情報処理装置３００のキーボード３１１の各種キーに割当てる。例えば、ユーザインタフェース部３２０は、前進指示を上矢印キーＦに割当て、後退指示を下矢印キーＢに割当てる。また、ユーザインタフェース部３２０は、右信地旋回を右矢印キーＲに割当て、左信地旋回を左矢印キーＬに割当てる。さらに、ユーザインタフェース部３２０は、加速指示をＡキーＡに割当て、減速指示をＢキーＢに割当てる。
【0063】
なお、自律移動装置２００が大局的な移動経路に沿って自律的に移動する場合、操作者Ｏは加速又は減速のみを指示すればよいため、ユーザインタフェース部３２０は、加速指示と減速指示を任意のキーに割当てればよい。また、キーボード３１１は、ハードウェアキーボードではなく、ソフトウェアキーボードでもよい。
【0064】
現実モードでは、ユーザインタフェース部３２０が情報処理装置３００のディスプレイ３０６に現実世界ＲＷの知覚フィードバックである現実画像ＲＩを表示する。また、仮想モードでは、ユーザインタフェース部３２０が情報処理装置３００のディスプレイ３０６に仮想世界ＶＷの知覚フィードバックである仮想画像ＶＩを表示する。
【0065】
自律移動装置２００が知覚センサ２１１を用いて阻害因子ＯＢ（例えば移動する人）を検出した場合、ユーザインタフェース部３２０が現実モードから仮想モードに切替える。現実モードでは、操作者Ｏは現実世界ＲＷにおける自律移動装置２００の自律動作ＡＭを知覚するが、仮想モードでは、操作者Ｏは仮想世界ＶＷにおける仮想移動装置ＶＭの手動動作ＭＭしか知覚しない。従って、仮想モードでは、自律移動装置２００が操作者Ｏの指示に応じた手動動作ＭＭとは異なる自律動作ＡＭを行うことを操作者Ｏに感じさせない。
【0066】
ユーザインタフェース部３２０が現実モードから仮想モードに切替えた後、ユーザインタフェース部３２０は、自律移動装置２００と仮想移動装置ＶＭの位置偏差ＰＤが小さくなるように仮想移動装置ＶＭの手動動作ＭＭにおける位置変化を自動的に減速させる。
【0067】
現実世界ＲＷにおいて仮想移動装置ＶＭの位置ＶＰに阻害因子ＯＢがある場合、仮想モードでは操作者Ｏが阻害因子ＯＢに気づかない。したがって、情報処理装置３００は、阻害因子ＯＢを自律的に回避して副目標位置ＳＰまで移動する自律移動を自律移動装置２００に要求する。
【0068】
自律移動装置２００は、自律移動装置２００の位置ＲＰから副目標位置ＳＰまでの阻害因子ＯＢを回避する局所的な移動経路を算出し、移動経路に沿った自律動作ＡＭを行い、副目標位置ＳＰまで移動する。自律移動装置２００が阻害因子ＯＢを回避して副目標位置ＳＰに到達した場合、情報処理装置３００は仮想モードから現実モードに戻す。
【0069】
＜機能構成＞
以下、情報処理システム１００の機能構成について説明する。図７は、本実施形態に係る情報処理システム１００の機能構成例を示す図である。
以下、情報処理システム１００の機能構成について説明する。図７は、本実施形態に係る情報処理システム１００の機能構成例を示す図である。
【0070】
自律移動装置２００は、実制御部２２０を備えている。実制御部２２０は、現実世界ＲＷにおける自律移動装置２００の実際の動作を制御する。実制御部２２０は、共有制御部２２１、自律移動制御部２２２、実移動制御部２２３、実自己位置推定部２２４、及び現実知覚処理部２２５を備えている。なお、自律移動装置２００の少なくとも一部の機能は、情報処理装置３００に担当させてもよいし、情報処理システム１００の外部にある他の装置に分散処理させてもよい。
【0071】
実制御部２２０の各種機能は、自律移動装置２００（コンピュータ）にインストールした１以上のプログラムがＣＰＵ２０２等のプロセッサに実行させる処理によって実現する。例えば、共有制御部２２１、自律移動制御部２２２、実移動制御部２２３、実自己位置推定部２２４、及び現実知覚処理部２２５は、プログラムモジュールとして構成する。
【0072】
情報処理装置３００は、ユーザインタフェース部３２０、及び仮想制御部３３０を備えている。ユーザインタフェース部３２０は、操作者Ｏの操作指示を取得し、知覚フィードバックを操作者Ｏに提供する。ユーザインタフェース部３２０は、操作指令処理部３２１、仮想現実切替部３２２、及び表示制御部３２３を備えている。
【0073】
仮想制御部３３０は、仮想世界ＶＷにおける仮想移動装置ＶＭの動作を制御する。仮想制御部３３０は、仮想自己位置推定部３３１、仮想移動制御部３３２、及び仮想知覚処理部３３３を備えている。なお、情報処理装置３００の少なくとも一部の機能は、自律移動装置２００に担当させてもよいし、情報処理システム１００の外部にある他の装置に分散処理させてもよい。
【0074】
ユーザインタフェース部３２０及び仮想制御部３３０の各種機能は、情報処理装置３００（コンピュータ）にインストールした１以上のプログラムがＣＰＵ３０１等のプロセッサに実行させる処理によって実現する。例えば、操作指令処理部３２１、仮想現実切替部３２２、表示制御部３２３、仮想自己位置推定部３３１、仮想移動制御部３３２、及び仮想知覚処理部３３３は、プログラムモジュールとして構成する。
【0075】
共有制御部２２１は、操作者Ｏの操作指令に合わせて補助的に自律移動装置２００の動作を補正するＳＣ（共有制御）機能を有している。共有制御部２２１は、知覚センサ２１１を用いて阻害因子ＯＢ（人又は障害物等）を検出する。自律移動装置２００が例えば知覚センサ２１１としてＬｉＤＡＲを備えている場合、共有制御部２２１は、例えば自律移動装置２００の進行方向に存在する物体との距離をもとに障害物の有無を検出する。共有制御部２２１は、阻害因子ＯＢがない場合は、操作指令処理部３２１の操作指令を処理した動作指令（位置指令等）を実移動制御部２２３に送出する。共有制御部２２１は、阻害因子ＯＢがある場合は、阻害因子ＯＢを自律的に回避するため、阻害因子検出通知を仮想現実切替部３２２に送信する。
【0076】
また、共有制御部２２１は、阻害因子ＯＢにより自律移動装置２００による自律移動が阻害されることを検出した場合、回避不能な阻害因子ＯＢを検出した旨を阻害因子検出通知として仮想現実切替部３２２に送信してもよい。回避不能な阻害因子ＯＢには、自律移動装置２００の通行を阻害する、人および障害物等のいずれかが少なくとも含まれる。例えば、移動する人、動的な障害物、および静的な障害物であっても動き出す障害物等は、回避不能な阻害因子ＯＢの一例である。さらに、先に検出された阻害因子ＯＢとは異なる別の阻害因子が、自律移動装置２００の通行を阻害することもあり、共有制御部２２１は、別の阻害因子を検出した場合に、阻害因子検出通知を仮想現実切替部３２２に送信してもよい。なお、阻害因子ＯＢの検出機能は、共有制御部２２１が担当するのではなく、他の機能部が担当してもよい。
【0077】
自律移動制御部２２２は、大局的な自律移動機能と、局所的な自律移動機能とを有している。大局的な自律移動機能は、ＳＬＡＭ（自己位置推定と地図生成）を行い、目標位置までの大局的な移動経路を算出し、大局的な移動経路に沿った自律的な移動を可能にする。局所的な自律移動機能は、副目標位置ＳＰまでの局所的な移動経路を算出し、阻害因子ＯＢの自律的な回避を可能にする。
【0078】
自律移動制御部２２２は、仮想現実切替部３２２の自律移動要求（目標位置）に応じて目標位置までの大局的な移動経路に沿った動作指令（位置指令等）を実移動制御部２２３に送出する。また、自律移動制御部２２２は、仮想現実切替部３２２の自律移動要求（副目標位置ＳＰ）に応じて副目標位置ＳＰまでの局所的な移動経路ＭＲに沿った動作指令（位置指令等）を実移動制御部２２３に送出する。
【0079】
実移動制御部２２３は、共有制御部２２１の動作指令（位置指令等）又は自律移動制御部２２２の動作指令（位置指令等）を処理して走行制御用モータドライバ２０８に動作指令（位置指令及び速度指令等）を送出する。動作指令は、モータの位置指令、速度指令、及び加速度指令等を含む。
【0080】
実自己位置推定部２２４は、現実世界ＲＷにおける自律移動装置２００の位置ＲＰを推定する機能を有している。実自己位置推定部２２４は、例えばモータエンコーダ、ＬｉＤＡＲ、ＴＯＦセンサ、ＭＥＭＳセンサ、又はＩＭＵ等の知覚センサ２１１を用いて自律移動装置２００の位置ＲＰを推定する。なお、位置とは、例えば直交座標系における３軸（Ｘ軸、Ｙ軸、及びＺ軸）方向の位置である。実自己位置推定部２２４は、仮想現実切替部３２２の自己位置要求に応じて自律移動装置２００の位置ＲＰを仮想現実切替部３２２に送信する。
【0081】
現実知覚処理部２２５は、知覚センサ２１１（例えばカメラ）を用いて現実世界ＲＷの知覚フィードバックである現実画像ＲＩを表示制御部３２３に時々刻々と送信する。なお、現実知覚処理部２２５は、知覚センサ２１１（例えばマイク、力センサ、及びＭＥＭＳセンサ等）を用いて現実世界ＲＷの知覚フィードバックである音声、力覚、及び平衡覚等を出力制御部に時々刻々と送信してもよい。
【0082】
操作指令処理部３２１は、操作者Ｏの操作指示を処理した操作指令を共有制御部２２１に送信する。また、操作指令処理部３２１は、操作者Ｏの操作指示を処理した操作指令を仮想移動制御部３３２に送出する。
【0083】
仮想現実切替部３２２は、操作指令処理部３２１と表示制御部３２３に処理モードを通知する。仮想現実切替部３２２は、操作者Ｏの操作開始指示に応じて現実モードに初期化する。仮想現実切替部３２２は、共有制御部２２１から阻害因子検出通知を受信する。仮想現実切替部３２２は、阻害因子検出通知に応じて現実モードから仮想モードに切替える。
【0084】
仮想現実切替部３２２は、実自己位置推定部２２４から自律移動装置２００の位置ＲＰを受信すると共に、仮想自己位置推定部３３１から仮想移動装置ＶＭの位置ＶＰを取得する。仮想現実切替部３２２は、自律移動装置２００の位置ＲＰと仮想移動装置ＶＭの位置ＶＰとの位置偏差ＰＤが小さくなるように仮想移動装置ＶＭの位置調整を行う。例えば仮想現実切替部３２２は、仮想移動装置ＶＭの速度調整を行い、仮想移動装置ＶＭの位置変化を自動的に減速する。
【0085】
また、現実世界ＲＷにおいて仮想移動装置ＶＭの位置に阻害因子ＯＢがある場合は、仮想世界ＶＷでは仮想移動装置ＶＭが阻害因子ＯＢを通過しているため、操作者Ｏが仮想モードで阻害因子ＯＢに気づかない。そこで、仮想現実切替部３２２は、阻害因子を自律的に回避する必要があると判定し、阻害因子ＯＢを自律的に回避する自律移動を自律移動装置２００に要求する。
【0086】
一方、現実世界ＲＷにおいて仮想移動装置ＶＭの未来の軌跡上に阻害因子ＯＢがある場合は、仮想モードでは仮想移動装置ＶＭの前方に阻害因子ＯＢがあるため、操作者Ｏが仮想モードで阻害因子ＯＢに気づく。そこで、仮想現実切替部３２２は、仮想モードは必要ないと判定し、仮想モードから現実モードに戻す。
【0087】
表示制御部３２３は、仮想現実切替部３２２の処理モード通知（現実モード又は仮想モード）に応じて現実世界ＲＷの知覚フィードバックである現実画像ＲＩ又は仮想世界ＶＷの知覚フィードバックである仮想画像ＶＩをディスプレイ３０６に表示する。
【0088】
仮想自己位置推定部３３１は、仮想世界ＶＷにおける仮想移動装置ＶＭの位置ＶＰを推定する機能を有している。仮想自己位置推定部３３１は、例えば操作指令（前進指令、後退指令、右信地旋回指令、左信地旋回指令、加速指令、及び減速指令等）を用いて仮想移動装置ＶＭの位置ＶＰを推定する。仮想自己位置推定部３３１は、仮想現実切替部３２２の自己位置要求に応じて仮想移動装置ＶＭの位置ＶＰを仮想現実切替部３２２に送出する。
【0089】
仮想移動制御部３３２は、操作指令処理部３２１から操作指令を取得する。仮想移動制御部３３２は、操作指令処理部３２１の操作指令に従って仮想移動装置ＶＭの動作を制御する。
【0090】
仮想知覚処理部３３３は、知覚センサ２１１（例えばＬｉＤＡＲ）を用いて現実世界ＲＷを模した仮想世界ＶＷの知覚フィードバックである仮想画像ＶＩを表示制御部３２３に時々刻々と送出する。なお、仮想知覚処理部３３３は、知覚センサ２１１（例えばマイク、力センサ、及びＭＥＭＳセンサ等）を用いて現実世界ＲＷを模した仮想世界ＶＷの知覚フィードバックである仮想音声、仮想力覚、及び仮想平衡覚等を出力制御部に時々刻々と送信してもよい。
【0091】
【0092】
＜＜初期化シーケンス＞＞
図８は、本実施形態に係る情報処理システム１００の初期化シーケンス例を示す図である。操作者Ｏが操作開始指示を行うと（ステップＳ１０１）、仮想現実切替部３２２が処理モードを現実モードに初期化する（ステップＳ１０２）。仮想現実切替部３２２は、表示制御部３２３に処理モード（現実モード）を通知する（ステップＳ１０３）。
図８は、本実施形態に係る情報処理システム１００の初期化シーケンス例を示す図である。操作者Ｏが操作開始指示を行うと（ステップＳ１０１）、仮想現実切替部３２２が処理モードを現実モードに初期化する（ステップＳ１０２）。仮想現実切替部３２２は、表示制御部３２３に処理モード（現実モード）を通知する（ステップＳ１０３）。
【0093】
表示制御部３２３は、処理モード通知（現実モード）に応じて現実知覚処理部２２５に知覚フィードバックを要求する（ステップＳ１０５）。現実知覚処理部２２５は、知覚フィードバック要求に応じて現実世界ＲＷの知覚フィードバック（現実画像ＲＩ等）を表示制御部３２３に応答する（ステップＳ１０６）。表示制御部３２３は、現実世界ＲＷの知覚フィードバックである現実画像ＲＩをディスプレイ３０６に表示する（ステップＳ１０７）。
【0094】
また、仮想現実切替部３２２は、操作指令処理部３２１に処理モード（現実モード）を通知する（ステップＳ１０４）。
【0095】
＜＜現実モードシーケンス＞＞
図９は、本実施形態に係る現実モードシーケンス例を示す図である。現実モードにおいて、操作者Ｏは、現実画像ＲＩを表示するユーザインタフェース部３２０に対して操作指示を行う（ステップＳ２０１）。操作指令処理部３２１は、操作指示を処理した操作指令を共有制御部２２１に送信する（ステップＳ２０２）。共有制御部２２１は、操作指令に応じて阻害因子ＯＢ（人又は障害物等）を検出する（ステップＳ２０３）。
図９は、本実施形態に係る現実モードシーケンス例を示す図である。現実モードにおいて、操作者Ｏは、現実画像ＲＩを表示するユーザインタフェース部３２０に対して操作指示を行う（ステップＳ２０１）。操作指令処理部３２１は、操作指示を処理した操作指令を共有制御部２２１に送信する（ステップＳ２０２）。共有制御部２２１は、操作指令に応じて阻害因子ＯＢ（人又は障害物等）を検出する（ステップＳ２０３）。
【0096】
阻害因子ＯＢがない場合、共有制御部２２１は、操作指令を実移動制御部２２３に送出する（ステップＳ２０４）。実移動制御部２２３は、操作指令に応じて自律移動装置２００の実際の動作を制御する。阻害因子ＯＢがある場合、共有制御部２２１は、阻害因子検出通知を仮想現実切替部３２２に送信する（ステップＳ２０５）。
【0097】
仮想現実切替部３２２は、阻害因子検出通知に応じて現実モードから仮想モードに切替える（ステップＳ２０６）。仮想現実切替部３２２は、表示制御部３２３に処理モード（仮想モード）を通知する（ステップＳ２０７）。
【0098】
表示制御部３２３は、処理モード通知（仮想モード）に応じて知覚フィードバックを仮想知覚処理部３３３に要求する（ステップＳ２０８）。仮想知覚処理部３３３は、仮想世界ＶＷの知覚フィードバック（仮想画像ＶＩ等）を表示制御部３２３に応答する（ステップＳ２０９）。表示制御部３２３は、仮想世界ＶＷの知覚フィードバックである仮想画像ＶＩをディスプレイ３０６に表示する（ステップＳ２１０）。
【0099】
また、仮想現実切替部３２２は、操作指令処理部３２１に処理モード（仮想モード）を通知する（ステップＳ２１１）。
【0100】
＜＜仮想モードシーケンス＞＞
図１０は、本実施形態に係る仮想モードシーケンス例を示す図である。現実モードから仮想モードに切替えた後、操作者Ｏは、仮想画像ＶＩを表示するユーザインタフェース部３２０に対して操作指示を行う（ステップＳ３０１）。操作指令処理部３２１は、操作指示を処理した操作指令を仮想移動制御部３３２に送出する（ステップＳ３０２）。仮想移動制御部３３２は、操作指令に応じて仮想移動装置ＶＭの動作を制御する。
図１０は、本実施形態に係る仮想モードシーケンス例を示す図である。現実モードから仮想モードに切替えた後、操作者Ｏは、仮想画像ＶＩを表示するユーザインタフェース部３２０に対して操作指示を行う（ステップＳ３０１）。操作指令処理部３２１は、操作指示を処理した操作指令を仮想移動制御部３３２に送出する（ステップＳ３０２）。仮想移動制御部３３２は、操作指令に応じて仮想移動装置ＶＭの動作を制御する。
【0101】
仮想現実切替部３２２は、共有制御部２２１に対し、自律移動装置２００が自律的に回避できない阻害因子ＯＢの有無を取得するように要求する（ステップＳ３３０）。共有制御部２２１は、現実知覚処理部２２５に対し、阻害因子ＯＢを撮影した画像を取得するように要求する（ステップＳ３３１）。現実知覚処理部２２５は、カメラ等の知覚センサ２１１から取得した阻害因子ＯＢの画像を共有制御部２２１に応答する（ステップＳ３３２）。
【0102】
共有制御部２２１は、阻害因子ＯＢを写した画像に基づき、自律移動装置２００の自律移動が阻害因子ＯＢにより阻害されるかを検出して、回避不能な阻害因子ＯＢの有無を阻害因子検出通知として仮想現実切替部３２２に送信する（ステップＳ３３３）。回避不能な阻害因子ＯＢ（例えば動的な障害物）が有る場合、仮想現実切替部３２２は、処理モードを仮想モードから現実モードに切替える（ステップＳ３３４）。回避不能な阻害因子ＯＢが無い場合、仮想現実切替部３２２は、ステップＳ３０３に進む。
【0103】
回避不能な阻害因子ＯＢが有る場合、仮想現実切替部３２２は、処理モード（現実モード）を表示制御部３２３に通知する。表示制御部３２３は、処理モード通知（現実モード）に応じて知覚フィードバック（現実画像ＲＩ等）を現実知覚処理部２２５に要求する（ステップＳ３３６）。現実知覚処理部２２５は、知覚フィードバック要求に応じて現実世界ＲＷの知覚フィードバック（現実画像ＲＩ）を表示制御部３２３に応答する（ステップＳ３３７）。表示制御部３２３は、現実世界ＲＷの知覚フィードバックである現実画像ＲＩをディスプレイ３０６に表示する（ステップＳ３３８）。また仮想現実切替部３２２は、操作指令処理部３２１にも処理モード（現実モード）を通知する（ステップＳ３３９）。そして、情報処理システム１００は、図９に示す現実モードシーケンスの処理に戻る。
【0104】
回避不能な阻害因子ＯＢが無い場合、仮想現実切替部３２２は、仮想世界ＶＷにおける仮想移動装置ＶＭの位置ＶＰを仮想自己位置推定部３３１に要求する（ステップＳ３０３）。仮想自己位置推定部３３１は、自己位置要求に応じて仮想世界ＶＷにおける仮想移動装置ＶＭの位置ＶＰを推定し、仮想移動装置ＶＭの位置ＶＰを仮想現実切替部３２２に応答する（ステップＳ３０４）。
【0105】
また、仮想現実切替部３２２は、現実世界ＲＷにおける自律移動装置２００の位置ＲＰを実自己位置推定部２２４に要求する（ステップＳ３０５）。実自己位置推定部２２４は、自己位置要求に応じて現実世界ＲＷにおける自律移動装置２００の位置ＲＰを推定し、自律移動装置２００の位置ＲＰを仮想現実切替部３２２に応答する（ステップＳ３０６）。
【0106】
仮想現実切替部３２２は、自律移動装置２００の位置ＲＰと仮想移動装置ＶＭの位置ＶＰとの位置偏差ＰＤを算出する（ステップＳ３０７）。仮想現実切替部３２２は、自律移動装置２００と仮想移動装置ＶＭの位置偏差ＰＤを操作指令処理部３２１に通知する（ステップＳ３０８）。
【0107】
操作指令処理部３２１は、自律移動装置２００と仮想移動装置ＶＭの位置偏差ＰＤが小さくなるように仮想移動装置ＶＭの位置調整を行う（ステップＳ３０９）。例えば、仮想移動装置ＶＭが直進し、自律移動装置２００が阻害因子ＯＢを回避する場合、仮想移動装置ＶＭは自律移動装置２００より先に進んでしまう。そこで、操作指令処理部３２１は、仮想移動装置ＶＭの速度調整を行い、仮想移動装置ＶＭの位置変化を自動的に減速させる。
【0108】
仮想現実切替部３２２は、自律移動装置２００の自律移動の要否を判定する（ステップＳ３１０）。現実世界ＲＷにおいて仮想移動装置ＶＭの位置ＶＰに阻害因子ＯＢがある場合は、仮想現実切替部３２２は、自律移動装置２００が自律的に阻害因子ＯＢを回避する必要があると判定する。一方、現実世界ＲＷにおいて仮想移動装置ＶＭの未来の軌跡上に阻害因子ＯＢがある場合は、仮想現実切替部３２２は、仮想モードは必要ないと判定する。
【0109】
仮想現実切替部３２２は、自律移動装置２００の自律移動を必要とする場合は、仮想モードの自律移動要シーケンスに移行し、仮想モードを必要としない場合は、仮想モードの自律移動否シーケンスに移行する。
【0110】
＜＜自動移動要否シーケンス＞＞
図１１は、本実施形態に係る自律移動要否シーケンス例を示す図である。自律移動要シーケンスに移行した場合、仮想現実切替部３２２は、操作指令と、仮想移動装置ＶＭの位置に応じて仮想移動装置ＶＭの未来の軌跡を算出する。また、仮想現実切替部３２２は、未来の軌跡上で阻害因子ＯＢがなくなる位置を副目標位置ＳＰに設定する（図５参照）。
図１１は、本実施形態に係る自律移動要否シーケンス例を示す図である。自律移動要シーケンスに移行した場合、仮想現実切替部３２２は、操作指令と、仮想移動装置ＶＭの位置に応じて仮想移動装置ＶＭの未来の軌跡を算出する。また、仮想現実切替部３２２は、未来の軌跡上で阻害因子ＯＢがなくなる位置を副目標位置ＳＰに設定する（図５参照）。
【0111】
仮想現実切替部３２２は、阻害因子ＯＢを自律的に回避して副目標位置ＳＰに移動する自律移動要求（副目標位置ＳＰ）を自律移動制御部２２２に送信する（ステップＳ３１１）。自律移動制御部２２２は、自律移動要求（副目標位置ＳＰ）に応じて阻害因子ＯＢを回避する局所的な移動経路ＭＲを算出する。自律移動制御部２２２は、局所的な移動経路ＭＲに沿った動作指令（位置指令等）を実移動制御部２２３に送出する（ステップＳ３１２）。
【0112】
実移動制御部２２３は、動作指令（位置指令等）に応じて走行制御用モータドライバ２０８に動作指令（速度指令等）を送出する。自律移動装置２００が副目標位置ＳＰに到達した場合、実移動制御部２２３は、自律移動完了通知を自律移動制御部２２２に送出する（ステップＳ３１３）。自律移動制御部２２２は、自律移動完了通知に応じて仮想現実切替部３２２に自律移動完了通知を送信する（ステップＳ３１４）。
【0113】
仮想現実切替部３２２は、自律移動完了通知に応じて仮想モードから現実モードに戻す（ステップＳ３１５）。すなわち、仮想現実切替部３２２は、仮想モードの自律移動否シーケンスに移行する。また、図１０のステップＳ３１０で、仮想モードを必要としないと判定した場合も、仮想現実切替部３２２は、仮想モードの自律移動否シーケンスに移行する。自律移動否シーケンスでは、仮想現実切替部３２２が仮想モードから現実モードに戻した後（ステップＳ３１５）、仮想現実切替部３２２が処理モード（現実モード）を表示制御部３２３に通知する（ステップＳ３１６）。
【0114】
表示制御部３２３は、処理モード通知（現実モード）に応じて現実知覚処理部２２５に知覚フィードバックを要求する（ステップＳ３１７）。現実知覚処理部２２５は、知覚フィードバック要求に応じて現実世界ＲＷの知覚フィードバック（現実画像ＲＩ等）を表示制御部３２３に応答する（ステップＳ３１８）。表示制御部３２３は、現実世界ＲＷの知覚フィードバックである現実画像ＲＩをディスプレイ３０６に表示する（ステップＳ３１９）。
【0115】
また、仮想現実切替部３２２は、操作指令処理部３２１に処理モード（現実モード）を通知する（ステップＳ３２０）。
【0116】
以降、情報処理システム１００は、自律移動装置２００が操作指令を阻害する阻害因子ＯＢ（人又は障害物等）を検出した場合に、図９に示す現実モードシーケンスと図１０に示す仮想モードシーケンスとの間で状態遷移を繰返す。
【0117】
（第１実施形態の作用効果）
第１実施形態によれば、自律移動装置２００が阻害因子ＯＢ（人又は障害物等）を検出した場合に、情報処理装置３００は、現実モードから仮想モードに切替える。現実モードでは、現実世界ＲＷの自律移動装置２００の自律動作ＡＭを知覚するが、仮想モードでは、仮想世界ＶＷの仮想移動装置ＶＭの操作指令に応じた手動動作ＭＭしか知覚しない。従って、情報処理装置３００は、自律移動装置２００が操作者Ｏの指示とは異なる動作を行うことを操作者Ｏに感じさせない。
第１実施形態によれば、自律移動装置２００が阻害因子ＯＢ（人又は障害物等）を検出した場合に、情報処理装置３００は、現実モードから仮想モードに切替える。現実モードでは、現実世界ＲＷの自律移動装置２００の自律動作ＡＭを知覚するが、仮想モードでは、仮想世界ＶＷの仮想移動装置ＶＭの操作指令に応じた手動動作ＭＭしか知覚しない。従って、情報処理装置３００は、自律移動装置２００が操作者Ｏの指示とは異なる動作を行うことを操作者Ｏに感じさせない。
【0118】
現実モードから仮想モードに切替えた後、操作者Ｏは、自律移動装置２００が阻害因子ＯＢに衝突することを気にせずに操作を継続できる。一方、自律移動装置２００は、阻害因子ＯＢを自律的に回避できる。自律移動装置２００が阻害因子ＯＢを自律的に回避した場合、情報処理装置３００が仮想モードから現実モードに戻すため、操作者Ｏは何事もなかったかのように操作を継続できる。また、自律移動装置２００が阻害因子ＯＢにより自律移動を阻害されることを検出した場合、情報処理装置３００が仮想モードから現実モードに戻すため、操作者Ｏは阻害因子ＯＢを手動で回避することが可能である。
【0119】
また、現実モードから仮想モードに切替えた後、自律移動装置２００と仮想移動装置ＶＭの位置偏差ＰＤが小さくなるように、情報処理装置３００が仮想移動装置ＶＭの位置調整を行う。例えば、仮想移動装置ＶＭが直進し、自律移動装置２００が阻害因子ＯＢを回避する場合、仮想移動装置ＶＭが自律移動装置２００より先に進んでしまうことを抑制できる。従って、情報処理装置３００は、仮想モードから現実モードに戻した場合に、操作者Ｏに違和感を与えない。
【0120】
さらに、現実モードから仮想モードに切替えた後、現実世界ＲＷにおいて仮想移動装置ＶＭの位置ＶＰに阻害因子ＯＢがある場合は、仮想世界ＶＷでは仮想移動装置ＶＭが阻害因子ＯＢを通過している。操作者Ｏは阻害因子ＯＢに気づかないため、情報処理装置３００は自律移動装置２００が自律的に阻害因子ＯＢを回避する必要があると判定する。従って、操作者Ｏが阻害因子Ｏに気づかなくても、自律移動装置２００が阻害因子ＯＢを自律的に回避できる。
【0121】
一方、現実モードから仮想モードに切替えた後、現実世界ＲＷにおいて仮想移動装置ＶＭの未来の軌跡上に阻害因子ＯＢがある場合は、仮想モードでは仮想移動装置ＶＭの前方に阻害因子ＯＢがある。操作者Ｏは阻害因子ＯＢに気づくため、仮想モードは必要ないと判定し、仮想モードから現実モードに戻す。従って、現実モードにおいて、自律移動装置２００は操作者Ｏの操作指令に応じて阻害因子ＯＢを回避するか、又は自律移動装置２００が阻害因子ＯＢを自律的に回避できる。
【0122】
加えて、仮想モードでは、情報処理装置３００が自律移動装置２００から現実世界ＲＷの知覚フィードバック（現実画像ＲＩ等）を受信しない。従って、仮想モードでは、情報処理装置３００と自律移動装置２００との間の知覚フィードバック（現実画像ＲＩ等）の通信遅延が発生しないというコンピュータの技術的改善を提供できる。
【0123】
以上のように、本実施形態では、操作者Ｏが自律移動装置２００を違和感なく遠隔操作する技術を提供することができる。
【0124】
（第１実施形態の変形例１）
以下、第１実施形態の変形例１について説明する。現実モードから仮想モードに切替えた後、操作者Ｏが仮想移動装置ＶＭの方向を大きく変化させた場合、仮想移動装置ＶＭの姿勢が自律移動装置２００の姿勢とは大きく異なってしまう。そこで、変形例１では、自律移動装置２００と仮想移動装置ＶＭの位置偏差ＰＤと姿勢偏差ＡＤが小さくなるように仮想現実切替部３２２が仮想移動装置ＶＭの位置調整と姿勢調整を行う。
以下、第１実施形態の変形例１について説明する。現実モードから仮想モードに切替えた後、操作者Ｏが仮想移動装置ＶＭの方向を大きく変化させた場合、仮想移動装置ＶＭの姿勢が自律移動装置２００の姿勢とは大きく異なってしまう。そこで、変形例１では、自律移動装置２００と仮想移動装置ＶＭの位置偏差ＰＤと姿勢偏差ＡＤが小さくなるように仮想現実切替部３２２が仮想移動装置ＶＭの位置調整と姿勢調整を行う。
【0125】
＜機能構成＞
図１２は、本実施形態に係る情報処理システム１００の機能構成の変形例を示す図である。自律移動装置２００は実自己位置姿勢推定部４０１を備え、情報処理装置３００は仮想自己位置姿勢推定部４０２を備えている。
図１２は、本実施形態に係る情報処理システム１００の機能構成の変形例を示す図である。自律移動装置２００は実自己位置姿勢推定部４０１を備え、情報処理装置３００は仮想自己位置姿勢推定部４０２を備えている。
【0126】
実自己位置姿勢推定部４０１は、現実世界ＲＷにおける自律移動装置２００の位置ＲＰと姿勢ＲＡを推定する機能を有している。実自己位置姿勢推定部４０１は、例えばＬｉＤＡＲ、ＴＯＦセンサ、ＭＥＭＳセンサ、又はＩＭＵ等の知覚センサ２１１を用いて自律移動装置２００の位置ＲＰと姿勢ＲＡを推定する。なお、位置とは、例えば直交座標系における３軸（Ｘ軸、Ｙ軸、及びＺ軸）方向の位置であり、姿勢とは、例えば直交座標系における３軸（Ｘ軸、Ｙ軸、及びＺ軸）回りの回転角度である。実自己位置姿勢推定部４０１は、仮想現実切替部３２２の自己位置姿勢要求に応じて自律移動装置２００の位置ＲＰと姿勢ＲＡを仮想現実切替部３２２に送信する。
【0127】
仮想自己位置姿勢推定部４０２は、仮想世界ＶＷにおける仮想移動装置ＶＭの位置ＶＰと姿勢ＶＡを推定する機能を有している。仮想自己位置姿勢推定部４０２は、例えば操作指令（前進指令、後退指令、右信地旋回指令、左信地旋回指令、加速指令、及び減速指令等）を用いて仮想移動装置ＶＭの位置ＶＰと姿勢ＶＡを推定する。仮想自己位置姿勢推定部４０２は、仮想現実切替部３２２の自己位置姿勢要求に応じて仮想移動装置ＶＭの位置ＶＰと姿勢ＶＡを仮想現実切替部３２２に送出する。
【0128】
仮想現実切替部３２２は、実自己位置姿勢推定部４０１から自律移動装置２００の位置ＲＰと姿勢ＲＡを受信し、仮想自己位置姿勢推定部４０２から仮想移動装置ＶＭの位置ＶＰと姿勢ＶＡを取得する。
【0129】
仮想現実切替部３２２は、自律移動装置２００の位置ＲＰと仮想移動装置ＶＭの位置ＶＰとの位置偏差ＰＤが小さくなるように仮想移動装置ＶＭの位置調整を行う。例えば仮想現実切替部３２２は、仮想移動装置ＶＭの速度調整を行い、仮想移動装置ＶＭの位置変化を自動的に減速する。また、仮想現実切替部３２２は、自律移動装置２００の姿勢ＲＡと仮想移動装置ＶＭの位置ＶＡとの姿勢偏差ＡＤが小さくなるように仮想移動装置ＶＭの姿勢調整を行う。例えば仮想現実切替部３２２は、仮想移動装置ＶＭの速度調整を行い、仮想移動装置ＶＭの姿勢変化を自動的に減速する。
【0130】
＜シーケンス＞
図１３は、本実施形態に係る仮想モードシーケンスの変形例を示す図である。現実モードから仮想モードに切替えた後、仮想現実切替部３２２は、仮想世界ＶＷにおける仮想移動装置ＶＭの位置ＶＰと姿勢ＶＡを仮想自己位置姿勢推定部４０２に要求する（ステップＳ４０１）。仮想自己位置姿勢推定部４０２は、自己位置姿勢要求に応じて仮想世界ＶＷにおける仮想移動装置ＶＭの位置ＶＰと姿勢ＶＡを推定し、仮想移動装置ＶＭの位置ＶＰと姿勢ＶＡを仮想現実切替部３２２に応答する（ステップＳ４０２）。
図１３は、本実施形態に係る仮想モードシーケンスの変形例を示す図である。現実モードから仮想モードに切替えた後、仮想現実切替部３２２は、仮想世界ＶＷにおける仮想移動装置ＶＭの位置ＶＰと姿勢ＶＡを仮想自己位置姿勢推定部４０２に要求する（ステップＳ４０１）。仮想自己位置姿勢推定部４０２は、自己位置姿勢要求に応じて仮想世界ＶＷにおける仮想移動装置ＶＭの位置ＶＰと姿勢ＶＡを推定し、仮想移動装置ＶＭの位置ＶＰと姿勢ＶＡを仮想現実切替部３２２に応答する（ステップＳ４０２）。
【0131】
また、仮想現実切替部３２２は、現実世界ＲＷにおける自律移動装置２００の位置ＲＰと姿勢ＲＡを実自己位置姿勢推定部４０１に要求する（ステップＳ４０３）。実自己位置姿勢推定部４０１は、自己位置姿勢要求に応じて現実世界ＲＷにおける自律移動装置２００の位置ＲＰと姿勢ＲＡを推定し、自律移動装置２００の位置ＲＰと姿勢ＲＡを仮想現実切替部３２２に応答する（ステップＳ４０４）。
【0132】
仮想現実切替部３２２は、自律移動装置２００の位置ＲＰと仮想移動装置ＶＭの位置ＶＰとの位置偏差ＰＤと、自律移動装置２００の姿勢ＲＡと仮想移動装置ＶＭの姿勢ＶＡとの姿勢偏差ＡＤとを算出する（ステップＳ４０５）。仮想現実切替部３２２は、自律移動装置２００と仮想移動装置ＶＭの位置偏差ＰＤと姿勢偏差ＡＤを操作指令処理部３２１に通知する（ステップＳ４０６）。
【0133】
操作指令処理部３２１は、自律移動装置２００と仮想移動装置ＶＭの位置偏差ＰＤと姿勢偏差ＡＤが小さくなるように仮想移動装置ＶＭの位置調整と姿勢調整を行う（ステップＳ４０７）。操作指令処理部３２１は、仮想移動装置ＶＭの位置調整と姿勢調整を行い、仮想移動装置ＶＭの位置変化と姿勢変化を自動的に減速させる。
【0134】
（変形例１の作用効果）
変形例１によれば、現実モードから仮想モードに切替えた後、自律移動装置２００と仮想移動装置ＶＭの位置偏差ＰＤと姿勢偏差ＡＤが小さくなるように仮想移動装置ＶＭの位置調整と姿勢調整を行う。従って、情報処理装置３００は、仮想モードから現実モードに戻した場合に、操作者Ｏにより違和感を与えない。
変形例１によれば、現実モードから仮想モードに切替えた後、自律移動装置２００と仮想移動装置ＶＭの位置偏差ＰＤと姿勢偏差ＡＤが小さくなるように仮想移動装置ＶＭの位置調整と姿勢調整を行う。従って、情報処理装置３００は、仮想モードから現実モードに戻した場合に、操作者Ｏにより違和感を与えない。
【0135】
（第１実施形態の変形例２）
以下、第１実施形態の変形例２について説明する。変形例２では、現実モードから仮想モードに切替えた後、仮想現実切替部３２２が機械学習を行って事前に生成した学習済モデルを用いて仮想モードにおける自律移動装置２００の自律移動の要否を判定する。
以下、第１実施形態の変形例２について説明する。変形例２では、現実モードから仮想モードに切替えた後、仮想現実切替部３２２が機械学習を行って事前に生成した学習済モデルを用いて仮想モードにおける自律移動装置２００の自律移動の要否を判定する。
【0136】
学習モデルは、教師あり学習、教師なし学習、又は強化学習等を行って事前に生成される。学習モデルには、決定木、単純パーセプトロン、ニューラルネットワーク（深層学習）、又はクラスタリング等を用いられる。
【0137】
仮想現実切替部３２２は、例えば教師あり学習を行う場合、時々刻々と変化する状態データ（入力データ）と、操作者Ｏが阻害因子ＯＢに気づかない状況であるか否かを示すラベルデータ（出力データ）と、を含む学習データセットを用いる。そして仮想現実切替部３２２は、入力データと出力データとの間の相関関係を示す学習モデルを事前に生成しておく。例えば、状態データには、阻害因子ＯＢの位置、仮想移動装置ＶＭの位置ＶＰ、及び自律移動装置２００の位置ＲＰ等が含まれる。
【0138】
仮想現実切替部３２２は、時々刻々と変化する、阻害因子ＯＢの位置、仮想移動装置ＶＭの位置ＶＰ、及び自律移動装置２００の位置ＲＰ等の状態データを入力し、学習済モデルを用いて操作者Ｏが阻害因子ＯＢに気づかない状況であったか否かを判定する。
【0139】
仮想現実切替部３２２は、操作者Ｏが阻害因子ＯＢに気づかない状況であったと判定した場合は、自律移動装置２００が阻害因子ＯＢを自律的に回避する必要があると判定し、自律移動装置２００の自律移動を自律移動制御部２２２に要求する。
【0140】
一方、仮想現実切替部３２２は、操作者Ｏが阻害因子ＯＢに気づく状況であったと判定した場合は、仮想モードの必要がないと判定し、仮想モードから現実モードに戻す。
【0141】
（変形例２の作用効果）
変形例２によれば、あらゆる状況の状態データを学習した学習済モデルを用いることで、操作者Ｏが阻害因子ＯＢに気づかない状況であるか否かを予測できない状況でも、仮想現実切替部３２２が自律移動装置２００の自律移動の要否を適切に判定できる。従って、操作者Ｏは自律移動装置２００を違和感なく操作できる。
変形例２によれば、あらゆる状況の状態データを学習した学習済モデルを用いることで、操作者Ｏが阻害因子ＯＢに気づかない状況であるか否かを予測できない状況でも、仮想現実切替部３２２が自律移動装置２００の自律移動の要否を適切に判定できる。従って、操作者Ｏは自律移動装置２００を違和感なく操作できる。
【0142】
（第２実施形態）
以下、第２実施形態に係る情報処理システム１００について説明する。第２実施形態では、現実モードから仮想モードに切替えることで、ロボットアーム５１０の自律移動を操作者Ｏに感じさせない技術を提供する。
以下、第２実施形態に係る情報処理システム１００について説明する。第２実施形態では、現実モードから仮想モードに切替えることで、ロボットアーム５１０の自律移動を操作者Ｏに感じさせない技術を提供する。
【0143】
＜システム構成＞
図１４は、第２実施形態に係る情報処理システム１００のシステム構成例を示す図である。
図１４は、第２実施形態に係る情報処理システム１００のシステム構成例を示す図である。
【0144】
自律移動装置２００は、ロボットアーム５１０、及びエンドエフェクタ５２０を備えている。ロボットアーム５１０は、例えば６軸の多関節ロボットであり、根元から順に、基部、胴部、上腕部、前腕部、及び３軸の手首部を備えている。ロボットアーム５１０の基部は、例えば自律移動装置２００の本体２４０に固定する。ロボットアーム５１０は、各関節部を駆動する第１軸～第６軸のアーム制御用モータを内蔵している。なお、ロボットアーム５１０は、多関節ロボットに限定されず、パラレルリンク型ロボット等の他の形態のロボットでもよい。
【0145】
ロボットアーム５１０の手首には、エンドエフェクタ５２０を着脱可能である。エンドエフェクタ５２０は、例えば多指把持式、真空吸着式、又は磁気吸着式等のハンドである。エンドエフェクタ５２０は、例えばハンドの指又は真空ポンプ等を駆動するエンドエフェクタ制御用モータを内蔵している。知覚センサ２１１（例えばカメラ）は、エンドエフェクタ５２０の近傍に搭載してもよい。なお、エンドエフェクタ５２０は、ハンドに限定されず、溶接ツール、レーザ加工ツール、締結ツール、又はこれらを任意に切替え可能なツールチェンジャを備えていてもよい。
【0146】
ロボットアーム５１０とエンドエフェクタ５２０は、制御ユニット２１０に電気的に接続する。制御ユニット２１０は、第１軸～第６軸のアーム制御用モータ、及びエンドエフェクタ制御用モータをそれぞれ制御する。ロボットアーム５１０とエンドエフェクタ５２０は、事前に教示したロボットアーム５１０の目標位置と目標姿勢に応じた移動経路に沿って自律的に移動する。なお、ロボットアーム５１０の位置と姿勢とは、ロボットアーム５１０の基部等に固定した基準座標系における、エンドエフェクタ５２０に固定したツール座標系の位置と姿勢である。
【0147】
情報処理装置３００は、自律移動装置２００の走行ユニット２３０の動作に加え、自律移動装置２００に搭載したロボットアーム５１０及びエンドエフェクタ５２０の動作を遠隔操作する。情報処理装置３００は、操作者Ｏの操作指示を処理した操作指令を自律移動装置２００送信する。
【0148】
＜ハードウェア構成＞
図１５は、第２実施形態に係る自律移動装置２００のハードウェア構成例を示す図である。
図１５は、第２実施形態に係る自律移動装置２００のハードウェア構成例を示す図である。
【0149】
自律移動装置２００は、アーム制御用モータドライバ５１１、第１軸～第６軸のアーム制御用モータ５１２、エンドエフェクタ制御用モータドライバ５２１、及びエンドエフェクタ制御用モータ５２２をさらに備えている。
【0150】
ＣＰＵ２０２は、逆運動学を用いてロボットアーム５１０の目標位置と目標姿勢から第１軸～第６軸のアーム制御用モータ５１２の各動作指令（位置指令及び速度指令等）を算出する。ＣＰＵ２０２は、第１軸～第６軸のアーム制御用モータ５１２の各動作指令（位置指令及び速度指令）をアーム制御用モータドライバ５１１に送出する。
【0151】
アーム制御用モータドライバ５１１は、ＣＰＵ２０２の各動作指令（位置指令及び速度指令）に応じて各種モータ駆動信号を生成し、各モータ駆動信号を第１軸～第６軸のアーム制御用モータ５１２にそれぞれ供給する。第１軸～第６軸のアーム制御用モータ５１２は、各モータ駆動信号に応じて回転し、ロボットアーム５１０の各関節部に駆動力を伝達する。
【0152】
アーム制御用モータ５１２は、アーム制御用モータ５１２の回転角度及び回転速度等を検知するモータエンコーダを内蔵している。アーム制御用モータドライバ５１１は、モータエンコーダが検知した回転角度及び回転速度等に応じてアーム制御用モータ５１２をフィードバック制御する。
【0153】
また、ＣＰＵ２０２は、エンドエフェクタ制御用モータ５２２の動作指令（位置指令及び速度指令等）をエンドエフェクタ制御用モータドライバ５２１に送出する。
【0154】
エンドエフェクタ制御用モータドライバ５２１は、ＣＰＵ２０２の動作指令（位置指令及び速度指令等）に応じてモータ駆動信号を生成し、モータ駆動信号をエンドエフェクタ制御用モータ５２２に送出する。エンドエフェクタ制御用モータ５２２は、モータ駆動信号に応じて回転し、ハンドの指又は真空ポンプ等に駆動力を伝達する。
【0155】
エンドエフェクタ制御用モータ５２２は、エンドエフェクタ制御用モータ５２２の回転角度及び回転速度等を検知するモータエンコーダを内蔵している。エンドエフェクタ制御用モータドライバ５２１は、モータエンコーダが検知した回転角度及び回転速度等に応じてエンドエフェクタ制御用モータ５２２をフィードバック制御する。
【0156】
＜ユーザインタフェース＞
以下、情報処理装置３００のユーザインタフェースについて説明する。図１６は、本実施形態に係る情報処理装置３００のユーザインタフェース例を示す図である。
以下、情報処理装置３００のユーザインタフェースについて説明する。図１６は、本実施形態に係る情報処理装置３００のユーザインタフェース例を示す図である。
【0157】
情報処理装置３００は、現実モードと仮想モードを切替える処理モード切替機能を有している。現実モードとは、現実世界ＲＷに存在するロボットアーム５１０の動作を知覚する知覚フィードバックを操作者Ｏに提供する処理モードである。仮想モードとは、現実世界ＲＷを模した仮想世界ＶＷに存在していてロボットアーム５１０を模した仮想ロボットアームＶＲの動作を知覚する知覚フィードバックを操作者Ｏに提供する処理モードである。
【0158】
情報処理装置３００は、ユーザインタフェース部３２０を備えている。ユーザインタフェース部３２０は、ロボットアーム５１０又は仮想ロボットアームＶＲに対する操作指示（移動指示）を、情報処理装置３００のキーボード３１１の各種キーに割当てる。例えば、ユーザインタフェース部３２０は、前進指示を上矢印キーＦに割当て、後退指示を下矢印キーＢに割当てる。また、ユーザインタフェース部３２０は、右移動を右矢印キーＲに割当て、左移動を左矢印キーＬに割当てる。さらに、ユーザインタフェース部３２０は、手首部のＷ軸回りの回転指示をＷキーＷに割当て、手首部のＰ軸回りの回転指示をＰキーＰに割当て、手首部のＲ軸回りの回転指示をＲキーＲに割当てる。
【0159】
ロボットアーム５１０は、事前に教示した移動経路に沿ってロボットアーム５１０の目標位置ＴＰと目標姿勢ＴＡに自律的に移動する。本例では、ロボットアーム５１０が目標位置ＴＰと目標姿勢ＴＡに到達した後、エンドエフェクタ５２０がワークＷを目標位置ＴＰでドロップオフする。
【0160】
ロボットアーム５１０が知覚センサ２１１（例えばカメラ）を用いて阻害因子ＯＢ（例えば移動する人）を検出した場合、ユーザインタフェース部３２０は、現実モードから仮想モードに切替える。現実モードでは、操作者Ｏは現実世界ＲＷにおけるロボットアーム５１０の自律動作ＡＭを知覚するが、仮想モードでは、操作者Ｏは仮想世界ＶＷにおける仮想ロボットアームＶＲの操作指令に応じた手動動作ＭＭしか知覚しない。従って、仮想モードでは、ロボットアーム５１０が操作者Ｏの指示に応じた手動動作ＭＭとは異なる自律動作ＡＭを行うことを操作者Ｏに感じさせない。
【0161】
現実モードから仮想モードに切替えた後、ユーザインタフェース部３２０は、ロボットアーム５１０と仮想ロボットアームＶＲの位置偏差ＰＤと姿勢偏差ＡＤが小さくなるように仮想ロボットアームＶＲの手動動作ＭＭの位置変化と姿勢変化を自動的に減速させる。
【0162】
現実世界ＲＷにおいて仮想ロボットアームＶＲの位置ＶＰに阻害因子ＯＢがある場合、仮想世界ＶＷでは仮想ロボットアームＶＲが阻害因子ＯＢを通過しているため、操作者Ｏは阻害因子ＯＢに気づかない。従って、情報処理装置３００は、阻害因子ＯＢを自律的に回避して目標位置ＴＰと目標姿勢ＴＡまで移動する自律移動をロボットアーム５１０に要求する。
【0163】
ロボットアーム５１０は、ロボットアーム５１０の位置ＲＰから目標位置ＴＰと目標姿勢ＴＡまでの阻害因子ＯＢを回避する移動経路を算出し、移動経路に沿った自律動作ＡＭを行い、副目標位置ＳＰまで移動する。ロボットアーム５１０が阻害因子ＯＢを回避して目標位置ＴＰに到達した場合、情報処理装置３００は仮想モードから現実モードに戻す。
【0164】
（第２実施形態の作用効果）
第２実施形態によれば、ロボットアーム５１０が阻害因子ＯＢ（人又は障害物等）を検出した場合に、情報処理装置３００は、現実モードから仮想モードに切替える。現実モードでは、現実世界ＲＷのロボットアーム５１０の自律動作ＡＭを知覚するが、仮想モードでは、仮想世界ＶＷの仮想ロボットアームＶＲの手動動作ＭＭしか知覚しない。従って、情報処理装置３００は、ロボットアーム５１０が操作者Ｏの指示とは異なる動作を行うことを感じさせない。
第２実施形態によれば、ロボットアーム５１０が阻害因子ＯＢ（人又は障害物等）を検出した場合に、情報処理装置３００は、現実モードから仮想モードに切替える。現実モードでは、現実世界ＲＷのロボットアーム５１０の自律動作ＡＭを知覚するが、仮想モードでは、仮想世界ＶＷの仮想ロボットアームＶＲの手動動作ＭＭしか知覚しない。従って、情報処理装置３００は、ロボットアーム５１０が操作者Ｏの指示とは異なる動作を行うことを感じさせない。
【0165】
現実モードから仮想モードに切替えた後、操作者Ｏは、ロボットアーム５１０が阻害因子ＯＢに衝突することを気にせずに操作を継続できる。一方、ロボットアーム５１０は、阻害因子ＯＢを自律的に回避できる。ロボットアーム５１０が阻害因子ＯＢを自律的に回避した場合、情報処理装置３００が仮想モードから現実モードに戻すため、操作者Ｏは何事もなかったかのように操作を継続できる。
【0166】
また、現実モードから仮想モードに切替えた後、ロボットアーム５１０と仮想ロボットアームＶＲの位置偏差ＰＤと姿勢偏差ＡＤが小さくなるように、情報処理装置３００が仮想ロボットアームＶＲの位置調整と姿勢調整を行う。例えば、仮想ロボットアームＶＲが直進し、ロボットアーム５１０が阻害因子ＯＢを回避する場合、仮想ロボットアームＶＲがロボットアーム５１０より先に進んでしまうことを抑制できる。従って、情報処理装置３００は、仮想モードから現実モードに戻した場合に、操作者Ｏに違和感を与えない。
【0167】
さらに、現実モードから仮想モードに切替えた後、現実世界ＲＷにおいて仮想ロボットアームＶＲの位置ＶＰに阻害因子ＯＢがある場合、仮想世界ＶＷにおいて仮想ロボットアームＶＲが阻害因子ＯＢを通過している。そこで、情報処理装置３００はロボットアーム５１０が自律的に阻害因子ＯＢを回避する必要があると判定する。従って、操作者Ｏが阻害因子Ｏに気づかなくても、ロボットアーム５１０が自律的に阻害因子ＯＢを回避できる。
【0168】
加えて、仮想モードでは、情報処理装置３００がロボットアーム５１０から現実世界ＲＷの知覚フィードバック（現実画像ＲＩ等）を受信しない。従って、情報処理装置３００と自律移動装置２００との間の知覚フィードバック（現実画像ＲＩ等）の通信遅延が発生しないというコンピュータの技術的改善を提供できる。
【0169】
上記で説明した実施形態の各種機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」は、電子回路で実装するプロセッサのようにソフトウェアで各機能を実行するようにプログラミングしたプロセッサを含む。或いは、「処理回路」は、各機能を実行するように設計したＡＳＩＣ（ApplicaＣion Specific Integrated Circuit）、又はＤＳＰ（Digital Signal Processor）等のデバイスを含む。また、「処理回路」は、ＦＰＧＡ（Field Programmable Gate Array）又は従来の回路モジュール等のデバイスを含む。
【0170】
本開示の態様は、例えば以下の通りである。
＜１＞ 自律移動装置と通信可能な情報処理装置であって、
前記自律移動装置に対する操作者の操作指令を、現実世界に存在する前記自律移動装置と、前記現実世界を模した仮想世界に存在していて前記自律移動装置を模した仮想移動装置とに送出する操作指令処理部と、
前記自律移動装置が前記操作者による前記自律移動装置の操作性を阻害する阻害因子を検出した場合に、前記現実世界における前記自律移動装置の自律動作に対応する知覚フィードバックを前記操作者に提供する現実モードから、前記仮想世界における前記仮想移動装置の前記操作指令に応じた動作に対応する知覚フィードバックを前記操作者に提供する仮想モードへ切替える仮想現実切替部と、
を含む、情報処理装置である。
＜２＞ 前記現実モードから前記仮想モードに切替えた後、前記自律移動装置が前記阻害因子を自律的に回避した場合に前記仮想モードから前記現実モードに切替える、前記＜１＞に記載の情報処理装置である。
＜３＞ 前記現実モードから前記仮想モードに切替えた後、前記操作指令に応じて前記仮想移動装置の動作を制御する仮想移動制御部をさらに備える、前記＜１＞又は前記＜２＞に記載の情報処理装置である。
＜４＞ 前記現実モードから前記仮想モードに切替えた後、前記操作指令処理部は、前記自律移動装置と前記仮想移動装置の位置偏差及び姿勢偏差の少なくとも一方が小さくなるように前記仮想移動装置の位置及び姿勢の少なくとも一方を調整する、前記＜１＞から前記＜３＞のいずれかに記載の情報処理装置である。
＜５＞ 前記現実モードから前記仮想モードに切替えた後、前記仮想現実処理部は、前記現実世界において前記仮想移動装置の位置に前記阻害因子がある場合は、前記自律移動装置が前記阻害因子を自律的に回避する必要があると判定し、前記阻害因子を自律的に回避する自律移動を前記自律移動装置に要求する、前記＜１＞から前記＜４＞のいずれかに記載の情報処理装置である。
＜６＞ 前記現実モードから前記仮想モードに切替えた後、前記仮想現実処理部は、前記現実世界において前記仮想移動装置の未来の軌跡上に前記阻害因子がある場合は、前記自律移動装置が前記阻害因子を自律的に回避する必要がないと判定し、前記仮想モードから前記現実モードに戻す、前記＜１＞から前記＜５＞のいずれかに記載の情報処理装置である。
＜７＞ 前記現実モードから前記仮想モードに切替えた後、前記仮想現実切替部は、前記操作指令と、前記仮想移動装置の位置及び姿勢の少なくとも一方とに応じて前記仮想移動装置の未来の軌跡を算出し、未来の軌跡上で前記阻害因子がなくなる位置を目標位置に設定し、前記阻害因子を自律的に回避して前記目標位置まで移動する自律移動を前記自律移動装置に要求する、前記＜１＞から前記＜６＞のいずれかに記載の情報処理装置である。
＜８＞ 前記現実モードから前記仮想モードに切替えた後、前記自律移動装置が前記現実世界において前記阻害因子により前記自律動作を阻害されることを検出した場合、あるいは前記阻害因子とは異なる別の阻害因子により前記自律動作を阻害されることを検出した場合、前記仮想現実切替部は、前記仮想モードから前記現実モードに切替える、前記＜１＞から前記＜７＞のいずれかに記載の情報処理装置。
＜９＞ 自律移動装置と、前記自律移動装置と通信可能な情報処理装置と、を含む情報処理システムであって、
前記自律移動装置は、
前記自律移動装置に対する操作者の操作指令と自律移動要求とに応じて前記自律移動装置の動作を制御する実制御部を備え、
前記情報処理装置は、
前記操作指令を、現実世界に存在する前記自律移動装置と、前記現実世界を模した仮想世界に存在していて前記自律移動装置を模した仮想移動装置とに送出する操作指令処理部と、
前記自律移動装置が前記操作者による前記自律移動装置の操作性を阻害する阻害因子を検出した場合に、前記現実世界における前記自律移動装置の自律動作に対応する知覚フィードバックを前記操作者に提供する現実モードから、前記仮想世界における前記仮想移動装置の前記操作指令に応じた動作に対応する知覚フィードバックを前記操作者に提供する仮想モードへ切替える仮想現実切替部と、
を含む、情報処理システムである。
＜１０＞ 自律移動装置と通信可能な情報処理装置であって、
前記自律移動装置に対する操作者の操作指令を、現実世界に存在する前記自律移動装置と、前記現実世界を模した仮想世界に存在していて前記自律移動装置を模した仮想移動装置とに送出するステップと、
前記自律移動装置が前記操作者による前記自律移動装置の操作性を阻害する阻害因子を検出した場合に、前記現実世界における前記自律移動装置の自律動作に対応する知覚フィードバックを前記操作者に提供する現実モードから、前記仮想世界における前記仮想移動装置の前記操作指令に応じた動作に対応する知覚フィードバックを前記操作者に提供する仮想モードへ切替えるステップと、
を実行する、情報処理方法である。
＜１１＞ 自律移動装置と通信可能な情報処理装置に実行させるプログラムであって、
前記自律移動装置に対する操作者の操作指令を、現実世界に存在する前記自律移動装置と、前記現実世界を模した仮想世界に存在していて前記自律移動装置を模した仮想移動装置とに送出するステップと、
前記自律移動装置が前記操作者による前記自律移動装置の操作性を阻害する阻害因子を検出した場合に、前記現実世界における前記自律移動装置の自律動作に対応する知覚フィードバックを前記操作者に提供する現実モードから、前記仮想世界における前記仮想移動装置の前記操作指令に応じた動作に対応する知覚フィードバックを前記操作者に提供する仮想モードへ切替えるステップと、
を前記情報処理装置に実行させるプログラムである。
＜１＞ 自律移動装置と通信可能な情報処理装置であって、
前記自律移動装置に対する操作者の操作指令を、現実世界に存在する前記自律移動装置と、前記現実世界を模した仮想世界に存在していて前記自律移動装置を模した仮想移動装置とに送出する操作指令処理部と、
前記自律移動装置が前記操作者による前記自律移動装置の操作性を阻害する阻害因子を検出した場合に、前記現実世界における前記自律移動装置の自律動作に対応する知覚フィードバックを前記操作者に提供する現実モードから、前記仮想世界における前記仮想移動装置の前記操作指令に応じた動作に対応する知覚フィードバックを前記操作者に提供する仮想モードへ切替える仮想現実切替部と、
を含む、情報処理装置である。
＜２＞ 前記現実モードから前記仮想モードに切替えた後、前記自律移動装置が前記阻害因子を自律的に回避した場合に前記仮想モードから前記現実モードに切替える、前記＜１＞に記載の情報処理装置である。
＜３＞ 前記現実モードから前記仮想モードに切替えた後、前記操作指令に応じて前記仮想移動装置の動作を制御する仮想移動制御部をさらに備える、前記＜１＞又は前記＜２＞に記載の情報処理装置である。
＜４＞ 前記現実モードから前記仮想モードに切替えた後、前記操作指令処理部は、前記自律移動装置と前記仮想移動装置の位置偏差及び姿勢偏差の少なくとも一方が小さくなるように前記仮想移動装置の位置及び姿勢の少なくとも一方を調整する、前記＜１＞から前記＜３＞のいずれかに記載の情報処理装置である。
＜５＞ 前記現実モードから前記仮想モードに切替えた後、前記仮想現実処理部は、前記現実世界において前記仮想移動装置の位置に前記阻害因子がある場合は、前記自律移動装置が前記阻害因子を自律的に回避する必要があると判定し、前記阻害因子を自律的に回避する自律移動を前記自律移動装置に要求する、前記＜１＞から前記＜４＞のいずれかに記載の情報処理装置である。
＜６＞ 前記現実モードから前記仮想モードに切替えた後、前記仮想現実処理部は、前記現実世界において前記仮想移動装置の未来の軌跡上に前記阻害因子がある場合は、前記自律移動装置が前記阻害因子を自律的に回避する必要がないと判定し、前記仮想モードから前記現実モードに戻す、前記＜１＞から前記＜５＞のいずれかに記載の情報処理装置である。
＜７＞ 前記現実モードから前記仮想モードに切替えた後、前記仮想現実切替部は、前記操作指令と、前記仮想移動装置の位置及び姿勢の少なくとも一方とに応じて前記仮想移動装置の未来の軌跡を算出し、未来の軌跡上で前記阻害因子がなくなる位置を目標位置に設定し、前記阻害因子を自律的に回避して前記目標位置まで移動する自律移動を前記自律移動装置に要求する、前記＜１＞から前記＜６＞のいずれかに記載の情報処理装置である。
＜８＞ 前記現実モードから前記仮想モードに切替えた後、前記自律移動装置が前記現実世界において前記阻害因子により前記自律動作を阻害されることを検出した場合、あるいは前記阻害因子とは異なる別の阻害因子により前記自律動作を阻害されることを検出した場合、前記仮想現実切替部は、前記仮想モードから前記現実モードに切替える、前記＜１＞から前記＜７＞のいずれかに記載の情報処理装置。
＜９＞ 自律移動装置と、前記自律移動装置と通信可能な情報処理装置と、を含む情報処理システムであって、
前記自律移動装置は、
前記自律移動装置に対する操作者の操作指令と自律移動要求とに応じて前記自律移動装置の動作を制御する実制御部を備え、
前記情報処理装置は、
前記操作指令を、現実世界に存在する前記自律移動装置と、前記現実世界を模した仮想世界に存在していて前記自律移動装置を模した仮想移動装置とに送出する操作指令処理部と、
前記自律移動装置が前記操作者による前記自律移動装置の操作性を阻害する阻害因子を検出した場合に、前記現実世界における前記自律移動装置の自律動作に対応する知覚フィードバックを前記操作者に提供する現実モードから、前記仮想世界における前記仮想移動装置の前記操作指令に応じた動作に対応する知覚フィードバックを前記操作者に提供する仮想モードへ切替える仮想現実切替部と、
を含む、情報処理システムである。
＜１０＞ 自律移動装置と通信可能な情報処理装置であって、
前記自律移動装置に対する操作者の操作指令を、現実世界に存在する前記自律移動装置と、前記現実世界を模した仮想世界に存在していて前記自律移動装置を模した仮想移動装置とに送出するステップと、
前記自律移動装置が前記操作者による前記自律移動装置の操作性を阻害する阻害因子を検出した場合に、前記現実世界における前記自律移動装置の自律動作に対応する知覚フィードバックを前記操作者に提供する現実モードから、前記仮想世界における前記仮想移動装置の前記操作指令に応じた動作に対応する知覚フィードバックを前記操作者に提供する仮想モードへ切替えるステップと、
を実行する、情報処理方法である。
＜１１＞ 自律移動装置と通信可能な情報処理装置に実行させるプログラムであって、
前記自律移動装置に対する操作者の操作指令を、現実世界に存在する前記自律移動装置と、前記現実世界を模した仮想世界に存在していて前記自律移動装置を模した仮想移動装置とに送出するステップと、
前記自律移動装置が前記操作者による前記自律移動装置の操作性を阻害する阻害因子を検出した場合に、前記現実世界における前記自律移動装置の自律動作に対応する知覚フィードバックを前記操作者に提供する現実モードから、前記仮想世界における前記仮想移動装置の前記操作指令に応じた動作に対応する知覚フィードバックを前記操作者に提供する仮想モードへ切替えるステップと、
を前記情報処理装置に実行させるプログラムである。
【符号の説明】
【0171】
１００ 情報処理システム
２００ 自律移動装置
２１０ 制御ユニット
２０１ 無線モジュール
２０２ ＣＰＵ
２０３ ＲＯＭ
２０４ ＲＡＭ
２０５ ＮＶＲＡＭ
２０６ バッテリコントローラ
２０７ バッテリ
２０８ 走行制御用モータドライバ
２０９ 走行制御用モータ
２１１ 知覚センサ
２１２ バス
２２０ 実制御部
２２１ 共有制御部
２２３ 実移動制御部
２２４ 実自己位置推定部
２２５ 現実知覚処理部
２３０ 走行ユニット
２３１ 起動輪
２３２ 転輪
２３３ 履帯
２３４ 支持体
２４０ 本体
３００ 情報処理装置
３０１ ＣＰＵ
３０２ ＲＯＭ
３０３ ＲＡＭ
３０４ ＨＤ
３０５ ＨＤＤコントローラ
３０６ ディスプレイ
３０８ 外部機器接続Ｉ／Ｆ
３０９ ネットワークＩ／Ｆ
３１０ バス
３１１ キーボード
３１２ ポインティングデバイス
３１３ 記録媒体
３１４ 光学ドライブ
３１５ メディア
３１６ メディアＩ／Ｆ
３１７ マイク
３１８ スピーカ
３１９ 音声入出力Ｉ／Ｆ
３２０ ユーザインタフェース部
３２１ 操作指令処理部
３２２ 仮想現実切替部
３２３ 表示制御部
３３０ 仮想制御部
３３１ 仮想自己位置推定部
３３２ 仮想移動制御部
３３３ 仮想知覚処理部
４０１ 実自己位置姿勢推定部
４０２ 仮想自己位置姿勢推定部
５１０ ロボットアーム
５１１ アーム制御用モータドライバ
５１２ アーム制御用モータ
５２０ エンドエフェクタ
５２１ エンドエフェクタ制御用モータドライバ
５２２ エンドエフェクタ制御用モータ
ＡＤ 姿勢偏差
ＡＭ 自律動作
ＭＭ 手動動作
Ｅ 環境
Ｎ ネットワーク
Ｏ 操作者
ＯＢ 阻害因子
Ｐ１ 第１の位置
Ｐ２ 第２の位置
ＰＤ 位置偏差
ＲＩ 現実画像
ＲＰ 位置
ＲＳ 現実空間
ＲＷ 現実世界
Ｔ１ 第１の時刻
Ｔ２ 第２の時刻
Ｔ３ 第３の時刻
ＳＰ 副目標位置
ＳＡ 副目標姿勢
ＴＰ 目標位置
ＴＡ 目標姿勢
ＶＩ 仮想画像
ＶＭ 仮想移動装置
ＶＰ 位置
ＶＲ 仮想ロボットアーム
ＶＳ 仮想空間
ＶＷ 仮想世界
２００ 自律移動装置
２１０ 制御ユニット
２０１ 無線モジュール
２０２ ＣＰＵ
２０３ ＲＯＭ
２０４ ＲＡＭ
２０５ ＮＶＲＡＭ
２０６ バッテリコントローラ
２０７ バッテリ
２０８ 走行制御用モータドライバ
２０９ 走行制御用モータ
２１１ 知覚センサ
２１２ バス
２２０ 実制御部
２２１ 共有制御部
２２３ 実移動制御部
２２４ 実自己位置推定部
２２５ 現実知覚処理部
２３０ 走行ユニット
２３１ 起動輪
２３２ 転輪
２３３ 履帯
２３４ 支持体
２４０ 本体
３００ 情報処理装置
３０１ ＣＰＵ
３０２ ＲＯＭ
３０３ ＲＡＭ
３０４ ＨＤ
３０５ ＨＤＤコントローラ
３０６ ディスプレイ
３０８ 外部機器接続Ｉ／Ｆ
３０９ ネットワークＩ／Ｆ
３１０ バス
３１１ キーボード
３１２ ポインティングデバイス
３１３ 記録媒体
３１４ 光学ドライブ
３１５ メディア
３１６ メディアＩ／Ｆ
３１７ マイク
３１８ スピーカ
３１９ 音声入出力Ｉ／Ｆ
３２０ ユーザインタフェース部
３２１ 操作指令処理部
３２２ 仮想現実切替部
３２３ 表示制御部
３３０ 仮想制御部
３３１ 仮想自己位置推定部
３３２ 仮想移動制御部
３３３ 仮想知覚処理部
４０１ 実自己位置姿勢推定部
４０２ 仮想自己位置姿勢推定部
５１０ ロボットアーム
５１１ アーム制御用モータドライバ
５１２ アーム制御用モータ
５２０ エンドエフェクタ
５２１ エンドエフェクタ制御用モータドライバ
５２２ エンドエフェクタ制御用モータ
ＡＤ 姿勢偏差
ＡＭ 自律動作
ＭＭ 手動動作
Ｅ 環境
Ｎ ネットワーク
Ｏ 操作者
ＯＢ 阻害因子
Ｐ１ 第１の位置
Ｐ２ 第２の位置
ＰＤ 位置偏差
ＲＩ 現実画像
ＲＰ 位置
ＲＳ 現実空間
ＲＷ 現実世界
Ｔ１ 第１の時刻
Ｔ２ 第２の時刻
Ｔ３ 第３の時刻
ＳＰ 副目標位置
ＳＡ 副目標姿勢
ＴＰ 目標位置
ＴＡ 目標姿勢
ＶＩ 仮想画像
ＶＭ 仮想移動装置
ＶＰ 位置
ＶＲ 仮想ロボットアーム
ＶＳ 仮想空間
ＶＷ 仮想世界
【先行技術文献】
【非特許文献】
【0172】
【非特許文献1】C.Brooks et al., "Visualization of Intended Assistance for Acceptance of Shared Control", IEEE/RSJ International Conference on Intelligent Robots and System (IROS), pp. 11425-11430, 2020.
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】