特開 2023-59409 移動体制御システム、移動体制御方法、及び、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023059409

(43)【公開日】2023-04-27

(54)【発明の名称】移動体制御システム、移動体制御方法、及び、プログラム

(51)【国際特許分類】

   G05D 1/00 20060101AFI20230420BHJP

   G06F 3/01 20060101ALI20230420BHJP

   G06F 3/04842 20220101ALI20230420BHJP

【ＦＩ】

G05D1/00 B

G06F3/01 510

G06F3/0484 120

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2021169400

(22)【出願日】2021-10-15

(71)【出願人】

【識別番号】000006208

【氏名又は名称】三菱重工業株式会社

(71)【出願人】

【識別番号】504150450

【氏名又は名称】国立大学法人神戸大学

(74)【代理人】

【識別番号】110000785

【氏名又は名称】ＳＳＩＰ弁理士法人

(72)【発明者】

【氏名】木内 裕介

(72)【発明者】

【氏名】北島 克将

(72)【発明者】

【氏名】横小路 泰義

(72)【発明者】

【氏名】田▲崎▼ 勇一

(72)【発明者】

【氏名】永野 光

【テーマコード（参考）】

5E555

5H301

【Ｆターム（参考）】

5E555AA12

5E555AA16

5E555AA63

5E555AA75

5E555BA01

5E555BB01

5E555BC01

5E555BC17

5E555BE17

5E555CA42

5E555CB48

5E555CC05

5E555DB53

5E555DB56

5E555DC09

5E555DC72

5E555DD06

5E555EA07

5E555EA09

5E555EA22

5E555FA00

5H301DD06

5H301KK03

5H301KK08

5H301KK10

5H301LL01

5H301LL06

(57)【要約】

【課題】端末を介した移動体の移動制御を、簡易な端末操作で実行する。
【解決手段】移動体制御システムは、移動体に搭載され、移動体が移動可能なフィールド上にある少なくとも１つのオブジェクトを検知する。検知された少なくとも１つのオブジェクトのいずれかが選択され、当該オブジェクトに向けて、移動体を移動するように制御する。オブジェクトの選択は、移動体と通信可能な端末の画面に表示され少なくとも１つのオブジェクトのいずれかを、前記端末の向きに対応する視線ベクトルによって指定することにより行う。
【選択図】図１

【特許請求の範囲】

【請求項1】

移動体に搭載され、前記移動体が移動可能なフィールド上にある少なくとも１つのオブジェクトを検知するためのオブジェクト検知部と、
前記オブジェクト検知部で検知された前記少なくとも１つのオブジェクトのいずれかを選択するためのオブジェクト選択部と、
前記オブジェクト選択部によって選択された前記オブジェクトに向けて、前記移動体を移動するように制御するための移動制御部と、
を備え、
前記オブジェクト選択部は、前記移動体と通信可能な端末の画面に表示された前記少なくとも１つのオブジェクトのいずれかを、前記端末の向きに対応する視線ベクトルによって指定することにより選択する、移動体制御システム。

【請求項2】

前記オブジェクト選択部によって選択された前記オブジェクトに対応する選択フレームを前記画面に可視化するための選択フレーム可視化部を更に備える、請求項１に記載の移動体制御システム。

【請求項3】

前記オブジェクト検知部によって検知された前記少なくとも１つのオブジェクトに対応する候補フレームを前記画面に可視化するための候補フレーム可視化部を更に備える、請求項１又は２に記載の移動体制御システム。

【請求項4】

前記端末に搭載された端末カメラと、
前記端末カメラによって前記移動体に設けられたマーカを撮像することにより前記端末と前記移動体との相対位置関係を認識するための相対位置関係認識部と、
前記相対位置関係に基づいて、前記端末の位置情報を前記移動体の座標系に変換するための座標変換部と、
を更に備える、請求項１から３のいずれか一項に記載の移動体制御システム。

【請求項5】

前記移動体が前記オブジェクト選択部によって選択された前記オブジェクトに向けて第１経路に沿って移動した後、前記オブジェクト検知部は前記オブジェクト選択部によって選択された前記オブジェクトの再検知を行い、
前記移動制御部は、再検知によって求められる第２経路に基づいて、前記オブジェクトにアプローチするように前記移動体を制御する、請求項１から４のいずれか一項に記載の移動体制御システム。

【請求項6】

前記再検知は、前記オブジェクト選択部によって選択された前記オブジェクトの周囲を前記移動体が移動しながら行われる、請求項５に記載の移動体制御システム。

【請求項7】

前記移動制御部による前記移動体の制御の可否を指示するための移動操作部を更に備える、請求項１から６のいずれか一項に記載の移動体制御システム。

【請求項8】

前記端末の操作によって前記オブジェクト検知部の検知結果を修正可能である、請求項１から７のいずれか一項に記載の移動体制御システム。

【請求項9】

移動体に搭載され、前記移動体が移動可能なフィールド上にある少なくとも１つのオブジェクトを検知するための工程と、
前記移動体と通信可能な端末の画面に表示された前記少なくとも１つのオブジェクトのいずれかを、前記端末の向きに対応する視線ベクトルによって指定することにより、前記少なくとも１つのオブジェクトのいずれかを選択する工程と、
前記選択されたオブジェクトに向けて、前記移動体を移動するように制御する工程と、
を備える、移動体制御方法。

【請求項10】

コンピュータを用いて、
移動体に搭載され、前記移動体が移動可能なフィールド上にある少なくとも１つのオブジェクトを検知するための工程と、
前記移動体と通信可能な端末の画面に表示された前記少なくとも１つのオブジェクトのいずれかを、前記端末の向きに対応する視線ベクトルによって指定することにより、前記少なくとも１つのオブジェクトのいずれかを選択する工程と、
前記選択されたオブジェクトに向けて、前記移動体を移動するように制御する工程と、
を実行可能な、プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、移動体制御システム、移動体制御方法、及び、プログラムに関する。

【背景技術】

【0002】

移動体と通信可能な端末を操作することによって、フィールドにおける移動体を遠隔的に制御する移動体制御システムが知られている。例えば特許文献１には、フォークリフトのような産業車両をタッチパッド型の端末を用いて遠隔操作可能な遠隔操作システムが開示されている。このシステムでは、作業者が端末であるタッチパッドを操作することで、搬送対象となるパレットに向けた移動体の移動制御を遠隔的に行うことが可能とされている。また特許文献２では、物品を取り扱うロボットに対して、端末を用いて操作対象となる物品を指定することで、ロボットに対して自動的にタスクを実行させるシステムが開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特許第６８３４９０４号公報

【特許文献2】特許第４４７３８４９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら上記特許文献１では、遠隔操作される産業車両に対して、作業者がタッチパッド上で走行や作業に関する各種パラメータを細かく指定する必要があるため、操作負担が大きい。上記特許文献２では、ロボットに対して操作対象を指定することで自動的にタスクが実行されるため、特許文献１に比べて作業者の操作負担を軽減することができるが、操作対象物の位置、ロボットの操作履歴、電子タグ・カメラ等によるセンシング履歴などをデータベースとして用意しておく必要があり、使用できる状況が限られてしまう。

【0005】

本開示の少なくとも１実施形態は、上述の事情に鑑みなされたものであり、端末を介した移動体の移動制御を、簡易な端末操作で実行可能な移動体制御システム、移動体制御方法、及び、プログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

本開示の少なくとも一実施形態に係る移動体制御システムは、上記課題を解決するために、移動体に搭載され、前記移動体が移動可能なフィールド上にある少なくとも１つのオブジェクトを検知するためのオブジェクト検知部と、
前記オブジェクト検知部で検知された前記少なくとも１つのオブジェクトのいずれかを選択するためのオブジェクト選択部と、
前記オブジェクト選択部によって選択された前記オブジェクトに向けて、前記移動体を移動するように制御するための移動制御部と、
を備え、
前記オブジェクト選択部は、前記移動体と通信可能な端末の画面に表示された前記少なくとも１つのオブジェクトのいずれかを、前記端末の向きに対応する視線ベクトルによって指定することにより選択する。

【0007】

本開示の少なくとも１実施形態に係る移動体制御方法は、上記課題を解決するために、
移動体に搭載され、前記移動体が移動可能なフィールド上にある少なくとも１つのオブジェクトを検知するための工程と、
前記移動体と通信可能な端末の画面に表示された前記少なくとも１つのオブジェクトのいずれかを、前記端末の向きに対応する視線ベクトルによって指定することにより、前記少なくとも１つのオブジェクトのいずれかを選択する工程と、
前記選択されたオブジェクトに向けて、前記移動体を移動するように制御する工程と、
を備える。

【0008】

本開示の少なくとも１実施形態に係るプログラムは、上記課題を解決するために、
コンピュータを用いて、
移動体に搭載され、前記移動体が移動可能なフィールド上にある少なくとも１つのオブジェクトを検知するための工程と、
前記移動体と通信可能な端末の画面に表示された前記少なくとも１つのオブジェクトのいずれかを、前記端末の向きに対応する視線ベクトルによって指定することにより、前記少なくとも１つのオブジェクトのいずれかを選択する工程と、
前記選択されたオブジェクトに向けて、前記移動体を移動するように制御する工程と、
を実行可能である。

【発明の効果】

【0009】

本開示の少なくとも一実施形態によれば、端末を介した移動体の移動制御を、簡易な端末操作で実行可能な移動体制御システム、移動体制御方法、及び、プログラムを提供できる。

【図面の簡単な説明】

【0010】

【図1】一実施形態に係る移動体制御システムの全体構成の概略図である。

【図2】図１の移動体制御システムの移動制御に関する構成を示すブロック図である。

【図3】一実施形態に係る移動体制御方法を示すフローチャートである。

【図4】ステップＳ３における端末の画面を示す模式図である。

【図5】ステップＳ４における端末の画面を示す模式図である。

【図6】ステップＳ５における端末の画面を示す模式図である。

【図7】ステップＳ６における端末の画面を示す模式図である。

【図8】ステップＳ１０における端末の画面を示す模式図である。

【発明を実施するための形態】

【0011】

以下、添付図面を参照して幾つかの実施形態について説明する。ただし、実施形態として記載されている又は図面に示されている構成部品の寸法、材質、形状、その相対的配置等は、発明の範囲をこれに限定する趣旨ではなく、単なる説明例にすぎない。

【0012】

図１は一実施形態に係る移動体制御システム１の全体構成の概略図である。移動体制御システム１は、制御対象である移動体２と、移動体２と通信可能な端末４とを備える。移動体２は、フィールド６上を走行により移動可能な移動体であり、端末４から遠隔的に入力される指示に従ってフィールド６上を移動可能な無人機である。

【0013】

フィールド６上には、移動体２が移動する際の目標物となり得る、少なくとも１つのオブジェクト８が配置されている。本実施形態では、移動体２はパレットを搬送可能なフォークリフト車両であり、搬送対象となるパレットがオブジェクト８としてフィールド上６に配置されている。フィールド上６には、オブジェクト８の配置領域Ｒが予め規定されている。配置領域Ｒにあるオブジェクト８の数や姿勢は任意でよいが、図１では、３つのオブジェクト８が一列に配置されている場合が例示されている。端末４では、このようにフィールド６上に配置された少なくとも１つのオブジェクト８のいずれかを選択することで、移動体２は当該選択されたオブジェクト８に向けて移動するように制御される。

【0014】

このような移動体制御システム１を構成する移動体２及び端末４には、前述の移動制御を実現するための構成がそれぞれ搭載される。図２は図１の移動体制御システム１の移動制御に関する構成を示すブロック図であり、図３は一実施形態に係る移動体制御方法を示すフローチャートである。

【0015】

移動体２は、点群データ取得部１００、自己位置推定部１０２、オブジェクト検知部１０４、オブジェクトインデックス作成部１０６、相対位置認識部１０８、座標変換部１１０、オブジェクト位置姿勢精密推定部１１２、経路計画部１１４、及び、移動制御部１１６を備える。点群データ取得部１００は、例えばＬｉｄａｒのような測距装置によって測定された点群データを取得するための構成である。自己位置推定部１０２は、世界座標系に対応するフィールド６上における移動体２の自己位置を推定するための構成である。オブジェクト検知部１０４は、点群データ取得部１００で取得された点群データに基づいて、少なくとも１つのオブジェクト８を検知するための構成である。オブジェクトインデックス作成部１０６は、オブジェクト検知部１０４で検知された各オブジェクト８に対してインデックスを付与するための構成である。相対位置認識部１０８は、移動体２と端末４との相対位置関係を認識するための構成である。座標変換部１１０は、相対位置認識部１０８で認識された相対位置関係に基づいて、移動体２と端末４における位置情報を互いに座標変換するための構成である。オブジェクト位置姿勢精密推定部１１２は、オブジェクト検知部１０４による再検知の結果に基づいて、オブジェクト８の位置及び姿勢を精密に推定するための構成である。経路計画部１１４は、フィールド６上における移動体２の移動経路を計画するための構成である。移動制御部１１６は、経路計画部１１４によって計画された経路に従って移動体２が移動するように、移動体２が有する不図示のアクチュエータに指令を送信することで移動制御を実施するための構成である。

【0016】

端末４は、画像表示部１１８、端末カメラ１２０、移動量算出部１２２、オブジェクト選択部１２４、フレーム修正部１２５、及び、移動操作部１２６を備える。画像表示部１１８は、端末４の画面５０に移動体２の制御に関する各種表示を行うための構成である。端末カメラ１２０は、移動体２に搭載された撮像装置である。移動量算出部１２２は、端末４の初期位置からの移動量を算出するための構成であり、例えば、ＩＭＵ情報やカメラ画像によるビジュアルオドメトリ等による測定結果に基づいて移動量を算出可能である。オブジェクト選択部１２４は、オブジェクト検知部１０４によって検知された少なくとも１つのオブジェクト８のいずれかを選択するための構成である。フレーム修正部１２５は、画面５０に表示されるフレーム（後述の候補フレーム５４及び選択フレーム５６など）の座標及び姿勢を修正するための構成である。移動操作部１２６は、移動制御部１１６による移動体２の移動制御の実施の可否に関する許可信号を送信するための構成である。

【0017】

また端末４の画像表示部１１８は、更に、候補フレーム可視化部１２８、選択フレーム可視化部１３０、及び、移動経路可視化部１３２を備える。候補フレーム可視化部１２８は、オブジェクト検知部１０４によって検知された少なくとも１つのオブジェクト８に対応する候補フレーム５４を画面５０に可視化するための構成である。選択フレーム可視化部１３０は、端末４によって選択されたオブジェクト８に対して選択フレーム５６を可視化するための構成である。移動経路可視化部１３２は、移動体２の移動経路を画面５０上に可視化するための構成である。

【0018】

まず操作者は、端末４を起動する（ステップＳ１）。端末４が起動されると、端末４に予めインストールされたプログラムが実行されることで、以下の各ステップを実施するためのアプリケーションが立ち上がる。アプリケーションは、端末４が有する画面５０上に、各ステップに対応する表示を行うことで操作者とのインターフェースを構築する。

【0019】

端末４が起動されると、上述のようにアプリケーションが立ち上げられるとともに、制御対象となる移動体２が初期位置に呼び出される（ステップＳ２）。初期位置は、後述するステップＳ４において選択対象となる少なくとも１つのオブジェクト８が、オブジェクト検知部１０４によって検知が可能な位置として予め設定される。すなわち、移動体２が初期位置にない場合には、移動体２が初期位置に来るように移動制御がなされる。

【0020】

続いて操作者は、端末４に搭載された端末カメラ１２０を用いて、移動体２に設けられたマーカ（ＡＲマーカ）を撮影する（ステップＳ３）。マーカは、移動体２の外表面に設けられ、所定のパターンを有する。ここで図４はステップＳ３における端末４の画面５０を示す模式図である。画面５０には端末カメラ１２０によって撮像された画像とともに、マーカを認識するためのマーカ認識用フレーム５２が表示される。マーカ認識用フレーム５２は仮想的表示であり、画面５０の略中央部に表示される。操作者は、端末カメラ１２０を移動体２のマーカに向けることで、画面５０に表示されるマーカがマーカ認識用フレーム５２の内側に位置することで、マーカの読み込みが行われる。
尚、移動体２に対するマーカの位置及び姿勢は既知である。

【0021】

このように端末カメラ１２０で認識されたマーカに関するデータは、通信ネットワークを介して、移動体２の相対位置認識部１０８に送られる。移動体２は自己位置推定部１０２によって世界座標系における自己位置を推定することができるため、相対位置認識部１０８は、端末４から受信したマーカを含む画像データに基づいて、移動体２と端末４との相対的位置関係を認識することができる。座標変換部１１０は、このように認識された相対的位置関係に基づいて、端末４で得られた位置情報と移動体２で得られた位置情報とを互いに座標変換することが可能となり、端末４と移動体２とを協調した移動制御が可能となる。

【0022】

このようにステップＳ３では、マーカを撮影することにより、マーカが設けられた移動体２に対する端末４の位置及び姿勢が求まる。以降の各ステップでは、この際の端末４の位置及び姿勢を初期位置として、移動量算出部１２２によって端末４の移動量を算出することで、端末４の位置及び姿勢をトラックすることができる。

【0023】

続いて操作者は、端末４を用いて少なくとも１つのオブジェクト８のいずれかを選択する（ステップＳ４）。ここで図５はステップＳ４における端末４の画面５０を示す模式図である。ステップＳ４では、操作者４は端末カメラ１２０を配置領域Ｒに向けることで、配置領域Ｒに配置されている少なくとも１つのオブジェクト８が画面５０に表示されるように操作する。このとき移動体２のオブジェクト検知部１０４では、点群データ取得部１００によってＬｉｄａｒのような測距装置で測定された点群データを取得し、当該点群データを解析することで配置領域Ｒにある少なくとも１つのオブジェクト８を検知する。オブジェクト検知部１０４の検知結果は、不図示の通信ネットワークを介して端末４に送られる。

【0024】

端末４の画像表示部１１８は、端末カメラ１２０で撮像した画像を表示するとともに、当該画像上にオブジェクト検知部１０４で検知されたオブジェクト８に対応するフレームを可視化する。具体的には、候補フレーム可視化部１２８は、オブジェクト検知部１０４によって検知された少なくとも１つのオブジェクト８に対応する候補フレーム５４を画面５０に可視化する。図５では、２つのオブジェクト８ａ、８ｂが画面５０に含まれており、それぞれに対応する候補フレーム５４が可視化されている。これにより、端末４の操作者は、端末４を用いて選択可能なオブジェクト８がフィールド６上にどれだけあるかを簡易的に把握することができる。

【0025】

尚、オブジェクト検知部１０４で検知された少なくとも１つのオブジェクト８は、それぞれの位置及び姿勢がリスト化されて作成されるオブジェクト位置リスト情報として画像表示部１１８に送信される。オブジェクトインデックス作成部１０６は、オブジェクト検知部１０４で検知された各オブジェクトに対してインデックスを付与したインデックス情報を作成し、画像表示部１１８に送信する。画像表示部１１８では、受信したオブジェクト位置リスト情報、及び、インデックス情報に基づいて、オブジェクト検知部１０４で検知された各オブジェクト８の位置及び姿勢を認識し、画面５０に画像として表示する。

【0026】

ステップＳ４では、オブジェクト選択部１２４によって、候補フレーム５４が可視化された少なくとも１つのオブジェクト８のいずれかが選択される。オブジェクト選択部１２４による選択は、端末４の向きに対応する視線ベクトルによってオブジェクト８を指定することにより行われる。つまり操作者は、端末４を選択すべきオブジェクト８に向けるという簡易的な操作によって、オブジェクト８の選択が可能である。

【0027】

尚、図５では視線ベクトルによって選択される座標及び姿勢（選択フレーム５６の中心に対応する三次元座標、ピッチ角、ロール角、ヨー角）を正確に把握するために、数値的表示５３がなされている。また視線ベクトルによるオブジェクト８の選択は、視線ベクトルをオブジェクト８に重ねることで行ってもよいが、視線ベクトルがオブジェクト８に重ならない場合であっても視線ベクトルに最も近いオブジェクト８を認識して選択するようにしてもよい。

【0028】

図５に示す画面５０では、選択フレーム可視化部１３０によって、このように視線ベクトルによって選択されたオブジェクト８に対して選択フレーム５６が可視化されている。選択フレーム５６は前述の候補フレーム５４と異なる態様で可視化されることにより、端末４の操作者は、端末４の向きに対応する視線ベクトルによってどのオブジェクト８が選択されているのかを簡易的に把握することができる。このように画面５０では、端末４の操作者が意図するオブジェクト８を移動体２側において正しく認識できていることを直感的にわかりやすく確認できる。特に、画面５０に複数のオブジェクト８が映っている場合においても、画面５０の略中央に位置することで操作者が選択対象として意図するオブジェクト８を、選択フレーム５６によって強調表示することによって、それ以外のオブジェクト８と明瞭に識別できる。

【0029】

また画面５０には、特定のオブジェクト８が視線ベクトルによって選択されている状態で操作されることにより、当該オブジェクト８を選択対象として確定することを承認するための承認ボタン５５が表示されている。

【0030】

続いてフレーム修正部１２５は、ステップＳ４で選択されたオブジェクト８に対応する選択フレーム５６を必要に応じて修正する（ステップＳ５）。ここで図６はステップＳ５における端末４の画面５０を示す模式図である。画面５０には、選択フレーム５６の形状及び姿勢に関するパラメータ５７（座標及び角度）が項目ごとに示されており、初期値としてオブジェクト検知部１０４の検知結果に対応する値が表示される。これらの各パラメータ５７の各項目の値は、端末４を介して操作者が調整できる。これにより、オブジェクト検知部１０４による検知結果に誤りや現場にいる操作者の認識とのずれがある場合には、フレーム修正部１２５による修正操作によって整合させることができる。
尚、選択フレーム５６に修正が必要でない場合には、ステップＳ５の実施は省略されてもよい。

【0031】

続いて自己位置推定部１０２によって推定された移動体２の自己位置が、ステップＳ４で選択されたオブジェクト８に対応する選択フレーム５６によって特定される目標位置（ステップＳ５で選択フレーム５６が修正された場合には、修正後の選択フレーム５６によって特定される目標位置に向かうように、移動体２が制御される（ステップＳ６）。目標位置は、ステップＳ４で選択されたオブジェクト８の近傍に設定される。経路計画部１１４は目標位置に向けた経路を計画し、移動制御部１１６は当該経路を実現するための移動体２の向きや速度を含む指令値を不図示のアクチュエータに送信する。これにより、移動体２は、目標位置に向けて自律的に移動するように制御される。

【0032】

図７は図３のステップ６における端末４の画面５０を示す模式図である。画面５０には、ステップＳ４で選択されたオブジェクト８及び選択フレーム５６に加えて、経路計画部１１４によって計画された第１経路５８と、当該第１経路５８に沿った移動体２の移動の可否を指示するための指示ボタン５９とが表示されている。このように画面５０に移動体２が従っている第１経路５８を表示することで、端末４の操作者は、移動制御中にある移動体２の挙動を簡易的に把握することができる。また、移動制御中にある移動体２には、操作者が端末４で指示ボタン５９を操作している間に移動操作部１２６から許可信号が送信されることで、第１経路５８に従った移動体２の移動制御を、操作者が任意のタイミングで中断することができる。これにより、何らかの障害等が発生した際には、移動体２の自律的な移動制御を、操作者が意図する任意のタイミングで中断することができる。その結果、移動体２の動作は、端末４の操作者の確認・承認のもとで好適に実施される。

【0033】

ステップＳ６における移動体２の移動制御は、移動体２が第１経路５８に沿って目標位置に到達するまで継続される（ステップＳ７）。これにより、操作者が端末４を特定のオブジェクト８に向けることで視線ベクトルを合わせるという簡易的な操作によって、オブジェクト８の選択ができ、そして選択されたオブジェクト８の近傍の目標位置まで移動体２の誘導が可能となる。

【0034】

移動体２が第１経路５８に沿って目標位置に到達すると（ステップＳ７：ＹＥＳ）、ステップＳ４で選択されたオブジェクト８について再検知が行われる（ステップＳ８）。ステップＳ８の再検知では、前述したステップＳ４で選択対象となるオブジェクト８を検知する際と同様に、例えばＬｉｄａｒのような測距装置を用いた検知が行われる点で共通するが、選択されたオブジェクト８に検知対象を絞り、より詳細な検知が行われる。具体的には、ステップＳ８の再検知が行われる際には、選択されたオブジェクト８の周囲を移動体２が移動しながら（例えば、オブジェクト８の近傍を行き来しながら）再検知が行われる。このとき、選択されたオブジェクト８以外の他のオブジェクト８は検知対象とならず、移動体２が選択されたオブジェクト８の周囲を移動しながら様々な角度から検知を行うことで、点群データ取得部１００は当該オブジェクト８に関する詳細な点群データを取得する。

【0035】

補足して説明すると、ステップＳ４のオブジェクト８の選択時に行われる検知は、オブジェクト８が存在する大まかな領域、すなわち選択フレーム５６で示されるＲＯＩ（Region of Interest）を特定できる程度の比較的簡易的なものである。それに対してステップＳ８で行われる再検知では、選択されたオブジェクト８についてＲＯＩの中で位置や姿勢をより推定するための精密なセンシングである。本実施形態では、このように２段階にわたって精密度が異なるセンシングを行うことでオブジェクト８を検知することで、端末４の操作者が煩雑な教示操作を行うことなく、オブジェクト８への精密誘導を可能とする。

【0036】

続いて経路計画部１１４は、ステップＳ８の再検知の結果に基づいて、選択されたオブジェクト８にアプローチするための第２経路６０を計画する（ステップＳ９）。前述したようにステップＳ８では、選択されたオブジェクト８を対象に再検知が行われることで詳細な点群データが得られる。オブジェクト位置姿勢精密推定部１１２は、当該詳細な点群データに基づいて、選択したオブジェクト８の詳細な位置及び姿勢を推定する。経路計画部１１４は、このような推定結果に基づいて、当該オブジェクト８にアプローチするための第２経路６０を精密に計画する。

【0037】

続いて移動制御部１１６は、ステップＳ９で計画された第２経路６０に従って移動体２が移動するように制御する（ステップＳ１０）。ステップＳ１０では、自己位置推定部１０２によって推定された移動体２の自己位置が、ステップＳ９で計画された第２経路６０に従って移動するように、移動体２の向きや速度を含む指令値を作成し、不図示のアクチュエータに送信する。これにより、移動体２は、ステップＳ９で計画された第２経路６０に従って、選択されたオブジェクト８に対して精密に誘導される。

【0038】

図８は図３のステップ１０における端末４の画面５０を示す模式図である。画面５０には、ステップＳ４で選択されたオブジェクト８及び選択フレーム５６に加えて、ステップＳ９で計画された第２経路６０と、当該第２経路６０に沿った移動体２の移動の可否を指示するための指示ボタン５９とが表示されている。このように画面５０に移動体２が従っている第２経路６０を表示することで、端末４の操作者は、移動制御中にある移動体２の挙動を簡易的に把握することができる。また、移動制御中にある移動体２には、操作者が端末４で指示ボタン５９を操作している間に移動操作部１２６から許可信号が送信されることで、第２経路６０に従った移動体２の移動制御を、操作者が任意のタイミングで中断することができる。これにより、何らかの障害等が発生した際には、移動体２の自律的な移動制御を、操作者が意図する任意のタイミングで中断することができる。その結果、移動体２の動作は、端末４の操作者の確認・承認のもとで好適に実施される。
尚、第２経路６０は、移動体２が視線ベクトルで指定されたオブジェクト８の近傍まで誘導される第１経路５８のあとに、オブジェクト８の再検知結果に基づいてアプローチするための経路であって、第１経路５８に比べて精密に算出される経路である。

【0039】

以上説明したように本実施形態によれば、移動体２で検知された少なくとも１つのオブジェクト８のいずれかが、端末４の向きに対応する視線ベクトルによって指定することで選択されることで、端末４と通信可能な移動体２は、視線ベクトルによって選択されたオブジェクト８に向けて移動するように制御される。このように端末４の向きを合わせるという簡易的な操作によって、移動体２に対して目標とするオブジェクト８のおおよその位置や姿勢程度の簡易的な教示に基づいて、移動体２のオブジェクト８への誘導を実現でき、良好なユーザビリティが得られる。

【0040】

そして移動体２は、端末４の向きに対応する視線ベクトルで指定されることで選択されたオブジェクト８に向けて移動するように制御された後、当該オブジェクト８の再検知が行われる。これにより、移動体２は、選択されたオブジェクト８について詳細な検知ができ、その検知によって求められる第２経路６０に従って移動する。その結果、前述のように簡易的な教示によって目的とするオブジェクト８のおおよその位置に誘導された移動体２は、当該オブジェクト８の再検知によって第２経路６０に従って、端末４の操作者による詳細な指示を必要とすることなく、オブジェクト８に精密誘導される。

【0041】

その他、本開示の趣旨を逸脱しない範囲で、上記した実施形態における構成要素を周知の構成要素に置き換えることは適宜可能であり、また、上記した実施形態を適宜組み合わせてもよい。

【0042】

特に上記実施形態では、移動体２として無人フォークリフト車両、オブジェクト８として無人フォークリフト車両の搬送対象としてパレットを取り扱う場合を例示的に述べたが、端末４との通信によって何らかの操作を行わせるシステム一般に適用可能である。

【0043】

上記各実施形態に記載の内容は、例えば以下のように把握される。

【0044】

（１）一態様に係る移動体制御システム（１）は、
移動体（２）に搭載され、前記移動体が移動可能なフィールド（６）上にある少なくとも１つのオブジェクト（８）を検知するためのオブジェクト検知部（１０４）と、
前記オブジェクト検知部で検知された前記少なくとも１つのオブジェクトのいずれかを選択するためのオブジェクト選択部（１２４）と、
前記オブジェクト選択部によって選択された前記オブジェクトに向けて、前記移動体を移動するように制御するための移動制御部（１１６）と、
を備え、
前記オブジェクト選択部は、前記移動体と通信可能な端末の画面（５０）に表示された前記少なくとも１つのオブジェクトのいずれかを、前記端末の向きに対応する視線ベクトルによって指定することにより選択する。

【0045】

上記（１）の態様によれば、移動体によって検知された少なくとも１つのオブジェクトのいずれかが、端末の向きに対応する視線ベクトルによって指定することで選択されることで、端末と通信可能な移動体は、視線ベクトルによって選択されたオブジェクトに向けて移動するように制御される。このように端末の向きを合わせるという簡易的な操作によって、移動体に対して端末の操作者が選択したオブジェクトを簡易的に教示できる。

【0046】

（２）他の態様では、上記（１）の態様において、
前記オブジェクト選択部によって選択された前記オブジェクトに対応する選択フレーム（５６）を前記画面に可視化するための選択フレーム可視化部を更に備える。

【0047】

上記（２）の態様によれば、端末の画面上にはフィールド上にある少なくとも１つのオブジェクトとともに、選択フレームが可視化される。これにより、端末の操作者は、端末の向きに対応する視線ベクトルによってどのオブジェクトが選択されているのかを簡易的に把握することができる。

【0048】

（３）他の態様では、上記（１）又は（２）の態様において、
前記オブジェクト検知部によって検知された前記少なくとも１つのオブジェクトに対応する候補フレーム（５４）を前記画面に可視化するための候補フレーム可視化部を更に備える。

【0049】

上記（３）の態様によれば、端末の画面上には、端末の操作者が選択可能な候補となるオブジェクトに対応する候補フレームが可視化される。これにより、端末の操作者は、端末を用いて選択可能なオブジェクトがフィールド上にどれだけあるかを簡易的に把握することができる。

【0050】

（４）他の態様では、上記（１）から（３）のいずれか一態様において、
前記端末に搭載された端末カメラ（１２０）と、
前記端末カメラによって前記移動体に設けられたマーカを撮像することにより前記端末と前記移動体との相対位置関係を認識するための相対位置関係認識部（１０８）と、
前記相対位置関係に基づいて、前記端末の位置情報を前記移動体の座標系に変換するための座標変換部（１１０）と、
を更に備える。

【0051】

上記（４）の態様によれば、端末に搭載された端末カメラによって、移動体に設けられたマーカを撮像することで、端末と移動体との相対的位置関係が特定される。座標変換部は、このような相対的位置関係に基づいて、端末で得られた位置情報と移動体で得られた位置情報とを互いに座標変換することが可能となり、端末と移動体とを協調した移動制御が可能となる。

【0052】

（５）他の態様では、上記（１）から（４）のいずれか一態様において、
前記移動体が前記オブジェクト選択部によって選択された前記オブジェクトに向けて第１経路に沿って移動した後、前記オブジェクト検知部は前記オブジェクト選択部によって選択された前記オブジェクトの再検知を行い、
前記移動制御部は、再検知によって求められる第２経路（６０）に基づいて、前記オブジェクトにアプローチするように前記移動体を制御する。

【0053】

上記（５）の態様によれば、移動体は、上述のように端末の向きに対応する視線ベクトルで指定されることで選択されたオブジェクトに向けて第１経路に沿って移動するように制御された後、当該オブジェクトの再検知が行われる。これにより、移動体は、選択されたオブジェクトについて詳細な検知ができ、その検知によって求められる第２経路に従って移動する。その結果、端末の操作者は、端末をオブジェクトに向けるという簡単な操作によってオブジェクトの選択を行うだけで、移動体に対してアプローチ対象となるオブジェクトを簡易的に教示しつつ、精密な移動制御を実現できる。
尚、第２経路は、移動体が視線ベクトルで指定されたオブジェクトの近傍まで誘導される第１経路のあとに、オブジェクトの再検知結果に基づいてアプローチするための経路であって、第１経路に比べて精密に算出される経路である。

【0054】

（６）他の態様では、上記（５）の態様において、
前記再検知は、前記オブジェクト選択部によって選択された前記オブジェクトの周囲を前記移動体が移動しながら行われる。

【0055】

上記（６）の態様によれば、オブジェクトの再検知を行う際に、移動体がオブジェクトの周囲を移動するように移動経路が設定される。これにより、オブジェクトの再検知を詳細に行うことができ、当該再検知に基づいたオブジェクトに対する精密なアプローチが可能となる。

【0056】

（７）他の態様では、上記（１）から（６）のいずれか一態様において、
前記移動制御部による前記移動体の制御の可否を指示するための移動操作部（１２６）を更に備える。

【0057】

上記（７）の態様によれば、移動操作部によって前述のような移動体の各種移動制御の可否を指示することで、例えば不測の事態が生じた場合には任意のタイミングで移動制御を中断することができる。

【0058】

（８）他の態様では、上記（１）から（７）のいずれか一態様において、
前記端末の操作によって前記オブジェクト検知部の検知結果を修正可能である。

【0059】

上記（８）の態様によれば、オブジェクト検知部の検出結果が端末の操作によって修正可能である。これにより、オブジェクト検知部による検知結果に誤りがある場合など、作業者との認識にずれがある場合に検知結果を修正することができる。

【0060】

（９）一態様に係る移動体制御方法は、
移動体（２）に搭載され、前記移動体が移動可能なフィールド上（６）にある少なくとも１つのオブジェクト（８）を検知するための工程と、
前記移動体と通信可能な端末（４）の画面（５０）に表示された前記少なくとも１つのオブジェクトのいずれかを、前記端末の向きに対応する視線ベクトルによって指定することにより、前記少なくとも１つのオブジェクトのいずれかを選択する工程と、
前記選択されたオブジェクトに向けて、前記移動体を移動するように制御する工程と、
を備える。

【0061】

上記（９）の態様によれば、移動体によって検知された少なくとも１つのオブジェクトのいずれかが、端末の向きに対応する視線ベクトルによって指定することで選択されることで、端末と通信可能な移動体は、視線ベクトルによって選択されたオブジェクトに向けて移動するように制御される。このように端末の向きを合わせるという簡易的な操作によって、移動体に対して端末の操作者が選択したオブジェクトを簡易的に教示できる。

【0062】

（１０）一態様に係るプログラムは、
コンピュータを用いて、
移動体（２）に搭載され、前記移動体が移動可能なフィールド上（６）にある少なくとも１つのオブジェクト（８）を検知するための工程と、
前記移動体と通信可能な端末（４）の画面（５０）に表示された前記少なくとも１つのオブジェクトのいずれかを、前記端末の向きに対応する視線ベクトルによって指定することにより、前記少なくとも１つのオブジェクトのいずれかを選択する工程と、
前記選択されたオブジェクトに向けて、前記移動体を移動するように制御する工程と、
を実行可能である。

【0063】

上記（１０）の態様によれば、移動体によって検知された少なくとも１つのオブジェクトのいずれかが、端末の向きに対応する視線ベクトルによって指定することで選択されることで、端末と通信可能な移動体は、視線ベクトルによって選択されたオブジェクトに向けて移動するように制御される。このように端末の向きを合わせるという簡易的な操作によって、移動体に対して端末の操作者が選択したオブジェクトを簡易的に教示できる。

【符号の説明】

【0064】

１ 移動体制御システム
２ 移動体
４ 端末
６ フィールド
８ オブジェクト
５０ 画面
５２ マーカ認識用フレーム
５３ 数値的表示
５４ 候補フレーム
５５ 承認ボタン
５６ 選択フレーム
５７ パラメータ
５８ 第１経路
５９ 指示ボタン
６０ 第２経路
１００ 点群データ取得部
１０２ 自己位置推定部
１０４ オブジェクト検知部
１０６ オブジェクトインデックス作成部
１０８ 相対位置認識部
１１０ 座標変換部
１１２ オブジェクト位置姿勢精密推定部
１１４ 経路計画部
１１６ 移動制御部
１１８ 画像表示部
１２０ 端末カメラ
１２２ 移動量算出部
１２４ オブジェクト選択部
１２５ フレーム修正部
１２６ 移動操作部
１２８ 候補フレーム可視化部
１３０ 選択フレーム可視化部
１３２ 移動経路可視化部
Ｒ 配置領域

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】