特開 2022-59815 移動体制御装置、移動体、移動体制御方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022059815

(43)【公開日】2022-04-14

(54)【発明の名称】移動体制御装置、移動体、移動体制御方法、およびプログラム

(51)【国際特許分類】

   G05D 1/02 20200101AFI20220407BHJP

【ＦＩ】

G05D1/02 K

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2020167645

(22)【出願日】2020-10-02

(71)【出願人】

【識別番号】000005326

【氏名又は名称】本田技研工業株式会社

(71)【出願人】

【識別番号】599055382

【氏名又は名称】学校法人東邦大学

(74)【代理人】

【識別番号】100165179

【弁理士】

【氏名又は名称】田▲崎▼ 聡

(74)【代理人】

【識別番号】100126664

【弁理士】

【氏名又は名称】鈴木 慎吾

(74)【代理人】

【識別番号】100154852

【弁理士】

【氏名又は名称】酒井 太一

(74)【代理人】

【識別番号】100194087

【弁理士】

【氏名又は名称】渡辺 伸一

(72)【発明者】

【氏名】越膳 孝方

(72)【発明者】

【氏名】佐藤 文明

【テーマコード（参考）】

5H301

【Ｆターム（参考）】

5H301EE08

5H301EE13

5H301EE26

5H301GG09

(57)【要約】      （修正有）

【課題】移動体の自己位置の推定精度を向上させることが可能な移動体制御装置、移動体、移動体制御方法、およびプログラムを提供する。
【解決手段】移動体１に搭載可能な撮像部１０５により撮像された撮像画像を取得する取得部２１１と、前記取得部により取得された撮像画像に含まれる標識情報に基づいて、前記移動体の自己位置を推定する第１推定部２１３と、前記取得部により取得された撮像画像に基づいて、前記移動体の走行経路線を推定する第２推定部２１５と、前記第１推定部により推定された自己位置の信頼度に基づいて、前記第１推定部により推定された自己位置を用いた第１走行制御と、前記第２推定部により推定された走行経路線を用いた第２走行制御とのいずれを行うかを判定する判定部２１７と、前記判定部の判定結果に応じて、前記第１走行制御または前記第２走行制御に基づく前記移動体の制御を行う走行制御部２１８とを備える、移動体制御装置。
【選択図】図１

【特許請求の範囲】

【請求項1】

移動体に搭載可能な撮像部により撮像された撮像画像を取得する取得部と、
前記取得部により取得された撮像画像に含まれる標識情報に基づいて、前記移動体の自己位置を推定する第１推定部と、
前記取得部により取得された撮像画像に基づいて、前記移動体の走行経路線を推定する第２推定部と、
前記第１推定部により推定された自己位置の信頼度に基づいて、前記第１推定部により推定された自己位置を用いた第１走行制御と、前記第２推定部により推定された走行経路線を用いた第２走行制御とのいずれを行うかを判定する判定部と、
前記判定部の判定結果に応じて、前記第１走行制御または前記第２走行制御に基づく前記移動体の制御を行う走行制御部と
を備える、移動体制御装置。

【請求項2】

前記第１走行制御は、前記第１推定部により推定された自己位置および地図情報から得られる走行経路線を用いて、前記移動体の移動方向を制御し、
前記第２走行制御は、前記移動体の駆動輪の移動量に基づいて算出される前記移動体の自己位置および前記第２推定部により推定された走行経路線を用いて、前記移動体の移動方向を制御する、
請求項１に記載の移動体制御装置。

【請求項3】

前記第２推定部は、画像が入力されたときに前記画像に含まれる走行可能領域を示す情報が出力されるように学習された推定モデルに対して、前記取得部により取得された撮像画像を入力することにより、前記移動体の走行可能領域を取得し、取得された前記走行可能領域に基づいて、前記走行経路線を推定する、
請求項１または２に記載の移動体制御装置。

【請求項4】

前記第１推定部は、複数の前記撮像画像の各々に含まれる前記標識情報に対して３次元座標系を設定し、
前記判定部は、前記撮像画像の各々に含まれる前記標識情報に対して設定された前記３次元座標系の座標軸の分散により表される前記自己位置の信頼度に基づいて、前記判定を行う、
請求項１から３のいずれか一項に記載の移動体制御装置。

【請求項5】

前記走行制御部は、前記第１走行制御に基づく前記移動体の制御を行う場合、前記移動体の駆動輪の移動量に基づいて算出された前記移動体の自己位置を、前記第１推定部により推定された自己位置を用いて更新する、
請求項２に記載の移動体制御装置。

【請求項6】

前記判定部は、さらに、前記第２推定部による推定値の信頼度に基づいて、前記第２走行制御と、前記移動体の駆動輪の移動量に基づいて算出される前記移動体の自己位置および地図情報から得られる走行経路線を用いた第３走行制御とのいずれを行うかを判定する、
請求項１から５のいずれか一項に記載の移動体制御装置。

【請求項7】

前記判定部は、前記撮像画像に対する、前記撮像画像に基づいて取得された前記移動体の走行可能領域の割合によって表される前記第２推定部による推定値の信頼度に基づいて、前記判定を行う、
請求項６に記載の移動体制御装置。

【請求項8】

請求項１から７のいずれか一項に記載の移動体制御装置と、
前記移動体制御装置の制御に基づいて走行する走行機構と
を備える移動体。

【請求項9】

コンピュータが、
移動体に搭載可能な撮像部により撮像された撮像画像を取得し、
取得された前記撮像画像に含まれる標識情報に基づいて、前記移動体の自己位置を推定し、
取得された前記撮像画像に基づいて、前記移動体の走行経路線を推定し、
推定された前記自己位置の信頼度に基づいて、推定された前記自己位置を用いた第１走行制御と、推定された前記走行経路線を用いた第２走行制御とのいずれを行うかを判定し、
前記判定の結果に応じて、前記第１走行制御または前記第２走行制御に基づく前記移動体の制御を行う、
移動体制御方法。

【請求項10】

コンピュータに、
移動体に搭載可能な撮像部により撮像された撮像画像を取得させ、
取得された前記撮像画像に含まれる標識情報に基づいて、前記移動体の自己位置を推定させ、
取得された前記撮像画像に基づいて、前記移動体の走行経路線を推定させ、
推定された前記自己位置の信頼度に基づいて、推定された前記自己位置を用いた第１走行制御と、推定された前記走行経路線を用いた第２走行制御とのいずれを行うかを判定させ、
前記判定の結果に応じて、前記第１走行制御または前記第２走行制御に基づく前記移動体の制御を行わせる、
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、移動体制御装置、移動体、移動体制御方法、およびプログラムに関する。

【背景技術】

【0002】

従来、走行路に複数のＡＲ（Augmented Reality）マーカーを設置し、移動体に設けられたカメラにより撮影されたＡＲマーカーの画像と、予め準備された地図情報とを用いることで、移動体の自己位置を推定する技術が知られている。その他、ディープラーニング等のＡＩ（Artificial Intelligence）技術を使用し、移動体の周囲の画像に基づいて、移動体の自己位置を推定する技術も知られている（特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１９－１３５５７９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ＡＲマーカーを用いた処理は位置推定の精度が高いという特徴があるが、カメラとＡＲマーカーとの位置関係によっては、ＡＲマーカー面と垂直な方向における推定精度に問題が生じる場合があった。また、ディープラーニングを用いた処理は、計算量が多くなるため推定処理に時間を要する上に、推定精度があまり高くないという問題があった。

【0005】

本発明は、このような事情を考慮してなされたものであり、移動体の自己位置の推定精度を向上させることが可能な移動体制御装置、移動体、移動体制御方法、およびプログラムを提供することを目的の一つとする。

【課題を解決するための手段】

【0006】

この発明に係る移動体制御装置、移動体、移動体制御方法、およびプログラムは、以下の構成を採用した。
（１）この発明の一態様の移動体制御装置は、移動体に搭載可能な撮像部により撮像された撮像画像を取得する取得部と、前記取得部により取得された撮像画像に含まれる標識情報に基づいて、前記移動体の自己位置を推定する第１推定部と、前記取得部により取得された撮像画像に基づいて、前記移動体の走行経路線を推定する第２推定部と、前記第１推定部により推定された自己位置の信頼度に基づいて、前記第１推定部により推定された自己位置を用いた第１走行制御と、前記第２推定部により推定された走行経路線を用いた第２走行制御とのいずれを行うかを判定する判定部と、前記判定部の判定結果に応じて、前記第１走行制御または前記第２走行制御に基づく前記移動体の制御を行う走行制御部とを備えるものである。

【0007】

（２）の態様は、上記（１）の態様に係る移動体制御装置において、前記第１走行制御は、前記第１推定部により推定された自己位置および地図情報から得られる走行経路線を用いて、前記移動体の移動方向を制御し、前記第２走行制御は、前記移動体の駆動輪の移動量に基づいて算出される前記移動体の自己位置および前記第２推定部により推定された走行経路線を用いて、前記移動体の移動方向を制御するものである。

【0008】

（３）の態様は、上記（１）または（２）の態様に係る移動体制御装置において、前記第２推定部は、画像が入力されたときに前記画像に含まれる走行可能領域を示す情報が出力されるように学習された推定モデルに対して、前記取得部により取得された撮像画像を入力することにより、前記移動体の走行可能領域を取得し、取得された前記走行可能領域に基づいて、前記走行経路線を推定するものである。

【0009】

（４）の態様は、上記（１）から（３）のいずれかの態様に係る移動体制御装置において、前記第１推定部は、複数の前記撮像画像の各々に含まれる前記標識情報に対して３次元座標系を設定し、前記判定部は、前記撮像画像の各々に含まれる前記標識情報に対して設定された前記３次元座標系の座標軸の分散により表される前記自己位置の信頼度に基づいて、前記判定を行うものである。

【0010】

（５）の態様は、上記（２）の態様に係る移動体制御装置において、前記走行制御部は、前記第１走行制御に基づく前記移動体の制御を行う場合、前記移動体の駆動輪の移動量に基づいて算出された前記移動体の自己位置を、前記第１推定部により推定された自己位置を用いて更新するものである。

【0011】

（６）の態様は、上記（１）から（５）のいずれかの態様に係る移動体制御装置において、前記判定部は、さらに、前記第２推定部による推定値の信頼度に基づいて、前記第２走行制御と、前記移動体の駆動輪の移動量に基づいて算出される前記移動体の自己位置および地図情報から得られる走行経路線を用いた第３走行制御とのいずれを行うかを判定するものである。

【0012】

（７）の態様は、上記（６）の態様に係る移動体制御装置において、前記判定部は、前記撮像画像に対する、前記撮像画像に基づいて取得された前記移動体の走行可能領域の割合によって表される前記第２推定部による推定値の信頼度に基づいて、前記判定を行うものである。

【0013】

（８）この発明の他の態様の移動体は、上記（１）から（７）の何れかの態様に係る移動体制御装置と、前記移動体制御装置の制御に基づいて走行する走行機構とを備えるものである。

【0014】

（９）この発明の他の態様の移動体制御方法は、コンピュータが、移動体に搭載可能な撮像部により撮像された撮像画像を取得し、取得された前記撮像画像に含まれる標識情報に基づいて、前記移動体の自己位置を推定し、取得された前記撮像画像に基づいて、前記移動体の走行経路線を推定し、推定された前記自己位置の信頼度に基づいて、推定された前記自己位置を用いた第１走行制御と、推定された前記走行経路線を用いた第２走行制御とのいずれを行うかを判定し、前記判定の結果に応じて、前記第１走行制御または前記第２走行制御に基づく前記移動体の制御を行うものである。

【0015】

（１０）この発明の他の態様のプログラムは、コンピュータに、移動体に搭載可能な撮像部により撮像された撮像画像を取得させ、取得された前記撮像画像に含まれる標識情報に基づいて、前記移動体の自己位置を推定させ、取得された前記撮像画像に基づいて、前記移動体の走行経路線を推定させ、推定された前記自己位置の信頼度に基づいて、推定された前記自己位置を用いた第１走行制御と、推定された前記走行経路線を用いた第２走行制御とのいずれを行うかを判定させ、前記判定の結果に応じて、前記第１走行制御または前記第２走行制御に基づく前記移動体の制御を行わせるものである。

【発明の効果】

【0016】

上記（１）～（１０）の態様によれば、移動体の自己位置の推定精度を向上させることが可能である。また、標識情報から得られる情報に基づく高精度な推定結果を利用しつつ、精度低下が懸念される状況下では、撮像画像に基づいて決定された走行経路線を用いた処理を行うことで、推定精度を担保しつつ処理に要する時間を短縮することができる。

【図面の簡単な説明】

【0017】

【図1】第１実施形態に係る移動体１の機能ブロック図である。

【図2】第１実施形態に係る移動体１の外観を示す図である。

【図3】第１実施形態に係る撮像画像ＩＭＧに写り込んだＡＲマーカーＭＲに設定された３次元座標系を説明する図である。

【図4】第１実施形態に係る連続的に撮像された撮像画像ＩＭＧ１－１、ＩＭＧ１－２、およびＩＭＧ１－３の各々に設定された３次元座標系の一例を説明する図である。

【図5】第１実施形態に係る連続的に撮像された撮像画像ＩＭＧ２－１、ＩＭＧ２－２、およびＩＭＧ２－３の各々に設定された３次元座標系の他の例を説明する図である。

【図6】第１実施形態に係る走行経路線推定処理の対象となる撮像画像ＩＭＧ３－１の一例を示す図である。

【図7】第１実施形態に係る走行経路線推定処理の処理結果を示す撮像画像ＩＭＧ３－２の一例を示す図である。

【図8】第１実施形態に係る走行制御の処理の流れの一例を示すフローチャートである。

【図9】第１実施形態に係る移動体１が移動開始位置から目的地まで自律走行する様子を説明する図である。

【図10】第２実施形態に係る移動体１Ａの機能ブロック図である。

【図11】第２実施形態に係る走行制御の処理の流れの一例を示すフローチャートである。

【発明を実施するための形態】

【0018】

＜第１実施形態＞
以下、図面を参照し、本発明の移動体制御装置、移動体、移動体制御方法、およびプログラムの実施形態について説明する。本実施形態の移動体は、所定の施設内において、ある移動開始位置から目的地まで自律走行することが可能なものである。移動体は、例えば、電動車椅子を含む。以下においては、移動体として電動車椅子を例に挙げて説明する。また、所定の施設内には、移動体を誘導するためのＡＲ（Augmented Reality）マーカーが走行路に沿って複数配置されている。このＡＲマーカーは、位置伝達標識（標識情報）の役割を果たす。このＡＲマーカーは、予め定められた文字、図形、記号またはこれらの組み合わせで形成される。

【0019】

本実施形態の移動体は、ＡＲマーカーから得られる情報に基づいて推定された自己位置（「現在位置」ともいう）および方向（移動体の向き、姿勢）に基づく走行制御を優先的に行いつつ、ＡＲマーカーから得られる情報に基づく推定を行うことができない或いは推定精度の信頼性が低い場合には、ディープラーニング等のＡＩ（Artificial Intelligence）技術を用いた処理に基づく走行制御を行う。このような制御を行うことで、ＡＲマーカーから得られる情報に基づく高精度な推定結果を利用しつつ、精度低下が懸念される状況下では、ディープラーニングに基づく処理を行うことで、推定精度を担保しつつ処理に要する時間を短縮することができる。

【0020】

［全体構成］
図１は、第１実施形態に係る移動体１の機能ブロック図である。図２は、第１実施形態に係る移動体１の外観を示す図である。移動体１は、例えば、端末装置１０と、制御装置２０と、走行機構３０とを備える。端末装置１０は、本体５０に取り付けられた支持アーム５１を介して、本体５０に着脱可能に取り付けられる。端末装置１０は、移動体１の利用者が視認可能な位置に配置される。制御装置２０は、本体５０の着座部の下部や、背もたれ部等に取り付けられる。走行機構３０は、例えば、本体５０の両側のそれぞれに設けられた一組の駆動輪３１（図２において、一方の駆動輪は不図示）、駆動輪３１の各々を独立して駆動させるアクチュエータ３３、駆動輪３１の各々の回転角を測定する回転角センサ（不図示）等を備える。この回転角センサは、駆動輪３１の各々が所定の回転角だけ回転するごとに信号パルスを出力する。

【0021】

［端末装置］
端末装置１０は、移動体１の利用者や、移動体１の利用を補助する補助者等のユーザによって操作される。端末装置１０は、例えば、タブレット端末、スマートフォン、パーソナルコンピュータ等である。端末装置１０は、例えば、通信部１０１と、入力部１０３と、撮像部１０５と、表示部１０７と、制御部１０９とを備える。通信部１０１は、有線または無線で、制御装置２０と通信する。

【0022】

入力部１０３は、ユーザの各種操作を受け付けるインターフェースである。入力部１０３は、ユーザの操作を受け付け、受け付けた操作に基づく信号を制御部１０９に出力する。入力部１０３は、例えば、目的地等の情報を入力するために使用される。入力部１０３は、例えば、タッチパネル、スイッチ、キーボード等を含む。

【0023】

撮像部１０５は、移動体１の周囲の環境を撮像する。例えば、端末装置１０が移動体１の本体５０に取り付けられた状態において、撮像部１０５は、移動体１の進行方向（例えば、前方）の環境を撮像する。撮像部１０５は、例えば、カメラである。

【0024】

表示部１０７は、各種の情報を表示する。例えば、表示部１０７は、ユーザからの各種の入力操作を受け付けるためのＧＵＩ（Graphical User Interface）、撮像部１０５によって撮像された画像、制御部１０９によって生成された画像等を表示する。例えば、表示部１０７は、タッチパネル、ＬＣＤ（Liquid Crystal Display）、有機ＥＬ（Electro Luminescence）ディスプレイ等である。端末装置１０がタッチパネル式のタブレット端末である場合、この表示部１０７の機能は、上記の入力部１０３の機能と統合されてよい。

【0025】

制御部１０９は、端末装置１０の各種動作を制御する。制御部１０９は、例えば、ＣＰＵ（Central Processing Unit）等のハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。制御部１０９は、例えば、撮像部１０５により撮像された移動体１の前方の環境を示す撮像画像を、通信部１０１を介して、制御装置２０に送信する制御を行う。

【0026】

［制御装置］
制御装置２０は、移動体１の移動に係る各種動作を制御する。制御装置２０は、例えば、通信部２０１と、制御部２１０と、記憶部２２０とを備える。通信部２０１は、端末装置１０と通信するためのネットワークカード等の通信インターフェースである。制御装置２０は、「車両制御装置」の一例である。

【0027】

制御部２１０は、例えば、取得部２１１と、ＡＲマーカー情報処理部２１２と、走行経路線推定部２１５と、オドメトリ情報処理部２１６と、判定部２１７と、走行制御部２１８とを備える。取得部２１１は、通信部２０１を介して、端末装置１０から、端末装置１０の撮像部１０５により撮像された撮像画像を取得する。取得部２１１は、移動体１に搭載可能な撮像部１０５により撮像された撮像画像を取得する。また、取得部２１１は、通信部２０１を介して、走行機構３０の駆動輪３１の各々に設けられた回転角センサから、回転信号パルスを取得する。

【0028】

ＡＲマーカー情報処理部２１２は、取得部２１１により取得された撮像画像に基づいて、移動体１の現在位置および方向を推定する。ＡＲマーカー情報処理部２１２は、例えば、第１推定部２１３と、信頼度算出部２１４とを備える。第１推定部２１３は、撮像画像に含まれるＡＲマーカーを抽出し、抽出されたＡＲマーカーの情報と、記憶部２２０に記憶されたＡＲマーカー情報２２３とに基づいて、移動体１の現在位置および方向を推定する。第１推定部２１３は、取得部２１１により取得された撮像画像に含まれる標識情報に基づいて、移動体１の自己位置を推定する。信頼度算出部２１４は、推定された移動体１の現在位置および方向の確からしさを示す信頼度を算出する。

【0029】

図３は、第１実施形態に係る撮像画像ＩＭＧに写り込んだＡＲマーカーＭＡに設定された３次元座標系（Ｘ軸、Ｙ軸、Ｚ軸）を説明する図である。このように、第１推定部２１３は、例えば、取得された撮像画像ＩＭＧに含まれるＡＲマーカーＭＡに対して３次元座標系（マーカー座標系）を設定し、記憶部２２０に記憶されたＡＲマーカー情報２２３を参照することで、撮像部１０５の座標系（カメラ座標系）を算出する。算出されたカメラ座標系が、移動体１の現在位置および方向を示す。

【0030】

ここで、このようなＡＲマーカーから得られる情報に基づく移動体１の現在位置および方向の推定では、マーカー平面に対する撮像部１０５の相対位置や向きに応じて、推定精度が大きく変化する。特に、マーカー平面（ＸＹ平面）に垂直な軸（Ｚ軸）の方向を追跡する場合、マーカー平面に対する撮像部１０５の投影軸（光軸）の角度が、推定精度に影響を与える。

【0031】

図４は、連続的に撮像された撮像画像ＩＭＧ１－１、ＩＭＧ１－２、およびＩＭＧ１－３の各々に設定された３次元座標系を説明する図である。これらの撮像画像ＩＭＧ１－１、ＩＭＧ１－２、およびＩＭＧ１－３は、撮像部１０５がＡＲマーカーを斜め方向から連続的に撮像することにより得られた画像である。すなわち、撮像画像ＩＭＧ１－１、ＩＭＧ１－２、およびＩＭＧ１－３は、ＡＲマーカー平面に対する撮像部１０５の投影軸の角度が垂直ではない条件下で撮像された画像である。これらの撮像画像ＩＭＧ１－１、ＩＭＧ１－２、およびＩＭＧ１－３は短時間の間に連続的に撮像されたものであるため、撮像部１０５とＡＲマーカーと相対位置および方向はほぼ一定であるとみなすことができる。これらの３つの撮像画像ＩＭＧ１－１、ＩＭＧ１－２、およびＩＭＧ１－３の各々に含まれるＡＲマーカーに設定された３次元座標系は、マーカー平面上の２軸（Ｘ軸、Ｙ軸）およびマーカー平面に垂直な軸（Ｚ軸）のいずれにおいても大きな差異がない。従って、撮像部１０５がＡＲマーカーを斜め方向から撮像している場合、撮像部１０５の３次元座標系（すなわち、移動体１の現在位置および方向）を正しく推定することができる。

【0032】

一方、図５は、連続的に撮像された撮像画像ＩＭＧ２－１、ＩＭＧ２－２、およびＩＭＧ２－３の各々に設定された３次元座標系の他の例を説明する図である。これらの撮像画像ＩＭＧ２－１、ＩＭＧ２－２、およびＩＭＧ２－３は、撮像部１０５がＡＲマーカーを正面方向から連続的に撮像することにより得られた画像である。すなわち、撮像画像ＩＭＧ２－１、ＩＭＧ２－２、およびＩＭＧ２－３は、ＡＲマーカー平面に対する撮像部１０５の投影軸の角度が垂直または略垂直である条件下で撮像された画像である。これらの撮像画像ＩＭＧ２－１、ＩＭＧ２－２、およびＩＭＧ２－３は短時間の間に連続的に撮像されたものであるため、撮像部１０５とＡＲマーカーと相対位置および方向はほぼ一定であるとみなすことができる。これらの３つの撮像画像ＩＭＧ２－１、ＩＭＧ２－２、およびＩＭＧ２－３の各々に含まれるＡＲマーカーに設定された３次元座標系は、マーカー平面上の２軸（Ｘ軸、Ｙ軸）については大きな差異が無いが、マーカー平面に垂直な軸（Ｚ軸）の方向に大きな差異が生じている。このように、撮像部１０５がＡＲマーカーを正面方向から撮像している場合、撮像部１０５の３次元座標系（すなわち、移動体１の現在位置および方向）を正しく推定することができない場合がある。

【0033】

本実施形態では、上記のような撮像条件の違いに起因する推定精度の違いを評価するために、信頼度算出部２１４が信頼度を算出する。信頼度は、例えば、連続的に撮像された複数の撮像画像の各々に対して設定された３次元座標系における各軸の分散である。例えば、上記のマーカー平面に垂直な軸（Ｚ軸）の方向（例えば、ベクトル値）の分散が大きくなるほど信頼度が低くなり、上記のマーカー平面に垂直な軸（Ｚ軸）の方向の分散が小さくなるほど信頼度が高くなる。図４に示す例では、連続的に撮像された撮像画像ＩＭＧ１－１、ＩＭＧ１－２、およびＩＭＧ１－３の各々に対して設定されたＺ軸の方向がほぼ一定となっており（すなわち、Ｚ軸の方向の分散が小さくなっており）、信頼度が高いと言える。一方、図５に示す例では、連続的に撮像された撮像画像ＩＭＧ２－１、ＩＭＧ２－２、およびＩＭＧ２－３の各々に対して設定されたＺ軸の方向にばらつきが生じており（すなわち、Ｚ軸の方向の分散が大きくなっており）、信頼度が低いと言える。

【0034】

走行経路線推定部２１５は、取得部２１１により取得された撮像画像に基づいて、移動体１の移動方向（前方）における走行可能な領域（以下「走行可能領域」）、および走行可能領域内の経路を示す仮想線（走行経路線）を推定する。走行経路線は、例えば、走行可能領域の中央を示す中央線である。走行経路線推定部２１５は、記憶部２２０に記憶されている推定モデル２２５を用いて、走行可能領域および走行経路線を推定する。走行経路線推定部２１５は、「第２推定部」の一例である。

【0035】

すなわち、走行経路線推定部２１５は、取得部２１１により取得された撮像画像に基づいて、移動体１の走行経路線を推定する。走行経路線推定部２１５は、画像が入力されたときに画像に含まれる走行可能領域を示す情報が出力されるように学習された推定モデル２２５に対して、取得部２１１により取得された撮像画像を入力することにより、移動体１の走行可能領域を取得し、取得された走行可能領域に基づいて、走行経路線を推定する。

【0036】

推定モデル２２５は、ディープラーニング等のＡＩ技術を使用したセグメンテーションを実現するモデルである。推定モデル２２５は、ある画像が入力されると、該画像に含まれる走行可能領域を示す情報を出力するように学習されたモデルである。図６は、走行経路線推定処理の対象となる撮像画像ＩＭＧ３－１の一例を示す図である。この撮像画像ＩＭＧ３－１には、走行路Ｒと、左右の壁Ｗ１、Ｗ２と、天井Ｔと、進行方向の空間Ｓとが写り込んでいる。推定モデル２２５は、このような撮像画像ＩＭＧ３－１が入力されると、図６に示されるような走行路Ｒと、走行路Ｒ以外とを区別する情報が付与された撮像画像ＩＭＧ３－２を出力する。例えば、この撮像画像ＩＭＧ３－２には、走行路Ｒを示す領域に例えば“１”のラベルがドットごとに付与されており、走行路Ｒ以外を示す領域（左右の壁Ｗ１、Ｗ２、天井Ｔ、進行方向の空間Ｓ）には、例えば“０”のラベルがドットごとに付与されている。

【0037】

さらに、この撮像画像ＩＭＧ３－２には、走行路Ｒの走行経路線（中央線）Ｃが付与されている。この中央線Ｃは、撮像画像ＩＭＧ３－２において走行路Ｒと推定された領域（“１”の情報が付与された領域）と、走行路Ｒ以外と推定された領域（“０”の情報が付与された領域）との境界の情報に基づいて推定される。例えば、撮像画像ＩＭＧ３－２の横方向（移動体１の進行方向と直交する地面水平方向）において、“０”から“１”に変わる境界位置の座標と、“１”から“０”に変化する境界位置の座標との中心座標を通る線が、中央線Ｃとして推定される。

【0038】

推定モデル２２５は、例えば、所定の施設内を撮像した撮像画像に対して、走行路を示す領域であることを示すラベルが付与された教師データを学習することにより生成される。なお、推定モデル２２５は、所定の施設内の走行路を撮像した撮像画像に含まれる構造物と、走行路との間の関係を学習するようにしてもよい。このような学習段階により生成された推定モデル２２５は、所定の施設内の任意位置の画像が入力されると、該画像に含まれる走行可能領域を示す情報を出力することができる。

【0039】

オドメトリ情報処理部２１６は、走行機構３０に含まれる駆動輪３１の各々に配置された回転角センサ（不図示）から得られる回転信号パルスに基づいて、移動体１の現在位置および方向を推定する。オドメトリ情報処理部２１６は、取得部２１１により取得された回転信号パルスの発生数に基づいて、駆動輪３１の各々の走行距離を算出し、算出された走行距離と、記憶部２２０に記憶された地図情報２２１とに基づいて、移動体１の現在位置および方向を推定する。

【0040】

判定部２１７は、信頼度算出部２１４により算出された信頼度に基づいて、ＡＲマーカーの情報に基づいて推定された移動体１の現在位置および方向の信頼度が十分であるか否かを判定する。例えば、判定部２１７は、算出された信頼度（３次元座標系における各軸の分散）が閾値以下である場合、ＡＲマーカーの情報に基づいて推定された移動体１の現在位置および方向の信頼度が十分であると判定する。一方、判定部２１７は、算出された信頼度（３次元座標系における各軸の少なくとも１つ分散）が閾値よりも大きい場合、ＡＲマーカーの情報に基づいて推定された移動体１の現在位置および方向の信頼度が十分ではないと判定する。

【0041】

走行制御部２１８は、判定部２１７の判定結果に基づいて、第１走行制御および第２走行制御のいずれかを行う。第１走行制御では、ＡＲマーカー情報処理部２１２の第１推定部２１３により推定された推定値および地図情報２２１に基づいて、移動体１の走行が制御される。例えば、第１走行制御では、移動体１が、第１推定部２１３により推定された現在位置から、地図情報２２１から得られる走行路の中央線に近付くように駆動輪３１の向きが制御される。一方、第２走行制御は、オドメトリ情報処理部２１６により推定された推定値および走行経路線推定部２１５により推定された中央線Ｃに基づいて、移動体１の走行が制御される。例えば、第２走行制御では、移動体１が、オドメトリ情報処理部２１６により推定された現在位置から、走行経路線推定部２１５により推定された中央線Ｃに近付くように駆動輪３１の向きが制御される。

【0042】

すなわち、判定部２１７は、第１推定部２１３により推定された自己位置の信頼度に基づいて、第１推定部２１３により推定された自己位置を用いた第１走行制御と、走行経路線推定部２１５により推定された走行経路線を用いた第２走行制御とのいずれを行うかを判定する。判定部２１７は、第１推定部２１３により設定された３次元座標系に含まれる座標軸の分散により表される自己位置の信頼度に基づいて、上記の判定を行う。また、走行制御部２１８は、判定部２１７の判定結果に応じて、第１走行制御または第２走行制御に基づく移動体１の制御を行う。第１走行制御は、第１推定部２１３により推定された自己位置および地図情報から得られる走行経路線を用いて、移動体１の移動方向を制御する。第２走行制御は、移動体１の駆動輪の移動量に基づいて算出される移動体１の自己位置および走行経路線推定部２１５により決定された走行経路線を用いて、移動体１の移動方向を制御する。また、走行制御部２１８は、第１走行制御に基づく移動体１の制御を行う場合、移動体１の駆動輪３１の移動量に基づいて算出された移動体１の自己位置を、第１推定部２１３により推定された自己位置を用いて更新する。

【0043】

制御部２１０の各機能部は、例えば、ＣＰＵ（Central Processing Unit）等のハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。これらの構成要素のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）等のハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。これらの構成要素の機能のうち一部または全部は、専用のＬＳＩによって実現されてもよい。プログラムは、制御装置２０が備えるＨＤＤ（Hard Disk Drive）やフラッシュメモリ等の記憶装置（非一過性の記憶媒体を備える記憶装置）に格納されていてもよいし、ＤＶＤやＣＤ－ＲＯＭ等の着脱可能な記憶媒体（非一過性の記憶媒体）に格納されており、記憶媒体が制御装置２０のドライブ装置に装着されることで制御装置２０が備えるＨＤＤやフラッシュメモリにインストールされてもよい。

【0044】

記憶部２２０は、移動体１の走行制御に必要な各種情報を記憶する。記憶部２２０は、例えば、地図情報２２１と、ＡＲマーカー情報２２３と、推定モデル２２５とを記憶する。地図情報２２１は、所定の施設内における、走行路のルート、形状、及び走行路の周辺の様子を示す情報を含む。ＡＲマーカー情報２２３は、所定の施設内における、各ＡＲマーカーの埋め込み情報と、各ＡＲマーカーの設置位置の座標（例えば、緯度、経度）を示す情報を含む。記憶部２２０は、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）、ＨＤＤ、フラッシュメモリ等で実現される。

【0045】

［処理フロー］
次に、上記のように構成された移動体１の処理フローについて説明する。以下においては、図９に示すような施設Ｆにおいて、移動体１が移動開始位置ＳＴから目的地ＧＬまで自律走行する場合を例に挙げて説明する。この施設Ｆの経路には、ＡＲマーカーＭＫ１からＭＫ６が設けられている。また、制御装置２０には、移動開始位置ＳＴおよび目的地ＧＬの位置情報が与えられているものとする。また、移動体１の端末装置１０の撮像部１０５は、移動体１の移動方向（前方）を継続的に撮像しているものとする。

【0046】

図８は、第１実施形態に係る走行制御の処理の流れの一例を示すフローチャートである。図８に示される一連の処理は、移動体１が目的地まで移動する間に繰り返し行われる。まず、移動体１が移動開始地点ＳＴから目的地ＧＬへの移動を開始した後、制御装置２０の取得部２１１は、通信部２０１を介して、端末装置１０から、端末装置１０の撮像部１０５により撮像された撮像画像（連続的に撮像された複数の撮像画像）を取得する。また、取得部２１１は、通信部２０１を介して、走行機構３０の駆動輪３１の各々に設けられた回転角センサから、回転信号パルスを取得する（ステップＳ１００）。

【0047】

次に、ＡＲマーカー情報処理部２１２の第１推定部２１３は、取得部２１１により取得された撮像画像に基づいて、移動体１の現在位置および方向を推定する（ステップＳ１０２）。例えば、移動体１が経路Ｒ１における中間地点ＭＰ１に位置して移動方向Ｄ１に沿って移動している場合、取得される撮像画像にはＡＲマーカーＭＫ２が写り込んでいる。この場合、第１推定部２１３は、撮像画像に含まれるＡＲマーカーＭＫ２を抽出し、抽出されたＡＲマーカーＭＫ２の情報と、記憶部２２０に記憶されたＡＲマーカー情報２２３（および地図情報２２１）とに基づいて、移動体１の現在位置および方向を推定する。一方、移動体１が経路Ｒ２における中間地点ＭＰ２に位置して移動方向Ｄ２に沿って移動している場合、取得される撮像画像にはＡＲマーカーが写り込まない。この場合、第１推定部２１３は、上記の推定処理を行わない。

【0048】

次に、オドメトリ情報処理部２１６は、取得部２１１により取得された回転信号パルスの発生数に基づいて、移動体１の現在位置および方向を推定する（ステップＳ１０４）。例えば、移動開始地点ＳＴから移動を開始した後の１回目の処理では、オドメトリ情報処理部２１６は、移動開始地点ＳＴの座標を基準として、回転信号パルスの発生数に基づいて算出される移動距離だけ移動した位置を現在位置と推定する。以後、２回目以降の処理では、オドメトリ情報処理部２１６は、前回の推定値を基準として、新たな現在位置を推定する。

【0049】

次に、判定部２１７は、ＡＲマーカーが抽出可能であり且つＡＲマーカーの情報に基づいて算出された推定値の信頼度が十分であるか否かを判定する（ステップＳ１０６）。例えば、判定部２１７は、まず、第１推定部２１３によるＡＲマーカーの抽出が可能であったか否かを判定する。撮像画像にＡＲマーカーが含まれておらずＡＲマーカーの抽出が不可能であった場合、判定部２１７は、ステップＳ１０６の判定条件を満たさないと判定する。判定部２１７は、第１推定部２１３によるＡＲマーカーの抽出が可能であったと判定した場合、ＡＲマーカーの情報に基づいて算出された推定値の信頼度が十分であるか否かを判定する。例えば、判定部２１７は、ＡＲマーカーに設定された３次元座標系における各軸の分散が閾値以下である場合、推定値の信頼度が十分であると判定する。この場合、判定部２１７は、ステップＳ１０６の判定条件を満たすと判定する。一方、例えば、判定部２１７は、ＡＲマーカーに設定された３次元座標系における各軸の少なくとも１つの分散が閾値よりも大きい場合、推定値の信頼度が十分ではないと判定する。この場合、判定部２１７は、ステップＳ１０６の判定条件を満たさないと判定する。

【0050】

判定部２１７によりステップＳ１０６の判定条件を満たすと判定された場合、走行制御部２１８は、ＡＲマーカーの情報に基づく推定値および地図情報２２１に基づいて移動体１が制御される第１走行制御を行う（ステップＳ１０８）。例えば、第１走行制御では、移動体１が、第１推定部２１３により推定された現在位置から、地図情報２２１から得られる走行路の中央線に近付くように駆動輪３１の向きが制御される。次に、走行制御部２１８は、第１推定部２１３によりＡＲマーカーの情報に基づいて推定された推定値を用いて、オドメトリに基づく推定値である第２推定値を更新する（ステップＳ１１０）。このような更新処理を行うことで、次回以降のオドメトリに基づく推定処理では、前回の高精度なＡＲマーカーの情報に基づく推定値を基準として行われることになる。これにより、次回以降のオドメトリに基づく推定処理の精度を高めることができる。

【0051】

一方、判定部２１７によりステップＳ１０６の判定条件が満たされないと判定された場合、走行経路線推定部２１５は、取得部２１１により取得された撮像画像に基づいて、移動体１の移動方向（前方）における走行可能領域および走行経路線を推定する（ステップＳ１１２）。次に、走行制御部２１８は、オドメトリに基づく推定値および推定された走行経路線の情報に基づいて移動体１が制御される第２走行制御を行う（ステップＳ１１４）。例えば、第２走行制御では、移動体１が、オドメトリ情報処理部２１６により推定された現在位置から、走行経路線推定部２１５により推定された走行経路線に近付くように駆動輪３１の向きが制御される。

【0052】

以上の処理が繰り返し実行されることで、移動体１は、目的地ＧＬまで自律走行することができる。

【0053】

以上説明した第１実施形態によれば、移動体の自己位置の推定精度を向上させることが可能である。また、ＡＲマーカーから得られる情報に基づく高精度な推定結果を利用しつつ、精度低下が懸念される状況下では、ディープラーニング等のＡＩ技術に基づく処理を行うことで、推定精度を担保しつつ処理に要する時間を短縮することができる。

【0054】

＜第２実施形態＞
以下、第２実施形態について説明する。第１実施形態と比較して、第２実施形態の移動体は、ディープラーニングに基づく推定結果に対する信頼度の判定を行う点が異なる。このため、構成等については第１実施形態で説明した図および関連する記載を援用し、詳細な説明を省略する。

【0055】

図１０は、第２実施形態に係る移動体１Ａの機能ブロック図である。図１０に示すように、制御装置２０Ａは、第１実施形態の制御装置２０の構成要素に加えて、第２信頼度算出部２３０をさらに備える。第２信頼度算出部２３０は、走行経路線推定部２１５により推定された走行可能領域および走行経路線の確からしさを示す第２信頼度を算出する。第２信頼度は、例えば、撮像画像（全体）に対する、走行可能領域と判定された部分の画素数（ドット数）の割合である。例えば、撮像画像に対する、走行可能領域と判定された部分の画素数の割合が極端に少ない場合、走行可能領域が正確に推定できていないことが想定される。このため、判定部２１７は、撮像画像における走行可能領域と判定された部分の画素数の割合が閾値以下である場合（例えば、３０％以下）、信頼度が十分ではないと判定する。一方、判定部２１７は、撮像画像における走行可能領域と判定された部分の画素数の割合が閾値よりも大きい場合（例えば、３０％よりも大きい）、信頼度が十分であると判定する。

【0056】

［処理フロー］
図１１は、第２実施形態に係る走行制御の処理の流れの一例を示すフローチャートである。図１０に示される一連の処理は、移動体１が目的地まで移動する間に繰り返し行われる。ステップＳ１００からＳ１１０までの処理は第１実施形態と同じであるため、第１実施形態で説明した図および関連する記載を援用し、詳細な説明を省略する。

【0057】

一方、判定部２１７によりステップＳ１０６の判定条件が満たされないと判定された場合、走行経路線推定部２１５は、取得部２１１により取得された撮像画像に基づいて、移動体１の移動方向（前方）における走行可能領域および走行経路線を推定する（ステップＳ１１２）。

【0058】

次に、判定部２１７は、走行経路線推定部２１５により推定された走行可能領域および走行経路線の信頼度が十分であるか否かを判定する（ステップＳ２００）。判定部２１７により推定値の信頼度が十分であると判定された場合、走行制御部２１８は、オドメトリに基づく推定値および推定された走行経路線推定部２１５の推定値に含まれる走行経路線の情報に基づいて移動体１の走行が制御される第２走行制御を行う（ステップＳ１１４）。例えば、第２走行制御では、移動体１が、オドメトリ情報処理部２１６により推定された現在位置から、走行経路線推定部２１５により推定された走行経路線に近付くように駆動輪３１の向きが制御される。

【0059】

一方、判定部２１７により信頼度が十分ではないと判定された場合、走行制御部２１８は、オドメトリに基づく推定値および地図情報２２１に基づいて移動体１の走行が制御される第３走行制御を行う（ステップＳ２０２）。例えば、第３走行制御では、移動体１が、オドメトリ情報処理部２１６により推定された現在位置から、地図情報２２１から得られる走行路の中央線に近付くように駆動輪３１の向きが制御される。

【0060】

すなわち、判定部２１７は、さらに、走行経路線推定部２１５により決定された走行経路線の信頼度に基づいて、移動体１の駆動輪３１の移動量に基づいて算出される移動体１の自己位置および第２推定部２１５により推定された走行経路線を用いて、移動体１の移動方向を制御する第２走行制御と、移動体１の駆動輪の移動量に基づいて算出される移動体１の自己位置および地図情報から得られる走行経路線を用いた第３走行制御とのいずれを行うかを判定する。また、判定部２１７は、撮像画像に対する、撮像画像に基づいて取得された移動体１の走行可能領域の割合によって表される走行経路線の信頼度に基づいて、上記の判定を行う。

【0061】

以上の処理が繰り返し実行されることで、移動体１は、目的地ＧＬまで自律走行することができる。

【0062】

以上説明した第２実施形態によれば、移動体の自己位置の推定精度を向上させることが可能である。また、ＡＲマーカーから得られる情報に基づく高精度な推定結果を利用しつつ、精度低下が懸念される状況下では、ディープラーニング等のＡＩ技術に基づく処理を行うことで、推定精度を担保しつつ処理に要する時間を短縮することができる。さらに、ディープラーニング等のＡＩ技術に基づく処理における精度低下が懸念される状況下では、オドメトリに基づいて推定された位置情報と地図情報とを使用することで推定精度を担保することができる。

【0063】

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

【符号の説明】

【0064】

１，１Ａ 移動体
１０ 端末装置
２０，２０Ａ 制御装置
３０ 走行機構
１０１ 通信部
１０３ 入力部
１０５ 撮像部
１０７ 表示部
１０９ 制御部
２０１ 通信部
２１０ 制御部
２１１ 取得部
２１２ ＡＲマーカー情報処理部
２１３ 第１推定部
２１４ 信頼度算出部
２１５ 走行経路線推定部
２１６ オドメトリ情報処理部
２１７ 判定部
２１８ 走行制御部
２２０ 記憶部
２２１ 地図情報
２２３ ＡＲマーカー情報
２２５ 推定モデル
２３０ 第２信頼度算出部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】