特開 2022-61194 追尾走行制御装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022061194

(43)【公開日】2022-04-18

(54)【発明の名称】追尾走行制御装置

(51)【国際特許分類】

   G05D 1/02 20200101AFI20220411BHJP

【ＦＩ】

G05D1/02 K

【審査請求】未請求

【請求項の数】3

【出願形態】ＯＬ

(21)【出願番号】P 2020169034

(22)【出願日】2020-10-06

(71)【出願人】

【識別番号】000003218

【氏名又は名称】株式会社豊田自動織機

(74)【代理人】

【識別番号】100088155

【弁理士】

【氏名又は名称】長谷川 芳樹

(74)【代理人】

【識別番号】100113435

【弁理士】

【氏名又は名称】黒木 義樹

(74)【代理人】

【識別番号】100124062

【弁理士】

【氏名又は名称】三上 敬史

(74)【代理人】

【識別番号】100148013

【弁理士】

【氏名又は名称】中山 浩光

(72)【発明者】

【氏名】加藤 拓朗

【テーマコード（参考）】

5H301

【Ｆターム（参考）】

5H301AA01

5H301BB05

5H301CC03

5H301CC06

5H301CC10

5H301GG08

5H301GG09

(57)【要約】

【課題】追尾対象の誤認識を防止することができる追尾走行制御装置を提供する。
【解決手段】追尾走行制御装置１は、自律走行台車２の周囲にレーザＬを照射してレーザＬの反射光を受光するレーザセンサ１１を有し、自律走行台車２の周囲に存在する物体１５を検出する物体検出部２５と、自律走行台車２の周囲を撮像するカメラ１２と、カメラ１２による撮像画像に基づいて、物体検出部２５により検出された物体１５のうち自律走行台車２が追尾する追尾対象の作業者Ｓを認識する追尾対象認識部２３と、追尾対象認識部２３により認識された追尾対象の作業者Ｓに対して自律走行台車２が追尾走行を行うように自律走行台車２を制御する追尾制御部２４とを備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

移動体の周囲にレーザを照射してレーザの反射光を受光するレーザセンサを有し、前記移動体の周囲に存在する物体を検出する物体検出部と、
前記移動体の周囲を撮像する撮像部と、
前記撮像部による撮像画像に基づいて、前記物体検出部により検出された物体のうち前記移動体が追尾する追尾対象を認識する追尾対象認識部と、
前記追尾対象認識部により認識された前記追尾対象に対して前記移動体が追尾走行を行うように前記移動体を制御する追尾制御部とを備える追尾走行制御装置。

【請求項2】

前記追尾対象の追尾走行の開始を指示する追尾指示部と、
前記追尾指示部により前記追尾対象の追尾走行の開始が指示されたときに、前記撮像部による撮像画像に基づいて前記追尾対象を検知する追尾対象検知部とを更に備え、
前記追尾対象認識部は、前記物体検出部により検出された物体を前記追尾対象検知部により検知された追尾対象と照合して、前記追尾対象を認識する請求項１記載の追尾走行制御装置。

【請求項3】

前記撮像部は、前記移動体の全周囲を撮像することが可能なカメラである請求項１または２記載の追尾走行制御装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、追尾走行制御装置に関する。

【背景技術】

【0002】

従来の追尾走行制御装置としては、例えば特許文献１に記載されている技術が知られている。特許文献１に記載の追尾走行制御装置は、自律移動体の周辺にレーザを照射し、レーザが当たった部分から反射された反射光を受光することにより、周辺環境を認識する測域センサと、この測域センサの検出結果から自律移動体の周辺に存在する物体を検知し、追尾対象を追尾するように駆動機構を制御する制御装置とを備えている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１９－２００７０１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上記従来技術においては、自律移動体の周辺に存在する物体が何か識別されない。このため、例えば自律移動体の追尾走行中に、自律移動体と追尾対象との間を他の移動物体が横切った場合には、その移動物体が追尾対象と誤認識されてしまう可能性がある。

【0005】

本発明の目的は、追尾対象の誤認識を防止することができる追尾走行制御装置を提供することである。

【課題を解決するための手段】

【0006】

本発明の一態様に係る追尾走行制御装置は、移動体の周囲にレーザを照射してレーザの反射光を受光するレーザセンサを有し、移動体の周囲に存在する物体を検出する物体検出部と、移動体の周囲を撮像する撮像部と、撮像部による撮像画像に基づいて、物体検出部により検出された物体のうち移動体が追尾する追尾対象を認識する追尾対象認識部と、追尾対象認識部により認識された追尾対象に対して移動体が追尾走行を行うように移動体を制御する追尾制御部とを備える。

【0007】

このような追尾走行制御装置においては、レーザセンサを有する物体検出部により移動体の周囲に存在する物体が検出されると共に、撮像部により移動体の周囲が撮像される。そして、撮像部による撮像画像に基づいて、物体検出部により検出された物体のうち移動体が追尾する追尾対象が認識される。そして、移動体が追尾対象に対して追尾走行を行うように制御される。このように撮像部を使用して追尾対象を認識することにより、追尾対象の誤認識が防止される。

【0008】

追尾走行制御装置は、追尾対象の追尾走行の開始を指示する追尾指示部と、追尾指示部により追尾対象の追尾走行の開始が指示されたときに、撮像部による撮像画像に基づいて追尾対象を検知する追尾対象検知部とを更に備え、追尾対象認識部は、物体検出部により検出された物体を追尾対象検知部により検知された追尾対象と照合して、追尾対象を認識してもよい。このような構成では、追尾対象が追尾走行の開始を指示すると、撮像部による撮像画像に基づいて追尾対象が検知される。そして、物体検出部により検出された物体が当該追尾対象と照合されて、追尾対象が認識される。従って、追尾対象の情報を予め登録しておかなくても、追尾対象が容易に認識される。

【0009】

撮像部は、移動体の全周囲を撮像することが可能なカメラであってもよい。このような構成では、移動体の前方周囲に存在する物体だけでなく、移動体の後方周囲に存在する物体も撮像される。従って、追尾対象の認識精度が高くなる。

【発明の効果】

【0010】

本発明によれば、追尾対象の誤認識を防止することができる。

【図面の簡単な説明】

【0011】

【図1】本発明の一実施形態に係る追尾走行制御装置を示す概略構成図である。

【図2】自律走行台車が追尾対象の作業者を追尾する様子を示す側面図である。

【図3】図１に示されたカメラの概略図である。

【図4】図１に示されたカメラにより取得される撮像画像の一例を示す図である。

【図5】図１に示された追尾対象検知部により実行される検知処理の手順を示すフローチャートである。

【図6】レーザセンサの受光データに基づいて物体を検出し、追尾対象の作業者を認識する様子を示す概念図である。

【図7】図１に示された追尾対象認識部により実行される認識処理の手順を示すフローチャートである。

【図8】比較例として、追尾対象の作業者を認識する従来の手法を示す概念図である。

【図9】自律走行台車と作業者との間を他の移動物体が横切った場合に、移動物体が追尾対象と誤認識される様子を示す概念図である。

【図10】自律走行台車と作業者との間を他の移動物体が横切った場合に、作業者が追尾対象と認識される様子を示す概念図である。

【発明を実施するための形態】

【0012】

以下、本発明の実施形態について、図面を参照して詳細に説明する。なお、図面において、同一または同等の要素には同じ符号を付し、重複する説明を省略する。

【0013】

図１は、本発明の一実施形態に係る追尾走行制御装置を示す概略構成図である。図１において、本実施形態の追尾走行制御装置１は、図２に示されるような自律走行台車２を制御する装置である。

【0014】

自律走行台車２は、荷物Ｍを搬送する無人搬送台車である。自律走行台車２は、台車本体３と、この台車本体３に回転可能に支持された複数（例えば４つ）の車輪４とを有している。台車本体３の上部には、荷物Ｍが積載される荷台５が設けられている。自律走行台車２は、追尾対象である作業者Ｓを追尾して走行する移動体である。

【0015】

追尾走行制御装置１は、タッチパネル１０と、レーザセンサ１１と、カメラ１２と、コントローラ１３と、駆動部１４とを備えている。追尾走行制御装置１は、自律走行台車２の台車本体３に搭載されている。

【0016】

タッチパネル１０は、作業者Ｓが自律走行台車２による追尾走行の開始等を指示するための手動操作盤である。タッチパネル１０は、作業者Ｓの追尾走行の開始を指示する追尾指示部を構成している。なお、追尾走行の開始の指示は、荷物Ｍのピッキング作業を実施する作業者Ｓ自身によって行われる。

【0017】

レーザセンサ１１は、図２に示されるように、自律走行台車２の前方を含む領域にレーザＬを照射し、自律走行台車２の周囲に存在する物体１５（図６参照）で反射されたレーザＬを受光する。レーザセンサ１１は、自律走行台車２の前方を含む所定の角度範囲（例えば２７０度）でレーザＬを照射する。物体１５としては、壁１５Ａ及び障害物１５Ｂ等がある（図６参照）。また、作業者Ｓも、物体１５の一つである。レーザセンサ１１としては、レーザＬを３次元に照射する３Ｄのレーザレンジファインダ等が用いられる。

【0018】

カメラ１２は、自律走行台車２の周囲を撮像する撮像部である。カメラ１２としては、例えば図３に示されるように、自律走行台車２の全周囲を撮像することが可能な全天球カメラが用いられる。カメラ１２は、３６０度の魚眼レンズ１２ａを有している。

【0019】

図４は、カメラ１２により取得される撮像画像の一例を示している。カメラ１２により取得される撮像画像は、全天球画像である。図４において、点Ｐ１は、自律走行台車２の真正面位置の座標（１，０，０）である。点Ｐ２は、自律走行台車２の真後位置の座標（－１，０，０）である。点Ｐ３は、自律走行台車２の右横位置の座標（０，１，０）である。点Ｐ４は、自律走行台車２の左横位置の座標（０，－１，０）である。点Ｐ５は、自律走行台車２の真上位置の座標（０，０，１）である。点Ｐ６は、自律走行台車２の真下位置の座標（０，０，－１）である。なお、図４に示される撮像画像には、作業者Ｓ、壁１５Ａ及び障害物１５Ｂが写っている。

【0020】

コントローラ１３は、ＣＰＵ、ＲＡＭ、ＲＯＭ及び入出力インターフェース等により構成されている。コントローラ１３は、追尾対象検知部２０と、点群データ取得部２１と、クラスタリング部２２と、追尾対象認識部２３と、追尾制御部２４とを有している。

【0021】

追尾対象検知部２０は、タッチパネル１０により作業者Ｓの追尾走行の開始が指示されたときに、カメラ１２による撮像画像に基づいて作業者Ｓを検知する。

【0022】

図５は、追尾対象検知部２０により実行される検知処理の手順を示すフローチャートである。図５において、追尾対象検知部２０は、まずタッチパネル１０により作業者Ｓの追尾走行の開始が指示されたかどうかを判断する（手順Ｓ１０１）。

【0023】

追尾対象検知部２０は、作業者Ｓの追尾走行の開始が指示されたと判断したときは、カメラ１２による撮像画像を取得する（手順Ｓ１０２）。そして、追尾対象検知部２０は、撮像画像に対して画像認識を行い、追尾走行の開始を指示した追尾対象の作業者Ｓを検知する（手順Ｓ１０３）。そして、追尾対象検知部２０は、追尾対象の作業者Ｓの画像データを追尾対象認識部２３に出力する（手順Ｓ１０４）。

【0024】

点群データ取得部２１は、レーザセンサ１１の受光データに基づいて、自律走行台車２の周囲に存在する物体１５で反射されたレーザＬの点群データを取得する。レーザＬの点群は、図６（ａ）に示されるように、物体１５で反射される複数のレーザＬの反射点Ｒ_Ｌの集まりをいう。なお、レーザセンサ１１は３Ｄタイプであるため、レーザＬの点群データは３次元であるが、図６では便宜上２次元で表されている。

【0025】

クラスタリング部２２は、点群データ取得部２１により取得されたレーザＬの点群データに対してクラスタリング処理を行うことにより、物体１５を検出する。このとき、クラスタリング部２２は、図６（ｂ）に示されるように、クラスタリングされたレーザＬの点群の一塊を１つの物体であるとみなす。図６（ｂ）では、３つの物体Ａ１～Ａ３が存在するとみなされる。クラスタリング処理の手法としては、例えばk-meansクラスタリング等が用いられる。なお、本段階では、検出された物体１５が何であるかは分からない。

【0026】

レーザセンサ１１、点群データ取得部２１及びクラスタリング部２２は、自律走行台車２の周囲にレーザＬを照射してレーザＬの反射光を受光することにより、自律走行台車２の周囲に存在する物体１５を検出する物体検出部２５を構成している。

【0027】

追尾対象認識部２３は、カメラ１２による撮像画像に基づいて、クラスタリング部２２により検出された物体１５のうち自律走行台車２が追尾する追尾対象の作業者Ｓを認識する。このとき、追尾対象認識部２３は、クラスタリング部２２により検出された物体１５を追尾対象検知部２０により検知された作業者Ｓと照合して、追尾対象の作業者Ｓを認識する。

【0028】

図７は、追尾対象認識部２３により実行される認識処理の手順を示すフローチャートである。図７において、追尾対象認識部２３は、まずカメラ１２による撮像画像を取得する（手順Ｓ１１１）。そして、追尾対象認識部２３は、撮像画像においてクラスタリング部２２により検出された物体１５が写っている領域を切り出す（手順Ｓ１１２）。

【0029】

続いて、追尾対象認識部２３は、カメラ１２による撮像画像に対して画像認識を行うことにより、物体１５の種類を識別する（手順Ｓ１１３）。このとき、画像認識による物体１５の種類の識別手法としては、例えばAlex NetやGoogle Netといった深層学習等が用いられる。

【0030】

続いて、追尾対象認識部２３は、識別された物体１５が人物であるかどうかを判断する（手順Ｓ１１４）。追尾対象認識部２３は、識別された物体１５が人物でないと判断したときは、識別された他の物体１５について手順Ｓ１１４を再度実行する。

【0031】

追尾対象認識部２３は、識別された物体１５が人物であると判断したときは、識別された物体１５が追尾対象検知部２０により検知された作業者Ｓと合致するかどうかを判断する（手順Ｓ１１５）。追尾対象認識部２３は、識別された物体１５が追尾対象検知部２０により検知された作業者Ｓと合致しないと判断したときは、識別された他の物体１５について手順Ｓ１１４，Ｓ１１５を再度実行する。

【0032】

追尾対象認識部２３は、識別された物体１５が追尾対象検知部２０により検知された作業者Ｓと合致すると判断したときは、当該物体１５が追尾対象の作業者Ｓであると認識する（手順Ｓ１１６）。図６に示される例では、物体Ａ１～Ａ３のうち物体Ａ１が追尾対象の作業者Ｓであると認識される（図６（ｃ））。

【0033】

続いて、追尾対象認識部２３は、追尾対象の作業者Ｓの位置を算出する（手順Ｓ１１７）。作業者Ｓの位置は、追尾対象の作業者Ｓに相当するレーザＬの点群データから算出される。そして、追尾対象認識部２３は、追尾対象の作業者Ｓの位置データを追尾制御部２４に出力する（手順Ｓ１１８）。

【0034】

追尾制御部２４は、追尾対象認識部２３により認識された追尾対象の作業者Ｓに対して自律走行台車２が追尾走行を行うように駆動部１４を制御する。図６に示される例では、自律走行台車２が物体Ａ１に追尾するように制御される（図６（ｃ））。

【0035】

図８は、比較例として、追尾対象の作業者Ｓを認識する従来の手法を示す概念図である。追尾対象の作業者Ｓを認識する場合、まず図８（ａ）に示されるように、レーザセンサ１１の受光データに基づいて、自律走行台車２の周囲に存在する物体で反射されたレーザＬの点群データが取得される。

【0036】

続いて、図８（ｂ）に示されるように、レーザＬの点群データに対してクラスタリング処理を行うことにより、自律走行台車２の周囲に存在する物体Ｂ１～Ｂ３が検出される。そして、これらの物体Ｂ１～Ｂ３のうち自律走行台車２に最も近い物体Ｂ１、つまり自律走行台車２からの距離が最も短い物体Ｂ１が、追尾対象の作業者Ｓとして認識される。

【0037】

しかし、そのような比較例の手法では、自律走行台車２に最も近い物体の種別については識別されない。このため、例えば自律走行台車２の追尾走行中に、図９に示されるように、自律走行台車２と追尾対象の作業者Ｓとの間を他の移動物体Ｐが横切った場合には、その移動物体Ｐが追尾対象の作業者Ｓであると誤認識されてしまう。その結果、自律走行台車２は、移動物体Ｐに対して追尾走行を行うことになる。

【0038】

そのような課題に対し、本実施形態では、カメラ１２による撮像画像に基づいて、自律走行台車２の周囲に存在する物体１５が識別されることで、自律走行台車２が追尾する追尾対象の作業者Ｓが認識される。このため、例えば自律走行台車２の追尾走行中に、図１０（ａ）に示されるように、自律走行台車２と追尾対象の作業者Ｓとの間を他の移動物体Ｐが横切っても、その移動物体Ｐが追尾対象の作業者Ｓでないと認識される。従って、図１０（ｂ）に示されるように、移動物体Ｐが追尾対象の作業者Ｓと誤認識されることはなく、自律走行台車２は追尾対象の作業者Ｓに対して追尾走行を継続して行う。

【0039】

以上のように本実施形態によれば、レーザセンサ１１を有する物体検出部２５により自律走行台車２の周囲に存在する物体１５が検出されると共に、カメラ１２により自律走行台車２の周囲が撮像される。そして、カメラ１２による撮像画像に基づいて、物体検出部２５により検出された物体１５のうち自律走行台車２が追尾する追尾対象の作業者Ｓが認識される。そして、自律走行台車２が追尾対象の作業者Ｓに対して追尾走行を行うように制御される。このようにカメラ１２を使用して追尾対象の作業者Ｓを認識することにより、追尾対象の作業者Ｓの誤認識が防止される。これにより、追尾対象の作業者Ｓに対する自律走行台車２の追尾走行を継続させることができる。

【0040】

また、本実施形態では、追尾対象の作業者Ｓが追尾走行の開始を指示すると、カメラ１２による撮像画像に基づいて追尾対象の作業者Ｓが検知される。そして、物体検出部２５により検出された物体１５が当該作業者Ｓと照合されて、追尾対象の作業者Ｓが認識される。従って、追尾対象の作業者Ｓの情報を予め登録しておかなくても、追尾対象の作業者Ｓが容易に認識される。

【0041】

また、本実施形態では、自律走行台車２の全周囲を撮像することが可能なカメラ１２が使用されるので、自律走行台車２の前方周囲に存在する物体１５だけでなく、自律走行台車２の後方周囲に存在する物体１５も撮像される。従って、追尾対象の作業者Ｓの認識精度が高くなる。

【0042】

なお、本発明は、上記実施形態には限定されない。例えば上記実施形態では、レーザＬを３次元に照射する３Ｄのレーザセンサ１１を使用して、自律走行台車２の周囲に存在する物体１５が検出されているが、使用するレーザセンサ１１としては、特に３Ｄタイプには限られず、レーザＬを２次元に照射する２Ｄタイプであってもよい。

【0043】

また、上記実施形態では、自律走行台車２の全周囲を撮像することが可能なカメラ１２が使用されているが、使用するカメラ１２としては、特にその形態には限られず、自律走行台車２の追尾方向を含む所定の範囲を撮像することが可能であればよい。

【0044】

また、上記実施形態では、ピッキング作業を行う作業者Ｓがタッチパネル１０により追尾走行の開始を指示すると、カメラ１２による撮像画像に基づいて当該作業者Ｓが検知されているが、特にそのような形態には限られない。例えば、ピッキング作業を行う作業者Ｓの画像データをコントローラ１３に予め登録しておき、物体検出部２５により検出された物体１５をコントローラ１３に登録された作業者Ｓと照合して、追尾対象の作業者Ｓを認識してもよい。この場合には、追尾対象検知部２０による検知処理が不要となるため、コントローラ１３の処理を簡素化することができる。

【符号の説明】

【0045】

１…追尾走行制御装置、２…自律走行台車（移動体）、１０…タッチパネル（追尾指示部）、１１…レーザセンサ、１２…カメラ（撮像部）、１５…物体、２０…追尾対象検知部、２３…追尾対象認識部、２４…追尾制御部、２５…物体検出部、Ｌ…レーザ、Ｓ…作業者（追尾対象）。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】