特許 7593840 制御装置、制御方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-25

(45)【発行日】2024-12-03

(54)【発明の名称】制御装置、制御方法、およびプログラム

(51)【国際特許分類】

   G05D 1/43 20240101AFI20241126BHJP

【ＦＩ】

G05D1/43

【請求項の数】 6

(21)【出願番号】P 2021042627

(22)【出願日】2021-03-16

(65)【公開番号】P2022142452

(43)【公開日】2022-09-30

【審査請求日】2023-11-28

(73)【特許権者】

【識別番号】000005326

【氏名又は名称】本田技研工業株式会社

(74)【代理人】

【識別番号】100165179

【弁理士】

【氏名又は名称】田▲崎▼ 聡

(74)【代理人】

【識別番号】100126664

【弁理士】

【氏名又は名称】鈴木 慎吾

(74)【代理人】

【識別番号】100154852

【弁理士】

【氏名又は名称】酒井 太一

(74)【代理人】

【識別番号】100194087

【弁理士】

【氏名又は名称】渡辺 伸一

(72)【発明者】

【氏名】安井 裕司

【審査官】渡邊 捷太郎

(56)【参考文献】

【文献】特開２０２０－１１２９５２（ＪＰ，Ａ）

【文献】特開２００６－１８５４３８（ＪＰ，Ａ）

【文献】特開２０１７－０５４４７５（ＪＰ，Ａ）

【文献】特表２０１８－５２２３０６（ＪＰ，Ａ）

【文献】特開２００６－０５１５５０（ＪＰ，Ａ）

【文献】特開２０１９－０２８９６７（ＪＰ，Ａ）

【文献】特開２０１９－００８７９６（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１９／０００４５３５（ＵＳ，Ａ１）

【文献】中国特許出願公開第１１２１３０５７６（ＣＮ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０５Ｄ １／４３

(57)【特許請求の範囲】

【請求項1】

移動体に搭載された魚眼カメラによって撮像された画像である、前記移動体の周辺画像を取得する周辺画像取得部と、
前記移動体の将来の走行に関する指示を直交座標系におけるベース軌道として計算するベース軌道計算部と、
前記取得した直交座標系におけるベース軌道を、魚眼カメラ座標系におけるベース軌道に座標変換する座標変換部と、
前記周辺画像と、前記魚眼カメラ座標系におけるベース軌道とに基づいて、前記魚眼カメラ座標系におけるベース軌道のリスクを計算するリスク計算部と、
前記魚眼カメラ座標系におけるベース軌道のリスクに基づいて、前記直交座標系におけるベース軌道を修正することによって走行軌道を計算する走行軌道計算部と、
を備え、
前記座標変換部は、前記直交座標系における走行軌道を、前記魚眼カメラ座標系における走行軌道に座標変換し、
前記ベース軌道又は走行軌道に沿って、前記移動体を走行させる走行制御部を更に備える、
制御装置。

【請求項2】

前記リスク計算部は、前記周辺画像と、前記魚眼カメラ座標系における走行軌道とに基づいて、前記魚眼カメラ座標系における走行軌道のリスクを計算し、
前記走行軌道計算部は、前記魚眼カメラ座標系における走行軌道のリスクに基づいて、前記直交座標系における走行軌道を修正することによって前記走行軌道を再計算する、
請求項１に記載の制御装置。

【請求項3】

移動体に搭載された魚眼カメラによって撮像された画像である、前記移動体の周辺画像を取得する周辺画像取得部と、
前記移動体の将来の走行に関する指示を直交座標系におけるベース軌道として計算するベース軌道計算部と、
前記取得した直交座標系におけるベース軌道を、魚眼カメラ座標系におけるベース軌道に座標変換する座標変換部と、
前記周辺画像と、前記魚眼カメラ座標系におけるベース軌道とに基づいて、前記魚眼カメラ座標系におけるベース軌道のリスクを計算するリスク計算部と、
前記魚眼カメラ座標系におけるベース軌道のリスクに基づいて、前記直交座標系におけるベース軌道を修正することによって走行軌道を計算する走行軌道計算部と、
を備え、
前記座標変換部は、前記直交座標系における走行軌道を、前記魚眼カメラ座標系における走行軌道に座標変換し、
前記リスク計算部は、前記周辺画像と、前記魚眼カメラ座標系における走行軌道とに基づいて、前記魚眼カメラ座標系における走行軌道のリスクを計算し、
前記走行軌道計算部は、前記魚眼カメラ座標系における走行軌道のリスクに基づいて、前記魚眼カメラ座標系における走行軌道を修正することなく、前記直交座標系における走行軌道を修正することによって前記走行軌道を再計算し、
前記座標変換部は、前記直交座標系において再計算した走行軌道を、前記魚眼カメラ座標系における走行軌道に座標変換し、
前記ベース軌道又は走行軌道に沿って、前記移動体を走行させる走行制御部を更に備える、
制御装置。

【請求項4】

ユーザによる前記移動体の将来の走行に関する指示を示す身体動作を検出するジェスチャー検出部を更に備え、
前記ベース軌道計算部は、前記ジェスチャー検出部によって検出された身体動作に基づいて、前記直交座標系におけるベース軌道を計算する、
請求項１から３のいずれか１項に記載の制御装置。

【請求項5】

移動体に搭載されたコンピュータが、
移動体に搭載された魚眼カメラによって撮像された画像である、前記移動体の周辺画像を取得し、
前記移動体の将来の走行に関する指示を直交座標系におけるベース軌道として取得し、
前記取得した直交座標系におけるベース軌道を、魚眼カメラ座標系におけるベース軌道に座標変換し、
前記周辺画像と、前記魚眼カメラ座標系におけるベース軌道とに基づいて、前記魚眼カメラ座標系におけるベース軌道のリスクを計算し、
前記魚眼カメラ座標系におけるベース軌道のリスクに基づいて、前記直交座標系におけるベース軌道を修正することによって走行軌道を計算し、
前記直交座標系における走行軌道を、前記魚眼カメラ座標系における走行軌道に座標変換し、
前記ベース軌道又は走行軌道に沿って、前記移動体を走行させる、
制御方法。

【請求項6】

移動体に搭載されたコンピュータに、
移動体に搭載された魚眼カメラによって撮像された画像である、前記移動体の周辺画像を取得させ、
前記移動体の将来の走行に関する指示を直交座標系におけるベース軌道として取得させ、
前記取得した直交座標系におけるベース軌道を、魚眼カメラ座標系におけるベース軌道に座標変換させ、
前記周辺画像と、前記魚眼カメラ座標系におけるベース軌道とに基づいて、前記魚眼カメラ座標系におけるベース軌道のリスクを計算させ、
前記魚眼カメラ座標系におけるベース軌道のリスクに基づいて、前記直交座標系におけるベース軌道を修正することによって走行軌道を計算させ、
前記直交座標系における走行軌道を、前記魚眼カメラ座標系における走行軌道に座標変換させ、
前記ベース軌道又は走行軌道に沿って、前記移動体を走行させる、
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、制御装置、制御方法、およびプログラムに関する。

【背景技術】

【0002】

自律移動可能なロボットに魚眼カメラを搭載する技術が知られている。例えば、特許文献１には、自律移動可能なロボットに魚眼カメラを搭載し、当該魚眼カメラによって撮像された画像に基づいて、ロボットの走行軌道を計算する技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００４－３０３１３７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１に記載の技術は、特定位置の場所を示すためのマーカを設置し、マーカとロボットとの間の相対距離や相対方向を用いて、ロボットを走行させるものである。しかしながら、ロボットの走行のためにマーカを設置することは手間がかかる。

【0005】

さらに、従来の技術は、魚眼カメラによって撮像された画像の全点を魚眼カメラ座標系から直交座標系に座標変換し、変換後の座標に基づいて走行軌道のリスクを評価し、走行軌道を修正するものであるため、魚眼カメラ座標系から直交座標系に座標変換する際の処理負荷が大きいものと想定される。

【0006】

本発明は、このような事情を考慮してなされたものであり、処理負荷を低減しつつ走行軌道のリスクを適切に評価することができる制御装置、制御方法、およびプログラムを提供することを目的の一つとする。

【課題を解決するための手段】

【0007】

この発明に係る制御装置、制御方法、およびプログラムは、以下の構成を採用した。
（１）：本発明の一態様に係る制御装置は、移動体に搭載された魚眼カメラによって撮像された画像である、前記移動体の周辺画像を取得する周辺画像取得部と、前記移動体の将来の走行に関する指示を直交座標系におけるベース軌道として計算するベース軌道計算部と、前記取得した直交座標系におけるベース軌道を、魚眼カメラ座標系におけるベース軌道に座標変換する座標変換部と、前記周辺画像と、前記魚眼カメラ座標系におけるベース軌道とに基づいて、前記魚眼カメラ座標系におけるベース軌道のリスクを計算するリスク計算部と、前記魚眼カメラ座標系におけるベース軌道のリスクに基づいて、前記直交座標系におけるベース軌道を修正することによって走行軌道を計算する走行軌道計算部と、を備えるものである。

【0008】

（２）：上記（１）の態様において、前記座標変換部は、前記直交座標系における走行軌道を、前記魚眼カメラ座標系における走行軌道に座標変換し、前記リスク計算部は、前記周辺画像と、前記魚眼カメラ座標系における走行軌道とに基づいて、前記魚眼カメラ座標系における走行軌道のリスクを計算し、前記走行軌道計算部は、前記魚眼カメラ座標系における走行軌道のリスクに基づいて、前記直交座標系における走行軌道を修正することによって前記走行軌道を再計算するものである。

【0009】

（３）：上記（１）又は（２）の態様において、前記ベース軌道又は走行軌道に沿って、前記移動体を走行させる走行制御部を更に備え、前記走行制御部は、前記リスク計算部が、前記ベース軌道又は走行軌道のリスクが閾値以下であると判定した場合、前記ベース軌道又は走行軌道に沿って、前記移動体を走行させるものである。

【0010】

（４）：上記（１）から（３）のいずれかの態様において、ユーザによる前記移動体の将来の走行に関する指示を示す身体動作を検出するジェスチャー検出部を更に備え、前記ベース軌道計算部は、前記ジェスチャー検出部によって検出された身体動作に基づいて、前記直交座標系におけるベース軌道を計算するものである。

【0011】

（５）：本発明の他の態様に係る制御方法は、移動体に搭載されたコンピュータが、移動体に搭載された魚眼カメラによって撮像された画像である、前記移動体の周辺画像を取得し、前記移動体の将来の走行に関する指示を直交座標系におけるベース軌道として取得し、前記取得した直交座標系におけるベース軌道を、魚眼カメラ座標系におけるベース軌道に座標変換し、前記周辺画像と、前記魚眼カメラ座標系におけるベース軌道とに基づいて、前記魚眼カメラ座標系におけるベース軌道のリスクを計算し、前記魚眼カメラ座標系におけるベース軌道のリスクに基づいて、前記直交座標系におけるベース軌道を修正することによって走行軌道を計算するものである。

【0012】

（６）：本発明の他の態様に係るプログラムは、移動体に搭載されたコンピュータに、移動体に搭載された魚眼カメラによって撮像された画像である、前記移動体の周辺画像を取得させ、前記移動体の将来の走行に関する指示を直交座標系におけるベース軌道として取得させ、前記取得した直交座標系におけるベース軌道を、魚眼カメラ座標系におけるベース軌道に座標変換させ、前記周辺画像と、前記魚眼カメラ座標系におけるベース軌道とに基づいて、前記魚眼カメラ座標系におけるベース軌道のリスクを計算させ、前記魚眼カメラ座標系におけるベース軌道のリスクに基づいて、前記直交座標系におけるベース軌道を修正することによって走行軌道を計算させるものである。

【発明の効果】

【0013】

（１）～（６）の態様によれば、処理負荷を低減しつつ走行軌道のリスクを適切に評価することができる。

【図面の簡単な説明】

【0014】

【図1】実施形態に係る制御装置を備える移動体１０が使用される場面の一例を示す図である。

【図2】移動体１０の全体構成の一例を説明するための図である。

【図3】ユーザＵによって示されるジェスチャーの一例を示す図である。

【図4】座標変換部１４０によって実行されるベース軌道ＢＬの座標変換の一例を示す図である。

【図5】リスク計算部１５０が魚眼カメラ座標系におけるベース軌道ＢＬ－２のリスクを計算する場面の一例を示す図である。

【図6】走行可能空間検出部１６０による走行可能空間ＦＳの検出処理の一例を示す図である。

【図7】走行軌道計算部１７０が直交座標系における走行軌道ＴＬ－１を計算する場面の一例を示す図である。

【図8】走行軌道計算部１７０による走行軌道ＴＬの計算処理と、座標変換部１４０による走行軌道ＴＬの座標変換の一例を示す図である。

【図9】制御装置１００によって実行される処理の流れの一例を示すフローチャートである。

【発明を実施するための形態】

【0015】

＜実施形態＞
以下、図面を参照し、本発明の実施形態に係る制御装置、制御方法、およびプログラムについて説明する。

【0016】

[全体構成]
図１は、実施形態に係る制御装置を備える移動体１０が使用される場面の一例を示す図である。移動体１０は、自律移動型のロボットであり、魚眼カメラ２０と、収容器３０と、車輪４０とを備える。移動体１０の利用態様として、以下のような態様がある。ユーザＵは荷物Ｂを保持しており、移動体１０は、ユーザのジェスチャーに応じて、荷物Ｂを収容するためにユーザＵの方向に移動する。移動体１０とユーザＵとの間には、障害物ＯＢが存在するため、移動体１０は、自律的に障害物ＯＢを回避し、ユーザＵの付近まで移動する。ユーザＵが荷物Ｂを収容器３０に置いた後、移動体１０は、ユーザＵに付随して移動する。

【0017】

魚眼カメラ２０は、例えば、魚眼レンズを含み、移動体１０の周辺を広角に（例えば３６０度で）撮像可能なカメラである。魚眼カメラ２０は、例えば、移動体１０の上部に取り付けられることによって、移動体１０の周辺を水平方向に関して広角に撮像するものである。魚眼カメラ２０は、複数の１２０度カメラ又は６０度カメラを組み合わせて実現したものであってもよい。

【0018】

収容器３０は、任意の物品や荷物を収容するための容器であり、移動体１０の胴部に固定される。

【0019】

車輪４０は、移動体１０の内部に搭載される複数のモータ５０によって駆動され、移動体１０による移動を実現する。車輪４０は、例えば、モータ５０によって回転方向に駆動される駆動輪と、ヨー方向に駆動される非駆動輪である操舵輪とを含む。操舵輪の角度が調整されることによって、移動体１０は進路を変更することができる。

【0020】

なお、本発明において移動体１０が収容器３０を備えることは必須ではない。さらに、本実施形態において、移動体１０は、移動を実現するための機構として車輪４０を備えているが、本発明はこの構成に限定されず、例えば、移動体１０は多足歩行型のロボットであってもよい。

【0021】

図２は、移動体１０の全体構成の一例を説明するための図である。移動体１０は、上述した魚眼カメラ２０と、収容器３０と、車輪４０と、モータ５０とに加えて、制御装置１００を備える。制御装置１００は、例えば、周辺画像取得部１１０と、ジェスチャー検出部１２０と、ベース軌道計算部１３０と、座標変換部１４０と、リスク計算部１５０と、走行可能空間検出部１６０と、走行軌道計算部１７０と、走行制御部１８０と、を備える。制御装置１００の各部は、例えば、ＣＰＵ（Central Processing Unit）などのハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。制御装置１００の各部のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）などのハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予めＨＤＤ（Hard Disk Drive）やフラッシュメモリなどの記憶装置（非一過性の記憶媒体を備える記憶装置）に格納されていてもよいし、ＤＶＤやＣＤ－ＲＯＭなどの着脱可能な記憶媒体（非一過性の記憶媒体）に格納されており、記憶媒体がドライブ装置に装着されることでインストールされてもよい。

【0022】

周辺画像取得部１１０は、魚眼カメラ２０によって撮像された画像（以下、「周辺画像」と称する）を取得する。このとき取得した周辺画像は３６０度画像であるため、周辺画像取得部１１０は、取得した周辺画像を魚眼カメラ座標系におけるピクセルデータとして保持する。

【0023】

ジェスチャー検出部１２０は、一以上の周辺画像に基づいて、ユーザＵによる身体動作（以下、「ジェスチャー」と称する）を検出する。本実施形態において、ジェスチャーは、移動体１０の将来の走行に関する指示を示すものとして予め設定されている。ジェスチャー検出部１２０は、事前に複数のジェスチャーに関するデータ（テンプレートデータ）を格納し、周辺画像から取得した特徴データとテンプレートデータとをマッチングさせることによって、当該周辺画像におけるジェスチャーを検出する。特徴データ、テンプレートデータのそれぞれは、例えば、人の指先、指の関節、手首、肘といった骨格の特徴箇所と、それを繋ぐリンクとを抽象的なデータで表現したものである。

【0024】

図３は、ユーザＵによって示されるジェスチャーの一例を示す図である。図３において、ユーザＵは、右手を前方に伸ばしている。本実施形態において、右手を前方に伸ばすジェスチャーは、「ユーザＵに向けて前進して下さい」という意味を有するものとする。それに加えて、ジェスチャー検出部１２０は、例えば、自転、停止、後退などの意味を有する様々なジェスチャーを検出するものとするが、その詳細については説明を省略する。

【0025】

なお、本実施形態において、移動体１０は、ユーザＵのジェスチャーを検出するジェスチャー検出部１２０を有するものとしているが、移動体１０の将来の走行に関する指示を認識できるものであれば、他の構成を用いてもよい。例えば、移動体１０は、ユーザＵによって発せられた音声を認識する音声認識部を備え、ユーザＵが、移動体１０の将来の走行に関する指示を音声で伝えた（例えば、「来て」など）ことを認識することによって、当該指示を認識してもよい。さらに、別の例として、ユーザＵは自身の保有するスマートフォンなどの情報処理端末から、専用のアプリケーションを用いて、移動体１０の将来の走行に関する指示を示す情報を移動体１０に送信し、移動体１０は当該情報を受信することによって、指示を認識してもよい。

【0026】

ベース軌道計算部１３０は、ジェスチャー検出部１２０によって検出されたジェスチャーに基づいて、移動体１０が将来走行すべき軌道の初期情報であるベース軌道ＢＬを計算する。このとき、ベース軌道計算部１３０は、直交座標系においてベース軌道ＢＬを計算する。直交座標系とは、移動体１０の位置を原点とし、且つ移動体１０のボディに固定的に設定され、互いに直交する任意の方向を軸とする座標系である。例えば、ユーザＵが右手を前方に伸ばすジェスチャーを示した場合、ベース軌道計算部１３０は、移動体１０の位置を始点とし、初期の移動ベクトルが移動体１０の向きと一致し、且つユーザＵの直前位置を終点とするベース軌道ＢＬ－１を計算する。ベース軌道ＢＬ－１は、ユーザＵの直前位置において移動体１０の正面（収容器３０がある側の面）がユーザＵを向くように計算されてもよい。ベース軌道ＢＬ－１は、例えばベジェ曲線などの幾何的モデルに状態をフィッティングさせることで計算される。ベース軌道は、例えば、障害物ＯＢの存在を考慮することなく計算される。ベース軌道ＢＬは、実際には有限個の軌道点の集まりとして生成される。

【0027】

座標変換部１４０は、直交座標系と魚眼カメラ座標系との間で座標変換を行う。直交座標系と魚眼カメラ座標系の間では、座標間で一対一の関係が成立し、その関係は対応情報として座標変換部１４０に保持されている。以下、直交座標系での情報であることを符号「－１」で表し、魚眼カメラ座標系での情報であることを符号「－２」で表す。両者を区別しない場合、「－１」や「－２」を省略する。座標変換部１４０は、ベース軌道計算部１３０によって計算された、直交座標系におけるベース軌道ＢＬ－１を、魚眼カメラ座標系におけるベース軌道ＢＬ－２に座標変換する。座標変換部１４０は、さらに、後述する通り、走行軌道計算部１７０によって計算された、直交座標系における走行軌道ＴＬ―１を、魚眼カメラ座標系における走行軌道ＴＬ―２に変換したりする。

【0028】

ここで、走行軌道ＴＬとは、ベース軌道ＢＬを修正することによって得られる軌道を意味しており、後述する通り、例えば、障害物ＯＢの存在によりベース軌道ＢＬを走行することについてのリスクが高いと判断された場合に計算されるものである。

【0029】

図４は、座標変換部１４０によって実行されるベース軌道ＢＬの座標変換の一例を示す図である。図４の左上部は、ベース軌道計算部１３０によって計算されたベース軌道ＢＬ－１を示し、図４の左下部は、周辺画像取得部１１０によって取得された移動体１０の周辺画像を示す。座標変換部１４０は、ベース軌道ＢＬ―１を魚眼カメラ座標系に座標変換することで魚眼カメラ座標系におけるベース軌道ＢＬ－２を取得し、ベース軌道ＢＬ－２を周辺画像に重畳させることでリスクを計算可能とする。

【0030】

リスク計算部１５０は、魚眼カメラ座標系における各座標のリスクを計算し、魚眼カメラ座標系の対象領域におけるリスクの分布を求める。リスクとは、移動体１０が他の障害物に衝突する可能性の高さを示す指標値である。リスク計算部１５０は、そのリスクの分布（リスク関数）を用いて、ベース軌道ＢＬ－２又は走行軌道ＴＬ－２のリスクを計算する。リスク計算部１５０は、例えば、移動体１０のベース軌道ＢＬ又は走行軌道ＴＬ上の各軌道点におけるリスクＪｉを計算し、リスクＪｉの和ΣＪｉを求めることによってベース軌道ＢＬ－２又は走行軌道ＴＬ－２のリスクＪを計算する。すなわち、Ｊ＝ΣＪｉが成立する。

【0031】

ベース軌道ＢＬ－２又は走行軌道ＴＬ－２上のある軌道点におけるリスクは、当該軌道点と障害物との間の距離や障害物の速度に基づいて計算することができる。例えば、リスク計算部１５０は、ベース軌道ＢＬ－２又は走行軌道ＴＬ－２上の各軌道点と障害物との間の距離が小さければ小さいほど、当該軌道点におけるリスクを高く計算し、ベース軌道ＢＬ－２又は走行軌道ＴＬ－２上のある軌道点と障害物との間の距離が大きければ大きいほど、当該軌道点におけるリスクを低く計算する。より具体的には、リスク計算部１５０は、障害物ＯＢを包含する最小外接円の領域内のリスクを所定値（例えば、１）に設定し、その領域から離れるほど小さくなり、ある地点でゼロになるようにリスクＪｉを計算する。さらに、移動する障害物ＯＢについては将来の各時点でリスクが異なるため、移動体１０が走行軌道ＴＬにおける到達する時刻ごとにリスク分布のデータを用意する。

【0032】

図５は、リスク計算部１５０が魚眼カメラ座標系におけるベース軌道ＢＬ－２のリスクを計算する場面の一例を示す図である。図５は、リスク計算部１５０が、図４において座標変換部１４０が取得した魚眼カメラ座標系におけるベース軌道ＢＬ－２のリスクを計算したものである。図５において、ハッチング領域ＲＲは、リスクが正であるリスク領域を表す。図中、Ｐ１～Ｐ４は、ベース軌道ＢＬ－２を構成する軌道点である。リスク計算部１５０は、各軌道点のリスクを計算するためのリスク関数にこれらの軌道点Ｐ１~Ｐ４の位置を代入し、各軌道点におけるリスク値Ｊ_Ｐ１、Ｊ_Ｐ２、Ｊ_Ｐ３、及びＪ_Ｐ４を計算する。次に、リスク計算部１５０は、各軌道点におけるリスク値の和を取り、ベース軌道ＢＬのリスクΣＪ＝Ｊ_Ｐ１＋Ｊ_Ｐ２＋Ｊ_Ｐ３＋Ｊ_Ｐ４を計算する。これにより、リスク計算部１５０は、ベース軌道ＢＬ－２のリスクを計算することができる。なお、リスク計算部１５０が走行軌道ＴＬ－２のリスクを計算する方法も同様である。

【0033】

リスク計算部１５０は、魚眼カメラ座標系におけるベース軌道ＢＬ－２のリスクΣＪを計算すると、次に、計算したリスクΣＪを閾値Ｔｈ（例えば、１）と比較し、当該ベース軌道ＢＬに沿って移動体１０を走行させるか否かを判定する。リスク計算部１５０は、リスクΣＪが閾値Ｔｈ以内であると判定した場合、ベース軌道ＢＬに沿って移動体１０を走行させると判定する。一方、リスク計算部１５０は、リスクΣＪが閾値Ｔｈより大きいと判定した場合、ベース軌道ＢＬに沿って移動体１０を走行させないと判定する。

【0034】

なお、本実施形態において、リスク計算部１５０は、リスクΣＪと閾値Ｔｈとを比較している。しかし、リスクΣＪと閾値Ｔｈとの比較方法はこの構成に限定されず、例えば、リスク計算部１５０は、図５において、ベース軌道ＢＬ－２上の各リスク値Ｊ_Ｐ１、Ｊ_Ｐ２、Ｊ_Ｐ３、及びＪ_Ｐ４のうちの最大値（図５の場合ではＪ_Ｐ３）を抽出し、当該最大値と閾値Ｔｈとを比較してもよい。リスクΣＪと閾値Ｔｈとを比較する方法は、移動体１０をより安全に走行させることができるという点で有利であり、最大値と閾値Ｔｈとを比較する方法は、移動体１０をより効率的に走行させることができるという点で有利である。

【0035】

走行可能空間検出部１６０は、リスク計算部１５０がベース軌道ＢＬに沿って移動体１０を走行させないと判定した場合、周辺画像に基づいて、移動体１０が走行可能な空間である走行可能空間ＦＳ－２を魚眼カメラ座標系において検出する。

【0036】

図６は、走行可能空間検出部１６０による走行可能空間ＦＳの検出処理の一例を示す図である。図６に示す通り、リスク計算部１５０はベース軌道ＢＬに沿って移動体１０を走行させないと判定したため、走行可能空間検出部１６０は、斜線部によって示される空間、すなわち、ベース軌道ＢＬ－２の始点（移動体１０の位置）から終点（ユーザＵの直前位置）の方向に広がり、かつ障害物（障害物ＯＢ及びユーザＵ）を除いた空間を、走行可能空間ＦＳ－２として検出する。

【0037】

走行軌道計算部１７０は、リスク計算部１５０によって計算された各軌道点のリスクに基づいて、走行可能空間検出部１６０によって検出された走行可能空間ＦＳ－２の範囲内にあるような各軌道点の修正量を、直交座標系における修正量として計算する。ここで、直交座標系における各軌道点の修正量は、魚眼カメラ座標系における対応する軌道点におけるリスク値Ｊｉが大きいほど、当該軌道点の接線に直交する方向への修正幅Δを大きくすることによって行われる。すなわち、走行軌道計算部１７０は、ベース軌道ＢＬ－１の軌道点を各リスク値Ｊｉに応じた修正幅Δだけ変化させることによって走行軌道ＴＬ－１を求める。このように、走行軌道計算部１７０は、魚眼カメラ２０によって撮像された画像を直交座標系に座標変換することなく、魚眼カメラ座標系における各軌道点のリスクに基づいて、直交座標系における対応する軌道点の修正量を計算するため、軌道の修正に必要とされる演算量を低減することができる。

【0038】

図７は、走行軌道計算部１７０が直交座標系における走行軌道ＴＬ－１を計算する場面の一例を示す図である。図７において、軌道点Ｑ１、Ｑ２、Ｑ３、及びＱ４は、ベース軌道ＢＬ－１の各軌道点Ｐ１、Ｐ２、Ｐ３、及びＰ４を、それぞれのリスク値Ｊｉに応じた軌道修正パラメータΔだけ変化させることによって得られた軌道点である。図７において、軌道点Ｐ１、Ｐ２、Ｐ３、及びＰ４のリスク値Ｊｉは、Ｊ_Ｐ３、Ｊ_Ｐ２、Ｊ_Ｐ４、Ｊ_Ｐ１の順に大きいため、各軌道点の接線に直交する方向への修正幅Δも、Ｐ３、Ｐ２、Ｐ４、Ｐ１の順に大きくなる。

【0039】

次に、座標変換部１４０は、直交座標系における走行軌道ＴＬ－１を魚眼カメラ座標系における走行軌道ＴＬ－２に変換し、リスク計算部１５０は、走行軌道ＴＬ－２上の軌道点Ｑ１~Ｑ４の位置をリスク関数に代入し、各軌道点におけるリスク値Ｊ_Ｑ１、Ｊ_Ｑ２、Ｊ_Ｑ３、及びＪ_Ｑ４を計算する。このとき計算に用いるリスク分布（リスク関数）は、ベース軌道ＢＬ－２のリスクを求める際に用いたものと同様である。次に、リスク計算部１５０は、各軌道点におけるリスク値の和を取り、走行軌道ＴＬ―１のリスクΣＪ＝Ｊ_Ｑ１＋Ｊ_Ｑ２＋Ｊ_Ｑ３＋Ｊ_Ｑ４を計算する。図７の場合、軌道点Ｑ１~Ｑ４は障害物ＯＢのリスク領域ＲＲの外にあるため、リスク計算部１５０は、ΣＪ＝Ｊ_Ｑ１＋Ｊ_Ｑ２＋Ｊ_Ｑ３＋Ｊ_Ｑ４＝０を得る。

【0040】

リスク計算部１５０は、魚眼カメラ座標系における走行軌道ＴＬ－１のリスクΣＪを計算すると、次に、計算したリスクΣＪを閾値Ｔｈと比較し、当該走行軌道ＴＬに沿って移動体１０を走行させるか否かを判定する。リスク計算部１５０は、リスクΣＪが閾値Ｔｈ以内であると判定した場合、走行軌道ＴＬに沿って移動体１０を走行させると判定する。一方、リスク計算部１５０は、リスクΣＪが閾値Ｔｈより大きいと判定した場合、走行軌道ＴＬに沿って移動体１０を走行させないと判定し、リスクΣＪが閾値Ｔｈ以下になるまで同様の修正を繰り返し、走行軌道ＴＬを再計算する。図７の場合、リスクΣＪ＝０となり閾値Ｔｈより小さいため、リスク計算部１５０は、走行軌道ＴＬに沿って移動体１０を走行させると判定する。

【0041】

なお、上記の説明において、軌道点の修正幅Δは、それぞれのリスク値Ｊｉに応じた値であるものとしたが、このとき、走行軌道計算部１７０は、走行軌道ＴＬ－１がリスク合計値ΣＪの局所解と取ることを避けるために、軌道修正パラメータΔに乱数を乗算してもよい。

【0042】

図８は、走行軌道計算部１７０による走行軌道ＴＬの計算処理と、座標変換部１４０による走行軌道ＴＬの座標変換の一例を示す図である。走行軌道計算部１７０は、上述した通り、魚眼カメラ座標系における各軌道点のリスクに基づいて計算された、直交座標系における修正量を用いてベース軌道ＢＬ－１の対応する軌道点を軌道修正パラメータΔだけ変化させ、走行軌道ＴＬ－１を計算する。次に、座標変換部１４０は、直交座標系における走行軌道ＴＬ－１を魚眼カメラ座標系における走行軌道ＴＬ－２に座標変換し、リスク計算部１５０は、周辺画像と、魚眼カメラ座標系における走行軌道ＴＬ－２とに基づいて、当該走行軌道ＴＬ－２のリスクを計算する。このように、魚眼カメラ座標系における各軌道点のリスクに基づいて、直交座標系における対応する軌道点の修正量を計算することにより、修正に必要とされる処理負荷を低減しつつ走行軌道のリスクを適切に評価することができる。

【0043】

走行制御部１８０は、リスク計算部１５０が、ベース軌道ＢＬ又は走行軌道ＴＬのリスク値が閾値Ｔｈ以下であると判定した場合、当該ベース軌道ＢＬ又は走行軌道ＴＬに沿って、移動体１０を走行させる。具体的には、走行制御部１８０は、移動体１０がベース軌道ＢＬ又は走行軌道ＴＬに沿って走行するような指令値をモータ５０に出力し、モータ５０は、当該指令値に従って車輪４０を回転させる。

【0044】

[処理の流れ]
次に、図９を参照して、本実施形態に係る制御装置１００による処理の流れについて説明する。図９は、制御装置１００によって実行される処理の流れの一例を示すフローチャートである。本フローチャートの処理は、所定の制御サイクルごとに実行されるものである。

【0045】

まず、周辺画像取得部１１０は、魚眼カメラ２０によって撮像された、移動体１０の周辺画像を取得する（ステップＳ１００）。次に、ジェスチャー検出部１２０は、周辺画像取得部１１０によって取得された周辺画像に基づいて、移動体１０の将来の走行に関する指示を示すジェスチャーを検出する（ステップＳ１０１）。次に、ベース軌道計算部１３０は、ジェスチャー検出部１２０によって検出されたジェスチャーに基づいて、直交座標系におけるベース軌道ＢＬ－１を計算する（ステップＳ１０２）。次に、座標変換部１４０は、ベース軌道計算部１３０によって計算された、直交座標系におけるベース軌道ＢＬ－１を、魚眼カメラ座標系におけるベース軌道ＢＬ－２に座標変換する（ステップＳ１０３）。次に、リスク計算部１５０は、周辺画像と、魚眼カメラ座標系におけるベース軌道ＢＬ－２とに基づいて、魚眼カメラ座標系におけるベース軌道ＢＬ－２のリスクを計算する（ステップＳ１０４）。

【0046】

次に、リスク計算部１５０は、計算したベース軌道ＢＬ－２のリスクが閾値Ｔｈ以下であるか否かを判定する（ステップＳ１０５）。リスク計算部１５０は、計算したベース軌道ＢＬ－２のリスクが閾値Ｔｈ以下であると判定した場合、走行制御部１８０は、当該ベース軌道ＢＬに沿って移動体１０を走行させる（ステップＳ１０６）。一方、リスク計算部１５０は、計算したベース軌道ＢＬ－２のリスクが閾値Ｔｈより大きいと判定した場合、走行可能空間検出部１６０は、周辺画像に基づいて、走行可能空間ＦＳ－２を魚眼カメラ座標系において検出する（ステップＳ１０７）。次に、走行軌道計算部１７０は、リスク計算部１５０によって計算されたベース軌道ＢＬ－２の各軌道点のリスクに基づいて、走行可能空間検出部１６０によって検出された走行可能空間ＦＳ－２の範囲内にあるような各軌道点の修正量を、直交座標系における修正量として計算する（ステップＳ１０８）。次に、走行軌道計算部１７０は、直交座標系において、当該修正量だけベース軌道ＢＬ－１を修正することによって走行軌道ＴＬ－１を計算する（ステップＳ１０９）。次に、座標変換部１４０は、直交座標系における走行軌道ＴＬ－１を魚眼カメラ座標系における走行軌道ＴＬ－２に座標変換する（ステップＳ１１０）。次に、リスク計算部１５０は、周辺画像と、魚眼カメラ座標系における走行軌道ＴＬ－２とに基づいて、当該走行軌道ＴＬ－２のリスクを計算する（ステップＳ１１１）。

【0047】

次に、リスク計算部１５０は、計算した走行軌道ＴＬ－２のリスクが閾値Ｔｈ以下であるか否かを判定する（ステップＳ１１２）。リスク計算部１５０は、計算した走行軌道ＴＬ－２のリスクが閾値Ｔｈ以下であると判定した場合、走行制御部１８０は、当該走行軌道ＴＬに沿って移動体１０を走行させる（ステップＳ１１３）。一方、リスク計算部１５０は、計算した走行軌道ＴＬ－２のリスクが閾値Ｔｈより大きいと判定した場合、処理を再度ステップＳ１０９に戻し、走行軌道ＴＬ－１を再計算する。

【0048】

以上の通り、本発明の実施形態によれば、制御装置は、魚眼カメラによって撮像された画像を直交座標系に座標変換することなく、魚眼カメラ座標系におけるベース軌道のリスクに基づいて直交座標系におけるベース軌道の修正量を計算し、直交座標系におけるベース軌道を当該修正量だけ修正することによって得られた走行軌道を、再度、魚眼カメラ座標系に座標変換し、魚眼カメラ座標系において当該走行軌道のリスクを評価する。これにより、処理負荷を低減しつつ走行軌道のリスクを適切に評価することができる。

【0049】

上記説明した実施形態は、以下のように表現することができる。
プログラムを記憶した記憶装置と、
ハードウェアプロセッサと、を備え、
前記ハードウェアプロセッサが前記記憶装置に記憶されたプログラムを実行することにより、 移動体に搭載された魚眼カメラによって撮像された画像である、前記移動体の周辺画像を取得し、
前記移動体の将来の走行に関する指示を直交座標系におけるベース軌道として計算し、
前記取得した直交座標系におけるベース軌道を、魚眼カメラ座標系におけるベース軌道に座標変換し、
前記周辺画像と、前記魚眼カメラ座標系におけるベース軌道とに基づいて、前記魚眼カメラ座標系におけるベース軌道のリスクを計算し、
前記魚眼カメラ座標系におけるベース軌道のリスクに基づいて、前記直交座標系におけるベース軌道を修正することによって走行軌道を計算する、
ように構成されている、制御装置。

【0050】

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

【符号の説明】

【0051】

１０ 移動体
２０ 魚眼カメラ
３０ 収容器
４０ 車輪
５０ モータ
１００ 制御装置
１１０ 周辺画像取得部
１２０ ジェスチャー検出部
１３０ ベース軌道計算部
１４０ 座標変換部
１５０ リスク計算部
１６０ 走行可能空間検出部
１７０ 走行軌道計算部
１８０ 走行制御部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】