特許 7507299 移動体制御装置及び移動体制御システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2024-06-19

(45)【発行日】2024-06-27

(54)【発明の名称】移動体制御装置及び移動体制御システム

(51)【国際特許分類】

   G05D 1/43 20240101AFI20240620BHJP

   G08G 1/09 20060101ALI20240620BHJP

【ＦＩ】

G05D1/43

G08G1/09 V

【請求項の数】 8

(21)【出願番号】P 2023172107

(22)【出願日】2023-10-03

【審査請求日】2023-10-03

【早期審査対象出願】

(73)【特許権者】

【識別番号】513087677

【氏名又は名称】ＰＣＩソリューションズ株式会社

(74)【代理人】

【識別番号】110001025

【氏名又は名称】弁理士法人レクスト国際特許事務所

(72)【発明者】

【氏名】澤戸 寛明

(72)【発明者】

【氏名】島山 求

(72)【発明者】

【氏名】古賀 淳也

【審査官】影山 直洋

(56)【参考文献】

【文献】特開２０１９－０６６３８１（ＪＰ，Ａ）

【文献】特許第７１４０９３３（ＪＰ，Ｂ１）

【文献】特許第７２９８０６３（ＪＰ，Ｂ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０５Ｄ １／４３

Ｇ０８Ｇ １／０９

(57)【特許請求の範囲】

【請求項1】

道路上を走行可能な移動体の移動を制御する移動体制御装置であって、
現実空間を撮像する実カメラによって撮像された画像である現実画像を取得する現実画像取得部と、
前記現実画像中において前記移動体を認識し、前記移動体の前記現実画像上の位置を特定する移動体認識・画像位置特定部と、
所定の仮想平面に配された格子線を有する仮想空間モデルを生成する仮想空間モデル生成部と、
前記仮想空間モデルを仮想カメラによって透視変換して前記格子線を前記格子線の伸長方向から見た仮想画像を生成する仮想画像生成部と、
前記現実画像における前記移動体の位置座標である現実画像位置座標と同一座標の前記仮想画像内の１の点と前記格子線との相対的な位置関係に基づいて前記移動体の前記所定の仮想平面上の仮想位置を特定する現実仮想情報リンク部と、
前記仮想位置と前記所定の仮想平面に設定された前記移動体の移動の目標地点の位置とに基づいて、前記所定の仮想平面において前記移動体を前記目標地点まで誘導する誘導制御情報を生成する制御情報生成部と、
を有することを特徴とする移動体制御装置。

【請求項2】

前記現実仮想情報リンク部は、前記仮想画像内の前記１の点の前記仮想画像における上下方向の座標である仮想画像上下方向座標を、前記所定の仮想平面の前記格子線の伸長方向における座標である仮想奥行方向座標に変換する変換曲線を生成し、当該変換曲線及び前記仮想画像上下方向座標に基づいて前記移動体の前記所定の仮想平面における仮想奥行方向座標を算出し、前記仮想画像上下方向座標が前記１の点の座標と同一の前記格子線上の２つの点を特定し、前記１の点と前記２つの点の各々との距離に基づいて、前記移動体の前記所定の仮想平面上の前記格子線と垂直な方向における座標である仮想幅方向座標を特定することを特徴とする請求項１に記載の移動体制御装置。

【請求項3】

前記制御情報生成部は、前記所定の仮想平面において前記移動体の初期位置と現在位置とを結ぶ第１ベクトルと前記移動体の現在位置と前記目標地点とを結ぶ第２ベクトルがなす角度が所定値以下となるように前記移動体を誘導する誘導制御情報を生成することを特徴とする請求項１に記載の移動体制御装置。

【請求項4】

前記現実仮想情報リンク部は、前記仮想画像において前記移動体を前記目標地点までガイドする仮想グリッドレーンを生成し、
前記制御情報生成部は、前記移動体の前記仮想画像上の位置と前記仮想グリッドレーンとに基づいて前記移動体が前記仮想グリッドレーンから逸脱したか否かを判定し、前記移動体が前記仮想グリッドレーン内を走行している場合には前記誘導制御情報を生成し、前記移動体が前記仮想グリッドレーンから逸脱した場合には前記移動体を前記仮想グリッドレーン内に復帰させる復帰制御情報を生成することを特徴とする請求項１に記載の移動体制御装置。

【請求項5】

前記現実画像中において道路上を移動する移動体を認識し、前記移動体が移動した移動エリアを特定する移動体認識・移動エリア特定部を有し、
前記現実仮想情報リンク部は、前記移動エリアに基づいて前記仮想グリッドレーンを生成することを特徴とする請求項４に記載の移動体制御装置。

【請求項6】

前記現実画像取得部は、前記移動体の前記仮想奥行方向座標に基づいて前記実カメラを所定の倍率でズームさせた現実画像を取得し、
前記仮想画像生成部は、前記仮想カメラを前記実カメラのズーム倍率に合わせてズームさせることを特徴とする請求項２に記載の移動体制御装置。

【請求項7】

請求項１に記載の移動体制御装置と道路上を走行可能な複数の移動体とを含む移動体制御システムであって、
前記複数の移動体のうちの１の移動体は、他の移動体を撮像する撮像部を備え、前記他の移動体を含む撮像画像を前記移動体制御装置に送信し、
前記移動体制御装置は、前記１の移動体から送信された前記撮像画像に基づいて前記他の移動体の前記仮想位置を特定し、前記仮想位置と前記所定の仮想平面上の前記他の移動体の移動の目標地点の位置とに基づいて前記他の移動体に対して前記目標地点への誘導制御を行うことを特徴とする移動体制御システム。

【請求項8】

前記移動体制御装置は、前記他の移動体を前記目標地点まで誘導するための誘導制御情報を生成して前記１の移動体に送信し、
前記１の移動体は、前記移動体制御装置から送信された前記誘導制御情報を前記他の移動体に転送することを特徴とする請求項７に記載の移動体制御システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、移動体制御装置及び移動体制御システムに関する。

【背景技術】

【0002】

自動運転制御を行う車両が知られている。例えば、特許文献１には、カメラ、レーダ装置、ライダー、物体認識装置、自動運転制御装置、ＧＮＳＳ（Global Navigation Satellite System）受信機等を備える車両からなる車両システムが開示されている。

【0003】

特許文献１の車両システムにおいては、物体認識装置がカメラ、レーダ装置及びライダーの検出結果に基づいて周囲の物体の位置を認識し、当該認識結果と自車両の現在位置と自車両が到達すべき地点を並べた目標軌道とに基づいて自動運転制御装置が自車両の駆動系の機器を制御する。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０２１－０４７１２０号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

例えば、特許文献１に開示されているような車両システムを、道路上を自律走行可能な自律走行型ロボットに適用しようとする場合、ＧＮＳＳ電波が届きにくい場所などでは自身の位置推定に誤差が生じやすくなり、目標地点まで正確に到達できなくなってしまうという問題が挙げられる。また、上記したレーダ装置やライダー、高精度なＧＮＳＳ受信機などは価格が高く、自律走行型ロボットを複数配置するような場合にはコストが嵩むという問題も挙げられる。

【0006】

本発明は、上記した問題点に鑑みてなされたものであり、安価な構成で移動体を目標地点に精度よく到達させることが可能な移動体制御装置及び移動体制御システムを提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明による移動体制御装置は、道路上を走行可能な移動体の移動を制御する移動体制御装置であって、現実空間を撮像する実カメラによって撮像された画像である現実画像を取得する現実画像取得部と、現実画像中において移動体を認識し、移動体の現実画像上の位置を特定する移動体認識・画像位置特定部と、所定の仮想平面に配された格子線を有する仮想空間モデルを生成する仮想空間モデル生成部と、仮想空間モデルを仮想カメラによって透視変換して格子線を格子線の伸長方向から見た仮想画像を生成する仮想画像生成部と、現実画像における移動体の位置座標である現実画像位置座標と同一座標の仮想画像内の１の点と格子線との相対的な位置関係に基づいて移動体の所定の仮想平面上の仮想位置を特定する現実仮想情報リンク部と、仮想位置と所定の仮想平面上の移動体の移動の目標地点の位置とに基づいて移動体を目標地点まで誘導する誘導制御情報を生成する制御情報生成部と、を有することを特徴とする。

【図面の簡単な説明】

【0008】

【図1】実施例１に係る移動体制御システムの構成を示す図である。

【図2】実施例１に係る移動体制御装置のハードウェア構成の一例を示すブロック図である。

【図3】実施例１に係る移動体のハードウェア構成の一例を示すブロック図である。

【図4】実施例１に係る移動体制御装置における情報処理部のソフトウェア構成の一例を示すブロック図である。

【図5】実施例１に係る移動体制御装置に接続されたカメラによって撮像された撮像画像及び移動体制御装置によって生成される情報重畳画像の一例を示す図である。

【図6】実施例１に係る移動体制御装置によって生成される仮想空間モデルとそのモデルの撮影態様の一例を示す図である。

【図7】実施例１に係る移動体制御装置によって生成される仮想画像の一例を示す図である。

【図8】実施例１に係る移動体制御装置によって仮想平面上の移動体の仮想位置を特定する際のイメージを示す図である。

【図9】実施例１に係る移動体制御装置によって生成される、仮想画像上のＹ座標を仮想平面の奥行き方向の座標に変換する変換曲線の一例を示す図である。

【図10】実施例１に係る移動体制御装置によってなされる移動体を目標地点まで誘導する際の誘導制御の一例を示す図である。

【図11】実施例１に係る移動体制御装置の制御ルーチンを示すフローチャートである。

【図12】実施例１に係る移動体制御装置の制御サブルーチンを示すフローチャートである。

【図13】実施例１に係る移動体制御装置の制御サブルーチンを示すフローチャートである。

【図14】実施例２に係る移動体制御システムの構成を示す図である。

【図15】実施例２に係る移動体制御装置のハードウェア構成の一例を示すブロック図である。

【図16】実施例２に係る移動体制御装置によって生成される仮想グリッドレーンの一例を示す図である。

【図17】実施例２に係る移動体制御装置によってなされる移動体を目標地点まで誘導する際の誘導制御の一例を示す図である。

【図18】実施例２に係る移動体制御装置の制御ルーチンを示すフローチャートである。

【図19】実施例２に係る移動体制御装置の制御サブルーチンを示すフローチャートである。

【図20】実施例２に係る移動体制御装置の制御サブルーチンを示すフローチャートである。

【図21】実施例２に係る移動体制御装置における情報処理部のソフトウェア構成の一例を示すブロック図である。

【図22】実施例２の変形例に係る移動体制御装置によってなされる道路形状の生成態様の一例を示す図である。

【図23】実施例３に係る移動体制御システムの構成を示す図である。

【図24】実施例３に係る移動体のハードウェア構成の一例を示すブロック図である。

【図25】実施例３に係る移動体における情報処理部のソフトウェア構成の一例を示すブロック図である。

【発明を実施するための形態】

【0009】

以下、本発明の実施例について図面を参照して具体的に説明する。なお、図面において同一の構成要素については同一の符号を付け、重複する構成要素の説明は省略する。

【実施例1】

【0010】

［システムの構成］
まず、図１を用いて全体のシステム構成について説明する。図１は、実施例１に係る移動体制御システム１００の構成を示す図である。移動体制御システム１００は、図１に示すように移動体制御装置１０と移動体３０とを含んで構成される。

【0011】

移動体制御システム１００は、例えば、片側二車線の高速道路などにおいて、当該二車線のうちの一車線の一部の区間を清掃や工事、事故後の復旧作業などで車線規制を行う場合に、当該規制区間よりも後方を走行している車両の搭乗者に車線規制が行われている旨を知らせる際に適用され得る。

【0012】

まず、移動体制御装置１０について説明する。移動体制御装置１０は、道路上を走行する車両Ｖ内に搭載されている。車両Ｖは、例えば、「この先作業中」や「衝突注意」等の文字が表示されたディスプレイを有する標識装置ＳＤが荷台に設けられた標識車である。以下、図中左方向を車両Ｖの前方として説明する。また、図中上下方向を車両Ｖの高さ方向として説明する。

【0013】

車両Ｖにおいて、標識装置ＳＤの上部には、車両Ｖよりも後方の道路面を含む風景を撮像する実カメラとしてのカメラ１２が設けられている。カメラ１２は、移動体制御装置１０と有線又は無線によって接続されており、撮像した撮像画像を移動体制御装置１０に送信可能に構成されている。

【0014】

カメラ１２は、移動体制御装置１０からの制御信号により上下左右に首振りが可能なカメラである。カメラ１２は、例えば、パン（Ｐａｎ）・チルト（Ｔｉｌｔ）・ズーム（Ｚｏｏｍ）をそれぞれ行うことが可能なＰＴＺカメラである。

【0015】

次に、移動体３０について説明する。移動体３０は、道路上を走行可能な２つの車輪を含む走行装置３１を備える自走式の小型ロボットである。

【0016】

移動体３０の上部には、例えば、ドーム形状を有しかつ継続的又は断続的に赤色や橙色の光を発することが可能な発光体ＬＢが設けられている。発光体ＬＢは、例えば幅及び奥行きが共に２００ｍｍ、高さが１００ｍｍ程度の大きさを有する警告灯（パトランプ）である。

【0017】

移動体３０は、例えば、車両Ｖよりも後方の道路上に一定間隔ごとに（例えば数十ｍごとに）複数台配され得る。道路上に配された複数の移動体３０の各々は、発光体ＬＢを発光させることにより、規制区間に向かう車両の搭乗者、例えば車両のドライバーに対してこの先車線規制が行われている旨を知らせることができる。言い換えれば、移動体３０は、車線規制区間に車両が入らないよう注意喚起を行う自律走行型のロボットである。

【0018】

移動体制御システム１００において、移動体制御装置１０と移動体３０とは、相互にデータの送受信が可能に接続されている。移動体制御装置１０と移動体３０との接続は、例えばＷｉ－Ｆｉ（登録商標）やＷｉ－ＳＵＮ（登録商標）、ＢＬＥ（Bluetooth Low Energy）（登録商標）等の無線通信によりなされ得る。

【0019】

移動体制御システム１００において、移動体制御装置１０は、カメラ１２によって撮像された撮像画像内において移動体３０を認識し、当該撮像画像上における移動体３０の位置と仮想空間における仮想平面上の座標系とを用いて移動体３０の仮想平面上の位置を特定する。

【0020】

また、移動体制御システム１００において、移動体制御装置１０は、特定した移動体３０の仮想平面上の位置と移動体３０の移動の目標地点の位置とに基づいて、移動体３０を目標地点まで誘導する誘導制御を実行する。

【0021】

［移動体制御装置の構成］
以下に、図２を用いて本実施例における移動体制御装置１０の構成について説明する。図２は、移動体制御装置１０のハードウェア構成の一例を示すブロック図である。

【0022】

移動体制御装置１０は、上述したカメラ１２のほか、車両Ｖ内に設けられたタッチパネルディスプレイ１３に接続されている。

【0023】

タッチパネルディスプレイ１３は、移動体制御装置１０の制御に基づいて画面表示を行うディスプレイと、移動体制御装置１０の操作者、例えば車両Ｖの搭乗者からの入力操作を受け付けるタッチパネルとが組み合わされている表示装置である。タッチパネルディスプレイ１３には、例えば移動体３０との無線通信を確立するための操作や移動体３０の移動の目標地点が入力され得る。

【0024】

移動体制御装置１０は、システムバス１６を介して、情報処理部１７と通信部１８と入力部１９と出力部２１と大容量記憶装置２２とが協働する装置である。移動体制御システム１００において、移動体制御装置１０はコンピュータとして機能する。

【0025】

情報処理部１７は、ＣＰＵ（Central Processing Unit）１７ＡやＲＯＭ（Read Only Memory）１７Ｂ、ＲＡＭ（Random Access Memory）１７Ｃを含む処理装置である。情報処理部１７においては、ＣＰＵ１７Ａが、ＲＯＭ１７Ｂや後述する大容量記憶装置２２に記憶されている各種プログラムを読み出し実行することにより各種機能を実現する。

【0026】

通信部１８は、情報処理部１７の指示に従って外部機器とデータの送受信を行う通信装置である。通信部１８は、例えば、ネットワークに接続するためのＮＩＣ（Network Interface Card）である。通信部１８は、後述する移動体３０の通信部と接続されることによって種々のデータを送受信する。

【0027】

入力部１９は、移動体制御装置１０の情報処理部１７とカメラ１２、タッチパネルディスプレイ１３とを通信可能に接続しているインタフェース部である。情報処理部１７は、例えば、入力部１９を介してカメラ１２が撮像した撮像画像を取得する。

【0028】

出力部２１は、タッチパネルディスプレイ１３と通信可能に接続されているインタフェース部である。情報処理部１７は、例えば、出力部２１を介してタッチパネルディスプレイ１３に映像または画像信号を送信して表示する。

【0029】

大容量記憶装置２２は、情報処理部１７の処理に必要なデータを記憶管理する記憶デバイスである。大容量記憶装置２２は、例えば、ハードディスク装置、ＳＳＤ（solid state drive）、フラッシュメモリ等により構成されており、オペレーティングシステムや、端末用のソフトウェア等の各種プログラムを記憶している。

【0030】

上記各種プログラムは、例えば、他のサーバ装置等からネットワークを介して取得されるようにしてもよく、また、記録媒体に記録されて各種ドライブ装置を介して読み込まれるようにしてもよい。すなわち、大容量記憶装置２２に記憶される各種プログラムは、ネットワークを介して伝送可能であり、また、コンピュータ読み取り可能な記録媒体に記録して譲渡することも可能である。

【0031】

大容量記憶装置２２に格納されている認識用モデル２２Ａは、カメラ１２によって撮像された撮像画像中において移動体３０を認識可能とするＡＩモデルである。認識用モデル２２Ａは、例えば移動体３０の形状など移動体３０の特徴についての学習が予めなされたＡＩモデルである。

【0032】

認識用モデル２２Ａは、情報処理部１７によって上述した撮像画像が入力されることで当該撮像画像中における移動体３０を認識し、当該認識結果として、例えば撮像画像中の移動体の位置及び撮像画像上の移動体のサイズを示すバウンディングボックス情報を出力する。

【0033】

［移動体の構成］
次に、図３を用いて本実施例における移動体３０のハードウェア構成について説明する。移動体３０は、システムバス３３を介して、情報処理部３４と通信部３５と出力部３７とが協働する装置である。情報処理部３４は、移動体制御装置１０の情報処理部１７と同様に、ＣＰＵ３４ＡやＲＯＭ３４Ｂ、ＲＡＭ３４Ｃを含む処理装置である。情報処理部３４は、走行装置３１を駆動する駆動制御信号を生成可能である。

【0034】

通信部３５は、情報処理部３４の指示に従って外部機器とデータの送受信を行う通信装置である。通信部３５は、例えば、ネットワークに接続するためのＮＩＣである。通信部３５は、上述した移動体制御装置１０の通信部１８と接続されることによって種々のデータを送受信する。

【0035】

出力部３７は、走行装置３１と通信可能に接続されているインタフェース部である。出力部３７は、情報処理部３４において、例えば、移動体制御装置１０から受信した制御信号に基づいて生成された駆動制御信号を走行装置３１に出力する。この出力部３７から出力された駆動制御信号に応じて、走行装置３１における車輪の回転速度が制御される。

【0036】

［移動体の仮想平面上の位置の特定］
ここで、移動体制御装置１０による移動体３０の仮想平面上における位置の特定について説明する。なお、以下においては、移動体３０が車両Ｖに設けられたカメラ１２によって常に撮像されているものとして説明する。すなわち、移動体３０が常にカメラ１２の画角内に入っているものとして説明する。

【0037】

図４は、移動体制御装置１０における情報処理部１７のソフトウェア構成の一例を示すブロック図である。図４においては、各ブロックから他のブロックへ出力される情報の流れを実線矢印にて示している。なお、矢印の横の括弧書きの記載は、当該矢印の出元から出力される出力情報である。以下、ソフトウェア構成について、主に図４を用いかつ図５～図９を適宜参照しつつ説明する。

【0038】

現実画像取得部４１は、カメラ１２によって撮像された車両Ｖの後方の撮像画像である現実画像を逐次取得してそれを出力する。上述のように、カメラ１２によって撮像された現実画像には移動体３０が映り込んでいる。

【0039】

移動体認識・画像位置特定部４２は、現実画像取得部４１が取得した現実画像を大容量記憶装置２２に記憶されている認識用モデル２２Ａ（図２参照）に入力し、移動体３０の認識結果としての現実画像上の移動体３０の位置及び現実画像上の移動体３０のサイズを示すバウンディングボックス情報を出力として受け取る。

【0040】

移動体認識・画像位置特定部４２は、認識用モデル２２Ａから取得したバウンディングボックス情報から移動体３０の現実画像上の位置座標を特定し、バウンディングボックス情報を用いて移動体３０を囲むバウンディングボックスが現実画像に重畳された情報重畳画像を生成する。

【0041】

図５は、移動体認識・画像位置特定部４２が作成した情報重畳画像ＳＩの一例を示す図である。上述したように、移動体認識・画像位置特定部４２は、バウンディングボックス情報を認識用モデル２２Ａから取得した際に、現実画像ＲＩ中において認識した移動体３０の現実画像ＲＩ上の位置座標を特定する。例えば、移動体認識・画像位置特定部４２は、現実画像ＲＩの左右方向に沿った軸をＸ軸、上下方向に沿った軸をＹ軸とし、原点（例えば現実画像ＲＩ左上端）からのＸ軸方向とＹ軸方向のピクセル数をそれぞれＸ座標、Ｙ座標として特定する。

【0042】

移動体認識・画像位置特定部４２は、例えば移動体３０の中心点ＣＰの座標を現実画像ＲＩ上の移動体３０の位置座標として特定する。例えば、移動体認識・画像位置特定部４２は、移動体３０の中心点ＣＰの座標である点Ｐ_Ａ（Ｘ_Ａ、Ｙ_Ａ）を現実画像ＲＩ上の移動体３０の位置座標として特定する。

【0043】

また、移動体認識・画像位置特定部４２は、上述したように、認識用モデル２２Ａから取得したバウンディングボックス情報を用いて、図５に示すように移動体３０を囲むバウンディングボックスＢが現実画像ＲＩに重畳された情報重畳画像ＳＩを生成する。

【0044】

図６は、Ｘ軸、Ｙ軸及びＺ軸からなる３次元の仮想空間モデルＶＭとそのモデルの撮影態様の一例を示す図である。図６において、Ｘ軸とＹ軸とがなす平面であるＸＹ仮想平面には、上面形状が長方形の仮想パネルＶＰが複数配されている。仮想パネルＶＰの各々は、例えばＸ軸に沿った長さが１ｍであり、Ｙ軸に沿った長さが５ｍである。なお、図５においては、仮想パネルＶＰを判別しやすくするために仮想パネルＶＰの各々にそれぞれハッチングを施している。

【0045】

仮想空間モデル生成部４３は、例えば図６に示すように、ＸＹ仮想平面において仮想パネルＶＰの各々を市松状の配置パターンで配置する。仮想パネルＶＰがこのように配置されることにより、仮想空間モデル生成部４３は、仮想パネルＶＰの外形線（長辺及び短辺）とその延長線（図中破線）からなる格子線がＸＹ仮想平面に設けられた仮想空間モデルを生成することができる。

【0046】

図６に示すように、Ｘ軸とＺ軸とがなす平面であるＸＺ仮想平面には、ＸＹ仮想平面を撮像する仮想カメラＶＣが配されている。仮想カメラＶＣは、現実空間を撮像するカメラ１２と同じ設定を有している。具体的には、仮想カメラＶＣは、ＸＹ仮想平面からのカメラの設置高さ、画角及び注視点がカメラ１２と同一となっている。

【0047】

仮想画像生成部４４は、仮想カメラＶＣを用いて仮想空間モデルＶＭを撮影することにより、３次元の仮想空間モデルをある視点から見た２次元画像に変換する透視変換を実行する。具体的には、仮想画像生成部４４は、カメラ１２と同じ設定を有する仮想カメラＶＣを用いた透視変換により、ＸＹ仮想平面に設けられた格子線を当該格子線の伸長方向から見た仮想画像を生成する。

【0048】

図７は、仮想カメラＶＣを介して仮想空間モデルＶＭを透視変換して得られた仮想画像ＶＩを示す図である。仮想画像ＶＩにおいては、ＸＹ仮想平面に配された複数の仮想パネルＶＰを基に生成された格子線からなるグリッドモデルＧＭが表示されている。グリッドモデルＧＭは、上述したように複数の仮想パネルＶＰ及び仮想パネルＶＰの各々の外形線の延長線によって形成され得る。

【0049】

仮想カメラＶＣは、上述したようにＸＹ仮想平面からのカメラの設置高さ、画角及び注視点においてカメラ１２と同一の設定がなされている。また、仮想カメラＶＣによって透視変換された画像である仮想画像ＶＩは、現実画像ＲＩと画像サイズが一致している。従って、仮想画像ＶＩにおいては、仮想画像ＶＩ上のある一点の位置座標を現実画像ＲＩにおけるピクセル数で表すことが可能になっている。すなわち、仮想画像ＶＩにおいては、仮想画像ＶＩ上の位置座標を現実画像ＲＩ上の位置座標で表すことできる。

【0050】

なお、移動体制御システム１００においては、現実画像取得部４１が取得した現実画像ＲＩと仮想画像生成部４４が生成した仮想画像ＶＩとを重畳させて重畳画像を生成することで、現実画像ＲＩ上の画像座標系と仮想画像ＶＩ上の座標とをリンクさせる態様としてもよい。

【0051】

図８は、移動体制御装置１０によってＸＹ仮想平面上における移動体３０の仮想位置を特定する際のイメージを示す図である。図８においては、グリッドモデルＧＭの下端中央を原点Ｏとして当該原点Ｏを通るＸ軸及びＹ軸を示している。

【0052】

現実仮想情報リンク部４５は、現実画像ＲＩ上の移動体３０の位置座標である点Ｐ_Ａ（Ｘ_Ａ、Ｙ_Ａ）とグリッドモデルＧＭの格子線との相対的な位置関係に基づいて移動体３０のＸＹ仮想平面上の仮想位置である点Ｐ_Ｖ（Ｘ_Ｖ、Ｙ_Ｖ）を特定する。すなわち、現実仮想情報リンク部４５は、移動体３０のＸＹ仮想平面上の仮想位置を特定する移動体位置特定機能を有する。

【0053】

まず、移動体３０の仮想位置のうちの原点Ｏからの幅方向（Ｘ軸方向）の座標である仮想幅方向座標Ｘ_Ｖの算出方法について説明する。現実仮想情報リンク部４５は、移動体３０の現実画像ＲＩ上の位置座標のうちのＹ座標（Ｙ_Ａ）と同一の格子線上の２つの点Ｐ_Ａ１及び点Ｐ_Ａ２を特定し、点Ｐ_Ａ１と点Ｐ_Ａ２とのＸ軸方向のピクセル数の差に対する点Ｐ_Ａと点Ｐ_Ａ１とのＸ軸方向のピクセル数の差の比に基づいて仮想幅方向座標Ｘ_Ｖを算出する。

【0054】

ここで、移動体３０の現実画像ＲＩ上の位置座標のうちのＹ座標（Ｙ_Ａ）と同一の格子線上の２つの点Ｐ_Ａ１及び点Ｐ_Ａ２の座標をそれぞれＰ_Ａ１（Ｘ_Ａ１、Ｙ_Ａ）及びＰ_Ａ２（Ｘ_Ａ２、Ｙ_Ａ）で表すとすると、仮想幅方向座標Ｘ_Ｖは格子線の長さと併せて以下の数式１によって算出される。

【0055】

【数1】

次に、移動体３０の仮想位置のうちの原点Ｏからの奥行き方向（Ｙ軸方向）の座標である仮想奥行方向座標Ｙ_Ｖの算出方法について説明する。現実仮想情報リンク部４５は、例えば仮想画像ＶＩを生成した後に、移動体３０の現実画像ＲＩ上の上下方向座標（Ｙ座標）を仮想位置のうちの仮想奥行方向座標Ｙ_Ｖに変換する変換曲線ＣＣを生成する。

【0056】

図９は、上記した変換曲線ＣＣの一例を示す図である。図９において、横軸はＸＹ仮想平面における原点Ｏからの奥行き方向の距離を示しており、縦軸は現実画像ＲＩ上のＹ座標を示している。

【0057】

変換曲線ＣＣは、例えばグリッドモデルＧＭにおける原点Ｏからの奥行き方向の長さごと（例えば５ｍ、１０ｍ、１５ｍ、２０ｍ）に対応する現実画像上の位置座標のうちのＹ座標をプロットすることにより生成される。

【0058】

現実仮想情報リンク部４５は、この変換曲線ＣＣを用いて現実画像ＲＩ上の移動体３０のＹ座標をＸＹ仮想平面における原点Ｏからの奥行き方向の距離に変換することによって仮想奥行方向座標Ｙ_Ｖを求めることができる。

【0059】

従って、現実仮想情報リンク部４５は、上述した方法によって仮想幅方向座標及び仮想奥行方向座標を求めることにより、移動体３０のＸＹ仮想平面上の仮想位置の点Ｐ_Ｖ（Ｘ_Ｖ、Ｙ_Ｖ）を算出することができる（以下、仮想位置Ｐ_Ｖとも称する）。すなわち、現実仮想情報リンク部４５は、現実画像ＲＩ中にて認識された移動体３０がＸＹ仮想平面上のどこに位置しているのかを特定することができる。

【0060】

［移動体の目標地点への誘導制御］
次に、図４を参照しつつ、図１０を用いて移動体制御装置１０による移動体３０の目標地点への誘導制御について説明する。図１０は、図６に示した仮想空間モデルにおけるＸＹ仮想平面をＺ軸方向から見た図である。図１０においては、仮想パネルＶＰを配した際の格子線を太線実線にて示している。

【0061】

図１０において、初期位置としてのベクトル原点Ｐ_０は、ＸＹ仮想平面上における移動体３０の始動位置である。以下においては、移動体３０がベクトル原点Ｐ_０から仮想位置Ｐ_１（１５、１）まで移動しており、移動体３０の移動の目標を原点Ｏから奥行き方向に１５ｍ進んだ目標地点Ｐ_ｔ（０、１５）に設定している場合について説明する。

【0062】

制御情報生成部４６は、現実仮想情報リンク部４５が特定した移動体３０の仮想位置Ｐ_ＶとＸＹ仮想平面上の移動体３０の目標地点Ｐ_ｔの位置とに基づいて移動体３０を目標地点Ｐ_ｔまで誘導するための誘導制御情報を生成し、当該誘導制御情報を移動体３０に送信する。

【0063】

制御情報生成部４６は、ベクトル原点Ｐ_０から仮想位置Ｐ_１に向かう第１ベクトルとしてのベクトルＶ１の大きさが所定以上（例えば２ｍ以上）であり、かつ仮想位置Ｐ_１から目標地点Ｐ_ｔに向かう第２ベクトルとしてのベクトルＶ２の大きさが所定以上（例えば１ｍ以上）である場合に、ベクトルＶ１の延長線（図中一点鎖線）とベクトルＶ２とがなす角度θを算出する。

【0064】

制御情報生成部４６は、例えば角度θが所定値を超えている場合、すなわち仮想位置Ｐ_１における移動体３０の進行方向と仮想位置Ｐ_１から目標地点Ｐ_ｔを見た方向が大きく異なる場合、角度θが所定値以下になるように移動体３０の旋回制御を実行する。具体的には、制御情報生成部４６は、角度θが所定値以下になるまで旋回制御を行う旋回制御情報を生成して移動体３０に送信する。

【0065】

また、制御情報生成部４６は、例えば角度θが所定値以下である場合、すなわち仮想位置Ｐ_１における移動体３０の進行方向と仮想位置Ｐ_１から目標地点Ｐ_ｔを見た方向がほぼ同じである場合、そのまま移動体３０を直進させる直進制御を実行する。具体的には、制御情報生成部４６は、直進制御を行う直進制御情報を生成して移動体３０に送信する。

【0066】

移動体制御装置１０は、移動体３０が上記したように移動体制御装置１０から送信された旋回制御情報及び直進制御情報に基づいて旋回及び直進を行うことにより、移動体３０を目標地点Ｐ_ｔに到達させることができる。

【0067】

以下に、図１１～図１３を参照しつつ、図５～図１０を用いて、本実施例における移動体制御装置１０の具体的な動作について説明する。図１１は、移動体制御装置１０の情報処理部１７において実行される移動体３０を目標地点まで誘導する誘導制御ルーチンＲＴ１を示すフローチャートである。

【0068】

情報処理部１７は、例えば、移動体制御装置１０と移動体３０との無線通信が確立され、移動体制御装置１０ユーザからタッチパネルディスプレイ１３を介して移動体３０の仮想平面上の目標地点Ｐ_ｔが入力されたことをして誘導制御ルーチンＲＴ１を開始する。誘導制御ルーチンＲＴ１は、例えば目標地点Ｐ_ｔの更新がなされる度に繰り返し実行される。

【0069】

まず、情報処理部１７の現実仮想情報リンク部４５は、移動体制御装置１０と移動体３０との通信が確立された際に、図８及び図９に示すように、現実画像ＲＩ上の移動体３０の位置座標である点Ｐ_ＡとグリッドモデルＧＭの格子線との相対的な位置関係に基づいてＸＹ仮想平面上における移動体３０の始動位置である仮想位置Ｐ_ｖを特定する（ステップＳ１０１）。

【0070】

次に、情報処理部１７の制御情報生成部４６は、図１０に示すように、ステップＳ１０１にて特定した仮想位置Ｐ_ｖをベクトル原点Ｐ_０に設定する（ステップＳ１０２）。すなわち、制御情報生成部４６は、移動体３０の始動位置である点Ｐ_０を移動体３０の移動の基準点として設定する。

【0071】

制御情報生成部４６は、ステップＳ１０２の後に、移動体３０の発進制御を実行する（ステップＳ１０３）。具体的には、制御情報生成部４６は、例えば直進制御を行う直進制御情報を生成して移動体３０に送信する。

【0072】

制御情報生成部４６は、ステップＳ１０３の後に、図１０に示すように、ステップＳ１０１と同様にベクトル原点Ｐ_０から移動した後の移動体３０の現在の仮想位置である仮想位置Ｐ_１を特定する（ステップＳ１０４）。

【0073】

制御情報生成部４６は、ステップＳ１０４の後に、図１０に示すように、ベクトル原点Ｐ_０と現在の仮想位置である仮想位置Ｐ_１とを結ぶベクトルであるベクトルＶ１を取得し、ベクトルＶ１の大きさが所定以上であるか否かを判定する（ステップＳ１０５）。すなわち、制御情報生成部４６は、ベクトル原点Ｐ_０から現在の仮想位置Ｐ_１までの距離が所定以上であるか否かを判定する。

【0074】

制御情報生成部４６は、ベクトルＶ１の大きさが所定以上でない場合（ステップＳ１０５：ＮＯ）、ステップＳ１０４を再び実行する。すなわち、制御情報生成部４６は、ベクトル原点Ｐ_０から現在の仮想位置Ｐ_１までの距離が所定以上となるまでステップＳ１０４を繰り返し実行する。

【0075】

制御情報生成部４６は、ベクトルＶ１の大きさが所定以上である場合（ステップＳ１０５：ＹＥＳ）、現在の仮想位置である仮想位置Ｐ_１と目標地点Ｐ_ｔとを結ぶベクトルであるベクトルＶ２を取得し、ベクトルＶ２の大きさが所定未満であるか否かを判定する（ステップＳ１０６）。すなわち、制御情報生成部４６は、現在の仮想位置Ｐ_１から目標地点Ｐ_ｔまでの距離が所定未満であるか否かを判定する。

【0076】

制御情報生成部４６は、ベクトルＶ２の大きさが所定未満でない場合（ステップＳ１０６：ＮＯ）、移動体３０を直進又は旋回制御させる直進・旋回制御を実行する（ステップＳ１０７）。制御情報生成部４６は、ステップ１０７の後にステップＳ１０４を繰り返す。

【0077】

制御情報生成部４６は、ベクトルＶ２の大きさが所定未満である場合（ステップＳ１０６：ＹＥＳ）、移動体３０にその場で停止させる停止信号を送信する停止制御を実行する（ステップＳ１０８）。すなわち、制御情報生成部４６は、移動体３０が目標地点Ｐ_ｔ又は目標地点Ｐ_ｔの近くに到達したと判定した場合に、移動体３０の停止制御を実行する。制御情報生成部４６は、ステップＳ１０８の後に誘導制御ルーチンＲＴ１を終了する。

【0078】

次に、ステップＳ１０１及びステップＳ１０４にて実行される移動体３０の仮想位置特定サブルーチンについて説明する。図１２は、移動体制御装置１０の情報処理部１７において実行される移動体３０の仮想位置特定サブルーチンＲＴ２を示すフローチャートである。

【0079】

まず、情報処理部１７の現実画像取得部４１は、実カメラであるカメラ１２によって撮像された車両Ｖの後方の画像である現実画像ＲＩを逐次取得してそれを出力する（ステップＳ２０１）。なお、以下においては、上記説明と同様に移動体３０がカメラ１２によって常に撮像されているものとして説明する。

【0080】

情報処理部１７の移動体位置・画像位置特定部４２は、ステップＳ２０１の後に、大容量記憶装置２２に格納されている認識用モデル２２Ａに現実画像取得部４１が取得した現実画像ＲＩを入力し、現実画像ＲＩ上の移動体の位置及び現実画像ＲＩ上の移動体のサイズを示すバウンディングボックス情報を出力として認識用モデル２２Ａから取得する（ステップＳ２０２）。

【0081】

移動体位置・画像位置特定部４２は、ステップＳ２０２の後に、バウンディングボックス情報から移動体３０の現実画像ＲＩ上の位置座標を特定し、図５に示したように、バウンディングボックスが現実画像ＲＩに重畳された情報重畳画像ＳＩを生成する（ステップＳ２０３）。

【0082】

ステップＳ２０３において、移動体位置・画像位置特定部４２は、例えば、上述したように現実画像ＲＩ中の原点からのＸ軸方向とＹ軸方向のピクセル数をそれぞれＸ座標、Ｙ座標としたときの、移動体３０の中心座標を現実画像ＲＩ上の位置座標として特定する。

【0083】

次に、情報処理部１７の仮想空間モデル生成部４３は、３次元仮想空間中の仮想平面に格子線が配された仮想空間モデルＶＭを生成する（ステップＳ２０４）。具体的には、仮想空間モデル生成部４３は、図６に示したように、ＸＹ仮想平面に複数の仮想パネルＶＰを市松状に配し、当該配された仮想パネルＶＰの各々の外形線を基に仮想空間モデルＶＭを生成する。

【0084】

次に、情報処理部１７の仮想画像生成部４４は、仮想空間モデル生成部４３が生成した仮想空間モデルＶＭをカメラ１２と同様の設定を有する仮想カメラＶＣ（図６参照）を用いて透視変換することにより、ＸＹ仮想平面を格子線の伸長方向から見た仮想画像ＶＩを生成する（ステップＳ２０５）。

【0085】

具体的には、仮想画像生成部４４は、図７に示したように、所定の長さを有する格子線からなるグリッドモデルＧＭが配され、かつ現実画像ＲＩ上の画像座標系がリンクされた仮想画像ＶＩを生成する。

【0086】

最後に、情報処理部１７の現実仮想情報リンク部４５は、仮想画像生成部４４が生成した仮想画像ＶＩと移動体３０の現実画像ＲＩ上の位置座標とに基づいて移動体３０の仮想平面上の仮想位置を特定する（ステップＳ２０６）。

【0087】

具体的には、現実仮想情報リンク部４５は、図８に示したように、現実画像ＲＩ上の位置座標である点Ｐ_ＡのＸ方向の座標（Ｘ_Ａ）とグリッドモデルＧＭの格子線との相対的な位置関係に基づいて移動体３０の仮想位置のうちの仮想幅方向座標（Ｘ_Ｖ）を算出する。

【0088】

また、現実仮想情報リンク部４５は、図９に示したように、現実画像ＲＩ上の位置座標である点Ｐ_ＡのＹ方向の座標（Ｙ_Ａ）と変換曲線ＣＣとに基づいて移動体３０の仮想位置のうちの仮想奥行方向座標（Ｙ_Ｖ）を算出する。これにより、現実仮想情報リンク部４５は、移動体３０の仮想位置である点Ｐ_Ｖ（Ｘ_Ｖ、Ｙ_Ｖ）を特定する。

【0089】

情報処理部１７は、ステップＳ２０６の後に仮想位置特定サブルーチンＲＴ２を終了する。なお、上記した仮想位置特定サブルーチンＲＴ２のうち、ステップＳ２０４（仮想空間モデルの生成）についてはステップＳ２０１よりも前に行うとしてもよい。すなわち、仮想空間モデル生成部４３が、格子線が配されたＸＹ仮想平面を有する仮想空間モデルＶＭを予め生成しておくとしてもよい。

【0090】

次に、ステップＳ１０７にて実行される直進・旋回制御サブルーチンについて説明する。図１３は、移動体制御装置１０の情報処理部１７において実行される移動体３０の直進・旋回制御サブルーチンＲＴ３を示すフローチャートである。

【0091】

まず、情報処理部１７の制御情報生成部４６は、ベクトル原点Ｐ_０と現在の仮想位置Ｐ_１とを結ぶベクトルＶ１と現在の仮想位置Ｐ_１と目標地点Ｐ_ｔとを結ぶベクトルＶ２とがなす角度θを算出する（ステップＳ３０１）。

【0092】

制御情報生成部４６は、ステップＳ３０１の後に、角度θが所定値以下であるか否かを判定する（ステップＳ３０２）。制御情報生成部４６は、角度θが所定値以下でないと判定した場合に（ステップＳ３０２：ＮＯ）、移動体３０の旋回制御を実行する（ステップＳ３０３）。

【0093】

ステップＳ３０３において、制御情報生成部４６は、例えば移動体３０を所定の角度だけ旋回させる旋回制御情報を生成して移動体３０に送信する。制御情報生成部４６は、ステップＳ３０３の後に直進・旋回制御サブルーチンＲＴ３を終了する。

【0094】

制御情報生成部４６は、角度θが所定値以下であると判定した場合に（ステップＳ３０２：ＹＥＳ）、移動体３０の現在の仮想位置Ｐ_１をベクトル原点Ｐ_０として設定する（ステップＳ３０４）。すなわち、制御情報生成部４６は、次に仮想位置を取得した際には、仮想位置Ｐ_１をベクトル原点Ｐ_０としてベクトルＶ１及びベクトルＶ２を求める。

【0095】

制御情報生成部４６は、ステップＳ３０４の後に、移動体３０の直進制御を実行する（ステップＳ３０５）。例えば、制御情報生成部４６は、移動体３０をそのまま直進制御させる直進制御情報を生成して移動体３０に送信する。制御情報生成部４６は、ステップＳ３０５の後に直進・旋回制御サブルーチンＲＴ３を終了する。

【0096】

本実施例の移動体制御システム１００によれば、上述した誘導制御ルーチンＲＴ１によって移動体３０の仮想平面上の仮想位置を特定し、移動体３０を目標地点Ｐ_ｔまで誘導することにより、移動体３０を精度よく目標地点Ｐ_ｔに到達させることができる。

【0097】

従って、本実施例の移動体制御システム１００によれば、例えばＧＰＳ電波が到達しにくい環境などにおいて移動体３０を走行させる場合においても、移動体３０を所望の位置に高精度で配置することができる。

【0098】

また、本実施例の移動体制御システム１００においては、移動体制御装置１０が移動体３０の仮想位置を特定し目標地点Ｐ_ｔまで誘導するために、移動体３０自体は簡易な構成で済ませることができる。

【0099】

従って、本実施例の移動体制御システム１００によれば、例えば移動体３０に高価なＧＰＳ受信機等を設ける必要がなくなり、システム全体のコスト削減を図ることができる。よって、本実施例の移動体制御システム１００によれば、安価な構成で移動体３０を目標地点Ｐ_ｔまで精度よく到達させることができる。

【0100】

なお、本実施例の移動体制御システム１００において、現実画像取得部４１は、移動体３０の仮想奥行方向座標Ｙ_Ｖに基づいてカメラ１２を所定の倍率でズームさせ、当該所定の倍率でズームした現実画像ＲＩを取得する。例えば、現実画像取得部４１は、移動体３０が出発地点から所定距離以上離れた際にカメラ１２のズームを行う。これにより、現実画像ＲＩ内において移動体３０が不鮮明に映ってしまうことを防ぐことができる。

【0101】

また、本実施例において、仮想画像生成部４４は、上記のように現実画像取得部４１によってカメラ１２の光学ズームがなされた際に、仮想カメラＶＣをカメラ１２のズーム倍率に合わせてズームさせる。これにより、それぞれ所定のズーム倍率でズームされた現実画像ＲＩ及び仮想画像ＶＩを得ることができる。

【0102】

なお、本実施例において、移動体３０には発光体ＬＢが設けられており、当該発光体ＬＢを発光させることで車線規制区間に向かう車両に注意喚起を行うとしたが、発光体ＬＢの発光に加えて他の方法で注意喚起を行ってもよい。

【0103】

例えば、移動体３０に情報処理部１７の制御により音を出力するスピーカを設ける態様としてもよい。情報処理部１７は、例えばスピーカを介して、発光体ＬＢの発光と共に車線規制区間に向かう車両に対してこの先の道路で車線規制が行われている旨を示す音声などを出力してもよい。

【実施例2】

【0104】

次に、図１４を用いて実施例２に係る移動体制御システム２００について説明する。図１４は、移動体制御システム２００の構成を示す図であり、道路上に位置する車両Ｖ及び移動体３０を上から見た図である。図１４においては、車両Ｖがカーブ路ＣＲを通った後に図中下方にて停車している様子を示している。以下、図中下方向を車両Ｖの前方として説明する。

【0105】

［移動体制御装置の構成］
まず、図１５を用いて本実施例における移動体制御装置１０の構成について説明する。図１５は、移動体制御装置１０のハードウェア構成の一例を示すブロック図である。以下、実施例１と異なる点について主に説明する。

【0106】

ＧＰＳ受信機１４は、入力部１９を介して移動体制御装置１０に接続されており、ＧＰＳ（Global Positioning System）衛星からの信号（ＧＰＳ信号）を受信する受信機である。ＧＰＳ受信機１４は、例えば車両Ｖ内部のダッシュボード上に配されている。

【0107】

大容量記憶装置２２に格納されている地図情報データベース（以下、地図情報ＤＢと称する）２２Ｂは、地図情報が格納されているデータベースである。情報処理部１７の現実仮想情報リンク部４５は、ＧＰＳ受信機１４が受信したＧＰＳ信号及び地図情報ＤＢ２２Ｂに基づいて車両Ｖの現在位置を特定する。

【0108】

［仮想グリッドレーンを用いた移動体の誘導制御］
ここで、図１６及び図１７を用いて、本実施例における情報処理部１７によってなされる仮想グリッドレーンを用いた移動体３０の目標地点への誘導制御について説明する。なお、情報処理部１７のソフトウェア構成については実施例１と同様である。

【0109】

本実施例において、現実仮想情報リンク部４５は、ＧＰＳ受信機１４が受信したＧＰＳ信号及び地図情報ＤＢ２２Ｂに基づいて車両Ｖの現在位置を特定し、車両Ｖの現在位置から所定の距離だけ後方に離れた地点までの道路の形状を示す道路形状情報を地図情報ＤＢ２２Ｂから取得する。例えば、現実仮想情報リンク部４５は、図１４に示すように車両Ｖが走行してきたカーブ路ＣＲを含む道路形状情報を取得する。

【0110】

仮想空間モデル生成部４３は、ＸＹ仮想平面において、現実仮想情報リンク部４５が取得した道路形状情報に含まれるカーブ路ＣＲの形状に沿った３次元の仮想ガイドレーンモデル（図示せず）を生成する。

【0111】

仮想画像生成部４４は、カメラ１２と同じ設定を有する仮想カメラＶＣを用いて、ＸＹ仮想平面に設けられた仮想ガイドレーンモデルを透視変換することにより、仮想ガイドレーンモデルを伸長方向から見た仮想ガイドレーンＶＬを生成する。

【0112】

図１６は、仮想グリッドレーンの一例を示す図である。現実仮想情報リンク部４５は、図１６に示すように、仮想ガイドレーンＶＬを仮想画像ＶＩのグリッドモデルＧＭに重畳することにより、グリッドモデルＧＭの情報を持った仮想ガイドレーンＶＬである仮想グリッドレーンＶＧＬを生成する。すなわち、現実仮想情報リンク部４５は、道路形状情報に示される道路形状に基づいて仮想グリッドレーンＶＧＬを生成する仮想グリッドレーン生成機能を有する。

【0113】

図１７は、仮想グリッドレーンＶＧＬを用いて移動体３０の目標地点Ｐ_ｔへの誘導制御を行う際の一例を示す図である。図１７においては、移動体３０が現在の仮想位置である点Ｐ_１´において仮想ガイドレーンＶＬから逸脱している様子を示している。また、図１７においては、移動体３０の移動目標の地点である目標地点Ｐ_ｔを仮想グリッドレーンＶＧＬ上に設定している。

【0114】

制御情報生成部４６は、上述したように、現実仮想情報リンク部４５によって特定された移動体３０の仮想位置に基づいて移動体３０を目標地点Ｐ_ｔまで誘導する誘導制御情報を生成する。本実施例において、制御情報生成部４６は、移動体３０を目標地点Ｐ_ｔまで誘導する際に移動体３０が仮想グリッドレーンＶＧＬから逸脱したか否かに基づいて移動体３０に対する移動の制御態様を変化させる。

【0115】

具体的には、制御情報生成部４６は、移動体３０が仮想グリッドレーンＶＧＬから逸脱していない場合には、実施例１にて示した誘導制御情報を生成し移動体３０に送信する。すなわち、制御情報生成部４６は、移動体３０を目標地点Ｐ_ｔまで誘導するための旋回制御情報や直進制御情報などを移動体３０に送信する。

【0116】

一方で、移動体３０が仮想グリッドレーンＶＧＬから逸脱している場合には、制御情報生成部４６は、移動体３０を仮想グリッドレーンＶＧＬ内に復帰させる復帰制御を移動体３０に行わせるための復帰制御情報を生成し移動体３０に送信する。

【0117】

具体的には、制御情報生成部４６は、例えば図１７に示すように、移動体３０の現在の進行方向である方向Ｄ_ｉから仮想グリッドレーンＶＧＬの幅方向の中心を通る中心線ＣＬに向かう方向である方向Ｄ_ｃを向くように旋回させる旋回制御情報及び当該旋回後に方向Ｄ_ｃに沿って直進することを示す直進制御情報を含む復帰制御情報を生成し移動体３０に送信する。

【0118】

制御情報生成部４６は、移動体３０が復帰制御情報を受信して仮想グリッドレーンＶＧＬに戻った場合、すなわち移動体３０が仮想グリッドレーンＶＧＬ内に復帰したことをして、再び移動体３０を目標地点Ｐ_ｔまで誘導する誘導制御情報を生成して移動体３０に送信する。

【0119】

以下に、図１８～図２０を参照しつつ、図１６及び図１７を用いて、本実施例における移動体制御装置１０の具体的な動作について説明する。以下、実施例１と異なる点について主に説明する。

【0120】

図１８は、移動体制御装置１０の情報処理部１７において実行される移動体３０の誘導制御ルーチンＲＴ４を示すフローチャートである。誘導制御ルーチンＲＴ４においては、図１１におけるステップＳ１０１のステップＳ４０１への変更及びステップＳ４０２を追加した点において図１１と異なっている。

【0121】

ステップＳ４０１において、情報処理部１７の現実仮想情報リンク部４５は、実施例１にて説明した仮想位置Ｐ_ｖの特定に加えて、図１６に示したように仮想グリッドレーンＶＧＬの生成を実行する。

【0122】

制御情報生成部４６は、ステップＳ１０６において仮想位置Ｐ_１と目標地点Ｐ_ｔとを結ぶベクトルＶ２の大きさが所定未満ではない場合に（ステップＳ１０６：ＮＯ）、移動体３０が仮想グリッドレーンＶＧＬから逸脱したか否かに基づくレーン復帰制御を実行する（ステップＳ４０２）。

【0123】

次に、ステップＳ４０１にて実行される移動体３０の仮想位置特定サブルーチンについて説明する。図１９は、移動体制御装置１０の情報処理部１７において実行される移動体３０の仮想位置特定サブルーチンＲＴ５を示すフローチャートである。

【0124】

情報処理部１７の現実仮想情報リンク部４５は、ステップＳ２０５の後に、車両Ｖの現在位置及び地図情報ＤＢ２２Ｂに基づいて車両Ｖの現在位置から所定の距離だけ後方に離れた地点までの道路の形状を示す道路形状情報を取得する（ステップＳ５０１）。具体的には、現実仮想情報リンク部４５は、図１４に示したように車両Ｖの後方のカーブ路ＣＲを含む道路の形状を示す道路形状情報を取得する。

【0125】

仮想空間モデル生成部４３は、ステップＳ５０１の後に、ＸＹ仮想平面において、現実仮想情報リンク部４５が取得した道路形状情報に含まれるカーブ路ＣＲの形状に沿った３次元の仮想ガイドレーンモデルを生成する（ステップＳ５０２）。

【0126】

現実仮想情報リンク部４５は、ステップＳ５０２の後に、仮想空間モデル生成部４３が生成した仮想ガイドレーンモデルを透視変換することにより、仮想ガイドレーンモデルを伸長方向から見た仮想ガイドレーンＶＬを生成する（ステップＳ５０３）。

【0127】

現実仮想情報リンク部４５は、ステップＳ５０３の後に、図１６に示したように、仮想ガイドレーンＶＬを仮想画像ＶＩのグリッドモデルＧＭに重畳することにより、グリッドモデルＧＭの情報を持った仮想ガイドレーンＶＬである仮想グリッドレーンＶＧＬを生成する（ステップＳ５０４）。

【0128】

現実仮想情報リンク部４５は、ステップＳ５０４の後に、現実仮想情報リンク部４５が生成した仮想グリッドレーンＶＧＬを用いて、実施例１にて説明したように移動体３０の仮想位置を特定する（ステップＳ２０６）。

【0129】

なお、上記した仮想位置特定サブルーチンＲＴ５のうち、ステップＳ５０１～５０３（仮想ガイドレーンの生成）についてはステップＳ２０１よりも前に行うとしてもよい。すなわち、現実仮想情報リンク部４５が、仮想ガイドレーンモデルの透視変換により仮想ガイドレーンＶＬを予め生成しておくとしてもよい。

【0130】

次に、ステップＳ４０２にて実行されるレーン復帰制御サブルーチンについて説明する。図２０は、移動体制御装置１０の情報処理部１７において実行される移動体３０のレーン復帰制御サブルーチンＲＴ６を示すフローチャートである。

【0131】

まず、制御情報生成部４６は、図１７に示すように、移動体３０の現在の仮想位置であるＰ_１´に基づいて移動体３０が仮想グリッドレーンＶＧＬから逸脱したか否かを判定する（ステップＳ６０１）。

【0132】

制御情報生成部４６は、移動体３０が仮想グリッドレーンＶＧＬから逸脱していないと判定すると（ステップＳ６０１：ＮＯ）、レーン復帰制御サブルーチンＲＴ６を終了する。

【0133】

制御情報生成部４６は、移動体３０が仮想グリッドレーンＶＧＬから逸脱していると判定すると（ステップＳ６０１：ＹＥＳ）、移動体３０に対し仮想グリッドレーンＶＧＬへの復帰制御を実行する（ステップＳ６０２）。

【0134】

具体的には、制御情報生成部４６は、図１７に示すように、移動体３０の現在の進行方向である方向Ｄ_ｉから仮想グリッドレーンＶＧＬの幅方向の中心を通る中心線ＣＬに向かう方向である方向Ｄ_ｃを向くように旋回させる旋回制御情報及び当該旋回後に方向Ｄ_ｃに沿って直進することを示す直進制御情報を含む復帰制御情報を生成し移動体３０に送信する。制御情報生成部４６は、ステップ６０２の後にレーン復帰制御サブルーチンＲＴ６を終了する。

【0135】

本実施例の移動体制御装置１０によれば、制御情報生成部４６が上記のように移動体３０が仮想グリッドレーンＶＧＬから逸脱したか否かに基づいて移動体３０に対する制御態様を変化させることにより、例えば図１４に示すようなカーブ路ＣＲのように曲りくねった道を移動体３０が走行する場合においても、移動体３０がカーブ路ＣＲから逸脱することを防ぎつつ移動体３０を目標地点Ｐ_ｔまで誘導することができる。

【0136】

従って、本実施例の移動体制御システム２００によれば、実施例１にて示した移動体制御システム１００と同様に、安価な構成で移動体３０を目標地点Ｐ_ｔまで精度よく到達させることができる。

【0137】

［実施例２の変形例］
次に、図２１及び図２２を用いて、実施例２に係る移動体制御システム２００の変形例について説明する。本変形例においては、仮想ガイドレーンＶＬの生成方法が実施例２と異なっており、それ以外の点、例えば移動体３０の仮想位置特定方法及び目標地点Ｐ_ｔへの誘導制御方法などは実施例２と同様である。

【0138】

本変形例において、大容量記憶装置２２に格納されている認識用モデル２２Ａは、移動体３０の特徴に加えて、自動四輪車や自動二輪車などの車両の特徴についての学習がなされており、カメラ１２によって撮像された撮像画像中において車両を認識する。認識用モデル２２Ａは、当該認識結果として、例えば現実画像上の車両の位置及び現実画像上の車両のサイズを示すバウンディングボックス情報を出力として受け取る。

【0139】

図２１は、本変形例における情報処理部１７のソフトウェア構成の一例を示すブロック図である。図２１において、情報処理部１７は、新たに移動体認識・移動エリア特定部４７を有している。

【0140】

移動体認識・移動エリア特定部４７は、認識用モデル２２Ａから取得したバウンディングボックス情報から車両の現実画像上の位置座標を特定し、バウンディングボックス情報を用いて車両を囲むバウンディングボックスが現実画像ＲＩに重畳された情報重畳画像ＳＩを生成する。

【0141】

図２２は、情報重畳画像ＳＩの一例を示す図である。図２２においては、車線規制がなされているレーンの隣のレーンを他車両としての車両Ｃ１及び車両Ｃ２が走行している。以下、車両Ｃ１及び車両Ｃ２がカメラ１２によって常に撮像されておりかつ図中奥から手前に向かって走行しているものとして説明する。

【0142】

本変形例において、移動体認識・移動エリア特定部４７は、情報重畳画像ＳＩ中の車両が所定時間に亘って道路上を移動した際の移動エリアを特定する。具体的には、移動体認識・移動エリア特定部４７は、例えば道路上を走行する車両Ｃ１を認識した際のバウンディングボックスＢ１の底辺ＢＬ１を車両Ｃ１の移動に伴ってトレースすることにより、すなわち図中奥から手前に向かってトレースすることにより、車両Ｃ１の移動エリアＭＡ１を特定する。

【0143】

また、移動体認識・移動エリア特定部４７は、車両Ｃ１と同様に、車両Ｃ２を認識した際のバウンディングボックスＢ２の底辺ＢＬ２を車両Ｃ２の移動に伴ってトレースすることにより、車両Ｃ２の移動エリアＭＡ２を特定する。

【0144】

移動体認識・移動エリア特定部４７は、特定した車両Ｃ１の移動エリアＭＡ１及び車両Ｃ２の移動エリアＭＡ２を重畳させて１つの重畳移動エリアＳＭＡを生成し、重畳移動エリアＳＭＡの前端のラインをガイドラインＧＬ１、中央のラインをガイドラインＧＬ２、後端のラインをガイドラインＧＬ３として特定する。

【0145】

移動体認識・移動エリア特定部４７は、重畳移動エリアＳＭＡにおける３つのガイドラインＧＬ１～ＧＬ３の各々を基に仮想ガイドレーンＶＬを生成する。具体的には、移動体認識・移動エリア特定部４７は、例えば現実画像ＲＩ中におけるガイドラインＧＬ１～ＧＬ３の各々を図中矢印方向にそれぞれ所定距離だけオフセットし、当該オフセットしたガイドラインＧＬ１～ＧＬ３の端点をそれぞれ曲線で繋ぐことにより、仮想ガイドレーンＶＬを生成する。

【0146】

また、移動体認識・移動エリア特定部４７は、実施例２と同様に仮想ガイドレーンＶＬを仮想画像ＶＩのグリッドモデルＧＭに重畳することにより、グリッドモデルＧＭの情報を持った仮想ガイドレーンＶＬである仮想グリッドレーンＶＧＬを生成する。

【0147】

制御情報生成部４６は、移動体認識・移動エリア特定部４７によって生成された仮想グリッドレーンＶＧＬを用いて、実施例２と同様に移動体３０の仮想グリッドレーンＶＧＬからの逸脱の有無を判定しつつ目標地点Ｐ_ｔまで移動体３０を誘導することができる。

【0148】

なお、本変形例においては、移動体認識・移動エリア特定部４７が道路上を走行する車両（自動車）を認識して移動エリアを特定するとしたが、移動体認識・移動エリア特定部４７によって仮想グリッドレーンＶＧＬを生成可能であれば認識対象は自動車以外の移動体であってもよい。

【0149】

例えば、移動体認識・移動エリア特定部４７は、車線規制が行われている道路上を路上作業員が図２２中手前から奥に向かって歩いていく際の動きをトレースすることによって当該路上作業員の移動エリアを特定してもよい。

【実施例3】

【0150】

次に、図２３を用いて実施例３に係る移動体制御システム３００について説明する。図２３は、移動体制御システム３００の構成を示す図であり、道路上に位置する車両Ｖ、第１の移動体としての移動体５０及び第２の移動体としての移動体６０を上から見た図である。図２３においては、車両Ｖがカーブ路ＣＲを通った後に図中下方にて停車している様子を示している。以下、図中下方向を車両Ｖの前方として説明する。

【0151】

図２３においては、移動体５０が実施例１にて説明した方法によって車両Ｖの後方にある目標地点Ｐ_ｔ１まで誘導され、移動体６０が目標地点Ｐ_ｔ１よりもさらに後方にある目標地点Ｐ_ｔ２に向かって走行しているときの様子を示している。

【0152】

また、図２３において、移動体６０は、車両Ｖから見て、車線規制を行っているレーンの隣のレーンを走行する複数の車両Ｃによって姿が隠れるために、カメラ１２による撮像が不可能となっている。言い換えれば、図２３においては、移動体５０のみがカメラ１２によって撮像可能となっている。

【0153】

また、図２３においては、移動体制御装置１０と移動体５０、及び移動体５０と移動体６０が互いに通信可能な距離に位置している一方で、移動体制御装置１０と移動体６０とは互いに通信不可能な距離を有している。言い換えれば、移動体制御装置１０は、移動体６０を直接目標地点Ｐ_ｔ２へ誘導制御することが不可能となっている。

【0154】

［移動体の構成］
ここで、図２４及び図２５を用いて移動体５０の構成について説明する。図２４は、移動体５０のハードウェア構成の一例を示すブロック図である。

【0155】

まず、移動体５０のハードウェア構成について、実施例１の移動体３０と異なる点について説明する。本実施例において、移動体５０は、図２４に示すようにシステムバス３３を介して情報処理部３４に接続された入力部５１と入力部５１に接続された撮像部としてのカメラ５２と大容量記憶装置５３とを有している。

【0156】

カメラ５２は、移動体５０からの制御信号により上下左右に首振りが可能なカメラである。カメラ５２は、例えば、カメラ１２と同様にＰａｎ・Ｔｉｌｔ・Ｚｏｏｍをそれぞれ行うことが可能なＰＴＺカメラである。カメラ５２は、例えば移動体５０の上部に設けられている。

【0157】

大容量記憶装置５３は、認識用モデル５３Ａが格納されている記憶デバイスである。認識用モデル５３Ａは、道路の特徴についての学習がなされており、カメラ５２によって撮像された撮像画像中において道路部分を認識する。認識用モデル５３Ａは、当該認識結果として、撮像画像中の道路部分の位置及び撮像画像上の道路部分のサイズを示すバウンディングボックス情報を出力する。

【0158】

情報処理部１７の移動体認識・画像位置特定部４２は、認識用モデル５３Ａから取得したバウンディングボックス情報から道路部分の現実画像上の位置座標を特定し、バウンディングボックス情報を用いて、例えば道路部分を示す領域を撮像画像に重畳した情報重畳画像を生成する。

【0159】

次に、図２５を用いて移動体５０の情報処理部３４のソフトウェア構成について説明する。図２５は、移動体５０における情報処理部３４のソフトウェア構成の一例を示すブロック図である。

【0160】

現実画像取得部５５は、実施例１と同様に、カメラ５２によって撮像された移動体５０の後方の画像である現実画像を逐次取得してそれを出力する。本実施例において、現実画像取得部５５は、現実画像を逐次又は定期的に移動体制御装置１０に送信する。

【0161】

道路認識・カメラ方向制御部５６は、現実画像取得部５５が取得した撮像画像を認識用モデル５３Ａに入力し、移動体認識・画像位置特定部４２によって生成された情報重畳画像中の道路に基づいてカメラ５２の向く方向を制御する。例えば、道路認識・カメラ方向制御部５６は、情報重畳画像中の道路の縁端を認識し、カメラ５２の注視点が道路の中央に向くようにカメラ５２を制御する。

【0162】

従って、移動体５０は、道路認識・カメラ方向制御部５６によってカメラ５２を常に道路の中央を向くように制御できるために、目標地点Ｐ_ｔ１よりも後方を走行する移動体６０をカメラ５２の画角内に入れることができる。

【0163】

本実施例において、移動体制御装置１０は、移動体５０から送信された移動体６０が映っている現実画像を取得し、実施例１と同様の方法によって移動体６０の仮想位置を特定する。また、移動体制御装置１０は、特定した仮想位置及び移動体６０の目標地点Ｐ_ｔ２に基づいて移動体６０を目標地点Ｐ_ｔ２まで誘導させるための誘導制御情報を生成し、当該誘導制御情報を移動体５０に送信する。

【0164】

移動体５０は、移動体制御装置１０から送信された誘導制御情報を受信すると移動体６０に転送する。移動体５０から転送された誘導制御情報を受信した移動体６０は、誘導制御情報に基づいて目標地点Ｐ_ｔ２に向かう。これにより、移動体制御装置１０は、カメラ１２によって移動体６０の撮像ができない場合においても移動体６０を目標地点Ｐ_ｔ２まで誘導することができる。

【0165】

従って、本実施例においては、移動体制御装置１０が移動体５０及び移動体６０をそれぞれ目標地点まで誘導させる基地局として機能し、移動体５０が移動体６０を含む撮像画像を移動体制御装置１０に送信しかつ移動体制御装置１０から送信された移動体６０の誘導制御情報を移動体６０に転送する中継局として機能する。

【0166】

本実施例の移動体制御システム３００によれば、例えば車両Ｖに搭載されたカメラ１２で移動体を直接撮像できないような場合においても、当該移動体を上述した中継局としての機能により目標地点まで誘導することができる。

【0167】

また、本実施例の移動体制御システム３００によれば、例えば複数の移動体を所定間隔で一体ずつ配置するような場合に、移動体制御装置１０が移動体と直接通信ができないほど離れた際においても移動体を目標地点まで誘導することができる。従って、本実施例の移動体制御システム３００においても、安価な構成で移動体を目標地点まで精度よく到達させることができる。

【0168】

なお、本実施例においては、移動体制御装置１０が移動体６０を制御するとしたが、移動体５０に移動体制御装置１０が有する移動体認識モデル及び移動体制御機能を持たせるとしてもよい。すなわち、移動体５０が移動体６０を直接目標地点まで誘導制御してもよい。

【符号の説明】

【0169】

１００、２００、３００ 移動体制御システム
１０ 移動体制御装置
１２、５２ カメラ
１３ タッチパネルディスプレイ
１６、３３ システムバス
１７、３４ 制御部
１８、３５ 通信部
１９、５１ 入力部
２１、３７ 出力部
２２、５３ 大容量記憶装置
３０、５０、６０ 移動体
３１ 走行装置
４１、５５ 現実画像取得部
４２ 移動体認識・画像位置特定部
４３ 仮想空間モデル生成部
４４ 仮想画像生成部
４５ 現実仮想情報リンク部
４６ 制御情報生成部
５６ 道路認識・カメラ方向制御部

【要約】      （修正有）

【課題】安価な構成で移動体を目標地点に精度よく到達可能な移動体制御装置及びシステムを提供する。
【解決手段】道路上を走行可能な移動体の移動を制御する移動体制御装置であって、現実画像を取得する現実画像取得部と、現実画像中の移動体を認識し、移動体の現実画像上の位置を特定する位置特定部と、仮想平面に配された格子線を有する仮想空間モデルを生成する仮想空間モデル生成部と、該モデルを仮想カメラによって透視変換して格子線を格子線の伸長方向から見た仮想画像を生成する仮想画像生成部と、現実画像での移動体の位置座標である現実画像位置座標と同一座標の仮想画像内の１の点と格子線との相対的な位置関係に基づき移動体の所定の仮想平面上の仮想位置を特定する現実仮想情報リンク部と、仮想位置と所定の仮想平面上の移動体の移動の目標地点の位置とに基づいて移動体を目標地点まで誘導する誘導制御情報を生成する制御情報生成部と、を有する。
【選択図】図８

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】