特開 2024-157649 位置推定装置、位置推定システム、位置推定方法、および、コンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024157649

(43)【公開日】2024-11-08

(54)【発明の名称】位置推定装置、位置推定システム、位置推定方法、および、コンピュータプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20241031BHJP

   G06V 10/80 20220101ALI20241031BHJP

   G06V 20/54 20220101ALI20241031BHJP

【ＦＩ】

G06T7/00 650B

G06V10/80

G06V20/54

【審査請求】未請求

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2023072118

(22)【出願日】2023-04-26

(71)【出願人】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(74)【代理人】

【識別番号】110000028

【氏名又は名称】弁理士法人明成国際特許事務所

(72)【発明者】

【氏名】岩堀 健人

(72)【発明者】

【氏名】横山 大樹

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096BA04

5L096CA05

5L096DA02

5L096EA07

5L096EA16

5L096EA18

5L096EA35

5L096FA02

5L096FA06

5L096FA12

5L096FA18

5L096FA60

5L096FA64

5L096FA66

5L096FA67

5L096FA69

5L096GA51

5L096HA05

5L096HA11

5L096JA16

(57)【要約】      （修正有）

【課題】車両を含む撮像画像を用いて、車両の位置を精度よく推定する位置推定装置、位置推定システム、位置推定方法及びプログラムを提供する。
【解決手段】車両制御装置を有する１台以上の車両と、複数の撮像装置と、車両の位置を推定する位置推定装置とが、ネットワークに接続され通信する位置推定システムにおいて、車両の位置を推定する位置推定装置７が備える装置ＣＰＵ７２は、車両を含む撮像画像を撮像装置から取得する装置取得部７２１と、撮像画像を用いて、画像座標系における車両の位置を示す画像座標点を算出する位置算出部７２２と、撮像画像に含まれる車両の種別を特定する車種特定部７２３と、グローバル座標系における撮像装置の位置を基に算出される撮像パラメータと、車両の種別に応じて定まる車両パラメータと、を用いて、画像座標点をグローバル座標系における車両の位置を示す車両座標点に変換する位置変換部７２４として機能する。
【選択図】図５

【特許請求の範囲】

【請求項1】

車両の位置を推定する位置推定装置であって、
前記車両を含む撮像画像を撮像装置から取得する取得部と、
前記撮像画像を用いて、画像座標系における前記車両の前記位置を示す画像座標点を算出する位置算出部と、
前記撮像画像に含まれる前記車両の種別を特定する車種特定部と、
グローバル座標系における前記撮像装置の位置を基に算出される撮像パラメータと、前記車両の前記種別に応じて定まる車両パラメータと、を用いて、前記画像座標点を前記グローバル座標系における前記車両の前記位置を示す車両座標点に変換する位置変換部と、を備える、位置推定装置。

【請求項2】

請求項１に記載の位置推定装置であって、さらに、
前記車両座標点を用いて、前記車両の移動方向を示す方向情報を生成する方向情報生成部を備える、位置推定装置。

【請求項3】

請求項１に記載の位置推定装置であって、
前記位置変換部は、前記画像座標点を前記車両座標点に変換する場合に、前記車両座標点を目的変数とし、前記画像座標点と、前記撮像パラメータと、前記車両パラメータと、を説明変数として含む関係式に、前記取得部によって取得された前記車両パラメータの値を代入する、位置推定装置。

【請求項4】

請求項１に記載の位置推定装置であって、さらに、
前記取得部によって取得された前記車両パラメータと、前記車両パラメータの基準値を示す基準パラメータと、の差分を算出することで、前記基準パラメータに対する補正値を示す補正パラメータであって、前記車種特定部によって特定された前記車両の前記種別に応じて定まる補正パラメータを設定する補正値設定部を備え、
前記位置変換部は、前記画像座標点を前記車両座標点に変換する場合に、前記車両座標点を目的変数とし、前記画像座標点と、前記撮像パラメータと、前記基準パラメータと、前記補正パラメータと、を説明変数として含む関係式に、前記補正値設定部によって設定された前記補正パラメータを代入する、位置推定装置。

【請求項5】

請求項４に記載の位置推定装置であって、さらに、
前記補正値設定部は、前記車種特定部によって特定された前記車両の前記種別が予め定められた種別である場合に、前記差分を算出することなく、前記補正パラメータをゼロに設定する、位置推定装置。

【請求項6】

請求項１に記載の位置推定装置であって、
前記撮像パラメータは、前記グローバル座標系における前記撮像装置の前記位置を基に算出される前記撮像装置の路面からの高さであり、
前記車両パラメータは、前記車両の予め定められた測位点の前記路面からの高さである、位置推定装置。

【請求項7】

請求項１に記載の位置推定装置であって、
前記位置算出部は、
前記撮像画像中の前記車両をマスクしたマスク領域が付加された第１マスク画像を生成する検出部と、
前記第１マスク画像を透視変換する透視変換部と、
座標点算出部であって、前記第１マスク画像中の前記マスク領域に設定した第１外接矩形の指定された頂点を第１座標点とし、前記第１マスク画像を透視変換した第２マスク画像中の前記マスク領域に設定した第２外接矩形の頂点のうち、前記第１座標点と同一の位置を示す頂点を第２座標点とし、前記第２座標点を用いて前記第１座標点を補正する座標点算出部と、を備える、位置推定装置。

【請求項8】

請求項７に記載の位置推定装置であって、
前記位置算出部は、さらに、前記車両の移動方向が予め定められた方向を向くように前記撮像画像を回転させる回転処理部を備える、位置推定装置。

【請求項9】

請求項７に記載の位置推定装置であって、
前記位置算出部は、さらに、前記撮像画像の歪みを修正する歪み修正部を備える、位置推定装置。

【請求項10】

車両の位置を推定する位置推定システムであって、
車両と、
位置推定の対象となる前記車両を含む撮像画像を取得する撮像装置と、
請求項１から請求項９までのいずれか一項に記載の位置推定装置と、を備える、位置推定システム。

【請求項11】

車両の位置を推定する位置推定方法であって、
前記車両を含む撮像画像を撮像装置から取得する取得工程と、
前記撮像画像を用いて、画像座標系における前記車両の前記位置を示す画像座標点を算出する位置算出工程と、
前記撮像画像に含まれる前記車両の種別を特定する車両種別特定工程と、
グローバル座標系における前記撮像装置の位置を基に算出される撮像パラメータと、前記車両の前記種別に応じて定まる車両パラメータと、を用いて、前記画像座標点を前記グローバル座標系における前記車両の前記位置を示す車両座標点に変換する位置変換工程と、を備える、位置推定方法。

【請求項12】

車両の位置を推定するために用いられるコンピュータプログラムであって、
前記車両を含む撮像画像を撮像装置から取得する取得機能と、
前記撮像画像を用いて、画像座標系における前記車両の前記位置を示す画像座標点を算出する位置算出機能と、
前記撮像画像に含まれる前記車両の種別を特定する車両種別特定機能と、
グローバル座標系における前記撮像装置の位置を基に算出される撮像パラメータと、前記車両の前記種別に応じて定まる車両パラメータと、を用いて、前記画像座標点を前記グローバル座標系における前記車両の前記位置を示す車両座標点に変換する位置変換機能と、を備える、コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、位置推定装置、位置推定システム、位置推定方法、および、コンピュータプログラムに関する。

【背景技術】

【0002】

従来、遠隔制御によって自動走行する車両が知られている（特許文献１）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特表２０１７－５３８６１９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

遠隔制御によって車両を自動走行させる場合、車両の位置を推定する必要がある。車両を含む撮像領域を車両の外部から撮像することで取得した撮像画像を用いて車両の位置を推定すると、車両の種別に応じて車格等が異なるため、車両の位置の推定精度が低下する虞があることを本願発明者らは見出した。

【課題を解決するための手段】

【0005】

本開示は、以下の形態として実現することが可能である。

【0006】

（１）本開示の第１形態によれば、位置推定装置が提供される。車両の位置を推定する位置推定装置は、前記車両を含む撮像画像を撮像装置から取得する取得部と、前記撮像画像を用いて、画像座標系における前記車両の前記位置を示す画像座標点を算出する位置算出部と、前記撮像画像に含まれる前記車両の種別を特定する車種特定部と、グローバル座標系における前記撮像装置の位置を基に算出される撮像パラメータと、前記車両の前記種別に応じて定まる車両パラメータと、を用いて、前記画像座標点を前記グローバル座標系における前記車両の前記位置を示す車両座標点に変換する位置変換部と、を備える。この形態によれば、撮像画像に含まれる車両の種別を特定して、車両の種別に応じた車両パラメータを取得することができる。そして、車両の種別に応じた車両パラメータを用いて、撮像画像から車両の位置を推定することができる。このようにすると、車両の種別を考慮して車両の位置を推定することができる。これにより、車両の種別に応じて車格等が異なることにより、車両の位置の推定精度が低下することを抑制できる。
（２）上記形態であって、さらに、前記車両座標点を用いて、前記車両の移動方向を示す方向情報を生成する方向情報生成部を備えてもよい。この形態によれば、車両の位置情報を用いて、方向情報を生成することができる。このようにすると、走行中の車両の実際の走行軌跡や移動方向を推定することができる。
（３）上記形態であって、前記位置変換部は、前記画像座標点を前記車両座標点に変換する場合に、前記車両座標点を目的変数とし、前記画像座標点と、前記撮像パラメータと、前記車両パラメータと、を説明変数として含む関係式に、前記取得部によって取得された前記車両パラメータの値を代入してもよい。この形態によれば、車両座標点を目的変数とし、画像座標点と撮像パラメータと車両パラメータとを説明変数として含む関係式に、取得部によって取得された車両パラメータの値を代入することで、画像座標点を車両座標点に変換することができる。
（４）上記形態であって、さらに、前記取得部によって取得された前記車両パラメータと、前記車両パラメータの基準値を示す基準パラメータと、の差分を算出することで、前記基準パラメータに対する補正値を示す補正パラメータであって、前記車種特定部によって特定された前記車両の前記種別に応じて定まる補正パラメータを設定する補正値設定部を備え、前記位置変換部は、前記画像座標点を前記車両座標点に変換する場合に、前記車両座標点を目的変数とし、前記画像座標点と、前記撮像パラメータと、前記基準パラメータと、前記補正パラメータと、を説明変数として含む関係式に、前記補正値設定部によって設定された前記補正パラメータを代入してもよい。この形態によれば、撮像画像に含まれる車両の種別を特定して、車両の種別に応じた補正パラメータを算出することができる。そして、車両座標点を目的変数とし、画像座標点と撮像パラメータと基準パラメータと補正パラメータとを説明変数として含む関係式に、補正値設定部によって設定された補正パラメータを代入することで、画像座標点を車両座標点に変換することができる。
（５）上記形態であって、さらに、前記補正値設定部は、前記車種特定部によって特定された前記車両の前記種別が予め定められた種別である場合に、前記差分を算出することなく、前記補正パラメータをゼロに設定してもよい。この形態によれば、車種特定部によって特定された車両の種別が予め定められた種別である場合に、基準パラメータと車両パラメータとの差分を算出することなく、補正パラメータをゼロに設定することができる。
（６）上記形態であって、前記撮像パラメータは、前記グローバル座標系における前記撮像装置の前記位置を基に算出される前記撮像装置の路面からの高さであり、前記車両パラメータは、前記車両の予め定められた測位点の前記路面からの高さであってもよい。この形態によれば、撮像装置の路面からの高さと、車両の測位点の路面からの高さと、の比率を用いて、画像座標点を車両座標点に変換することができる。
（７）上記形態であって、前記位置算出部は、前記撮像画像中の前記車両をマスクしたマスク領域が付加された第１マスク画像を生成する検出部と、前記第１マスク画像を透視変換する透視変換部と、座標点算出部であって、前記第１マスク画像中の前記マスク領域に設定した第１外接矩形の指定された頂点を第１座標点とし、前記第１マスク画像を透視変換した第２マスク画像中の前記マスク領域に設定した第２外接矩形の頂点のうち、前記第１座標点と同一の位置を示す頂点を第２座標点とし、前記第２座標点を用いて前記第１座標点を補正する座標点算出部と、を備えてもよい。この形態によれば、撮像画像中の車両をマスクしたマスク領域が付加された第１マスク画像と、第１マスク画像を透視変換した第２マスク画像と、を生成することができる。このようにすると、第１マスク画像から第１座標点を抽出し、第２マスク画像から第２座標点を抽出することができる。そして、第２座標点を用いて、第１座標点を補正することで、画像座標点を算出することができる。これにより、画像座標点をより正確に算出することができる。
（８）上記形態であって、前記位置算出部は、さらに、前記車両の移動方向が予め定められた方向を向くように前記撮像画像を回転させる回転処理部を備えてもよい。この形態によれば、撮像画像を、車両の移動方向を示すベクトルの方向が予め定められた方向を向くように回転させることができる。このようにすると、車両の移動方向を示すベクトルの方向を統一した状態で、撮像画像に含まれる車両を検出することができる。これにより、車両の位置の推定精度を向上させることができる。
（９）上記形態であって、前記位置算出部は、さらに、前記撮像画像の歪みを修正する歪み修正部を備えてもよい。この形態によれば、撮像画像の歪みを修正することができる。これにより、車両の位置の推定精度をさらに向上させることができる。
（１０）本開示の第２形態によれば、位置推定システムが提供される。車両の位置を推定する位置推定システムは、車両と、位置推定の対象となる前記車両を含む撮像画像を取得する撮像装置と、上記形態に記載の位置推定装置と、を備える。この形態によれば、撮像画像に含まれる車両の種別を特定して、車両の種別に応じた車両パラメータを取得することができる。そして、車両の種別に応じた車両パラメータを用いて、撮像画像から車両の位置を推定することができる。このようにすると、車両の種別を考慮して車両の位置を推定することができる。これにより、車両の種別に応じて車格等が異なることにより、車両の位置の推定精度が低下することを抑制できる。
（１１）本開示の第３形態によれば、位置推定方法が提供される。車両の位置を推定する位置推定方法は、前記車両を含む撮像画像を撮像装置から取得する取得工程と、前記撮像画像を用いて、画像座標系における前記車両の前記位置を示す画像座標点を算出する位置算出工程と、前記撮像画像に含まれる前記車両の種別を特定する車両種別特定工程と、グローバル座標系における前記撮像装置の位置を基に算出される撮像パラメータと、前記車両の前記種別に応じて定まる車両パラメータと、を用いて、前記画像座標点を前記グローバル座標系における前記車両の前記位置を示す車両座標点に変換する位置変換工程と、を備える。この形態によれば、撮像画像に含まれる車両の種別を特定して、車両の種別に応じた車両パラメータを取得することができる。そして、車両の種別に応じた車両パラメータを用いて、撮像画像から車両の位置を推定することができる。このようにすると、車両の種別を考慮して車両の位置を推定することができる。これにより、車両の種別に応じて車格等が異なることにより、車両の位置の推定精度が低下することを抑制できる。
（１２）本開示の第４形態によれば、コンピュータプログラムが提供される。車両の位置を推定するために用いられるコンピュータプログラムは、前記車両を含む撮像画像を撮像装置から取得する取得機能と、前記撮像画像を用いて、画像座標系における前記車両の前記位置を示す画像座標点を算出する位置算出機能と、前記撮像画像に含まれる前記車両の種別を特定する車両種別特定機能と、グローバル座標系における前記撮像装置の位置を基に算出される撮像パラメータと、前記車両の前記種別に応じて定まる車両パラメータと、を用いて、前記画像座標点を前記グローバル座標系における前記車両の前記位置を示す車両座標点に変換する位置変換機能と、を備える。この形態によれば、撮像画像に含まれる車両の種別を特定して、車両の種別に応じた車両パラメータを取得することができる。そして、車両の種別に応じた車両パラメータを用いて、撮像画像から車両の位置を推定することができる。このようにすると、車両の種別を考慮して車両の位置を推定することができる。これにより、車両の種別に応じて車格等が異なることにより、車両の位置の推定精度が低下することを抑制できる。
本開示は、上記の位置推定装置、位置推定システム、位置推定方法、コンピュータプログラム以外の種々の形態で実現することが可能である。例えば、位置推定装置の製造方法、位置推定装置および位置推定システムの制御方法等の形態で実現することができる。

【図面の簡単な説明】

【0007】

【図1】位置推定システムの概略構成を示す図。

【図2】車両の概略構成を示す図。

【図3】遠隔制御装置の概略構成を示す図。

【図4】位置推定装置の概略構成を示す図。

【図5】第１実施形態における装置ＣＰＵの詳細を示す図。

【図6】第１動作制御方法を示すフローチャート。

【図7】第２動作制御方法を示すフローチャート。

【図8】第１実施形態における車両の位置推定方法を示すフローチャート。

【図9】各種画像の例を示す模式図。

【図10】座標点算出工程の詳細を説明するための図。

【図11】ベース座標点の取得方法を説明するための図。

【図12】第１実施形態における位置変換工程の詳細を説明するための第１図。

【図13】第１実施形態における位置変換工程の詳細を説明するための第２図。

【図14】第２実施形態における装置ＣＰＵの詳細を示す図。

【図15】第２実施形態における車両の位置推定方法を示すフローチャート。

【図16】第２実施形態における位置変換工程の詳細を説明するための第１図。

【図17】第２実施形態における位置変換工程の詳細を説明するための第２図。

【発明を実施するための形態】

【0008】

Ａ．第１実施形態：
Ａ－１．位置推定システムの構成：
図１は、位置推定システム１の概略構成を示す図である。位置推定システム１は、車両１０の位置を推定するシステムである。位置推定システム１は、１台以上の車両１０と、撮像装置９と、車両１０の位置を推定する位置推定装置７と、を備える。

【0009】

撮像装置９は、位置推定の対象となる車両１０を含む撮像領域ＲＧを車両１０の外部から撮像することで、撮像画像を取得する。撮像装置９は、撮像画像を、複数の撮像装置９を識別するカメラ識別情報（カメラＩＤ）および撮像画像の取得タイミングと共に、位置推定装置７に送信する。位置推定装置７に送信された撮像画像は、車両１０の位置を推定するために用いられる。撮像画像は、カメラ座標系のＸｃＹｃ平面に配置された画素が集合した２次元画像である。カメラ座標系は、撮像装置９の焦点を原点とし、Ｘｃ軸と、Ｘｃ軸に直交するＹｃ軸と、で示された座標軸を有する座標系である。撮像画像は、少なくとも位置推定の対象となる車両１０の２次元データを含む。撮像画像は、カラー画像が好ましいが、グレー画像であってもよい。撮像装置９は、例えば、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等の撮像素子と光学系とを有するインフラカメラである。

【0010】

本実施形態では、撮像装置９は、路面６０と、路面６０を走行する車両１０と、を上方から俯瞰する撮像画像を取得する。撮像装置９の設置位置および設置数は、１台以上の撮像装置９によって路面６０全体を撮像するために、撮像装置９の撮像領域ＲＧ（画角）等を考慮して決定される。具体的には、隣接する第１撮像装置９０１の撮像領域ＲＧである第１撮像領域ＲＧ１と、第２撮像装置９０２の撮像領域ＲＧである第２撮像領域ＲＧ２と、が重複するように、各撮像装置９が設置される。さらに、各撮像装置９は、路面６０を走行する車両１０の特定の部分に対して予め設定された測位点１０ｅを撮像可能な位置に設置される。本実施形態では、測位点１０ｅは、車両１０の左側面における後端（以下、左後端）である。なお、測位点１０ｅは、車両１０の左後端以外であってもよい。また、撮像装置９は、車両１０の上方からの情報に限らず、車両１０の前方、後方、側方等の情報を取得してもよい。なお、撮像装置９は、撮像画像を遠隔制御装置５に送信してもよい。

【0011】

車両１０は、有人運転モードと、遠隔自動運転モードと、を有する。有人運転モードは、車両１０に乗車した運転者が、車両１０に設けられたハンドルやアクセル等の運転者入力装置（図示せず）を操作することにより、車両１０の走行条件を決定して走行する運転モードである。ここで言う走行条件は、車両１０の走行動作を規定する条件である。走行条件には、例えば、車両１０の走行ルート、位置、走行速度、加速度、車輪の舵角が含まれる。遠隔自動運転モードは、車両１０の走行条件を車両１０の外部から車両１０が受信することにより、運転者が車両１０に乗車することなく自動走行する運転モードである。遠隔自動運転モードで走行する場合、車両１０は、車両１０とは異なる場所に設けられたサーバ等の遠隔制御装置５から受信した制御値に応じて、車両１０に搭載された後述の駆動装置等の動作を制御することで自動走行する。本実施形態では、車両１０は、複数の生産工程を実行することで車両１０を生産する工場内を遠隔自動運転モードによって走行する。なお、工場は、１つの建物内に存在する場合や、１箇所の敷地や住所に存在する場合等に限定されず、複数の建物、複数の敷地、複数の住所等に亘って存在していてもよい。このとき、車両１０は、私道に限らず、公道を走行してもよい。また、位置推定システム１は、工場外を走行する車両１０の位置を推定してもよい。

【0012】

車両１０は、例えば、電気自動車やハイブリッド車、燃料電池車、ガソリン車、ディーゼル車である。車両１０は、乗用車等の自家用自動車であってもよく、トラック、バス、工事用車両等の事業用自動車であってもよい。車両１０は、製品として完成した車両１０と、半製品・仕掛品としての車両１０と、の両者を含む。

【0013】

図２は、車両１０の概略構成を示す図である。図２では、車両１０の構成の一部を代表して図示している。車両１０は、駆動装置１１と、操舵装置１２と、制動装置１３と、外部センサ１６０を有する外部センサ群１６と、内部センサ１７０を有する内部センサ群１７と、車両制御装置２と、を備える。

【0014】

駆動装置１１は、車両１０を加速させる。例えば、車両１０が電気自動車である場合、駆動装置１１は、バッテリ（図示せず）と、バッテリの電力により駆動するモータ（図示せず）と、モータにより回転する車輪（図示せず）と、を備える。

【0015】

操舵装置１２は、車両１０の進行方向を変更する。操舵装置１２は、ステアリングホイール（図示せず）の操舵角と車輪（図示せず）の目標舵角とが一致するように、遠隔制御装置５から受信した制御値に従って、ステアリングシャフト（図示せず）を操舵モータ（図示せず）によるトルクにより回転させる。これにより、操舵装置１２は、遠隔自動運転モードにおいて、ステアリング操作によることなく、車輪を転舵させる。

【0016】

制動装置１３は、車両１０を減速させる。制動装置１３は、例えば、ディスクブレーキ装置である。

【0017】

外部センサ群１６は、複数種類の外部センサ１６０を備える。外部センサ１６０は、車両１０の周辺領域の状態を示す周辺情報を取得するセンサである。外部センサ１６０は、取得したデータを車両制御装置２に送信する。本実施形態では、外部センサ群１６は、外部センサ１６０として、車載カメラ１６１と、レーダ１６２と、ライダ１６３と、を備える。

【0018】

車載カメラ１６１は、車両１０の周辺領域の少なくとも一部を含む範囲を撮像することで、撮像データとしての内部撮像情報を取得する。内部撮像情報は、静止画データであってもよく、動画データであってもよい。また、内部撮像情報は、カラーデータであってもよく、モノクロデータであってもよい。

【0019】

レーダ１６２は、予め定められた探査範囲に探査波（電波）を射出して、車両１０の周辺領域に存在する物体によって反射された反射波を受信することで、車両１０の周辺領域に存在する物体との距離、角度、および相対速度等を検出する。

【0020】

ライダ１６３は、予め定められた測定範囲にレーザ光を照射して、車両１０の周辺領域に存在する物体によって反射された反射光を検出することで、車両１０の周辺領域に存在する物体との距離、角度、および形状等を検出する。なお、外部センサ群１６の構成は、これに限られるものではない。

【0021】

内部センサ群１７は、複数種類の内部センサ１７０を備える。内部センサ１７０は、車両１０の走行動作を制御するために必要な各種物理量を取得するセンサである。内部センサ１７０は、取得したデータを車両制御装置２に送信する。本実施形態では、内部センサ群１７は、内部センサ１７０として、車輪速センサ１７１と、舵角センサ１７２と、を備える。車輪速センサ１７１は、各車輪の回転速度（以下、車輪速）を測定する。舵角センサ１７２は、各車輪の実舵角を測定する。なお、内部センサ群１７の構成は、これに限られるものではない。

【0022】

車両制御装置２は、車両制御装置２の通信部としての車両通信部２１と、車両制御装置２の記憶部としての車両記憶部２３と、車両制御装置２の中央演算装置としての車両ＣＰＵ２２と、を備える。車両通信部２１と車両記憶部２３と車両ＣＰＵ２２とは、内部バスやインターフェイス回路を介して互いに接続されている。

【0023】

車両通信部２１は、内部機器や外部機器と車両制御装置２とを通信可能に接続する。内部機器は、内部センサ１７０や外部センサ１６０等の車両１０に搭載された機器であり、車両制御装置２と通信可能な機器である。外部機器は、遠隔制御装置５や撮像装置９等の車両１０とは異なる場所に設けられた機器である。車両通信部２１は、例えば、無線通信装置である。車両通信部２１は、例えば、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）通信により、内部機器と通信する。ＣＡＮ通信は、多方向に送信または受信を行うことができる通信規格である。また、車両通信部２１は、例えば、工場内のアクセスポイント（図示せず）を介して、ネットワークＮに接続された遠隔制御装置５や撮像装置９等の外部機器と通信する。なお、車両通信部２１は、他の車両１０の車両制御装置２と通信してもよい。車両通信部２１による通信方法は、これに限られるものではない。

【0024】

車両記憶部２３は、車両１０の走行動作を制御する各種プログラムを含む各種情報を記憶する。車両記憶部２３は、例えば、ＲＡＭやＲＯＭ、ハードディスクドライブ（ＨＤＤ）を含む。

【0025】

車両ＣＰＵ２２は、車両記憶部２３に記憶された各種プログラムを展開することで、車速算出部２２１と、車両取得部２２２と、車両送信部２２３と、動作制御部２２４として機能する。

【0026】

車速算出部２２１は、車輪速センサ１７１の出力値を用いて、車両１０の走行速度（以下、車速）を算出する。車速算出部２２１は、例えば、各車輪の車輪速を平均化する等の演算処理を行った後に、単位時間当たりの車輪速を基に、車速を算出する。なお、車速の算出方法は、これに限られるものではない。また、車速算出部２２１の少なくとも一部の機能は、車輪速センサ１７１や遠隔制御装置５によって実行されてもよい。

【0027】

車両取得部２２２は、内部センサ１７０および外部センサ１６０によって取得された情報の少なくとも一部と、車速算出部２２１によって算出された車速と、を含む情報（以下、車両センサ情報）を取得する。

【0028】

車両送信部２２３は、各種情報を外部機器に送信する。車両送信部２２３は、例えば、車両センサ情報を、複数の車両１０を識別する車両識別情報と共に遠隔制御装置５に送信する。

【0029】

動作制御部２２４は、遠隔制御装置５から送信された制御値を受信して、受信した制御値に応じて、駆動装置１１や操舵装置１２、制動装置１３を駆動させる。これにより、動作制御部２２４は、遠隔制御装置５からの指示に応じて、車両１０の走行動作を制御する。なお、車両ＣＰＵ２２の少なくとも一部の機能は、遠隔制御装置５や撮像装置９の一機能として実現されてもよい。

【0030】

図３は、遠隔制御装置５の概略構成を示す図である。遠隔制御装置５は、遠隔制御装置５の通信部としての遠隔通信部５１と、遠隔制御装置５の記憶部としての遠隔記憶部５３と、遠隔制御装置５の中央演算装置としての遠隔ＣＰＵ５２と、を備える。遠隔通信部５１と遠隔記憶部５３と遠隔ＣＰＵ５２とは、内部バスやインターフェイス回路を介して互いに接続されている。

【0031】

遠隔通信部５１は、車両制御装置２、位置推定装置７、および撮像装置９と、遠隔制御装置５と、を通信可能に接続する。遠隔通信部５１は、例えば、無線通信装置である。なお、遠隔通信部５１による通信方法は、これに限られるものではない。

【0032】

遠隔記憶部５３は、遠隔制御装置５の動作を制御する各種プログラムを含む各種情報を記憶する。遠隔記憶部５３は、例えば、ＲＡＭやＲＯＭ、ハードディスクドライブ（ＨＤＤ）を含む。

【0033】

遠隔ＣＰＵ５２は、遠隔記憶部５３に記憶された各種プログラムを展開することで、遠隔取得部５２１と、制御値作成部５２２と、遠隔送信部５２３として機能する。

【0034】

遠隔取得部５２１は、車両１０の走行条件に関する情報（以下、走行情報）を取得する。走行情報は、例えば、撮像装置９から送信される撮像画像、位置推定装置７から送信される車両１０の位置を示す情報としての車両座標点、車両制御装置２から送信される車両センサ情報、遠隔記憶部５３に予め記憶された走行ルート情報を含む。走行ルート情報は、遠隔自動運転モードにより走行する車両１０の目標走行ルートを示す情報である。なお、走行情報に含まれる情報の種類は、これに限られるものではない。

【0035】

制御値作成部５２２は、遠隔取得部５２１によって取得された走行情報を用いて、車両１０の走行動作を規定する制御値を作成する。具体的には、制御値作成部５２２は、車両１０を目標走行ルートに沿って走行させるための制御値（以下、基準制御値）を作成する。本実施形態では、基準制御値は、車両１０の前進方向の加速度を規定する制御値（以下、加速度制御値）と、車両１０の舵角を規定する制御値（以下、舵角制御値）と、を含む。基準制御値は、前進方向と、前進方向とは反対方向の後退方向と、のいずれかに車両１０の進行方向を切り替えるための制御値（以下、方向制御値）を含んでもよい。なお、他の実施形態では、基準制御値には、目標走行ルートのみが含まれていてもよい。この場合、車両制御装置２の動作制御部２２４は、基準制御値に含まれる目標走行ルートに関する情報を基に、車両１０の加速度や舵角、進行方向等を決定して、駆動装置１１や操舵装置１２、制動装置１３を駆動させる。

【0036】

さらに、制御値作成部５２２は、目標走行ルートに車両１０の相対位置を修正する制御値（以下、修正制御値）を作成する。具体的には、制御値作成部５２２は、例えば、異なる撮像領域ＲＧにより撮像された複数の撮像画像を時系列順序に並べることで、車両１０の実際の走行軌跡を算出する。そして、制御値作成部５２２は、目標走行ルートと、車両１０の実際の走行軌跡と、を比較して、目標走行ルートに対する走行軌跡の差分を算出する。さらに、制御値作成部５２２は、目標走行ルートと車両１０の実際の走行軌跡との差分を低減するように、撮像画像を解析しながら、目標走行ルートを実現するための修正制御値を作成する。本実施形態では、修正制御値は、少なくとも舵角制御値を含む。修正制御値は、方向制御値を含んでもよい。なお、他の実施形態では、修正制御値には、補正走行ルートのみが含まれていてもよい。補正走行ルートは、車両１０の相対位置を目標走行ルート上に修正するために、車両１０が走行すべき走行ルートを示す情報である。この場合、車両制御装置２の動作制御部２２４は、修正制御値に含まれる補正走行ルートに関する情報を基に、車両１０の加速度や舵角、進行方向等を決定して、駆動装置１１や操舵装置１２、制動装置１３を駆動させる。

【0037】

遠隔送信部５２３は、制御値作成部５２２によって作成された制御値を、走行動作を制御する対象となる車両１０に送信する。なお、遠隔送信部５２３は、位置推定装置７や撮像装置９を介して、車両１０に制御値を送信してもよい。遠隔送信部５２３が撮像装置９を介して車両１０に制御値を送信する場合、遠隔送信部５２３は、制御値を撮像装置９に送信する。そして、撮像装置９は、遠隔制御装置５から受信した制御値を車両１０に送信する。このようにすると、車両１０は、車両１０との距離がより近い撮像装置９から制御値を受信することができる。これにより、通信障害の影響を受けにくくすることができる。そのため、遠隔自動運転モードで走行中の車両１０が通信障害によって停止する可能性を低減することができる。遠隔ＣＰＵ５２の少なくとも一部の機能は、車両制御装置２や撮像装置９の一機能として実現されてもよい。

【0038】

図４は、位置推定装置７の概略構成を示す図である。位置推定装置７は、車両１０の予め定められた測位点１０ｅ（図１）の位置を車両１０の位置として採用する。位置推定装置７は、位置推定装置７の通信部としての装置通信部７１と、位置推定装置７の記憶部としての装置記憶部７３と、位置推定装置７の中央演算装置としての装置ＣＰＵ７２と、を備える。装置通信部７１と装置記憶部７３と装置ＣＰＵ７２とは、内部バスやインターフェイス回路を介して互いに接続されている。なお、位置推定装置７は、ユーザに対して各種情報を表示する表示装置（図示せず）を備えてもよい。表示装置は、例えば、液晶ディスプレイや有機ＥＬディスプレイである。

【0039】

装置通信部７１は、車両制御装置２、遠隔制御装置５、および撮像装置９と、位置推定装置７と、を通信可能に接続する。装置通信部７１は、例えば、無線通信装置である。なお、装置通信部７１による通信方法は、これに限られるものではない。

【0040】

装置記憶部７３は、位置推定装置７の動作を制御する各種プログラムと、位置検出モデルＭｄ１と、車種特定モデルＭｄ２と、歪み修正パラメータＰａ１と、透視変換パラメータＰａ２と、を含む各種情報を記憶する。さらに、装置記憶部７３は、車両データベースＤ１と、カメラデータベースＤ２と、を記憶する。装置記憶部７３は、例えば、ＲＡＭやＲＯＭ、ハードディスクドライブ（ＨＤＤ）を含む。

【0041】

位置検出モデルＭｄ１は、撮像画像に含まれる車両１０の位置を特定するために用いられる学習済みの機械学習モデルである。本実施形態では、位置検出モデルＭｄ１は、撮像画像や撮像画像に各種処理を施した各種画像を入力することで、入力された画像中の車両１０をマスクするように予め機械学習された機械学習モデルである。位置検出モデルＭｄ１のアルゴリズムとしては、例えば、セマンティックセグメンテーションやインスタンスセグメンテーションを実現する畳み込みニューラルネットワーク（以下、ＣＮＮ）の構造を有するディープニューラルネットワーク（以下、ＤＮＮ）が用いられる。位置検出モデルＭｄ１のアルゴリズムとして用いられるＤＮＮの一例として、ＹＯＬＡＣＴ＋＋等のインスタンスセグメンテーションを行うＤＮＮが挙げられる。なお、位置検出モデルＭｄ１の構成は、これに限られるものではない。位置検出モデルＭｄ１は、例えば、ニューラルネットワーク以外のアルゴリズムが用いられる学習済みの機械学習モデルであってもよい。

【0042】

車種特定モデルＭｄ２は、撮像画像に含まれる車両１０の種別を特定するために用いられる学習済みの機械学習モデルである。ここで言う車両１０の種別とは、例えば、車名や型式によって分類される車両１０の種類を意味する。車種特定モデルＭｄ２は、撮像画像や撮像画像に各種処理を施した各種画像を入力することで、入力された画像中の車両１０の種別を示す情報を出力するように予め機械学習された機械学習モデルである。車種特定モデルＭｄ２は、車両１０の種別を特定するために、車両１０の種別に応じた特徴量を学習している。車両１０の種別に応じた特徴量は、例えば、車両１０の形状や、車両１０の全長と車幅と車高とによって定まる車格である。本実施形態では、車種特定モデルＭｄ２は、入力された画像中の車両１０の種別を示す情報として、車種識別情報を出力する。車種識別情報は、複数種類の車両１０の種別を識別するために、種別間で重複しないように各種別に割り振られた固有のＩＤ（識別子）である。車種特定モデルＭｄ２のアルゴリズムとしては、例えば、ＣＮＮが用いられる。なお、車種特定モデルＭｄ２の構成は、これに限られるものではない。車種特定モデルＭｄ２は、例えば、ニューラルネットワーク以外のアルゴリズムが用いられる学習済みの機械学習モデルであってもよい。

【0043】

歪み修正パラメータＰａ１は、撮像画像の歪みを修正するときに用いられるパラメータである。透視変換パラメータＰａ２は、第１マスク画像を透視変換するときに用いられるパラメータである。修正パラメータＰａ１および透視変換パラメータＰａ２の詳細は、後述する。

【0044】

車両データベースＤ１は、車両パラメータを車両１０の種別ごとに示す情報である。車両パラメータは、車両１０の種別に応じて定まるパラメータである。車両パラメータは、例えば、車両１０の走路における基準地点（例えば、路面６０や道路境界）から車両１０の測位点１０ｅまでの距離に関するパラメータである。本実施形態では、車両データベースＤ１は、車種識別情報と、車種識別情報によって特定される種別の車両１０についての車両パラメータと、を紐付けたデータベースである。

【0045】

カメラデータベースＤ２は、グローバル座標系における撮像装置９の位置を基に算出される撮像パラメータを、撮像装置９ごとに示す情報である。本実施形態では、カメラデータベースＤ２は、カメラ識別情報と、カメラ識別情報によって特定される撮像装置９についての撮像パラメータと、を紐付けたデータベースである。撮像パラメータは、グローバル座標系における撮像装置９の位置を基に算出される。なお、装置記憶部７３に記憶されている各種情報の少なくとも一部は、他の装置の記憶部（例えば、車両記憶部２３、遠隔記憶部５３、撮像装置９の記憶部）に記憶されていてもよい。

【0046】

図５は、第１実施形態における装置ＣＰＵ７２の詳細を示す図である。装置ＣＰＵ７２は、装置記憶部７３に記憶された各種プログラムを展開することで、装置取得部７２１と、位置算出部７２２として機能する。さらに、装置ＣＰＵ７２は、装置記憶部７３に記憶された各種プログラムを展開することで、車種特定部７２３と、位置変換部７２４と、装置送信部７２５として機能する。

【0047】

装置取得部７２１は、各種情報を取得する。例えば、装置取得部７２１は、車両１０を含む撮像画像Ｉｍ１を撮像装置９から取得する。装置取得部７２１は、装置記憶部７３に予め記憶された車両データベースＤ１を参照することで、車種特定部７２３によって特定された車両１０の種別に応じた車両パラメータを取得する。装置取得部７２１は、装置記憶部７３に予め記憶されたカメラデータベースＤ２を参照することで、解析対象の撮像画像の取得元である撮像装置９についての撮像パラメータを取得する。なお、装置取得部７２１が取得する情報の種類は、これに限られるものではない。

【0048】

位置算出部７２２は、撮像画像を用いて、画像座標点を算出する。画像座標点は、後述の画像座標系における車両１０の位置を示す座標点である。位置算出部７２２は、歪み修正部７２２ａと、回転処理部７２２ｂと、クロップ処理部７２２ｃと、検出部７２２ｄと、透視変換部７２２ｅと、座標点算出部７２２ｆと、を備える。

【0049】

歪み修正部７２２ａは、撮像画像の歪みを修正した修正画像を生成する。回転処理部７２２ｂは、車両１０の移動方向を示すベクトル（以下、移動ベクトル）の方向が予め定められた方向を向くように、修正画像を回転させた回転画像を生成する。クロップ処理部７２２ｃは、回転画像の各領域のうち、車両１０に相当する車両領域および車両１０の予め定められた周辺領域（以下、必要領域）以外の領域（以下、不要領域）を回転画像から削除することで、車両領域と周辺領域とを含む必要領域を切り出した処理後画像を生成する。本実施形態では、クロップ処理部７２２ｃは、車両１０が予め定められた閾値を超える距離を移動した場合に、車両１０が移動した距離に応じた移動済領域であって、不要領域としての移動済領域を回転画像から削除する。これにより、クロップ処理部７２２ｃは、回転画像から車両１０を含む未移動領域であって、必要領域としての未移動領域を切り出した処理後画像を生成する。検出部７２２ｄは、位置検出モデルＭｄ１を用いて、処理後画像に含まれる車両１０を検出して、処理後画像中の車両１０をマスクしたマスク領域が付加された第１マスク画像を生成する。透視変換部７２２ｅは、第１マスク画像を透視変換した第２マスク画像を生成する。座標点算出部７２２ｆは、第２座標点を用いて第１座標点を補正して画像座標点を算出する。第１座標点は、第１マスク画像中のマスク領域に設定した第１外接矩形の指定された頂点の画像座標系における座標点である。第２座標点は、第２マスク画像中のマスク領域に設定した第２外接矩形の頂点のうち、第１座標点と同一の位置を示す頂点の画像座標系における座標点である。なお、位置算出部７２２の構成は、これに限られるものではない。

【0050】

車種特定部７２３は、撮像画像に含まれる車両１０の種別を特定する。本実施形態では、車種特定部７２３は、車種特定モデルＭｄ２を用いて、車両１０の種別を特定する。

【0051】

位置変換部７２４は、装置取得部７２１によって取得された撮像パラメータおよび車両パラメータを用いて、画像座標点を車両座標点に変換する。車両座標点は、グローバル座標系における車両１０の位置を示す座標点である。つまり、位置変換部７２４は、装置取得部７２１によって取得された撮像画像を取得した撮像装置９についての撮像パラメータと、車種特定部７２３によって特定された種別の車両１０についての車両パラメータと、を用いて、車両座標点を算出する。

【0052】

装置送信部７２５は、車両座標点を、車両１０の位置を示す情報として遠隔制御装置５に送信する。なお、装置送信部７２５は、車両座標点以外の各種情報を遠隔制御装置５に送信してもよい。また、装置送信部７２５は、車両制御装置２に各種情報を送信してもよい。装置ＣＰＵ７２の少なくとも一部の機能は、遠隔制御装置５や車両制御装置２、撮像装置９の一機能として実現されてもよい。

【0053】

Ａ－２．車両の動作制御方法：
図６は、第１動作制御方法を示すフローチャートである。第１動作制御方法は、遠隔自動運転モードによる車両１０の走行を開始させるために、車両１０の走行動作を制御する方法である。

【0054】

遠隔自動運転モードでの走行を開始するための走行開始準備が完了した場合に（ステップＳ１０１：Ｙｅｓ）、車両１０の車両送信部２２３は、準備完了信号を遠隔制御装置５に送信する（ステップＳ１０２）。

【0055】

遠隔制御装置５の遠隔取得部５２１が準備完了信号を受信した場合に（ステップＳ１０３：Ｙｅｓ）、遠隔取得部５２１は、走行情報を取得する（ステップＳ１０４）。このとき、走行情報には、目標走行ルートを示す走行ルート情報が少なくとも含まれる。ステップＳ１０４の後に、制御値作成部５２２は、走行情報を用いて、基準制御値を作成する（ステップＳ１０５）。ステップＳ１０５の後に、遠隔送信部５２３は、制御値作成部５２２によって作成された基準制御値を車両１０に送信する（ステップＳ１０６）。

【0056】

車両１０の動作制御部２２４が基準制御値を受信した場合に（ステップＳ１０７：Ｙｅｓ）、動作制御部２２４は、車両１０の走行ルートを目標走行ルートに設定して、遠隔自動運転モードによる走行を開始する（ステップＳ１０８）。つまり、車両１０が目標走行ルートに沿って走行するように、動作制御部２２４は、車両１０に搭載された駆動装置１１や操舵装置１２、制動装置１３を駆動させる。

【0057】

図７は、第２動作制御方法を示すフローチャートである。第２動作制御方法は、遠隔自動運転モードにより走行している車両１０の走行ルートを修正する方法である。第２動作制御方法は、図６に示す第１動作制御方法が終了した後に実行される。

【0058】

図７に示すように、予め定められた修正タイミングとなった場合に（ステップＳ２０１：Ｙｅｓ）、遠隔制御装置５の遠隔取得部５２１は、走行情報を取得する（ステップＳ２０２）。修正タイミングは、例えば、遠隔自動運転モードによる走行を開始したタイミングからの経過時間が予め定められた時間以上となったタイミングや、前回の修正タイミングから予め定められた時間が経過したタイミングである。このとき、走行情報には、目標走行ルートを示す走行ルート情報と、車両座標点と、が少なくとも含まれる。ステップＳ２０２の後に、制御値作成部５２２は、走行情報を用いて、修正制御値を作成する（ステップＳ２０３）。ステップＳ２０３の後に、遠隔送信部５２３は、制御値作成部５２２によって作成された修正制御値を車両１０に送信する（ステップＳ２０４）。

【0059】

車両１０の動作制御部２２４が修正制御値を受信した場合に（ステップＳ２０５：Ｙｅｓ）、動作制御部２２４は、修正制御値に従って、車両１０の走行ルートを補正走行ルートに修正して、遠隔自動運転モードによる走行を継続する（ステップＳ２０６）。つまり、車両１０が補正走行ルートに沿って走行するように、動作制御部２２４は、車両１０に搭載された駆動装置１１や操舵装置１２、制動装置１３を駆動させる。ステップＳ２０６が完了した場合、ステップＳ２０１に戻り、ステップＳ２０１からステップＳ２０６までの各ステップが繰り返し実行される。

【0060】

Ａ－３．車両の位置推定方法：
図８は、第１実施形態における車両１０の位置推定方法を示すフローチャートである。位置推定方法により推定された車両１０の位置は、走行情報の１つとして遠隔制御装置５に送信され、車両１０の走行動作を制御する制御値を作成するために用いられる。よって、位置推定方法は、例えば、図７に示す第２動作制御方法を開始する前に実行される。つまり、第２動作制御方法のステップＳ２０２において、車両１０の位置を示す車両座標点を走行情報の１つとして位置推定装置７から遠隔制御装置５に提供できるタイミングで、位置推定方法は実行される。

【0061】

図９は、図８に示す位置推定方法を実行したときの各種画像の例を示す模式図である。図９には、図８の各ステップに対応するステップ番号を付している。本実施形態では、車両１０の進行方向と平行なＸｇ軸と、Ｘｇ軸に直交するＹｇ軸と、のそれぞれに沿って網目状の格子線６１が引かれている路面６０を、車両１０が進行方向に沿って移動（走行）する場合を例に挙げて説明する。Ｘｇ軸およびＹｇ軸はそれぞれ、グローバル座標系の座標軸である。なお、他の実施形態では、格子線６１は、省略してもよい。

【0062】

位置推定方法では、まず、画像取得工程（ステップＳ３１）が実行される。画像取得工程は、位置推定の対象となる車両１０を含む撮像画像Ｉｍ１を取得する工程である。画像取得工程において、装置取得部７２１は、撮像装置９によって取得された撮像画像Ｉｍ１を取得する。

【0063】

画像取得工程の次に、位置算出工程（ステップＳ３２）が実行される。位置算出工程は、画像取得工程において取得された撮像画像Ｉｍ１を用いて、画像座標点を算出する工程である。

【0064】

位置算出工程では、まず、歪み修正工程（ステップＳ３２１）が実行される。歪み修正工程は、撮像画像Ｉｍ１の歪みを修正する工程である。歪み修正工程において、歪み修正部７２２ａは、撮像画像Ｉｍ１の歪みを修正することで、修正画像Ｉｍ２を生成する。具体的には、歪み修正部７２２ａは、例えば、装置記憶部７３に予め記憶された歪み修正パラメータＰａ１を用いて、撮像画像Ｉｍ１に対して歪みを修正する。歪み修正パラメータＰａ１は、例えば、キャリブレーションにより得られる格子線６１の位置情報に関わるパラメータである。なお、歪み修正方法は、これに限られるものではない。歪み修正パラメータＰａ１は、格子線６１以外の他の任意のパラメータであってもよい。

【0065】

歪み修正工程の次に、回転処理工程（ステップＳ３２２）が実行される。回転処理工程は、修正画像Ｉｍ２に含まれる車両１０についての移動ベクトルの方向が予め定められた方向を向くように、修正画像Ｉｍ２を回転させる工程である。回転処理工程において、回転処理部７２２ｂは、修正画像Ｉｍ２に含まれる車両１０についての移動ベクトルの方向が予め定められた方向を向くように修正画像Ｉｍ２を回転させる。これにより、回転処理部７２２ｂは、回転画像Ｉｍ３を生成する。具体的には、回転処理部７２２ｂは、例えば、修正画像Ｉｍ２を表示する表示装置（図示せず）の画面上で車両１０の移動ベクトルの方向が上方向を向くように、修正画像Ｉｍ２中の車両１０の重心を回転中心として修正画像Ｉｍ２を回転させる。車両１０の特徴点（重心）の動きは、例えば、オプティカルフロー法によって、移動ベクトルの方向として表すことができる。車両１０の移動ベクトル量や移動ベクトルの方向は、例えば、修正画像Ｉｍ２上に適宜設定される車両１０の特徴点の画像フレーム間における位置の変化に基づいて推定される。なお、回転処理方法は、これに限られるものではない。

【0066】

回転処理工程の次に、クロップ処理工程（ステップＳ３２３）が実行される。クロップ処理工程は、回転画像Ｉｍ３から対象領域を含む処理後画像Ｉｍ４を生成する工程である。本実施形態では、クロップ処理工程において、クロップ処理部７２２ｃは、車両１０が予め定められた閾値を超える距離を移動した場合に、車両１０が移動した距離に応じた移動済領域Ａ２を不要領域として回転画像Ｉｍ３から削除する。これにより、クロップ処理部７２２ｃは、回転画像Ｉｍ３から対象領域として、車両１０を含む未移動領域Ａ１を切り出した処理後画像Ｉｍ４を生成する。このとき、クロップ処理部７２２ｃは、例えば、推定された車両１０の移動ベクトル量により、車両１０が移動した距離を認識することで、移動済領域Ａ２を推定する。なお、位置算出工程において、回転処理工程とクロップ処理工程とは、いずれが先に実行されてもよい。また、クロップ処理方法は、これに限られるものではない。

【0067】

図８に示すように、クロップ処理工程の次に、検出工程（ステップＳ３２４）が実行される。検出工程は、位置検出モデルＭｄ１を用いて、処理後画像Ｉｍ４に含まれる車両１０の外形（輪郭）を検出する工程である。検出工程において、検出部７２２ｄは、位置検出モデルＭｄ１に処理後画像Ｉｍ４を入力する。これにより、図９に示すように、検出部７２２ｄは、処理後画像Ｉｍ４に含まれる車両１０を検出して、処理後画像Ｉｍ４中の車両１０をマスクしたマスク領域Ｍｓが付加された第１マスク画像Ｉｍ５を生成する。なお、車両１０の外形の検出方法は、これに限られるものではない。

【0068】

図８に示すように、検出工程の次に、透視変換工程（ステップＳ３２５）が実行される。透視変換工程は、図９に示す第１マスク画像Ｉｍ５を透視変換する工程である。透視変換工程において、透視変換部７２２ｅは、第１マスク画像Ｉｍ５を透視変換することで、第２マスク画像Ｉｍ６を生成する。具体的には、透視変換部７２２ｅは、例えば、装置記憶部７３に予め記憶された透視変換パラメータＰａ２を用いて、第１マスク画像Ｉｍ５を路面６０に略垂直な車両１０の上方（例えば、車両１０の真上）の視点から見た鳥瞰画像に透視変換する。透視変換パラメータＰａ２は、例えば、キャリブレーションにより得られる撮像装置９の位置情報および内部パラメータに関わるパラメータである。これにより、透視変換部７２２ｅは、カメラ座標系で表された第１マスク画像Ｉｍ５から、画像座標系で表された第２マスク画像Ｉｍ６を生成する。画像座標系は、透視変換によって投影される画像平面の一点を原点とし、Ｘｉ軸と、Ｘｉ軸に直交するＹｉ軸と、で示された座標軸を有する座標系である。なお、透視変換方法は、これに限られるものではない。透視変換パラメータＰａ２は、上記以外の他の任意のパラメータであってもよい。

【0069】

図８に示すように、透視変換工程の次に、座標点算出工程（ステップＳ３２６）が実行される。図１０は、座標点算出工程の詳細を説明するための図である。座標点算出工程は、画像座標点Ｐ３を算出する工程である。

【0070】

座標点算出工程において、座標点算出部７２２ｆは、まず、透視変換前の画像である第１マスク画像Ｉｍ５中のマスク領域Ｍｓに設定した第１外接矩形Ｒ１からベース座標点Ｐ０を取得する。図１１は、ベース座標点Ｐ０の取得方法を説明するための図である。ベース座標点Ｐ０を取得するために、座標点算出部７２２ｆは、まず、第１マスク画像Ｉｍ５中のマスク領域Ｍｓに対してベース外接矩形Ｒ０を設定する。次に、座標点算出部７２２ｆは、第１マスク画像Ｉｍ５中のマスク領域Ｍｓに対応する車両１０の移動ベクトルＶの方向が予め定められた方向を向くように、マスク領域Ｍｓの重心Ｃを回転中心として、第１マスク画像Ｉｍ５を必要な回転量だけ回転させる。予め定められた方向は、例えば、表示装置（図示せず）の画面上における上方向である。次に、座標点算出部７２２ｆは、回転させた第１マスク画像Ｉｍ５のマスク領域Ｍｓに対して、長辺が移動ベクトルＶの方向と平行を成すように、第１外接矩形Ｒ１を設定する。次に、座標点算出部７２２ｆは、マスク領域Ｍｓの重心Ｃを回転中心として、第１外接矩形Ｒ１が付加された第１マスク画像Ｉｍ５を上記回転量だけ逆回転させる。これにより、座標点算出部７２２ｆは、第１外接矩形Ｒ１の４つの頂点のうちの１つであって、車両１０の測位点１０ｅとの距離が最も近い座標を有する頂点の座標点をベース座標点Ｐ０として取得する。そして、図１０に示すように、座標点算出部７２２ｆは、逆回転させた後の第１マスク画像Ｉｍ５、すなわち、ベース座標点Ｐ０を取得した後の第１マスク画像Ｉｍ５に対して透視変換を行う。これにより、座標点算出部７２２ｆは、透視変換により変形した第１外接矩形Ｒ１において、ベース座標点Ｐ０に対応する座標点として第１座標点Ｐ１を取得する。

【0071】

さらに、座標点算出部７２２ｆは、第１マスク画像Ｉｍ５を透視変換した第２マスク画像Ｉｍ６中のマスク領域Ｍｓに対して第２外接矩形Ｒ２を設定する。そして、座標点算出部７２２ｆは、第２外接矩形Ｒ２の頂点のうち、第１座標点Ｐ１と同一の位置を示す頂点を第２座標点Ｐ２として取得する。具体的には、座標点算出部７２２ｆは、第２外接矩形Ｒ２の４つの頂点のうちの１つであって、車両１０の測位点１０ｅとの距離が最も近い座標を有する頂点を第２座標点Ｐ２として取得する。すなわち、第１座標点Ｐ１と第２座標点Ｐ２とは、同一の位置を示す座標点であるため、互いに相関関係を有する。

【0072】

さらに、座標点算出部７２２ｆは、第１座標点Ｐ１の座標値と第２座標点Ｐ２の座標値との大小関係に応じて、第１座標点Ｐ１の座標（Ｘｉ１，Ｙｉ１）を第２座標点Ｐ２の座標（Ｘｉ２，Ｙｉ２）に置き換える補正をする。第１座標点Ｐ１のＸｉ軸方向における座標値Ｘｉ１が第２座標点Ｐ２のＸｉ軸方向における座標値Ｘｉ２よりも大きい場合（Ｘｉ１＞Ｘｉ２）に、座標点算出部７２２ｆは、第１座標点Ｐ１のＸｉ軸方向における座標値Ｘｉ１を第２座標点Ｐ２のＸｉ軸方向における座標値Ｘｉ２に置き換える。第１座標点Ｐ１のＹｉ軸方向における座標値Ｙｉ１が第２座標点Ｐ２のＹｉ軸方向における座標値Ｙｉ２よりも大きい場合（Ｙｉ１＞Ｙｉ２）に、座標点算出部７２２ｆは、第１座標点Ｐ１のＹｉ軸方向における座標値Ｙｉ１を第２座標点Ｐ２のＹｉ軸方向における座標値Ｙｉ２に置き換える。本実施形態では、第１座標点Ｐ１のＸｉ軸方向における座標値Ｘｉ１は、第２座標点Ｐ２のＸｉ軸方向における座標値Ｘｉ２よりも大きい。また、第１座標点Ｐ１のＹｉ軸方向における座標値Ｙｉ１は、第２座標点Ｐ２のＹｉ軸方向における座標値Ｙｉ２よりも小さい。よって、画像座標点Ｐ３は、座標（Ｘｉ２，Ｙｉ１）を有する。このようにして、座標点算出部７２２ｆは、第２座標点Ｐ２を用いて第１座標点Ｐ１を補正することで、画像座標系における車両１０の位置（推定位置）を示す画像座標点Ｐ３を算出する。なお、画像座標点Ｐ３の算出方法は、これに限られるものではない。

【0073】

図８に示すように、位置算出工程の次に、車種特定工程（ステップＳ３３）が実行される。車種特定工程は、撮像画像Ｉｍ１に含まれる車両１０の種別を特定する工程である。車種特定工程において、車種特定部７２３は、車種特定モデルＭｄ２に撮像画像Ｉｍ１を入力する。これにより、車種特定部７２３は、撮像画像Ｉｍ１に含まれる車両１０の種別を示す車種識別情報を取得することで、車両１０の種別を特定する。なお、車両１０の種別の特定方法は、これに限られるものではない。

【0074】

車種特定工程の次に、パラメータ取得工程（ステップＳ３４）が実行される。パラメータ取得工程は、関係式に代入する撮像パラメータおよび車両パラメータを取得する工程である。パラメータ取得工程において、装置取得部７２１は、車両データベースＤ１を参照して、車種特定部７２３によって特定された種別を示す車種識別情報と紐付けられた車両パラメータの値を取得する。本実施形態では、車両１０の種別ごとに、車両１０における測位点１０ｅの路面６０からの高さｈ（後述の図１２）が異なる。よって、本実施形態では、パラメータ取得工程において取得される車両パラメータは、車種特定部７２３によって特定された種別の車両１０における測位点１０ｅの路面６０からの高さｈである。さらに、装置取得部７２１は、カメラデータベースＤ２を参照して、位置推定の対象となる車両１０を含む撮像画像Ｉｍ１と共に受信したカメラ識別情報に紐付けられた撮像パラメータの値を取得する。本実施形態では、車両パラメータと撮像パラメータとの相似関係を用いて画像座標点を車両座標点に変換するために、本実施形態では、パラメータ取得工程において取得される撮像パラメータは、以下の通りである。この場合、撮像パラメータは、位置推定の対象となる車両１０を含む撮像画像Ｉｍ１を取得した撮像装置９の路面６０からの高さＨ（後述の図１２）であって、車両１０が位置する路面６０に対する高さＨである。なお、車両パラメータおよび撮像パラメータの取得方法は、これに限られるものではない。

【0075】

図８に示すように、パラメータ取得工程の次に、位置変換工程（ステップＳ３７）が実行される。位置変換工程は、画像座標点Ｐ３を車両座標点に変換することで、位置推定の対象とする車両１０のグローバル座標系における位置を示す車両座標点を算出する工程である。位置変換工程において、位置変換部７２４は、パラメータ取得工程において取得された車両パラメータと撮像パラメータとを用いて、画像座標点を車両座標点に変換する。本実施形態では、位置変換部７２４は、車両座標点を目的変数とし、画像座標点Ｐ３と、撮像パラメータと、車両パラメータと、を説明変数として含む後述する式（１）～式（３）で表される関係式を用いて、画像座標点Ｐ３を車両座標点に変換する。この場合に、位置変換部７２４は、位置算出部７２２によって算出された画像座標点Ｐ３の座標値を式（１）～式（３）で表される関係式に代入する。位置変換部７２４は、装置取得部７２１によって取得された撮像パラメータの値、すなわち、撮像画像Ｉｍ１を取得した撮像装置９に対応する撮像パラメータの値を、式（１）～式（３）で表される関係式に代入する。さらに、位置変換部７２４は、装置取得部７２１によって取得された車両パラメータの値、すなわち、位置推定の対象とする車両１０の種別に応じた車両パラメータの値を、式（１）～式（３）で表される関係式に代入する。

【0076】

図１２は、第１実施形態における位置変換工程の詳細を説明するための第１図である。図１２では、車両１０を左側面側から見たときの状態を図示している。図１３は、第１実施形態における位置変換工程の詳細を説明するための第２図である。図１３では、車両１０をルーフ側から見たときの状態を図示している。図１２および図１３に示すグローバル座標系は、路面６０の任意の基準位置を示す固定座標点Ｐｆを原点とし、Ｘｇ軸と、Ｘｇ軸と直交するＹｇ軸と、で示された座標軸を有する座標系である。撮像座標点Ｐｃは、画像座標点Ｐ３の算出に用いられた撮像画像Ｉｍ１を取得した撮像装置９の位置であって、グローバル座標系における撮像装置９の位置を示す座標点である。固定座標点Ｐｆおよび撮像座標点Ｐｃは、装置記憶部７３に予め記憶されている。

【0077】

図１２に示すように、撮像装置９の位置と車両１０の位置（画像座標点Ｐ３）とのＸｇＹｇ平面上での観測距離をＤｏとする。観測誤差をΔＤとする。取得された車両パラメータとしての撮像装置９の路面６０からの高さ［ｍ］をＨとする。取得された車両パラメータとしての車両１０の測位点１０ｅの路面６０からの高さ［ｍ］をｈとする。この場合、観測誤差ΔＤは、以下の式（１）で表すことができる。
ΔＤ＝ｈ／Ｈ×Ｄｏ 式（１）
すなわち、観測距離Ｄｏが大きくなるほど観測誤差ΔＤも大きくなる。

【0078】

次に、撮像装置９の位置と車両１０の測位点１０ｅの位置との間の実際の距離（以下、第１実距離）をＤとする場合、第１実距離Ｄは、以下の式（２）で表すことができる。
Ｄ＝Ｄｏ×（１－ｈ／Ｈ） 式（２）
すなわち、第１実距離Ｄは、観測距離Ｄｏ、撮像パラメータとしての撮像装置９の高さＨ、および、車両パラメータとしての車両１０の測位点１０ｅの高さｈによって決まる。

【0079】

そして、図１３に示すように、基準位置と車両１０の推定位置との間の推定距離をＤｐとし、基準位置と車両１０の位置との間の実際の距離（以下、第２実距離）をＤｔとする場合、第２実距離Ｄｔは、以下の式（３）で表すことができる。
Ｄｔ＝Ｄｐ×（１－ｈ／Ｈ） 式（３）

【0080】

ここで、推定距離Ｄｐは、固定座標点Ｐｆおよび撮像座標点Ｐｃから求められる実際の距離（以下、第３実距離Ｄｃ）と、画像座標点Ｐ３と、固定座標点Ｐｆと、を用いて算出することができる。したがって、位置変換部７２４は、上記式（３）を用いて推定距離Ｄｐを補正することにより求められる第２実距離Ｄｔと固定座標点Ｐｆとを用いて、車両座標点Ｐｖを算出することができる。このとき、算出された車両座標点Ｐｖは、グローバル座標系における車両１０の位置を示す座標点であるため、実空間における車両１０の位置に相当する。このように、位置変換部７２４は、式（１）～式（３）で表される関係式に、取得した撮像パラメータの値と車両パラメータの値とを代入することで、画像座標点Ｐ３を車両座標点Ｐｖに変換することができる。なお、車両１０の現在地に応じた適切な制御値を遠隔制御装置５が作成するために、以上に示した車両１０の位置推定方法は、例えば、予め定められた時間ごとに繰り返し実行される。

【0081】

上記第１実施形態によれば、遠隔制御によって車両１０を自動走行させる場合に、車両１０を含む撮像領域ＲＧを車両１０の外部から撮像することで取得した撮像画像Ｉｍ１を用いて、車両１０の位置を推定することができる。このようにすると、車両１０の位置推定に用いるセンサ、マーカ、送受信機等の設置物を車両１０に設置することなく、車両１０の位置を推定することができる。また、位置推定装置７を車両１０に搭載するなく、車両１０の位置を推定することができる。これにより、位置推定装置７の汎用性を高めることができる。

【0082】

また、上記第１実施形態によれば、撮像画像Ｉｍ１を用いて車両１０の位置を推定する場合に、撮像画像Ｉｍ１の歪みを修正することができる。これにより、車両１０の位置の推定精度をさらに向上させることができる。

【0083】

また、上記第１実施形態によれば、撮像画像Ｉｍ１を用いて車両１０の位置を推定する場合に、撮像画像Ｉｍ１を処理することで生成された修正画像Ｉｍ２を、車両１０の移動ベクトルＶの方向が予め定められた方向を向くように回転させることができる。このようにすると、移動ベクトルＶの方向を統一した状態で、撮像画像Ｉｍ１に含まれる車両１０を検出することができる。これにより、車両１０の位置の推定精度をさらに向上させることができる。

【0084】

また、上記第１実施形態によれば、撮像画像Ｉｍ１を処理することで生成された回転画像Ｉｍ３から車両１０を含む必要領域を切り出すクロップ処理の実行により、不要領域を排除した処理後画像Ｉｍ４を生成することができる。このようにすると、検出対象である車両１０以外の要素を画像内から排除した状態で、車両１０を検出することができる。これにより、撮像画像Ｉｍ１に含まれる車両１０を精度よく検出することができるため、車両１０の位置の推定精度をさらに向上させることができる。

【0085】

また、上記第１実施形態によれば、撮像画像Ｉｍ１を処理することで生成された回転画像Ｉｍ３から車両１０を含む未移動領域Ａ１を切り出すクロップ処理工程の実行により、処理後画像Ｉｍ４を生成することができる。このようにすると、クロップ処理工程を実行しない場合と比べて、画像内に占める車両１０の領域を大きくすることができる。これにより、撮像装置９に対してより遠方にある車両１０を検出しやすくできる。そのため、撮像装置９に対してより遠方にある車両１０に対する画像処理の精度をさらに向上させることができる。

【0086】

また、上記第１実施形態によれば、学習済みの機械学習モデルである位置検出モデルＭｄ１に、撮像画像Ｉｍ１を処理することで生成された処理後画像Ｉｍ４を入力することで、車両１０の外形を検出することができる。これにより、処理後画像Ｉｍ４のうちで、車両１０に相当する領域をマスクしたマスク領域Ｍｓが付加された第１マスク画像Ｉｍ５を生成することができる。このとき、上記第１実施形態によれば、位置検出モデルＭｄ１のアルゴリズムとして、セマンティックセグメンテーションやインスタンスセグメンテーションを実現するＣＮＮの構造を有するＤＮＮを用いることができる。これにより、撮像画像Ｉｍ１における背景領域の多様性によって、車両１０の位置の推定精度が低下することを抑制できる。なお、背景領域は、撮像画像Ｉｍ１のうち、車両１０に相当する領域以外の領域である。

【0087】

また、上記第１実施形態によれば、第１マスク画像Ｉｍ５を透視変換した第２マスク画像Ｉｍ６を生成することができる。これにより、カメラ座標系を画像座標系に変換することができる。

【0088】

また、上記第１実施形態によれば、第１マスク画像Ｉｍ５を透視変換する前のマスク領域Ｍｓに対して第１外接矩形Ｒ１を設定することで、第１外接矩形Ｒ１の車両１０の測位点１０ｅに最も近い座標を有する頂点であるベース座標点Ｐ０を算出することができる。そして、ベース座標点Ｐ０を算出した後の第１マスク画像Ｉｍ５を透視変換することで、ベース座標点Ｐ０に対応する座標点である第１座標点Ｐ１を算出することができる。さらに、第１マスク画像Ｉｍ５を透視変換した後のマスク領域Ｍｓに対して第２外接矩形Ｒ２を設定することで、第２外接矩形Ｒ２の車両１０の測位点１０ｅに最も近い座標を有する頂点である第２座標点Ｐ２を算出することができる。そして、第２座標点Ｐ２を用いて第１座標点Ｐ１を補正することで、画像座標点Ｐ３を算出することができる。このように、透視変換前後の座標点を比較補正することで、画像座標点Ｐ３をより正確に算出することができる。これにより、車両１０の位置の推定精度をさらに向上させることができる。

【0089】

また、上記第１実施形態によれば、学習済みの機械学習モデルである車種特定モデルＭｄ２に、撮像画像Ｉｍ１ないし撮像画像Ｉｍ１を処理することで生成された各種画像Ｉｍ２～Ｉｍ４を入力することで、撮像画像Ｉｍ１に含まれる車両１０の種別を特定できる。つまり、機械学習を用いて、車両１０の種別を特定することができる。

【0090】

また、上記第１実施形態によれば、装置記憶部７３に予め記憶された車両データベースＤ１であって、車両１０の各種別と車両パラメータとを紐付けた車両データベースＤ１を参照することで、車両１０の種別に応じた車両パラメータの値を取得することができる。また、装置記憶部７３に予め記憶されたカメラデータベースＤ２であって、各撮像装置９と撮像パラメータとを紐付けたカメラデータベースＤ２を参照することで、撮像画像Ｉｍ１に対応する撮像装置９に関する撮像パラメータの値を取得することができる。

【0091】

また、上記第１実施形態によれば、撮像画像Ｉｍ１を用いて車両１０の位置を推定する場合に、車両１０の種別に応じて定まる車両パラメータを用いて、車両１０の位置を推定することができる。つまり、車両１０の種別を考慮して、車両１０の位置を推定することができる。これにより、車両１０の種別に応じて車格等が異なる場合にも、車両１０の位置の推定精度が低下することを抑制できる。換言すると、撮像画像Ｉｍ１を用いて車両１０の位置を推定する場合に、車両１０の種別に応じて定まる車両パラメータを用いることで、車両１０の位置を精度よく推定することができる。

【0092】

また、上記第１実施形態によれば、車両１０の種別を考慮して、車両１０の位置を推定することができる。これにより、複数の種別の車両１０が遠隔自動運転モードにより走行している場合であっても、車両１０の種別に応じて適切に車両１０の位置を推定することができる。

【0093】

また、上記第１実施形態によれば、画像座標点Ｐ３を車両座標点Ｐｖに変換する場合に、車両座標点Ｐｖを目的変数とし、画像座標点Ｐ３と撮像パラメータと車両パラメータとを説明変数として含む関係式に、車両１０の種別に応じた車両パラメータの値と、撮像画像Ｉｍ１に対応する撮像パラメータの値とを代入する。これにより、画像座標点Ｐ３を車両座標点Ｐｖに変換することができる。

【0094】

また、上記第１実施形態によれば、撮像パラメータは、グローバル座標系における撮像装置９の位置を基に算出される撮像装置９の路面６０からの高さＨである。また、車両パラメータは、車両１０の予め定められた測位点１０ｅの路面６０からの高さｈである。このようにすると、撮像パラメータと車両パラメータとの相似関係により、観測誤差ΔＤを算出することができる。そして、算出した観測誤差ΔＤを用いて、画像座標点Ｐ３を車両座標点Ｐｖに変換することができる。

【0095】

また、上記第１実施形態によれば、ＧＮＳＳ衛生等からのデータを用いることなく、車両１０の位置を推定することができる。これにより、ＧＮＳＳ衛生からのデータが届きにくい屋内等に設けられた路面６０を車両１０が走行する場合であっても、車両１０の位置を推定することができる。

【0096】

Ｂ．第２実施形態：
図１４は、第２実施形態における装置ＣＰＵ７２ａの詳細を示す図である。図１５は、第２実施形態における車両１０の位置推定方法を示すフローチャートである。本実施形態では、画像座標点Ｐ３を車両座標点Ｐｖに変換するときの変換方法が第１実施形態とは異なる。具体的には、本実施形態では、装置ＣＰＵ７２は、さらに、補正値設定部７２６を備える。補正値設定部７２６は、装置取得部７２１によって取得された車両パラメータと基準パラメータとの差分を算出することで、補正パラメータを設定する。そして、位置変換部７２４は、車両座標点Ｐｖを目的変数とし、画像座標点Ｐ３と、撮像パラメータと、基準パラメータと、補正パラメータと、を説明変数として含む後述する式（４）～式（６）で表される関係式を用いて、画像座標点Ｐ３を車両座標点Ｐｖに変換する。基準パラメータは、車両パラメータの基準値を示すパラメータである。基準パラメータは、例えば、予め定められた種別の車両１０の車両パラメータである。基準パラメータは、例えば、装置記憶部７３に予め記憶されている。補正パラメータは、車両１０の種別に応じて定まるパラメータであって、基準パラメータに対する補正値を示すパラメータである。よって、本実施形態では、装置ＣＰＵ７２の機能の一部と、車両１０の位置推定方法の一部とが、第１実施形態とは異なる。他の構成については、第１実施形態と同様である。第１実施形態における各ステップと同一のステップ、および、第１実施形態と同一の構成については、同一の符号を付すと共に説明を省略する。

【0097】

図１５に示すように、パラメータ取得工程の次に、補正値設定工程（ステップＳ３６）が実行される。補正値設定工程において、補正値設定部７２６は、装置取得部７２１によって取得された車両パラメータと基準パラメータとの差分を算出することで、車種特定部７２３によって特定された車両１０の種別に応じて定まる補正パラメータを設定する。補正パラメータが基準パラメータよりも大きい場合、補正パラメータは、正の値である。補正パラメータが基準パラメータよりも小さい場合、補正パラメータは、負の値である。補正パラメータが基準パラメータと同一の場合、補正パラメータは、ゼロである。

【0098】

補正値設定工程の次に、位置変換工程（ステップＳ３８）が実行される。位置変換工程において、位置変換部７２４は、式（４）～式（６）で表される関係式を用いて、画像座標点Ｐ３を車両座標点Ｐｖに変換する。具体的には、位置変換部７２４は、位置算出部７２２によって算出された画像座標点Ｐ３の座標値を式（４）～式（６）で表される関係式に代入する。位置変換部７２４は、装置取得部７２１によって取得された撮像パラメータの値を式（４）～式（６）で表される関係式に代入する。位置変換部７２４は、装置記憶部７３に予め記憶された基準パラメータを式（４）～式（６）で表されるの関係式に代入する。さらに、位置変換部７２４は、補正値設定部７２６によって設定された補正パラメータ、すなわち、位置推定の対象とする車両１０の種別に応じた補正パラメータを式（４）～式（６）で表される関係式に代入する。以下において、本実施形態における位置変換工程の詳細を説明する。

【0099】

図１６は、第２実施形態における位置変換工程の詳細を説明するための第１図である。図１６では、車両１０を左側面側から見たときの状態を図示している。図１７は、第２実施形態における位置変換工程の詳細を説明するための第２図である。図１７では、車両１０をルーフ側から見たときの状態を図示している。

【0100】

図１６に示すように、撮像装置９の位置と車両１０の位置（画像座標点Ｐ３）とのＸｇＹｇ平面上での観測距離をＤｏとする。観測誤差をΔＤとする。取得された撮像パラメータとしての撮像装置９の路面６０からの高さ［ｍ］をＨとする。取得された車両パラメータとして車両１０の測位点１０ｅの路面６０からの高さ［ｍ］をｈとする。基準パラメータをｈｓとする。本実施形態では、基準パラメータｈｓは、予め定められた種別の車両１０の測位点１０ｅの路面６０からの高さ［ｍ］である。補正パラメータをΔｈとする。本実施形態では、補正パラメータΔｈは、基準パラメータとしての高さｈｓと、位置推定の対象とする車両１０の測位点１０ｅの路面６０からの高さｈと、の差分である。この場合、観測誤差ΔＤは、以下の式（４）で表すことができる。
ΔＤ＝（ｈｓ＋Δｈ）／Ｈ×Ｄｏ 式（４）
すなわち、観測距離Ｄｏが大きくなるほど観測誤差ΔＤも大きくなる。

【0101】

次に、撮像装置９の位置と車両１０の測位点１０ｅの位置との間の実際の距離である第１実距離をＤとする場合、第１実距離Ｄは、以下の式（５）で表すことができる。
Ｄ＝Ｄｏ×［｛１－（ｈｓ＋Δｈ）｝／Ｈ］ 式（５）
すなわち、すなわち、第１実距離Ｄは、観測距離Ｄｏ、撮像パラメータとしての撮像装置９の高さＨ、および、補正パラメータΔｈによって決まる。

【0102】

そして、図１７に示すように、基準位置と車両１０の推定位置との間の推定距離をＤｐとし、基準位置と車両１０の位置との間の実際の距離である第２実距離をＤｔとする場合、第２実距離Ｄｔは、以下の式（６）で表すことができる。
Ｄｔ＝Ｄｐ×［｛１－（ｈｓ＋Δｈ）｝／Ｈ］ 式（６）

【0103】

ここで、推定距離Ｄｐは、第１実施形態と同様に、第３実距離Ｄｃと、画像座標点Ｐ３と、固定座標点Ｐｆと、を用いて算出することができる。したがって、位置変換部７２４は、上記式（６）を用いて推定距離Ｄｐを補正することにより求められる第２実距離Ｄｔと固定座標点Ｐｆとを用いて、車両座標点Ｐｖを算出することができる。このように、式（４）～式（６）で表される関係式に、取得した撮像パラメータの値と、設定した補正パラメータΔｈの値とを代入することで、画像座標点Ｐ３を車両座標点Ｐｖに変換することができる。

【0104】

上記第２実施形態によれば、画像座標点Ｐ３を車両座標点Ｐｖに変換する場合に、車両座標点Ｐｖを目的変数とし、画像座標点Ｐ３と撮像パラメータと基準パラメータｈｓと補正パラメータΔｈとを説明変数として含む関係式に、撮像画像Ｉｍ１に対応する撮像パラメータと、車両１０の種別に応じて設定された補正パラメータΔｈと、を代入する。これにより、画像座標点Ｐ３を車両座標点Ｐｖに変換することができる。

【0105】

Ｃ．他の実施形態：
Ｃ－１．他の実施形態１：
他の実施形態では、車種特定部７２３によって特定された車両１０の種別が予め定められた種別である場合に、補正値設定部７２６は、車両パラメータと基準パラメータｈｓとの差分を算出することなく、補正パラメータΔｈをゼロに設定してもよい。予め定められた種別は、例えば、基準パラメータｈｓとの差分が予め定められた閾値未満となる種別である。この場合、車両データベースＤ１は、さらに、車種特定部７２３によって特定された車両１０の種別が、基準パラメータｈｓとの差分が予め定められた閾値未満となる種別であるか否かを判断するための判断情報を含んでもよい。判断情報は、例えば、車種識別情報と、補正要否情報と、を紐付けた情報である。補正要否情報は、基準パラメータｈｓとの差分が予め定められた閾値未満となる種別であるか否かを示す情報である。補正値設定部７２６は、車種特定部７２３によって特定された車両１０の種別を示す車種識別情報に対応する補正要否情報を参照することで、補正パラメータΔｈをゼロにするか否かを判断する。このような形態であれば、位置推定の対象とする車両１０についての車両パラメータと基準パラメータｈｓとの差分が予め定められた閾値未満である場合に、車両１０の種別に応じた補正パラメータΔｈを加味することなく、車両１０の位置を推定することができる。つまり、位置推定の対象とする車両１０についての車両パラメータの値が、基準パラメータｈｓの値と等しい、または、近しい場合に、車両パラメータを補正することなく、車両１０の位置を推定することができる。このようにすると、補正パラメータΔｈを設定する工程における処理内容を簡略化することができる。

【0106】

Ｃ－２．他の実施形態２：
他の実施形態では、位置推定装置７は、装置ＣＰＵ７２の一機能として、さらに、方向情報生成部を備えてもよい。方向情報生成部は、時間をおいて得られた複数の車両座標点Ｐｖを用いて、車両１０の移動方向を示す方向情報を生成する。換言すると、方向情報生成部は、同一の車両１０について、異なるタイミングで取得された複数の車両座標点Ｐｖを用いて、方向情報を生成する。具体的には、方向情報生成部は、例えば、異なる撮像装置９により撮像された複数の撮像画像Ｉｍ１から生成された車両座標点Ｐｖを時系列順序に並べることで、方向情報を生成する。このような形態であれば、車両１０の実際の走行軌跡を算出することができる。また、このような形態であれば、車両１０の進行方向を推定することができる。これにより、例えば、図８および図１５に示す位置推定方法を予め定められた時間ごとに繰り返し実行する場合に、方向情報を用いて、走行中の車両１０の移動方向を推定することができる。

【0107】

Ｃ－３．他の実施形態３：
他の実施形態では、車種特定部７２３は、装置記憶部７３に予め記憶された予定情報を用いて、撮像画像Ｉｍ１に含まれる車両１０の種別を特定してもよい。予定情報は、いずれの種別の車両１０が、いずれの時点において、目標走行ルート上のいずれの位置を走行する予定であるかを示す情報である。予定情報は、例えば、車種識別情報と、撮像位置情報と、タイミング情報と、を紐付けた情報である。撮像位置情報は、カメラ識別情報によって特定される撮像装置９の撮像領域ＲＧを示す情報である。よって、撮像位置情報は、目標走行ルート上における位置範囲を示す情報である。タイミング情報は、車種識別情報によって特定される種別の車両１０が、撮像位置情報によって特定される撮像領域ＲＧ内を走行する予定時刻を示す情報である。なお、予定情報は、これに限られるものではない。工場内で１つの種別の車両１０が複数台連続して生産される場合であって、生産過程において工場内の目標走行ルートを走行する車両１０の位置を推定するために、撮像装置９によって撮像画像Ｉｍ１を取得する場合には、予定情報は、以下の情報であってもよい。この場合、予定情報は、撮像位置情報に代えて、工程位置情報を含んでもよい。工程位置情報は、車両１０の生産過程において実行される複数の生産工程を識別する工程識別情報（工程ＩＤ）によって特定される生産工程を実行する作業場の位置を示す情報である。よって、工程位置情報は、目標走行ルート上における位置範囲を示す情報である。また、予定情報が撮像位置情報に代えて工程位置情報を含む場合、タイミング情報は、車種識別情報によって特定される種別の車両１０に対して、工程識別情報によって特定される生産工程を実行する予定時刻を示す情報である。つまり、この場合において、予定情報は、車両１０の種別ごとの生産計画を示す生産計画情報である。このような形態であれば、予定情報を用いて、撮像画像Ｉｍ１に含まれる車両１０の種別を特定することができる。これにより、画像解析を行うことなく、撮像画像Ｉｍ１に含まれる車両１０の種別を特定することができるため、車種特定工程における車種特定部７２３の処理負荷を低減することができる。

【0108】

Ｃ－４．他の実施形態４：
位置算出工程において、歪み修正工程は、必須の工程ではない。例えば、位置算出工程で、歪み補正工程が実行されることなく、回転処理工程以降の各工程が実行される場合、回転処理部７２２ｂは、以下の処理を実行する。この場合、回転処理工程において、回転処理部７２２ｂは、修正画像Ｉｍ２に代えて、撮像画像Ｉｍ１を回転させる。このような形態であっても、画像座標点Ｐ３を算出することができる。

【0109】

Ｃ－５．他の実施形態５：
位置算出工程において、回転処理工程は、必須の工程ではない。例えば、位置算出工程において、歪み補正工程と回転処理工程とが実行されない場合、クロップ処理部７２２ｃは、以下の処理を実行する。換言すると、位置算出工程において、クロップ処理工程以降の各工程のみが実行される場合、クロップ処理部７２２ｃは、以下の処理を実行する。この場合、クロップ処理部７２２ｃは、回転画像Ｉｍ３に代えて、撮像画像Ｉｍ１に対してクロップ処理を実行する。このような形態であっても、画像座標点Ｐ３を算出することができる。

【0110】

Ｃ－６．他の実施形態６：
位置算出工程において、クロップ処理工程は、必須の工程ではない。例えば、位置算出工程において、歪み補正工程と回転処理工程とクロップ処理工程とが実行されない場合、検出部７２２ｄは、以下の処理を実行する。換言すると、位置算出工程において、検出工程以降の各工程のみが実行される場合、検出部７２２ｄは、以下の処理を実行する。この場合、検出部７２２ｄは、処理後画像Ｉｍ４に代えて、撮像画像Ｉｍ１に含まれる車両１０をマスクすることで、第１マスク画像Ｉｍ５を生成する。このような形態であっても、画像座標点Ｐ３を算出することができる。

【0111】

Ｃ－７．他の実施形態７：
他の実施形態では、撮像画像Ｉｍ１は、複数の車両１０を含んでもよい。この場合、装置ＣＰＵ７２は、例えば、位置推定の対象外である車両１０のマスク領域Ｍｓを第１マスク画像Ｉｍ５から削除する削除部をさらに備えてもよい。削除部は、例えば、検出工程において生成されたマスク領域Ｍｓのうち、認識対象領域外に存在するマスク領域Ｍｓを位置推定の対象外である車両１０のマスク領域Ｍｓであると判断して、第１マスク画像Ｉｍ５から削除する。認識対象領域は、例えば、第１マスク画像Ｉｍ５中で車両１０が移動する所定の領域である。車両１０が移動する所定の領域は、例えば、格子線６１の領域に対応した領域である。認識対象領域は、装置記憶部７３に予め記憶されている。このような形態であれば、撮像画像Ｉｍ１に複数の車両１０が写り込んだ場合に、位置推定の対象外である車両１０の影響を排除することができる。これにより、車両１０の位置の推定精度を向上させることができる。

【0112】

Ｃ－８．他の実施形態８：
他の実施形態では、撮像画像Ｉｍ１は、複数の車両１０を含んでもよい。この場合、位置検出モデルＭｄ１のアルゴリズムとして、ＹＯＬＡＣＴ＋＋等のインスタンスセグメンテーションを行うＤＮＮを用いてもよい。このような形態であれば、撮像画像Ｉｍ１に含まれる複数の車両１０を分類し、車両１０ごとにマスクした第１マスク画像Ｉｍ５を生成することができる。これにより、撮像画像Ｉｍ１に複数の車両１０が含まれる場合に、位置推定の対象とする車両１０を選択して、選択した車両１０についての位置を推定することができる。

【0113】

Ｃ－９．他の実施形態９：
他の実施形態では、撮像画像Ｉｍ１は、複数の車両１０を含んでもよい。この場合、車種特定部７２３は、撮像画像Ｉｍ１に含まれる複数の車両１０を分類可能な車種特定モデルＭｄ２を用いて、位置推定の対象外となる車両１０の種別を特定することなく、位置推定の対象とする車両１０の種別を特定する。このような形態であれば、撮像画像Ｉｍ１に複数の車両１０が含まれる場合であっても、位置推定の対象とする車両１０の種別を特定しすることができる。

【0114】

Ｃ－１０．他の実施形態１０：
他の実施形態では、位置推定装置７は、静止している車両１０の位置を推定してもよい。静止している車両１０の位置を推定する場合、位置推定装置７は、走行中の車両１０の移動ベクトルＶの方向に代えて、例えば、位置推定装置７を起動後に最初に取得された撮像画像Ｉｍ１から推定される車両１０の初期のベクトル方向を用いて、車両１０の位置を推定する。このような形態であれば、車両１０が静止している場合にも、撮像画像Ｉｍ１を用いて、車両１０の位置を推定することができる。

【0115】

Ｃ－１１．他の実施形態１１：
他の実施形態では、位置推定装置７は、撮像装置９としてのステレオカメラやＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）カメラによって撮像される３次元画像を処理対象としてもよい。このような形態であれば、処理対象を拡大できるため、位置推定装置７の汎用性を高めることができる。

【0116】

Ｃ－１２．他の実施形態１２：
他の実施形態では、遠隔制御装置５と位置推定装置７とは一体に構成されていてもよい。また、さらに他の実施形態では、位置推定装置７の各部が、例えば、１以上のコンピュータにより構成されるクラウドコンピューティングにより実現されてもよい。このような形態であれば、位置推定装置７の構成を適宜変更することができる。

【0117】

Ｃ－１３．他の実施形態１３：
他の実施形態では、位置推定装置７は、遠隔手動運転モードにより走行する車両１０の位置を推定してもよい。遠隔手動運転モードは、オペレータ入力装置をオペレータが操作することにより生成された走行条件を車両１０が受信することにより、運転者が車両１０に乗車することなく走行する運転モードである。このような形態であれば、遠隔自動運転モードに限らず、遠隔手動運転モードにより走行する車両１０の位置を推定することができる。これにより、位置推定装置７の汎用性を高めることができる。

【0118】

Ｃ－１４．他の実施形態１４：
他の実施形態では、装置ＣＰＵ７２は、装置取得部７２１の機能を実現する２以上の機能部を備えてもよい。例えば、装置ＣＰＵ７２は、撮像画像Ｉｍ１を取得する画像取得部と、車両パラメータおよび撮像パラメータを取得するパラメータ取得部と、を備えてもよい。このような形態であっても、装置ＣＰＵ７２は、各種情報を必要に応じて取得することができる。

【0119】

Ｃ－１５．他の実施形態１５：
上記実施形態では、車両パラメータは、車両１０の測位点１０ｅの路面６０からの高さｈであった。つまり、上記実施形態では、車両パラメータは、車両１０の高さ方向に沿った路面６０との距離であった。しかし、本開示は、これに限られるものではない。車両パラメータは、例えば、車両１０の走路における基準地点としての道路境界と車両１０の測位点１０ｅとの距離であってもよい。つまり、車両パラメータは、車両１０の幅方向に沿った基準地点との距離であってもよい。このような形態であれば、車両１０の種別に応じて車両１０の幅方向における寸法（以下、車幅）が異なる場合に、車幅に関する値を車両パラメータとして用いて、車両１０の位置を推定することができる。

【0120】

Ｃ－１６．他の実施形態１６：
上記各実施形態において、車両１０は、遠隔制御により移動可能な構成を備えていればよく、例えば、以下に述べる構成を備えるプラットフォームの形態であってもよい。具体的には、車両１０は、遠隔制御により「走る」、「曲がる」、「止まる」の３つの機能を発揮するために、少なくとも、車両制御装置２と駆動装置１１と操舵装置１２と制動装置１３と車両通信部２１とを備えていればよい。すなわち、遠隔制御により移動可能な車両１０は、運転席やダッシュボード等の内装部品の少なくとも一部が装着されていなくてもよく、バンパやフェンダ等の外装部品の少なくとも一部が装着されていなくてもよく、ボディシェルが装着されていなくてもよい。この場合、車両１０が工場から出荷されるまでの間に、ボディシェル等の残りの部品が車両１０に装着されてもよいし、ボディシェル等の残りの部品が車両１０に装着されていない状態で、車両１０が工場から出荷された後にボディシェル等の残りの部品が車両１０に装着されてもよい。なお、プラットフォームの形態に対しても、各実施形態における車両１０と同様にして位置推定がなされ得る。

【0121】

本開示は、上述の実施形態に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態の技術的特徴は、上述の課題の一部又は全部を解決するために、あるいは、上述の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。

【符号の説明】

【0122】

１…位置推定システム、２…車両制御装置、５…遠隔制御装置、７…位置推定装置、９…撮像装置、１０…車両、１０ｅ…測位点、１１…駆動装置、１２…操舵装置、１３…制動装置、１６…外部センサ群、１７…内部センサ群、２１…車両通信部、２２…車両ＣＰＵ、２３…車両記憶部、５１…遠隔通信部、５２…遠隔ＣＰＵ、５３…遠隔記憶部、６０…路面、６１…格子線、７１…装置通信部、７２…装置ＣＰＵ、７２ａ…装置ＣＰＵ、７３…装置記憶部、１６０…外部センサ、１６１…車載カメラ、１６２…レーダ、１６３…ライダ、１７０…内部センサ、１７１…車輪速センサ、１７２…舵角センサ、２２１…車速算出部、２２２…車両取得部、２２３…車両送信部、２２４…動作制御部、５２１…遠隔取得部、５２２…制御値作成部、５２３…遠隔送信部、７２１…装置取得部、７２２…位置算出部、７２２ａ…歪み修正部、７２２ｂ…回転処理部、７２２ｃ…クロップ処理部、７２２ｄ…検出部、７２２ｅ…透視変換部、７２２ｆ…座標点算出部、７２３…車種特定部、７２４…位置変換部、７２５…装置送信部、７２６…補正値設定部、９０１…第１撮像装置、９０２…第２撮像装置、Ａ１…未移動領域、Ａ２…移動済領域、Ｃ…重心、Ｄ…第１実距離、ΔＤ…観測誤差、Ｄｃ…第３実距離、Ｄｏ…観測距離、Ｄｐ…推定距離、Ｄｔ…第２実距離、Ｄ１…車両データベース、Ｄ２…カメラデータベース、ｈ…車両の測位点の路面からの高さ、Δｈ…補正パラメータ、ｈｓ…基準パラメータ、Ｈ…撮像装置の路面からの高さ、Ｉｍ１…撮像画像、Ｉｍ２…修正画像、Ｉｍ３…回転画像、Ｉｍ４…処理後画像、Ｉｍ５…第１マスク画像、Ｉｍ６…第２マスク画像、Ｍｄ１…位置検出モデル、Ｍｄ２…車種特定モデル、Ｍｓ…マスク領域、Ｎ…ネットワーク、Ｐ０…ベース座標点、Ｐ１…第１座標点、Ｐ２…第２座標点、Ｐ３…画像座標点、Ｐａ１…修正パラメータ、Ｐａ２…透視変換パラメータ、Ｐｃ…撮像座標点、Ｐｆ…固定座標点、Ｐｖ…車両座標点、Ｒ０…ベース外接矩形、Ｒ１…第１外接矩形、Ｒ２…第２外接矩形、ＲＧ…撮像領域、ＲＧ１…第１撮像領域、ＲＧ２…第２撮像領域、Ｖ…移動ベクトル

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】