特開 2025-3093 システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2025003093

(43)【公開日】2025-01-09

(54)【発明の名称】システム

(51)【国際特許分類】

   G06T 7/70 20170101AFI20241226BHJP

   G06T 7/00 20170101ALI20241226BHJP

   G08G 1/09 20060101ALI20241226BHJP

   G16Y 10/40 20200101ALI20241226BHJP

   G16Y 20/20 20200101ALI20241226BHJP

   G16Y 40/30 20200101ALI20241226BHJP

【ＦＩ】

G06T7/70 A

G06T7/00 650B

G08G1/09 V

G16Y10/40

G16Y20/20

G16Y40/30

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2023103577

(22)【出願日】2023-06-23

(71)【出願人】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(74)【代理人】

【識別番号】110000028

【氏名又は名称】弁理士法人明成国際特許事務所

(72)【発明者】

【氏名】岩堀 健人

(72)【発明者】

【氏名】横山 大樹

【テーマコード（参考）】

5H181

5L096

【Ｆターム（参考）】

5H181AA01

5H181BB04

5H181BB20

5H181CC02

5H181CC03

5H181CC04

5H181CC11

5H181CC12

5H181CC14

5H181EE02

5H181FF04

5H181FF10

5H181FF13

5H181FF27

5H181MC19

5H181MC27

5L096BA04

5L096CA05

5L096DA02

5L096EA07

5L096EA26

5L096EA35

5L096FA09

5L096FA69

5L096HA04

5L096HA11

5L096JA16

5L096KA04

(57)【要約】

【課題】車両が撮影された画像を用いた車両位置の推定を、いずれのカメラが撮影を担当するかに関わらず適切に実行する。
【解決手段】遠隔制御によって走行する車両について車両位置を推定するために用いられるシステムは、走路上の車両を撮影するように配置された複数のカメラと、遠隔制御によって車両が走路上を走行するルートに関するルート情報を取得するルート情報取得部と、取得されるルート情報に応じて、各カメラのうち、ルートを走行する車両を含む対象画像の撮影を担当する担当カメラを決定する第１決定部と、決定される担当カメラに応じて、対象画像を用いて車両位置を推定する推定処理の内容を決定する第２決定部とを備える。
【選択図】図２

【特許請求の範囲】

【請求項1】

遠隔制御によって走行する車両について前記車両の位置を表す車両位置を推定するために用いられるシステムであって、
走路上の前記車両を撮影するように配置された複数のカメラと、
前記遠隔制御によって前記車両が前記走路上を走行するルートに関するルート情報を取得するルート情報取得部と、
取得される前記ルート情報に応じて、各前記カメラのうち、前記ルートを走行する前記車両を含む対象画像の撮影を担当する担当カメラを決定する第１決定部と、
決定される前記担当カメラに応じて、前記対象画像を用いて前記車両位置を推定する推定処理の内容を決定する第２決定部と、を備える、システム。

【請求項2】

請求項１に記載のシステムであって、
前記担当カメラから前記対象画像を取得する画像取得部と、
前記推定処理を実行する推定部と、
前記推定処理によって推定される前記車両位置を用いて、前記遠隔制御のための制御指令を生成する指令生成部と、を備える、システム。

【請求項3】

請求項２に記載のシステムであって、
前記対象画像は、前記車両が有する左側部分と、前記車両が有する右側部分と、の少なくとも一方を含み、
前記第２決定部は、前記担当カメラに応じて、前記推定処理の内容として、予め定められた検出箇所として前記対象画像における前記左側部分を検出する第１処理を含む内容と、前記検出箇所として前記対象画像における前記右側部分を検出する第２処理を含む内容と、を択一的に決定し、
前記推定部は、前記推定処理において、検出される前記検出箇所を用いて、前記車両位置を推定する、システム。

【請求項4】

請求項３に記載のシステムであって、
前記左側部分と前記右側部分とは、それぞれ、前記車両の車幅方向において互いに対称に位置する部分であり、
前記第１処理と前記第２処理とのいずれか一方は、前記対象画像を鏡像反転させた反転画像を生成するとともに、前記反転画像において前記検出箇所を検出する処理であり、前記第１処理と前記第２処理とのいずれか他方は、鏡像反転されていない前記対象画像において前記検出箇所を検出する処理である、システム。

【請求項5】

請求項１から４のいずれか一項に記載のシステムであって、
前記第２決定部は、前記担当カメラに応じて、前記推定処理において用いられるプログラムを決定することによって、前記推定処理の内容を決定する、システム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、システムに関する。

【背景技術】

【0002】

特許文献１には、車両の製造工程において、遠隔制御によって車両を走行させる技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特表２０１７－５３８６１９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

車両の遠隔制御において、車両が撮影された撮影画像を用いて車両位置を推定する技術を利用できる。複数のカメラが車両を撮影し得る場合に、こうした車両位置の推定を、いずれのカメラが車両の撮影を担当するかに関わらず適切に実行するための技術が望まれている。

【課題を解決するための手段】

【0005】

本開示は、以下の形態として実現することが可能である。

【0006】

（１）本開示の一形態によれば、遠隔制御によって走行する車両について前記車両の位置を表す車両位置を推定するために用いられるシステムが提供される。このシステムは、走路上の前記車両を撮影するように配置された複数のカメラと、前記遠隔制御によって前記車両が前記走路上を走行するルートに関するルート情報を取得するルート情報取得部と、取得される前記ルート情報に応じて、各前記カメラのうち、前記ルートを走行する前記車両を含む対象画像の撮影を担当する担当カメラを決定する第１決定部と、決定される前記担当カメラに応じて、前記対象画像を用いて前記車両位置を推定する推定処理の内容を決定する第２決定部と、を備える。
このような形態であれば、車両が走行するルートに応じて、対象画像を撮影する担当カメラを決定でき、また、担当カメラに応じて推定処理の内容を決定できる。そのため、いずれのカメラが担当カメラとして決定されるかに関わらず、撮影画像を用いた車両位置の推定を適切に実行できる可能性が高まる。
（２）上記形態では、前記担当カメラから前記対象画像を取得する画像取得部と、前記推定処理を実行する推定部と、前記推定処理によって推定される前記車両位置を用いて、前記遠隔制御のための制御指令を生成する指令生成部と、を備えていてもよい。このような形態であれば、推定処理によって推定される適切な車両位置を用いて、遠隔制御のための制御指令を生成できる。
（３）上記形態では、前記対象画像は、前記車両が有する左側部分と、前記車両が有する右側部分と、の少なくとも一方を含み、前記第２決定部は、前記担当カメラに応じて、前記推定処理の内容として、予め定められた検出箇所として前記対象画像における前記左側部分を検出する第１処理を含む内容と、前記検出箇所として前記対象画像における前記右側部分を検出する第２処理を含む内容と、を択一的に決定し、前記推定部は、前記推定処理において、検出される前記検出箇所を用いて、前記車両位置を推定してもよい。このような形態であれば、推定処理において、担当カメラに応じて車両の左側部分や右側部分を検出できるとともに、検出される左側部分や右側部分を用いて車両位置を推定できる。
（４）上記形態では、前記左側部分と前記右側部分とは、それぞれ、前記車両の車幅方向において互いに対称に位置する部分であり、前記第１処理と前記第２処理とのいずれか一方は、前記対象画像を鏡像反転させた反転画像を生成するとともに、前記反転画像において前記検出箇所を検出する処理であり、前記第１処理と前記第２処理とのいずれか他方は、鏡像反転されていない前記対象画像において前記検出箇所を検出する処理であってもよい。このような形態であれば、推定処理において第１処理を実行する場合と第２処理を実行する場合とで、対象画像を鏡像反転させることを除いて同様の手順で、左側部分や右側部分を検出できる。
（５）上記形態では、前記第２決定部は、前記担当カメラに応じて、前記推定処理において用いられるプログラムを決定することによって、前記推定処理の内容を決定してもよい。このような形態であれば、第２決定部によって推定処理に用いられるプログラムを決定することで、担当カメラに応じて推定処理の内容を決定できる。

【0007】

本開示は、上述したシステムとしての形態以外にも、例えば、制御装置や、制御方法や、その制御方法を実現するためのコンピュータプログラム、および、コンピュータプログラムが記録された一時的でない記録媒体などの形態で実現することができる。また、例えば、上記のシステムは、予め準備された機械学習モデルに対象画像を入力することによって、車両位置を推定してもよい。

【図面の簡単な説明】

【0008】

【図1】システムの構成を示す概念図である。

【図2】車両と制御装置との構成を示すブロック図である。

【図3】決定処理のフローチャートである。

【図4】決定処理を説明する図である。

【図5】推定処理のフローチャートである。

【図6】推定処理において画像が解析される様子の例を示す説明図である。

【発明を実施するための形態】

【0009】

Ａ．第１実施形態：
図１は、第１実施形態におけるシステム１０の構成を示す概念図である。図２は、車両１００と制御装置２００との構成を示すブロック図である。システム１０は、車両１００を遠隔制御により走行させる遠隔制御システムとして構成されている。システム１０は、１台以上の車両１００と、車両１００の遠隔制御を実行する制御装置２００と、車両１００を含む撮影画像Ｐｉを撮影する複数のカメラ３００と、車両１００の製造工程の管理を行う工程管理装置４００とを備える。

【0010】

本実施形態における車両１００は、電気自動車（ＢＥＶ：Battery Electric Vehicle）である。なお、車両１００は、電気自動車に限られず、例えば、ガソリン自動車や、ハイブリッド自動車や、燃料電池自動車でもよい。

【0011】

本実施形態では、車両１００を製造する工場において、車両１００の遠隔制御が実行される。図１に示すように、本実施形態における工場は、第１場所ＰＬ１と第２場所ＰＬ２とを備えている。第１場所ＰＬ１は、例えば、車両１００の組み立てが実施される場所であり、第２場所ＰＬ２は、例えば、車両１００の検査が実施される場所である。工場内の任意の位置は、基準座標系Σｒのｘｙｚ座標値で表現される。基準座標系Σｒは、例えば、ワールド座標系（グローバル座標系とも呼ばれる）として定義される。

【0012】

第１場所ＰＬ１と第２場所ＰＬ２とは、車両１００が走行可能な走路ＳＲによって接続されている。本実施形態における走路ＳＲは、分岐地点Ｊｃにて２つに分岐した後に合流地点Ｃｆにて合流する走路として構成されている。走路ＳＲは、第１走路ＳＲ１、第２走路ＳＲ２、第３走路ＳＲ３および第４走路ＳＲ４を含んでいる。第１走路ＳＲ１は、第１場所ＰＬ１から第２場所ＰＬ２に向かって真っ直ぐに延びている。第２走路ＳＲ２から第４走路ＳＲ４は、分岐地点Ｊｃと合流地点Ｃｆとを第１走路ＳＲ１とは異なる経路で繋いでいる。

【0013】

走路ＳＲ上には、車両１００が遠隔制御によって走行する目標ルートが設定される。本実施形態では、走路ＳＲ上には、目標ルートとして、分岐地点Ｊｃを直進する第１ルートＲｔ１と、分岐地点Ｊｃを曲がる第２ルートＲｔ２とが設定される。目標ルートは、例えば、以下の条件に応じて決定される。すなわち、その条件は、車両１００の種別（例えば、車種や型式やグレードや動力源）や、車両１００の検査結果や、各走行路の混雑度合いや、次工程の混雑度合い等である。こうした目標ルートの決定には、例えば、後述する車両１００の製造情報を用いることができる。なお、目標ルートの数や形状や配置等は、上記に限られず任意であってよい。

【0014】

走路ＳＲの周辺には、走路ＳＲ上の車両１００を撮影可能に構成された複数のカメラ３００が、走路ＳＲに従って設置されている。複数のカメラ３００は、車両１００が目標ルートの任意の位置に存在する場合に、常に少なくとも１台のカメラ３００が車両１００を撮影できるように配置されている。制御装置２００は、各カメラ３００で撮影される撮影画像Ｐｉを用いて、リアルタイムで、目標ルートに対する車両１００の相対的な位置および向きや、車両１００の走行方向を取得できる。このように検出される位置や向きや走行方向は、車両１００を遠隔制御するための制御指令の生成に用いられる。本実施形態では、各カメラ３００は、走路ＳＲを上方から俯瞰する画像を撮影可能なように配置されている。また、個々のカメラ３００の位置および向きは固定されており、基準座標系Σｒと個々のカメラ３００の装置座標系（以下、カメラ座標系とも呼ぶ）との相対関係は既知である。基準座標系Σｒの座標値と個々のカメラ３００の装置座標系の座標値とを相互に変換するための座標変換行列は、制御装置２００内に予め格納されている。車両１００の遠隔制御では、例えば、車両１００に搭載された車載カメラや、ＬｉＤＡＲ（Light Detection And Ranging）、ミリ波レーダ、超音波センサ、赤外線センサ等の各種センサが補助的に用いられてもよい。

【0015】

本実施形態における制御装置２００は、上述した制御指令を生成して車両１００に送信する遠隔制御装置として構成されている。より詳細には、制御装置２００は、車両１００を目標ルートに沿って走行させるための制御指令を生成し、制御指令を車両１００に送信する。車両１００は、受信した制御指令に従って走行する。従って、システム１０により、クレーンやコンベアなどの搬送装置を用いずに、車両１００を第１場所ＰＬ１から第２場所ＰＬ２まで遠隔制御により移動させることができる。

【0016】

図２に示すように、車両１００は、車両１００の各部を制御するための車両制御装置１１０と、車両制御装置１１０の制御下で駆動するアクチュエータ群１２０と、無線通信により制御装置２００と通信するための通信装置１３０と、車両１００の位置情報を取得するためのＧＮＳＳ（Global Navigation Satellite System）受信機１４０とを備えている。本実施形態では、アクチュエータ群１２０には、車両１００を加速させるための駆動装置のアクチュエータ、車両１００の進行方向を変更するための操舵装置のアクチュエータ、および、車両１００を減速させるための制動装置のアクチュエータが含まれている。駆動装置には、バッテリ、バッテリの電力により駆動する走行用モータ、および、走行用モータにより回転する駆動輪が含まれている。駆動装置のアクチュエータには、走行用モータが含まれている。アクチュエータ群１２０には、車両１００のワイパを揺動させるためのアクチュエータや、車両１００のパワーウィンドウを開閉させるためのアクチュエータ等が含まれてもよい。

【0017】

車両制御装置１１０は、プロセッサ１１１と、メモリ１１２と、入出力インタフェイス１１３と、内部バス１１４とを備えるコンピュータにより構成されている。プロセッサ１１１、メモリ１１２、および、入出力インタフェイス１１３は、内部バス１１４を介して、双方向に通信可能に接続されている。入出力インタフェイス１１３には、アクチュエータ群１２０、通信装置１３０、および、ＧＮＳＳ受信機１４０が接続されている。

【0018】

本実施形態では、プロセッサ１１１は、メモリ１１２に予め記憶されているプログラムＰＧ１を実行することにより、車両制御部１１５および位置情報取得部１１６として機能する。車両制御部１１５は、アクチュエータ群１２０を制御する。車両制御部１１５は、車両１００に運転者が搭乗している場合に、運転者の操作に応じてアクチュエータ群１２０を制御することにより、車両１００を走行させることができる。車両制御部１１５は、車両１００に運転者が搭乗しているか否かにかかわらず、制御装置２００から送信される制御指令に応じてアクチュエータ群１２０を制御することにより、車両１００を走行させることもできる。位置情報取得部１１６は、ＧＮＳＳ受信機１４０を用いて、車両１００の現在地を示す位置情報を取得する。ただし、位置情報取得部１１６とＧＮＳＳ受信機１４０とは、省略可能である。

【0019】

制御装置２００は、プロセッサ２０１と、メモリ２０２と、入出力インタフェイス２０３と、内部バス２０４とを備えるコンピュータにより構成されている。プロセッサ２０１、メモリ２０２、および、入出力インタフェイス２０３は、内部バス２０４を介して、双方向に通信可能に接続されている。入出力インタフェイス２０３には、無線通信により車両１００，カメラ３００，および，工程管理装置４００と通信するための通信装置２０５が接続されている。

【0020】

本実施形態では、プロセッサ２０１は、メモリ２０２に予め記憶されているプログラムＰＧ２を実行することにより、ルート情報取得部２０８、画像取得部２１０、第１決定部２１５、カメラ情報取得部２２０、第２決定部２３０、推定部２５０および指令生成部２６０として機能する。メモリ２０２には、プログラムＰＧ２に加え、設定された目標ルートを表す目標ルートデータＲＤと、後述する第１対応データ２７１と、第２対応データ２７２と、推定プログラム２８０とが格納されている。

【0021】

ルート情報取得部２０８は、車両１００のルート情報を取得する。ルート情報は、遠隔制御によって車両１００が走路ＳＲ上を走行するルートに関する情報である。より詳細には、ルート情報は、車両１００によって今後に走行される走行対象ルートに関する情報である。本実施形態では、ルート情報取得部２０８は、車両１００の現在の居場所を表す現在位置情報を用いて、目標ルートデータＲＤを参照することで、ルート情報を取得する。制御装置２００や工程管理装置４００は、こうした現在位置情報を、例えば、ＧＮＳＳ受信機１４０や、走路ＳＲの周辺に設けられたエリアセンサ（図示せず）や、遠隔制御に用いられる各種センサ（例えば、カメラ３００）を用いて取得する。

【0022】

第１決定部２１５は、ルート情報取得部２０８によって取得されるルート情報に応じて、担当カメラを決定する。担当カメラは、各カメラ３００のうち、走行対象ルートを走行する車両１００を含む撮影画像Ｐｉの撮影を担当するカメラ３００である。以下では、走行対象ルートを走行する車両１００を含む撮影画像Ｐｉのことを対象画像とも呼ぶ。本実施形態では、第１決定部２１５は、ルート情報に応じて第１対応データ２７１を参照することで、担当カメラを決定する。第１対応データ２７１は、例えば、車両１００が走行する各ルートと各カメラ３００との対応関係を記録したデータや、走路ＳＲにおける各区間と各カメラ３００との対応関係を記録したデータである。

【0023】

画像取得部２１０は、対象画像を担当カメラから取得する。本実施形態におけるカメラ３００は、図１に示した第１部分Ｄｐ１と第２部分Ｄｐ２との少なくとも一方を映すように撮影画像Ｐｉを撮影する。そのため、本実施形態における対象画像は、第１部分Ｄｐ１と第２部分Ｄｐ２との少なくとも一方を含む。第１部分Ｄｐ１は、車両１００のうち車幅方向における中央位置よりも左側に位置する左側部分であり、第２部分Ｄｐ２は、車両１００のうち上記の中央位置よりも右側に位置する右側部分である。より具体的には、第１部分Ｄｐ１は、車両１００の左後方角部であり、第２部分Ｄｐ２は、車両１００の右後方角部である。つまり、本実施形態では、第１部分Ｄｐ１と第２部分Ｄｐ２とは車両１００の車幅方向において互いに略対称に位置する部分である。第１部分Ｄｐ１や第２部分Ｄｐ２は、後述する推定処理で検出箇所として検出され得る部分である検出用部位に相当する。検出箇所は、推定処理で車両１００の位置を表す車両位置を推定するのに用いられる箇所である。

【0024】

図２に示したカメラ情報取得部２２０は、担当カメラに関するカメラ情報Ｃｉを取得する。本実施形態では、カメラ情報Ｃｉとして、各カメラ３００の識別情報が用いられる。本実施形態では、カメラ３００の識別情報は、撮影画像Ｐｉとともにカメラ３００から制御装置２００へと送信される。他の実施形態では、カメラ情報取得部２２０は、カメラ情報Ｃｉを、メモリ２０２に予め格納されたデータベースや、外部のコンピュータや記録媒体等から取得してもよい。

【0025】

本実施形態では、走路ＳＲに対して各カメラ３００の位置および向きが固定されている。そのため、担当カメラの識別情報は、担当カメラが対象画像を撮影する撮影条件を特定可能な情報である。この撮影条件は、撮影画像Ｐｉに含まれ得る検出用部位に関する条件であり、例えば、撮影画像Ｐｉに検出用部位として含まれ得る車両１００の部位に関する条件や、撮影画像Ｐｉが撮影される向きに関する条件を含む。撮影画像Ｐｉが撮影される向きに関する条件とは、撮影画像Ｐｉの撮影に際して車両１００が撮影される向きに関する条件であり、例えば、車両１００が車両１００の右側と左側とのいずれから撮影されるかを定める条件や、車両１００が車両１００の前方側と後方側とのいずれから撮影されるかを定める条件である。なお、本実施形態では、撮影画像Ｐｉが撮影される向きが特定されれば、撮影画像Ｐｉに含まれ得る検出用部位が特定される。こうした撮影条件を特定可能なカメラ情報Ｃｉとしては、カメラ３００の識別情報に限らず、カメラ３００が車両１００を撮影する向きを表す情報や、カメラ３００が撮影し得る検出用部位を表す情報等が用いられてもよい。

【0026】

推定部２５０は、推定処理を実行する。推定処理は、対象画像を用いて、遠隔制御対象の車両１００について車両位置を推定する処理である。本実施形態における推定処理は、対象画像における検出箇所を用いて車両位置を推定する処理である。より詳細には、推定処理は、対象画像を解析することで対象画像における検出箇所を検出する解析処理と、検出される検出箇所を用いて車両位置を推定する処理とを含む。本実施形態では、推定部２５０によって推定プログラム２８０が実行されることで推定処理が実行される。なお、推定部２５０は、例えば、車両１００の走行履歴や、ＧＮＳＳ受信機１４０で検出された位置情報を用いて、車両１００の位置や向きを推定することが可能である。また、車両１００の走行方向は、車両１００の向きや走行履歴や制御指令の履歴等を用いて推定可能である。

【0027】

本実施形態における推定部２５０は、解析処理を実行する解析部２５１を有する。本実施形態における解析部２５１は、それぞれ解析プログラムである第１解析プログラム２８１や第２解析プログラム２８２を実行することで、解析処理を実行する。解析プログラムとは、解析プログラムを実行するコンピュータに、対象画像を解析させて対象画像における検出箇所を検出させる機能を実現させるプログラムである。

【0028】

第２決定部２３０は、決定される担当カメラに応じて推定処理の内容を決定する。本実施形態では、第２決定部２３０は、カメラ情報Ｃｉに応じて、推定処理で用いられるプログラムを決定することによって、担当カメラに応じて推定処理の内容を変更する。より詳細には、第２決定部２３０は、カメラ情報Ｃｉに応じて、検出用プログラムを決定する。検出用プログラムとは、解析処理で検出箇所の検出に用いられる解析プログラムである。

【0029】

なお、本明細書において、「担当カメラに応じたプログラムの決定」とは、担当カメラに応じてプログラムの処理工程を決定することを指す。そのため、「担当カメラに応じたプログラムの決定」の意味は、例えば、予め準備された複数のプログラムから、担当カメラに応じて、一の解析プログラムを、決定される対象のプログラムとして選択することを含む。この場合、検出用プログラムの選択は、例えば、複数のプログラムを含む包括的なプログラムにおいて、担当カメラに応じた条件分岐が実行されることによって実現されてもよい。また、「担当カメラに応じたプログラムの決定」の意味は、例えば、プログラムに含まれるコードの一部や全部を担当カメラに応じて書き換えることによって、決定される対象のプログラムを準備することを含む。

【0030】

本実施形態では、第２決定部２３０は、カメラ情報Ｃｉを用いて第２対応データ２７２を参照することで、推定処理の内容を決定する。第２対応データ２７２は、カメラ情報Ｃｉと、推定処理の内容を決定するための情報との対応関係を記録したデータである。より詳細には、本実施形態における第２対応データ２７２は、各カメラ３００の識別情報と、推定処理で使用されるプログラムを決定するための情報との対応関係を記録したデータである。他の実施形態では、第２対応データ２７２は、例えば、各カメラ３００の識別情報と、対象画像を撮影するために各カメラ３００が車両１００を撮影する向きと、推定処理の内容を決定するための情報との対応関係を記録したデータであってもよい。

【0031】

上述した推定プログラム２８０は、解析プログラムとして、第１解析プログラム２８１と第２解析プログラム２８２とを含む包括的なプログラムである。第１解析プログラム２８１および第２解析プログラム２８２の詳細については後述する。

【0032】

指令生成部２６０は、推定された車両１００の位置や向きを用いて、制御指令を生成して車両１００に送信する。この制御指令は、メモリ２０２に格納された目標ルートデータＲＤによって表される目標ルートに従って車両１００を走行させる指令である。制御指令は、駆動力又は制動力と舵角とを含む指令として生成することができる。或いは、制御指令を、車両１００の位置及び向きの少なくとも一方と、車両１００が今後に走行するルートとを含む指令として生成してもよい。

【0033】

工程管理装置４００は、例えば、コンピュータによって構成され、工場における車両１００の製造工程全般の管理を実行する。例えば、１台の車両１００が目標ルートに沿った走行を開始する際には、その車両１００を識別する識別番号や型式などを示す個体情報が、工程管理装置４００から制御装置２００に送信される。この個体情報は、車両１００の製造工程の管理に用いられる製造情報に相当する。また、制御装置２００で検出された車両１００の位置は、工程管理装置４００にも送信される。なお、工程管理装置４００の機能を、制御装置２００と同じ装置に実装するようにしてもよい。

【0034】

図３は、本実施形態における決定処理のフローチャートである。この決定処理は、本実施形態における制御方法を実現するための処理である。決定処理は、制御装置２００のプロセッサ２０１によって、例えば、所定の時間間隔で実行される。

【0035】

図３のＳ１１０にて、ルート情報取得部２０８は、遠隔制御対象の車両１００のルート情報を取得する。Ｓ１２０にて、第１決定部２１５は、取得されたルート情報に応じて、担当カメラを決定する。Ｓ１３０にて、カメラ情報取得部２２０は、決定された担当カメラのカメラ情報Ｃｉを取得する。Ｓ１４０にて、第２決定部２３０は、取得されたカメラ情報Ｃｉに応じて、検出用プログラムを決定する。本実施形態におけるＳ１４０では、カメラ情報Ｃｉに応じて検出用プログラムが決定されることで、担当カメラに応じて推定処理の内容が決定される。より具体的には、Ｓ１４０では、解析処理の内容が決定される。

【0036】

図４は、決定処理を説明する図である。図４は、遠隔制御によって車両１００が目標ルートに従って走路ＳＲを走行する様子の例を示している。図４には、上述した第１ルートＲｔ１と第２ルートＲｔ２とが示されている。第１ルートＲｔ１は、第１走路ＳＲ１に対応する。第２ルートＲｔ２は、ルートＲｔ２ａ，Ｒｔ２ｂ，Ｒｔ２ｃ，Ｒｔ２ｄおよびＲｔ２ｅを含んでいる。ルートＲｔ２ａは、第１走路ＳＲ１のうち、分岐地点Ｊｃまでの部分に対応する。ルートＲｔ２ｂは、第２走路ＳＲ２に対応する。ルートＲｔ２ｃは、第３走路ＳＲ３に対応する。ルートＲｔ２ｄは、第４走路ＳＲ４に対応する。ルートＲｔ２ｅは、第１走路ＳＲ１のうち、合流地点Ｃｆ以降の部分に対応する。

【0037】

本実施形態における第１対応データ２７１では、第１ルートＲｔ１、ルートＲｔ２ａおよびルートＲｔ２ｅとカメラ３００Ａとが関連付けられ、ルートＲｔ２ｂとカメラ３００Ｂとが関連付けられ、ルートＲｔ２ｃとカメラ３００Ｃとが関連付けられ、ルートＲｔ２ｄとカメラ３００Ｄとが関連付けられている。つまり、第１対応データ２７１では、目標ルートに含まれる各ルートと各カメラとが一対一で関連付けられている。

【0038】

カメラ３００Ａは、第１ルートＲｔ１やルートＲｔ２ａやルートＲｔ２ｅを走行する車両１００を左後方側から撮影可能に配置されている。カメラ３００Ｂは、ルートＲｔ２ｂを走行する車両１００の右後方側から撮影可能に配置されている。カメラ３００Ｃは、ルートＲｔ２ｃを走行する車両１００を左後方側から撮影可能に配置されている。カメラ３００Ｄは、ルートＲｔ２ｄを走行する車両１００を右後方側から撮影可能に配置されている。本実施形態において、「車両１００を左後方側から撮影する」とは、撮影画像Ｐｉに第１部分Ｄｐ１（左後方角部）が映るように車両１００を左後方側から撮影することを指す。「車両１００を右後方側から撮影する」とは、撮影画像Ｐｉに第２部分Ｄｐ２（右後方角部）が映るように車両１００を右後方側から撮影することを指す。そのため、車両１００が左後方側から撮影された撮影画像Ｐｉは、通常、車両１００が走行する位置によらず第１部分Ｄｐ１を含む。一方で、この撮影画像Ｐｉは、車両１００が走行する位置によって、第２部分Ｄｐ２を含む場合と含まない場合とがある。また、車両１００が左後方側から撮影された撮影画像Ｐｉに第１部分Ｄｐ１と第２部分Ｄｐ２とが含まれる場合、その撮影画像Ｐｉにおいて、第２部分Ｄｐ２は、第１部分Ｄｐ１よりも小さく現れる。同様に、車両１００が右後方側から撮影された撮影画像Ｐｉは、通常、車両１００が走行する位置によらず第２部分Ｄｐ２を含む。一方で、この撮影画像Ｐｉは、車両１００が走行する位置によって、第１部分Ｄｐ１を含む場合と含まない場合とがある。

【0039】

本実施形態における第２対応データ２７２では、カメラ３００Ａのカメラ情報Ｃｉおよびカメラ３００Ｃのカメラ情報Ｃｉには、第１解析プログラム２８１を選択するためのパラメータが関連付けられている。また、カメラ３００Ｂおよびカメラ３００Ｄのカメラ情報Ｃｉには、第２解析プログラム２８２を選択するためのパラメータが関連付けられている。なお、本実施形態における第１解析プログラム２８１は、車両１００が左後方側から撮影された対象画像を解析するための解析プログラムであり、検出箇所として第１部分Ｄｐ１を検出するために使用される。また、第２解析プログラム２８２は、車両１００が右後方側から撮影された対象画像を解析するための解析プログラムであり、検出箇所として第２部分Ｄｐ２を検出するために使用される。

【0040】

図４では、車両１００は、第２ルートＲｔ２におけるルートＲｔ２ａを走行している。そのため、図４の例では、図３のＳ１１０において、ルートＲｔ２ａを表すルート情報が取得される。次に、Ｓ１２０では、取得されたルート情報に応じて第１対応データ２７１が参照されることで、ルートＲｔ２ａに対応して、担当カメラとしてカメラ３００Ａが決定される。Ｓ１３０では、決定されたカメラ３００Ａに関するカメラ情報Ｃｉが取得される。そして、Ｓ１４０では、取得されたカメラ情報Ｃｉに応じて第２対応データ２７２が参照されることで、カメラ３００Ａに応じて、検出用プログラムとして第１解析プログラム２８１が決定される。車両１００が第２ルートＲｔ２における他のルートや第１ルートＲｔ１を走行する場合についても、上記と略同様である。図４では、ルートＲｔ２ｂからルートＲｔ２ｅの各ルートを走行する車両１００の様子が破線によって示されている。

【0041】

なお、図３のＳ１１０では、例えば、車両１００があるルートの終端部付近を走行している場合に、走行対象ルートとして当該ルートの次のルートを表すルート情報が取得されてもよい。より詳細には、例えば、図４において、車両１００がルートＲｔ２ａのうちルートＲｔ２ｂの近傍を走行している場合、走行対象ルートとしてルートＲｔ２ｂを表すルート情報が取得されてもよい。

【0042】

図５は、本実施形態における推定処理のフローチャートである。本実施形態では、推定処理は、担当カメラから対象画像が制御装置２００に送信されるたびに実行される。

【0043】

図５のＳ２０５にて、画像取得部２１０は、担当カメラから送信される対象画像を取得する。Ｓ２１０にて、推定部２５０は、図３のＳ１４０の結果に基づいて、対象画像の解析に第１解析プログラム２８１を用いるか否かを判定する。Ｓ２１０で第１解析プログラム２８１を用いると判定された場合、解析部２５１は、Ｓ２２０からＳ２３０にて、第１解析プログラム２８１によって実現される第１処理を実行する。第１処理は、検出箇所として第１部分Ｄｐ１を検出するための処理である。Ｓ２１０で第１解析プログラム２８１を用いると判定されなかった場合、解析部２５１は、Ｓ２１５からＳ２３０にて、第２解析プログラム２８２によって実現される第２処理を実行する。第２処理は、検出箇所として第２部分Ｄｐ２を検出するための処理である。なお、以下では、第１解析プログラム２８１によって実現されるＳ２２０をＳ２２０Ａとも表記し、第２解析プログラム２８２によって実現されるＳ２２０をＳ２２０Ｂとも表記する。Ｓ２２５およびＳ２３０についても略同様である。

【0044】

本実施形態における第２処理は、第１処理とは違って、Ｓ２１５の反転処理を含む。反転処理とは、対象画像を鏡像反転させた反転画像を生成する処理である。この結果、Ｓ２２０ＡからＳ２３０Ａでは鏡像反転されていない対象画像が解析されるのに対し、Ｓ２２０ＢからＳ２３０Ｂでは反転画像が解析される。このように画像を鏡像反転させる処理は、「フリップ」とも呼ばれる。第１処理と第２処理とは、第２処理が反転処理を含むことを除いて略同様である。そのため、Ｓ２２０ＢからＳ２３０Ｂでは、Ｓ２２０ＡからＳ２３０Ａと同様のアルゴリズムを用いて、つまり、同様の手順で反転画像を解析することが可能である。より詳細には、検出箇所として第１部分Ｄｐ１が用いられる場合、Ｓ２２０ＡからＳ２３０Ａにて、第１部分Ｄｐ１は、反転されていない対象画像における左後方角部として検出される。一方で、検出箇所として第２部分Ｄｐ２が用いられる場合、実際には右後方角部である第２部分Ｄｐ２は、Ｓ２２０ＢからＳ２３０Ｂにて、擬似的に反転画像における左後方角部として検出される。つまり、本実施形態では、反転画像において、第２部分Ｄｐ２は、鏡像反転されていない対象画像における第１部分Ｄｐ１に相当する部分として検出される。

【0045】

図６は、推定処理において画像Ｉｍ１が解析される様子の例を示す説明図である。図６に示した画像Ｉｍ１は、走路ＳＲを走行する車両１００が撮影された画像である。画像Ｉｍ１は、互いに直交するＸｃ軸およびＹｃ軸を座標軸として有し、カメラ３００の焦点を原点とするカメラ座標系で表される。画像Ｉｍ１は、反転画像であってもよいし、鏡像反転されていない対象画像であってもよい。画像Ｉｍ１に対しては、例えば、歪みを補正する歪み補正処理や、画像Ｉｍ１における車両１００の移動ベクトルＶの方向が所定の方向を向くように画像Ｉｍ１を回転させる回転処理や、画像Ｉｍ１から車両１００を含まない不要領域を削除するクロップ処理といった各種の補正や前処理が適宜行われてもよい。移動ベクトルＶの大きさや方向の検出には、例えば、オプティカルフロー法が用いられる。

【0046】

図５のＳ２２０からＳ２３０にて、解析部２５１は、解析処理を実行する。本実施形態における解析処理では、解析部２５１は、画像Ｉｍ１を用いて、図６に示した測位点ＰＰの座標を算出することによって、測位点ＰＰを検出する。測位点ＰＰの座標は、後述する画像座標系における検出箇所の近傍の座標として算出される。このように検出される測位点ＰＰは、対象画像における検出箇所を表す。

【0047】

Ｓ２２０にて、解析部２５１は、画像Ｉｍ１における車両１００を検出する検出処理として、マスク処理を実行する。マスク処理は、画像Ｉｍ１における車両１００を検出するとともに、画像Ｉｍ１において当該車両１００を含む対象領域をマスクすることで、対象領域がマスクされたマスク領域Ｍｓを含む画像Ｉｍ２を生成する処理である。マスク処理では、推定部２５０は、例えば、入力画像に含まれる車両１００をマスクするように機械学習された機械学習モデル（図示せず）に画像Ｉｍ１を入力することで画像Ｉｍ２を生成する。この機械学習モデルとしては、例えば、セマンティックセグメンテーションやインスタンスセグメンテーションを実現する畳み込みニューラルネットワーク（以下、ＣＮＮとも呼ぶ）の構造を有するディープニューラルネットワーク（以下、ＤＮＮとも呼ぶ）が用いられる。なお、機械学習モデルは、例えば、ニューラルネットワーク以外のアルゴリズムを用いて機械学習されてもよい。

【0048】

Ｓ２２５にて、解析部２５１は、透視変換処理を実行する。透視変換処理は、画像Ｉｍ２を透視変換することによって、画像Ｉｍ３を生成する処理である。透視変換処理では、解析部２５１は、例えば、カメラ３００の位置情報や内部パラメータに関する透視変換パラメータを用いて、画像Ｉｍ２を、走路ＳＲの路面に略垂直な車両１００の上方（例えば、車両１００の真上）から見た鳥瞰画像に透視変換する。画像Ｉｍ３は、画像座標系で表される。画像座標系は、透視変換によって投影される画像平面の一点を原点とし、互いに直交するＸｉ軸とＹｉ軸とを座標軸として有する座標系である。画像Ｉｍ３は、透視変換により変形されたマスク領域Ｍｓに相当するマスク領域Ｍｓｂを含む。

【0049】

Ｓ２３０にて、解析部２５１は、測位点ＰＰの座標を算出する測位点算出処理を実行する。本実施形態における測位点算出処理では、解析部２５１は、第１座標点Ｐ１の座標（Ｘｉ１，Ｙｉ１）と第２座標点Ｐ２の座標（Ｘｉ２，Ｙｉ２）とを用いて測位点ＰＰの座標を算出する。

【0050】

第１座標点Ｐ１は、画像Ｉｍ２における四角形Ｒ１ｂの頂点のうち、画像Ｉｍ１におけるベース座標点Ｐ０に対応する座標点として特定される。四角形Ｒ１ｂは、透視変換により変形した第１外接矩形Ｒ１に相当する。第１外接矩形Ｒ１は、画像Ｉｍ２において、マスク領域Ｍｓに外接し、かつ、移動ベクトルＶと平行な長辺を有する矩形である。ベース座標点Ｐ０は、この第１外接矩形Ｒ１の頂点のうち、車両１００の検出箇所に対応する頂点を表す座標点である。より詳細には、ベース座標点Ｐ０は、第１外接矩形Ｒ１の頂点のうち、移動ベクトルＶの方向を前方としたときに車両１００の重心Ｃに対して左方かつ後方に位置する頂点を表す座標点である。第２座標点Ｐ２は、画像Ｉｍ２における第２外接矩形Ｒ２の４つの頂点のうち、車両１００の検出箇所に対応する頂点を表す座標点である。より詳細には、第２座標点Ｐ２は、第２外接矩形Ｒ２の頂点のうち、移動ベクトルＶの方向を前方としたときに重心Ｃに対して左方かつ後方に位置する頂点を表す座標である。第２外接矩形Ｒ２は、マスク領域Ｍｓｂに外接し、かつ、Ｘｉ軸に平行な辺とＹｉ軸に平行な辺とを有する矩形である。このように、第１座標点Ｐ１と第２座標点Ｐ２とは、ともに検出箇所に応じて定まる座標点であるため、互いに相関関係を有する。

【0051】

座標値Ｘｉ１が座標値Ｘｉ２よりも大きい場合、推定部２５０は、測位点ＰＰのＸｉ座標値を座標値Ｘｉ１に決定する。反対に、座標値Ｘｉ１が座標値Ｘｉ２よりも小さい場合、推定部２５０は、Ｘｉ座標値を座標値Ｘｉ２に決定する。略同様に、座標値Ｙｉ１が座標値Ｙｉ２よりも大きい場合、測位点ＰＰのＹｉ座標値が座標値Ｙｉ１に決定される。座標値Ｙｉ１が座標値Ｙｉ２よりも小さい場合、Ｙｉ座標値が座標値Ｙｉ２に決定される。このようにＸｉ座標値およびＹｉ座標値が決定されることで、測位点ＰＰが検出される。

【0052】

Ｓ２３５にて、推定部２５０は、車両座標算出処理を実行する。車両座標算出処理は、測位点ＰＰを用いて車両座標点を算出する処理である。車両座標点は、基準座標系Σｒにおいて測位点ＰＰを表す座標点である。Ｓ２３５では、推定部２５０は、例えば、予め定められた推定式と、Ｓ２３０で算出された測位点ＰＰの座標値とを用いて、車両座標点を算出する。指令生成部２６０は、推定処理で算出される車両座標点を車両位置として用いて、制御指令を生成する。こうして生成される制御指令は、車両１００に送信される。つまり、本実施形態では、車両座標点を算出することは、車両位置を推定することに相当する。なお、対象画像を用いた車両位置の推定手法は、上記に限られない。例えば、マスク処理とは異なる処理によって対象画像における車両１００が検出されてもよいし、透視変換処理や測位点算出処理とは異なる処理によって対象画像における検出箇所が検出されてもよいし、車両座標算出処理とは異なる処理によって車両位置を表す座標点が算出されてもよい。

【0053】

以上で説明した本実施形態におけるシステム１０によれば、遠隔制御対象の車両１００のルート情報に応じて担当カメラを決定でき、担当カメラに応じて推定処理の内容を決定できる。そのため、いずれのカメラ３００が担当カメラとして決定されるかに関わらず、車両位置の推定を適切に実行できる可能性が高まる。また、本実施形態では、上記の推定処理によって推定される適切な車両位置を用いて制御指令が生成される。そのため、適切な制御指令が生成される可能性が高まり、適切に車両１００を遠隔制御できる可能性が高まる。

【0054】

また、本実施形態では、第２決定部２３０は、担当カメラに応じて、推定処理で第１処理を実行すること、または、推定処理で第２処理を実行することを択一的に決定する。第１処理は、対象画像における第１部分Ｄｐ１（左側部分）を検出する処理である。第２処理は、対象画像における第２部分Ｄｐ２（右側部分）を検出する処理である。このようにすれば、推定処理において、担当カメラに応じて、対象画像における左側部分や右側部分を検出でき、検出される左側部分や右側部分を用いて車両位置を推定できる。こうした左側部分や右側部分は、走路ＳＲの左脇や右脇にカメラ３００を設置することで、カメラ３００によって容易に撮影可能である。特に、本実施形態では、第１部分Ｄｐ１は、左後方角部であり、第２部分Ｄｐ２は、右後方角部である。そのため、走路ＳＲの左脇や右脇に設置されたカメラ３００によって、車両１００の後方から車両１００を撮影することで、第１部分Ｄｐ１や第２部分Ｄｐ２を含む対象画像を容易に撮影できる。

【0055】

また、本実施形態では、第１処理は、鏡像反転されていない対象画像において第１部分Ｄｐ１を検出する処理である。第２処理は、対象画像を鏡像反転させた反転画像を生成するとともに、反転画像において、車幅方向において第１部分Ｄｐ１に対して対称に位置する第２部分Ｄｐ２を検出する処理である。そのため、推定処理において、第１処理を実行する場合と第２処理を実行する場合とで、対象画像を鏡像反転させることを除いて同様の手順で、第１部分Ｄｐ１や第２部分Ｄｐ２を検出できる。なお、他の実施形態では、例えば、第１処理が反転処理を含み、かつ、第２処理が反転処理を含んでいなくてもよい。

【0056】

また、本実施形態では、第２決定部２３０は、決定される担当カメラに応じて、推定処理で用いられるプログラムを決定する。そのため、第２決定部２３０によってプログラムを決定することで、担当カメラに応じて推定処理の内容を決定できる。

【0057】

Ｂ．他の実施形態：
（Ｂ１）上記実施形態において、システム１０は、画像取得部２１０や推定部２５０や指令生成部２６０を備える遠隔制御システムとして構成されているが、このように構成されていなくてもよい。例えば、システム１０は、推定処理の内容を決定するとともに、その決定結果を、画像取得部２１０や推定部２５０や指令生成部２６０を備える他のシステムに送信するシステムとして構成されていてもよい。この場合、システム１０は、例えば、画像取得部２１０と推定部２５０と指令生成部２６０との一部や全部を備えていなくてもよい。

【0058】

（Ｂ２）上記実施形態では、第１部分Ｄｐ１と第２部分Ｄｐ２とは、車幅方向において互いに対称に位置する部分でなくてもよい。例えば、第１部分Ｄｐ１や第２部分Ｄｐ２として、それぞれ、車両１００の左後方角部と右前方角部とが用いられてもよい。また、検出箇所として車両１００の左側部分や右側部分が用いられなくてもよい。また、検出箇所として用いられる部位の数は、３つ以上であってもよいし、１つであってもよい。

【0059】

（Ｂ３）上記実施形態では、第１処理や第２処理に反転処理が含まれているが、反転処理が含まれていなくてもよい。この場合、推定部２５０は、検出箇所として第１部分Ｄｐ１と第２部分Ｄｐ２とのいずれを検出する場合であっても、鏡像反転されていない対象画像において第１部分Ｄｐ１や第２部分Ｄｐ２を検出するようにしてもよい。

【0060】

（Ｂ４）上記実施形態では、第２決定部２３０は、推定処理で用いられるプログラムを担当カメラに応じて決定しているが、このようにしなくてもよい。例えば、担当カメラとして決定されるカメラ３００がそれぞれ異なる場合であっても、推定処理に同一のプログラムが使用されてもよい。この場合、第２決定部２３０は、推定処理において使用するパラメータを担当カメラに応じて決定することによって、推定処理の内容を担当カメラに応じて決定してもよい。

【0061】

（Ｂ５）上記実施形態では、走路ＳＲは、２つに分岐した後に合流する走路として構成されているが、これに限られず任意の態様の走路として構成されてよい。例えば、走路ＳＲは、３つ以上に分岐する走路であってもよいし、分岐しない走路であってもよい。

【0062】

（Ｂ６）上記実施形態において、車両１００は、遠隔制御により移動可能な構成を備えていれば良く、例えば、以下に述べる構成を備えるプラットフォームの形態であっても良い。具体的には、車両１００は、遠隔制御により「走る」、「曲がる」、「止まる」の３つの機能を発揮するために、少なくとも、車両制御部１１５と通信装置１３０とを備えていれば良い。すなわち、遠隔制御により移動可能な車両１００は、運転席やダッシュボードなどの内装部品の少なくとも一部が装着されていなくてもよく、バンパーやフェンダーなどの外装部品の少なくとも一部が装着されていなくてもよく、ボディシェルが装着されていなくてもよい。この場合、車両１００が工場から出荷されるまでの間に、ボディシェル等の残りの部品が車両１００に装着されてもよいし、ボディシェル等の残りの部品が車両１００に装着されていない状態で、車両１００が工場から出荷された後にボディシェル等の残りの部品が車両１００に装着されてもよい。なお、プラットフォームの形態に対しても、各実施形態における車両１００と同様にして位置決定がなされ得る。

【0063】

本開示は、上述の実施形態に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態中の技術的特徴は、上述の課題の一部又は全部を解決するために、あるいは、上述の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。

【符号の説明】

【0064】

１０…システム、１００…車両、１１０…車両制御装置、１１１…プロセッサ、１１２…メモリ、１１３…入出力インタフェイス、１１４…内部バス、１１５…車両制御部、１１６…位置情報取得部、１２０…アクチュエータ群、１３０…通信装置、１４０…ＧＮＳＳ受信機、２００…制御装置、２０１…プロセッサ、２０２…メモリ、２０３…入出力インタフェイス、２０４…内部バス、２０５…通信装置、２０８…ルート情報取得部、２１０…画像取得部、２１５…第１決定部、２２０…カメラ情報取得部、２３０…第２決定部、２５０…推定部、２５１…解析部、２６０…指令生成部、２７１…第１対応データ、２７２…第２対応データ、２８０…推定プログラム、２８１…第１解析プログラム、２８２…第２解析プログラム、３００，３００Ａ，３００Ｂ，３００Ｃ，３００Ｄ…カメラ、４００…工程管理装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】