特開 2025-3086 システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2025003086

(43)【公開日】2025-01-09

(54)【発明の名称】システム

(51)【国際特許分類】

   G06T 7/70 20170101AFI20241226BHJP

   G06T 7/00 20170101ALI20241226BHJP

   G08G 1/09 20060101ALI20241226BHJP

   G16Y 10/40 20200101ALI20241226BHJP

   G16Y 20/20 20200101ALI20241226BHJP

   G16Y 40/30 20200101ALI20241226BHJP

【ＦＩ】

G06T7/70 A

G06T7/00 650B

G08G1/09 V

G16Y10/40

G16Y20/20

G16Y40/30

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2023103567

(22)【出願日】2023-06-23

(71)【出願人】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(74)【代理人】

【識別番号】110000028

【氏名又は名称】弁理士法人明成国際特許事務所

(72)【発明者】

【氏名】岩堀 健人

(72)【発明者】

【氏名】横山 大樹

【テーマコード（参考）】

5H181

5L096

【Ｆターム（参考）】

5H181AA01

5H181BB20

5H181CC02

5H181CC03

5H181CC04

5H181CC11

5H181CC12

5H181CC14

5H181FF04

5H181FF13

5H181FF27

5H181JJ28

5H181LL09

5H181MC19

5H181MC27

5L096BA04

5L096CA04

5L096CA05

5L096EA35

5L096FA09

5L096FA69

5L096HA11

5L096JA16

5L096KA04

(57)【要約】

【課題】車両が撮影された画像を用いた車両位置の推定を、画像が撮影される撮影条件に関わらず適切に実行する。
【解決手段】遠隔制御によって走行する車両について車両位置を推定するために用いられるシステムは、車両が撮影された撮影画像を取得する画像取得部と、撮影画像を撮影したカメラを特定する特定部と、特定されるカメラの撮影条件に応じて、撮影画像を用いて車両位置を推定する推定処理の内容を決定する決定部とを備える。
【選択図】図２

【特許請求の範囲】

【請求項1】

遠隔制御によって走行する車両について前記車両の位置を表す車両位置を推定するために用いられるシステムであって、
前記車両が撮影された撮影画像を取得する画像取得部と、
前記撮影画像を撮影したカメラを特定するカメラ特定部と、
特定される前記カメラの撮影条件に応じて、前記撮影画像を用いて前記車両位置を推定する推定処理の内容を決定する決定部と、を備える、システム。

【請求項2】

請求項１に記載のシステムであって、
前記推定処理を実行する推定部と、
前記推定処理によって推定される前記車両位置を用いて、前記遠隔制御のための制御指令を生成する指令生成部を備える、システム。

【請求項3】

請求項２に記載のシステムであって、
前記撮影画像は、前記車両が有する左側部分と、前記車両が有する右側部分と、の少なくとも一方を含み、
前記決定部は、前記撮影条件に応じて、前記推定処理の内容として、予め定められた検出箇所として前記撮影画像における前記左側部分を検出する第１処理を含む内容と、前記検出箇所として前記撮影画像における前記右側部分を検出する第２処理を含む内容と、を択一的に決定し、
前記推定部は、前記推定処理において、検出される前記検出箇所を用いて、前記車両位置を推定する、システム。

【請求項4】

請求項３に記載のシステムであって、
前記左側部分と前記右側部分とは、それぞれ、前記車両の車幅方向において互いに対称に位置する部分であり、
前記第１処理と前記第２処理とのいずれか一方は、前記撮影画像を鏡像反転させた反転画像を生成するとともに、前記反転画像において前記検出箇所を検出する処理であり、前記第１処理と前記第２処理とのいずれか他方は、鏡像反転されていない前記撮影画像において前記検出箇所を検出する処理である、システム。

【請求項5】

請求項１から４のいずれか一項に記載のシステムであって、
前記決定部は、前記撮影条件に応じて、前記推定処理において用いられるプログラムを決定することによって、前記推定処理の内容を決定する、システム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、システムに関する。

【背景技術】

【0002】

特許文献１には、車両の製造工程において、遠隔制御によって車両を走行させる技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特表２０１７－５３８６１９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

車両の遠隔制御において、車両が撮影された撮影画像を用いて車両位置を推定する技術を利用できる。こうした車両位置の推定を、撮影画像の撮影条件に関わらず適切に実行するための技術が望まれている。

【課題を解決するための手段】

【0005】

本開示は、以下の形態として実現することが可能である。

【0006】

（１）本開示の一形態によれば、遠隔制御によって走行する車両について前記車両の位置を表す車両位置を推定するために用いられるシステムが提供される。このシステムは、前記車両が撮影された撮影画像を取得する画像取得部と、前記撮影画像を撮影したカメラを特定するカメラ特定部と、特定された前記カメラの撮影条件に応じて、前記撮影画像を用いて前記車両位置を推定する推定処理の内容を決定する決定部と、を備える。
このような形態であれば、撮影画像を撮影したカメラの撮影条件に応じて推定処理の内容を決定できる。そのため、撮影画像が撮影される撮影条件に関わらず、撮影画像を用いた車両位置の推定を適切に実行できる可能性が高まる。
（２）上記形態では、前記推定処理を実行する推定部と、前記推定処理によって推定される前記車両位置を用いて、前記遠隔制御のための制御指令を生成する指令生成部を備えていてもよい。このような形態であれば、推定処理によって推定される適切な車両位置を用いて、遠隔制御のための制御指令を生成できる。
（３）上記形態では、前記撮影画像は、前記車両が有する左側部分と、前記車両が有する右側部分と、の少なくとも一方を含み、前記決定部は、前記撮影条件に応じて、前記推定処理の内容として、予め定められた検出箇所として前記撮影画像における前記左側部分を検出する第１処理を含む内容と、前記検出箇所として前記撮影画像における前記右側部分を検出する第２処理を含む内容と、を択一的に決定し、前記推定部は、前記推定処理において、検出される前記検出箇所を用いて、前記車両位置を推定してもよい。このような形態であれば、推定処理において、撮影画像を撮影したカメラの撮影条件に応じて車両の左側部分や右側部分を検出できるとともに、検出される左側部分や右側部分を用いて車両位置を推定できる。
（４）上記形態では、前記左側部分と前記右側部分とは、それぞれ、前記車両の車幅方向において互いに対称に位置する部分であり、前記第１処理と前記第２処理とのいずれか一方は、前記撮影画像を鏡像反転させた反転画像を生成するとともに、前記反転画像において前記検出箇所を検出する処理であり、前記第１処理と前記第２処理とのいずれか他方は、鏡像反転されていない前記撮影画像において前記検出箇所を検出する処理であってもよい。このような形態であれば、推定処理において第１処理を実行する場合と第２処理を実行する場合とで、撮影画像を鏡像反転させることを除いて同様の手順で、左側部分や右側部分を検出できる。
（５）上記形態では、前記第２決定部は、前記撮影条件に応じて、前記推定処理において用いられるプログラムを決定することによって、前記推定処理の内容を決定してもよい。このような形態であれば、決定部によって推定処理に用いられるプログラムを決定することで、撮影画像を撮影したカメラの撮影条件に応じて推定処理の内容を決定できる。

【0007】

本開示は、上述したシステムとしての形態以外にも、例えば、制御装置や、制御方法や、その制御方法を実現するためのコンピュータプログラム、および、コンピュータプログラムが記録された一時的でない記録媒体などの形態で実現することができる。また、例えば、上記のシステムは、予め準備された機械学習モデルに撮影画像を入力することによって、車両位置を推定してもよい。

【図面の簡単な説明】

【0008】

【図1】システムの構成を示す概念図。

【図2】車両と制御装置との構成を示すブロック図。

【図3】決定処理のフローチャート。

【図4】推定処理のフローチャート。

【図5】推定処理において画像が解析される様子の例を示す説明図。

【図6】他の実施形態において車両を撮影するカメラが決定される例を示す説明図。

【発明を実施するための形態】

【0009】

Ａ．第１実施形態：
図１は、第１実施形態におけるシステム１０の構成を示す概念図である。図２は、車両１００と制御装置２００との構成を示すブロック図である。システム１０は、車両１００を遠隔制御により走行させる遠隔制御システムとして構成されている。システム１０は、１台以上の車両１００と、車両１００の遠隔制御を実行する制御装置２００と、車両１００を含む撮影画像Ｐｉを撮影する複数のカメラ３００と、車両１００の製造工程の管理を行う工程管理装置４００とを備える。

【0010】

本実施形態における車両１００は、電気自動車（ＢＥＶ：Battery Electric Vehicle）である。なお、車両１００は、電気自動車に限られず、例えば、ガソリン自動車や、ハイブリッド自動車や、燃料電池自動車でもよい。

【0011】

本実施形態では、車両１００を製造する工場において、車両１００の遠隔制御が実行される。図１に示すように、本実施形態における工場は、第１場所ＰＬ１と第２場所ＰＬ２とを備えている。第１場所ＰＬ１は、例えば、車両１００の組み立てが実施される場所であり、第２場所ＰＬ２は、例えば、車両１００の検査が実施される場所である。工場内の任意の位置は、基準座標系Σｒのｘｙｚ座標値で表現される。基準座標系Σｒは、例えば、ワールド座標系（グローバル座標系とも呼ばれる）として定義される。

【0012】

第１場所ＰＬ１と第２場所ＰＬ２とは、車両１００が走行可能な走路ＳＲによって接続されている。本実施形態における走路ＳＲは、分岐地点Ｊｃにて２つに分岐した後に合流地点Ｃｆにて合流する走路として構成されている。走路ＳＲは、第１走路ＳＲ１、第２走路ＳＲ２、第３走路ＳＲ３および第４走路ＳＲ４を含んでいる。第１走路ＳＲ１は、第１場所ＰＬ１から第２場所ＰＬ２に向かって真っ直ぐに延びている。第２走路ＳＲ２から第４走路ＳＲ４は、分岐地点Ｊｃと合流地点Ｃｆとを第１走路ＳＲ１とは異なる経路で繋いでいる。なお、走路ＳＲの態様は、上記に限られない。例えば、走路ＳＲは、３つ以上に分岐する走路であってもよいし、分岐しない走路であってもよい。

【0013】

走路ＳＲ上には、車両１００が遠隔制御によって走行する目標ルートが設定される。本実施形態では、走路ＳＲ上には、目標ルートとして、分岐地点Ｊｃを直進する第１ルートＲｔ１と、分岐地点Ｊｃを曲がる第２ルートＲｔ２とが設定される。第１ルートＲｔ１は、第１走路ＳＲ１に対応する。第２ルートＲｔ２は、ルートＲｔ２ａ，Ｒｔ２ｂ，Ｒｔ２ｃ，Ｒｔ２ｄおよびＲｔ２ｅを含んでいる。ルートＲｔ２ａは、第１走路ＳＲ１のうち、分岐地点Ｊｃまでの部分に対応する。ルートＲｔ２ｂは、第２走路ＳＲ２に対応する。ルートＲｔ２ｃは、第３走路ＳＲ３に対応する。ルートＲｔ２ｄは、第４走路ＳＲ４に対応する。ルートＲｔ２ｅは、第１走路ＳＲ１のうち、合流地点Ｃｆ以降の部分に対応する。なお、目標ルートの数や形状や配置等は、上記に限られず任意であってよい。

【0014】

目標ルートは、例えば、以下の条件に応じて決定される。すなわち、その条件は、車両１００の種別（例えば、車種や型式やグレードや動力源）や、車両１００の検査結果や、各走行路の混雑度合いや、次工程の混雑度合い等である。こうした目標ルートの決定には、例えば、後述する車両１００の製造情報を用いることができる。

【0015】

走路ＳＲの周辺には、走路ＳＲ上の車両１００を撮影可能に構成された複数のカメラ３００が設置されている。各カメラ３００は、車両１００が目標ルートの任意の位置に存在する場合に、常に少なくとも１台のカメラ３００が車両１００を撮影できるように配置されている。制御装置２００は、各カメラ３００で撮影される撮影画像Ｐｉを用いて、リアルタイムで、目標ルートに対する車両１００の相対的な位置および向きや、車両１００の走行方向を取得できる。このように検出される位置や向きや走行方向は、車両１００を遠隔制御するための制御指令の生成に用いられる。本実施形態では、各カメラ３００は、走路ＳＲを上方から俯瞰する画像を撮影可能なように配置されている。また、個々のカメラ３００の位置および向きは固定されており、基準座標系Σｒと個々のカメラ３００の装置座標系（以下、カメラ座標系とも呼ぶ）との相対関係は既知である。基準座標系Σｒの座標値と個々のカメラ３００の装置座標系の座標値とを相互に変換するための座標変換行列は、制御装置２００内に予め格納されている。車両１００の遠隔制御では、例えば、車両１００に搭載された車載カメラや、ＬｉＤＡＲ（Light Detection And Ranging）、ミリ波レーダ、超音波センサ、赤外線センサ等の各種センサが補助的に用いられてもよい。

【0016】

本実施形態における制御装置２００は、上述した制御指令を生成して車両１００に送信する遠隔制御装置として構成されている。より詳細には、制御装置２００は、車両１００を目標ルートに沿って走行させるための制御指令を生成し、制御指令を車両１００に送信する。車両１００は、受信した制御指令に従って走行する。従って、システム１０により、クレーンやコンベアなどの搬送装置を用いずに、車両１００を第１場所ＰＬ１から第２場所ＰＬ２まで遠隔制御により移動させることができる。

【0017】

図２に示すように、車両１００は、車両１００の各部を制御するための車両制御装置１１０と、車両制御装置１１０の制御下で駆動するアクチュエータ群１２０と、無線通信により制御装置２００と通信するための通信装置１３０と、車両１００の位置情報を取得するためのＧＮＳＳ（Global Navigation Satellite System）受信機１４０とを備えている。本実施形態では、アクチュエータ群１２０には、車両１００を加速させるための駆動装置のアクチュエータ、車両１００の進行方向を変更するための操舵装置のアクチュエータ、および、車両１００を減速させるための制動装置のアクチュエータが含まれている。駆動装置には、バッテリ、バッテリの電力により駆動する走行用モータ、および、走行用モータにより回転する駆動輪が含まれている。駆動装置のアクチュエータには、走行用モータが含まれている。アクチュエータ群１２０には、車両１００のワイパを揺動させるためのアクチュエータや、車両１００のパワーウィンドウを開閉させるためのアクチュエータ等が含まれてもよい。

【0018】

車両制御装置１１０は、プロセッサ１１１と、メモリ１１２と、入出力インタフェイス１１３と、内部バス１１４とを備えるコンピュータにより構成されている。プロセッサ１１１、メモリ１１２、および、入出力インタフェイス１１３は、内部バス１１４を介して、双方向に通信可能に接続されている。入出力インタフェイス１１３には、アクチュエータ群１２０、通信装置１３０、および、ＧＮＳＳ受信機１４０が接続されている。

【0019】

本実施形態では、プロセッサ１１１は、メモリ１１２に予め記憶されているプログラムＰＧ１を実行することにより、車両制御部１１５および位置情報取得部１１６として機能する。車両制御部１１５は、アクチュエータ群１２０を制御する。車両制御部１１５は、車両１００に運転者が搭乗している場合に、運転者の操作に応じてアクチュエータ群１２０を制御することにより、車両１００を走行させることができる。車両制御部１１５は、車両１００に運転者が搭乗しているか否かにかかわらず、制御装置２００から送信される制御指令に応じてアクチュエータ群１２０を制御することにより、車両１００を走行させることもできる。位置情報取得部１１６は、ＧＮＳＳ受信機１４０を用いて、車両１００の現在地を示す位置情報を取得する。ただし、位置情報取得部１１６とＧＮＳＳ受信機１４０とは、省略可能である。

【0020】

制御装置２００は、プロセッサ２０１と、メモリ２０２と、入出力インタフェイス２０３と、内部バス２０４とを備えるコンピュータにより構成されている。プロセッサ２０１、メモリ２０２、および、入出力インタフェイス２０３は、内部バス２０４を介して、双方向に通信可能に接続されている。入出力インタフェイス２０３には、無線通信により車両１００，カメラ３００，および，工程管理装置４００と通信するための通信装置２０５が接続されている。

【0021】

本実施形態では、プロセッサ２０１は、メモリ２０２に予め記憶されているプログラムＰＧ２を実行することにより、画像取得部２１０、カメラ特定部２１５、カメラ情報取得部２１８、決定部２２０、推定部２５０および指令生成部２６０として機能する。メモリ２０２には、プログラムＰＧ２に加え、設定された目標ルートを表す目標ルートデータＲＤと、後述する対応データ２７１と、推定プログラム２８０とが格納されている。本実施形態における推定プログラム２８０は、後述する第１解析プログラム２８１と第２解析プログラム２８２とを含む包括的なプログラムである。

【0022】

画像取得部２１０は、カメラ３００によって車両１００が撮影された撮影画像Ｐｉを取得する。本実施形態におけるカメラ３００は、図１に示した第１部分Ｄｐ１と第２部分Ｄｐ２との少なくとも一方を映すように撮影画像Ｐｉを撮影する。そのため、本実施形態における撮影画像Ｐｉは、第１部分Ｄｐ１と第２部分Ｄｐ２との少なくとも一方を含む。第１部分Ｄｐ１は、車両１００のうち車幅方向における中央位置よりも左側に位置する左側部分であり、第２部分Ｄｐ２は、車両１００のうち上記の中央位置よりも右側に位置する右側部分である。より具体的には、第１部分Ｄｐ１は、車両１００の左後方角部であり、第２部分Ｄｐ２は、車両１００の右後方角部である。つまり、本実施形態では、第１部分Ｄｐ１と第２部分Ｄｐ２とは車両１００の車幅方向において互いに略対称に位置する部分である。第１部分Ｄｐ１や第２部分Ｄｐ２は、後述する推定処理で検出箇所として検出され得る部分である検出用部位に相当する。検出箇所は、推定処理で車両１００の位置を表す車両位置を推定するのに用いられる箇所である

【0023】

カメラ特定部２１５は、撮影画像Ｐｉを撮影したカメラ３００である撮像カメラを特定する。本実施形態では、画像取得部２１０によって撮影画像Ｐｉが取得された場合に、カメラ特定部２１５は、その撮影画像Ｐｉを制御装置２００へ送信したカメラ３００を撮像カメラとして特定する。本実施形態では、走路ＳＲに対して各カメラ３００の位置および向きは固定されている。そのため、撮像カメラが特定されることは、撮像カメラによる撮影画像Ｐｉの撮影条件が特定されることに相当する。この撮影条件は、撮影画像Ｐｉに含まれる検出用部位に関する条件であり、例えば、撮影画像Ｐｉに検出用部位として含まれ得る車両１００の部位に関する条件や、撮影画像Ｐｉが撮影される向きに関する条件を含む。撮影画像Ｐｉが撮影される向きに関する条件とは、撮影画像Ｐｉの撮影に際して車両１００が撮影される向きに関する条件であり、例えば、車両１００が車両１００の右側と左側とのいずれから撮影されるかを定める条件や、車両１００が車両１００の前方側と後方側とのいずれから撮影されるかを定める条件である。なお、撮影画像Ｐｉが撮影される向きが特定されれば、撮影画像Ｐｉに含まれる検出用部位が特定される。以下では、カメラ３００による撮影画像Ｐｉの撮影条件のことを、単に、「カメラ３００の撮影条件」とも呼ぶ。

【0024】

カメラ情報取得部２１８は、撮像カメラに関するカメラ情報Ｃｉを取得する。本実施形態では、カメラ情報Ｃｉとして、各カメラ３００の識別情報が用いられる。本実施形態では、各カメラ３００は、撮影画像Ｐｉとともに自身の識別情報を制御装置２００に送信するように構成されている。なお、上述したカメラ特定部２１５は、このようにカメラ３００から送信される識別情報を用いて撮像カメラを特定してもよい。また、他の実施形態では、カメラ情報取得部２１８は、カメラ情報Ｃｉを、メモリ２０２に予め格納されたデータベースや、外部のコンピュータや記録媒体等から取得してもよい。

【0025】

本実施形態におけるシステム１０では、車両１００が走行するルートに対応して、撮影画像Ｐｉを撮影するカメラ３００が決定されるように構成されている。図１に示したカメラ３００Ａは、第１ルートＲｔ１やルートＲｔ２ａやルートＲｔ２ｅを走行する車両１００を左後方側から撮影する。カメラ３００Ｂは、ルートＲｔ２ｂを走行する車両１００の右後方側から撮影する。カメラ３００Ｃは、ルートＲｔ２ｃを走行する車両１００を左後方側から撮影する。カメラ３００Ｄは、ルートＲｔ２ｄを走行する車両１００を右後方側から撮影する。本実施形態において、「車両１００を左後方側から撮影する」とは、撮影画像Ｐｉに第１部分Ｄｐ１（左後方角部）が映るように車両１００を左後方側から撮影することを指す。「車両１００を右後方側から撮影する」とは、撮影画像Ｐｉに第２部分Ｄｐ２（右後方角部）が映るように車両１００を右後方側から撮影することを指す。そのため、車両１００が左後方側から撮影された撮影画像Ｐｉは、通常、車両１００が走行する位置によらず第１部分Ｄｐ１を含む。一方で、この撮影画像Ｐｉは、車両１００が走行する位置によって、第２部分Ｄｐ２を含む場合と含まない場合とがある。また、車両１００が左後方側から撮影された撮影画像Ｐｉに第１部分Ｄｐ１と第２部分Ｄｐ２とが含まれる場合、その撮影画像Ｐｉにおいて、第２部分Ｄｐ２は、第１部分Ｄｐ１よりも小さく現れる。同様に、車両１００が右後方側から撮影された撮影画像Ｐｉは、通常、車両１００が走行する位置によらず第２部分Ｄｐ２を含む。一方で、この撮影画像Ｐｉは、車両１００が走行する位置によって、第１部分Ｄｐ１を含む場合と含まない場合とがある。

【0026】

図２に示した推定部２５０は、推定処理を実行する。推定処理は、撮影画像Ｐｉを用いて、遠隔制御対象の車両１００について車両位置を推定する処理である。本実施形態における推定処理は、撮影画像Ｐｉにおける検出箇所を用いて車両位置を推定する処理である。より詳細には、推定処理は、撮影画像Ｐｉを解析することで撮影画像Ｐｉにおいて検出箇所を検出する解析処理と、検出される検出箇所を用いて車両位置を推定する処理とを含む。本実施形態では、推定部２５０によって推定プログラム２８０が実行されることで推定処理が実行される。なお、推定部２５０は、例えば、車両１００の走行履歴や、ＧＮＳＳ受信機１４０で検出された位置情報を用いて、車両１００の位置や向きを推定可能である。また、車両１００の走行方向は、車両１００の向きや走行履歴や制御指令の履歴等を用いて推定可能である。

【0027】

本実施形態における推定部２５０は、解析処理を実行する解析部２５１を有する。本実施形態における解析部２５１は、それぞれ解析プログラムである第１解析プログラム２８１や第２解析プログラム２８２を実行することで、解析処理を実行する。解析プログラムとは、解析プログラムを実行するコンピュータに、撮影画像Ｐｉを解析させて撮影画像Ｐｉにおける検出箇所を検出させる機能を実現させるプログラムである。本実施形態における第１解析プログラム２８１は、車両１００が左後方側から撮影された撮影画像Ｐｉを解析するための解析プログラムであり、検出箇所として第１部分Ｄｐ１を検出するために使用される。また、第２解析プログラム２８２は、車両１００が右後方側から撮影された撮影画像Ｐｉを解析するための解析プログラムであり、検出箇所として第２部分Ｄｐ２を検出するために使用される。

【0028】

決定部２２０は、特定される撮像カメラの撮影条件に応じて推定処理の内容を決定する。本実施形態における決定部２２０は、撮像カメラのカメラ情報Ｃｉに応じて、推定処理で用いられるプログラムを決定することによって、撮像カメラの撮影条件に応じて推定処理の内容を変更する。より詳細には、決定部２２０は、撮像カメラのカメラ情報Ｃｉに応じて、検出用プログラムを決定する。検出用プログラムとは、解析処理で検出箇所の検出に用いられる解析プログラムである。なお、上述したように、本実施形態では、撮像カメラが特定されることは、撮像カメラの撮影条件が特定されることに相当する。そのため、撮像カメラに応じて推定処理の内容を決定することで、撮像カメラの撮影条件に応じて推定処理の内容を決定できる。

【0029】

本明細書において、「撮影条件に応じたプログラムの決定」とは、撮影条件に応じてプログラムの処理工程を決定することを指す。そのため、「撮影条件に応じたプログラムの決定」の意味は、例えば、予め準備された複数のプログラムから、撮影条件に応じて、一の解析プログラムを、決定される対象のプログラムとして選択することを含む。この場合、検出用プログラムの選択は、例えば、複数のプログラムを含む包括的なプログラムにおいて、撮影条件に応じた条件分岐が実行されることによって実現されてもよい。また、「撮影条件に応じたプログラムの決定」の意味は、例えば、プログラムに含まれるコードの一部や全部を撮影条件に応じて書き換えることによって、決定される対象のプログラムを準備することを含む。

【0030】

本実施形態では、決定部２２０は、撮像カメラのカメラ情報Ｃｉを用いて対応データ２７１を参照することで、推定処理の内容を決定する。対応データ２７１は、カメラ情報Ｃｉと、推定処理の内容を決定するための情報との対応関係を記録したデータである。より詳細には、本実施形態における対応データ２７１は、各カメラ３００の識別情報と、推定処理で使用されるプログラムを決定するための情報との対応関係を記録したデータである。本実施形態における対応データ２７１では、カメラ３００Ａおよび３００Ｃの識別情報には、第１解析プログラム２８１を選択するためのパラメータが関連付けられている。また、カメラ３００Ｂおよび３００Ｄの識別情報には、第２解析プログラム２８２を選択するためのパラメータが関連付けられている。他の実施形態では、対応データ２７１は、例えば、各カメラ３００の識別情報と、各カメラ３００の撮影条件と、推定処理の内容を決定するための情報との対応関係を記録したデータであってもよい。

【0031】

指令生成部２６０は、推定された車両１００の位置や向きを用いて、遠隔制御のための制御指令を生成して車両１００に送信する。この制御指令は、メモリ２０２に格納された目標ルートデータＲＤによって表される目標ルートに従って車両１００を走行させる指令である。制御指令は、駆動力又は制動力と、舵角とを含む指令として生成することができる。或いは、制御指令を、車両１００の位置及び向きの少なくとも一方と、今後のルートとを含む指令として生成してもよい。

【0032】

工程管理装置４００は、例えば、コンピュータによって構成され、工場における車両１００の製造工程全般の管理を実行する。例えば、１台の車両１００が目標ルートに沿った走行を開始する際には、その車両１００を識別する識別番号や型式などを示す個体情報が、工程管理装置４００から制御装置２００に送信される。この個体情報は、車両１００の製造工程の管理に用いられる製造情報に相当する。また、制御装置２００で検出された車両１００の位置は、工程管理装置４００にも送信される。なお、工程管理装置４００の機能を、制御装置２００と同じ装置に実装するようにしてもよい。

【0033】

図３は、本実施形態における決定処理のフローチャートである。この決定処理は、本実施形態における制御方法を実現するための処理である。決定処理は、制御装置２００のプロセッサ２０１によって、例えば、所定の時間間隔で実行される。

【0034】

図３のＳ１１０にて、画像取得部２１０は、撮影画像Ｐｉを取得する。Ｓ１２０にて、カメラ特定部２１５は、Ｓ１１０で取得された撮影画像Ｐｉを撮影したカメラ３００を撮像カメラとして特定する。Ｓ１３０にて、カメラ情報取得部２１８は、Ｓ１２０で特定された撮像カメラのカメラ情報Ｃｉを取得する。Ｓ１４０にて、決定部２２０は、取得されたカメラ情報Ｃｉに応じて、検出用プログラムを決定する。本実施形態におけるＳ１４０では、カメラ情報Ｃｉに応じて検出用プログラムが決定されることで、撮像カメラの撮影条件に応じて推定処理の内容が決定される。より具体的には、Ｓ１４０では、解析処理の内容が決定される。

【0035】

図１には、車両１００が第２ルートＲｔ２におけるルートＲｔ２ａを走行している様子が示されている。車両１００がルートＲｔ２ａを走行している場合、撮影画像Ｐｉは、カメラ３００Ａによって撮影される。この場合、図３のＳ１１０では、カメラ３００Ａによって撮影された撮影画像Ｐｉが取得される。Ｓ１２０では、この撮影画像Ｐｉを撮影したカメラ３００Ａが撮像カメラとして特定される。Ｓ１３０では、撮像カメラとして特定されたカメラ３００Ａのカメラ情報Ｃｉが取得される。Ｓ１４０では、取得されたカメラ情報Ｃｉに応じて対応データ２７１が参照されることで、カメラ３００Ａに応じて、検出用プログラムとして第１解析プログラム２８１が決定される。車両１００が第２ルートＲｔ２における他のルートや第１ルートＲｔ１を走行する場合についても、略同様である。

【0036】

図４は、本実施形態における推定処理のフローチャートである。本実施形態では、推定処理は、決定処理が完了するたびに実行される。

【0037】

図４のＳ２１０にて、推定部２５０は、図３のＳ１４０の結果に基づいて、Ｓ１１０で取得された撮影画像Ｐｉの解析に第１解析プログラム２８１を用いるか否かを判定する。Ｓ２１０で第１解析プログラム２８１を用いると判定された場合、解析部２５１は、Ｓ２２０からＳ２３０にて、第１解析プログラム２８１によって実現される第１処理を実行する。第１処理は、検出箇所として第１部分Ｄｐ１を検出するための処理である。Ｓ２１０で第１解析プログラム２８１を用いると判定されなかった場合、解析部２５１は、Ｓ２１５からＳ２３０にて、第２解析プログラム２８２によって実現される第２処理を実行する。第２処理は、検出箇所として第２部分Ｄｐ２を検出するための処理である。なお、以下では、第１解析プログラム２８１によって実現されるＳ２２０をＳ２２０Ａとも表記し、第２解析プログラム２８２によって実現されるＳ２２０をＳ２２０Ｂとも表記する。Ｓ２２５およびＳ２３０についても略同様である。

【0038】

本実施形態における第２処理は、第１処理とは違って、Ｓ２１５の反転処理を含む。反転処理とは、撮影画像Ｐｉを鏡像反転させた反転画像を生成する処理である。この結果、Ｓ２２０ＡからＳ２３０Ａでは鏡像反転されていない撮影画像Ｐｉが解析されるのに対し、Ｓ２２０ＢからＳ２３０Ｂでは反転画像が解析される。このように画像を鏡像反転させる処理は、「フリップ」とも呼ばれる。第１処理と第２処理とは、第２処理が反転処理を含むことを除いて略同様である。そのため、Ｓ２２０ＢからＳ２３０Ｂでは、Ｓ２２０ＡからＳ２３０Ａと同様のアルゴリズムを用いて、つまり、同様の手順で反転画像を解析することが可能である。より詳細には、検出箇所として第１部分Ｄｐ１が用いられる場合、Ｓ２２０ＡからＳ２３０Ａにて、第１部分Ｄｐ１は、反転されていない撮影画像Ｐｉにおける左後方角部として検出される。一方で、検出箇所として第２部分Ｄｐ２が用いられる場合、実際には右後方角部である第２部分Ｄｐ２は、Ｓ２２０ＢからＳ２３０Ｂにて、擬似的に反転画像における左後方角部として検出される。つまり、本実施形態では、反転画像において、第２部分Ｄｐ２は、鏡像反転されていない撮影画像Ｐｉにおける第１部分Ｄｐ１に相当する部分として検出される。

【0039】

図５は、推定処理において画像Ｉｍ１が解析される様子の例を示す説明図である。図５に示した画像Ｉｍ１は、走路ＳＲを走行する車両１００が撮影された画像である。画像Ｉｍ１は、互いに直交するＸｃ軸およびＹｃ軸を座標軸として有し、カメラ３００の焦点を原点とするカメラ座標系で表される。画像Ｉｍ１は、反転画像であってもよいし、鏡像反転されていない撮影画像Ｐｉであってもよい。画像Ｉｍ１に対しては、例えば、歪みを補正する歪み補正処理や、画像Ｉｍ１における車両１００の移動ベクトルＶの方向が所定の方向を向くように画像Ｉｍ１を回転させる回転処理や、画像Ｉｍ１から車両１００を含まない不要領域を削除するクロップ処理といった各種の補正や前処理が行われてもよい。移動ベクトルＶの大きさや方向の検出には、例えば、オプティカルフロー法が用いられる。

【0040】

図４のＳ２２０からＳ２３０にて、解析部２５１は、解析処理を実行する。本実施形態における解析処理では、解析部２５１は、画像Ｉｍ１を用いて、図５に示した測位点ＰＰの座標を算出することによって、測位点ＰＰを検出する。測位点ＰＰの座標は、後述する画像座標系における検出箇所の近傍の座標として算出される。このように検出される測位点ＰＰは、撮影画像Ｐｉにおける検出箇所を表す。

【0041】

Ｓ２２０にて、解析部２５１は、画像Ｉｍ１における車両１００を検出する検出処理として、マスク処理を実行する。マスク処理は、画像Ｉｍ１における車両１００を検出するとともに、画像Ｉｍ１において当該車両１００を含む対象領域をマスクすることで、対象領域がマスクされたマスク領域Ｍｓを含む画像Ｉｍ２を生成する処理である。マスク処理では、推定部２５０は、例えば、入力画像に含まれる車両１００をマスクするように機械学習された機械学習モデル（図示せず）に画像Ｉｍ１を入力することで画像Ｉｍ２を生成する。この機械学習モデルとしては、例えば、セマンティックセグメンテーションやインスタンスセグメンテーションを実現する畳み込みニューラルネットワーク（以下、ＣＮＮとも呼ぶ）の構造を有するディープニューラルネットワーク（以下、ＤＮＮとも呼ぶ）が用いられる。なお、機械学習モデルは、例えば、ニューラルネットワーク以外のアルゴリズムを用いて機械学習されてもよい。

【0042】

Ｓ２２５にて、解析部２５１は、透視変換処理を実行する。透視変換処理は、画像Ｉｍ２を透視変換することによって、画像Ｉｍ３を生成する処理である。透視変換処理では、解析部２５１は、例えば、カメラ３００の位置情報や内部パラメータに関する透視変換パラメータを用いて、画像Ｉｍ２を、走路ＳＲの路面に略垂直な車両１００の上方（例えば、車両１００の真上）から見た鳥瞰画像に透視変換する。画像Ｉｍ３は、画像座標系で表される。画像座標系は、透視変換によって投影される画像平面の一点を原点とし、互いに直交するＸｉ軸とＹｉ軸とを座標軸として有する座標系である。画像Ｉｍ３は、透視変換により変形されたマスク領域Ｍｓに相当するマスク領域Ｍｓｂを含む。

【0043】

Ｓ２３０にて、解析部２５１は、測位点ＰＰの座標を算出する測位点算出処理を実行する。本実施形態における測位点算出処理では、解析部２５１は、第１座標点Ｐ１の座標（Ｘｉ１，Ｙｉ１）と第２座標点Ｐ２の座標（Ｘｉ２，Ｙｉ２）とを用いて測位点ＰＰの座標を算出する。

【0044】

第１座標点Ｐ１は、画像Ｉｍ２における四角形Ｒ１ｂの頂点のうち、画像Ｉｍ１におけるベース座標点Ｐ０に対応する座標点として特定される。四角形Ｒ１ｂは、透視変換により変形した第１外接矩形Ｒ１に相当する。第１外接矩形Ｒ１は、画像Ｉｍ２において、マスク領域Ｍｓに外接し、かつ、移動ベクトルＶと平行な長辺を有する矩形である。ベース座標点Ｐ０は、この第１外接矩形Ｒ１の頂点のうち、車両１００の検出箇所に対応する頂点を表す座標点である。より詳細には、ベース座標点Ｐ０は、第１外接矩形Ｒ１の頂点のうち、移動ベクトルＶの方向を前方としたときに車両１００の重心Ｃに対して左方かつ後方に位置する頂点を表す座標点である。第２座標点Ｐ２は、画像Ｉｍ２における第２外接矩形Ｒ２の４つの頂点のうち、車両１００の検出箇所に対応する頂点を表す座標点である。より詳細には、第２座標点Ｐ２は、第２外接矩形Ｒ２の頂点のうち、移動ベクトルＶの方向を前方としたときに重心Ｃに対して左方かつ後方に位置する頂点を表す座標である。第２外接矩形Ｒ２は、マスク領域Ｍｓｂに外接し、かつ、Ｘｉ軸に平行な辺とＹｉ軸に平行な辺とを有する矩形である。このように、第１座標点Ｐ１と第２座標点Ｐ２とは、ともに検出箇所に応じて定まる座標点であるため、互いに相関関係を有する。

【0045】

座標値Ｘｉ１が座標値Ｘｉ２よりも大きい場合、推定部２５０は、測位点ＰＰのＸｉ座標値を座標値Ｘｉ１に決定する。反対に、座標値Ｘｉ１が座標値Ｘｉ２よりも小さい場合、推定部２５０は、Ｘｉ座標値を座標値Ｘｉ２に決定する。略同様に、座標値Ｙｉ１が座標値Ｙｉ２よりも大きい場合、測位点ＰＰのＹｉ座標値が座標値Ｙｉ１に決定される。座標値Ｙｉ１が座標値Ｙｉ２よりも小さい場合、Ｙｉ座標値が座標値Ｙｉ２に決定される。このようにＸｉ座標値およびＹｉ座標値が決定されることで、測位点ＰＰが検出される。

【0046】

Ｓ２３５にて、推定部２５０は、車両座標算出処理を実行する。車両座標算出処理は、測位点ＰＰを用いて車両座標点を算出する処理である。車両座標点は、基準座標系Σｒにおいて測位点ＰＰを表す座標点である。Ｓ２３５では、推定部２５０は、例えば、予め定められた推定式と、Ｓ２３０で算出された測位点ＰＰの座標値とを用いて、車両座標点を算出する。指令生成部２６０は、推定処理で算出される車両座標点を車両位置として用いて、制御指令を生成する。こうして生成される制御指令は、車両１００に送信される。つまり、本実施形態では、車両座標点を算出することは、車両位置を推定することに相当する。なお、撮影画像Ｐｉを用いた車両位置の推定手法は、上記に限られない。例えば、マスク処理とは異なる処理によって撮影画像Ｐｉにおける車両１００が検出されてもよいし、透視変換処理や測位点算出処理とは異なる処理によって撮影画像Ｐｉにおける検出箇所が検出されてもよいし、車両座標算出処理とは異なる処理によって車両位置を表す座標点が算出されてもよい。

【0047】

以上で説明した本実施形態におけるシステム１０によれば、撮像カメラの撮影条件に応じて推定処理の内容を決定できる。そのため、例えば、カメラ３００ごとに撮影条件が異なる場合であっても、撮影条件に関わらず、車両位置の推定を適切に実行できる可能性が高まる。また、推定処理によって推定される車両位置を用いて制御指令が生成されるので、適切な制御指令が生成される可能性が高まる。そのため、適切に車両１００を遠隔制御できる可能性が高まる。

【0048】

また、本実施形態では、決定部２２０は、撮像カメラの撮影条件に応じて、推定処理の内容として、第１処理を含む内容と第２処理を含む内容とを択一的に決定する。第１処理は、撮影画像Ｐｉにおける第１部分Ｄｐ１（左側部分）を検出する処理である。第２処理は、撮影画像Ｐｉにおける第２部分Ｄｐ２（右側部分）を検出する処理である。このようにすれば、推定処理において、撮像カメラの撮影条件に応じて、撮影画像Ｐｉにおける左側部分や右側部分を検出でき、検出される左側部分や右側部分を用いて車両位置を推定できる。左側部分や右側部分は、走路ＳＲの左脇や右脇にカメラ３００を設置することで、カメラ３００によって容易に撮影可能である。特に、本実施形態では、第１部分Ｄｐ１は、左後方角部であり、第２部分Ｄｐ２は、右後方角部である。そのため、走路ＳＲの左脇や右脇に設置されたカメラ３００によって、車両１００の後方から車両１００を撮影することで、第１部分Ｄｐ１や第２部分Ｄｐ２を含む撮影画像Ｐｉを容易に撮影できる。

【0049】

また、本実施形態では、第１処理は、鏡像反転されていない撮影画像Ｐｉにおいて第１部分Ｄｐ１を検出する処理である。第２処理は、撮影画像Ｐｉを鏡像反転させた反転画像を生成するとともに、反転画像中において、車幅方向において第１部分Ｄｐ１に対して対称に位置する第２部分Ｄｐ２を検出する処理である。そのため、推定処理において第１処理を実行する場合と第２処理を実行する場合とで、撮影画像Ｐｉを鏡像反転させることを除いて同様の手順で、第１部分Ｄｐ１や第２部分Ｄｐ２を検出できる。なお、他の実施形態では、例えば、第１処理が反転処理を含み、かつ、第２処理が反転処理を含んでいなくてもよい。

【0050】

また、本実施形態では、決定部２２０は、特定される撮像カメラに応じて、推定処理で用いられるプログラムを決定する。そのため、決定部２２０によってプログラムを決定することで、撮像カメラの撮影条件に応じて推定処理の内容を決定できる。

【0051】

Ｂ．他の実施形態：
（Ｂ１）上記実施形態では、システム１０は、車両１００やカメラ３００や推定部２５０や指令生成部２６０を備える遠隔制御システムとして構成されているが、このように構成されていなくてもよい。例えば、システム１０は、推定処理の内容を決定するとともに、その決定結果を、車両１００やカメラ３００や推定部２５０や指令生成部２６０を備える他のシステムに送信するシステムとして構成されていてもよい。この場合、システム１０は、例えば、車両１００とカメラ３００と推定部２５０と指令生成部２６０との一部や全部を備えていなくてもよい。また、この場合、システム１０は、例えば、決定結果とともに撮影画像Ｐｉを他のシステムに送信するように構成されていてもよい。この場合、他のシステムに備えられた推定部２５０は、推定処理において、システム１０から送信される撮影画像Ｐｉを取得してもよい。

【0052】

（Ｂ２）上記実施形態では、車両１００が走行するルートに対応して、その車両１００を撮影するカメラ３００が決定されるように構成されている。車両１００を撮影するカメラ３００が決定される条件としては、上記のルートに関する条件に代えて、あるいは、これに加えて、他の条件が適用されてもよい。

【0053】

例えば、図６は、他の実施形態において車両１００を撮影するカメラ３００が決定される例を示す説明図である。図６は、車両１００が走路ＳＲｂ上の第３ルートＲｔ３を走行する様子を示している。図６の例では、第３ルートＲｔ３を走行する車両１００を撮影するカメラ３００は、その車両１００の走行タイミングによって決定される。このようにすることで、例えば、遠隔制御によって車両１００が屋外を走行する場合に、日光の影響によって推定処理に適していない撮影画像Ｐｉが撮影されることを抑制できる。より詳細には、図６の例では、時間帯ＴＰ１においては、カメラ３００Ｅが車両１００を撮影し、時間帯ＴＰ１以外の時間帯においては、カメラ３００Ｆが車両１００を撮影するように構成されている。カメラ３００Ｅは、車両１００を左後方側から撮影する。カメラ３００Ｆは、車両１００を右後方側から撮影する。図６の例では、例えば、対応データ２７１において、カメラ３００Ｅのカメラ情報Ｃｉと、第１解析プログラム２８１を選択するためのパラメータとが関連付けられ、カメラ３００Ｆのカメラ情報Ｃｉと、第２解析プログラム２８２を選択するためのパラメータとが関連付けられる。このような形態であっても、第１実施形態と同様に、撮像カメラの撮影条件に応じて推定処理の内容を決定できる。このように、撮像カメラの撮影条件に応じて推定処理の内容を決定するように制御装置２００やシステム１０を構成することで、撮影画像Ｐｉを撮影するカメラ３００が決定される方式によらず、推定処理の内容を適切に決定できる可能性が高まる。そのため、制御装置２００やシステム１０を種々の遠隔制御システムに適用しやすくなる。

【0054】

（Ｂ３）上記実施形態では、第１処理や第２処理に反転処理が含まれているが、反転処理が含まれていなくてもよい。この場合、推定部２５０は、検出箇所として第１部分Ｄｐ１と第２部分Ｄｐ２とのいずれを検出する場合であっても、鏡像反転されていない撮影画像Ｐｉにおいて第１部分Ｄｐ１や第２部分Ｄｐ２を検出するようにしてもよい。

【0055】

（Ｂ４）上記実施形態では、第１部分Ｄｐ１と第２部分Ｄｐ２とは、車幅方向において互いに対称に位置する部分でなくてもよい。例えば、第１部分Ｄｐ１や第２部分Ｄｐ２として、それぞれ、車両１００の左後方角部と右前方角部とが用いられてもよい。また、検出箇所として車両１００の左側部分や右側部分が用いられなくてもよい。また、検出箇所として用いられる部位の数は、３つ以上であってもよいし、１つであってもよい。

【0056】

（Ｂ５）上記実施形態では、決定部２２０は、推定処理で用いられるプログラムを撮像カメラの撮影条件に応じて決定しているが、このようにしなくてもよい。例えば、撮影条件が種々異なる場合であっても、推定処理に同一のプログラムが使用されてもよい。この場合、決定部２２０は、推定処理において使用するパラメータを撮像カメラの撮影条件に応じて決定することで、推定処理の内容を撮像カメラの撮影条件に応じて決定してもよい。

【0057】

（Ｂ６）上記実施形態では、カメラ情報Ｃｉとして、カメラ３００の撮影条件を表す情報が用いられてもよく、例えば、カメラ３００によって撮影される撮影画像Ｐｉに含まれ得る検出用部位に関する情報が用いられてもよい。この場合、カメラ情報Ｃｉとしては、例えば、カメラ３００が車両１００を撮影する向きを表す情報が用いられてもよいし、カメラ３００が撮影し得る検出用部位を表す情報が用いられてもよい。このようなカメラ情報Ｃｉを用いることで、例えば、走路ＳＲに対して各カメラ３００の位置や向きが固定されていない場合であっても、撮像カメラの撮影条件に応じて推定処理の内容を決定できる。つまり、この場合、カメラ３００は、例えば、制御装置２００や工程管理装置４００によって、その走路ＳＲに対する位置や向きが変更可能に構成されていてもよい。このようにすれば、カメラ３００の撮影条件を、例えば、車両１００が走行するタイミングや車両１００の位置に応じて変更することができる。

【0058】

（Ｂ７）上記実施形態において、車両１００は、遠隔制御により移動可能な構成を備えていれば良く、例えば、以下に述べる構成を備えるプラットフォームの形態であっても良い。具体的には、車両１００は、遠隔制御により「走る」、「曲がる」、「止まる」の３つの機能を発揮するために、少なくとも、車両制御部１１５と通信装置１３０とを備えていれば良い。すなわち、遠隔制御により移動可能な車両１００は、運転席やダッシュボードなどの内装部品の少なくとも一部が装着されていなくてもよく、バンパーやフェンダーなどの外装部品の少なくとも一部が装着されていなくてもよく、ボディシェルが装着されていなくてもよい。この場合、車両１００が工場から出荷されるまでの間に、ボディシェル等の残りの部品が車両１００に装着されてもよいし、ボディシェル等の残りの部品が車両１００に装着されていない状態で、車両１００が工場から出荷された後にボディシェル等の残りの部品が車両１００に装着されてもよい。なお、プラットフォームの形態に対しても、各実施形態における車両１００と同様にして位置決定がなされ得る。

【0059】

本開示は、上述の実施形態に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態中の技術的特徴は、上述の課題の一部又は全部を解決するために、あるいは、上述の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。

【符号の説明】

【0060】

１０…システム、１００…車両、１１０…車両制御装置、１１１…プロセッサ、１１２…メモリ、１１３…入出力インタフェイス、１１４…内部バス、１１５…車両制御部、１１６…位置情報取得部、１２０…アクチュエータ群、１３０…通信装置、１４０…ＧＮＳＳ受信機、２００…制御装置、２０１…プロセッサ、２０２…メモリ、２０３…入出力インタフェイス、２０４…内部バス、２０５…通信装置、２１０…画像取得部、２１５…カメラ特定部、２１８…カメラ情報取得部、２２０…決定部、２５０…推定部、２５１…解析部、２６０…指令生成部、２７１…対応データ、２８０…推定プログラム、２８１…第１解析プログラム、２８２…第２解析プログラム、３００，３００Ａ，３００Ｂ，３００Ｃ，３００Ｄ，３００Ｅ，３００Ｆ…カメラ、４００…工程管理装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】