IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ トヨタ自動車株式会社の特許一覧

<>
  • 特開-システム 図1
  • 特開-システム 図2
  • 特開-システム 図3
  • 特開-システム 図4
  • 特開-システム 図5
  • 特開-システム 図6
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2025003089
(43)【公開日】2025-01-09
(54)【発明の名称】システム
(51)【国際特許分類】
   G06T 7/70 20170101AFI20241226BHJP
   G06T 7/00 20170101ALI20241226BHJP
   G08G 1/09 20060101ALI20241226BHJP
   G16Y 10/40 20200101ALI20241226BHJP
   G16Y 20/20 20200101ALI20241226BHJP
   G16Y 40/30 20200101ALI20241226BHJP
【FI】
G06T7/70 A
G06T7/00 650B
G08G1/09 V
G16Y10/40
G16Y20/20
G16Y40/30
【審査請求】未請求
【請求項の数】5
【出願形態】OL
(21)【出願番号】P 2023103571
(22)【出願日】2023-06-23
(71)【出願人】
【識別番号】000003207
【氏名又は名称】トヨタ自動車株式会社
(74)【代理人】
【識別番号】110000028
【氏名又は名称】弁理士法人明成国際特許事務所
(72)【発明者】
【氏名】岩堀 健人
(72)【発明者】
【氏名】横山 大樹
【テーマコード(参考)】
5H181
5L096
【Fターム(参考)】
5H181AA01
5H181BB04
5H181BB20
5H181CC02
5H181CC03
5H181CC04
5H181CC11
5H181CC12
5H181CC14
5H181EE02
5H181FF04
5H181FF13
5H181FF27
5H181MC19
5H181MC27
5L096BA04
5L096CA05
5L096EA26
5L096EA35
5L096FA09
5L096FA69
5L096GA06
5L096GA41
5L096HA04
5L096HA11
5L096JA11
5L096JA13
5L096JA16
5L096KA04
(57)【要約】
【課題】車両が撮影された画像を用いた車両位置の推定を適切に実行する。
【解決手段】遠隔制御によって走行する車両について車両位置を推定するために用いられるシステムは、車両が撮影された複数の撮影画像を取得する画像取得部であって、複数の撮影画像は、複数のカメラによって撮影される、画像取得部と、撮影画像における車両の検出に影響を与え得る撮影画像の特徴量に関する評価を、撮影画像ごとに実行する評価部と、評価の結果に応じて、各撮影画像から、車両位置を推定するための推定処理に用いられる推定用画像を決定する第1決定部とを備える。
【選択図】図2
【特許請求の範囲】
【請求項1】
遠隔制御によって走行する車両について前記車両の車両位置を推定するために用いられるシステムであって、
前記車両が撮影された複数の撮影画像を取得する画像取得部であって、前記複数の撮影画像は、複数のカメラによって撮影される、画像取得部と、
前記撮影画像における前記車両の検出に影響を与え得る前記撮影画像の特徴量に関する評価を、前記撮影画像ごとに実行する評価部と、
前記評価の結果に応じて、各前記撮影画像から、前記車両位置を推定するための推定処理に用いられる推定用画像を決定する第1決定部と、を備える、システム。
【請求項2】
請求項1に記載のシステムであって、
前記評価部は、
前記評価において、前記撮影画像の色調に関する特徴量と、予め準備される基準画像の色調に関する特徴量と、の差異を表す値を、前記撮影画像ごとに算出し、
前記評価の結果として、各前記値を出力する、システム。
【請求項3】
請求項1に記載のシステムであって、
前記推定用画像を撮影した前記カメラの撮影条件に応じて、前記推定処理の内容を決定する第2決定部を備える、システム。
【請求項4】
請求項3に記載のシステムであって、
前記第2決定部は、前記撮影条件に応じて、前記推定処理において用いられるプログラムを決定することによって、前記推定処理の内容を決定する、システム。
【請求項5】
請求項1から4のいずれか一項に記載のシステムであって、
前記推定用画像を用いた前記推定処理を実行する推定部と、
前記推定処理によって推定される前記車両位置を用いて、前記遠隔制御のための制御指令を生成する指令生成部と、を備える、システム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、システムに関する。
【背景技術】
【0002】
特許文献1には、車両の製造工程において、遠隔制御によって車両を走行させる技術が開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特表2017-538619号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
車両の遠隔制御において、車両が撮影された撮影画像を用いて車両位置を推定する技術を利用できる。こうした車両位置の推定を適切に実行するための技術が望まれている。
【課題を解決するための手段】
【0005】
本開示は、以下の形態として実現することが可能である。
【0006】
(1)本開示の一形態によれば、遠隔制御によって走行する車両について前記車両の位置を表す車両位置を推定するために用いられるシステムが提供される。このシステムは、前記車両が撮影された複数の撮影画像を取得する画像取得部であって、前記複数の撮影画像は、複数のカメラによって撮影される、画像取得部と、前記撮影画像における前記車両の検出に影響を与え得る前記撮影画像の特徴量に関する評価を、前記撮影画像ごとに実行する評価部と、前記評価の結果に応じて、各前記撮影画像から、前記車両位置を推定するための推定処理に用いられる推定用画像を決定する第1決定部と、を備える。
このような形態であれば、複数のカメラによって撮影された複数の撮影画像の特徴量に関する評価結果に応じて、各撮影画像から、推定処理に用いられる推定用画像を決定できる。そのため、車両位置の推定を適切に実行できる可能性が高まる。
(2)上記形態では、前記評価部は、前記評価において、前記撮影画像の色調に関する特徴量と、予め準備される基準画像の色調に関する特徴量と、の差異を表す値を、前記撮影画像ごとに算出し、前記評価の結果として、各前記値を出力してもよい。このような形態であれば、色調は、撮影画像における車両の検出に影響を与え得る因子と良好に相関するので、撮影画像と基準画像との色調に関する特徴量を比較することで、各撮影画像の特徴量に関する評価を効果的に実行できる。
(3)上記形態では、前記推定用画像を撮影した前記カメラの撮影条件に応じて、前記推定処理の内容を決定する第2決定部を備えていてもよい。このような形態であれば、推定用画像を撮影したカメラの撮影条件に応じて推定処理の内容を決定できる。そのため、推定処理において車両位置をより精度良く推定できる可能性が高まる。
(4)上記形態では、前記第2決定部は、前記撮影条件に応じて、前記推定処理において用いられるプログラムを決定することによって、前記推定処理の内容を決定してもよい。このような形態であれば、第2決定部によってプログラムを決定することで、推定用画像を撮影したカメラの撮影条件に応じて推定処理の内容を決定できる。
(5)上記形態では、前記推定用画像を用いた前記推定処理を実行する推定部と、前記推定処理によって推定される前記車両位置を用いて、前記遠隔制御のための制御指令を生成する指令生成部と、を備えていてもよい。このような形態であれば、推定処理によって推定される適切な車両位置を用いて、遠隔制御のための制御指令を生成できる。
【0007】
本開示は、上述したシステムとしての形態以外にも、例えば、制御装置や、制御方法や、その制御方法を実現するためのコンピュータプログラム、および、コンピュータプログラムが記録された一時的でない記録媒体などの形態で実現することができる。また、例えば、上記のシステムは、予め準備された機械学習モデルに撮影画像を入力することによって、特徴量に関する評価を実行してもよい。
【図面の簡単な説明】
【0008】
図1】システムの構成を示す概念図である。
図2】車両と制御装置との構成を示すブロック図である。
図3】決定処理のフローチャートである。
図4】決定処理を説明する図である。
図5】推定処理のフローチャートである。
図6】推定処理において画像が解析される様子の例を示す説明図である。
【発明を実施するための形態】
【0009】
A.第1実施形態:
図1は、第1実施形態におけるシステム10の構成を示す概念図である。図2は、車両100と制御装置200との構成を示すブロック図である。システム10は、車両100を遠隔制御により走行させる遠隔制御システムとして構成されている。システム10は、1台以上の車両100と、車両100の遠隔制御を実行する制御装置200と、車両100が撮影された撮影画像Piを撮影する複数のカメラ301を含むカメラ群300と、車両100の製造工程の管理を行う工程管理装置400とを備える。
【0010】
本実施形態における車両100は、電気自動車(BEV:Battery Electric Vehicle)である。なお、車両100は、電気自動車に限られず、例えば、ガソリン自動車や、ハイブリッド自動車や、燃料電池自動車でもよい。
【0011】
本実施形態では、車両100を製造する工場において、車両100の遠隔制御が実行される。図1に示すように、本実施形態における工場は、第1場所PL1と第2場所PL2とを備えている。第1場所PL1は、例えば、車両100の組み立てが実施される場所であり、第2場所PL2は、例えば、車両100の検査が実施される場所である。工場内の任意の位置は、基準座標系Σrのxyz座標値で表現される。基準座標系Σrは、例えば、ワールド座標系(グローバル座標系とも呼ばれる)として定義される。
【0012】
第1場所PL1と第2場所PL2とは、車両100が走行可能な走路SRによって接続されている。走路SRは、図1に示すような一連の走路でなくてもよく、例えば、途中で複数の走路に分岐する走路や、複数の走路が途中で合流する走路であってもよい。走路SRには、車両100が遠隔制御によって走行する目標ルートが設定される。本実施形態における目標ルートは、ルートRt1,Rt2およびRt3を含む。目標ルートは、車両100の種別(例えば、車種や型式やグレードや動力源)や、車両100の検査結果や、走路の混雑度合いや、次工程の混雑度合い等に応じて決定されてもよい。こうした目標ルートの決定には、例えば、後述する製造情報が用いられてもよい。
【0013】
走路SRの周辺には、複数のカメラ301が設置されている。各カメラ301は、車両100が目標ルートの任意の位置に存在する場合に、常に少なくとも1台のカメラ301が車両100を撮影できるように配置されている。制御装置200は、各カメラ301によって撮影される撮影画像Piを用いて、リアルタイムで、目標ルートに対する車両100の相対的な位置および向きや、車両100の走行方向を取得することができる。このように検出される位置や向きや走行方向は、車両100を遠隔制御するための制御指令の生成に用いられる。本実施形態では、各カメラ301は、走路SRを上方から俯瞰する画像を撮影可能なように配置されている。また、個々のカメラ301の位置は固定されており、基準座標系Σrと個々のカメラ301の装置座標系(以下、カメラ座標系とも呼ぶ)との相対関係は既知である。基準座標系Σrの座標値と個々のカメラ301の装置座標系の座標値とを相互に変換するための座標変換行列は、制御装置200内に予め格納されている。なお、車両100の遠隔制御では、例えば、車両100に搭載された各種の車載カメラや、LiDAR(Light Detection And Ranging)、ミリ波レーダ、超音波センサ、赤外線センサ等の各種センサが補助的に用いられてもよい。
【0014】
本実施形態における制御装置200は、上述した制御指令を生成して車両100に送信する遠隔制御装置として構成されている。より詳細には、制御装置200は、車両100を目標ルートに沿って走行させるための制御指令を生成し、制御指令を車両100に送信する。車両100は、受信した制御指令に従って走行する。従って、システム10により、クレーンやコンベアなどの搬送装置を用いずに、車両100を第1場所PL1から第2場所PL2まで遠隔制御により移動させることができる。
【0015】
図2に示すように、車両100は、車両100の各部を制御するための車両制御装置110と、車両制御装置110の制御下で駆動するアクチュエータ群120と、無線通信により制御装置200と通信するための通信装置130と、車両100の位置情報を取得するためのGNSS(Global Navigation Satellite System)受信機140とを備えている。本実施形態では、アクチュエータ群120には、車両100を加速させるための駆動装置のアクチュエータ、車両100の進行方向を変更するための操舵装置のアクチュエータ、および、車両100を減速させるための制動装置のアクチュエータが含まれている。駆動装置には、バッテリ、バッテリの電力により駆動する走行用モータ、および、走行用モータにより回転する駆動輪が含まれている。駆動装置のアクチュエータには、走行用モータが含まれている。アクチュエータ群120には、さらに、車両100のワイパを揺動させるためのアクチュエータや、車両100のパワーウィンドウを開閉させるためのアクチュエータ等が含まれてもよい。
【0016】
車両制御装置110は、プロセッサ111と、メモリ112と、入出力インタフェイス113と、内部バス114とを備えるコンピュータにより構成されている。プロセッサ111、メモリ112、および、入出力インタフェイス113は、内部バス114を介して、双方向に通信可能に接続されている。入出力インタフェイス113には、アクチュエータ群120、通信装置130、および、GNSS受信機140が接続されている。
【0017】
本実施形態では、プロセッサ111は、メモリ112に予め記憶されているプログラムPG1を実行することにより、車両制御部115および位置情報取得部116として機能する。車両制御部115は、アクチュエータ群120を制御する。車両制御部115は、車両100に運転者が搭乗している場合に、運転者の操作に応じてアクチュエータ群120を制御することにより、車両100を走行させることができる。車両制御部115は、車両100に運転者が搭乗しているか否かにかかわらず、制御装置200から送信される制御指令に応じてアクチュエータ群120を制御することにより、車両100を走行させることもできる。位置情報取得部116は、GNSS受信機140を用いて、車両100の現在地を示す位置情報を取得する。ただし、位置情報取得部116とGNSS受信機140とは、省略可能である。
【0018】
制御装置200は、プロセッサ201と、メモリ202と、入出力インタフェイス203と、内部バス204とを備えるコンピュータにより構成されている。プロセッサ201、メモリ202、および、入出力インタフェイス203は、内部バス204を介して、双方向に通信可能に接続されている。入出力インタフェイス203には、無線通信により車両100,カメラ301,および,工程管理装置400と通信するための通信装置205が接続されている。
【0019】
本実施形態では、プロセッサ201は、メモリ202に予め記憶されているプログラムPG2を実行することにより、画像取得部210、評価部220、第1決定部230、第2決定部240、推定部250、および、指令生成部260として機能する。メモリ202には、プログラムPG2に加え、後述する対応データ271と、推定プログラム280と、基準データ275とが格納されている。本実施形態における推定プログラム280は、後述する第1解析プログラム281と第2解析プログラム282とを含む包括的なプログラムである。基準データ275は、後述する基準画像に関するデータを含む。
【0020】
画像取得部210は、撮影画像Piをカメラ301から取得する。より詳細には、画像取得部210は、後述するように、複数のカメラ301によって撮影される複数の撮影画像Piを、各カメラ301から取得する。撮影画像Piは、例えば、カラー画像であると好ましいが、グレースケール画像であってもよい。本実施形態におけるカメラ301は、図1に示した第1部分Dp1と第2部分Dp2との少なくとも一方を映すように撮影画像Piを撮影する。第1部分Dp1は、車両100のうち車幅方向における中央位置よりも左側に位置する左側部分であり、第2部分Dp2は、車両100のうち上記の中央位置よりも右側に位置する右側部分である。より具体的には、第1部分Dp1は、車両100の左後方角部であり、第2部分Dp2は、車両100の右後方角部である。つまり、本実施形態では、第1部分Dp1と第2部分Dp2とは車両100の車幅方向において互いに略対称に位置する部分である。第1部分Dp1や第2部分Dp2は、後述する推定処理で検出箇所として検出され得る部分である検出用部位に相当する。検出箇所は、推定処理で車両100の位置を表す車両位置を推定するのに用いられる箇所である。
【0021】
本実施形態におけるシステム10では、図1に示したカメラ301Aおよびカメラ301Bは、ルートRt1を走行する車両100を撮影する。カメラ301Cおよびカメラ301Dは、ルートRt2を走行する車両100を撮影する。カメラ301Eおよびカメラ301Fは、ルートRt3を走行する車両100を撮影する。また、カメラ301A,301Cおよび301Eは、走路SRを走行する車両100を左後方側から撮影する。カメラ301B,301Dおよび301Fは、走路SRを走行する車両100の右後方側から撮影する。本実施形態において、「車両100を左後方側から撮影する」とは、撮影画像Piに第1部分Dp1(左後方角部)が映るように車両100を左後方側から撮影することを指す。「車両100を右後方側から撮影する」とは、撮影画像Piに第2部分Dp2(右後方角部)が映るように車両100を右後方側から撮影することを指す。そのため、車両100が左後方側から撮影された撮影画像Piは、通常、車両100が走行する位置によらず第1部分Dp1を含む。一方で、この撮影画像Piは、車両100が走行する位置によって、第2部分Dp2を含む場合と含まない場合とがある。また、車両100が左後方側から撮影された撮影画像Piに第1部分Dp1と第2部分Dp2とが含まれる場合、その撮影画像Piにおいて、第2部分Dp2は、第1部分Dp1よりも小さく現れる。同様に、車両100が右後方側から撮影された撮影画像Piは、通常、車両100が走行する位置によらず第2部分Dp2を含む。一方で、この撮影画像Piは、車両100が走行する位置によって、第1部分Dp1を含む場合と含まない場合とがある。
【0022】
図2に示した評価部220は、画像取得部210によって取得される撮影画像Piごとに、画像評価を実行する。画像評価は、撮影画像Piの特徴量に関する評価である。この特徴量は、撮影画像Piにおける車両100の検出に影響を与え得る特徴量であり、撮影画像Piにおける影響因子を反映する。影響因子は、撮影画像Piに映り込む異物や反射光や影といった外乱に関する外乱因子や、外乱因子とは異なる内的因子を含む。内的因子は、例えば、カメラ301の異常や、カメラ301と制御装置200との間の通信の遅延や異常であり、撮影画像Piにおけるノイズや画質低下等を生じさせる。撮影画像Piに映り込む異物は、例えば、撮影画像Piを撮影するカメラ301のレンズに付着した木の葉や塵、あるいは、走路SR上の水溜まりや、水溜まりに映された車両100の像である。こうした影響因子は、撮影画像Piにおける車両100の検出に影響を与え得る。例えば、外乱因子は、撮影画像Piにおいて車両100に重なるように現れる場合や、撮影画像Piにおいて外乱因子が車両100として誤検出され得る外観で現れる場合がある。
【0023】
本実施形態における画像評価では、撮影画像Piの色調に関する特徴量が評価される。「撮影画像Piの色調に関する特徴量の評価」とは、撮影画像Piの明度と彩度と色相との少なくともいずれかに関する特徴量の評価を指す。例えば、撮影画像Piの輝度は、明度と色相とに関する特徴量に相当する。撮影画像Piに上述した外乱因子や内的因子が含まれる場合、外乱因子や内的因子が含まれない場合と比較して、撮影画像Piの明度や彩度や色相が変化する。例えば、撮影画像Piのうち影やカメラ301のレンズに付着した異物が映り込んでいる領域の明度や輝度は、影や異物が映り込んでない場合の同じ領域の明度や輝度と比較して低くなる傾向にある。また、撮影画像Piに日光や照明等による比較的強度の高い光が映り込んでいる場合、撮影画像Piにこういった光が映り込んでいない場合と比較して、撮影画像Piにおいて局所的あるいは全体的に明度や輝度が高くなる。また、例えば、撮影画像Piのうち内的因子によるノイズが含まれる領域の色調は、ノイズが含まれていない場合の同じ領域の色調に対して変化する。このように、撮影画像Piの色調に関する特徴量は、撮影画像Piにおける影響因子と良好に相関し、撮影画像Piにおける車両100の検出に影響する。特に、撮影画像Piの色調に関する特徴量は、撮影画像Piにおける外乱因子とより良好に相関する。画像評価では、影響因子に相関するこうした特徴量を、評価対象の特徴量として使用できる。
【0024】
本実施形態における評価部220は、撮影画像Piの色調に関する特徴量と、予め準備される基準画像の色調に関する特徴量とを、撮影画像Piごとに比較することによって画像評価を実行する。より詳細には、評価部220は、画像評価において、撮影画像Piと基準画像との間の色調に関する特徴量の差異を表す差異値を算出するとともに、算出した差異値を画像評価の結果として出力する。より具体的には、評価部220は、画像評価において、例えば、撮影画像Piと基準画像との色調に関する統計量や度数分布を算出するとともに、両画像の統計量同士の差異や度数分布同士の差異を表す値を差異値として出力する。度数分布同士の差異を表す値とは、例えば、度数分布同士の差の絶対値の総和や二乗値の総和である。以下では、この差異値のように、画像評価の結果として出力される値のことを評価スコアとも呼ぶ。本実施形態では、評価部220は、この差異値として、撮影画像Piにおける輝度と、基準画像における輝度との差を表す差異値を算出する。
【0025】
基準画像としては、例えば、撮影画像Piに対応する情景を、外乱因子による影響が予め定められた程度以下となる理想条件で撮影した画像が用いられる。この場合、基準画像は、走路SRが撮影画像Piと同様の向きで撮影された画像であると好ましく、この走路SRを走行する車両を含んだ画像であるとより好ましい。また、基準画像が車両を含む場合、基準画像に含まれる車両は、撮影画像Piに含まれ得る車両、つまり、遠隔制御対象の車両100と同様の形状および車体色を有する車両であると好ましい。なお、基準画像は、シミュレーションによって作成されてもよい。
【0026】
評価部220は、上記の画像評価において、例えば、画像の色調に関する特徴量を検出するための既知のアルゴリズムや、入力画像の色調に関する特徴量を検出するように予め構築されたルールベースや、入力画像の色調に関する特徴量を検出するように予め機械学習された種々の機械学習モデルを用いることができる。このような機械学習モデルとしては、畳み込みニューラルネットワーク(以下、CNNとも呼ぶ)や、ディープニューラルネットワーク(以下、DNNとも呼ぶ)や、サポートベクターマシンや、決定木等を用いることができる。上述した基準データ275には、例えば、予め準備された基準画像が含まれていてもよいし、予め算出された基準画像の色調に関する統計量や度数分布が含まれていてもよい。
【0027】
第1決定部230は、評価部220による評価結果に応じて、各撮影画像Piから、推定処理に用いられる撮影画像Piである推定用画像を決定する。本実施形態における第1決定部230は、各撮影画像Piのうち、画像評価の結果がより良好である撮影画像Piを推定用画像として決定する。本実施形態において、「画像評価の結果がより良好である」とは、撮影画像Piにおける影響因子の影響がより小さいことを意味し、本実施形態では、評価スコアがより小さいことを意味する。これは、撮影画像Piにおける外乱因子や内的因子による影響が小さいほど、差異値が小さくなる傾向にあるからである。なお、他の実施形態では、例えば、評価スコアは、画像評価の結果がより良好である場合に大きくなるように定義されてもよい。
【0028】
図2に示した推定部250は、推定処理を実行する。推定処理は、推定用画像における遠隔制御対象の車両100を検出するとともに、その検出結果を用いて当該車両100の車両位置を検出する処理である。本実施形態における推定処理は、推定用画像における検出箇所を用いて車両位置を推定する処理であり、推定用画像を解析することで推定用画像において検出箇所を検出する解析処理と、検出される検出箇所を用いて車両位置を推定する処理とを含む。本実施形態では、推定部250によって推定プログラム280が実行されることで推定処理が実行される。なお、推定部250は、例えば、車両100の走行履歴や、GNSS受信機140で検出された位置情報を用いて、車両100の位置や向きを推定可能である。また、車両100の走行方向は、車両100の向きや走行履歴や制御指令の履歴等を用いて推定可能である。
【0029】
本実施形態における推定部250は、解析処理を実行する解析部251を有する。本実施形態における解析部251は、それぞれ解析プログラムである第1解析プログラム281や第2解析プログラム282を実行することで、解析処理を実行する。解析プログラムとは、解析プログラムを実行するコンピュータに、撮影画像Piを解析させて撮影画像Piにおける検出箇所を検出させる機能を実現させるプログラムである。本実施形態における第1解析プログラム281は、車両100が左後方側から撮影された撮影画像Piを解析するための解析プログラムであり、検出箇所として第1部分Dp1を検出するために使用される。また、第2解析プログラム282は、車両100が右後方側から撮影された撮影画像Piを解析するための解析プログラムであり、検出箇所として第2部分Dp2を検出するために使用される。
【0030】
第2決定部240は、推定用画像を撮影したカメラ301の撮影条件に応じて、推定処理の内容を決定する。以下では、推定用画像を撮影したカメラ301のことを対象カメラとも呼ぶ。本実施形態では、第2決定部240は、対象カメラを特定するとともに、対象カメラのカメラ情報Ciに応じて推定処理で用いられるプログラムを決定することによって、撮影条件に応じて推定処理の内容を変更する。より詳細には、第2決定部240は、対象カメラのカメラ情報Ciを取得するとともに、取得したカメラ情報Ciを用いて対応データ271を参照することで、検出用プログラムを決定する。検出用プログラムとは、解析処理で検出箇所の検出に用いられる解析プログラムである。
【0031】
なお、本明細書において、「撮影条件に応じたプログラムの決定」とは、撮影条件に応じてプログラムの処理工程を決定することを指す。そのため、「撮影条件に応じたプログラムの決定」の意味は、例えば、予め準備された複数のプログラムから、撮影条件に応じて、一の解析プログラムを、決定される対象のプログラムとして選択することを含む。この場合、検出用プログラムの選択は、例えば、複数のプログラムを含む包括的なプログラムにおいて、撮影条件に応じた条件分岐が実行されることによって実現されてもよい。また、「撮影条件に応じたプログラムの決定」の意味は、例えば、プログラムに含まれるコードの一部や全部を撮影条件に応じて書き換えることによって、決定される対象のプログラムを準備することを含む。
【0032】
本実施形態では、走路SRに対して各カメラ301の位置および向きは固定されている。そのため、対象カメラが特定されることは、対象カメラによる撮影画像Piの撮影条件が特定されることに相当する。この撮影条件は、撮影画像Piに含まれ得る検出用部位に関する条件であり、例えば、撮影画像Piに検出用部位として含まれ得る車両100の部位に関する条件や、撮影画像Piが撮影される向きに関する条件を含む。撮影画像Piが撮影される向きに関する条件とは、撮影画像Piの撮影に際して車両100が撮影される向きに関する条件であり、例えば、車両100が車両100の右側と左側とのいずれから撮影されるかを定める条件や、車両100が車両100の前方側と後方側とのいずれから撮影されるかを定める条件である。なお、本実施形態では、撮影画像Piが撮影される向きが特定されれば、撮影画像Piに含まれ得る検出用部位が特定される。以下では、カメラ301による撮影画像Piの撮影条件のことを、単に、「カメラ301の撮影条件」とも呼ぶ。
【0033】
対応データ271は、カメラ情報Ciと、推定処理の内容を決定するための情報との対応関係を記録したデータである。本実施形態における対応データ271は、各カメラ301の識別情報と、推定処理で使用されるプログラムを決定するための情報との対応関係を記録したデータである。本実施形態における対応データ271では、カメラ301A,301Cおよび301Eの識別情報には、第1解析プログラム281を選択するためのパラメータが関連付けられている。また、カメラ301B,301Dおよび301Fの識別情報には、第2解析プログラム282を選択するためのパラメータが関連付けられている。他の実施形態では、対応データ271は、例えば、各カメラ301の識別情報と、各カメラ301の撮影条件と、推定処理の内容を決定するための情報との対応関係を記録したデータであってもよい。
【0034】
本実施形態では、各カメラ301は、撮影画像Piとともに、カメラ情報Ciとして自身の識別情報を制御装置200に送信するように構成されている。なお、この識別情報は、対象カメラを特定するために用いられてもよい。また、他の実施形態では、第2決定部240は、カメラ情報Ciを、メモリ202に予め格納されたデータベースや、外部のコンピュータや記録媒体等から取得してもよい。また、他の実施形態では、カメラ情報Ciとしてカメラ301の識別情報とは異なる情報が用いられてもよく、例えば、撮影条件を特定可能な他の情報が用いられてもよい。
【0035】
指令生成部260は、推定部250によって推定される車両100の位置や向きを用いて、遠隔制御のための制御指令を生成して車両100に送信する。この制御指令は、メモリ202に格納された目標ルートに従って車両100を走行させる指令である。制御指令は、駆動力又は制動力と、舵角とを含む指令として生成することができる。或いは、制御指令を、車両100の位置及び向きの少なくとも一方と、今後の走行ルートとを含む指令として生成してもよい。
【0036】
工程管理装置400は、例えば、コンピュータによって構成され、工場における車両100の製造工程全般の管理を実行する。例えば、1台の車両100が目標ルートに沿った走行を開始する際には、その車両100を識別する識別番号や型式などを示す個体情報が、工程管理装置400から制御装置200に送信される。この個体情報は、車両100の製造工程の管理に用いられる製造情報に相当する。また、制御装置200で検出された車両100の位置は、工程管理装置400にも送信される。なお、工程管理装置400の機能を、制御装置200と同じ装置に実装するようにしてもよい。
【0037】
図3は、本実施形態における決定処理のフローチャートである。この決定処理は、本実施形態における制御方法を実現するための処理である。決定処理は、制御装置200のプロセッサ201によって、例えば、所定の時間間隔で実行される。
【0038】
図3のS110にて、画像取得部210は、複数の撮影画像Piを取得する。本実施形態におけるS110で取得される各撮影画像Piは、それぞれ異なるカメラ301によって撮影された撮影画像Piである。S120にて、評価部220は、S110で取得された撮影画像Piごとに、画像評価を実行する。S130にて、第1決定部230は、S120での評価結果に応じて、S110で取得された各撮影画像Piから、推定用画像を決定する。S140にて、第2決定部240は、対象カメラ、つまり、S130で推定用画像として決定された撮影画像Piを撮影したカメラ301の撮影条件に応じて検出用プログラムを決定する。本実施形態におけるS140では、このように検出用プログラムが決定されることによって、撮影条件に応じて、推定処理の内容が決定される。より具体的には、S140では、解析処理の内容が決定される。なお、S110で取得される各撮影画像Piは、それぞれ同じ時刻に撮影された画像であってもよいし、それぞれ異なる時刻に撮影された画像であってもよい。また、他の実施形態では、S110で取得される複数の撮影画像Piは、同じカメラ301によって撮影された2以上の撮影画像Piを含んでいてもよい。
【0039】
図4は、決定処理を説明する図である。図4では、走路SR上のルートRt1を走行する車両100がカメラ301Aおよびカメラ301Bによって撮影された様子が示されている。この場合、図3のS110では、カメラ301Aによって撮影された撮影画像PiAと、カメラ301Bによって撮影された撮影画像PiBとが取得される。S120では、撮影画像PiAに対する画像評価と撮影画像PiBに対する画像評価とが実行され、撮影画像PiAの評価スコアEAと撮影画像PiBの評価スコアEBとが算出される。図4の例では、評価スコアEAが評価スコアEBよりも低いので、S130では、推定用画像として撮影画像PiAが決定される。この場合、S140では、カメラ301Aの撮影条件に応じて、検出用プログラムとして第1解析プログラム281が決定される。反対に、評価スコアEBが評価スコアEAよりも低い場合、S130では、推定用画像として撮影画像PiBが決定され、S140では、カメラ301Bの撮影条件に応じて、検出用プログラムとして第2解析プログラム282が決定される。なお、他の実施形態では、図3のS110において、画像取得部210は、3以上のカメラ301のそれぞれによって撮影された各撮影画像Piを取得してもよい。
【0040】
図5は、本実施形態における推定処理のフローチャートである。本実施形態では、推定処理は、担当カメラから推定用画像が制御装置200に送信されるたびに実行される。
【0041】
図5のS210にて、推定部250は、図3のS140の結果に基づいて、S130で決定された推定用画像の解析に第1解析プログラム281を用いるか否かを判定する。S210で第1解析プログラム281を用いると判定された場合、解析部251は、S220からS230にて、第1解析プログラム281によって実現される第1処理を実行する。第1処理は、検出箇所として第1部分Dp1を検出するための処理である。S210で第1解析プログラム281を用いると判定されなかった場合、解析部251は、S215からS230にて、第2解析プログラム282によって実現される第2処理を実行する。第2処理は、検出箇所として第2部分Dp2を検出するための処理である。なお、以下では、第1解析プログラム281によって実現されるS220をS220Aとも表記し、第2解析プログラム282によって実現されるS220をS220Bとも表記する。S225およびS230についても略同様である。
【0042】
本実施形態における第2処理は、第1処理とは違って、S215の反転処理を含む。反転処理とは、推定用画像を鏡像反転させた反転画像を生成する処理である。この結果、S220AからS230Aでは鏡像反転されていない推定用画像が解析されるのに対し、S220BからS230Bでは反転画像が解析される。このように画像を鏡像反転させる処理は、「フリップ」とも呼ばれる。第1処理と第2処理とは、第2処理が反転処理を含むことを除いて略同様である。そのため、S220BからS230Bでは、S220AからS230Aと同様のアルゴリズムを用いて、つまり、同様の手順で反転画像を解析することが可能である。より詳細には、検出箇所として第1部分Dp1が用いられる場合、S220AからS230Aにて、第1部分Dp1は、反転されていない推定用画像における左後方角部として検出される。一方で、検出箇所として第2部分Dp2が用いられる場合、実際には右後方角部である第2部分Dp2は、S220BからS230Bにて、擬似的に反転画像における左後方角部として検出される。つまり、本実施形態では、反転画像において、第2部分Dp2は、鏡像反転されていない推定用画像における第1部分Dp1に相当する部分として検出される。
【0043】
図6は、推定処理において画像Im1が解析される様子の例を示す説明図である。図6に示した画像Im1は、走路SRを走行する車両100が撮影された画像である。画像Im1は、互いに直交するXc軸およびYc軸を座標軸として有し、カメラ301の焦点を原点とするカメラ座標系で表される。画像Im1は、反転画像であってもよいし、鏡像反転されていない推定用画像であってもよい。画像Im1に対しては、例えば、歪みを補正する歪み補正処理や、画像Im1における車両100の移動ベクトルVの方向が所定の方向を向くように画像Im1を回転させる回転処理や、画像Im1から車両100を含まない不要領域を削除するクロップ処理といった各種の補正や前処理が行われてもよい。移動ベクトルVの大きさや方向の検出には、例えば、オプティカルフロー法が用いられる。
【0044】
図5のS220からS230にて、解析部251は、解析処理を実行する。本実施形態における解析処理では、解析部251は、画像Im1を用いて、図6に示した測位点PPの座標を算出することによって、測位点PPを検出する。測位点PPの座標は、後述する画像座標系における検出箇所の近傍の座標として算出される。このように検出される測位点PPは、推定用画像における検出箇所を表す。
【0045】
S220にて、解析部251は、画像Im1における車両100を検出する検出処理として、マスク処理を実行する。マスク処理は、画像Im1における車両100を検出するとともに、画像Im1において当該車両100を含む対象領域をマスクすることで、対象領域がマスクされたマスク領域Msを含む画像Im2を生成する処理である。マスク処理では、推定部250は、例えば、入力画像に含まれる車両100をマスクするように機械学習された機械学習モデル(図示せず)に画像Im1を入力することで画像Im2を生成する。この機械学習モデルとしては、例えば、セマンティックセグメンテーションやインスタンスセグメンテーションを実現するCNNの構造を有するDNNが用いられる。なお、機械学習モデルは、例えば、ニューラルネットワーク以外のアルゴリズムを用いて機械学習されてもよい。
【0046】
S225にて、解析部251は、透視変換処理を実行する。透視変換処理は、画像Im2を透視変換することによって、画像Im3を生成する処理である。透視変換処理では、解析部251は、例えば、カメラ301の位置情報や内部パラメータに関する透視変換パラメータを用いて、画像Im2を、走路SRの路面に略垂直な車両100の上方(例えば、車両100の真上)から見た鳥瞰画像に透視変換する。画像Im3は、画像座標系で表される。画像座標系は、透視変換によって投影される画像平面の一点を原点とし、互いに直交するXi軸とYi軸とを座標軸として有する座標系である。画像Im3は、透視変換により変形されたマスク領域Msに相当するマスク領域Msbを含む。
【0047】
S230にて、解析部251は、測位点PPの座標を算出する測位点算出処理を実行する。本実施形態における測位点算出処理では、解析部251は、第1座標点P1の座標(Xi1,Yi1)と第2座標点P2の座標(Xi2,Yi2)とを用いて測位点PPの座標を算出する。
【0048】
第1座標点P1は、画像Im2における四角形R1bの頂点のうち、画像Im1におけるベース座標点P0に対応する座標点として特定される。四角形R1bは、透視変換により変形した第1外接矩形R1に相当する。第1外接矩形R1は、画像Im2において、マスク領域Msに外接し、かつ、移動ベクトルVと平行な長辺を有する矩形である。ベース座標点P0は、この第1外接矩形R1の頂点のうち、車両100の検出箇所に対応する頂点を表す座標点である。より詳細には、ベース座標点P0は、第1外接矩形R1の頂点のうち、移動ベクトルVの方向を前方としたときに車両100の重心Cに対して左方かつ後方に位置する頂点を表す座標点である。第2座標点P2は、画像Im2における第2外接矩形R2の4つの頂点のうち、車両100の検出箇所に対応する頂点を表す座標点である。より詳細には、第2座標点P2は、第2外接矩形R2の頂点のうち、移動ベクトルVの方向を前方としたときに重心Cに対して左方かつ後方に位置する頂点を表す座標である。第2外接矩形R2は、マスク領域Msbに外接し、かつ、Xi軸に平行な辺とYi軸に平行な辺とを有する矩形である。このように、第1座標点P1と第2座標点P2とは、ともに検出箇所に応じて定まる座標点であるため、互いに相関関係を有する。
【0049】
座標値Xi1が座標値Xi2よりも大きい場合、推定部250は、測位点PPのXi座標値を座標値Xi1に決定する。反対に、座標値Xi1が座標値Xi2よりも小さい場合、推定部250は、Xi座標値を座標値Xi2に決定する。略同様に、座標値Yi1が座標値Yi2よりも大きい場合、測位点PPのYi座標値が座標値Yi1に決定される。座標値Yi1が座標値Yi2よりも小さい場合、Yi座標値が座標値Yi2に決定される。このようにXi座標値およびYi座標値が決定されることで、測位点PPが検出される。
【0050】
S235にて、推定部250は、車両座標算出処理を実行する。車両座標算出処理は、測位点PPを用いて車両座標点を算出する処理である。車両座標点は、基準座標系Σrにおいて測位点PPを表す座標点である。S235では、推定部250は、例えば、予め定められた推定式と、S230で算出された測位点PPの座標値とを用いて、車両座標点を算出する。指令生成部260は、推定処理で算出される車両座標点を車両位置として用いて、制御指令を生成する。こうして生成される制御指令は、車両100に送信される。つまり、本実施形態では、車両座標点を算出することは、車両位置を推定することに相当する。なお、推定用画像を用いた車両位置の推定手法は、上記に限られない。例えば、マスク処理とは異なる処理によって推定用画像における車両100が検出されてもよいし、透視変換処理や測位点算出処理とは異なる処理によって推定用画像における検出箇所が検出されてもよいし、車両座標算出処理とは異なる処理によって車両位置を表す座標点が算出されてもよい。
【0051】
以上で説明した本実施形態におけるシステム10によれば、第1決定部230は、画像取得部210によって取得される撮影画像Piごとの画像評価の結果に応じて、各撮影画像Piから、推定処理に用いられる推定用画像を決定する。そのため、例えば、推定処理のために画像取得部210によって一の撮影画像Piのみが取得される形態や、画像評価が実行されることなく推定処理が実行される形態と比較して、遠隔制御対象の車両100について車両位置の推定を適切に実行できる可能性が高まる。
【0052】
また、本実施形態では、評価部220は、画像評価において、撮影画像Piの色調に関する特徴量と、基準画像の色調に関する特徴量との差異を表す差異値を撮影画像Piごとに算出し、画像評価の結果として各差異値を出力する。そのため、効果的に画像評価を実行できる。また、本実施形態では、差異値がより小さい撮影画像Piを推定用画像として決定することで、容易に適切な推定用画像を決定できる。
【0053】
また、本実施形態では、第2決定部240は、対象カメラの撮影条件に応じて、推定処理の内容を決定する。そのため、例えば、カメラ301ごとに撮影条件が異なる場合であっても、撮影条件に関わらず、推定用画像を用いた車両位置の推定を適切に実行できる可能性が高まる。また、推定処理によって推定される車両位置を用いて制御指令が生成されるので、適切な制御指令が生成される可能性が高まる。そのため、適切に車両100を遠隔制御できる可能性が高まる。
【0054】
また、本実施形態では、第2決定部240は、対象カメラの撮影条件に応じて、推定処理で用いられるプログラムを決定する。そのため、第2決定部240によってプログラムを決定することで、対象カメラの撮影条件に応じて推定処理の内容を決定できる。
【0055】
B.他の実施形態:
(B1)上記実施形態にて、評価部220は、各撮影画像Piが撮影された時刻や時間帯や季節といった撮影タイミングを加味した画像評価を実行してもよい。この場合、評価部220は、例えば、各撮影画像Piが撮影された撮影タイミングと、各カメラ301の配置位置や向きとに基づいて、各撮影画像Piへ照射される日光やその影による影響を予測できる。評価部220は、日光やその影による影響がより及ぶと予測される撮影画像Piの評価結果の良好さを低下させるように、その撮影画像Piの評価スコアを補正してもよい。
【0056】
(B2)上記実施形態では、差異値として、撮影画像Piと基準画像との間での輝度差を表す値が用いられている。これに対して、差異値は、例えば、両画像間での明度差を表す値や、色相差を表す値や、彩度差を表す値であってもよい。また、差異値は、例えば、輝度の差と明度差と色相差と彩度差とのうち2つ以上を表す値であってもよい。この場合、差異値は、例えば、輝度差や明度差や色相差や彩度差が大きいほど大きな値、或いは、小さな値をとる指標値として定義されてもよい。また、評価部220は、画像評価において、色調を表す特徴量に関する評価を実行しているが、このようにしなくてもよく、例えば、ブロブに関する評価や、エッジに関する評価や、コーナーに関する評価等、撮影画像Piにおける車両100の検出に影響を与え得る種々の特徴量に関する評価を実行してもよい。例えば、評価部220は、エッジに関する評価を実行する場合、撮影画像Piと基準画像とにおけるエッジの角度、座標、間隔や強度を比較することによって画像評価を実行してもよい。また、この場合、評価部220は、評価スコアとして、撮影画像Piと基準画像との間のエッジの角度、座標、間隔や強度の差異を表す値を出力してもよい。このようなエッジに関する評価には、例えば、既知のエッジ検出アルゴリズムや、入力画像のエッジを検出するように構築されたルールベースや、入力画像のエッジを検出するように予め機械学習された機械学習モデルを用いることができる。
【0057】
(B3)上記実施形態では、評価部220は、画像評価において撮影画像Piと基準画像との特徴量を比較しているが、このようにしなくてもよい。例えば、評価部220は、画像評価において、入力画像の外乱因子や内的因子を検出するように予め機械学習された機械学習モデルに撮影画像Piを入力することによって、撮影画像Piと基準画像との特徴量を比較することなく、撮影画像Piの特徴量に関する評価を実行してもよい。この場合、評価スコアとして、例えば、撮影画像Piに含まれる影響因子の種別の個数や、撮影画像Piに占める影響因子に起因する部分の面積や、影響因子が車両100の検出に与える影響の度合いを使用できる。
【0058】
(B4)上記実施形態では、カメラ情報Ciとして、カメラ301の撮影条件を表す情報が用いられてもよく、例えば、カメラ301によって撮影される撮影画像Piに含まれる検出用部位に関する情報が用いられてもよい。この場合、カメラ情報Ciとしては、例えば、カメラ301が車両100を撮影する向きを表す情報が用いられてもよいし、カメラ301が撮影し得る検出用部位を表す情報が用いられてもよい。このようなカメラ情報Ciを用いることで、例えば、走路SRに対して各カメラ301の位置や向きが固定されていない場合であっても、対象カメラの撮影条件に応じて推定処理の内容を決定できる。
【0059】
(B5)上記実施形態では、第2決定部240は、推定処理で用いられるプログラムを対象カメラの撮影条件に応じて決定しているが、このようにしなくてもよい。例えば、撮影条件がそれぞれ異なる場合であっても、推定処理に同一のプログラムが使用されてもよい。この場合、第2決定部240は、推定処理において使用するパラメータを対象カメラの撮影条件に応じて決定することによって、推定処理の内容を対象カメラの撮影条件に応じて決定してもよい。また、対象カメラの撮影条件に応じて推定処理の内容が決定されなくてもよい。この場合、推定部250は、例えば、撮影条件によらず推定用画像を同一の機械学習モデルに入力することで、車両位置を推定してもよい。また、この場合、システム10は、第2決定部240を備えていなくてもよい。
【0060】
(B6)上記実施形態では、第1処理や第2処理に反転処理が含まれているが、反転処理が含まれていなくてもよい。この場合、推定部250は、検出箇所として第1部分Dp1と第2部分Dp2とのいずれを検出する場合であっても、鏡像反転されていない推定用画像において第1部分Dp1や第2部分Dp2を検出するようにしてもよい。
【0061】
(B7)上記実施形態では、第1部分Dp1と第2部分Dp2とは、車幅方向において互いに対称に位置する部分でなくてもよい。例えば、第1部分Dp1や第2部分Dp2として、それぞれ、車両100の左後方角部と右前方角部とが用いられてもよい。また、検出箇所として車両100の左側部分や右側部分が用いられなくてもよい。また、検出箇所として用いられる部位の数は、3つ以上であってもよいし、1つであってもよい。
【0062】
(B8)上記実施形態では、第1決定部230は、画像評価の結果がより良好である撮影画像Piを推定用画像として決定することに代えて、あるいは、これに加えて、画像評価の結果が予め定められた基準程度以上に良好な撮影画像Piを推定用画像として決定するようにしてもよい。この場合で、2以上の撮影画像Piの画像評価の結果が基準程度以上に良好である場合、第1決定部230は、例えば、これらの撮影画像Piからランダムに選択した一の撮影画像Piを推定用画像として決定してもよいし、上述した撮影タイミングに基づいて光や影による影響がより小さいと予測される撮影画像Piを推定用画像として決定してもよい。また、各撮影画像Piの画像評価の結果が基準程度未満である場合、例えば、画像取得部210は、新たにカメラ301から撮影画像Piを取得してもよい。このようにすれば、より適切に推定用画像を決定できる可能性が高まる。また、各撮影画像Piの画像評価の結果が基準程度未満である場合、指令生成部260は、車両100を制動するための制御指令を生成してもよい。このようにすれば、車両100の車両位置の推定精度が低下し得る場合に、車両100を制動することができる。
【0063】
(B9)上記実施形態では、システム10は、車両100やカメラ301や推定部250や指令生成部260を備える遠隔制御システムとして構成されているが、このように構成されていなくてもよい。例えば、システム10は、推定用画像を決定するとともに、その決定結果を、車両100やカメラ301や推定部250や指令生成部260を備える他のシステムに送信するシステムとして構成されていてもよい。この場合、システム10は、車両100とカメラ301と推定部250と指令生成部260との一部や全部を備えていなくてもよい。また、この場合、システム10は、例えば、決定結果とともに推定用画像を他のシステムに送信するように構成されていてもよい。この場合、他のシステムに備えられた推定部250は、推定処理において、システム10から送信される推定用画像を取得してもよい。
【0064】
(B10)上記実施形態において、車両100は、遠隔制御により移動可能な構成を備えていればよく、例えば、以下に述べる構成を備えるプラットフォームの形態であっても良い。具体的には、車両100は、遠隔制御により「走る」、「曲がる」、「止まる」の3つの機能を発揮するために、少なくとも、車両制御部115と通信装置130とを備えていれば良い。すなわち、遠隔制御により移動可能な車両100は、運転席やダッシュボードなどの内装部品の少なくとも一部が装着されていなくてもよく、バンパーやフェンダーなどの外装部品の少なくとも一部が装着されていなくてもよく、ボディシェルが装着されていなくてもよい。この場合、車両100が工場から出荷されるまでの間に、ボディシェル等の残りの部品が車両100に装着されてもよいし、ボディシェル等の残りの部品が車両100に装着されていない状態で、車両100が工場から出荷された後にボディシェル等の残りの部品が車両100に装着されてもよい。なお、プラットフォームの形態に対しても、各実施形態における車両100と同様にして位置決定がなされ得る。
【0065】
本開示は、上述の実施形態に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態中の技術的特徴は、上述の課題の一部又は全部を解決するために、あるいは、上述の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。
【符号の説明】
【0066】
10…システム、100…車両、110…車両制御装置、111…プロセッサ、112…メモリ、113…入出力インタフェイス、114…内部バス、115…車両制御部、116…位置情報取得部、120…アクチュエータ群、130…通信装置、140…GNSS受信機、200…制御装置、201…プロセッサ、202…メモリ、203…入出力インタフェイス、204…内部バス、205…通信装置、210…画像取得部、220…評価部、230…第1決定部、240…第2決定部、250…推定部、251…解析部、260…指令生成部、271…対応データ、275…基準データ、280…推定プログラム、281…第1解析プログラム、282…第2解析プログラム、300…カメラ群、301…カメラ、301A…カメラ、301B…カメラ、301C…カメラ、301D…カメラ、301E…カメラ、301F…カメラ、400…工程管理装置
図1
図2
図3
図4
図5
図6