(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023172152
(43)【公開日】2023-12-06
(54)【発明の名称】構内監視方法、及び構内監視装置
(51)【国際特許分類】
G06T 19/00 20110101AFI20231129BHJP
B65G 61/00 20060101ALN20231129BHJP
【ＦＩ】
G06T19/00 C
B65G61/00 520
【審査請求】未請求
【請求項の数】9
【出願形態】ＯＬ
(21)【出願番号】P 2022083768
(22)【出願日】2022-05-23
(71)【出願人】
【識別番号】000000099
【氏名又は名称】株式会社ＩＨＩ
(74)【代理人】
【識別番号】100083806
【弁理士】
【氏名又は名称】三好 秀和
(74)【代理人】
【識別番号】100101247
【弁理士】
【氏名又は名称】高橋 俊一
(74)【代理人】
【識別番号】100095500
【弁理士】
【氏名又は名称】伊藤 正和
(74)【代理人】
【識別番号】100098327
【弁理士】
【氏名又は名称】高松 俊雄
(72)【発明者】
【氏名】香月 良夫
【テーマコード（参考）】
5B050
【Ｆターム（参考）】
5B050BA09
5B050BA17
5B050DA04
5B050DA05
5B050EA07
5B050EA18
5B050FA02
(57)【要約】 （修正有）
【課題】施設構内の状態をより確実に監視する構内監視方法及び構内監視装置を提供する。
【解決手段】施設構内の状態を監視する構内監視装置１であって、施設構内を走行可能な車両に配設されたセンサ２により取得された車両の周囲の情報に基づいて、施設構内の仮想三次元マップを経時的に生成し、仮想三次元マップのうち施設構内の基準となる状態を示す基準仮想マップと、仮想三次元マップのうち時系列順において基準仮想マップよりも後に生成された第１仮想マップと、を比較することにより、施設構内の状態の変化を監視する仮想マップ生成部１５を備える。
【選択図】図２
【解決手段】施設構内の状態を監視する構内監視装置１であって、施設構内を走行可能な車両に配設されたセンサ２により取得された車両の周囲の情報に基づいて、施設構内の仮想三次元マップを経時的に生成し、仮想三次元マップのうち施設構内の基準となる状態を示す基準仮想マップと、仮想三次元マップのうち時系列順において基準仮想マップよりも後に生成された第１仮想マップと、を比較することにより、施設構内の状態の変化を監視する仮想マップ生成部１５を備える。
【選択図】図２
【特許請求の範囲】
【請求項1】
施設構内の状態を監視する構内監視方法であって、
前記施設構内を走行可能な車両に配設されたセンサにより取得された当該車両の周囲の情報に基づいて、前記施設構内の仮想三次元マップを経時的に生成し、
前記仮想三次元マップのうち前記施設構内の基準となる状態を示す基準仮想マップと、前記仮想三次元マップのうち時系列順において前記基準仮想マップよりも後に生成された第１仮想マップと、を比較することにより、前記施設構内の状態の変化を監視する、構内監視方法。
前記施設構内を走行可能な車両に配設されたセンサにより取得された当該車両の周囲の情報に基づいて、前記施設構内の仮想三次元マップを経時的に生成し、
前記仮想三次元マップのうち前記施設構内の基準となる状態を示す基準仮想マップと、前記仮想三次元マップのうち時系列順において前記基準仮想マップよりも後に生成された第１仮想マップと、を比較することにより、前記施設構内の状態の変化を監視する、構内監視方法。
【請求項2】
前記第１仮想マップの中から予め定められたカテゴリに属する第１物体を検出し、
前記仮想三次元マップを表示可能な表示部に前記第１仮想マップを表示し、かつ、前記第１物体を強調して表示する、請求項１に記載の構内監視方法。
前記仮想三次元マップを表示可能な表示部に前記第１仮想マップを表示し、かつ、前記第１物体を強調して表示する、請求項１に記載の構内監視方法。
【請求項3】
前記基準仮想マップと前記第１仮想マップとの間に差分が有るか否か判定し、
前記差分が有ると判定されたことに応じて、前記仮想三次元マップを表示可能な表示部に前記差分を強調して表示する、請求項１又は２に記載の構内監視方法。
前記差分が有ると判定されたことに応じて、前記仮想三次元マップを表示可能な表示部に前記差分を強調して表示する、請求項１又は２に記載の構内監視方法。
【請求項4】
前記差分が有ると判定されたことに応じて、前記差分を前記表示部に強調して表示するか否か判定し、
前記差分を強調して表示すると判定されたことに応じて、前記表示部に前記差分を強調して表示する、請求項３に記載の構内監視方法。
前記差分を強調して表示すると判定されたことに応じて、前記表示部に前記差分を強調して表示する、請求項３に記載の構内監視方法。
【請求項5】
前記第１仮想マップ内における前記第１物体の位置が前記第１仮想マップ内で調整されたことに応じて、調整された後の前記第１物体と、前記第１仮想マップ内の前記第１物体以外の物体とが互いに干渉するか否かを判定する第１干渉判定を行い、
前記第１干渉判定で、前記第１物体と、前記第１仮想マップ内の物体とが互いに干渉すると判定されたことに応じて、干渉の発生を通知する、請求項２に記載の構内監視方法。
前記第１干渉判定で、前記第１物体と、前記第１仮想マップ内の物体とが互いに干渉すると判定されたことに応じて、干渉の発生を通知する、請求項２に記載の構内監視方法。
【請求項6】
前記第１仮想マップ内に第２物体が配置されたことに応じて、配置された後の前記第２物体と、前記第１仮想マップ内の前記第２物体以外の物体とが互いに干渉するか否かを判定する第２干渉判定を行い、
前記第２干渉判定で、前記第２物体と、前記第１仮想マップ内の物体とが互いに干渉すると判定されたことに応じて、干渉の発生を通知する、請求項２に記載の構内監視方法。
前記第２干渉判定で、前記第２物体と、前記第１仮想マップ内の物体とが互いに干渉すると判定されたことに応じて、干渉の発生を通知する、請求項２に記載の構内監視方法。
【請求項7】
前記施設構内を走行可能な複数の車両の各々に配設されたセンサにより取得された当該複数の車両の各々の周囲の情報に基づいて、前記施設構内の前記仮想三次元マップを経時的に生成する、請求項１又は２に記載の構内監視方法。
【請求項8】
前記センサは、前記車両の周囲に存在する物体の形状、及び前記車両からの距離を検出可能な三次元センサである、請求項１又は２に記載の構内監視方法。
【請求項9】
施設構内の状態を監視する構内監視装置であって、
前記施設構内を走行可能な車両に配設されたセンサにより取得された当該車両の周囲の情報に基づいて、前記施設構内の仮想三次元マップを経時的に生成する仮想マップ生成部を備え、
前記仮想三次元マップのうち前記施設構内の基準となる状態を示す基準仮想マップと、前記仮想三次元マップのうち時系列順において前記基準仮想マップよりも後に生成された第１仮想マップと、を比較することにより、前記施設構内の状態の変化を監視する、構内監視装置。
前記施設構内を走行可能な車両に配設されたセンサにより取得された当該車両の周囲の情報に基づいて、前記施設構内の仮想三次元マップを経時的に生成する仮想マップ生成部を備え、
前記仮想三次元マップのうち前記施設構内の基準となる状態を示す基準仮想マップと、前記仮想三次元マップのうち時系列順において前記基準仮想マップよりも後に生成された第１仮想マップと、を比較することにより、前記施設構内の状態の変化を監視する、構内監視装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は構内監視方法、及び構内監視装置に関する。
【背景技術】
【0002】
下記特許文献１が開示するデータ収集システムでは、テレマティクスセンタは、データ収集条件決定部と、データ収集条件配信部と、プローブ受信処理部と、を備える。データ収集条件決定部は、車両におけるプローブデータの収集頻度を含むデータ収集条件を決定する。データ収集条件配信部は、データ収集条件を車両に配信する。プローブ受信処理部は、車両から送信されるプローブデータを受信して記憶装置に蓄積する。また、車両に搭載される中央演算処理装置は、データ取得部と、収集データ絞込処理部と、プローブデータ送信部と、を備える。データ取得部はデータを取得する。収集データ絞込処理部は、プローブデータをデータ収集条件の収集頻度ごとに抽出する。プローブデータ送信部は、抽出されたプローブデータをテレマティクスセンタに送信する。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１８－５５１９１号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、車両が例えば物流ターミナル等の敷地内を走行している際、当該車両に設けられたＬｉＤＡＲ又はカメラ等のセンサから車両周囲の情報を得ることができる。しかしながら、当該車両のセンサ等から得られる情報は、施設構内のうち車両周囲の状態を示す情報に限られる。そのため、施設構内の状態を監視しようとした場合、施設構内のうち当該車両の周囲以外の領域については監視が困難な場合が有った。即ち、施設構内の状態を監視することが困難な場合が有った。
【課題を解決するための手段】
【0005】
本開示に係る構内監視方法は、施設構内の状態を監視する構内監視方法であって、前記施設構内を走行可能な車両に配設されたセンサにより取得された当該車両の周囲の情報に基づいて、前記施設構内の仮想三次元マップを経時的に生成し、前記仮想三次元マップのうち前記施設構内の基準となる状態を示す基準仮想マップと、前記仮想三次元マップのうち時系列順において前記基準仮想マップよりも後に生成された第１仮想マップと、を比較することにより、前記施設構内の状態の変化を監視する。
【0006】
上記構内監視方法では、前記第１仮想マップの中から予め定められたカテゴリに属する第１物体を検出し、前記仮想三次元マップを表示可能な表示部に前記第１仮想マップを表示し、かつ、前記第１物体を強調して表示してもよい。
【0007】
上記構内監視方法では、前記基準仮想マップと前記第１仮想マップとの間に差分が有るか否か判定し、前記差分が有ると判定されたことに応じて、前記仮想三次元マップを表示可能な表示部に前記差分を強調して表示してもよい。
【0008】
上記構内監視方法では、前記差分が有ると判定されたことに応じて、前記差分を前記表示部に強調して表示するか否か判定し、前記差分を強調して表示すると判定されたことに応じて、前記表示部に前記差分を強調してもよい。
【0009】
上記構内監視方法では、前記第１仮想マップ内における前記第１物体の位置が前記第１仮想マップ内で調整されたことに応じて、調整された後の前記第１物体と、前記第１仮想マップ内の前記第１物体以外の物体とが互いに干渉するか否かを判定する第１干渉判定を行い、前記第１干渉判定で、前記第１物体と、前記第１仮想マップ内の物体とが互いに干渉すると判定されたことに応じて、干渉の発生を通知してもよい。
【0010】
上記構内監視方法では、前記第１仮想マップ内に第２物体が配置されたことに応じて、配置された後の前記第２物体と、前記第１仮想マップ内の前記第２物体以外の物体とが互いに干渉するか否かを判定する第２干渉判定を行い、前記第２干渉判定で、前記第２物体と、前記第１仮想マップ内の物体とが互いに干渉すると判定されたことに応じて、干渉の発生を通知してもよい。
【0011】
上記構内監視方法では、前記施設構内を走行可能な複数の車両の各々に配設されたセンサにより取得された当該複数の車両の各々の周囲の情報に基づいて、前記施設構内の前記仮想三次元マップを経時的に生成してもよい。
【0012】
上記構内監視方法では、前記センサは、前記車両の周囲に存在する物体の形状、及び前記車両からの距離を検出可能な三次元センサであってもよい。
【0013】
本開示に係る構内監視装置は、施設構内の状態を監視する構内監視装置であって、前記施設構内を走行可能な車両に配設されたセンサにより取得された当該車両の周囲の情報に基づいて、前記施設構内の仮想三次元マップを経時的に生成する仮想マップ生成部を備え、前記仮想三次元マップのうち前記施設構内の基準となる状態を示す基準仮想マップと、前記仮想三次元マップのうち時系列順において前記基準仮想マップよりも後に生成された第１仮想マップと、を比較することにより、前記施設構内の状態の変化を監視する。
【発明の効果】
【0014】
本開示によれば、施設構内の状態をより確実に監視することができる。
【図面の簡単な説明】
【0015】
【図1】実施形態に係る構内監視装置が監視する施設構内を走行可能な車両の一例を示す模式図である。
【図2】実施形態に係る構内監視装置の全体的構成の一例を示すブロック図である。
【図3】実施形態に係る構内監視装置の仮想マップ生成部が生成した基準仮想マップを示す模式図である。
【図4】実施形態に係る構内監視装置の仮想マップ生成部が生成した第１仮想マップを示す模式図である。
【図5】実施形態に係る構内監視装置の物体表示部の動作の一例について説明するための図であって、第１仮想マップに表示された物体強調表示を示す模式図である。
【図6】実施形態に係る構内監視装置の差分表示部の動作の一例について説明するための図であって、第１仮想マップに表示された差分強調表示を示す模式図である。
【図7】実施形態に係る構内監視装置における、第１物体の位置調整、及び第１干渉判定について説明するための模式図である。
【図8】実施形態に係る構内監視装置における、第１物体の位置調整、及び第１干渉判定について説明するための模式図である。
【図9】実施形態に係る構内監視装置における、第２物体の配置、及び第２干渉判定について説明するための模式図である。
【図10】実施形態に係る構内監視装置における、第２物体の配置、及び第２干渉判定について説明するための模式図である。
【図11】実施形態に係る構内監視装置の動作の一例を示すフローチャートである。
【図12】実施形態に係る構内監視装置の差分強調判定の処理の一例を示すフローチャートである。
【図13】実施形態に係る構内監視装置において、第１仮想マップに所定の操作が行われた際の処理の一例を示すフローチャートである。
【発明を実施するための形態】
【0016】
以下、図面を参照しながら、いくつかの例示的な実施形態について説明する。なお、同一の機能を有する要素については同一の符号を付し、重複する説明を省略する。
【0017】
実施形態に係る構内監視方法、及び構内監視装置１によれば、所定の施設構内の状態について監視することができる。監視の対象となる施設は特に限定されず、施設構内は例えばスラブ等を製造する製造事業所の敷地内、又はトラックの積荷の積み替えを行う貨物ターミナル等の敷地内であってもよい。施設構内には、車両Ｖが走行可能な道路が所定の位置に配設されている。また、道路の周囲には建物、歩道、車両を駐車するための駐車スペース、荷物を配置するための荷物置場、停止車両、荷物等が設定又は配設されていてもよい。
【0018】
図１に例示する車両Ｖは荷物を搬送することができる搬送車である。図中のＦＲ，ＲＲは、車両Ｖの前後方向における前方、後方をそれぞれ示す。ＬＨは、車両Ｖの幅方向における左方を示す。ＵＰ，ＤＮは、車両Ｖの上下方向における上方、下方をそれぞれ示す。
【0019】
車両Ｖは自動運転制御機能を備えた自動運転車両であり、施設構内を自動運転により走行することができる。例えば、車両Ｖは予め定められた複数のルートを巡回走行してもよい。なお、車両Ｖは自動運転制御機能を用いることなく、乗員による操舵、ペダル操作等の運転操作により施設構内を走行してもよい。
【0020】
自動運転制御機能とは、自車両の周囲の状況、又は自車両の状態等に基づいて、乗員による操舵、ペダル操作等の運転操作によらず、自車両の走行を自動的に制御する機能である。自動運転制御機能を備える場合、車両Ｖは乗員による操作を介することなく加減速、及び操舵を自動的に行う自動運転により走行可能である。また、当該自動運転には、所定走行環境において乗員による操作を介することなく、車両Ｖが加減速、及び操舵を自動的に行う場合を含んでもよい。当該の所定走行環境は、例えば製造事業所、又は貨物ターミナル等の敷地内であってもよい。
【0021】
なお、車両Ｖは搬送車に限定されず、乗用車、バン等の商用車、旅客輸送用のバス等、フォークリフトトラック等の荷役自動車等であってもよい。また、車両Ｖは自動運転車両に限定されない。例えば、車両Ｖは乗員による操舵、ペダル操作等の運転操作により走行する車両であってもよい。
【0022】
車両Ｖにはセンサ２と通信装置３とが搭載されている。センサ２は車両Ｖの周囲に存在する物体の形状、及び位置的関係を、経時的かつ三次元的に測定可能な測定装置である。図示した例では、センサ２はＬｉＤＡＲ２ａ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）と、ステレオカメラ２ｂとを備える。図示した例ではＬｉＤＡＲ２ａは車両Ｖのキャビン上部に配置され、ステレオカメラ２ｂはキャビン内部において前方に向けて配置されているが、これに限定されない。センサ２の位置、姿勢等は、車両Ｖの形状、測定方向等に応じて適宜設定することができる。
【0023】
ＬｉＤＡＲ２ａは、パルス状のレーザーを車両Ｖの周囲に射出し、車両Ｖの周囲に存在する物体の被計測点におけるレーザーの反射光を観測することにより、被計測点の三次元座標を示すデータを経時的に取得することができる。即ち、ＬｉＤＡＲ２ａによって、当該物体の表面における複数の被計測点の各々の三次元座標を示す点群データを経時的に取得することができる。
【0024】
ステレオカメラ２ｂは、光軸が平行かつ焦点距離が等しい、同じ方向を向いた２台のカメラを含む。そして、当該２台のカメラの各々が撮影した画像に基づき、ステレオカメラ２ｂから車両Ｖの周囲に存在する物体の角部等の特徴点までの距離を、経時的に取得することができる。即ち、ステレオカメラ２ｂによって、車両Ｖ周囲の物体における、複数の特徴点の各々の三次元座標データを経時的に取得することができる。
【0025】
なお、車両Ｖのセンサ２は特に限定されず、車両Ｖの周囲の物体の形状、及び車両Ｖからの距離を三次元的に検出可能な三次元センサであればよい。センサ２はＬｉＤＡＲ２ａ及びステレオカメラ２ｂの一方のみを備えていてもよい。また、センサ２は、例えば単眼カメラ、又はミリ波レーダであってもよい。
【0026】
施設構内を車両Ｖが走行する際、センサ２によって車両Ｖの周囲を計測することにより、施設構内のうち車両Ｖの走行経路の周辺領域に存在する物体の、車両Ｖからの距離、位置、形状、色調等に関する情報が取得される。センサ２によって取得された車両Ｖの周囲の情報に関するデータは、通信装置３を介した無線通信によって後述する構内監視装置１に送信される。データの送信間隔は一定でなくてもよく、例えば処理負荷、通信負荷等に応じて適宜設定されてもよい。なお、車両Ｖの周囲の情報に関するデータは、車両Ｖに搭載されたメモリ等の記録媒体（不図示）に一時的に格納され、所定の送信間隔で構内監視装置１に送信されてもよい。
【0027】
なお、各々がセンサ２を備える複数の車両Ｖが施設構内を走行してもよい。これにより、施設構内のうち、複数の車両Ｖの各々の周辺領域に存在する物体について、複数の車両Ｖの各々からの距離、位置、形状、色調等に関する情報が取得される。複数の車両Ｖの各々のセンサ２が取得したデータは、無線通信によって構内監視装置１に送信されてもよい。
【0028】
次に、図２を参照して実施形態に係る構内監視装置１の構成を説明する。構内監視装置１は、施設構内の監視に必要な処理を行うコントローラ１０を備える。図示した例では、構内監視装置１にはセンサ２と、ＨＭＩ５（Ｈｕｍａｎ Ｍａｃｈｉｎｅ Ｉｎｔｅｒｆａｃｅ）とが接続されている。構内監視装置１は、例えば施設構内の状況を監視する管制施設に設置されるが、これに限定されない。例えば、車両Ｖが構内監視装置１を搭載していてもよい。
【0029】
まず、ＨＭＩ５について説明する。ＨＭＩ５は、コントローラ１０からの出力を受け取り、又はコントローラ１０への入力を行うことができる装置である。例えば、ＨＭＩ５は施設構内の状況を監視する管制施設に設置されている。なお、構内監視装置１が車両Ｖに搭載されている場合には、構内監視装置１と、当該管制施設のＨＭＩ５とは無線接続されていてもよい。その場合、施設構内の監視に必要なデータ処理を行った結果のみを、構内監視装置１からＨＭＩ５に送信することができる。そのため、通信データ量をより低減することができる。
【0030】
ＨＭＩ５は、例えばタッチパネルディスプレイから構成された表示部であるディスプレイ６を備える。ディスプレイ６には後述する仮想三次元マップ５０を表示することができる。また、ＨＭＩ５は操作部７を備えてもよい。操作部７はディスプレイ６に表示された仮想三次元マップ５０に所定の操作を行うことができるように構成されている。なお、操作部７はタッチパネルディスプレイから構成されたディスプレイ６の表示面に設定されたスイッチ等であってもよく、ディスプレイ６から独立して配設されたスイッチ等であってもよい。
【0031】
例えば、ディスプレイ６に仮想三次元マップ５０のうち後述する第１仮想マップ５１ｂが表示された状態において、構内監視装置１の使用者が操作部７を操作することにより、第１仮想マップ５１ｂ内における物体の位置調整を仮想的に行うことができる。また、第１仮想マップ５１ｂ内に新たな物体を仮想的に配置することができる。
【0032】
次に、コントローラ１０について説明する。コントローラ１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、メモリ、入出力部等を備える汎用のマイクロコンピュータである。マイクロコンピュータのメモリには、施設構内を監視するための既定のルール、指示等を含むコンピュータプログラムがインストールされている。当該コンピュータプログラムを実行することにより、マイクロコンピュータは、施設構内の監視を実行できる。
【0033】
コントローラ１０は仮想マップ生成部１５を備える。
【0034】
仮想マップ生成部１５は、センサ２により取得された車両Ｖの周囲の情報に基づいて、施設構内の仮想三次元マップ５０を経時的に生成し、出力することができる。仮想三次元マップ５０は、施設構内の各時刻Ｔにおける状態に対応する三次元仮想空間から構成される。また、仮想マップ生成部１５は、仮想三次元マップ５０をＨＭＩ５のディスプレイ６に表示可能である。なお、ディスプレイ６における仮想三次元マップ５０の表示範囲、表示角度等は特に限定されず、例えば構内監視装置１の使用者が適宜設定してもよい。
【0035】
三次元仮想空間は、施設構内の構造、並びに、施設構内に配設された物体の位置及び形状を、水平方向及び高さ方向において反映した空間である。そのため、仮想三次元マップ５０には、施設構内に存在する物体を仮想的に示す仮想物体が含まれる。三次元仮想空間は、例えばＬｉＤＡＲ２ａによって得られた点群データに公知技術を適用することにより構成される。当該公知技術として、例えばＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）が適用されてもよい。これにより、ＬｉＤＡＲ２ａによって取得された点群データに基づき、車両Ｖの姿勢及び位置の推定と同時に、三次元仮想空間を生成することができる。なお、三次元仮想空間はステレオカメラ２ｂによって取得された特徴点の三次元座標データにＳＬＡＭを適用することにより生成されてもよい。また、センサフュージョン技術を用いて、ＬｉＤＡＲ２ａによって取得された測定データと、ステレオカメラ２ｂによって取得された測定データとを並列的、又は相補的に組み合わせ、更にＳＬＡＭを適用することにより三次元仮想空間を生成してもよい。
【0036】
なお、ＬｉＤＡＲ２ａによって取得された測定データと、ステレオカメラ２ｂによって取得された測定データとを相補的に組み合わせることより生成された三次元仮想空間は、色調に関する情報を備えてもよい。これにより、仮想マップ生成部１５は色調情報を備えた仮想三次元マップ５０を経時的に生成することができる。色調情報を備えた仮想三次元マップ５０をディスプレイ６に表示することにより、構内監視装置１の使用者は施設構内の状態をより正確に把握することができる。
【0037】
仮想マップ生成部１５によって生成される三次元仮想空間は、例えばボクセルを配列することにより構成される。ボクセルは、三次元仮想空間において所定の体積を備える立方体状の領域であり、即ち、三次元領域又は体積要素である。なお、三次元仮想空間におけるボクセルの大きさは特に限定されず、センサ２の測定誤差等に応じて適宜設定することができる。例えば、センサ２の測定誤差が三次元仮想空間に反映されないようにボクセルの大きさを適宜設定してもよい。
【0038】
なお、仮想マップ生成部１５は仮想三次元マップ５０を所定の時間間隔で更新してもよい。更新間隔は、例えばセンサ２のデータ送信間隔と同じ、又は整数倍であってもよい。また、更新間隔は一定間隔でなくてもよい。また、仮想マップ生成部１５は仮想三次元マップ５０の一部をセンサ２により取得された情報に基づき更新することにより、仮想三次元マップ５０を経時的に生成してもよい。これにより、仮想三次元マップ５０を生成する際の処理負荷が低減される。
【0039】
仮想マップ生成部１５は、仮想三次元マップ５０として少なくとも基準仮想マップ５１ａと、第１仮想マップ５１ｂとを生成する。図３に例示する基準仮想マップ５１ａは、ある時刻Ｔ０における施設構内の状態を示す仮想三次元マップ５０である。基準仮想マップ５１ａに含まれる仮想物体としての仮想道路５２ａ、仮想建物５３ａ、仮想歩道５４ａ、仮想停止車両５５ａ１、仮想荷物５６ａ１，５６ａ２，５６ａ３、及び仮想歩行者５７ａ１，５７ａ２は、時刻Ｔ０において施設構内に存在する道路、建物、歩道、停止車両、荷物、及び歩行者にそれぞれ対応する。また、仮想停止車両５５ａ１は領域５８ａ内に存在する。領域５８ａは施設構内のうち駐車スペースとして設定された領域に対応する。仮想荷物５６ａ１，５６ａ２，５６ａ３は領域５９ａ内に存在する。領域５９ａは、施設構内のうち荷物置場として設定された領域に対応する。
【0040】
時刻Ｔ０において、施設構内は基準となる状態に設定されている。即ち、基準仮想マップ５１ａは、施設構内の基準となる状態を示す仮想三次元マップ５０である。なお、施設構内の基準となる状態とは、施設構内に存在する物体が所定の位置に配設された状態のことである。どのような状態を基準となる状態とするかは、構内監視装置１の使用者が任意に設定可能である。例えば、施設構内に存在する建物、車両、荷物等が基準となる所定の位置に配設されている状態を基準としてもよい。
【0041】
図４に例示する第１仮想マップ５１ｂは、ある時刻Ｔ１における施設構内の状態を示す仮想三次元マップ５０である。時刻Ｔ１は時刻Ｔ０よりも時系列順において後の時刻である。即ち、第１仮想マップ５１ｂは時系列順において基準仮想マップ５１ａよりも後に生成された仮想三次元マップ５０である。例えば、時刻Ｔ１は現在の時刻であってもよい。即ち、第１仮想マップ５１ｂは施設構内の最新の状態を示す仮想三次元マップ５０であってもよい。第１仮想マップ５１ｂに含まれる仮想物体としての仮想道路５２ｂ、仮想建物５３ｂ、仮想歩道５４ｂ、仮想停止車両５５ｂ１，５５ｂ２、仮想荷物５６ｂ１，５６ｂ２、及び仮想歩行者５７ｂ１は、時刻Ｔ１において施設構内に存在する道路、建物、歩道、停止車両、荷物、及び歩行者にそれぞれ対応する。
【0042】
仮想停止車両５５ｂ１は、基準仮想マップ５１ａにおける仮想停止車両５５ａ１と対応している。仮想荷物５６ｂ１，５６ｂ２は、基準仮想マップ５１ａにおける仮想荷物５６ａ１，５６ａ２に対応している。仮想歩行者５７ｂ１は、基準仮想マップ５１ａにおける仮想歩行者５７ａ１に対応している。領域５８ｂは、基準仮想マップ５１ａにおける領域５８ａに対応している。領域５９ｂは、基準仮想マップ５１ａにおける領域５９ａに対応している。なお、図４～図１０に示す例では、説明のため、基準仮想マップ５１ａにおける仮想荷物５６ａ３、又は仮想歩行者５７ａ２を破線で表示している。
【0043】
第１仮想マップ５１ｂには、基準仮想マップ５１ａに含まれていなかった仮想停止車両５５ｂ２が新たに含まれている。これは、時刻Ｔ０から時刻Ｔ１までの間に、領域５８ａに対応する施設構内の駐車スペースに、仮想停止車両５５ｂ２に対応する車両が駐車されたことを示す。また、第１仮想マップ５１ｂには、基準仮想マップ５１ａに含まれていた仮想荷物５６ａ３が含まれていない。これは、時刻Ｔ０から時刻Ｔ１までの間に、領域５９ａに対応する製造事業所の荷物置場に配置されていた仮想荷物５６ａ３に対応する荷物が他の場所に移動されたことを示す。また、第１仮想マップ５１ｂには、基準仮想マップ５１ａに含まれていた仮想歩行者５７ａ２が含まれていない。これは、時刻Ｔ０から時刻Ｔ１までの間に、製造事業所の歩道上に存在していた仮想歩行者５７ａ２に対応する歩行者が他の場所に移動したことを示す。このように、構内監視装置１では、施設構内の状態の変化が基準仮想マップ５１ａと第１仮想マップ５１ｂとの比較により監視される。
【0044】
なお、基準仮想マップ５１ａと第１仮想マップ５１ｂとを比較する際には、公知の方法を用いて基準仮想マップ５１ａに含まれる物体と、第１仮想マップ５１ｂに含まれる物体との対応付けを行ってもよい。例えば、基準仮想マップ５１ａの三次元仮想空間を構成するボクセルと、走行中の車両が搭載しているＬｉＤＡＲ２ａから得られた点群データとをマッチングしてもよい。そして、基準仮想マップ５１ａを構成するボクセルと、第１仮想マップ５１ｂを構成するボクセルのうち基準仮想マップ５１ａを構成するボクセルと対応付け可能なボクセルと、を対応付けてもよい。これにより、より確実に基準仮想マップ５１ａと第１仮想マップ５１ｂとを比較することができる。
【0045】
なお、施設構内を複数の車両Ｖが走行している場合には、仮想マップ生成部１５は、複数の車両Ｖの各々のセンサ２により取得された、複数の車両Ｖの各々の周囲の情報に基づいて、施設構内の仮想三次元マップ５０を経時的に生成してもよい。これにより、構内監視装置１は、施設構内の状態がより正確に反映された仮想三次元マップ５０を生成することができる。
【0046】
なお、基準仮想マップ５１ａは時刻Ｔ０における仮想三次元マップ５０に限定されない。構内監視装置１の使用者は、仮想マップ生成部１５が経時的に生成する仮想三次元マップ５０のうち、所望のタイミングで生成された仮想三次元マップ５０を基準仮想マップ５１ａとして設定してもよい。
【0047】
なお、基準仮想マップ５１ａには所定の情報を示す表示６０が追加的に設定されてもよい。図３に示す例では、横断歩道の位置を示す表示６０が設定されている。表示６０は例えばＨＭＩ５の操作部７を介した操作によって基準仮想マップ５１ａに追加されてもよい。また、図４に例示するように、基準仮想マップ５１ａよりも時系列順において後に生成された仮想三次元マップ５０に、表示６０に相当する表示が自動的に追加されるように構内監視装置１を構成してもよい。これにより、構内監視装置１の使用者は、ディスプレイ６に表示されている仮想三次元マップ５０が示す領域が、施設構内のどの位置に対応するのか、より正確に把握することができる。
【0048】
図２に例示するように、コントローラ１０は物体検出部２０と、物体表示部２５と、を備えてもよい。
【0049】
物体検出部２０は、第１仮想マップ５１ｂの中から第１物体を検出する。第１物体は、第１仮想マップ５１ｂの中に含まれている仮想物体のうち、予め定められたカテゴリに属する物体である。当該カテゴリは任意に設定することができ、例えば「車両」、「荷物」、及び「人」に設定されてもよい。その場合、第１仮想マップ５１ｂ（図４参照）の中から、第１物体として仮想停止車両５５ｂ１，５５ｂ２と、仮想荷物５６ｂ１，５６ｂ２と、仮想歩行者５７ｂ１とが検出される。
【0050】
なお、第１仮想マップ５１ｂから第１物体を検出する際には、公知の手法を適用することができる。例えば、第１仮想マップ５１ｂに畳み込み型深層学習による物体認識を適用することにより、所定のカテゴリに属する第１物体を第１仮想マップ５１ｂ内から検出してもよい。その際には、ボクセルにより構成されている三次元仮想空間から、所定のカテゴリに属すると認識されるボクセル群を第１物体として検出してもよい。
【0051】
物体表示部２５は、第１物体をＨＭＩ５のディスプレイ６に強調して表示する、物体強調表示を行うことができる。物体強調表示は、例えば、第１仮想マップ５１ｂ内において第１物体が存在する領域をその他の領域よりも目立つ色調で表示し、又は第１物体の輪郭線をその他の輪郭線よりも目立つ色調で表示することにより行われてもよい。図５に示す例では、第１物体としての仮想停止車両５５ｂ１，５５ｂ２と、仮想荷物５６ｂ１，５６ｂ２と、仮想歩行者５７ｂ１とが強調されている。なお、第１物体が検出されなかった場合には、物体表示部２５は物体強調表示を行わなくてもよい。
【0052】
図２に例示するように、コントローラ１０は差分抽出部３０と、差分判定部３１と、差分強調判定部３２と、差分表示部３３と、を備えてもよい。
【0053】
差分抽出部３０は、基準仮想マップ５１ａと第１仮想マップ５１ｂとの差分を抽出する。差分とは、第１仮想マップ５１ｂを構成する三次元仮想空間のうち、基準仮想マップ５１ａを構成する三次元仮想空間から変化した部分である。基準仮想マップ５１ａ（図３参照）と、第１仮想マップ５１ｂ（図４参照）とを比較すると、時刻Ｔ０から時刻Ｔ１の間に仮想停止車両５５ｂ２が増加し、仮想荷物５６ａ３及び仮想歩行者５７ａ２が減少している。そのため、これらの増減した仮想停止車両５５ｂ２、仮想荷物５６ａ３、及び仮想歩行者５７ａ２が差分として抽出される。なお、基準仮想マップ５１ａと第１仮想マップ５１ｂとの間に変化が無い場合には、差分抽出部３０は差分を抽出しない。
【0054】
また、差分抽出部３０は抽出された差分の情報として、差分の三次元仮想空間における位置、差分が属する物体のカテゴリ、又は差分の抽出の継続時間を保存してもよい。なお、差分の抽出は三次元仮想空間において増減したボクセルを抽出することにより行われてもよい。例えば、基準仮想マップ５１ａを構成するボクセルと、第１仮想マップ５１ｂを構成するボクセルとを比較し、増減したボクセルを特定することにより、差分を抽出してもよい。
【0055】
差分判定部３１は、基準仮想マップ５１ａと第１仮想マップ５１ｂとの間に差分が有るか否かの判定を行う。基準仮想マップ５１ａと第１仮想マップ５１ｂとの間では、仮想停止車両５５ｂ２等が差分として抽出される。そのため、差分判定部３１は基準仮想マップ５１ａと第１仮想マップ５１ｂとの間に差分が有ると判定する。なお、基準仮想マップ５１ａと第１仮想マップ５１ｂとの間の差分が抽出されなかった場合には、差分判定部３１は差分が無いと判定する。このように、差分判定部３１は差分抽出部３０が抽出した差分に基づいて、基準仮想マップ５１ａと第１仮想マップ５１ｂとの間に差分が有るか否かの判定を行う。
【0056】
差分強調判定部３２は、差分判定部３１が基準仮想マップ５１ａと第１仮想マップ５１ｂとの間に差分が有ると判定したことに応じて差分強調判定を行う。差分強調判定では、当該差分をＨＭＩ５のディスプレイ６に強調して表示するか否か判定する。差分強調判定には、後述する領域判定、カテゴリ判定、及び継続時間判定のうち少なくとも一つが含まれてもよい。後述する図１２に例示するフローチャートでは、差分抽出部３０が抽出した差分について、領域判定、カテゴリ判定、及び継続時間判定を適用することにより、当該差分をディスプレイ６に強調して表示するか否か判定している。なお、差分抽出部３０が複数の差分を抽出していた場合には、差分強調判定部３２は、複数の差分の各々について差分強調判定を行うことができる。
【0057】
差分表示部３３は、抽出された差分を強調して表示すると差分強調判定部３２が判定したことに応じて、差分強調表示を行う。差分強調表示では、強調して表示すると判定された差分をディスプレイ６に強調して表示する。差分強調表示は、例えば、第１仮想マップ５１ｂ内において当該差分が存在する領域をその他の領域よりも目立つ色調で表示してもよく、当該差分の輪郭線をその他の輪郭線よりも太い線又は目立つ色調で表示してもよい。
【0058】
例えば、差分強調判定部３２が、仮想停止車両５５ｂ２及び仮想荷物５６ａ３を強調して表示すると判断した場合には、差分表示部３３は、仮想停止車両５５ｂ２及び仮想荷物５６ａ３について差分強調表示を行う。図６に示す例では、仮想停止車両５５ｂ２及び仮想荷物５６ａ３の輪郭線を太い線で表示することにより、差分強調表示を行っている。なお、仮想荷物５６ａ３は時刻Ｔ０から時刻Ｔ１までの間に減少した差分であるため、基準仮想マップ５１ａにおける仮想荷物５６ａ３の位置に対応する領域の輪郭線を破線で強調し、表示している。
【0059】
なお、差分表示部３３は、基準仮想マップ５１ａと第１仮想マップ５１ｂとの間の差分について、ディスプレイ６に強調して表示するか否かの判定を行わずに、当該差分をディスプレイ６に強調して表示してもよい。即ち、差分表示部３３は、差分が有ると差分判定部３１が判定したことに応じて、ディスプレイ６に差分を強調して表示してもよい。その場合には、例えば仮想停止車両５５ｂ２、仮想荷物５６ａ３、及び仮想歩行者５７ａ２がディスプレイ６に強調して表示されることとなる。また、その場合にはコントローラ１０は差分強調判定部３２を備えなくてもよい。
【0060】
次に、差分強調判定部３２による差分強調判定のうち、領域判定、カテゴリ判定、及び継続時間判定について説明する。
【0061】
領域判定では、抽出された差分が、仮想三次元マップ５０内の所定領域に位置するか否かを判定する。そして、当該差分が仮想三次元マップ５０内の所定領域に位置する場合には、当該差分をディスプレイ６に強調して表示すると判定する。また、当該差分が仮想三次元マップ５０内の所定領域に位置しない場合には、当該差分をディスプレイ６において強調しないと判断する。
【0062】
当該所定領域は特に限定されず、予め所望の領域を設定可能である。例えば、当該所定領域は、施設構内の道路、建物、歩道、駐車スペース、荷物置場等のレイアウトに応じて、適宜設定されてもよい。なお、抽出された差分を構成するボクセルの三次元仮想空間における位置が、仮想三次元マップ５０内に位置するか否かを判定することにより、領域判定を行ってもよい。図６に例示する第１仮想マップ５１ｂでは、領域５８ｂと領域５９ｂとが、仮想三次元マップ５０内の所定領域として設定されている。そして、仮想停止車両５５ｂ２は領域５８ｂ内に位置しており、仮想荷物５６ａ３は領域５９ｂ内に位置している。そのため、仮想停止車両５５ｂ２、及び仮想荷物５６ａ３が仮想三次元マップ５０内の所定領域に位置していると判定される。即ち、差分強調判定部３２は、仮想停止車両５５ｂ２、及び仮想荷物５６ａ３をディスプレイ６に強調して表示すると判定する。
【0063】
領域判定によって差分強調判定を行うことにより、抽出された差分の位置に基づいて当該差分をディスプレイ６に強調表示するか否かを判定することができる。そのため、構内監視装置１の使用者が特に監視したい領域において差分が発生したか否か、より容易に監視することができる。
【0064】
カテゴリ判定では、抽出された差分が所定カテゴリに属するか否かを判定する。そして、当該差分が所定カテゴリに属する場合には、当該差分をディスプレイ６に強調して表示すると判定する。また、当該差分が所定カテゴリに属さない場合には、当該差分をディスプレイ６に強調して表示しないと判定する。所定カテゴリは、ディスプレイ６に強調して表示することを予め定めた物体が属している当該物体の分類である。例えば、抽出された差分がカテゴリ「車両」又はカテゴリ「荷物」であった場合に当該差分をディスプレイ６に強調して表示したい場合には、「車両」及び「荷物」を当該所定カテゴリとして予め設定する。その場合、差分として抽出された仮想停止車両５５ｂ２、仮想荷物５６ａ３、及び仮想歩行者５７ａ２のうち、カテゴリ「車両」に属する仮想停止車両５５ｂ２と、カテゴリ「荷物」に属する仮想荷物５６ａ３とが当該所定カテゴリに属していると判定される。即ち、差分強調判定部３２は、仮想停止車両５５ｂ２、及び仮想荷物５６ａ３をディスプレイ６に強調して表示すると判定する。
【0065】
カテゴリ判定によって差分強調判定を行うことにより、抽出された差分が属するカテゴリに応じて、当該差分をディスプレイ６に強調表示するか否かを判定することができる。そのため、構内監視装置１の使用者が特に監視したい種別の物体について差分が発生したか否か、より容易に監視することができる。
【0066】
継続時間判定では、抽出された差分が所定時間以上、継続して抽出されたか否かを判定する。そして、当該差分が所定時間以上継続して抽出されていた場合には、当該差分をディスプレイ６に強調して表示すると判定する。また、当該差分が所定時間以上継続して抽出されていなかった場合には、当該差分をディスプレイ６に強調して表示しないと判定する。当該所定時間の値は特に限定されず、予め所望の値に設定可能である。例えば、当該所定時間は、センサ２の検出間隔、センサ２により検出されたデータの送信間隔、仮想マップ生成部１５による仮想三次元マップ５０の更新間隔等に応じて、適宜設定されてもよい。ある実施形態では、当該所定時間は１５秒～９０秒に設定されてもよい。
【0067】
施設構内を車両Ｖが走行しながらセンサ２によって車両Ｖの周囲の情報を取得する際に、センサ２の検出範囲において、車両Ｖの周囲の物体は継続的に検出される。ここで、例えば施設構内の歩行者等の移動体が、一時的にセンサ２の検出範囲に存在していた場合、センサ２からの情報に基づいて生成された仮想三次元マップ５０内には、当該移動体に対応する仮想移動体が経時的に含まれることとなる。そして、当該仮想移動体は差分抽出部３０によって経時的に抽出されることとなる。継続時間判定によって差分強調判定を行うことにより、差分の抽出が継続した時間に応じて、当該差分をディスプレイ６に強調表示するか否かを判定することができる。そのため、例えばセンサ２の検出範囲に短時間存在した移動体に対応する、仮想三次元マップ５０内の仮想移動体が、所定時間より短い時間しか継続して抽出されなかった場合には、当該仮想移動体を差分強調表示の対象から除外することができる。即ち、所定時間以上継続して抽出された差分のみを差分強調表示の対象とすることができる。
【0068】
図２に例示するように、コントローラ１０は操作検出部４０と、干渉判定部４１と、通知部４２と、を備えてもよい。
【0069】
操作検出部４０は第１仮想マップ５１ｂへの所定の操作を検出する。操作検出部４０はＨＭＩ５の操作部７への入力が有った場合に操作を検出してもよい。例えば、操作検出部４０はタッチパネルディスプレイから構成されたディスプレイ６の表示面に設定された操作部７への入力を検出してもよい。
【0070】
操作検出部４０は、第１仮想マップ５１ｂ内における第１物体の位置が、第１仮想マップ５１ｂ内で調整されたことを検出可能である。図７に示す例では、構内監視装置１の使用者は操作部７を介して、第１物体である仮想荷物５６ｂ１の位置を位置Ｐ１から位置Ｐ２に調整する操作を行っている。このような操作が行われた場合に、操作検出部４０は第１物体の位置が、第１仮想マップ５１ｂ内で調整されたことを検出することができる。なお、第１物体の位置調整は水平方向に限定されず、高さ方向における位置調整も可能である。
【0071】
また、操作検出部４０は、第１仮想マップ５１ｂ内に第２物体が新たに配置されたことを検出可能である。第２物体は、施設構内に新たに配置される物体を仮想的に示す物体である。例えば、第２物体は時刻Ｔ１において施設構内から検出されていない物体であって、時刻Ｔ１よりも後の時刻に施設構内に新たに配置される予定の物体を仮想的に示す。そのため、第２物体が仮想的に示す物体と、第１物体が仮想的に示す物体とは異なる。即ち、第２物体は第１物体とは異なる物体を仮想的に示す。また、第２物体は、構内監視装置１の使用者が予めコントローラ１０に記憶させた、例えば車両、荷物、人等を仮想的に示す物体であってもよい。
【0072】
図９に示す例では、構内監視装置１の使用者が操作部７を介して、第１仮想マップ５１ｂ内の位置Ｐ２に第２物体としての新たな仮想荷物５６ｃを配置する操作を行っている。このような操作が行われた場合に、操作検出部４０は第１仮想マップ５１ｂ内に第２物体が配置されたことを検出することができる。
【0073】
干渉判定部４１は、第１仮想マップ５１ｂ内における第１物体の位置が、第１仮想マップ５１ｂ内で調整されたことに応じて第１干渉判定を行う。第１干渉判定では、位置が調整された後の第１物体と、第１仮想マップ５１ｂに含まれる仮想物体のうち第１物体以外の物体とが互いに干渉するか否かを判定する。
【0074】
図７に示す例では、第１仮想マップ５１ｂ内の位置Ｐ２において、位置調整後の仮想荷物５６ｂ１は、第１仮想マップ５１ｂ内の他の物体と干渉していない。そのため、干渉判定部４１は第１干渉判定において、位置調整後の仮想荷物５６ｂ１と、仮想荷物５６ｂ１以外の物体とが互いに干渉しないと判定する。
【0075】
一方、図８に示す例では、構内監視装置１の使用者は操作部７を介して、第１仮想マップ５１ｂ内において仮想荷物５６ｂ１の位置を位置Ｐ１から位置Ｐ３に調整する操作を行っている。そして、位置Ｐ３に位置調整された仮想荷物５６ｂ１の図における左方側の部位と、仮想荷物５６ｂ２の図における右方側の部位と、が干渉している。そのため、干渉判定部４１は第１干渉判定において、位置調整後の仮想荷物５６ｂ１と、仮想荷物５６ｂ１以外の物体とが互いに干渉すると判定する。
【0076】
また、干渉判定部４１は、第１仮想マップ５１ｂ内に第２物体が新たに配置されたことに応じて、第２干渉判定を行う。第２干渉判定では、配置された後の第２物体と、第１仮想マップ５１ｂに含まれる仮想物体のうち第２物体以外の物体とが互いに干渉するか否かを判定する。
【0077】
図９に示す例では、第１仮想マップ５１ｂ内の位置Ｐ２において、配置後の仮想荷物５６ｃは、第１仮想マップ５１ｂ内の他の物体と干渉していない。そのため、干渉判定部４１は第２干渉判定において、配置後の仮想荷物５６ｃと、仮想荷物５６ｃ以外の物体とが互いに干渉しないと判定する。
【0078】
一方、図１０に示す例では、構内監視装置１の使用者は操作部７を介して、第１仮想マップ５１ｂ内において仮想荷物５６ｃを位置Ｐ４に配置する操作を行っている。そして、位置Ｐ４に配置された仮想荷物５６ｃの図における左方側の部位と、仮想荷物５６ｂ１の図における右方側の部位と、が干渉している。そのため、干渉判定部４１は第２干渉判定において、配置後の仮想荷物５６ｃと、仮想荷物５６ｃ以外の物体とが互いに干渉すると判定する。
【0079】
なお、図７～図１０に示した例では、干渉判定部４１は水平方向における物体の干渉について判定しているが、これに限定されない。仮想マップ生成部１５が生成する仮想三次元マップ５０には施設構内に配設された物体の位置、及び形状が水平方向及び高さ方向において反映されている。そのため、干渉判定部４１は高さ方向において物体同士が干渉するか否か判定することができる。例えば、第１干渉判定において、位置が調整された後の仮想荷物５６ｂ１と、領域５９ｂの上方に配設された屋根、配管等（不図示）とが干渉するか否か判定することができる。
【0080】
なお、第１干渉判定、又は第２干渉判定における、ある物体と他の物体とが干渉するか否かの判定には、公知の干渉判定方法又は衝突判定方法を適用することができる。例えば、第１仮想マップ５１ｂを構成する三次元仮想空間において第１物体を構成するボクセルが占める空間に、他の物体を構成するボクセルが存在するか否かを判定することにより、第１干渉判定を行ってもよい。また、第１干渉判定と同様の方法により、第２干渉判定を行ってもよい。
【0081】
通知部４２は、第１干渉判定で、第１物体と、第１仮想マップ５１ｂに含まれる仮想物体のうち第１物体以外の物体とが互いに干渉すると判定されたことに応じて、干渉の発生を通知する。図８に示す例では、通知部４２は位置調整後の仮想荷物５６ｂ１と、仮想荷物５６ｂ１以外の物体とが互いに干渉することを、所定の通知方法によって通知する。また、通知部４２は、第２干渉判定で、第２物体と、第１仮想マップ５１ｂに含まれる仮想物体のうち第２物体以外の物体とが互いに干渉すると判定されたことに応じて、干渉の発生を通知する。図１０に示す例では、通知部４２は配置後の仮想荷物５６ｃと、仮想荷物５６ｃ以外の物体とが互いに干渉することを、所定の通知方法によって通知する。
【0082】
なお通知部４２による通知の方法は特に限定されない。例えば、通知部４２はＨＭＩ５が備えるスピーカー（不図示）から警告音を発してもよく、ディスプレイ６に警告マーク又は警告文を表示してもよい。また、通知部４２は、第１物体又は第２物体と、他の物体とが干渉している領域をその他の領域よりも目立つ色調で示し、又は当該領域の輪郭線をその他の輪郭線よりも目立つ色調で示すことにより干渉発生を通知してもよい。
【0083】
次に、図１１のフローチャートを参照しながら、構内監視装置１の動作の一例について説明する。図に例示するステップＳ１０１～ステップＳ１０８の処理を繰り返すことにより、施設構内の状態をより確実に監視することができる。
【0084】
構内監視装置１による施設構内の監視を開始する際には、まず、構内監視装置１は時刻Ｔ０においてセンサ２が取得した車両Ｖの周囲の情報に基づいて、例えば図３に示す基準仮想マップ５１ａを生成し、コントローラ１０内の記憶装置（不図示）に格納する。そして、例えばＨＭＩ５の操作部７を操作することにより、施設構内の監視を開始する。
【0085】
ステップＳ１０１において、仮想マップ生成部１５は、時刻Ｔ１においてセンサ２が取得した車両Ｖの周囲の情報に基づいて、例えば図４に示す第１仮想マップ５１ｂを生成する。第１仮想マップ５１ｂは、時刻Ｔ０よりも時系列順において後の時刻Ｔ１における施設構内の状態に対応する。その後、処理はステップＳ１０２に進む。
【0086】
ステップＳ１０２において、物体検出部２０は、第１仮想マップ５１ｂの中から予め定められたカテゴリに属する第１物体を検出する。当該カテゴリとして、予め「車両」、「荷物」、及び「人」を設定していた場合には、第１仮想マップ５１ｂの中から、第１物体として仮想停止車両５５ｂ１，５５ｂ２と、仮想荷物５６ｂ１，５６ｂ２と、仮想歩行者５７ｂ１とが検出される。なお、当該カテゴリに属する物体を第１仮想マップ５１ｂが含まない場合には、物体検出部２０は第１物体を検出しなくてもよい。その後、処理はステップＳ１０３に進む。
【0087】
ステップＳ１０３において、差分抽出部３０は、基準仮想マップ５１ａと第１仮想マップ５１ｂとの差分を抽出する。図３及び図４に示す例では、基準仮想マップ５１ａと比較して、第１仮想マップ５１ｂに仮想停止車両５５ｂ２が増加し、仮想荷物５６ａ３及び仮想歩行者５７ａ２が減少している。そのため、差分抽出部３０はこれらの増減した仮想停止車両５５ｂ２、仮想荷物５６ａ３、及び仮想歩行者５７ａ２を差分として抽出する。なお、基準仮想マップ５１ａと第１仮想マップ５１ｂとの間に変化が無い場合には、差分抽出部３０は差分を抽出しなくてもよい。その後、処理はステップＳ１０４に進む。
【0088】
ステップＳ１０４において、仮想マップ生成部１５は、第１仮想マップ５１ｂをＨＭＩ５のディスプレイ６に表示する。その際、構内監視装置１の使用者はディスプレイ６における第１仮想マップ５１ｂの表示範囲、表示角度等を適宜設定してもよい。その後、処理はステップＳ１０５に進む。
【0089】
ステップＳ１０５において、物体表示部２５は、ステップＳ１０２で検出された第１物体をディスプレイ６に強調して表示する物体強調表示を行う。例えば、図５に示す例のように仮想停止車両５５ｂ１，５５ｂ２と、仮想荷物５６ｂ１，５６ｂ２と、仮想歩行者５７ｂ１とが強調して表示される。なお、ステップＳ１０２で第１物体が検出されなかった場合には、ステップＳ１０５は省略されてもよい。その後、処理はステップＳ１０６に進む。
【0090】
ステップＳ１０６において、差分判定部３１は、基準仮想マップ５１ａと第１仮想マップ５１ｂとの間に差分が有るか否かの判定を行う。即ち、ステップＳ１０３において差分抽出部３０が差分を抽出したか否かの判定を行う。ステップＳ１０３では、差分抽出部３０が仮想停止車両５５ｂ２、仮想荷物５６ａ３、及び仮想歩行者５７ａ２を差分として抽出しているため、差分判定部３１はＹｅｓと判定する。その後、処理はステップＳ１０７に進む。なお、ステップＳ１０３において差分抽出部３０が差分を抽出していなかった場合、ステップＳ１０６で差分判定部３１はＮｏと判定し、一連の処理が終了する。
【0091】
ステップＳ１０７において、差分強調判定部３２は差分強調判定を行う。即ち、抽出された差分が差分強調表示の対象となるか否か判定する。そして、差分強調判定において、抽出された差分をディスプレイ６に強調して表示すると判定された場合には（ステップＳ１０７でＹｅｓ）、処理はステップＳ１０８に進む。一方、差分強調判定において、抽出された差分をディスプレイ６に強調して表示しないと判定された場合には（ステップＳ１０７でＮｏ）、一連の処理が終了する。
【0092】
なお、差分抽出部３０が複数の差分を抽出していた場合には、差分強調判定部３２は、複数の差分の各々について差分強調判定を行う。そして、差分強調表示の対象となる差分を決定する。例えば、ステップＳ１０３において抽出された差分である仮想停止車両５５ｂ２、仮想荷物５６ａ３、及び仮想歩行者５７ａ２の各々について差分強調判定を行う。そして、例えば、仮想停止車両５５ｂ２及び仮想荷物５６ａ３を差分強調表示の対象として決定する。
【0093】
ステップＳ１０８において、差分表示部３３は、ステップＳ１０７で強調して表示すると判定された差分をディスプレイ６に強調して表示する、差分強調表示を行う。図６に示す例では、仮想停止車両５５ｂ２及び仮想荷物５６ａ３が差分強調表示の対象であるため、これらを強調して表示する。その後、一連の処理が終了する。
【0094】
なお、差分表示部３３は、基準仮想マップ５１ａと第１仮想マップ５１ｂとの間の差分について、差分強調判定を行うことなく、当該差分をディスプレイ６に強調して表示してもよい。即ち、差分表示部３３は、差分が有ると差分判定部３１が判定したことに応じて、差分強調表示を行ってもよい。その場合、ステップＳ１０７は省略されてもよい。
【0095】
なお、ステップＳ１０４における第１仮想マップ５１ｂの表示、ステップＳ１０５における物体強調表示、又はステップＳ１０８における差分強調表示のタイミングは、図１１に示す例に限定されない。例えば、ステップＳ１０７の処理が行われた後に、ステップＳ１０４、ステップＳ１０５、及びステップＳ１０８の処理が行われてもよい。
【0096】
次に、図１２のフローチャートを参照しながら、ステップＳ１０７の差分強調判定において行われる処理の一例について、より詳細に説明する。図に示すステップＳ２０１～ステップＳ２０５により、差分強調判定を行うことができる。
【0097】
ステップＳ２０１において、差分強調判定部３２は領域判定により、差分抽出部３０によって抽出された差分をディスプレイ６に強調して表示するか否か判定する。領域判定では、抽出された差分が、仮想三次元マップ５０内の所定領域に位置するか否かを判定する。図６に示す例では、領域５８ｂ及び領域５９ｂが、仮想三次元マップ５０内の所定領域として設定されている。そのため、差分強調判定部３２は、ステップＳ１０３で抽出された差分である仮想停止車両５５ｂ２、仮想荷物５６ａ３、及び仮想歩行者５７ａ２の各々について、領域５８ｂ又は領域５９ｂに位置するか否か判定する。
【0098】
図示した例では、仮想停止車両５５ｂ２及び仮想荷物５６ａ３は、は領域５８ｂ内又は領域５９ｂ内に位置している。よって、差分強調判定部３２は仮想停止車両５５ｂ２及び仮想荷物５６ａ３が所定領域に位置していると判定する（ステップＳ２０１でＹｅｓ）。その後、処理はステップＳ２０２に進む。一方、仮想歩行者５７ａ２は領域５８ｂ内又は領域５９ｂ内のいずれにも位置していない。そのため、差分強調判定部３２は仮想歩行者５７ａ２が所定領域に位置していないと判定する（ステップＳ２０１でＮｏ）。その後、処理はステップＳ２０４に進む。
【0099】
ステップＳ２０２において、差分強調判定部３２はカテゴリ判定により、差分抽出部３０によって抽出された差分をディスプレイ６に強調して表示するか否か判定する。カテゴリ判定では、抽出された差分が所定カテゴリに属するか否かを判定する。
【0100】
例えば、「車両」及び「荷物」が所定カテゴリとして予め設定されていた場合、ステップＳ２０１でＹｅｓと判定された仮想停止車両５５ｂ２及び仮想荷物５６ａ３の各々について、カテゴリ「車両」又はカテゴリ「荷物」に属するか否かが判定される。ここで、仮想停止車両５５ｂ２はカテゴリ「車両」に属し、仮想荷物５６ａ３はカテゴリ「荷物」に属する。よって、差分強調判定部３２は、仮想停止車両５５ｂ２及び仮想荷物５６ａ３が所定カテゴリに属すると判定する（ステップＳ２０２でＹｅｓ）。その後、処理はステップＳ２０３に進む。なお、カテゴリ判定の対象となった差分が所定カテゴリに属さない場合には、差分強調判定部３２は、抽出された差分が所定カテゴリに属さないと判定する（ステップＳ２０２でＮｏ）。その後、処理はステップＳ２０４に進む。
【0101】
ステップＳ２０３において、差分強調判定部３２は継続時間判定により、差分抽出部３０によって抽出された差分をディスプレイ６に強調して表示するか否か判定する。継続時間判定では、抽出された差分が所定時間以上、継続して抽出されたか否かを判定する。
【0102】
例えば、差分強調判定部３２はステップＳ２０２でＹｅｓと判定された仮想停止車両５５ｂ２及び仮想荷物５６ａ３の各々について、所定時間以上継続して抽出されたか否かを判定する。例えば、仮想停止車両５５ｂ２及び仮想荷物５６ａ３の抽出が所定時間以上継続していた場合には、仮想停止車両５５ｂ２及び仮想荷物５６ａ３の各々について、ステップＳ２０３でＹｅｓと判定する。その後、処理はステップＳ２０５に進む。一方、抽出された差分が、所定時間以上継続して抽出されていなかった場合には、当該差分についてステップＳ２０３でＮｏと判定する。その後、処理はステップＳ２０４に進む。
【0103】
ステップＳ２０４において、差分強調判定部３２は、ステップＳ１０３で抽出された差分のうちディスプレイ６に強調して表示しないと判定された差分を、差分強調表示の対象から除外する。例えば、ステップＳ２０１の領域判定でＮｏと判定された仮想歩行者５７ａ２は、差分強調表示の対象から除外される。
【0104】
ステップＳ２０５において、差分強調判定部３２は、差分強調表示の対象となる差分を決定する。例えば、図６に示す仮想停止車両５５ｂ２及び仮想荷物５６ａ３を差分強調表示の対象とすることが決定される。
【0105】
なお、図１２に例示するフローチャートでは、差分強調判定を、領域判定、種別判定、及び継続時間判定の組み合わせにより行っているが、これに限定されない。差分強調判定は、領域判定、種別判定、及び継続時間判定の少なくとも一つを用いて行われてもよい。
【0106】
次に、図１３のフローチャートを参照しながら、第１仮想マップ５１ｂに所定の操作が行われた際の処理の一例について説明する。
【0107】
例えば構内監視装置１により構内を監視している際、使用者はＨＭＩ５の操作部７を介して第１仮想マップ５１ｂ内における第１物体の位置調整、又は第１仮想マップ５１ｂ内への第２物体の配置を行うことができる。なお、操作部７を介して行える操作はこれに限定されず、使用者が他の操作を行うことができるように構内監視装置１を構成してもよい。
【0108】
ステップＳ３０１では、操作検出部４０が第１仮想マップ５１ｂに所定の操作が行われたことを検出する。その後、処理はステップＳ３０２に進む。
【0109】
ステップＳ３０２では、操作検出部４０が、ステップＳ３０１で検出された操作が第１仮想マップ５１ｂ内における第１物体の位置を第１仮想マップ５１ｂ内で調整する操作であったか否かを判定する。そして、操作が第１仮想マップ５１ｂ内における第１物体の位置調整であった場合にはＹｅｓと判定される。その後、処理はステップＳ３０３に進む。一方、操作が第１仮想マップ５１ｂ内における第１物体の位置調整ではなかった場合にはＮｏと判定される。その後、処理はステップＳ３０４に進む。
【0110】
ステップＳ３０３では、干渉判定部４１が第１干渉判定を行う。第１干渉判定では、位置が調整された後の第１物体と、第１仮想マップ５１ｂ内の第１物体以外の物体とが互いに干渉するか否かを判定する。
【0111】
図７に示す例では、第１仮想マップ５１ｂ内の位置Ｐ２において、位置調整後の第１物体である仮想荷物５６ｂ１は、第１仮想マップ５１ｂ内の他の物体と干渉していない。そのため、干渉判定部４１はステップＳ３０３でＮｏと判定する。その後、一連の処理が終了する。一方、図８に示す例では、位置Ｐ３に位置調整された仮想荷物５６ｂ１と、仮想荷物５６ｂ２とが干渉している。そのため、干渉判定部４１はステップＳ３０３でＹｅｓと判定する。その後、処理はステップＳ３０６へと進む。
【0112】
ステップＳ３０４では、操作検出部４０が、ステップＳ３０１で検出された操作が第１仮想マップ５１ｂ内に第２物体を配置する操作であったか否かを判定する。そして、操作が第１仮想マップ５１ｂ内への第２物体の配置であった場合にはＹｅｓと判定される。その後、処理はステップＳ３０５に進む。一方、操作が第１仮想マップ５１ｂ内への第２物体の配置ではなかった場合にはＮｏと判定される。その後、一連の処理が終了する。
【0113】
ステップＳ３０５では、干渉判定部４１が第２干渉判定を行う。第２干渉判定では、配置された後の第２物体と、第１仮想マップ５１ｂ内の第２物体以外の物体とが互いに干渉するか否かを判定する。
【0114】
図９に示す例では、第２物体である配置後の仮想荷物５６ｃは、第１仮想マップ５１ｂ内の他の物体と干渉していない。そのため、干渉判定部４１はステップＳ３０５でＮｏと判定する。その後、一連の処理が終了する。一方、図１０に示す例では、位置Ｐ４に配置された仮想荷物５６ｃと、仮想荷物５６ｂ１とが干渉している。そのため、干渉判定部４１はステップＳ３０５でＹｅｓと判定する。その後、処理はステップＳ３０６に進む。
【0115】
ステップＳ３０６では、通知部４２が干渉の発生を通知する。例えば、ステップＳ３０３でＹｅｓと判定された場合には、位置Ｐ３に位置調整された仮想荷物５６ｂ１と、仮想荷物５６ｂ２との間の干渉を所定の通知方法によって通知する。また、ステップＳ３０５でＹｅｓと判定された場合には、位置Ｐ４に配置された仮想荷物５６ｃと、仮想荷物５６ｂ１との間の干渉を所定の通知方法によって通知する。
【0116】
次に、実施形態に係る構内監視方法、及び構内監視装置の作用効果について説明する。
【0117】
（１）実施形態に係る構内監視方法は、施設構内の状態を監視する構内監視方法であって、施設構内を走行可能な車両に配設されたセンサ２により取得された車両Ｖの周囲の情報に基づいて、施設構内の仮想三次元マップ５０を経時的に生成し、仮想三次元マップ５０のうち施設構内の基準となる状態を示す基準仮想マップ５１ａと、仮想三次元マップ５０のうち時系列順において基準仮想マップ５１ａよりも後に生成された第１仮想マップ５１ｂと、を比較することにより、施設構内の状態の変化を監視する。
【0118】
実施形態に係る構内監視方法によれば、経時的に生成された施設構内の仮想三次元マップ５０のうち、基準仮想マップ５１ａと第１仮想マップ５１ｂとを比較することにより、施設構内の基準となる状態からの変化を監視することができる。そのため、施設構内におけるセンサ２を搭載した車両Ｖの周囲、及び車両Ｖの周囲以外の領域をより確実に監視することができる。即ち、施設構内の状態をより確実に監視することができる。更に、実施形態に係る構内監視方法では、仮想三次元マップ５０は車両Ｖに配設されたセンサ２が取得した情報に基づき生成される。そのため、施設構内における複数位置に配設されたセンサ２により取得された情報に基づき仮想三次元マップ５０を生成する場合に比べ、より簡便に施設構内の状態を反映させた仮想三次元マップ５０を生成可能である。
【0119】
（２）第１仮想マップ５１ｂの中から予め定められたカテゴリに属する第１物体５５ｂ１，５５ｂ２，５６ｂ１，５６ｂ２，５７ｂ１を検出し、仮想三次元マップ５０を表示可能な表示部６に第１仮想マップ５１ｂを表示し、かつ、第１物体５５ｂ１，５５ｂ２，５６ｂ１，５６ｂ２，５７ｂ１を強調して表示してもよい。
【0120】
これにより、図５に例示するように、第１仮想マップ５１ｂ内に含まれる第１物体５５ｂ１，５５ｂ２，５６ｂ１，５６ｂ２，５７ｂ１を強調して表示することができる。そのため、第１物体５５ｂ１，５５ｂ２，５６ｂ１，５６ｂ２，５７ｂ１の施設構内における位置をより確実に監視することができる。
【0121】
（３）基準仮想マップ５１ａと第１仮想マップ５１ｂとの間に差分が有るか否か判定し、差分が有ると判定されたことに応じて、仮想三次元マップ５０を表示可能な表示部６に差分を強調して表示してもよい。
【0122】
これにより、基準仮想マップ５１ａが示す施設構内の状態と、第１仮想マップ５１ｂが示す施設構内の状態との間で変化した部分を、差分としてディスプレイ６に表示することができる。そのため、施設構内の状態の変化をより確実に監視することができる。
【0123】
（４）差分が有ると判定されたことに応じて、差分を表示部６に強調して表示するか否か判定し、差分を強調して表示すると判定されたことに応じて、表示部６に差分を強調して表示してもよい。
【0124】
これにより、基準仮想マップ５１ａと第１仮想マップ５１ｂとの差分のうち、所定の条件に該当する差分のみを強調してディスプレイ６に表示することができる。そのため、施設構内の状態の変化をより容易に把握することができる。
【0125】
（５）第１仮想マップ５１ｂ内における第１物体５５ｂ１，５５ｂ２，５６ｂ１，５６ｂ２，５７ｂ１の位置が第１仮想マップ５１ｂ内で調整されたことに応じて、調整された後の第１物体５５ｂ１，５５ｂ２，５６ｂ１，５６ｂ２，５７ｂ１と、第１仮想マップ５１ｂ内の第１物体５５ｂ１，５５ｂ２，５６ｂ１，５６ｂ２，５７ｂ１以外の物体とが互いに干渉するか否かを判定する第１干渉判定を行い、第１干渉判定で、第１物体５５ｂ１，５５ｂ２，５６ｂ１，５６ｂ２，５７ｂ１と、第１仮想マップ５１ｂ内の物体とが互いに干渉すると判定されたことに応じて、干渉の発生を通知してもよい。
【0126】
第１仮想マップ５１ｂ内で第１干渉判定を行うことにより、例えば施設構内の荷物の位置調整が予定されている場合に、移動先の位置において当該荷物と、施設構内に存在する当該荷物以外の物体とが干渉するか否か、予め把握することができる。
【0127】
（６）第１仮想マップ５１ｂ内に第２物体５６ｃが配置されたことに応じて、配置された後の第２物体５６ｃと、第１仮想マップ５１ｂ内の第２物体５６ｃ以外の物体とが互いに干渉するか否かを判定する第２干渉判定を行い、第２干渉判定で、第２物体５６ｃと、第１仮想マップ５１ｂ内の物体とが互いに干渉すると判定されたことに応じて、干渉の発生を通知してもよい。
【0128】
第１仮想マップ５１ｂ内で第２干渉判定を行うことにより、例えば新たな荷物が施設構内に配置される際に、当該新たな荷物と、施設構内に存在する物体とが干渉するか否か、予め把握することができる。
【0129】
（７）施設構内を走行可能な複数の車両Ｖの各々に配設されたセンサ２により取得された当該複数の車両Ｖの各々の周囲の情報に基づいて、施設構内の仮想三次元マップ５０を経時的に生成してもよい。
【0130】
これにより、施設構内を走行する複数の車両Ｖの各々のセンサ２によって、複数の車両Ｖの各々の周囲情報を取得することができる。そして、取得した情報に基づいて、仮想三次元マップ５０を経時的に生成することができる。そのため、施設構内の状態をより正確に示す第１仮想マップ５１ｂを生成することができ、施設構内の状態をより確実に監視することができる。
【0131】
（８）センサ２は、車両Ｖの周囲に存在する物体の形状、及び車両Ｖからの距離を三次元的に検出可能な三次元センサであってもよい。
【0132】
これにより、仮想マップ生成部１５は、施設構内の構造、並びに、施設構内に配設された物体の位置及び形状を、水平方向及び高さ方向において反映させた三次元仮想空間を生成することができる。そのため、仮想マップ生成部１５は、施設構内の水平方向及び高さ方向の状態が反映された基準仮想マップ５１ａ、及び第１仮想マップ５１ｂを生成することができる。これにより、施設構内の状態をより正確に監視することができる。
【0133】
（９）実施形態に係る構内監視装置は、施設構内の状態を監視する構内監視装置１であって、施設構内を走行可能な車両Ｖに配設されたセンサ２により取得された車両Ｖの周囲の情報に基づいて、施設構内の仮想三次元マップ５０を経時的に生成する仮想マップ生成部１５を備え、仮想三次元マップ５０のうち施設構内の基準となる状態を示す基準仮想マップ５１ａと、仮想三次元マップ５０のうち時系列順において基準仮想マップ５１ａよりも後に生成された第１仮想マップ５１ｂと、を比較することにより、施設構内の状態の変化を監視する。
【0134】
実施形態に係る構内監視装置１によれば、仮想マップ生成部１５は施設構内の仮想三次元マップ５０を経時的に生成する。そして、仮想三次元マップ５０のうち、基準仮想マップ５１ａと第１仮想マップ５１ｂとを比較することにより、施設構内の状態の変化を監視することができる。そのため、施設構内におけるセンサ２を搭載した車両Ｖの周囲、及び車両Ｖの周囲以外の領域をより確実に監視することができる。即ち、施設構内の状態をより確実に監視することができる。更に、実施形態に係る構内監視装置１では、仮想マップ生成部１５は車両Ｖに配設されたセンサ２が取得した情報に基づき仮想三次元マップ５０を生成する。そのため、施設構内における複数位置に配設されたセンサ２により取得された情報に基づき仮想三次元マップ５０を生成する場合に比べ、より簡便に施設構内の状態を反映させた仮想三次元マップ５０を生成可能な構内監視装置１を提供することができる。
【0135】
本開示は、例えば持続可能な開発目標（ＳＤＧｓ）の目標９「強靭（レジリエント）なインフラ構築、包摂的かつ持続可能な産業化の促進及びイノベーションの推進を図る」に貢献することができる。
【0136】
以上、いくつかの実施形態を説明したが、上記開示内容に基づいて実施形態の修正又は変形をすることが可能である。上記実施形態の全ての構成要素、及び請求の範囲に記載された全ての特徴は、それらが互いに矛盾しない限り、個々に抜き出して組み合わせてもよい。
【符号の説明】
【0137】
Ｖ 車両
１ 構内監視装置
２ センサ
６ ディスプレイ（表示部）
１５ 仮想マップ生成部
５０ 仮想三次元マップ
５１ａ 基準仮想マップ
５１ｂ 第１仮想マップ
５５ｂ１，５５ｂ２ 仮想停止車両（第１物体）
５６ｂ１，５６ｂ２ 仮想荷物（第１物体）
５７ｂ１ 仮想歩行者（第１物体）
５６ｃ 仮想荷物（第２物体）
１ 構内監視装置
２ センサ
６ ディスプレイ（表示部）
１５ 仮想マップ生成部
５０ 仮想三次元マップ
５１ａ 基準仮想マップ
５１ｂ 第１仮想マップ
５５ｂ１，５５ｂ２ 仮想停止車両（第１物体）
５６ｂ１，５６ｂ２ 仮想荷物（第１物体）
５７ｂ１ 仮想歩行者（第１物体）
５６ｃ 仮想荷物（第２物体）
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】