(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-09-30
(45)【発行日】2022-10-11
(54)【発明の名称】情報提示装置および情報提示方法
(51)【国際特許分類】
H04N 7/18 20060101AFI20221003BHJP
E02F 9/26 20060101ALI20221003BHJP
【ＦＩ】
H04N7/18 D
E02F9/26 A
【請求項の数】
5
(21)【出願番号】P 2018035382
(22)【出願日】2018-02-28
(65)【公開番号】P2019151968
(43)【公開日】2019-09-12
【審査請求日】2021-01-07
(73)【特許権者】
【識別番号】000001236
【氏名又は名称】株式会社小松製作所
(74)【代理人】
【識別番号】110001634
【氏名又は名称】弁理士法人志賀国際特許事務所
(72)【発明者】
【氏名】関 正暢
(72)【発明者】
【氏名】宮本 俊輔
(72)【発明者】
【氏名】安田 馨
【審査官】秦野 孝一郎
(56)【参考文献】
【文献】特開２０１４－８９４９１（ＪＰ，Ａ）
【文献】特開２００３－３３３５９０（ＪＰ，Ａ）
【文献】特開２０１２－２０３６７７（ＪＰ，Ａ）
【文献】特開２０１５－２４０１（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ７／１８
Ｅ０２Ｆ ９／００－９／２８
(57)【特許請求の範囲】
【請求項1】
施工現場に設置された複数の撮像装置が撮像した画像に基づいて、複数の車両それぞれの位置を特定する車両認識部と、特定された前記複数の車両のうち、指定車両の指定を受け付ける車両指定部と、
前記複数の撮像装置が撮像した画像の時系列において、前記指定車両の位置を特定する車両追跡部と、
前記車両追跡部によって特定された位置に基づいて、前記指定車両との距離が閾値未満である他の車両の位置を表す近接プロットを前記施工現場の俯瞰画像に重ねて表示する信号を出力する表示制御部と
を備える情報提示装置。
【請求項2】
前記表示制御部は、前記近接プロットと、前記指定車両との距離が閾値以上である他の車両の位置を表し前記近接プロットと異なる態様の通常プロットとを前記俯瞰画像に重ねて表示する信号を出力する請求項１に記載の情報提示装置。
【請求項3】
前記車両指定部は、前記俯瞰画像の座標の入力によって前記指定車両の指定を受け付ける請求項１または請求項２に記載の情報提示装置。
【請求項4】
前記施工現場における注意地点を記憶する注意情報記憶部を備え、前記表示制御部は、前記指定車両との距離が閾値未満である注意地点を表す図形を前記施工現場の俯瞰画像に重ねて表示する信号を出力する
請求項１から請求項３の何れか１項に記載の情報提示装置。
【請求項5】
施工現場に設置された複数の撮像装置が撮像した画像に基づいて、複数の車両それぞれの位置を特定するステップと、特定された前記複数の車両のうち、指定車両の指定を受け付けるステップと、
前記複数の撮像装置が撮像した画像の時系列において、前記指定車両の位置を特定するステップと、
前記画像の時系列から特定された前記指定車両の位置に基づいて、表示装置に、前記指定車両との距離が閾値未満である他の車両の位置を表す近接プロットを前記施工現場の俯瞰画像に重ねて表示するステップと
を有する情報提示方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報提示装置および情報提示方法に関する。
【背景技術】
【0002】
施工現場には、積込車両や運搬車両などの複数の車両が存在する。車両のオペレータは、施工現場を注意深く観察し、安全に配慮しながら作業を行う必要がある。特許文献１には、作業エリアを撮像するカメラが撮像した画像から、建設機械および作業員の輪郭を検出してターゲットエリアを設定し、ターゲットエリアどうしが接触したときにその旨を報知する技術が開示されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１２－２０３６７７号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
施工現場には、建屋やフェンスが設けられるため、車両のオペレータの死角が少なからず存在する。死角には、他の車両が存在する可能性があるため、オペレータは、死角から他の車両が出現する可能性を考慮しながら作業をする必要がある。
本発明の目的は、車両のオペレータに、近傍に存在する他の車両を容易に認識させることができる情報提示装置および情報提示方法を提供することにある。
本発明の目的は、車両のオペレータに、近傍に存在する他の車両を容易に認識させることができる情報提示装置および情報提示方法を提供することにある。
【課題を解決するための手段】
【0005】
本発明の一態様によれば、情報提示装置は、施工現場に設置された複数の撮像装置が撮像した画像に基づいて、複数の車両それぞれの位置を特定する車両認識部と、特定された前記複数の車両のうち、指定車両の指定を受け付ける車両指定部と、前記指定車両との距離が閾値未満である他の車両の位置を表す近接プロットを前記施工現場の俯瞰画像に重ねて表示する信号を出力する表示制御部とを備える。
【発明の効果】
【0006】
上記態様によれば、情報提示装置は、車両のオペレータに、近傍に存在する他の車両を容易に認識させることができる。
【図面の簡単な説明】
【0007】
【図1】第１の実施形態に係る施工現場管理システムの構成を示す概略図である。
【図2】積込車両の運転室内部の構成を示す斜視図である。
【図3】第１の実施形態に係る情報提示装置の構成を示す概略ブロック図である。
【図4】第１の実施形態に係る情報提示装置による全体俯瞰画像の生成方法を示すフローチャートである。
【図5】第１の実施形態に係る情報提示装置による全体俯瞰画像の生成方法を示すフローチャートである。
【図6】全体俯瞰画像に写る車両との紐づけがない車載端末に表示される画像の例である。
【図7】近傍に運搬車両が存在しない積込車両の車載端末に表示される画像の例である。
【図8】近傍に運搬車両が存在する積込車両の車載端末に表示される画像の例である。
【図9】近傍に注意地点が存在する積込車両の車載端末に表示される画像の例である。
【図10】第１の実施形態における積込車両の指定方法を示すフローチャートである。
【図11】第１の実施形態における注意情報の登録方法を示すフローチャートである。
【発明を実施するための形態】
【0008】
〈第１の実施形態〉
《施工現場管理システム》
図１は、第１の実施形態に係る施工現場管理システムの構成を示す概略図である。
施工現場管理システム１は、施工現場Ｇを走行する積込車両Ｖ２の車載端末Ｖ２０３（表示装置）に、近傍の運搬車両Ｖ１の位置を提示することで、積込車両Ｖ２のオペレータに注意を喚起するためのシステムである。積込車両Ｖ２および運搬車両Ｖ１は、車両の一例である。施工現場管理システム１は、複数の撮像装置１１０と、情報提示装置１２０とを備える。
《施工現場管理システム》
図１は、第１の実施形態に係る施工現場管理システムの構成を示す概略図である。
施工現場管理システム１は、施工現場Ｇを走行する積込車両Ｖ２の車載端末Ｖ２０３（表示装置）に、近傍の運搬車両Ｖ１の位置を提示することで、積込車両Ｖ２のオペレータに注意を喚起するためのシステムである。積込車両Ｖ２および運搬車両Ｖ１は、車両の一例である。施工現場管理システム１は、複数の撮像装置１１０と、情報提示装置１２０とを備える。
【0009】
複数の撮像装置１１０は、それぞれ施工現場Ｇの上方に設置され、施工現場Ｇを俯瞰撮影する。複数の撮像装置１１０は、施工現場Ｇのうち有人運転車両が走行可能なすべての地点が、もれなく少なくとも１つの撮像装置１１０によって撮像されるように設けられる。
【0010】
情報提示装置１２０は、複数の撮像装置１１０が撮像した画像に基づいて施工現場Ｇ全体が写る全体俯瞰画像を生成する。また情報提示装置１２０は、運搬車両Ｖ１を描画した全体俯瞰画像を積込車両Ｖ２の車載端末Ｖ２０３に表示させる。情報提示装置１２０は、例えば施工現場Ｇの建屋Ｂ内部に設けられる。
【0011】
図１に示す施工現場Ｇには、２つの建屋Ｂと２つのストックヤードＹが設けられる。ストックヤードＹとは、施工工事によって発生した土砂を再利用するために一時的に保管しておくためのスペースである。なお、他の実施形態においては施工現場Ｇの構成は図１に示すものに限られない。すなわち、建屋ＢおよびストックヤードＹの有無および個数は、図１に示すものに限られない。
【0012】
《積込車両》
積込車両Ｖ２は、土砂の積込現場において稼働し、盛土作業または掘削作業を行う車両である。積込車両Ｖ２の例としては、油圧ショベル、ブルドーザー、ホイールローダーなどが挙げられる。
積込車両Ｖ２は、土砂の積込現場において稼働し、盛土作業または掘削作業を行う車両である。積込車両Ｖ２の例としては、油圧ショベル、ブルドーザー、ホイールローダーなどが挙げられる。
【0013】
図２は、積込車両の運転室内部の構成を示す斜視図である。
積込車両Ｖ２は、運転室Ｖ２００を備える。運転室Ｖ２００の内部には、オペレータが着座するための運転席Ｖ２０１、積込車両Ｖ２を操作するための操作装置Ｖ２０２、作業に関する情報を表示する車載端末Ｖ２０３が設けられる。
操作装置Ｖ２０２は、オペレータの操作に応じて、積込車両Ｖ２の作業機の動作、旋回動作、および走行動作のための操作信号を生成する。車載端末Ｖ２０３は、運転室Ｖ２００のフロントガラスと運転席Ｖ２０１の間に設けられる。なお、車載端末Ｖ２０３の位置は図２に示す位置に限られない。
積込車両Ｖ２は、運転室Ｖ２００を備える。運転室Ｖ２００の内部には、オペレータが着座するための運転席Ｖ２０１、積込車両Ｖ２を操作するための操作装置Ｖ２０２、作業に関する情報を表示する車載端末Ｖ２０３が設けられる。
操作装置Ｖ２０２は、オペレータの操作に応じて、積込車両Ｖ２の作業機の動作、旋回動作、および走行動作のための操作信号を生成する。車載端末Ｖ２０３は、運転室Ｖ２００のフロントガラスと運転席Ｖ２０１の間に設けられる。なお、車載端末Ｖ２０３の位置は図２に示す位置に限られない。
【0014】
《情報提示装置》
図３は、第１の実施形態に係る情報提示装置の構成を示す概略ブロック図である。
情報提示装置１２０は、プロセッサ１１００、メインメモリ１２００、ストレージ１３００、インタフェース１４００を備えるコンピュータである。ストレージ１３００は、プログラムを記憶する。プロセッサ１１００は、プログラムをストレージ１３００から読み出してメインメモリ１２００に展開し、プログラムに従った処理を実行する。
図３は、第１の実施形態に係る情報提示装置の構成を示す概略ブロック図である。
情報提示装置１２０は、プロセッサ１１００、メインメモリ１２００、ストレージ１３００、インタフェース１４００を備えるコンピュータである。ストレージ１３００は、プログラムを記憶する。プロセッサ１１００は、プログラムをストレージ１３００から読み出してメインメモリ１２００に展開し、プログラムに従った処理を実行する。
【0015】
ストレージ１３００の例としては、ＨＤＤ、ＳＳＤ、磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ等が挙げられる。ストレージ１３００は、情報提示装置１２０の共通通信線に直接接続された内部メディアであってもよいし、インタフェース１４００を介して情報提示装置１２０に接続される外部メディアであってもよい。ストレージ１３００は、一時的でない有形の記憶媒体である。
【0016】
プロセッサ１１００は、プログラムの実行により、画像取得部１１０１、俯瞰画像生成部１１０２、車両認識部１１０３、車両追跡部１１０４、注意情報取得部１１０５、車両指定部１１０６、距離算出部１１０７、表示画像生成部１１０８、表示判定部１１０９、表示制御部１１１０を備える。
またプロセッサ１１００は、プログラムの実行により、メインメモリ１２００に画像記憶部１２０１、車両記憶部１２０２の記憶領域を確保する。
またプロセッサ１１００は、プログラムの実行により、メインメモリ１２００に画像記憶部１２０１、車両記憶部１２０２の記憶領域を確保する。
【0017】
画像取得部１１０１は、所定の時間ごとに複数の撮像装置１１０それぞれから画像を取得する。
【0018】
俯瞰画像生成部１１０２は、画像取得部１１０１が取得した複数の画像を変形し、合成することで、施工現場Ｇの全体が写る全体俯瞰画像を生成する。俯瞰画像生成部１１０２は、予め撮像装置１１０ごとに、当該撮像装置１１０が撮像した画像の変形パラメータを記憶しておく。画像の変形パラメータは、撮像装置１１０の設置位置および視線方向に基づいて特定することができる。なお、俯瞰画像の生成方法はこれに限られない。例えば、他の実施形態に係る俯瞰画像生成部１１０２は、画像取得部１１０１が取得した複数の画像について三角測量を行うことで施工現場Ｇの三次元画像を生成し、得られた三次元画像に基づいて全体俯瞰画像を生成してもよい。
【0019】
車両認識部１１０３は、俯瞰画像生成部１１０２が生成した全体俯瞰画像から車両が写る個所を抽出する。車両認識部１１０３は、例えば既知の車両の画像の特徴量に基づくパターンマッチングにより車両が写る個所を抽出することができる。
【0020】
車両追跡部１１０４は、画像取得部１１０１が取得した画像から、過去の画像において認識された車両と同じ車両が位置する座標を特定する。車両追跡部１１０４は、画像取得部１１０１が取得した画像から、例えば、過去に認識された車両と類似の画像を探索することにより、車両の追跡を行うことができる。
【0021】
注意情報取得部１１０５は、車載端末Ｖ２０３から俯瞰画像における施工現場上の地点（注意地点）と、当該注意地点における注意情報とを取得し、注意情報記憶部１２０３に記憶させる。注意情報の例としては、ぬかるみ、凍結、落下物、陥没穴などの存在を示す情報が挙げられる。注意地点は、点として示されてもよいし、面として示されてもよい。
【0022】
車両指定部１１０６は、車両認識部１１０３が認識した１つまたは複数の車両の中から１の車両の指定を受け付ける。以下、車両指定部１１０６が指定を受け付けた車両を指定車両ともいう。例えば、車両指定部１１０６は、車載端末Ｖ２０３や管理者が操作するコンピュータから、座標を示す情報を受信することで、全体俯瞰画像において指定された座標またはその近傍に写る積込車両Ｖ２が指定されたものとみなす。
【0023】
距離算出部１１０７は、指定車両と他の車両との距離、および指定車両と注意地点との距離を、それぞれ算出する。距離算出部１１０７は、車両認識部１１０３または車両追跡部が特定した俯瞰画像上の車両の座標、および注意情報取得部１１０５が取得した俯瞰画像上の注意地点の座標に基づいて、距離を特定する。また、車両認識部１１０３は、画像取得部１１０１が取得した複数の画像による三角測量手法によって、車両の座標および距離を算出してもよい。
【0024】
表示画像生成部１１０８は、画像記憶部１２０１が記憶する全体俯瞰画像と車両記憶部１２０２が記憶する情報と注意情報記憶部１２０３が記憶する情報とに基づいて、積込車両Ｖ２の車載端末Ｖ２０３に表示させる表示画像を生成する。
【0025】
表示判定部１１０９は、距離算出部１１０７が算出した距離に基づいて、積込車両Ｖ２に、近傍の運搬車両Ｖ１または近傍の注意地点を強調して表示させるか否かを判定する。表示判定部１１０９は、運搬車両Ｖ１と積込車両Ｖ２との距離が所定の閾値以下である場合に、その運搬車両Ｖ１を強調して表示させると判定する。また、表示判定部１１０９は、注意地点と積込車両Ｖ２との距離が所定の閾値以下である場合に、その注意地点を強調して表示させると判定する。
【0026】
表示制御部１１１０は、表示画像生成部１１０８が生成した表示画像を、積込車両Ｖ２に送信する。
【0027】
画像記憶部１２０１は、全体俯瞰画像を時系列に記憶する。
【0028】
車両記憶部１２０２は、車両認識部１１０３が認識した車両ごとに、当該車両を表す識別情報、種類、および位置を記憶する。車両の識別情報は、車両認識部１１０３が新たな車両を認識するたびに付与され、車両追跡部１１０４による追跡処理において車両を同定するための値である。当該識別情報は、実車両を特定するための実識別情報（機番やＩＰアドレスなど）とは異なる値である。車両の種類の例としては、積込車両Ｖ２、運搬車両Ｖ１およびその他の車両が挙げられる。車両記憶部１２０２は、車両が積込車両Ｖ２である場合、さらに積込車両Ｖ２の実識別情報を関連付けて記憶する。
【0029】
注意情報記憶部１２０３は、注意情報取得部１１０５が取得した注意地点の座標および当該注意地点における注意情報を記憶する。
【0030】
《表示情報の提示方法》
次に、第１の実施形態に係る情報提示装置１２０の動作について説明する。
図４－図５は、第１の実施形態に係る情報提示装置による全体俯瞰画像の生成方法を示すフローチャートである。
情報提示装置１２０の画像取得部１１０１は、複数の撮像装置１１０のそれぞれから画像を取得する（ステップＳ１）。俯瞰画像生成部１１０２は、撮像装置１１０の設置位置および視線方向に応じた変形パラメータを用いて、画像取得部１１０１が取得した各画像を変形する（ステップＳ２）。次に、俯瞰画像生成部１１０２は、変形した複数の画像を合成することで、全体俯瞰画像を生成し、画像記憶部１２０１に全体俯瞰画像を記憶させる（ステップＳ３）。車両認識部１１０３は、生成した全体俯瞰画像から、積込車両Ｖ２が写る座標、および運搬車両Ｖ１が写る座標を特定する（ステップＳ４）。
次に、第１の実施形態に係る情報提示装置１２０の動作について説明する。
図４－図５は、第１の実施形態に係る情報提示装置による全体俯瞰画像の生成方法を示すフローチャートである。
情報提示装置１２０の画像取得部１１０１は、複数の撮像装置１１０のそれぞれから画像を取得する（ステップＳ１）。俯瞰画像生成部１１０２は、撮像装置１１０の設置位置および視線方向に応じた変形パラメータを用いて、画像取得部１１０１が取得した各画像を変形する（ステップＳ２）。次に、俯瞰画像生成部１１０２は、変形した複数の画像を合成することで、全体俯瞰画像を生成し、画像記憶部１２０１に全体俯瞰画像を記憶させる（ステップＳ３）。車両認識部１１０３は、生成した全体俯瞰画像から、積込車両Ｖ２が写る座標、および運搬車両Ｖ１が写る座標を特定する（ステップＳ４）。
【0031】
情報提示装置１２０は車両認識部１１０３が認識した車両を１つずつ選択し、以下のステップＳ６からステップＳ１０の処理を実行する（ステップＳ５）。
車両追跡部１１０４は、画像記憶部１２０１から、前回生成された全体俯瞰画像を読み出し、選択された車両と類似する車両がステップＳ４で特定された座標の近傍に存在するか否かを判定する（ステップＳ６）。選択された車両と類似する車両が、特定された座標の近傍に存在する場合（ステップＳ６：ＹＥＳ）、車両追跡部１１０４は、車両記憶部１２０２から当該座標に関連付けられた車両の識別情報を特定する（ステップＳ７）。車両追跡部１１０４は、車両記憶部１２０２が当該識別情報に関連付けて記憶する座標を、ステップＳ４で特定された座標に書き換える（ステップＳ８）。他方、選択された車両と類似する車両がステップＳ４で特定された座標の近傍に存在しない場合（ステップＳ６：ＮＯ）、車両認識部１１０３は、当該車両に新たな識別情報を付与する（ステップＳ９）。車両認識部１１０３は、当該識別情報とステップＳ４で特定した座標とを関連付けて車両記憶部１２０２に記録する（ステップＳ１０）。
これにより、情報提示装置１２０は、画像記憶部１２０１が記憶するすべての車両の位置を更新することができる。
車両追跡部１１０４は、画像記憶部１２０１から、前回生成された全体俯瞰画像を読み出し、選択された車両と類似する車両がステップＳ４で特定された座標の近傍に存在するか否かを判定する（ステップＳ６）。選択された車両と類似する車両が、特定された座標の近傍に存在する場合（ステップＳ６：ＹＥＳ）、車両追跡部１１０４は、車両記憶部１２０２から当該座標に関連付けられた車両の識別情報を特定する（ステップＳ７）。車両追跡部１１０４は、車両記憶部１２０２が当該識別情報に関連付けて記憶する座標を、ステップＳ４で特定された座標に書き換える（ステップＳ８）。他方、選択された車両と類似する車両がステップＳ４で特定された座標の近傍に存在しない場合（ステップＳ６：ＮＯ）、車両認識部１１０３は、当該車両に新たな識別情報を付与する（ステップＳ９）。車両認識部１１０３は、当該識別情報とステップＳ４で特定した座標とを関連付けて車両記憶部１２０２に記録する（ステップＳ１０）。
これにより、情報提示装置１２０は、画像記憶部１２０１が記憶するすべての車両の位置を更新することができる。
【0032】
表示画像生成部１１０８は、ステップＳ３で生成した全体俯瞰画像の、ステップＳ４で特定した座標に車両を示す通常プロットＰ１を付した表示画像を生成する（ステップＳ１１）。表示画像生成部１１０８は、車両の種別等によって通常プロットＰ１の色や形を異ならせてよい。
【0033】
次に、情報提示装置１２０は、施工現場Ｇに存在する積込車両Ｖ２を１つずつ選択し、以下のステップＳ１３からステップＳ２０の処理を実行する（ステップＳ１２）。
表示制御部１１１０は、車両記憶部１２０２が記憶する車両のうち、選択された積込車両Ｖ２の実識別情報に関連付けられたものがあるか否かを判定する（ステップＳ１３）。すなわち、表示制御部１１１０は、選択された積込車両Ｖ２が指定車両であるか否かを判定する。車両記憶部１２０２に、選択された積込車両Ｖ２の実識別情報に関連付けられた車両が記憶されていない場合（ステップＳ１３：ＮＯ）、表示制御部１１１０は、ステップＳ１１で生成した表示画像を、選択された積込車両Ｖ２に送信する（ステップＳ１４）。
つまり、施工現場Ｇに存在する積込車両Ｖ２のうち、全体俯瞰画像に写る車両との紐づけがなされていないもの（指定車両でない車両）には、図６に示すように、全体俯瞰画像と車両を表す通常プロットＰ１とを含む表示画像が送信される。図６は、全体俯瞰画像に写る車両との紐づけがない車載端末に表示される画像の例である。
表示制御部１１１０は、車両記憶部１２０２が記憶する車両のうち、選択された積込車両Ｖ２の実識別情報に関連付けられたものがあるか否かを判定する（ステップＳ１３）。すなわち、表示制御部１１１０は、選択された積込車両Ｖ２が指定車両であるか否かを判定する。車両記憶部１２０２に、選択された積込車両Ｖ２の実識別情報に関連付けられた車両が記憶されていない場合（ステップＳ１３：ＮＯ）、表示制御部１１１０は、ステップＳ１１で生成した表示画像を、選択された積込車両Ｖ２に送信する（ステップＳ１４）。
つまり、施工現場Ｇに存在する積込車両Ｖ２のうち、全体俯瞰画像に写る車両との紐づけがなされていないもの（指定車両でない車両）には、図６に示すように、全体俯瞰画像と車両を表す通常プロットＰ１とを含む表示画像が送信される。図６は、全体俯瞰画像に写る車両との紐づけがない車載端末に表示される画像の例である。
【0034】
他方、車両記憶部１２０２に、選択された積込車両Ｖ２の実識別情報に関連付けられた車両が記憶されている場合（ステップＳ１３：ＹＥＳ）、表示画像生成部１１０８は、選択された積込車両Ｖ２の実識別情報に関連付けて車両記憶部１２０２が記憶する座標を特定する（ステップＳ１５）。次に、表示画像生成部１１０８は、ステップＳ１１で生成した表示画像の、ステップＳ１５で特定した座標に、現在位置を表す自車プロットＰ２を付す（ステップＳ１６）。自車プロットＰ２は、ステップＳ１１で付された通常プロットＰ１と色および形の少なくとも１つが異なる。
これにより、情報提示装置１２０は、図７に示すように、全体俯瞰画像と車両を表す通常プロットＰ１と現在位置を表す自車プロットＰ２とを含む表示画像を生成する。図７は、近傍に運搬車両が存在しない積込車両の車載端末に表示される画像の例である。これにより、積込車両Ｖ２のオペレータは、乗車している積込車両Ｖ２の位置を容易に認識することができる。
これにより、情報提示装置１２０は、図７に示すように、全体俯瞰画像と車両を表す通常プロットＰ１と現在位置を表す自車プロットＰ２とを含む表示画像を生成する。図７は、近傍に運搬車両が存在しない積込車両の車載端末に表示される画像の例である。これにより、積込車両Ｖ２のオペレータは、乗車している積込車両Ｖ２の位置を容易に認識することができる。
【0035】
次に、距離算出部１１０７は、車両記憶部１２０２を参照し、ステップＳ１５で特定された座標と、運搬車両Ｖ１の座標との距離を算出する（ステップＳ１７）。
次に、表示判定部１１０９は、算出した距離に基づいて、選択された積込車両Ｖ２の座標から所定距離内に運搬車両Ｖ１が存在するか否かを判定する（ステップＳ１８）。選択された積込車両Ｖ２の座標から所定距離内に運搬車両Ｖ１が存在しない場合（ステップＳ１８：ＮＯ）、表示判定部１１０９は、選択された積込車両Ｖ２の車載端末Ｖ２０３において、強調すべき運搬車両Ｖ１がないと判定する。
次に、表示判定部１１０９は、算出した距離に基づいて、選択された積込車両Ｖ２の座標から所定距離内に運搬車両Ｖ１が存在するか否かを判定する（ステップＳ１８）。選択された積込車両Ｖ２の座標から所定距離内に運搬車両Ｖ１が存在しない場合（ステップＳ１８：ＮＯ）、表示判定部１１０９は、選択された積込車両Ｖ２の車載端末Ｖ２０３において、強調すべき運搬車両Ｖ１がないと判定する。
【0036】
他方、選択された積込車両Ｖ２の座標から所定距離内に運搬車両Ｖ１が存在する場合（ステップＳ１８：ＹＥＳ）、表示判定部１１０９は、選択された積込車両Ｖ２の車載端末Ｖ２０３において、強調すべき運搬車両Ｖ１ががあると判定する。表示画像生成部１１０８は、ステップＳ１６で生成した表示画像のうち、積込車両Ｖ２との距離が所定距離未満である運搬車両Ｖ１の座標に付された通常プロットＰ１を、通常プロットＰ１および自車プロットＰ２と異なる態様の近接プロットＰ３に置換する（ステップＳ１９）。例えば、近接プロットＰ３は、通常プロットＰ１および自車プロットＰ２と色、形状、または輪郭線が異なる。これにより、表示画像において積込車両Ｖ２との距離が所定距離未満である運搬車両Ｖ１を強調することができる。
これにより、情報提示装置１２０は、図８に示すように、全体俯瞰画像と車両を表す通常プロットＰ１と現在位置を表す自車プロットＰ２と近傍の運搬車両Ｖ１を強調して表す近接プロットＰ３とを含む表示画像を生成する。図８は、近傍に運搬車両が存在する積込車両の車載端末に表示される画像の例である。これにより、積込車両Ｖ２のオペレータは、乗車している積込車両Ｖ２の近傍に運搬車両Ｖ１が存在することを容易に認識することができる。
これにより、情報提示装置１２０は、図８に示すように、全体俯瞰画像と車両を表す通常プロットＰ１と現在位置を表す自車プロットＰ２と近傍の運搬車両Ｖ１を強調して表す近接プロットＰ３とを含む表示画像を生成する。図８は、近傍に運搬車両が存在する積込車両の車載端末に表示される画像の例である。これにより、積込車両Ｖ２のオペレータは、乗車している積込車両Ｖ２の近傍に運搬車両Ｖ１が存在することを容易に認識することができる。
【0037】
次に、距離算出部１１０７は、注意情報記憶部１２０３を参照し、ステップＳ１５で特定された座標と、注意地点の座標との距離を算出する（ステップＳ２０）。
次に、表示判定部１１０９は、算出した距離に基づいて、選択された積込車両Ｖ２の座標から所定距離内に注意地点が存在するか否かを判定する（ステップＳ２１）。選択された積込車両Ｖ２の座標から所定距離内に注意地点が存在しない場合（ステップＳ２１：ＮＯ）、表示判定部１１０９は、選択された積込車両Ｖ２の車載端末Ｖ２０３において、表示すべき注意情報がないと判定する。
次に、表示判定部１１０９は、算出した距離に基づいて、選択された積込車両Ｖ２の座標から所定距離内に注意地点が存在するか否かを判定する（ステップＳ２１）。選択された積込車両Ｖ２の座標から所定距離内に注意地点が存在しない場合（ステップＳ２１：ＮＯ）、表示判定部１１０９は、選択された積込車両Ｖ２の車載端末Ｖ２０３において、表示すべき注意情報がないと判定する。
【0038】
他方、選択された積込車両Ｖ２の座標から所定距離内に注意地点が存在する場合（ステップＳ２１：ＹＥＳ）、表示判定部１１０９は、選択された積込車両Ｖ２の車載端末Ｖ２０３に注意情報を表示する必要があると判定する。表示画像生成部１１０８は、ステップＳ１６で生成した表示画像のうち、積込車両Ｖ２との距離が所定距離未満である注意地点の座標に、注意地点の形状を表す図形Ｐ４を付す（ステップＳ２２）。これにより、表示画像において積込車両Ｖ２との距離が所定距離未満である注意地点の存在を通知することができる。
これにより、情報提示装置１２０は、図９に示すように、全体俯瞰画像と車両を表す通常プロットＰ１と現在位置を表す自車プロットＰ２と近傍の注意地点の範囲を示す図形Ｐ４と、図形Ｐ４が示す注意範囲における注意情報を表示するボックスＰ５とを含む表示画像を生成する。図９は、近傍に注意地点が存在する積込車両の車載端末に表示される画像の例である。これにより、積込車両Ｖ２のオペレータは、乗車している積込車両Ｖ２の近傍に注意を要する地点が存在することを容易に認識することができる。
これにより、情報提示装置１２０は、図９に示すように、全体俯瞰画像と車両を表す通常プロットＰ１と現在位置を表す自車プロットＰ２と近傍の注意地点の範囲を示す図形Ｐ４と、図形Ｐ４が示す注意範囲における注意情報を表示するボックスＰ５とを含む表示画像を生成する。図９は、近傍に注意地点が存在する積込車両の車載端末に表示される画像の例である。これにより、積込車両Ｖ２のオペレータは、乗車している積込車両Ｖ２の近傍に注意を要する地点が存在することを容易に認識することができる。
【0039】
そして、表示制御部１１１０は、ステップＳ１６で生成した表示画像（図７）、ステップＳ１９で近傍の運搬車両Ｖ１を強調した表示画像（図８）、ステップＳ２２で注意地点の位置を表した表示画像（図９）、または近傍の運搬車両Ｖ１を強調し、かつ注意地点の位置を表した表示画像を、積込車両Ｖ２に送信する（ステップＳ１４）。
【0040】
《積込車両の指定方法》
次に、全体俯瞰画像から積込車両Ｖ２を指定する方法について説明する。
図１０は、第１の実施形態における積込車両の指定方法を示すフローチャートである。
積込車両Ｖ２のオペレータが積込車両Ｖ２を起動させると、車載端末Ｖ２０３も起動する。車載端末Ｖ２０３は、起動すると、情報提示装置１２０から表示画像を受信して表示する（ステップＳ６１）。起動した積込車両Ｖ２は情報提示装置１２０において全体俯瞰画像に写る車両と紐づけられていないため、このとき表示される表示画像には、図６に示すように、現在位置を示す自車プロットＰ２が含まれない。
次に、全体俯瞰画像から積込車両Ｖ２を指定する方法について説明する。
図１０は、第１の実施形態における積込車両の指定方法を示すフローチャートである。
積込車両Ｖ２のオペレータが積込車両Ｖ２を起動させると、車載端末Ｖ２０３も起動する。車載端末Ｖ２０３は、起動すると、情報提示装置１２０から表示画像を受信して表示する（ステップＳ６１）。起動した積込車両Ｖ２は情報提示装置１２０において全体俯瞰画像に写る車両と紐づけられていないため、このとき表示される表示画像には、図６に示すように、現在位置を示す自車プロットＰ２が含まれない。
【0041】
オペレータは、車載端末Ｖ２０３を操作し、表示画像の中から乗車している積込車両Ｖ２を探し、当該積込車両Ｖ２を表す通常プロットＰ１を選択する（ステップＳ６２）。車載端末Ｖ２０３は、選択された通常プロットＰ１の座標を特定し、情報提示装置１２０に送信する（ステップＳ６３）。
【0042】
情報提示装置１２０の車両指定部１１０６は、車載端末Ｖ２０３から通常プロットＰ１の座標を示す情報を受信すると、当該情報の送信元の車載端末Ｖ２０３を備える積込車両Ｖ２の実識別情報を特定する（ステップＳ６４）。そして、車両指定部１１０６は、特定した実識別情報を、受信した座標に係る車両に関連付けて車両記憶部１２０２に記憶させる（ステップＳ６５）。つまり、車両指定部１１０６は、車載端末Ｖ２０３から通常プロットＰ１の座標を表す情報を受信することにより、積込車両Ｖ２の指定を受け付ける。
これにより、全体俯瞰画像に写る積込車両Ｖ２と実識別情報とが紐づけられたので、以降、当該積込車両Ｖ２には、図７－図９に示すような現在位置を示す自車プロットＰ２が含まれる表示画像が送信される。
これにより、全体俯瞰画像に写る積込車両Ｖ２と実識別情報とが紐づけられたので、以降、当該積込車両Ｖ２には、図７－図９に示すような現在位置を示す自車プロットＰ２が含まれる表示画像が送信される。
【0043】
《注意情報の登録方法》
次に、積込車両Ｖ２のオペレータが注意地点に係る注意情報を情報提示装置１２０に登録する方法について説明する。
図１１は、第１の実施形態における注意情報の登録方法を示すフローチャートである。
車載端末Ｖ２０３は、情報提示装置１２０から表示画像を受信して表示する（ステップＳ９１）。このとき表示される表示画像には、図６に示すように、現在位置を示す自車プロットＰ２が含まれないものであってもよいし、図７－図９に示すように、現在位置を示す自車プロットＰ２が含まれるものであってもよい。
次に、積込車両Ｖ２のオペレータが注意地点に係る注意情報を情報提示装置１２０に登録する方法について説明する。
図１１は、第１の実施形態における注意情報の登録方法を示すフローチャートである。
車載端末Ｖ２０３は、情報提示装置１２０から表示画像を受信して表示する（ステップＳ９１）。このとき表示される表示画像には、図６に示すように、現在位置を示す自車プロットＰ２が含まれないものであってもよいし、図７－図９に示すように、現在位置を示す自車プロットＰ２が含まれるものであってもよい。
【0044】
オペレータは、車載端末Ｖ２０３を操作し、表示画像の中から、ぬかるみ、凍結、落下物等、オペレータの注意を要する事象が生じている地点を選択する（ステップＳ９２）。このとき、オペレータは、表示画像の１点をタッチすることで注意地点を点として選択してもよいし、表示画像のうち注意地点が存在する範囲の輪郭をなぞることで注意地点を面として選択してもよい。
【0045】
次に、車載端末Ｖ２０３は、注意情報の入力欄を表示する（ステップＳ９３）。オペレータは、入力欄に注意情報を示す文字列を入力する（ステップＳ９４）。そして、車載端末Ｖ２０３は、入力された注意地点の座標および注意情報を、情報提示装置１２０に送信する（ステップＳ９５）。
【0046】
情報提示装置１２０の注意情報取得部１１０５は、車載端末Ｖ２０３から注意地点の座標および注意情報を受信すると、これらを関連付けて注意情報記憶部１２０３に記憶させる（ステップＳ９６）。
これにより、オペレータは、施工現場において注意が必要な地点の情報を情報提示装置１２０に通知することができる。そして、情報提示装置１２０は、一のオペレータによって通知された注意情報を、注意地点の近傍に存在する積込車両Ｖ２のオペレータに通知することができる。
これにより、オペレータは、施工現場において注意が必要な地点の情報を情報提示装置１２０に通知することができる。そして、情報提示装置１２０は、一のオペレータによって通知された注意情報を、注意地点の近傍に存在する積込車両Ｖ２のオペレータに通知することができる。
【0047】
《作用・効果》
以上、第１の実施形態によれば、情報提示装置１２０は、施工現場に設置された複数の撮像装置１１０が撮像した画像に基づいて、複数の車両それぞれの位置を特定し、複数の車両の中から積込車両Ｖ２の指定を受け付け、当該積込車両Ｖ２の車載端末Ｖ２０３に、当該積込車両Ｖ２との距離が閾値未満である運搬車両Ｖ１の位置を表す近接プロットＰ３を、施工現場の俯瞰画像に重ねて表示させる。
これにより、情報提示装置１２０は、積込車両Ｖ２のオペレータに、近傍の運搬車両Ｖ１の存在を容易に認識させることができる。
また、情報提示装置１２０は、複数の撮像装置１１０が撮像した画像に基づいて俯瞰画像を生成する。これにより、俯瞰画像において死角が生じることを防ぐことができる。
以上、第１の実施形態によれば、情報提示装置１２０は、施工現場に設置された複数の撮像装置１１０が撮像した画像に基づいて、複数の車両それぞれの位置を特定し、複数の車両の中から積込車両Ｖ２の指定を受け付け、当該積込車両Ｖ２の車載端末Ｖ２０３に、当該積込車両Ｖ２との距離が閾値未満である運搬車両Ｖ１の位置を表す近接プロットＰ３を、施工現場の俯瞰画像に重ねて表示させる。
これにより、情報提示装置１２０は、積込車両Ｖ２のオペレータに、近傍の運搬車両Ｖ１の存在を容易に認識させることができる。
また、情報提示装置１２０は、複数の撮像装置１１０が撮像した画像に基づいて俯瞰画像を生成する。これにより、俯瞰画像において死角が生じることを防ぐことができる。
【0048】
また、第１の実施形態によれば、情報提示装置１２０は、近接プロットＰ３に加え、積込車両Ｖ２との距離が閾値以上である運搬車両Ｖ１の位置を表す通常プロットＰ１を、施工現場の俯瞰画像に重ねて積込車両Ｖ２の車載端末Ｖ２０３に表示させる。このとき、情報提示装置１２０は、通常プロットＰ１と近接プロットＰ３とを異なる態様で表示させることで、近傍の運搬車両Ｖ１を他の運搬車両Ｖ１より強調する。これにより、情報提示装置１２０は、積込車両Ｖ２のオペレータに、複数の運搬車両Ｖ１の位置を認識させつつ、近傍に運搬車両Ｖ１が存在するか否かを通知することができる。他方、他の実施形態においては、情報提示装置１２０は、積込車両Ｖ２から離れた運搬車両Ｖ１を表す通常プロットＰ１を表示させなくてもよい。
【0049】
また、第１の実施形態によれば、情報提示装置１２０は、俯瞰画像の座標の入力によって積込車両Ｖ２の指定を受け付ける。これにより、情報提示装置１２０は、ＧＮＳＳ（Global Navigation Satellite System）などの位置特定機能の有無に関わらず、積込車両Ｖ２の指定を受け付けることができる。他方、他の実施形態においては、情報提示装置１２０は、積込車両Ｖ２からＧＮＳＳ等によって特定された位置情報を取得することで、積込車両Ｖ２の指定を受け付けてもよい。
【0050】
また、第１の実施形態によれば、情報提示装置１２０は、複数の撮像装置１１０が撮像した画像の時系列における新たな画像と前回の画像との比較に基づいて、新たな画像における指定車両の位置を特定する（指定車両を追跡する）。これにより、情報提示装置１２０は、積込車両Ｖ２の指定を受け付けた後に、積込車両Ｖ２が移動した場合にも、再度の指定を受け付けることなく、当該積込車両Ｖ２の位置を特定することができる。
特に、情報提示装置１２０は、俯瞰画像の座標の入力によって指定を受け付け、その後画像の時系列に基づいて車両を追跡することで、位置特定機能を有しない積込車両Ｖ２の車載端末Ｖ２０３に、当該積込車両Ｖ２の位置を表示させることができる。
他方、他の実施形態においては、情報提示装置１２０は、積込車両Ｖ２からＧＮＳＳ等によって特定された位置情報を常に取得することで、指定された積込車両Ｖ２の位置を更新してもよい。また他の実施形態においては、情報提示装置１２０は、積込車両Ｖ２が移動するたびに、オペレータから積込車両Ｖ２の指定を受け付けてもよい。
特に、情報提示装置１２０は、俯瞰画像の座標の入力によって指定を受け付け、その後画像の時系列に基づいて車両を追跡することで、位置特定機能を有しない積込車両Ｖ２の車載端末Ｖ２０３に、当該積込車両Ｖ２の位置を表示させることができる。
他方、他の実施形態においては、情報提示装置１２０は、積込車両Ｖ２からＧＮＳＳ等によって特定された位置情報を常に取得することで、指定された積込車両Ｖ２の位置を更新してもよい。また他の実施形態においては、情報提示装置１２０は、積込車両Ｖ２が移動するたびに、オペレータから積込車両Ｖ２の指定を受け付けてもよい。
【0051】
また、第１の実施形態によれば、情報提示装置１２０は、積込車両Ｖ２との距離が閾値未満である注意地点を表す図形Ｐ４を、施工現場の俯瞰画像に重ねて積込車両Ｖ２の車載端末Ｖ２０３に表示させる。これにより、情報提示装置１２０は、積込車両Ｖ２のオペレータに、近傍に注意を要する地点の存在を容易に認識させることができる。他方、他の実施形態においては、情報提示装置１２０は、積込車両Ｖ２に注意情報を提示しなくてもよい。
【0052】
〈他の実施形態〉
以上、図面を参照して一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、様々な設計変更等をすることが可能である。
例えば、上述した実施形態に係る施工現場管理システム１は、積込車両Ｖ２が備える車載端末Ｖ２０３に、プロットが付された俯瞰画像を表示させるが、これに限られない。例えば、他の実施形態に係る施工現場管理システム１においては、積込車両Ｖ２が備える車載端末Ｖ２０３のみならず、運搬車両Ｖ１のオペレータが所持する端末にプロットが付された俯瞰画像を表示させてもよい。この場合、運搬車両Ｖ１のオペレータは、近傍に存在する他の運搬車両Ｖ１、積込車両Ｖ２、および注意地点を認識することができる。
以上、図面を参照して一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、様々な設計変更等をすることが可能である。
例えば、上述した実施形態に係る施工現場管理システム１は、積込車両Ｖ２が備える車載端末Ｖ２０３に、プロットが付された俯瞰画像を表示させるが、これに限られない。例えば、他の実施形態に係る施工現場管理システム１においては、積込車両Ｖ２が備える車載端末Ｖ２０３のみならず、運搬車両Ｖ１のオペレータが所持する端末にプロットが付された俯瞰画像を表示させてもよい。この場合、運搬車両Ｖ１のオペレータは、近傍に存在する他の運搬車両Ｖ１、積込車両Ｖ２、および注意地点を認識することができる。
【0053】
また、上述した実施形態に係る情報提示装置１２０は、積込車両Ｖ２が備える車載端末Ｖ２０３に、運搬車両Ｖ１の位置を表示させるが、これに限られない。例えば、他の実施形態に係る情報提示装置１２０は、積込車両Ｖ２が備える車載端末Ｖ２０３に、他の積込車両Ｖ２の位置を表示させてもよい。この場合、情報提示装置１２０は、指定車両の近傍の積込車両Ｖ２の位置を強調して表示させてもよい。
【0054】
また、上述した実施形態に係る施工現場管理システム１は、車載端末Ｖ２０３に表示されたプロットを利用者が選択することで、情報提示装置１２０が強調すべき車両を特定するが、これに限られない。例えば、他の実施形態に係る施工現場管理システム１は、積込車両Ｖ２に搭載されるＧＮＳＳによって特定される位置情報に基づいて強調すべき車両を特定してもよいし、撮像装置１１０が撮像した画像から積込車両Ｖ２に付された固有の識別マークを認識することで、強調すべき車両を特定してもよい。
【0055】
なお、上述した実施形態に係る施工現場管理システム１は、施工現場Ｇに設けられた情報提示装置１２０によって、俯瞰画像の生成および車両の認識がなされるが、これに限られない。例えば、他の実施形態に係る施工現場管理システム１は、各積込車両Ｖ２の車載端末Ｖ２０３それぞれが情報提示装置１２０として機能してもよい。この場合、車載端末Ｖ２０３は、例えば以下のように近接プロットＰ３を表示することができる。各積込車両Ｖ２の車載端末Ｖ２０３は、複数の撮像装置１１０において撮像された画像を受信し、受信した複数の画像に基づいて施工現場Ｇの俯瞰画像を生成し、また車両の位置を特定することができる。つまり、本実施形態においては、車載端末Ｖ２０３は、複数の撮像装置１１０が撮像した画像に基づいて、複数の車両それぞれの位置を特定する。車載端末Ｖ２０３は、撮像装置１１０の画像またはＧＮＳＳの測量結果に基づいて指定車両（その車載端末Ｖ２０３を備える積込車両Ｖ２）を特定する。そして、車載端末Ｖ２０３は、積込車両Ｖ２と距離が近い他の車両の位置を示す近接プロットＰ３を画面に表示させる。つまり、他の実施形態においては、必ずしも情報提示装置１２０がサーバとして実装される必要はなく、例えば相互通信を行う複数の車載端末Ｖ２０３によって実装されてもよい。
【符号の説明】
【0056】
１…施工現場管理システム １１０…撮像装置 １２０…情報提示装置 １１０１…画像取得部 １１０２…俯瞰画像生成部 １１０３…車両認識部 １１０４…車両追跡部 １１０５…注意情報取得部 １１０６…車両指定部 １１０７…距離算出部 １１０８…表示画像生成部 １１０９…表示判定部 １１１０…表示制御部 １１１１…積荷特定部 １１１２…ルート提示部 １１１３…ルート学習部 １２０１…画像記憶部 １２０２…車両記憶部 １２０３…注意情報記憶部 Ｖ１…運搬車両 Ｖ２…積込車両 Ｖ２０３…車載端末
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】