IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社小松製作所の特許一覧

<>
  • 特許-情報提示装置および情報提示方法 図1
  • 特許-情報提示装置および情報提示方法 図2
  • 特許-情報提示装置および情報提示方法 図3
  • 特許-情報提示装置および情報提示方法 図4
  • 特許-情報提示装置および情報提示方法 図5
  • 特許-情報提示装置および情報提示方法 図6
  • 特許-情報提示装置および情報提示方法 図7
  • 特許-情報提示装置および情報提示方法 図8
  • 特許-情報提示装置および情報提示方法 図9
  • 特許-情報提示装置および情報提示方法 図10
  • 特許-情報提示装置および情報提示方法 図11
  • 特許-情報提示装置および情報提示方法 図12
  • 特許-情報提示装置および情報提示方法 図13
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-09-28
(45)【発行日】2022-10-06
(54)【発明の名称】情報提示装置および情報提示方法
(51)【国際特許分類】
   G01C 21/36 20060101AFI20220929BHJP
   G08G 1/133 20060101ALI20220929BHJP
【FI】
G01C21/36
G08G1/133
【請求項の数】 11
(21)【出願番号】P 2018035242
(22)【出願日】2018-02-28
(65)【公開番号】P2019148567
(43)【公開日】2019-09-05
【審査請求日】2021-01-07
(73)【特許権者】
【識別番号】000001236
【氏名又は名称】株式会社小松製作所
(74)【代理人】
【識別番号】110001634
【氏名又は名称】弁理士法人志賀国際特許事務所
(72)【発明者】
【氏名】関 正暢
(72)【発明者】
【氏名】宮本 俊輔
(72)【発明者】
【氏名】安田 馨
【審査官】高島 壮基
(56)【参考文献】
【文献】特開2012-150791(JP,A)
【文献】特開2014-048047(JP,A)
【文献】特開2009-205210(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G01C 21/00-21/36
G08G 1/00-99/00
(57)【特許請求の範囲】
【請求項1】
第1の有人運転車両の走行ルートを予測するルート予測部と、
前記第1の有人運転車両の位置に基づいて、前記第1の有人運転車両と第2の有人運転車両との距離が所定の距離未満であるか否かを判定することで、前記第2の有人運転車両に搭載される表示装置に前記第1の有人運転車両の前記走行ルートを表示させるか否かを判定する判定部と、
前記第1の有人運転車両と前記第2の有人運転車両との距離が所定の距離未満であると判定された場合に、前記第2の有人運転車両に搭載される表示装置に、前記第1の有人運転車両の前記走行ルートを表示する信号を出力する表示制御部と
を備える情報提示装置。
【請求項2】
前記第1の有人運転車両は運搬車両であり、
前記第2の有人運転車両は積込車両である
請求項1に記載の情報提示装置。
【請求項3】
第1の有人運転車両の走行ルートを予測するルート予測部と、
前記第1の有人運転車両が第2の有人運転車両と同じ施工現場に存在する場合に、前記第2の有人運転車両に搭載される表示装置に、前記第1の有人運転車両の前記走行ルートを表示する信号を出力する表示制御部と
を備える情報提示装置。
【請求項4】
前記第1の有人運転車両の目的地を特定する目的地特定部を備え、
前記ルート予測部は、前記第1の有人運転車両の位置と前記目的地とに基づいて、前記走行ルートを予測する
請求項1から請求項3の何れか1項に記載の情報提示装置。
【請求項5】
第1の有人運転車両の積荷を特定する積荷特定部と、
前記積荷に基づいて前記第1の有人運転車両の目的地を特定する目的地特定部と、
前記第1の有人運転車両の位置と前記目的地とに基づいて、前記第1の有人運転車両の走行ルートを予測するルート予測部と、
第2の有人運転車両に搭載される表示装置に、前記第1の有人運転車両の前記走行ルートを表示する信号を出力する表示制御部と
を備える情報提示装置。
【請求項6】
複数の第1の有人運転車両ごとに走行履歴に係る情報を記憶する履歴記憶部と、
前記履歴記憶部が記憶する情報に基づいて前記第1の有人運転車両の走行ルートを予測するルート予測部と、
第2の有人運転車両に搭載される表示装置に、前記第1の有人運転車両の前記走行ルートを表示する信号を出力する表示制御部と
を備える情報提示装置。
【請求項7】
前記第1の有人運転車両のオペレータに前記第1の有人運転車両が走行すべき走行ルートを提示するルート提示部を備える
請求項1から請求項6の何れか1項に記載の情報提示装置。
【請求項8】
第1の有人運転車両の走行ルートを予測するステップと、
前記第1の有人運転車両の位置に基づいて、前記第1の有人運転車両と第2の有人運転車両との距離が所定の距離未満であるか否かを判定することで、前記第2の有人運転車両に搭載される表示装置に前記第1の有人運転車両の前記走行ルートを表示させるか否かを判定するステップと、
前記第1の有人運転車両と前記第2の有人運転車両との距離が所定の距離未満であると判定された場合に、前記第2の有人運転車両に搭載される表示装置に、前記第1の有人運転車両の前記走行ルートを表示させるステップと
を有する情報提示方法。
【請求項9】
第1の有人運転車両の走行ルートを予測するステップと、
前記第1の有人運転車両が第2の有人運転車両と同じ施工現場に存在する場合に、前記第2の有人運転車両に搭載される表示装置に、前記第1の有人運転車両の前記走行ルートを表示する信号を出力するステップと
を有する情報提示方法。
【請求項10】
第1の有人運転車両の積荷を特定するステップと、
前記積荷に基づいて前記第1の有人運転車両の目的地を特定するステップと、
前記第1の有人運転車両の位置と前記目的地とに基づいて、前記第1の有人運転車両の走行ルートを予測するステップと、
第2の有人運転車両に搭載される表示装置に、前記第1の有人運転車両の前記走行ルートを表示する信号を出力するステップと
を有する情報提示方法。
【請求項11】
複数の第1の有人運転車両ごとに走行履歴に係る情報を記憶する履歴記憶部が記憶する情報に基づいて前記第1の有人運転車両の走行ルートを予測するステップと、
第2の有人運転車両に搭載される表示装置に、前記第1の有人運転車両の前記走行ルートを表示する信号を出力するステップと
を有する情報提示方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報提示装置および情報提示方法関する。
【背景技術】
【0002】
施工現場には、積込車両や運搬車両などの複数の有人運転車両が存在する。有人運転車両のオペレータは、施工現場を注意深く観察し、安全に配慮しながら作業を行う必要がある。
特許文献1には、作業機械と工事車両の位置を計測し、その近接度合に基づいて警報を出力する技術が開示されている。また特許文献2には、作業機械が所定範囲内に進入した場合に、警報装置に警報を出力させる技術が開示されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2008-303648号公報
【文献】特開2012-203677号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
施工現場には、建屋やフェンスが設けられるため、有人運転車両のオペレータの死角が少なからず存在する。死角には、他の有人運転車両が存在する可能性があるため、オペレータは、死角から他の有人運転車両が出現する可能性を考慮しながら作業をする必要がある。また、特許文献1、2に記載の技術によれば、死角の有無に関わらず、ある有人運転車両の近傍に他の有人運転車両が存在する場合に警報が出力される。しかしながら、特許文献1、2に記載の技術によっては、オペレータは、死角に存在する他の有人運転車両がどのように移動しているかを認識することができない。
本発明の目的は、有人運転車両のオペレータに、他の有人運転車両の動向を容易に認識させることができる情報提示装置および情報提示方法提供することにある。
【課題を解決するための手段】
【0005】
本発明の一態様によれば、情報提示装置は、第1の有人運転車両の走行ルートを予測するルート予測部と、前記第1の有人運転車両の位置に基づいて、前記第1の有人運転車両と第2の有人運転車両との距離が所定の距離未満であるか否かを判定することで、前記第2の有人運転車両に搭載される表示装置に前記第1の有人運転車両の前記走行ルートを表示させるか否かを判定する判定部と、前記第1の有人運転車両と前記第2の有人運転車両との距離が所定の距離未満であると判定された場合に、前記第2の有人運転車両に搭載される表示装置に、前記第1の有人運転車両の前記走行ルートを表示する信号を出力する表示制御部とを備える。
【発明の効果】
【0006】
上記態様によれば、情報提示装置は、有人運転車両のオペレータに、他の有人運転車両の動向を容易に認識させることができる。
【図面の簡単な説明】
【0007】
図1】第1の実施形態に係る施工現場管理システムの構成を示す概略図である。
図2】積込車両の運転室内部の構成を示す斜視図である。
図3】第1の実施形態に係る情報提示装置の構成を示す概略ブロック図である。
図4】第1の実施形態に係る情報提示装置による全体俯瞰画像の生成方法を示すフローチャートである。
図5】第1の実施形態に係る情報提示装置による全体俯瞰画像の生成方法を示すフローチャートである。
図6】全体俯瞰画像に写る車両との紐づけがない車載端末に表示される画像の例である。
図7】近傍に運搬車両が存在しない積込車両の車載端末に表示される画像の例である。
図8】近傍に運搬車両が存在する積込車両の車載端末に表示される画像の例である。
図9】第1の実施形態における運搬車両の指定方法を示すフローチャートである。
図10】第1の実施形態における積込車両の指定方法を示すフローチャートである。
図11】第2の実施形態に係る情報提示装置の構成を示す概略ブロック図である。
図12】第2の実施形態における運搬車両の指定方法を示すフローチャートである。
図13】第3の実施形態に係る情報提示装置の構成を示す概略ブロック図である。
【発明を実施するための形態】
【0008】
〈第1の実施形態〉
《施工現場管理システム》
図1は、第1の実施形態に係る施工現場管理システムの構成を示す概略図である。
施工現場管理システム1は、施工現場Gを走行する積込車両V2の車載端末V203(表示装置)に、運搬車両V1の走行ルートを提示することで、積込車両V2のオペレータに注意を喚起するためのシステムである。積込車両V2および運搬車両V1は、有人運転車両の一例である。特に、運搬車両V1は第1の有人運転車両の一例であり、積込車両V2は、第2の有人運転車両の一例である。施工現場管理システム1は、複数の撮像装置110と、情報提示装置120とを備える。
【0009】
複数の撮像装置110は、それぞれ施工現場Gの上方に設置され、施工現場Gを俯瞰撮影する。複数の撮像装置110は、施工現場Gのうち有人運転車両が走行可能なすべての地点を、少なくとも1つの撮像装置110によって撮像されるように設けられる。
【0010】
情報提示装置120は、複数の撮像装置110が撮像した画像に基づいて施工現場G全体が写る全体俯瞰画像を生成する。また情報提示装置120は、運搬車両V1の走行ルートを描画した全体俯瞰画像を積込車両V2の車載端末V203に表示させる。情報提示装置120は、例えば施工現場Gの建屋B内部に設けられる。
【0011】
図1に示す施工現場Gには、2つの建屋Bと2つのストックヤードYが設けられる。ストックヤードYとは、施工工事によって発生した土砂を再利用するために一時的に保管しておくためのスペースである。なお、他の実施形態においては施工現場Gの構成は図1に示すものに限られない。すなわち、建屋BおよびストックヤードYの有無および個数は、図1に示すものに限られない。
図1に示す施工現場Gにおいては、施工現場Gの入口において施工現場Gに進入する運搬車両V1の積荷を作業者Wが確認する。作業者Wは、積荷の種類に基づいて運搬車両V1の目的地となるストックヤードYを決定し、運搬車両V1のオペレータに通知する。また、作業者Wは、運搬車両V1に積荷がない場合、運搬車両V1のオペレータから積載予定の積荷を聞き出し、聞き出した積荷に基づいて目的地を決定する。作業者Wは、スマートフォンなどの作業者端末130を所持する。作業者Wは、作業者端末130に、運搬車両V1のオペレータに通知した目的地を入力する。作業者端末130は、入力された目的地を情報提示装置120に送信する。なお、運搬車両V1は、積荷をストックヤードYに下ろした後、空荷状態で施工現場Gを退出し、または他の積荷を積載した後に退出する。この場合、作業者Wは、積荷を下ろした後の作業予定も聞き出し、次の目的地の情報も作業者端末130を介して情報提示装置120に送信してもよい。
【0012】
《積込車両》
積込車両V2は、土砂の積込現場において稼働し、盛土作業または掘削作業を行う車両である。積込車両V2の例としては、油圧ショベル、ブルドーザー、ホイールローダーなどが挙げられる。
【0013】
図2は、積込車両の運転室内部の構成を示す斜視図である。
積込車両V2は、運転室V200を備える。運転室V200の内部には、オペレータが着座するための運転席V201、積込車両V2を操作するための操作装置V202、作業に関する情報を表示する車載端末V203が設けられる。
操作装置V202は、オペレータの操作に応じて、積込車両V2の作業機の動作、旋回動作、および走行動作のための操作信号を生成する。車載端末V203は、運転室V200のフロントガラスと運転席V201の間に設けられる。なお、車載端末V203の位置は図2に示す位置に限られない。
【0014】
《情報提示装置》
図3は、第1の実施形態に係る情報提示装置の構成を示す概略ブロック図である。
情報提示装置120は、プロセッサ1100、メインメモリ1200、ストレージ1300、インタフェース1400を備えるコンピュータである。ストレージ1300は、プログラムを記憶する。プロセッサ1100は、プログラムをストレージ1300から読み出してメインメモリ1200に展開し、プログラムに従った処理を実行する。
【0015】
ストレージ1300の例としては、HDD、SSD、磁気ディスク、光磁気ディスク、CD-ROM、DVD-ROM等が挙げられる。ストレージ1300は、情報提示装置120の共通通信線に直接接続された内部メディアであってもよいし、インタフェース1400を介して情報提示装置120に接続される外部メディアであってもよい。ストレージ1300は、一時的でない有形の記憶媒体である。
【0016】
プロセッサ1100は、プログラムの実行により、画像取得部1101、俯瞰画像生成部1102、車両認識部1103、車両追跡部1104、目的地特定部1105、車両指定部1106、ルート予測部1107、表示画像生成部1108、表示判定部1109、表示制御部1110を備える。
またプロセッサ1100は、プログラムの実行により、メインメモリ1200に画像記憶部1201、車両記憶部1202の記憶領域を確保する。
【0017】
画像取得部1101は、所定の時間ごとに複数の撮像装置110それぞれから画像を取得する。
【0018】
俯瞰画像生成部1102は、画像取得部1101が取得した複数の画像を変形し、合成することで、施工現場Gの全体が写る全体俯瞰画像を生成する。俯瞰画像生成部1102は、予め撮像装置110ごとに、当該撮像装置110が撮像した画像の変形パラメータを記憶しておく。画像の変形パラメータは、撮像装置110の設置位置および視線方向に基づいて特定することができる。なお、俯瞰画像の生成方法はこれに限られない。例えば、他の実施形態に係る俯瞰画像生成部1102は、画像取得部1101が取得した複数の画像について三角測量を行うことで施工現場Gの三次元画像を生成し、得られた三次元画像に基づいて全体俯瞰画像を生成してもよい。
【0019】
車両認識部1103は、俯瞰画像生成部1102が生成した全体俯瞰画像から車両が写る個所を抽出する。車両認識部1103は、例えば既知の車両の画像の特徴量に基づくパターンマッチングにより車両が写る個所を抽出することができる。
【0020】
車両追跡部1104は、画像取得部1101が取得した画像から、過去の画像において認識された車両と同じ車両が位置する座標を特定する。車両追跡部1104は、画像取得部1101が取得した画像から、例えば、過去に認識された車両と類似の画像を探索することにより、車両の追跡を行うことができる。
【0021】
車両指定部1106は、車両認識部1103が認識した1つまたは複数の車両の中から1の車両の指定を受け付ける。例えば、車両指定部1106は、車載端末V203や管理者が操作するコンピュータから、座標を示す情報を受信することで、全体俯瞰画像において指定された座標またはその近傍に写る積込車両V2が指定されたものとみなす。また例えば、車両指定部1106は、作業者端末130から目的地を示す情報を受信したときに、全体俯瞰画像において施工現場Gの入口に相当する位置に写る運搬車両V1が指定されたものとみなす。
【0022】
目的地特定部1105は、作業者端末130から受信した運搬車両V1の目的地を示す情報に基づいて、車両指定部1106が指定を受け付けた運搬車両V1の目的地を特定する。
【0023】
ルート予測部1107は、目的地特定部1105が特定した目的地と、運搬車両V1の位置とに基づいて、運搬車両V1の位置と目的地とを結ぶ走行ルートを予測する。ルート予測部1107は、例えば予め施工現場Gにおいて車両が走行可能な領域を記憶しておき、当該領域内において最短で目的地に到達するルートを算出することで、走行ルートを予測する。
【0024】
表示画像生成部1108は、画像記憶部1201が記憶する全体俯瞰画像と車両記憶部1202が記憶する情報とに基づいて、積込車両V2の車載端末V203に表示させる表示画像を生成する。
【0025】
表示判定部1109は、運搬車両V1と積込車両V2との距離に基づいて、積込車両V2に運搬車両V1の走行ルートを表示させるか否かを判定する。表示判定部1109は、運搬車両V1と積込車両V2との距離が所定の閾値以下である場合に、その積込車両V2に運搬車両V1の走行ルートを表示させると判定する。
【0026】
表示制御部1110は、表示画像生成部1108が生成した表示画像を、積込車両V2に送信する。
【0027】
画像記憶部1201は、全体俯瞰画像を時系列に記憶する。
【0028】
車両記憶部1202は、車両認識部1103が認識した車両ごとに、当該車両を表す識別情報、種類、および位置を記憶する。車両の識別情報は、車両認識部1103が新たな車両を認識するたびに付与され、車両追跡部1104による追跡処理において車両を同定するための値である。当該識別情報は、実車両を特定するための実識別情報(機番やIPアドレスなど)とは異なる値である。車両の種類の例としては、積込車両V2、運搬車両V1およびその他の車両が挙げられる。車両記憶部1202は、車両が積込車両V2である場合、さらに積込車両V2の実識別情報を関連付けて記憶する。また、車両記憶部1202は、車両が運搬車両V1である場合、さらに目的地(および次の目的地)を関連付けて記憶する。
【0029】
《表示情報の提示方法》
次に、第1の実施形態に係る情報提示装置120の動作について説明する。
図4図5は、第1の実施形態に係る情報提示装置による全体俯瞰画像の生成方法を示すフローチャートである。
情報提示装置120の画像取得部1101は、複数の撮像装置110のそれぞれから画像を取得する(ステップS1)。俯瞰画像生成部1102は、撮像装置110の設置位置および視線方向に応じた変形パラメータを用いて、画像取得部1101が取得した各画像を変形する(ステップS2)。次に、俯瞰画像生成部1102は、変形した複数の画像を合成することで、全体俯瞰画像を生成し、画像記憶部1201に全体俯瞰画像を記憶させる(ステップS3)。車両認識部1103は、生成した全体俯瞰画像から、積込車両V2が写る座標、および運搬車両V1が写る座標を特定する(ステップS4)。
【0030】
情報提示装置120は車両認識部1103が認識した車両を1つずつ選択し、以下のステップS6からステップS10の処理を実行する(ステップS5)。
車両追跡部1104は、画像記憶部1201から、前回生成された全体俯瞰画像を読み出し、選択された車両と類似する車両がステップS4で特定された座標の近傍に存在するか否かを判定する(ステップS6)。選択された車両と類似する車両が、特定された座標の近傍に存在する場合(ステップS6:YES)、車両追跡部1104は、車両記憶部1202から当該座標に関連付けられた車両の識別情報を特定する(ステップS7)。車両追跡部1104は、車両記憶部1202が当該識別情報に関連付けて記憶する座標を、ステップS4で特定された座標に書き換える(ステップS8)。他方、選択された車両と類似する車両がステップS4で特定された座標の近傍に存在しない場合(ステップS6:NO)、車両認識部1103は、当該車両に新たな識別情報を付与する(ステップS9)。車両認識部1103は、当該識別情報とステップS4で特定した座標とを関連付けて車両記憶部1202に記録する(ステップS10)。
これにより、情報提示装置120は、画像記憶部1201が記憶するすべての車両の位置を更新することができる。
【0031】
表示画像生成部1108は、ステップS3で生成した全体俯瞰画像の、ステップS4で特定した座標に車両を示すプロットP1を付した表示画像を生成する(ステップS11)。表示画像生成部1108は、車両の種別等によってプロットP1の色や形を異ならせてよい。
【0032】
次に、情報提示装置120は、施工現場Gに存在する積込車両V2を1つずつ選択し、以下のステップS13からステップS20の処理を実行する(ステップS12)。
表示制御部1110は、車両記憶部1202が記憶する車両のうち、選択された積込車両V2の実識別情報に関連付けられたものがあるか否かを判定する(ステップS13)。車両記憶部1202に、選択された積込車両V2の実識別情報に関連付けられた車両が記憶されていない場合(ステップS13:NO)、表示制御部1110は、ステップS11で生成した表示画像を、選択された積込車両V2に送信する(ステップS14)。
つまり、施工現場Gに存在する積込車両V2のうち、全体俯瞰画像に写る車両との紐づけがなされていないものには、図6に示すように、全体俯瞰画像と車両を表すプロットP1とを含む表示画像が送信される。図6は、全体俯瞰画像に写る車両との紐づけがない車載端末に表示される画像の例である。
【0033】
他方、車両記憶部1202に、選択された積込車両V2の実識別情報に関連付けられた車両が記憶されている場合(ステップS13:YES)、表示画像生成部1108は、選択された積込車両V2の実識別情報に関連付けて車両記憶部1202が記憶する座標を特定する(ステップS15)。次に、表示画像生成部1108は、ステップS11で生成した表示画像の、ステップS15で特定した座標に、現在位置を表すプロットP2を付す(ステップS16)。現在位置を表すプロットP2は、ステップS11で付された車両を表すプロットP1と色および形の少なくとも1つが異なる。
【0034】
次に、表示判定部1109は、車両記憶部1202を参照し、ステップS15で特定した座標から所定距離内に運搬車両V1が存在するか否かを判定する(ステップS17)。選択された積込車両V2の座標から所定距離内に運搬車両V1が存在しない場合(ステップS17:NO)、表示判定部1109は、選択された積込車両V2の車載端末V203に走行ルートを表示する必要がないと判定する。表示制御部1110は、ステップS16で生成した表示画像を、選択された積込車両V2に送信する(ステップS14)。
つまり、施工現場Gに存在する積込車両V2のうち、全体俯瞰画像に写る車両との紐づけがなされており、かつ近傍に運搬車両V1が存在しないものには、図7に示すように、全体俯瞰画像と車両を表すプロットP1と現在位置を表すプロットP2とを含む表示画像が送信される。図7は、近傍に運搬車両が存在しない積込車両の車載端末に表示される画像の例である。これにより、運搬車両V1のオペレータは、乗車している積込車両V2と他の車両の位置関係を容易に認識することができる。
【0035】
他方、選択された積込車両V2の座標から所定距離内に運搬車両V1が存在する場合(ステップS17:YES)、表示判定部1109は、選択された積込車両V2の車載端末V203に走行ルートを表示する必要があると判定する。ルート予測部1107は、車両記憶部1202を参照し、積込車両V2の座標から所定距離内に存在する運搬車両V1の座標と目的地とを特定する(ステップS18)。なお、運搬車両V1が既に目的地に到達している場合であって、車両記憶部1202に運搬車両V1の次の目的地が記憶されている場合、次の目的地を特定する。ルート予測部1107は、特定した座標および目的地に基づいて、運搬車両V1の走行ルートを予測する(ステップS19)。表示画像生成部1108は、ステップS16で生成した表示画像に、走行ルートを表す線Lを描画する(ステップS20)。表示制御部1110は、ステップS21で生成した表示画像を、選択された積込車両V2に送信する(ステップS14)。
つまり、施工現場Gに存在する積込車両V2のうち、全体俯瞰画像に写る車両との紐づけがなされており、かつ近傍に運搬車両V1が存在するものには、図8に示すように、全体俯瞰画像と車両を表すプロットP1と現在位置を表すプロットP2と近傍の運搬車両V1の走行ルートを表す線Lとを含む表示画像が送信される。図8は、近傍に運搬車両が存在する積込車両の車載端末に表示される画像の例である。これにより、運搬車両V1のオペレータは、乗車している積込車両V2の近傍の運搬車両V1の動向を容易に認識することができる。
【0036】
《運搬車両の指定方法》
次に、運搬車両V1を指定して目的地を情報提示装置120に登録する方法について説明する。
図9は、第1の実施形態における運搬車両の指定方法を示すフローチャートである。
作業者Wは、施工現場Gの入口に運搬車両V1が到着すると、当該運搬車両V1の積荷を認識し、これに基づいて行先のストックヤードを決定する。作業者は、決定したストックヤードの場所を運搬車両V1に伝えると、作業者端末130に当該ストックヤードの場所を目的地として入力する。作業者端末130は、入力された目的地を情報提示装置120に送信する。
【0037】
情報提示装置120の車両指定部1106は、作業者端末130から目的地を示す情報を受信する(ステップS31)。車両指定部1106は、車両記憶部1202が記憶する運搬車両V1のうち、座標が施工現場Gの入口に最も近いものを特定する(ステップS32)。次に、目的地特定部1105は、受信した情報に基づいてステップS32で特定した運搬車両V1の目的地を特定する(ステップS33)。車両指定部1106は、ステップS32で特定した車両に、特定した目的地を関連付けて車両記憶部1202に記憶させる(ステップS34)。つまり、車両指定部1106は、作業者端末130から目的地を表す情報を受信することにより、運搬車両V1の指定を受け付ける。
【0038】
《積込車両の指定方法》
次に、全体俯瞰画像から積込車両V2を指定する方法について説明する。
図10は、第1の実施形態における積込車両の指定方法を示すフローチャートである。
積込車両V2のオペレータが積込車両V2を起動させると、車載端末V203も起動する。車載端末V203は、起動すると、情報提示装置120から表示画像を受信して表示する(ステップS61)。起動した積込車両V2は情報提示装置120において全体俯瞰画像に写る車両と紐づけられていないため、このとき表示される表示画像には、現在位置を示すプロットP2が含まれない。
【0039】
オペレータは、車載端末V203を操作し、表示画像の中から乗車している積込車両V2を探し、当該積込車両V2を表すプロットP1を選択する(ステップS62)。車載端末V203は、選択されたプロットP1の座標を特定し、情報提示装置120に送信する(ステップS63)。
【0040】
情報提示装置120の車両指定部1106は、車載端末V203からプロットP1の座標を示す情報を受信すると、当該情報の送信元の車載端末V203を備える積込車両V2の実識別情報を特定する(ステップS64)。そして、車両指定部1106は、特定した実識別情報を、受信した座標に係る車両に関連付けて車両記憶部1202に記憶させる(ステップS65)。つまり、車両指定部1106は、車載端末V203からプロットP1の座標を表す情報を受信することにより、運搬車両V1の指定を受け付ける。
これにより、全体俯瞰画像に写る積込車両V2と実識別情報とが紐づけられたので、以降、当該積込車両V2には、現在位置を示すプロットP2が含まれる表示画像が送信される。
【0041】
《作用・効果》
以上、第1の実施形態によれば、情報提示装置120は、運搬車両V1の走行ルートを予測し、積込車両V2に搭載される車載端末V203に、運搬車両V1の走行ルートを表示する表示画像を出力する。これにより、積込車両V2のオペレータは、運搬車両V1の動向を容易に認識することができる。
【0042】
また、第1の実施形態によれば、情報提示装置120は、運搬車両V1と積込車両V2との距離が所定距離未満になった場合に、運搬車両V1の走行ルートを表示する表示画像を出力する。これにより、積込車両V2のオペレータは、乗車する積込車両V2の近傍の運搬車両V1の動向を容易に認識することができる。他方、他の実施形態においては、情報提示装置120は、運搬車両V1と積込車両V2との距離によらず運搬車両V1の走行ルートを表示する表示画像を出力してもよい。
【0043】
また、第1の実施形態によれば、情報提示装置120は、施工現場Gの入口に進入した運搬車両V1について走行ルートを予測する。すなわち、情報提示装置120は、運搬車両V1が積込車両V2と同じ施工現場Gに存在する場合に、走行ルートを表示する表示画像を出力する。これにより、車載端末V203は、接触の可能性がある運搬車両V1の走行ルートを表示することができる。他方、他の実施形態においては、情報提示装置120は、施工現場Gから離れた運搬車両V1の走行ルートをも表示してよい。
【0044】
また、第1の実施形態に係る情報提示装置120は、積込車両V2の車載端末V203に、運搬車両V1の走行ルートを表示させる。これは、運搬車両V1の走行速度は、積込車両V2の走行速度より高いため、積込車両V2のオペレータは、特に運搬車両V1の動向に注意する必要があるためである。他方、他の実施形態においては、積込車両V2の車載端末V203に、運搬車両V1のみならず他の積込車両V2の走行ルートを表示させてもよい。
また、積込車両V2以外の車両に走行ルートを表示させてもよい。
【0045】
〈第2の実施形態〉
第1の実施形態に係る施工現場管理システム1においては、作業者Wが運搬車両V1の積荷から目的地を決定する。これに対し、第2の実施形態に係る施工現場管理システム1においては、撮像装置110が撮像した画像に基づいて、情報提示装置120が目的地を特定する。
【0046】
《情報提示装置》
図11は、第2の実施形態に係る情報提示装置の構成を示す概略ブロック図である。
第2の実施形態に係る情報提示装置120は、第1の実施形態の構成に加え、さらに積荷特定部1111およびルート提示部1112を備える。例えば積荷特定部1111は、全体俯瞰画像のパターンマッチング等により、運搬車両V1の積荷を特定する。ルート提示部1112は、目的地特定部1105が特定した目的地を作業者端末130に表示させる。
【0047】
《運搬車両の指定方法》
第2の実施形態に係る施工現場管理システム1における運搬車両V1の特定方法を説明する。
図12は、第2の実施形態における運搬車両の指定方法を示すフローチャートである。
情報提示装置120の車両指定部1106は、全体俯瞰画像のうち施工現場Gの入口が写る領域に、運搬車両V1が写っているか否かを判定する(ステップS131)。施工現場Gの入口が写る領域に運搬車両V1が写っていない場合(ステップS131:NO)、指定すべき運搬車両が存在しないため、処理を終了する。他方、施工現場Gの入口が写る領域に運搬車両V1が写っている場合(ステップS131:YES)、積荷特定部1111は、全体俯瞰画像のうち施工現場Gの入口が写る領域に写った運搬車両V1のベッセルが写る領域を特定し、パターンマッチング等の処理により積荷の種類を特定する(ステップS132)。
【0048】
次に、目的地特定部1105は、積荷特定部1111が特定した積荷に基づいて、運搬車両V1の目的地を特定する(ステップS133)。例えば、目的地特定部1105は、積荷の種類と目的地とを関連付けたテーブルを記憶し、積荷特定部1111が特定した積荷と当該テーブルとに基づいて目的地を決定する。車両指定部1106は、ステップS132で特定した車両に、特定した目的地を関連付けて車両記憶部1202に記憶させる(ステップS134)。
つまり、第2の実施形態に係る情報提示装置120は、作業者端末130から運搬車両V1の指定を受け付けることなく、自動的に運搬車両V1の目的地を特定することができる。
【0049】
ルート予測部1107は、運搬車両V1の位置と特定した目的地とに基づいて走行ルートを予測する(ステップS135)。そして、ルート提示部1112は、予測した走行ルートを作業者端末130に表示させるための表示信号を送信する(ステップS136)。これにより、作業者端末130に走行ルートが表示される。作業者Wは、入口に進入した運搬車両V1のオペレータに作業者端末130を提示することで、オペレータに推奨される走行ルートを提示することができる。
なお、第2の実施形態では、情報提示装置120は、走行ルートを作業者端末130を介して運搬車両V1のオペレータに提示するが、これに限られない。例えば、他の実施形態においては、情報提示装置120は、運搬車両V1のオペレータが所持する携帯端末や、運搬車両V1に搭載される車載端末に走行ルートを表示させてもよい。また他の実施形態においては、情報提示装置120は、運搬車両V1のオペレータに走行ルートを提示しなくてもよい。
【0050】
〈第3の実施形態〉
第1、第2の実施形態に係る情報提示装置120は、予め施工現場Gにおいて車両が走行可能な領域内において最短で目的地に到達するルートを算出することで、走行ルートを予測する。これに対し、第3の実施形態に係る情報提示装置120は、運搬車両V1の走行履歴に基づいて各運搬車両V1の走行ルートを予測する。
【0051】
《情報提示装置》
図13は、第3の実施形態に係る情報提示装置の構成を示す概略ブロック図である。
第3の実施形態に係る情報提示装置120は、第1の実施形態の構成に加え、さらに走行履歴記憶部1203、予測モデル記憶部1204、ルート学習部1113を備える。
走行履歴記憶部1203は、運搬車両V1ごとに、施工現場Gに進入した運搬車両V1がストックヤードYに到着するまでの位置の時系列と、運搬車両V1がストックヤードYを出発してから施工現場Gから退出するまでの位置の時系列とを記憶する。
予測モデル記憶部1204は、運搬車両V1の識別情報と目的地と入力として、走行ルートを出力するための機械学習モデルを記憶する。機械学習モデルの例としては、ニューラルネットワークモデルや隠れマルコフモデルなどが挙げられる。
ルート学習部1113は、運搬車両V1の識別情報と、その運搬車両V1の目的地と、そのときの運搬車両V1の走行を表す位置の時系列と、を関連付けた教師データによって、予測モデル記憶部1204が記憶する機械学習モデルを更新する。教師データは、車両指定部1106に指定された車両の識別情報と、目的地特定部1105が特定した目的地と走行履歴記憶部1203が記憶する情報とから生成される。
ルート予測部1107は、車両指定部1106に指定された車両の識別情報と、目的地特定部1105が特定した目的地とを予測モデル記憶部1204が記憶する機械学習モデルに入力することで、走行ルートの出力を得ることができる。
【0052】
このように、第3の実施形態によれば、情報提示装置120は、機械学習モデルのように運搬車両V1の走行履歴に係る情報に基づいてその運搬車両V1の走行ルートを予測する。これにより、情報提示装置120は、運搬車両V1のオペレータの個性に基づいて走行ルートを予測することができる。
なお、他の実施形態においては、情報提示装置120は、必ずしも機械学習を行わなくてもよい。例えば、他の実施形態に係る情報提示装置120は、運搬車両V1が同じ目的地へ向かうときに過去に走行したルートを、走行ルートとして出力してもよい。
【0053】
〈他の実施形態〉
以上、図面を参照して一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、様々な設計変更等をすることが可能である。
例えば、上述した実施形態に係る施工現場管理システム1は、複数の撮像装置110が撮像した画像を合成した全体俯瞰画像を含む表示画像を生成するが、これに限られない。例えば、他の実施形態に係る情報提示装置120は、全体俯瞰画像に代えて、施工現場Gの全体が写るCAD画像を含む表示画像を生成してもよい。この場合にも、情報提示装置120は、全体俯瞰画像または各撮像装置110が撮像した画像に基づいて、車両を表すプロットP1および現在位置を示すプロットP2を生成する。
また、他の実施形態においては、車載端末V203は、積込車両V2に搭載された撮像装置が撮像した画像に、運搬車両V1の走行ルートを合成して表示してもよい。
【0054】
また、上述した実施形態に係る施工現場管理システム1は、作業者端末130から目的地を示す情報を受信したときに施工現場Gの入口付近に存在する運搬車両V1を特定することで、運搬車両V1と目的地とを関連付けるが、これに限られない。例えば、他の実施形態に係る施工現場管理システム1は、運搬車両V1に搭載されるGNSSによって特定される位置情報に基づいて強調すべき車両を特定してもよいし、撮像装置110が撮像した画像から運搬車両V1に付された固有の識別マークを認識することで、運搬車両V1と目的地とを関連付けてもよい。
【0055】
なお、上述した実施形態に係る施工現場管理システム1は、施工現場Gに設けられた情報提示装置120によって、俯瞰画像の生成および車両の認識がなされるが、これに限られない。例えば、他の実施形態に係る施工現場管理システム1は、各積込車両V2の車載端末V203それぞれが情報提示装置120として機能してもよい。この場合、車載端末V203は、例えば以下のように運搬車両V1の走行ルートを表示することができる。各積込車両V2の車載端末V203は、複数の撮像装置110において撮像された画像を受信し、受信した複数の画像に基づいて施工現場Gの俯瞰画像を生成し、また車両の位置を特定することができる。つまり、本実施形態においては、車載端末V203は、複数の撮像装置110が撮像した画像に基づいて、複数の車両それぞれの位置を特定する。そして、車載端末V203は、積込車両V2と距離が近い他の車両の位置を示す運搬車両V1の走行ルートを画面に表示させる。つまり、他の実施形態においては、必ずしも情報提示装置120がサーバとして実装される必要はなく、例えば相互通信を行う複数の車載端末V203によって実装されてもよい。
【符号の説明】
【0056】
1…施工現場管理システム 110…撮像装置 120…情報提示装置 1101…画像取得部 1102…俯瞰画像生成部 1103…車両認識部 1104…車両追跡部 1105…目的地特定部 1106…車両指定部 1107…ルート予測部 1108…表示画像生成部 1109…表示判定部 1110…表示制御部 1111…積荷特定部 1112…ルート提示部 1113…ルート学習部 1201…画像記憶部 1202…車両記憶部 1203…走行履歴記憶部 1204…予測モデル記憶部 130…作業者端末 V1…運搬車両 V2…積込車両 V203…車載端末
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13