知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-03-26
(45)【発行日】2024-04-03
(54)【発明の名称】情報提示装置
(51)【国際特許分類】
H04N 7/18 20060101AFI20240327BHJP
G06T 7/00 20170101ALI20240327BHJP
G06T 3/00 20240101ALI20240327BHJP
【ＦＩ】
H04N7/18 J
G06T7/00 650B
G06T3/00 780
【請求項の数】
8
(21)【出願番号】P 2023508644
(86)(22)【出願日】2022-01-06
(86)【国際出願番号】 JP2022000208
(87)【国際公開番号】W WO2022201735
(87)【国際公開日】2022-09-29
【審査請求日】2023-02-03
(31)【優先権主張番号】P 2021052234
(32)【優先日】2021-03-25
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000005522
【氏名又は名称】日立建機株式会社
(74)【代理人】
【識別番号】110002572
【氏名又は名称】弁理士法人平木国際特許事務所
(72)【発明者】
【氏名】斉藤 裕保
(72)【発明者】
【氏名】千葉 孝昭
(72)【発明者】
【氏名】山本 慎二郎
(72)【発明者】
【氏名】井村 進也
【審査官】▲高▼橋 真之
(56)【参考文献】
【文献】特開２０１９－１５１９６８（ＪＰ，Ａ）
【文献】特開２０２０－５７９８１（ＪＰ，Ａ）
【文献】国際公開第２０１７／１８７７６４（ＷＯ，Ａ１）
【文献】特開２０１６－１８１１１９（ＪＰ，Ａ）
【文献】特開２００８－２４８６１３（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ７／１８
Ｇ０６Ｔ ７／００
Ｇ０６Ｔ ３／００
(57)【特許請求の範囲】
【請求項1】
施工現場に関する地形画像を生成して出力する情報提示装置であって、前記地形画像に所定の画像処理を実行するためのプログラムを格納する記憶デバイスと、
前記記憶デバイスから前記プログラムを読み込み、前記地形画像を生成するプロセッサと、を備え、
前記プロセッサは、
前記施工現場に設置された少なくとも１つの撮影装置によって取得された前記施工現場の画像を用いて、前記施工現場の現況地形を俯瞰的に表す第１俯瞰画像を取得する処理と、
前記施工現場に設置された前記撮影装置による撮影以外の方法によって取得された前記施工現場の元々の地形を俯瞰的に表す第２俯瞰画像を取得する処理と、
前記第１俯瞰画像と前記第２俯瞰画像とを重ね合わせて第１合成俯瞰画像を生成する画像合成処理と、
を実行する、情報提示装置。
【請求項2】
請求項１において、前記プロセッサは、さらに、前記第１俯瞰画像に基づいて、前記施工現場における死角を特定するための情報を演算する処理を実行し、
前記画像合成処理において、前記プロセッサは、さらに、前記死角を特定するための情報から前記死角の画像を生成し、前記第１合成俯瞰画像に前記死角の画像を反映した第２合成俯瞰画像を生成する、情報提示装置。
【請求項3】
請求項２において、前記プロセッサは、前記第１俯瞰画像を用いて、前記死角を特定するための情報として、前記死角の有無、前記死角の位置、および前記死角の面積を演算する、情報提示装置。
【請求項4】
請求項３において、前記プロセッサは、さらに、前記死角を特定するための情報に基づいて、前記施工現場で作業機械を動作させるために必要な情報が取得できているかを判定する処理を実行する、情報提示装置。
【請求項5】
請求項４において、前記プロセッサは、前記作業機械から前記死角までの距離が第１閾値より大きく、かつ前記死角の面積が第２閾値未満であるとき、前記施工現場で前記作業機械を動作させるために必要な情報が取得できていると判定する、情報提示装置。
【請求項6】
請求項５において、前記プロセッサは、前記作業機械を動作させるために必要な情報が取得できていないと判定したとき、警告を出力する処理を実行する、情報提示装置。
【請求項7】
請求項２において、前記プロセッサは、さらに、前記施工現場で動作する作業機械に設置された車載撮影装置が撮影した画像を前記第２合成俯瞰画像に反映させた第３合成俯瞰画像を生成する処理を実行する、情報提示装置。
【請求項8】
請求項７において、前記プロセッサは、さらに、表示切換え指示に応答して、前記第３合成俯瞰画像と前記車載撮影装置が撮影した画像とを切り換えて出力する、情報提示装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、情報提示装置に関する。
【背景技術】
【0002】
従来から、作業機械や運搬車両等の複数の機械が存在する施工現場において、作業機械のオペレータに、近傍に存在する他の作業機械や運搬車両の位置を認識させることができる情報提示装置が知られている。例えば、特許文献１に記載の情報提示装置は、施工現場に設置された複数の撮影装置が撮影した画像に基づいて、複数の車両それぞれの位置を特定し、特定された車両のうち、任意に指定した車両との距離が閾値未満である他の車両の位置を施工現場の俯瞰画像に重ねて表示する信号を出力するものである。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１９－１５１９６８号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献１に記載の構成では、例えば、設置コストの観点から施工現場で使用可能な撮影装置の個数が限られている場合、俯瞰画像の合成が困難な場合がある。施工現場の全域をカバーする画像を合成することができないからである。これでは、施工現場における複数の車両を効率よく管理することはできない。
【0005】
本開示は、このような状況に鑑みてなされたものであり、施工現場で撮影装置の個数が不足している場合においても、作業機械のオペレータに作業現場の俯瞰画像を提示する技術を提案する。
【課題を解決するための手段】
【0006】
上記課題を解決するに、本開示は、施工現場に関する地形画像を生成して出力する情報提示装置であって、地形画像に所定の画像処理を実行するためのプログラムを格納する記憶デバイスと、記憶デバイスからプログラムを読み込み、地形画像を生成するプロセッサと、を備え、プロセッサは、施工現場に設置された少なくとも１つの撮影装置によって取得された施工現場の画像を用いて、施工現場の現況地形を俯瞰的に表す第１俯瞰画像を取得する処理と、施工現場に設置された撮影装置による撮影以外の方法によって取得された施工現場の元々の地形を俯瞰的に表す第２俯瞰画像を取得する処理と、第１俯瞰画像と第２俯瞰画像とを重ね合わせて第１合成俯瞰画像を生成する画像合成処理と、を実行する、情報提示装置について提案する。
【0007】
本開示に関連する更なる特徴は、本明細書の記述、添付図面から明らかになるものである。また、本開示の態様は、要素及び多様な要素の組み合わせ及び以降の詳細な記述と添付される請求の範囲の様態により達成され実現される。本明細書の記述は典型的な例示に過ぎず、本開示の請求の範囲又は適用例を如何なる意味においても限定するものではない。
【発明の効果】
【0008】
本開示によれば、施工現場で撮影装置の個数が不足している場合においても、作業機械のオペレータに作業現場の俯瞰画像を生成および提示することができる。
【図面の簡単な説明】
【0009】
【図1】作業機械の概略構成例を示す図である。
【図2A】油圧ショベル１の可動範囲２４を示す図である。
【図2B】ホイールローダ３６の可動範囲１９を示す図である。
【図3】本実施形態による情報提示装置の機能構成例を示すブロック図である。
【図4】元地形情報取得部２６にて取得した俯瞰画像２の一例を示す図である。
【図5】現況地形情報取得部２５にて取得した俯瞰画像１の一例を示す図である。
【図6】俯瞰画像合成部２８が現況地形情報（俯瞰画像１）を元地形情報（俯瞰画像２）に重ねることにより生成する俯瞰画像３の一例を示す図である。
【図7】本実施形態による俯瞰画像３を生成する俯瞰画像生成処理の詳細を説明するためのフローチャートである。
【図8】第２の実施形態による情報提示装置の機能構成例を示すブロック図である。
【図9A】死角４０（死角の有無、死角の位置、死角の広さ（大きさ））の演算方法を説明するための図（１）である。
【図9B】死角４０（死角の有無、死角の位置、死角の広さ（大きさ））の演算方法を説明するための図（２）である。
【図9C】死角４０（死角の有無、死角の位置、死角の広さ（大きさ））の演算方法を説明するための図（３）である。
【図10】第２の実施形態による俯瞰画像４（俯瞰画像３に死角を加味して生成した俯瞰画像）の例を示す図である。
【図11】第２の実施形態による俯瞰画像４を生成する処理の詳細を説明するためのフローチャートである。
【図12】第３の実施形態に係る情報提示装置の機能構成例を示すブロック図である。
【図13】車載俯瞰画像４８の例を示す図である。
【図14】第３の実施形態による、合成した俯瞰画像５の例を示す図である。
【図15】第３の実施形態による俯瞰画像５を生成する処理の詳細を説明するためのフローチャートである。
【図16】本実施形態（第１から第３の実施形態）による俯瞰画像提供システムの構成例を示す図である。
【発明を実施するための形態】
【0010】
本開示の第１から第３の実施形態は、施工現場の俯瞰地形画像を生成し、出力する情報提示技術について説明する。以下、添付図面を参照して本開示の実施形態について説明する。添付図面では、機能的に同じ要素は同じ番号で表示される場合もある。なお、添付図面は本開示の原理に則った具体的な実施形態と実装例を示しているが、これらは本開示の理解のためのものであり、決して本開示を限定的に解釈するために用いられるものではない。
【0011】
本実施形態では、当業者が本開示を実施するのに十分詳細にその説明がなされているが、他の実装・形態も可能で、本開示の技術的思想の範囲と精神を逸脱することなく構成・構造の変更や多様な要素の置き換えが可能であることを理解する必要がある。従って、以降の記述をこれに限定して解釈してはならない。
【0012】
更に、本開示の実施形態は、後述されるように、汎用コンピュータ上で稼動するソフトウェアで実装しても良いし専用ハードウェア又はソフトウェアとハードウェアの組み合わせで実装しても良い。
【0013】
（１）第１の実施形態
＜俯瞰画像提供システムの構成例＞
図１６は、本実施形態（後述の第２および第３の実施形態を含む）による俯瞰画像提供システム（情報提供システムとも言う）の構成例を示す図である。
俯瞰画像提供システムは、通信装置を有する作業機械１と、施工現場３１に設置された少なくとも１つの撮影装置（カメラ）３３Ａから３３Ｂと、施工現場３１の各種俯瞰画像を生成し、出力するコンピュータ（情報提示装置）と、施工現場３１の元々の地形（建設資材や作業機械１を配置する前の地形）の俯瞰画像を撮影するためのドローン（元地形情報取得部２６に相当）と、生成された俯瞰画像を表示する表示部（表示装置）２９と、通信装置４９と、を備えている。
＜俯瞰画像提供システムの構成例＞
図１６は、本実施形態（後述の第２および第３の実施形態を含む）による俯瞰画像提供システム（情報提供システムとも言う）の構成例を示す図である。
俯瞰画像提供システムは、通信装置を有する作業機械１と、施工現場３１に設置された少なくとも１つの撮影装置（カメラ）３３Ａから３３Ｂと、施工現場３１の各種俯瞰画像を生成し、出力するコンピュータ（情報提示装置）と、施工現場３１の元々の地形（建設資材や作業機械１を配置する前の地形）の俯瞰画像を撮影するためのドローン（元地形情報取得部２６に相当）と、生成された俯瞰画像を表示する表示部（表示装置）２９と、通信装置４９と、を備えている。
【0014】
当該システムでは、ドローン（元地形情報取得部２６に相当）によって撮影した俯瞰画像（後述の俯瞰画像２）を用いているが、衛星などより撮影して得られる衛星写真を俯瞰画像２として用いてもよい。
【0015】
なお、図１６において、表示部（表示装置）２９は、コンピュータ（情報提示装置）とは遠隔的に配置されているが、コンピュータ（情報提示装置）の一部を構成してもよい。当該コンピュータ（情報提示装置）は、施工現場３１の外（遠隔地を含む）に設置して施工現場３１とは離れた場所にいる管理者が俯瞰画像を確認できるようにしてもよいし、作業機械１の操縦席に配置してオペレータが俯瞰画像を確認できるようにしてもよい（両方であってもよい）。また、情報提示装置を施工現場３１の外に配置し、作業機械１には表示部２９のみを設置するようにしてもよい。情報提示装置と表示部２９とを分離して配置する場合には、図１６に示すように、互いにネットワークを介して通信可能なように構成するようにしてもよい。
【0016】
＜作業機械の構成例＞
図１は、作業機械の概略構成例を示す図である。本実施形態では、作業機械の一例として油圧ショベル１を挙げて説明する。
油圧ショベル１は、下部走行体１４に旋回機構１６を介して上部走行体１５が搭載されて構成される。旋回機構１６は、油圧モータを含み、上部走行体１５を時計回りまたは反時計回りに旋回動作を行う。上部走行体１５にはブーム８が取り付けられている。ブーム８は、油圧駆動されるブームシリンダ５により、上部走行体１５に対して上下方向に揺動する。ブーム８の先端にはアーム９が取り付けられている。アーム９は、油圧駆動されるアームシリンダ６により、ブーム８に対して前後方向に揺動する。アーム９の先端にはバケット１０が取り付けられている。バケット１０は、油圧駆動されるバケットシリンダ７により、アーム９に対して揺動する。上部走行体１５には、さらにオペレータを収容するキャブ２が搭載されている。なお、本明細書において、ブーム８、アーム９、及びバケット１０をまとめてフロント作業部２３と称する場合がある。フロント作業部２３は、上部旋回体１５と共に、旋回中心１７を中心として旋回する。また、旋回中心１７からフロント作業部２３の先端までの距離は、ブーム８、アーム９、バケット１０を揺動させることにより変動する。ここで、上部走行体１５は、旋回中心１７を中心として旋回し、上部走行体１５にアタッチメント１８が取り付けられている。
図１は、作業機械の概略構成例を示す図である。本実施形態では、作業機械の一例として油圧ショベル１を挙げて説明する。
油圧ショベル１は、下部走行体１４に旋回機構１６を介して上部走行体１５が搭載されて構成される。旋回機構１６は、油圧モータを含み、上部走行体１５を時計回りまたは反時計回りに旋回動作を行う。上部走行体１５にはブーム８が取り付けられている。ブーム８は、油圧駆動されるブームシリンダ５により、上部走行体１５に対して上下方向に揺動する。ブーム８の先端にはアーム９が取り付けられている。アーム９は、油圧駆動されるアームシリンダ６により、ブーム８に対して前後方向に揺動する。アーム９の先端にはバケット１０が取り付けられている。バケット１０は、油圧駆動されるバケットシリンダ７により、アーム９に対して揺動する。上部走行体１５には、さらにオペレータを収容するキャブ２が搭載されている。なお、本明細書において、ブーム８、アーム９、及びバケット１０をまとめてフロント作業部２３と称する場合がある。フロント作業部２３は、上部旋回体１５と共に、旋回中心１７を中心として旋回する。また、旋回中心１７からフロント作業部２３の先端までの距離は、ブーム８、アーム９、バケット１０を揺動させることにより変動する。ここで、上部走行体１５は、旋回中心１７を中心として旋回し、上部走行体１５にアタッチメント１８が取り付けられている。
【0017】
ブーム８は、ｙ軸に平行な揺動中心を中心として、上下に揺動する。ブーム８の先端にはアーム９が取り付けられており、アーム９の先端にバケット１０が取り付けられている。
【0018】
車体位置検出部４４には自己位置を取得できるＧＮＳＳのような機器が用いられ、車体方位角度演算部４３にて車体の方位角を演算する。
【0019】
【0020】
図２Ａにおいて、油圧ショベル１のフロント作業部２３に係る可動範囲２４Ａは、フロント作業部長が最も長い姿勢を取る場合において、上部旋回体が３６０度旋回するときにフロント作業部２３が到達可能な範囲となる。また、下部走行体１４に係る可動範囲２４Ｂは、油圧ショベル１の走行時に例えばＴ秒間で車体が到達可能な範囲となる。また、可動範囲２４Ａおよび２４Ｂを統合した可動範囲を油圧ショベル１に係る可動範囲２４とする。また、図２Ｂにおいて、ホイールローダ３６の可動範囲１９は、ハンドルを左右に限界まで切った状態でＴ秒間に前後方向に移動可能な範囲を範囲となる。
【0021】
＜情報提示装置の機能構成例＞
図３は、本実施形態による情報提示装置の機能構成例を示すブロック図である。
情報提示装置は、現況地形情報取得部２５と、元地形情報取得部２６と、俯瞰画像処理部２７と、表示部（表示装置）２９を有している。俯瞰画像処理部２７は、俯瞰画像合成部２８と、を有している。当該情報提示装置は、例えば、コンピュータで構成され、コンピュータに含まれるプロセッサが、メモリ（記憶デバイス；以下同様）から各処理部（現況地形情報取得部、元地形情報取得部、俯瞰画像処理部など）を実現するプログラムを読み込み、内部メモリ上に展開することにより、上記各処理部を実現する。また、情報提示装置は、作業機械１の操縦席に配置するようにしてもよいし、作業機械１や撮影装置３３とは別の遠隔地（例えば、管理事務所）に配置するようにしてもよい。
図３は、本実施形態による情報提示装置の機能構成例を示すブロック図である。
情報提示装置は、現況地形情報取得部２５と、元地形情報取得部２６と、俯瞰画像処理部２７と、表示部（表示装置）２９を有している。俯瞰画像処理部２７は、俯瞰画像合成部２８と、を有している。当該情報提示装置は、例えば、コンピュータで構成され、コンピュータに含まれるプロセッサが、メモリ（記憶デバイス；以下同様）から各処理部（現況地形情報取得部、元地形情報取得部、俯瞰画像処理部など）を実現するプログラムを読み込み、内部メモリ上に展開することにより、上記各処理部を実現する。また、情報提示装置は、作業機械１の操縦席に配置するようにしてもよいし、作業機械１や撮影装置３３とは別の遠隔地（例えば、管理事務所）に配置するようにしてもよい。
【0022】
施工現場３１に設置されたカメラなどの撮影装置３３などで現況地形が撮影され、現況地形の画像を受信すると、現況地形情報取得部２５は、それらを統合して俯瞰画像（俯瞰画像１）に変換し、俯瞰画像合成部２８へ送信する。
【0023】
元地形情報取得部２６は、ドローンや衛星などより撮影した俯瞰画像（当該施工現場３１の元々の地形の俯瞰画像）、もしくは設計図を基に描写した画像（元地形の俯瞰画像：俯瞰画像２）を取得する。
【0024】
俯瞰画像合成部２８は、元地形情報取得部２６にて取得した施工現場３１の俯瞰画像２に対して、現況地形情報を基に作成した俯瞰画像１を重ね、画像を合成する。俯瞰画像合成部２８は、合成した俯瞰画像（俯瞰画像３）を表示部２９へ送信する。
【0025】
表示部２９は、俯瞰画像合成部２８にて合成した俯瞰画像３を油圧ショベル（作業機械）１のオペレータ、または、現場作業員、施工管理者、および現場監督が所持するモニタ等の表示装置および／またはスマートフォンなどの表示端末である。
【0026】
＜俯瞰画像２の例＞
図４は、元地形情報取得部２６にて取得した俯瞰画像２の一例を示す図である。現場作業員がドローン等の俯瞰画像を撮影することが可能な機器を用いて、施工前の画像を撮影する。なお、元地形の画像は設計図を基に描写することも可能である。元地形の画像においては、施工現場３１が施工現場３１内と施工現場外３２そして固定障害物３０に区分けされている。なお、区分けは、施工開始前に実施することとし、必ずしも更新頻度を高くする必要はない。区分け方法は、現場作業員もしくは施工管理者が主導で設定する必要があるが、ディープラーニング等の学習機能を用いて、固定障害物３０や施工現場３１の境界を自動で認識するアルゴリズムを用いてもよい。また、俯瞰画像の撮影／描写時は、施工現場３１の基準点の座標を決定しておく。
図４は、元地形情報取得部２６にて取得した俯瞰画像２の一例を示す図である。現場作業員がドローン等の俯瞰画像を撮影することが可能な機器を用いて、施工前の画像を撮影する。なお、元地形の画像は設計図を基に描写することも可能である。元地形の画像においては、施工現場３１が施工現場３１内と施工現場外３２そして固定障害物３０に区分けされている。なお、区分けは、施工開始前に実施することとし、必ずしも更新頻度を高くする必要はない。区分け方法は、現場作業員もしくは施工管理者が主導で設定する必要があるが、ディープラーニング等の学習機能を用いて、固定障害物３０や施工現場３１の境界を自動で認識するアルゴリズムを用いてもよい。また、俯瞰画像の撮影／描写時は、施工現場３１の基準点の座標を決定しておく。
【0027】
＜俯瞰画像１の例＞
図５は、現況地形情報取得部２５にて取得した俯瞰画像１の一例を示す図である。施工現場３１付近あるいは施工現場３１内に、施工現場３１内を撮影できる位置および高さにカメラなどの撮影装置３３を少なくとも１つ配置する。そして、撮影装置３３によって、施工現場３１を撮影する。作業員はあらかじめ、撮影装置３３を配置した位置（座標）、高さ、撮影装置３３の画角および視線方向を手動で登録、もしくは、ＧＮＳＳ等の自己位置推定が可能な機器と撮影装置３３とを紐づけたデータを自動で現況地形情報取得部２５に登録する。
図５は、現況地形情報取得部２５にて取得した俯瞰画像１の一例を示す図である。施工現場３１付近あるいは施工現場３１内に、施工現場３１内を撮影できる位置および高さにカメラなどの撮影装置３３を少なくとも１つ配置する。そして、撮影装置３３によって、施工現場３１を撮影する。作業員はあらかじめ、撮影装置３３を配置した位置（座標）、高さ、撮影装置３３の画角および視線方向を手動で登録、もしくは、ＧＮＳＳ等の自己位置推定が可能な機器と撮影装置３３とを紐づけたデータを自動で現況地形情報取得部２５に登録する。
【0028】
また、現況地形情報取得部２５（上記コンピュータ）は、撮影装置３３ごとに、当該撮影装置３３が撮影した画像の変形パラメータを（上記メモリに）あらかじめ記憶しておく。画像の変形パラメータは、撮影装置３３の設置位置および視線方向に基づいて特定（決定）することができるデータである。なお、俯瞰画像１の生成方法はこれに限らない。例えば、現況地形情報取得部２５が取得した複数の画像について三角測量を行うことで施工現場３１の三次元画像を作成し、得られた三次元画像に基づいて全体俯瞰画像（俯瞰画像１）を作成するようにしてもよい。
【0029】
＜俯瞰画像３の例＞
図６は、俯瞰画像合成部２８が現況地形情報（俯瞰画像１）を元地形情報（俯瞰画像２）に重ねることにより生成する俯瞰画像３の一例を示す図である。
現況地形情報取得部２５にて作成した現況地形の俯瞰画像１をそれぞれの撮影装置３３の位置情報を基に元地形情報（俯瞰画像２）の基準点と照らし合わせ、合成する位置を調整することにより、俯瞰画像３を生成する。
図６は、俯瞰画像合成部２８が現況地形情報（俯瞰画像１）を元地形情報（俯瞰画像２）に重ねることにより生成する俯瞰画像３の一例を示す図である。
現況地形情報取得部２５にて作成した現況地形の俯瞰画像１をそれぞれの撮影装置３３の位置情報を基に元地形情報（俯瞰画像２）の基準点と照らし合わせ、合成する位置を調整することにより、俯瞰画像３を生成する。
【0030】
＜俯瞰画像生成処理の詳細＞
図７は、本実施形態による俯瞰画像３を生成する俯瞰画像生成処理の詳細を説明するためのフローチャートである。以下説明する各ステップでは、各処理部（現況地形情報取得部２５、元地形情報取得部２６、俯瞰画像合成部２８）を動作主体とするが、上述のように、これらに相当するプログラムがメモリからコンピュータ（情報提示装置）のプロセッサによって読み込まれて実現されるため、プロセッサを動作主体としてもよい。
図７は、本実施形態による俯瞰画像３を生成する俯瞰画像生成処理の詳細を説明するためのフローチャートである。以下説明する各ステップでは、各処理部（現況地形情報取得部２５、元地形情報取得部２６、俯瞰画像合成部２８）を動作主体とするが、上述のように、これらに相当するプログラムがメモリからコンピュータ（情報提示装置）のプロセッサによって読み込まれて実現されるため、プロセッサを動作主体としてもよい。
【0031】
（i）ステップ１０１
元地形情報取得部２６は、ドローンや衛星などより撮影した俯瞰画像、もしくは設計図を基に描写した画像（俯瞰画像２）を取得し、当該俯瞰画像２を俯瞰画像合成部２８に送信する。なお、この俯瞰画像２は、例えば、あらかじめデータベースや記憶装置に格納されている画像であってもよいし、オペレータや施工管理者などが改めて撮像あるいは入手し、情報提示装置に入力した画像であってもよい。
元地形情報取得部２６は、ドローンや衛星などより撮影した俯瞰画像、もしくは設計図を基に描写した画像（俯瞰画像２）を取得し、当該俯瞰画像２を俯瞰画像合成部２８に送信する。なお、この俯瞰画像２は、例えば、あらかじめデータベースや記憶装置に格納されている画像であってもよいし、オペレータや施工管理者などが改めて撮像あるいは入手し、情報提示装置に入力した画像であってもよい。
【0032】
（ii）ステップ１０２
現況地形情報取得部２５は、少なくとも１つの撮影装置３３が撮像し、そこから送信されてきた現況地形の画像を受信する。
現況地形情報取得部２５は、少なくとも１つの撮影装置３３が撮像し、そこから送信されてきた現況地形の画像を受信する。
【0033】
（iii）ステップ１０３
現況地形情報取得部２５は、ステップ１０２で受信した画像（複数の撮影装置３３からの画像）を、予め決められた所定の基準点（例えば、いずれか１つの画像の任意の画素あるいは領域）に合わせて統合して俯瞰画像（俯瞰画像１）に変換する。そして、現況地形情報取得部２５は、生成した俯瞰画像１を俯瞰画像合成部２８に送信する。
現況地形情報取得部２５は、ステップ１０２で受信した画像（複数の撮影装置３３からの画像）を、予め決められた所定の基準点（例えば、いずれか１つの画像の任意の画素あるいは領域）に合わせて統合して俯瞰画像（俯瞰画像１）に変換する。そして、現況地形情報取得部２５は、生成した俯瞰画像１を俯瞰画像合成部２８に送信する。
【0034】
（iv）ステップ１０４
俯瞰画像合成部２８は、元地形情報取得部２６から受信した俯瞰画像２と現況地形情報取得部２５から受信した俯瞰画像１とを合成または変換し、合成俯瞰画像（俯瞰画像３）を生成し、これを表示部２９に送信する。
俯瞰画像合成部２８は、元地形情報取得部２６から受信した俯瞰画像２と現況地形情報取得部２５から受信した俯瞰画像１とを合成または変換し、合成俯瞰画像（俯瞰画像３）を生成し、これを表示部２９に送信する。
【0035】
（v）ステップ１０５
表示部２９は、俯瞰画像３を表示画面上に表示する。これにより、オペレータや施工管理者、油圧ショベル（作業機械）１の作業者、周囲作業員、および／または現場監督は、施工現場の状況を俯瞰的に把握することができる。
このように、元地形の俯瞰画像に現況地形の俯瞰画像を重ねることで、現況地形の俯瞰画像の情報が不足している場合、俯瞰画像を補完することが可能となる。
表示部２９は、俯瞰画像３を表示画面上に表示する。これにより、オペレータや施工管理者、油圧ショベル（作業機械）１の作業者、周囲作業員、および／または現場監督は、施工現場の状況を俯瞰的に把握することができる。
このように、元地形の俯瞰画像に現況地形の俯瞰画像を重ねることで、現況地形の俯瞰画像の情報が不足している場合、俯瞰画像を補完することが可能となる。
【0036】
（２）第２の実施形態
施工現場３１で使用可能な撮影装置３３の個数が限られている場合、作業現場内において死角４０ができる可能性が高い。この場合、油圧ショベル（作業機械）１のオペレータに死角４０の存在を提示しないと、障害物（別の作業機械等）が固定障害物３０の死角４０から出てくる可能性を考慮した動作（作業）を行うことが困難な場合がある。
施工現場３１で使用可能な撮影装置３３の個数が限られている場合、作業現場内において死角４０ができる可能性が高い。この場合、油圧ショベル（作業機械）１のオペレータに死角４０の存在を提示しないと、障害物（別の作業機械等）が固定障害物３０の死角４０から出てくる可能性を考慮した動作（作業）を行うことが困難な場合がある。
【0037】
第２の実施形態は、このような点に鑑み、施工現場３１において死角（後述の死角４０）が存在する場合、油圧ショベル（作業機械）１のオペレータに死角４０を提示することができる情報提示装置および情報提示方法を提供することである。
【0038】
【0039】
第１の実施形態では、元地形の俯瞰画像に現況地形の俯瞰画像を重ねていたが、第２の実施形態では、情報提示装置が、現況地形情報取得部２５で生成した俯瞰画像の死角４０を演算する死角演算部３９と、演算した死角４０までの距離や死角４０の面積に応じて、現況地形の俯瞰画像の情報が不足していると判定する判定部３８をさらに備えている。
【0040】
＜情報提示装置の機能構成例＞
図８は、第２の実施形態による情報提示装置の機能構成例を示すブロック図である。当該情報提示装置において、死角演算部３９は、現況地形情報取得部２５が作成した現況地形の俯瞰画像（俯瞰画像１）を基に、例えば、当該俯瞰画像１を格子状に区切り、撮影装置３３の撮影範囲外のマスの面積を演算する。もしくは、撮影装置３３の位置、高さ、視線方向および画角から死角４０の範囲を詳細に推定することも可能である。
図８は、第２の実施形態による情報提示装置の機能構成例を示すブロック図である。当該情報提示装置において、死角演算部３９は、現況地形情報取得部２５が作成した現況地形の俯瞰画像（俯瞰画像１）を基に、例えば、当該俯瞰画像１を格子状に区切り、撮影装置３３の撮影範囲外のマスの面積を演算する。もしくは、撮影装置３３の位置、高さ、視線方向および画角から死角４０の範囲を詳細に推定することも可能である。
【0041】
判定部３８は、死角演算部３９が演算した結果に応じて、俯瞰画像１の情報が不足しているか否かを判定する。具体的には、施工現場３１における死角４０の面積が施工現場３１全体の面積のある一定の閾値を超えた場合、判定部３８は、情報（作業機械１（車体）を安全に動作させるために必要な情報）が不足していると判定する。こうすることにより、例えば作業機械（油圧ショベル）１が死角付近で作業する場合は、固定障害物３０の死角４０から突然出現する障害物がフロント作業部２３やカウンタウェイト１１と接触する可能性があるため、あらかじめ主に旋回や走行動作を実施する際に警告を促すことが可能となる。なお、死角４０の面積の閾値は施工管理者が任意に設定することが可能である。また、作業機械１の位置（座標）がＧＮＳＳ等や撮影装置３３などを用いて位置推定が可能な場合においては、作業機械１と死角４０までの距離が閾値以下、例えば作業機械１の可動範囲２４以内になり、かつ該当の死角４０の面積が一定以上である場合において、必要な情報（作業機械１（車体）を安全に動作させるために必要な情報）が不足していると判定してもよい。
【0042】
表示部２９は、俯瞰画像１と俯瞰画像２とを合成した俯瞰画像（俯瞰画像３）において、さらに死角４０部分を塗りつぶす等の表示処理を実行することにより生成された俯瞰画像４（死角を加味した俯瞰画像）を表示する。これにより、オペレータ、施工管理者、周囲作業員、および／または現場監督に、施工現場３１の死角４０を可視化することが可能となる。また、判定部３８にて必要な情報が不足していると判定された場合は、表示部２９に「情報不足」等の警告を表示する。なお、表示部２９はモニタ等の表示装置およびスマートフォンなどの表示端末に加えて、音声による警告を実施してもよい。
【0043】
＜死角４０の演算について＞
図９Ａから図９Ｃを用いて死角４０（死角の有無、死角の位置、死角の広さ（大きさ））の演算方法について詳しく説明する。まず、カメラ等の撮影装置３３にて固定障害物３０を撮影した場合、固定障害物３０の端部３０Ａおよび３０Ｂと撮影装置３３の中心点を結んだ線が死角線４１となり、死角線４１の内側が死角４０となる。続いて、図９Ｂに示すように死角４０を均等に格子状またはピクセル単位ごとに区切る（これにより死角を構成する座標が特定することができる）ことで死角４０の面積を四角形の個数分の面積で表すことができる。そのため、より厳密に死角４０の面積を判定したい場合は、より細かに格子状に区切る必要がある。なお、四角形（格子）ごとに死角線４１の内側（死角として隠れた部分）の面積が閾値以上となった場合に、その格子が死角４０をなす四角形であると判定する。なお、当該閾値は任意に設定することが可能である。
図９Ａから図９Ｃを用いて死角４０（死角の有無、死角の位置、死角の広さ（大きさ））の演算方法について詳しく説明する。まず、カメラ等の撮影装置３３にて固定障害物３０を撮影した場合、固定障害物３０の端部３０Ａおよび３０Ｂと撮影装置３３の中心点を結んだ線が死角線４１となり、死角線４１の内側が死角４０となる。続いて、図９Ｂに示すように死角４０を均等に格子状またはピクセル単位ごとに区切る（これにより死角を構成する座標が特定することができる）ことで死角４０の面積を四角形の個数分の面積で表すことができる。そのため、より厳密に死角４０の面積を判定したい場合は、より細かに格子状に区切る必要がある。なお、四角形（格子）ごとに死角線４１の内側（死角として隠れた部分）の面積が閾値以上となった場合に、その格子が死角４０をなす四角形であると判定する。なお、当該閾値は任意に設定することが可能である。
【0044】
また、固定障害物３０の高さよりも高い位置にカメラ等の撮影装置３３を設置している場合、固定障害物の上部３０Ｃと撮影装置３３の中心点を結んだ線が死角線４１となり、奥行き部分の死角を低減することが可能である。
以上のように、３次元的に死角４０を特定することにより、作業機械１が安全に動作させることができるか否かを正確に判定することができるようになる。
以上のように、３次元的に死角４０を特定することにより、作業機械１が安全に動作させることができるか否かを正確に判定することができるようになる。
【0045】
＜俯瞰画像４の例＞
図１０は、第２の実施形態による俯瞰画像４（俯瞰画像３に死角を加味して生成した俯瞰画像）の例を示す図である。
図１０に示すように、表示部２９は、俯瞰画像３に現況地形情報取得部２５の死角４０を重ね合わせて生成された俯瞰画像４を情報提示装置の表示画面に表示する。さらに、表示部２９は、死角４０の面積が大きい場合、表示画面に「警告」と表示し、死角４０から別の障害物（図示せず）が出てくる可能性を警告する。
図１０は、第２の実施形態による俯瞰画像４（俯瞰画像３に死角を加味して生成した俯瞰画像）の例を示す図である。
図１０に示すように、表示部２９は、俯瞰画像３に現況地形情報取得部２５の死角４０を重ね合わせて生成された俯瞰画像４を情報提示装置の表示画面に表示する。さらに、表示部２９は、死角４０の面積が大きい場合、表示画面に「警告」と表示し、死角４０から別の障害物（図示せず）が出てくる可能性を警告する。
【0046】
＜俯瞰画像生成処理の詳細＞
図１１は、第２の実施形態による俯瞰画像４を生成する処理の詳細を説明するためのフローチャートである。以下説明する各ステップでは、各処理部（現況地形情報取得部２５、元地形情報取得部２６、死角演算部３９、俯瞰画像合成部２８、判定部３８）を動作主体とするが、上述のように、これらに相当するプログラムがメモリからコンピュータ（情報提示装置）のプロセッサによって読み込まれて実現されるため、プロセッサを動作主体としてもよい。
図１１は、第２の実施形態による俯瞰画像４を生成する処理の詳細を説明するためのフローチャートである。以下説明する各ステップでは、各処理部（現況地形情報取得部２５、元地形情報取得部２６、死角演算部３９、俯瞰画像合成部２８、判定部３８）を動作主体とするが、上述のように、これらに相当するプログラムがメモリからコンピュータ（情報提示装置）のプロセッサによって読み込まれて実現されるため、プロセッサを動作主体としてもよい。
【0047】
（i）ステップ２０１
元地形情報取得部２６は、ドローンや衛星などより撮影した俯瞰画像、もしくは設計図を基に描写した画像（俯瞰画像２）を取得し、当該俯瞰画像２を俯瞰画像合成部２８に送信する。なお、この俯瞰画像２は、例えば、あらかじめデータベースや記憶装置に格納されている画像であってもよいし、オペレータや施工管理者が改めて撮像あるいは入手し、情報提示装置に入力した画像であってもよい。
元地形情報取得部２６は、ドローンや衛星などより撮影した俯瞰画像、もしくは設計図を基に描写した画像（俯瞰画像２）を取得し、当該俯瞰画像２を俯瞰画像合成部２８に送信する。なお、この俯瞰画像２は、例えば、あらかじめデータベースや記憶装置に格納されている画像であってもよいし、オペレータや施工管理者が改めて撮像あるいは入手し、情報提示装置に入力した画像であってもよい。
【0048】
（ii）ステップ２０２
現況地形情報取得部２５は、少なくとも１つの撮影装置３３が撮像し、そこから送信されてきた現況地形の画像を受信する。
現況地形情報取得部２５は、少なくとも１つの撮影装置３３が撮像し、そこから送信されてきた現況地形の画像を受信する。
【0049】
（iii）ステップ２０３
現況地形情報取得部２５は、ステップ２０２で受信した画像（複数の撮影装置３３からの画像）を、予め決められた所定の基準点（例えば、いずれか１つの画像の任意の画素あるいは領域）に合わせて統合して俯瞰画像（俯瞰画像１）に変換する。そして、現況地形情報取得部２５は、生成した俯瞰画像１を死角演算部３９に送信する。
現況地形情報取得部２５は、ステップ２０２で受信した画像（複数の撮影装置３３からの画像）を、予め決められた所定の基準点（例えば、いずれか１つの画像の任意の画素あるいは領域）に合わせて統合して俯瞰画像（俯瞰画像１）に変換する。そして、現況地形情報取得部２５は、生成した俯瞰画像１を死角演算部３９に送信する。
【0050】
（iv）ステップ２０４
死角演算部３９は、死角４０の有無（図９Ａから図９Ｃを参照）、死角４０の面積（図９ＡからＣを参照）、および死角４０までの距離（距離：例えば、作業機械１Ａおよび１Ｂの可動範囲２４Ａあるいは可動範囲２４から死角４０までの最短距離）を演算する。そして、死角演算部３９は、俯瞰画像１とともに死角４０の情報（有無、面積、および距離）を俯瞰画像合成部２８に送信する。
死角演算部３９は、死角４０の有無（図９Ａから図９Ｃを参照）、死角４０の面積（図９ＡからＣを参照）、および死角４０までの距離（距離：例えば、作業機械１Ａおよび１Ｂの可動範囲２４Ａあるいは可動範囲２４から死角４０までの最短距離）を演算する。そして、死角演算部３９は、俯瞰画像１とともに死角４０の情報（有無、面積、および距離）を俯瞰画像合成部２８に送信する。
【0051】
（v）ステップ２０５
俯瞰画像合成部２８は、元地形情報取得部２６から受信した俯瞰画像２と死角演算部３９から受信した俯瞰画像１（現況地形情報取得部２５から直接受信してもよい）とを合成または変換して合成俯瞰画像（俯瞰画像３）を生成し、さらに俯瞰画像３に死角演算部３９から受信した死角４０を合成して俯瞰画像４（死角を加味した俯瞰画像）を生成する。そして、俯瞰画像合成部２８は、俯瞰画像４および死角４０の情報（例えば、死角の有無、面積、および距離のうち、少なくとも死角の面積）を判定部３８に送信する。
俯瞰画像合成部２８は、元地形情報取得部２６から受信した俯瞰画像２と死角演算部３９から受信した俯瞰画像１（現況地形情報取得部２５から直接受信してもよい）とを合成または変換して合成俯瞰画像（俯瞰画像３）を生成し、さらに俯瞰画像３に死角演算部３９から受信した死角４０を合成して俯瞰画像４（死角を加味した俯瞰画像）を生成する。そして、俯瞰画像合成部２８は、俯瞰画像４および死角４０の情報（例えば、死角の有無、面積、および距離のうち、少なくとも死角の面積）を判定部３８に送信する。
【0052】
（vi）ステップ２０６
判定部３８は、俯瞰画像合成部２８から受信した情報に基づいて、必要な情報（作業機械１（車体）を安全に動作させるために必要な情報）が取得できているか否か判断する。例えば、作業機械１から死角４０までの距離（作業機械１Ａおよび１Ｂの可動範囲２４Ａあるいは可動範囲２４から死角４０までの最短距離）が所定の閾値（距離閾値）より大きい、かつ死角４０の面積が所定閾値以下である場合に、必要な情報が取得できていると判定される。必要な情報が取得できていると判定された場合（ステップ２０６でＹｅｓの場合）、処理はステップ２０７に移行する。必要な情報が取得できていないと判定された場合（ステップ２０６でＮｏの場合）、処理はステップ２０８に移行する。
判定部３８は、俯瞰画像合成部２８から受信した情報に基づいて、必要な情報（作業機械１（車体）を安全に動作させるために必要な情報）が取得できているか否か判断する。例えば、作業機械１から死角４０までの距離（作業機械１Ａおよび１Ｂの可動範囲２４Ａあるいは可動範囲２４から死角４０までの最短距離）が所定の閾値（距離閾値）より大きい、かつ死角４０の面積が所定閾値以下である場合に、必要な情報が取得できていると判定される。必要な情報が取得できていると判定された場合（ステップ２０６でＹｅｓの場合）、処理はステップ２０７に移行する。必要な情報が取得できていないと判定された場合（ステップ２０６でＮｏの場合）、処理はステップ２０８に移行する。
【0053】
（vii）ステップ２０７
表示部２９は、俯瞰画像４を表示画面上に表示する。これにより、施工管理者、油圧ショベル（作業機械）１のオペレータ、周囲作業員、および／または現場監督は、施工現場の状況を俯瞰的に把握することができ、施工現場３１において作業機械１を安全に操縦することが可能となる。
表示部２９は、俯瞰画像４を表示画面上に表示する。これにより、施工管理者、油圧ショベル（作業機械）１のオペレータ、周囲作業員、および／または現場監督は、施工現場の状況を俯瞰的に把握することができ、施工現場３１において作業機械１を安全に操縦することが可能となる。
【0054】
（viii）ステップ２０８
表示部２９は、俯瞰画像４に「警告」（警告という文字や危険を知らせるためのマークなど）を重畳して表示画面上に表示する。これにより、施工管理者、油圧ショベル（作業機械）１のオペレータ、周囲作業員、および／または現場監督は、施工現場の状況を俯瞰的に把握することができ、施工現場３１における作業機械１の操縦の危険性を把握することが可能となる。
表示部２９は、俯瞰画像４に「警告」（警告という文字や危険を知らせるためのマークなど）を重畳して表示画面上に表示する。これにより、施工管理者、油圧ショベル（作業機械）１のオペレータ、周囲作業員、および／または現場監督は、施工現場の状況を俯瞰的に把握することができ、施工現場３１における作業機械１の操縦の危険性を把握することが可能となる。
【0055】
以上のように、施工現場３１の死角４０の面積を演算し、必要な情報の不足をオペレータ、周囲作業員および現場監督に警告することで、障害物が固定障害物３０の死角４０から出てくる可能性を考慮した動作を実施することが可能となる。さらに、表示部２９において死角４０を表示することで、現況地形情報取得部２５の配置変更を促すことが可能となる。
【0056】
（３）第３の実施形態
図１２から図１５を用いて、本開示の第３の実施形態による情報提示装置について説明する。なお、図１２から図１５において、図１から図１１と同一の符号は同一の部品あるいは処理部を示すため、再度の説明は省略する。
図１２から図１５を用いて、本開示の第３の実施形態による情報提示装置について説明する。なお、図１２から図１５において、図１から図１１と同一の符号は同一の部品あるいは処理部を示すため、再度の説明は省略する。
【0057】
第２の実施形態では、施工現場３１の周囲に撮影装置３３を配置し、取得した現況地形内の死角４０の面積から必要な情報が不足しているか否かを判定し、オペレータ、周囲作業員および現場監督に警告している。一方、第３の実施形態は、車載の撮影装置３３が撮像した画像に基づいて作成した車載俯瞰画像４８のデータを現況地形情報（俯瞰画像１）と合成する（重ね合わせる）ことで死角４０の面積を低減する機能を備えている。
【0058】
＜情報提示装置の機能構成例＞
図１２は、第３の実施形態に係る情報提示装置の機能構成例を示すブロック図である。図１２に示すように、当該情報提示装置は、図８の構成要素に加えて、車体方位角度演算部４３と、車体位置検出部４４と、車載俯瞰画像作成部４５と、表示切換え部４７と、を備えている。
図１２は、第３の実施形態に係る情報提示装置の機能構成例を示すブロック図である。図１２に示すように、当該情報提示装置は、図８の構成要素に加えて、車体方位角度演算部４３と、車体位置検出部４４と、車載俯瞰画像作成部４５と、表示切換え部４７と、を備えている。
【0059】
車体方位角度演算部４３は、車体位置検出部４４からの位置情報に基づき、施工現場基準における作業機械１の方位を取得し、車載俯瞰画像補正部４６に当該方位の情報を送信する。また車体位置検出部４４は、施工現場基準、もしくはグローバル座標基準で作業機械１の位置を特定し、当該位置の情報を車載俯瞰画像補正部４６に送信する。車載俯瞰画像作成部４５は、車載の撮影装置３３を基に作成した俯瞰画像（以後、車載俯瞰画像４８と称する）を車載俯瞰画像補正部４６に送信する。
【0060】
＜車載俯瞰画像の例＞
図１３は、車載俯瞰画像４８の例を示す図である。ここで、車載俯瞰画像４８は作業機械２０の位置と方位に応じて現況地形の俯瞰画像と合成する位置と方向が異なる。そこで、まず作業機械１Ａおよび１Ｂの位置情報と施工現場３１の基準点の位置関係から車載俯瞰画像４８を合成する位置を特定する。
図１３は、車載俯瞰画像４８の例を示す図である。ここで、車載俯瞰画像４８は作業機械２０の位置と方位に応じて現況地形の俯瞰画像と合成する位置と方向が異なる。そこで、まず作業機械１Ａおよび１Ｂの位置情報と施工現場３１の基準点の位置関係から車載俯瞰画像４８を合成する位置を特定する。
【0061】
次に、施工現場基準もしくはグローバル座標基準での作業機械１Ａおよび１Ｂの方位情報を基に車載俯瞰画像補正部４６にて画像データを作業機の方位角度分回転させる。さらに、回転させた画像データを取得した作業機械１Ａおよび１Ｂの位置に応じて俯瞰画像に投影し、合成することで車載俯瞰画像４８を施工現場の俯瞰画像上に表示することが可能となる。
【0062】
＜合成した俯瞰画像の例＞
図１４は、第３の実施形態による、合成した俯瞰画像５の例を示す図である。なお、図１４に示す俯瞰画像５は、俯瞰画像１に車載俯瞰画像４８を反映させ、それに俯瞰画像２を合成した画像：図１０に示す俯瞰画像４の死角４０から車載俯瞰画像４８がカバーする領域を取り除いた画像となっている。
図１４は、第３の実施形態による、合成した俯瞰画像５の例を示す図である。なお、図１４に示す俯瞰画像５は、俯瞰画像１に車載俯瞰画像４８を反映させ、それに俯瞰画像２を合成した画像：図１０に示す俯瞰画像４の死角４０から車載俯瞰画像４８がカバーする領域を取り除いた画像となっている。
【0063】
現況地形情報取得部２５にて取得した現況地形の俯瞰画像１に死角４０と車載俯瞰画像４８を重ね合わせることにより、現況地形情報取得部２５で取得した俯瞰画像１の死角４０を補うことが可能となる。そして、俯瞰画像合成部２８は、死角演算部３９からの俯瞰画像（俯瞰画像１に死角４０および車載俯瞰画像４８を重ね合わせた画像）に元地形情報取得部２６からの俯瞰画像２をさらに重畳することにより、俯瞰画像５を生成することができる。
【0064】
このように、車載俯瞰画像４８を用いることで、死角４０の面積を低減することが可能となり、障害物が固定障害物３０の死角４０から出てくる可能性を考慮した動作を実施することが可能となる。
表示切換え部４７は、車載俯瞰画像４８と俯瞰画像５（周囲俯瞰画像）をボタン式またはモニタのタッチスクリーンなどで切り換えることが可能である。
表示切換え部４７は、車載俯瞰画像４８と俯瞰画像５（周囲俯瞰画像）をボタン式またはモニタのタッチスクリーンなどで切り換えることが可能である。
【0065】
＜俯瞰画像生成処理の詳細＞
図１５は、第３の実施形態による俯瞰画像５を生成する処理の詳細を説明するためのフローチャートである。以下説明する各ステップでは、各処理部（現況地形情報取得部２５、元地形情報取得部２６、死角演算部３９、俯瞰画像合成部２８、判定部３８、車体方位角度演算部、車体位置検出部４４、車載俯瞰画像作成部４５、表示切換え部４７）を動作主体とするが、上述のように、これらに相当するプログラムがメモリからコンピュータ（情報提示装置）のプロセッサによって読み込まれて実現されるため、プロセッサを動作主体としてもよい。
図１５は、第３の実施形態による俯瞰画像５を生成する処理の詳細を説明するためのフローチャートである。以下説明する各ステップでは、各処理部（現況地形情報取得部２５、元地形情報取得部２６、死角演算部３９、俯瞰画像合成部２８、判定部３８、車体方位角度演算部、車体位置検出部４４、車載俯瞰画像作成部４５、表示切換え部４７）を動作主体とするが、上述のように、これらに相当するプログラムがメモリからコンピュータ（情報提示装置）のプロセッサによって読み込まれて実現されるため、プロセッサを動作主体としてもよい。
【0066】
（i）ステップ３０１
元地形情報取得部２６は、ドローンや衛星などより撮影した俯瞰画像、もしくは設計図を基に描写した画像（俯瞰画像２）を取得し、当該俯瞰画像２を俯瞰画像合成部２８に送信する。なお、この俯瞰画像２は、例えば、あらかじめデータベースや記憶装置に格納されている画像であってもよいし、オペレータや施工管理者が改めて撮像あるいは入手し、情報提示装置に入力した画像であってもよい。
元地形情報取得部２６は、ドローンや衛星などより撮影した俯瞰画像、もしくは設計図を基に描写した画像（俯瞰画像２）を取得し、当該俯瞰画像２を俯瞰画像合成部２８に送信する。なお、この俯瞰画像２は、例えば、あらかじめデータベースや記憶装置に格納されている画像であってもよいし、オペレータや施工管理者が改めて撮像あるいは入手し、情報提示装置に入力した画像であってもよい。
【0067】
（ii）ステップ３０２
現況地形情報取得部２５は、少なくとも１つの撮影装置３３が撮像し、そこから送信されてきた現況地形の画像を受信する。
現況地形情報取得部２５は、少なくとも１つの撮影装置３３が撮像し、そこから送信されてきた現況地形の画像を受信する。
【0068】
（iii）ステップ３０３
現況地形情報取得部２５は、ステップ３０２で受信した画像（複数の撮影装置３３からの画像）を、予め決められた所定の基準点（例えば、いずれか１つの画像の任意の画素あるいは領域）に合わせて統合して俯瞰画像（俯瞰画像１）に変換する。そして、現況地形情報取得部２５は、生成した俯瞰画像１を死角演算部３９に送信する。
現況地形情報取得部２５は、ステップ３０２で受信した画像（複数の撮影装置３３からの画像）を、予め決められた所定の基準点（例えば、いずれか１つの画像の任意の画素あるいは領域）に合わせて統合して俯瞰画像（俯瞰画像１）に変換する。そして、現況地形情報取得部２５は、生成した俯瞰画像１を死角演算部３９に送信する。
【0069】
（iv）ステップ３０４
車載俯瞰画像補正部４６は、車載俯瞰画像作成部４５から作業機械１の車載俯瞰画像を、車体方位角度演算部４３から作業機械１の方位角度の情報を、車体位置検出部４４から作業機械１の位置の情報をそれぞれ取得する。そして、車載俯瞰画像補正部４６は、作業機械１の方位角度および位置の情報に基づいて、作業機械１の車載俯瞰画像を補正し、補正された車載俯瞰画像を俯瞰画像合成部２８に送信する。
車載俯瞰画像補正部４６は、車載俯瞰画像作成部４５から作業機械１の車載俯瞰画像を、車体方位角度演算部４３から作業機械１の方位角度の情報を、車体位置検出部４４から作業機械１の位置の情報をそれぞれ取得する。そして、車載俯瞰画像補正部４６は、作業機械１の方位角度および位置の情報に基づいて、作業機械１の車載俯瞰画像を補正し、補正された車載俯瞰画像を俯瞰画像合成部２８に送信する。
【0070】
（v）ステップ３０５
死角演算部３９は、死角４０の有無（図９Ａから図９Ｃを参照）、死角４０の面積（図９Ａから図９Ｃを参照）、および死角４０までの距離（距離：例えば、作業機械１Ａおよび１Ｂの可動範囲２４Ａあるいは可動範囲２４から死角４０までの最短距離）を演算する。そして、死角演算部３９は、俯瞰画像１とともに死角４０の情報（有無、面積、および距離）を俯瞰画像合成部２８に送信する。
死角演算部３９は、死角４０の有無（図９Ａから図９Ｃを参照）、死角４０の面積（図９Ａから図９Ｃを参照）、および死角４０までの距離（距離：例えば、作業機械１Ａおよび１Ｂの可動範囲２４Ａあるいは可動範囲２４から死角４０までの最短距離）を演算する。そして、死角演算部３９は、俯瞰画像１とともに死角４０の情報（有無、面積、および距離）を俯瞰画像合成部２８に送信する。
【0071】
（vi）ステップ３０６
俯瞰画像合成部２８は、元地形情報取得部２６から受信した俯瞰画像２と、死角演算部３９から受信した俯瞰画像１および死角４０の情報と、車載俯瞰画像補正部４６から受信した車載俯瞰画像（補正された車載俯瞰画像）４８とに基づいて（これらを合成して）、死角４０および車載俯瞰画像を反映した俯瞰画像５（図１４参照）を生成する。そして、俯瞰画像合成部２８は、俯瞰画像５を判定部３８に送信する。
俯瞰画像合成部２８は、元地形情報取得部２６から受信した俯瞰画像２と、死角演算部３９から受信した俯瞰画像１および死角４０の情報と、車載俯瞰画像補正部４６から受信した車載俯瞰画像（補正された車載俯瞰画像）４８とに基づいて（これらを合成して）、死角４０および車載俯瞰画像を反映した俯瞰画像５（図１４参照）を生成する。そして、俯瞰画像合成部２８は、俯瞰画像５を判定部３８に送信する。
【0072】
（vii）ステップ３０７
判定部３８は、俯瞰画像合成部２８から受信した情報に基づいて、必要な情報（作業機械１（車体）を安全に動作させるために必要な情報）が取得できているか否か判断する。例えば、作業機械１から死角４０までの距離（作業機械１Ａおよび１Ｂの可動範囲２４Ａあるいは可動範囲２４から死角４０までの最短距離）が所定の閾値（距離閾値）より大きい、かつ死角４０の面積が所定閾値以下である場合に、必要な情報が取得できていると判定される。必要な情報が取得できていると判定された場合（ステップ３０７でＹｅｓの場合）、処理はステップ３０８に移行する。必要な情報が取得できていないと判定された場合（ステップ３０７でＮｏの場合）、処理はステップ３０９に移行する。
判定部３８は、俯瞰画像合成部２８から受信した情報に基づいて、必要な情報（作業機械１（車体）を安全に動作させるために必要な情報）が取得できているか否か判断する。例えば、作業機械１から死角４０までの距離（作業機械１Ａおよび１Ｂの可動範囲２４Ａあるいは可動範囲２４から死角４０までの最短距離）が所定の閾値（距離閾値）より大きい、かつ死角４０の面積が所定閾値以下である場合に、必要な情報が取得できていると判定される。必要な情報が取得できていると判定された場合（ステップ３０７でＹｅｓの場合）、処理はステップ３０８に移行する。必要な情報が取得できていないと判定された場合（ステップ３０７でＮｏの場合）、処理はステップ３０９に移行する。
【0073】
（viii）ステップ３０８
表示部２９は、俯瞰画像５を表示画面上に表示する。これにより、施工管理者、油圧ショベル（作業機械）１のオペレータ、周囲作業員、および／または現場監督は、施工現場の状況を俯瞰的に把握することができ、施工現場３１において作業機械１を安全に操縦することが可能となる。
表示部２９は、俯瞰画像５を表示画面上に表示する。これにより、施工管理者、油圧ショベル（作業機械）１のオペレータ、周囲作業員、および／または現場監督は、施工現場の状況を俯瞰的に把握することができ、施工現場３１において作業機械１を安全に操縦することが可能となる。
【0074】
（ix）ステップ３０９
表示部２９は、俯瞰画像５に「警告」（警告という文字や危険を知らせるためのマークなど）を重畳して表示画面上に表示する。これにより、施工管理者、油圧ショベル（作業機械）１のオペレータ、周囲作業員、および／または現場監督などは、施工現場の状況を俯瞰的に把握することができ、施工現場３１における作業機械１の操縦の危険性を把握することが可能となる。
表示部２９は、俯瞰画像５に「警告」（警告という文字や危険を知らせるためのマークなど）を重畳して表示画面上に表示する。これにより、施工管理者、油圧ショベル（作業機械）１のオペレータ、周囲作業員、および／または現場監督などは、施工現場の状況を俯瞰的に把握することができ、施工現場３１における作業機械１の操縦の危険性を把握することが可能となる。
【0075】
以上のように、施工現場３１の死角４０の面積を演算し、必要な情報の不足をオペレータ、施工管理者、周囲作業員および／または現場監督などに警告することで、窓外物が固定障害物３０の死角４０から出てくる可能性を考慮した動作を実施することが可能となる。さらに、表示部２９において死角４０を表示することで、現況地形情報取得部２５の配置変更を促すことが可能となる。
【0076】
（４）まとめ
（i）第１の実施形態によれば、情報提示装置は、施工現場３１の現況地形を俯瞰的に表す第１俯瞰画像（俯瞰画像１）と、施工現場に設置された撮影装置３３による撮影以外の方法（例えば、ドローンや衛星による撮影）によって取得された施工現場の元々の地形を俯瞰的に表す第２俯瞰画像（俯瞰画像２）とを重ね合わせて第１合成俯瞰画像（俯瞰画像３）を生成し、出力（表示部２９の表示画面上に表示）する。このように、撮影装置で取得した現況画像に元々存在する俯瞰画像２を補完的に用いて現在の施工現場全体の俯瞰画像を生成するので、施工現場における撮影装置３３の設置台数が少なくても有益な施工現場の俯瞰画像を作業者に提供することができる。
（i）第１の実施形態によれば、情報提示装置は、施工現場３１の現況地形を俯瞰的に表す第１俯瞰画像（俯瞰画像１）と、施工現場に設置された撮影装置３３による撮影以外の方法（例えば、ドローンや衛星による撮影）によって取得された施工現場の元々の地形を俯瞰的に表す第２俯瞰画像（俯瞰画像２）とを重ね合わせて第１合成俯瞰画像（俯瞰画像３）を生成し、出力（表示部２９の表示画面上に表示）する。このように、撮影装置で取得した現況画像に元々存在する俯瞰画像２を補完的に用いて現在の施工現場全体の俯瞰画像を生成するので、施工現場における撮影装置３３の設置台数が少なくても有益な施工現場の俯瞰画像を作業者に提供することができる。
【0077】
（ii）第２の実施形態によれば、情報提示装置は、撮影装置３３で取得した第１俯瞰画像（俯瞰画像１）を用いて、施工現場における死角４０を特定し、この死角４０の画像を第１合成俯瞰画像（俯瞰画像３）に反映して第２合成俯瞰画像（俯瞰画像４）を生成し、出力する。これにより、死角４０から別の作業機械などが出てくる可能性を俯瞰的に把握することができるので、安全に作業機械を動作させることが可能となる。
【0078】
（iii）第３の実施形態によれば、情報提示装置は、作業機械１に設置された車載撮影装置によって撮影された画像を基に生成した車載俯瞰画像を第２合成俯瞰画像（俯瞰画像４）に反映して第３合成俯瞰画像（俯瞰画像５）を生成し、出力する。これにより、死角４０の面積を低減することができ、より安全に作業機械を操縦することが可能となる。
【0079】
（iv）本開示の実施形態の機能は、ソフトウェアのプログラムコードによっても実現できる。この場合、プログラムコードを記録した記憶媒体をシステム或は装置に提供し、そのシステム或は装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出す。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコード自体、及びそれを記憶した記憶媒体は本開示を構成することになる。このようなプログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、ハードディスク、光ディスク、光磁気ディスク、ＣＤ－Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどが用いられる。
【0080】
また、プログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部又は全部を行い、その処理によって前述した実施の形態の機能が実現されるようにしてもよい。さらに、記憶媒体から読み出されたプログラムコードが、コンピュータ上のメモリに書きこまれた後、そのプログラムコードの指示に基づき、コンピュータのＣＰＵなどが実際の処理の一部又は全部を行い、その処理によって前述した実施の形態の機能が実現されるようにしてもよい。
【0081】
さらに、実施の形態の機能を実現するソフトウェアのプログラムコードを、ネットワークを介して配信することにより、それをシステム又は装置のハードディスクやメモリ等の記憶手段又はＣＤ－ＲＷ、ＣＤ－Ｒ等の記憶媒体に格納し、使用時にそのシステム又は装置のコンピュータ（又はＣＰＵやＭＰＵ）が当該記憶手段や当該記憶媒体に格納されたプログラムコードを読み出して実行するようにしても良い。
【0082】
最後に、ここで述べたプロセス及び技術は本質的に如何なる特定の装置に関連することはなく、コンポーネントの如何なる相応しい組み合わせによってでも実装できることを理解する必要がある。更に、汎用目的の多様なタイプのデバイスがここで記述した教授に従って使用可能である。ここで述べた方法のステップを実行するのに、専用の装置を構築するのも有益である。
【0083】
本開示は、具体例に関連して記述したが、これらは、すべての観点において限定のためではなく説明のためである。本分野にスキルのある者には、本開示の技術を実施するのに相応しいハードウェア、ソフトウェア、及びファームウエアの多数の組み合わせがあることが解るであろう。例えば、記述したソフトウェアは、アセンブラ、Ｃ／Ｃ＋＋、ｐｅｒｌ、Ｓｈｅｌｌ、ＰＨＰ、Ｊａｖａ（登録商標）等の広範囲のプログラム又はスクリプト言語で実装できる。
【0084】
さらに、上述の実施形態において、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。全ての構成が相互に接続されていても良い。
【0085】
以上、本開示における各実施形態について詳述したが、本開示の要旨は、各実施形態の内容に限定されるものではなく、請求の範囲に記載された趣旨を逸脱しない範囲で、種々の設計変更を行うことができるものである。例えば、上述した実施形態は本開示の技術を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。さらに、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
【符号の説明】
【0086】
１ 作業機械
２５ 現況地形情報取得部
２６ 元地形情報取得部
２７ 俯瞰画像処理部
２８ 俯瞰画像合成部
２９ 表示部（表示装置）
３０ 固定障害物
３１ 施工現場
３２ 施工現場外
３３ 撮影装置
３８ 判定部
３９ 死角演算部
４３ 車体方位角度演算部
４４ 車体位置検出部
４５ 車載俯瞰画像作成部
４６ 車載俯瞰画像補正部
４７ 表示切換え部
４９ 通信部（通信装置）
２５ 現況地形情報取得部
２６ 元地形情報取得部
２７ 俯瞰画像処理部
２８ 俯瞰画像合成部
２９ 表示部（表示装置）
３０ 固定障害物
３１ 施工現場
３２ 施工現場外
３３ 撮影装置
３８ 判定部
３９ 死角演算部
４３ 車体方位角度演算部
４４ 車体位置検出部
４５ 車載俯瞰画像作成部
４６ 車載俯瞰画像補正部
４７ 表示切換え部
４９ 通信部（通信装置）
【図1】
【図2A】
【図2B】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9A】
【図9B】
【図9C】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】