特許 7483935 作業機械の情報表示システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-05-07

(45)【発行日】2024-05-15

(54)【発明の名称】作業機械の情報表示システム

(51)【国際特許分類】

   G08G 1/00 20060101AFI20240508BHJP

   E02F 9/26 20060101ALI20240508BHJP

   G06Q 50/08 20120101ALI20240508BHJP

【ＦＩ】

G08G1/00 D

E02F9/26 B

G06Q50/08

【請求項の数】 4

(21)【出願番号】P 2022565374

(86)(22)【出願日】2021-11-24

(86)【国際出願番号】 JP2021042999

(87)【国際公開番号】W WO2022114005

(87)【国際公開日】2022-06-02

【審査請求日】2023-02-03

(31)【優先権主張番号】P 2020197502

(32)【優先日】2020-11-27

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000005522

【氏名又は名称】日立建機株式会社

(74)【代理人】

【識別番号】110002572

【氏名又は名称】弁理士法人平木国際特許事務所

(72)【発明者】

【氏名】関根 和也

(72)【発明者】

【氏名】日暮 昌輝

(72)【発明者】

【氏名】堤 芳明

(72)【発明者】

【氏名】井村 進也

(72)【発明者】

【氏名】荒井 雅嗣

(72)【発明者】

【氏名】花川 和吉

【審査官】田中 将一

(56)【参考文献】

【文献】特開２００１－２０２５８９（ＪＰ，Ａ）

【文献】特開２０１７－２１２９４１（ＪＰ，Ａ）

【文献】特開２０１０－２０４８２１（ＪＰ，Ａ）

【文献】国際公開第２０１５／０８７４３０（ＷＯ，Ａ１）

【文献】特開２０１４－０７４３１９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０８Ｇ １／００ － ９９／００

Ｅ０２Ｆ ９／００ － ９／１８

Ｅ０２Ｆ ９／２４ － ９／２８

Ｇ０６Ｑ ５０／００ － ５０／２０

Ｇ０６Ｑ ５０／２６ － ９９／００

Ｇ１６Ｚ ９９／００

(57)【特許請求の範囲】

【請求項1】

作業機械の車載器から送信される情報に基づいて、過去の所定事象発生時の前記作業機械の状況を示す報告書を作成するサーバ装置と、前記サーバ装置により作成された前記報告書を表示する端末装置と、を備える情報表示システムであって、
前記サーバ装置は、
前記車載器から送信された前記作業機械の種類を特定するための情報と前記所定事象発生時の前記作業機械の動作を計測して得られた動作計測値とに基づいて、当該情報により特定された前記作業機械の種類に応じた前記作業機械の動作内容の種類と、前記作業機械の動作内容の種類に応じた前記作業機械の動作速度を示す形状と、前記作業機械の動作内容の種類に応じた前記作業機械の動作方向を示す方向と、を特定し、特定された前記動作内容の種類、前記動作速度を示す形状、及び、前記動作方向を示す方向に基づいて、前記所定事象発生時の前記作業機械の動作内容を示す動作アイコンを特定する動作アイコン特定部と、
前記所定事象発生時の前記作業機械の周囲に存在する物体を検知する物体検知装置の検知結果に基づいて、前記所定事象発生時の前記作業機械に対する前記物体の相対位置を示す物体アイコンを特定する物体アイコン特定部と、
前記車載器から送信された前記作業機械の種類を特定するための前記情報により特定された前記作業機械の種類を示す図形又は記号からなる作業機械アイコンと、前記動作アイコン特定部により特定された前記動作アイコンと、前記物体アイコン特定部により特定された前記物体アイコンと、が同時に描かれた、前記所定事象発生時の前記作業機械の動作状況を示す動作状況図を作成する動作状況図作成部と、
前記動作状況図を含む前記報告書を作成する報告書作成部と、を備える
ことを特徴とする作業機械の情報表示システム。

【請求項2】

前記サーバ装置は、前記動作アイコンを特定する基となった前記動作計測値の推移を示す動作推移図を作成する動作推移図作成部を更に備え、
前記報告書作成部は、前記動作状況図と前記動作推移図とを含む前記報告書を作成する
ことを特徴とする請求項１に記載の作業機械の情報表示システム。

【請求項3】

前記サーバ装置は、前記所定事象発生時の前記作業機械の作業場所を示す作業場所図を作成する作業場所図作成部を更に備え、
前記報告書作成部は、前記動作状況図と前記動作推移図と前記作業場所図とを含む前記報告書を作成する
ことを特徴とする請求項２に記載の作業機械の情報表示システム。

【請求項4】

前記車載器から前記サーバ装置には、前記所定事象発生時の前記作業機械の周囲の映像が更に送信され、
前記報告書作成部は、前記動作状況図と前記動作推移図と前記作業場所図と前記映像とを含む前記報告書を作成する
ことを特徴とする請求項３に記載の作業機械の情報表示システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、所定事象発生時の作業機械の状況を示す情報を表示する情報表示システムに関する。

【背景技術】

【0002】

事故やヒヤリハット等の所定事象が発生した時の車両の状況を示す情報をドライブレコーダに記録し、記録された情報をサーバ装置等に集約して、事故の再現や安全運転の指導に役立てるシステムが知られている（例えば、特許文献１）。多様な属性を有する現場作業者が混在する作業現場においても、このようなシステムを適用して、作業機械の安全運転の指導に役立て、現場作業者の安全意識を向上させることが望まれている。

【0003】

特許文献１には、車載器である事象情報収集装置にて収集された各種情報を、サーバ装置である事象情報集約装置によって集約し、所定事象発生時の映像と、発生場所を含む地図情報とを１つの画面に表示し、第三者に公開するシステムが記載されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特許第４６７４１８７号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献１に記載のシステムは、所定事象発生時の車両の動作状況を、単に文字形式として表示するか、動作計測値のグラフとして表示するかに過ぎない。加えて、特許文献１に記載のシステムでは、所定事象発生時の車両の動作状況を、車両の周囲に存在する物体との関連性も不明なまま表示する。よって、特許文献１に記載のシステムは、作業現場に適用されても、多様な属性を有する現場作業者の間において所定事象発生時の作業機械の動作状況を共有させることが難しく、現場作業者の安全意識を向上させることが難しい。

【0006】

上記事情に鑑みて、本発明は、現場作業者の安全意識を向上させることが可能な作業機械の情報表示システムを提供することを目的とする。

【課題を解決するための手段】

【0007】

上記課題を解決するために、本発明の作業機械の情報表示システムは、作業機械の車載器からの情報が入力されるサーバ装置と前記サーバ装置により作成された情報を表示する端末装置とを備え、所定事象発生時の作業機械の状況を示す情報を表示する作業機械の情報表示システムであって、前記サーバ装置は、前記所定事象発生時の前記作業機械の動作を計測して得られた動作計測値に基づいて、前記作業機械の動作内容を示す動作アイコンを特定する動作アイコン特定部と、前記所定事象発生時の前記作業機械の周囲に存在する物体を検知する物体検知装置の検知結果に基づいて、前記作業機械に対する前記物体の相対位置を示す物体アイコンを特定する物体アイコン特定部と、前記動作アイコンと前記物体アイコンとを用いて、前記所定事象発生時の前記作業機械の動作状況を示す動作状況図を作成する動作状況図作成部と、を備え、前記端末装置は、前記動作状況図を表示することを特徴とする。

【発明の効果】

【0008】

本発明によれば、現場作業者の安全意識を向上させることが可能な作業機械の情報表示システムを提供することができる。

【図面の簡単な説明】

【0009】

【図1】本実施形態の情報表示システムの構成を示す図。

【図2】図１に示す車載器及びその周辺装置の構成を示す図。

【図3】図２に示す制御部の処理内容を説明する図。

【図4】図１に示すサーバ装置のハードウェア構成及び端末装置の構成を示す図。

【図5】図４に示す制御ユニットの機能的構成を示す図。

【図6】作業機械アイコンを説明する図。

【図7】動作アイコンの種類を説明する図。

【図8】動作アイコンの形状を説明する図。

【図9】図９（ａ）は、作業機械の動作方向が前後方向に関する場合の動作アイコンの方向を説明する図であり、図９（ｂ）は、作業機械の動作方向が左右方向に関する場合の動作アイコンの方向を説明する図。

【図10】物体アイコンを説明する図。

【図11】報告書を説明する図。

【発明を実施するための形態】

【0010】

以下、本発明の実施形態について図面を用いて説明する。各実施形態において同一の符号を付された構成は、特に言及しない限り、各実施形態において同様の機能を有するので、その説明を省略する。

【0011】

図１は、本実施形態の情報表示システム１の構成を示す図である。

【0012】

情報表示システム１は、事故やヒヤリハット等の所定事象が発生した時の作業機械２の状況を示す情報を表示するシステムである。作業機械２の状況とは、作業機械２の動作状況、作業機械２の作業場所の状況、作業機械２の周囲の状況等である。情報表示システム１は、作業機械２の管理者や現場作業者が把握し易いよう、作業機械２の状況を可視化し、報告書として表示する。作業機械２は、例えば、作業現場において稼働する油圧ショベル、ホイールローダ又はダンプトラック等である。作業機械２の台数及び種類は特に限定されない。

【0013】

情報表示システム１は、作業機械２の車載器３からの情報が入力されるサーバ装置４と、サーバ装置４により作成された情報を表示する端末装置７とを備え、所定事象発生時の作業機械２の状況を示す情報を表示するシステムである。具体的には、情報表示システム１は、作業機械２に搭載され各種情報を記録する車載器３と、車載器３により記録された各種情報を収集して処理するサーバ装置４と、サーバ装置４により処理された情報を管理者等に表示する端末装置７とを備える。

【0014】

情報表示システム１では、車載器３とサーバ装置４と端末装置７とが通信ネットワークＮを介して有線又は無線接続されている。通信ネットワークＮは、インターネット等のＷＡＮ（Wide Area Network）であってもよいし、専用のＬＡＮ（Local Area Network）であってもよい。

【0015】

図２は、図１に示す車載器３及びその周辺装置の構成を示す図である。

【0016】

作業機械２に搭載され車載器３の入力側に設けられた周辺装置は、カメラ２０と、ＧＮＳＳ（Global Navigation Satellite System）受信機２１と、ＩＭＵ（Inertial Measurement Unit）２２と、車速センサ２３とを含む。更に、当該周辺装置は、物体検知装置２４と、操舵角センサ２５と、操作圧センサ２６と、機体情報送信部２７と、記録指令信号送信部２８とを含む。

【0017】

カメラ２０は、作業機械２の周囲を撮影し、作業機械２の周囲に存在する障害物や現場作業者等の物体の映像を取得する。カメラ２０は、少なくとも１台以上の撮像装置によって構成される。ＧＮＳＳ受信機２１は、作業機械２が位置する緯度及び経度等の位置情報、並びに、時刻情報を取得する。ＧＮＳＳ受信機２１は、ＧＰＳ（Global Positioning System）やＧＬＯＮＡＳＳ（英語表記でGlobal Navigation Satellite System）等の受信機によって構成される。ＩＭＵ２２は、作業機械２の前後方向、左右方向及び上下方向における３次元的な角速度及び加速度を計測する。ＩＭＵ２２の計測値は、例えば、作業機械２の動作方向を示す情報として用いられる。車速センサ２３は、作業機械２の走行速度を計測する。

【0018】

物体検知装置２４は、作業機械２の周囲に存在する物体を検知し、検知された物体の作業機械２からの距離を計測する装置である。物体検知装置２４は、例えば、単眼カメラ、ステレオカメラ、ミリ波レーダ、ＬｉＤＡＲ（Light Detection and Ranging）、超音波ソナー、ＲＦＩＤ（Radio Frequency Identifier）等によって構成される。物体検知装置２４は、これらの装置を１又は複数台用いて構成されてもよいし、これらの装置のうちで異なる検知形式の装置を組み合わせて構成されてもよい。物体検知装置２４の検知結果は、作業機械２の周囲に存在する物体の有無と、作業機械２に対する物体の相対位置とを含む。物体検知装置２４の検知結果は、更に、検知された物体の認識結果を含んでもよい。

【0019】

操舵角センサ２５は、例えば、作業機械２がホイールローダ等のアーティキュレート式の作業機械である場合、車両前部と車両後部との屈曲角を計測する。操舵角センサ２５は、例えば、作業機械２が油圧ショベル等の旋回動作を行う作業機械である場合、下部走行体に対する上部旋回体の旋回量を示す旋回角を計測する。操作圧センサ２６は、操作レバーの操作量に応じて変化する操作圧を計測する。例えば、操作圧センサ２６は、作業機械２が旋回動作を行う時の操作圧である旋回操作圧を計測する。

【0020】

機体情報送信部２７は、作業機械２の機体情報を送信する機能である。機体情報は、機体番号や属性情報等の作業機械２の種類を特定する情報である。機体情報送信部２７は、作業機械２の各構成要素を統括的に制御するメインコントローラの一部によって構成される。機体情報送信部２７は、ＣＡＮ（Controller Area Network）等の通信プロトコルに準拠したバスを介して、機体情報を車載器３へ送信する。記録指令信号送信部２８は、記録指令信号を送信する機能である。記録指令信号は、所定事象発生時における映像及び車体情報を抽出して記録するよう車載器３に指令する信号である。記録指令信号送信部２８は、機体情報送信部２７と同様に、作業機械２のメインコントローラの一部によって構成される。記録指令信号送信部２８は、ＣＡＮ等の通信プロトコルに準拠したバスを介して、記録指令信号を車載器３へ送信する。

【0021】

車載器３は、常時映像記録部３１と、常時車体情報記録部３２と、制御部３３と、抽出映像記録部３４と、抽出車体情報記録部３５と、通信部３６とを備える。

【0022】

常時映像記録部３１は、カメラ２０により撮影された映像を常時記録する記録装置である。常時車体情報記録部３２は、作業機械２の車体情報を常時記録する記録装置である。作業機械２の車体情報は、ＧＮＳＳ受信機２１により取得された作業機械２の位置情報と、機体情報送信部２７により送信された作業機械２の機体情報と、物体検知装置２４の検知結果と、作業機械２の動作を計測して得られた動作計測値とを含む。動作計測値は、ＩＭＵ２２により計測された角速度及び加速度と、車速センサ２３により計測された走行速度と、操舵角センサ２５により計測された屈曲角や旋回角と、操作圧センサ２６により計測された操作圧とを含む。常時映像記録部３１及び常時車体情報記録部３２のそれぞれは、記録方式が循環方式であり、記録領域の容量の空きが無くなると、古い映像又は古い車体情報から順に削除する。

【0023】

制御部３３は、常時映像記録部３１及び常時車体情報記録部３２に記憶された映像及び車体情報から、所定事象発生時の映像及び車体情報を抽出し、抽出映像記録部３４及び抽出車体情報記録部３５に記録させる。抽出映像記録部３４及び抽出車体情報記録部３５のそれぞれは、記録方式が循環方式であり、記録領域の容量の空きが無くなると、古い映像又は古い車体情報から順に削除する。通信部３６は、抽出映像記録部３４及び抽出車体情報記録部３５に記録された映像及び車体情報を、通信ネットワークＮを介して、サーバ装置４へ送信する通信モジュールである。通信部３６は、車載器３とは別個に設けられていてもよい。なお、抽出映像記録部３４は、本発明の映像記録部の一例に該当する。

【0024】

図３は、図２に示す制御部３３の処理内容を説明する図である。

【0025】

制御部３３は、常時映像記録部３１及び常時車体情報記録部３２に記録された映像及び車体情報から、記録指令信号を受信した時点前後の所定時間分の映像及び車体情報を抽出する。制御部３３は、抽出された映像及び車体情報を、抽出映像記録部３４及び抽出車体情報記録部３５に記録させる。映像及び車体情報が抽出される所定時間が短過ぎると作業機械２の状況を把握するのに十分な時間が確保できず、長過ぎると作業機械２の状況を把握するのに不要な情報が含まれてしまう。映像及び車体情報が抽出される所定時間は、所定事象が発生した時点の直前における作業機械２の状況と、所定事象が発生した時点の直後における作業機械２の状況とを把握するために必要十分な時間である。本実施形態では、所定事象発生時とは、所定事象が発生した時点だけでなく、所定事象が発生した時点前後の所定時間を含むものとする。制御部３３は、映像及び車体情報が抽出される所定時間は、任意に変更することが可能である。

【0026】

なお、映像及び車体情報が抽出される契機となる記録指令信号は、物体検知装置２４により検知された物体と作業機械２との距離が予め危険と判断された閾値以下であり、且つ、作業機械２の操作レバーが操作された場合に、記録指令信号送信部２８から送信される。或いは、記録指令信号は、物体検知装置２４により検知された物体と作業機械２との距離が予め危険と判断された閾値以下であり、且つ、作業機械２のゲートロックレバー等が解除されて作業機械２が動作可能な状態にある場合に、記録指令信号送信部２８から送信される。

【0027】

図４は、図１に示すサーバ装置４のハードウェア構成及び端末装置７の構成を示す図である。

【0028】

サーバ装置４は、通信ユニット４１と、制御ユニット４２と、記憶ユニット４３とを備える。通信ユニット４１は、通信ネットワークＮを介して、車載器３及び端末装置７のそれぞれとの通信を制御する装置である。通信ユニット４１は、車載器３から送信された映像及び車体情報を受信し、制御ユニット４２へ送信する。通信ユニット４１は、記憶ユニット４３に記憶された報告書を端末装置７へ送信する。制御ユニット４２は、ＣＰＵ（central processing unit）等のプロセッサ及びメモリを含んで構成される。制御ユニット４２は、車載器３から通信ユニット４１を介して送信された映像及び車体情報に基づいて、所定事象発生時の作業機械２の状況を可視化した報告書を作成し、記憶ユニット４３に記憶する。

【0029】

端末装置７は、通信機能を備えたパーソナルコンピュータ、又は、通信機能を備えたタブレットやスマートフォン等の携帯端末等によって構成される。端末装置７は、サーバ装置４の通信ユニット４１から送信された報告書を受信し、表示部７１によって表示する。端末装置７の表示部７１は、ディスプレイによって構成される。

【0030】

図５は、図４に示す制御ユニット４２の機能的構成を示す図である。図６は、作業機械アイコンを説明する図である。図７は、動作アイコンの種類を説明する図である。図８は、動作アイコンの形状を説明する図である。図９は、動作アイコンの方向を説明する図である。図９（ａ）は、作業機械２の動作方向が前後方向に関する場合の動作アイコンの方向を説明する図である。図９（ｂ）は、作業機械２の動作方向が左右方向に関する場合の動作アイコンの方向を説明する図である。図１０は、物体アイコンを説明する図である。図１１は、報告書を説明する図である。

【0031】

制御ユニット４２は、作業機械アイコン特定部５１と、作業機械アイコンデータベース５２と、動作アイコン種類特定部５３と、動作アイコン種類データベース５４とを備える。更に、制御ユニット４２は、動作アイコン形状特定部５５と、動作アイコン方向特定部５６と、動作アイコン特定部５７と、物体位置特定部５８と、物体アイコン特定部５９とを備える。更に、制御ユニット４２は、動作状況図作成部６０と、動作推移図作成部６１と、作業場所図作成部６２と、地図情報データベース６３と、報告書作成部６４とを備える。

【0032】

作業機械アイコン特定部５１は、情報表示システム１の表示対象となる後述の動作状況図の作成に用いられる作業機械アイコンを特定する。作業機械アイコンは、作業機械２の種類を示す図形又は記号である。図６には、油圧ショベル、ホイールローダ又はダンプトラックを示す作業機械アイコンの例が示されている。作業機械アイコン特定部５１は、車載器３から送信された車体情報に含まれる機体情報に基づいて、作業機械アイコンデータベース５２に予め記憶された複数の作業機械アイコンのうちから、動作状況図の作成に用いられる作業機械アイコンを特定する。

【0033】

動作アイコン種類特定部５３は、動作状況図の作成に用いられる動作アイコンの種類を特定する。動作アイコンは、所定事象発生時における作業機械２の動作内容を示す図形又は記号である。動作アイコンの種類は、所定事象発生時における作業機械２の動作内容の種類を示す。作業機械２の動作内容の種類としては、例えば、走行動作や旋回動作が挙げられる。図７には、動作内容の種類が走行動作であれば動作アイコンを直線状の矢印とし、動作内容の種類が旋回動作であれば動作アイコンを円弧状の矢印とする例が示されている。本実施形態では、走行動作を示す動作アイコンを「走行動作アイコン」とも称し、旋回動作を示す動作アイコンを「旋回動作アイコン」とも称する。

【0034】

作業機械２の動作内容の種類は、作業機械２の種類に応じて異なる。例えば、油圧ショベルは、下部走行体によって走行する走行動作の他に、上部旋回体が下部走行体の旋回サークルの中心を旋回中心として旋回する旋回動作を行う。例えば、ホイールローダは、車両前部と車両後部との屈曲角に応じた回転半径にて回転する。この回転動作は、回転中心が車両外部に存在することから、旋回動作とは異なる動作であり、走行動作の範疇である。すなわち、作業機械２の種類が油圧ショベルであれば、動作内容の種類は走行動作及び旋回動作を含む。作業機械２の種類がホイールローダ又はダンプトラックであれば、動作内容の種類は走行動作を含むが、旋回動作を含まない。

【0035】

動作アイコン種類特定部５３は、車載器３から送信された車体情報に含まれる機体情報と動作計測値とに基づいて、動作アイコン種類データベース５４に予め記憶された複数の動作アイコンのうちから、動作状況図の作成に用いられる動作アイコンの種類を特定する。

【0036】

動作アイコン形状特定部５５は、動作状況図の作成に用いられる動作アイコンの形状を特定する。動作アイコンの形状は、所定事象発生時における作業機械２の動作速度を示す。作業機械２の動作速度としては、例えば、走行速度や旋回角速度が挙げられる。図８には、動作速度が低速であれば短い形状の矢印とし、動作速度が高速であれば長い形状の矢印とする例が示されている。作業機械２の動作が停止していれば、動作アイコンは表示されない。

【0037】

動作アイコン形状特定部５５は、車載器３から送信された車体情報に含まれる動作計測値に基づいて、動作状況図の作成に用いられる動作アイコンの形状を特定する。動作アイコンの形状を特定する基になる動作計測値は、動作内容の種類に応じて異なる。例えば、動作アイコン形状特定部５５は、動作計測値の１つである車速センサ２３により計測された走行速度に基づいて、走行速度を示す走行動作アイコンの形状を特定する。例えば、動作アイコン形状特定部５５は、動作計測値の１つであるＩＭＵ２２により計測された旋回角速度に基づいて、旋回角速度を示す旋回動作アイコンの形状を特定する。

【0038】

なお、動作アイコンの形状は、図８のように、停止、低速、高速の３段階に変化するのではなく、動作速度に応じて無段階に変化するように予め定められていてもよい。動作アイコンの形状は、所定事象発生時における作業機械２の動作速度に限定されず、作業機械２の動作加速度や操作圧等の他の動作計測値を示すように予め定められていてもよい。

【0039】

動作アイコン方向特定部５６は、動作状況図の作成に用いられる動作アイコンの方向を特定する。動作アイコンの方向は、所定事象発生時における作業機械２の動作方向を示す。作業機械２の動作方向としては、例えば、前後方向、左右方向又は上下方向が挙げられる。図９（ａ）には、走行動作の動作方向が前進方向であれば紙面において上向きの矢印とし、走行動作の動作方向が後進方向であれば紙面において下向きの矢印とする例が示されている。図９（ｂ）には、油圧ショベルにおいて、旋回動作の動作方向が右旋回方向であれば紙面において時計回りの矢印とし、旋回動作の動作方向が左旋回方向であれば紙面において反時計回りの矢印とする例が示されている。図９（ｂ）には、ホイールローダやダンプトラックにおいて、走行動作の動作方向が右操舵方向であれば紙面において右傾斜の矢印とし、走行動作の動作方向が左操舵方向であれば紙面において左傾斜の矢印とする例が示されている。

【0040】

動作アイコン方向特定部５６は、車載器３から送信された車体情報に含まれる動作計測値に基づいて、動作状況図の作成に用いられる動作アイコンの方向を特定する。動作アイコンの方向を特定する基になる動作計測値は、動作内容の種類に応じて異なる。例えば、動作アイコン方向特定部５６は、動作計測値の１つであるＩＭＵ２２により計測された前後方向の加速度に基づいて、走行方向を示す走行動作アイコンの方向を特定する。例えば、動作アイコン方向特定部５６は、作業機械２の種類が油圧ショベルであれば、動作計測値の１つであるＩＭＵ２２により計測された旋回角速度の向きに基づいて、旋回方向を示す旋回動作アイコンの方向を特定する。例えば、動作アイコン方向特定部５６は、作業機械２の種類がホイールローダ又はダンプトラックであれば、動作計測値の１つである操舵角センサ２５により計測された操舵角の正負に基づいて、操舵方向を示す走行動作アイコンの方向を特定する。この際、動作アイコン方向特定部５６は、操舵角センサ２５に計測された操舵角の大きさに基づいて、走行動作アイコンの傾斜度合を変化させる。

【0041】

動作アイコン特定部５７は、動作アイコン種類特定部５３、動作アイコン形状特定部５５、及び、動作アイコン方向特定部５６により特定された動作アイコンの種類、形状及び方向に基づいて、動作状況図の作成に用いられる動作アイコンを特定する。動作アイコン種類特定部５３、動作アイコン形状特定部５５、及び、動作アイコン方向特定部５６は、何れも、車載器３により送信された動作計測値に基づいて動作アイコンの種類、形状及び方向を特定する。動作アイコンの種類、形状及び方向は、動作アイコンの形態の１つである。すなわち、動作アイコン特定部５７は、動作計測値に基づいた形態を有する動作アイコンを特定する。

【0042】

物体位置特定部５８は、車載器３から送信された車体情報に含まれる物体検知装置２４の検知結果に基づいて、物体検知装置２４により検知された物体の作業機械２に対する相対位置を特定する。物体位置特定部５８は、作業機械２に対する物体の相対位置として、作業機械２から物体までの距離と、作業機械２から物体へ向かう方向とを特定してもよい。

【0043】

物体アイコン特定部５９は、動作状況図の作成に用いられる物体アイコンを特定する。物体アイコンは、所定事象発生時における作業機械２に対する物体の相対位置を示す図形又は記号である。物体アイコン特定部５９は、物体検知装置２４の検知結果に基づいて、動作状況図の作成に用いられる物体アイコンを特定する。具体的には、物体アイコン特定部５９は、物体位置特定部５８により特定された作業機械２から物体までの距離と、作業機械２から物体へ向かう方向とに応じて、物体アイコンを特定する。

【0044】

図１０の黒丸は、検知された物体を示す。図１０には、作業機械２から物体までの距離が短ければ作業機械２に近い位置に物体アイコンを配置し、作業機械２から物体までの距離が長ければ作業機械２から遠い位置に物体アイコンを配置した例が示されている。図１０には、作業機械２から物体へ向かう方向が前方向であれば作業機械アイコンより上の位置、作業機械２から物体へ向かう方向が後方向であれば作業機械アイコンより下の位置に物体アイコンを配置した例が示されている。図１０には、作業機械２から物体へ向かう方向が右方向であれば作業機械アイコンより右の位置、作業機械２から物体へ向かう方向が左方向であれば作業機械アイコンより左の位置に物体アイコンを配置した例が示されている。

【0045】

動作状況図作成部６０は、情報表示システム１の表示対象となる動作状況図を作成する。動作状況図は、所定事象発生時の作業機械２の動作状況を示す図である。動作状況図作成部６０は、作業機械アイコン特定部５１により特定された作業機械アイコンと、動作アイコン特定部５７により特定された動作アイコンと、物体アイコン特定部５９により特定された物体アイコンとを用いて、動作状況図を作成する。具体的には、動作状況図作成部６０は、作業機械アイコンと、動作アイコンと、物体アイコンとを同時に描いた図を、動作状況図として作成する。

【0046】

図１１には、動作状況図が符号１１１として示されている。図１１に示す動作状況図１１１は、作業機械アイコン１１１ａと、動作アイコン１１１ｂと、物体アイコン１１１ｃとが同時に描かれている。図１１に示す動作状況図１１１は、物体が油圧ショベルの左側方の近傍に接近していた時、油圧ショベルが高速域の旋回角速度によって右旋回方向に旋回動作を行っていた、という動作状況を示している。

【0047】

動作推移図作成部６１は、情報表示システム１の表示対象となる動作推移図を作成する。動作推移図は、所定事象発生時の作業機械２の動作を計測して得られた動作計測値の推移を示す図である。すなわち、動作推移図は、動作計測値の時系列データを示す図である。動作推移図作成部６１は、動作状況図作成部６０により作成された動作状況図に用いられた動作アイコンを特定する基になった動作計測値の推移を示す動作推移図を作成する。更に、動作推移図作成部６１は、この動作計測値に関連する動作計測値の推移を示す動作推移図を作成してもよい。

【0048】

図１１には、動作推移図が符号１１２として示されている。図１１に示す動作推移図１１２は、動作状況図１１１に用いられた動作アイコン１１１ｂを特定する基になった動作計測値である旋回角速度の推移を示す動作推移図１１２ａと、この旋回角速度に関連する動作計測値である旋回操作圧の推移を示す動作推移図１１２ｂとを含んでいる。図１１に示す動作推移図１１２は、旋回操作に基づいて旋回角速度が増加した作業機械２の動作状況を示している。すなわち、動作推移図１１２は、現場作業者の操作状況と作業機械２の動作状況との関連性を示している。また、図１１に示す動作推移図１１２は、作業機械２が動作状況図１１１に描かれた動作状況を示した時点（すなわち所定事象発生時）を、マーカ１１２ｃとして示している。

【0049】

作業場所図作成部６２は、情報表示システム１の表示対象となる作業場所図を作成する。作業場所図は、所定事象発生時の作業機械２の作業場所を示す図である。作業場所図作成部６２は、車載器３から送信された車体情報に含まれるＧＮＳＳ受信機２１により取得された位置情報と、地図情報データベース６３に予め記憶された地図情報とに基づいて、作業場所図を作成する。なお、地図情報データベース６３は、通信ネットワークＮに接続されたサーバ装置４の外部に設けられていてもよいし、ＳＤカード等の外部記憶媒体に設けられていてもよい。

【0050】

図１１には、作業場所図が符号１１３として示されている。図１１に示す作業場所図１１３は、ＧＮＳＳ受信機２１により取得された作業機械２の位置情報が示す地点を、マーカ１１３ａとして示している。

【0051】

報告書作成部６４は、所定事象発生時の作業機械２の状況を可視化した報告書を作成する。報告書作成部６４は、動作状況図作成部６０により作成された動作状況図を含む報告書を作成する。好適には、報告書作成部６４は、動作状況図作成部６０により作成された動作状況図と、動作推移図作成部６１により作成された動作推移図と併せて記載した報告書を作成する。更に好適には、報告書作成部６４は、動作状況図作成部６０により作成された動作状況図と、動作推移図作成部６１により作成された動作推移図と、作業場所図作成部６２により作成された作業場所図とを併せて記載した報告書を作成する。更に好適には、報告書作成部６４は、動作状況図作成部６０により作成された動作状況図と、動作推移図作成部６１により作成された動作推移図と、作業場所図作成部６２により作成された作業場所図と、車載器３から送信された映像とを併せて記載した報告書を作成する。

【0052】

車載器３から送信された映像は、所定事象発生時の作業機械２の周囲の映像である。報告書に記載される映像は、表示部７１がディスプレイである場合には、当該映像そのもの（動画像）であってもよいし、当該映像を構成するフレーム（静止画像）であってもよい。

【0053】

図１１には、所定事象発生時の作業機械２の周囲の映像が符号１１４として示され、報告書作成部６４により作成された報告書が符号１１０として示されている。図１１に示す報告書１１０は、所定領域内に収まるよう、動作状況図１１１と動作推移図１１２と作業場所図１１３と映像１１４とを併せて記載している。この所定領域の大きさは、ディスプレイや印刷用紙として普及している定形の大きさであってもよい。また、報告書１１０は、所定事象が発生した時点の日時１１５や、報告書１１０の内容を説明するテキスト１１６を、動作状況図１１１、動作推移図１１２、作業場所図１１３及び映像１１４と併せて所定領域内に記載してもよい。

【0054】

報告書作成部６４は、作成された報告書を記憶ユニット４３に記憶させる。通信ユニット４１は、記憶ユニット４３に記憶された報告書を端末装置７へ送信する。端末装置７は、サーバ装置４の通信ユニット４１から送信された報告書を受信し、表示部７１によって表示する。表示部７１は、動作状況図を表示する。好適には、表示部７１は、動作状況図と動作推移図とを併せて表示する。更に好適には、表示部７１は、動作状況図と動作推移図と作業場所図とを併せて表示する。更に好適には、表示部７１は、動作状況図と動作推移図と作業場所図と映像とを併せて表示する。

【0055】

なお、上記の報告書作成部６４は、サーバ装置４の制御ユニット４２ではなく、端末装置７や作業機械２に設けられていてもよい。制御ユニット４２が備える報告書作成部６４以外の他の機能についても、同様である。

【0056】

以上のように、情報表示システム１は、作業機械２の車載器３からの情報が入力されるサーバ装置４と、サーバ装置４により作成された情報を表示する端末装置７とを備え、所定事象発生時の作業機械２の状況を示す情報を報告書として表示する作業機械２の情報表示システムである。サーバ装置４は、所定事象発生時の作業機械２の動作を計測して得られた動作計測値に基づいて、作業機械２の動作内容を示す動作アイコンを特定する動作アイコン特定部５７を備える。サーバ装置４は、所定事象発生時の作業機械２の周囲に存在する物体の検知結果に基づいて、作業機械２に対する物体の相対位置を示す物体アイコンを特定する物体アイコン特定部５９を備える。サーバ装置４は、動作アイコンと物体アイコンとを用いて、所定事象発生時の作業機械２の動作状況を示す動作状況図を作成する動作状況図作成部６０を備える。端末装置７は、動作状況図を表示する。

【0057】

すなわち、情報表示システム１は、所定事象発生時の作業機械２の動作内容を、動作アイコンといった誰もが把握し易い形式で表す。情報表示システム１は、所定事象発生時の作業機械２に対する物体の相対位置を、物体アイコンといった誰もが把握し易い形式で表す。情報表示システム１は、所定事象発生時の作業機械２の動作状況を、動作アイコンと物体アイコンとを用いて図示する。

【0058】

これにより、情報表示システム１は、所定事象発生時の作業機械２の動作状況を、作業機械２に対する物体の相対位置と関連付け、現場作業者の誰もが把握し易い形式として可視化して自動的に表示することができる。情報表示システム１は、所定事象発生時の作業機械２の動作状況を、現場作業者に対して的確且つ迅速に把握させることができる。情報表示システム１は、所定事象発生時の作業機械２の動作状況を現場作業者に共有させることができ、安全運転の指導に役立てることができる。よって、情報表示システム１は、従来よりも現場作業者の安全意識を向上させることができる。

【0059】

従来のシステムは、車両の動作状況を、単に文字形式として表示するか、動作計測値のグラフとして表示するかに過ぎない。加えて、従来のシステムは、車両の周囲に存在する物体との関連性も不明なまま、車両の動作状況を表示するに過ぎない。作業現場には、作業の元請業者、下請業者、資材搬入業者及び警備業者等の異なる組織に属する多数の現場作業者が混在している。現場作業者の国籍も様々である。従来のシステムは、多様な属性を有する現場作業者が混在する作業現場に適用されても、所定事象発生時の作業機械２の動作状況を、現場作業者の誰もが把握し易い形式として表示するシステムではなかった。

【0060】

更に、作業現場の通信環境は整備されていない場合が多く、ドライブレコーダに記録された映像を作業現場において再生することは難しい。作業現場の通信環境が整備されていた場合であっても、現場作業者は異なる組織に属する者が多数混在しているので、ドライブレコーダに記録された映像をクラウドサーバ等に保存し現場作業者が自由に再生可能とすることは、情報セキュリティの観点からも難しい。現場作業者には、端末装置に不慣れな者も存在する。

【0061】

上記のような作業現場の事情から、作業現場の現場監督者は、ドライブレコーダに記録された映像を構成する静止画像を紙媒体に印刷し、例えば、作業開始前の朝礼において現場作業者に配布する等して、情報共有を図ることがある。しかしながら、紙媒体に印刷された画像には、作業機械の周囲に存在する物体が、作業機械との位置関係が明確に分かるように映っているとは限らない。更に、ドライブレコーダに記録された映像だけでは、所定事象発生時の作業機械の動作状況を把握することはできないし、作業場所の状況を把握することもできない。作業現場の現場監督者が、限られた時間内に、多様な属性を有する現場作業者に的確に情報伝達することは難しい。

【0062】

このようなことから、従来のシステムでは、多様な属性を有する現場作業者に対して所定事象発生時の作業機械の動作状況を共有させることが難しく、現場作業者の安全意識を向上させることは難しい。

【0063】

これに対し、本実施形態の情報表示システム１は、所定事象発生時の作業機械２の動作状況を、作業機械２に対する物体の相対位置と関連付けて、誰もが把握し易い形式で可視化して自動的に表示することができる。情報表示システム１は、所定事象発生時の作業機械２の動作状況を現場作業者に円滑に共有させることができ、安全運転の指導に役立てることができる。よって、情報表示システム１は、従来よりも現場作業者の安全意識を向上させることができる。しかも、情報表示システム１は、所定事象発生時の作業機械２の動作状況を示す動作状況図を紙媒体に印刷すると、当該紙媒体を配布するだけで現場作業者に情報共有を図ることができる。よって、情報表示システム１は、作業現場の通信環境や現場作業者の属性に関わらず、従来よりも現場作業者の安全意識を向上させることができる。

【0064】

更に、情報表示システム１は、サーバ装置４が、動作アイコンを特定する基となった動作計測値の推移を示す動作推移図を作成する動作推移図作成部６１を更に備える。情報表示システム１は、端末装置７が、動作状況図と動作推移図とを併せて表示する。

【0065】

これにより、情報表示システム１は、所定事象発生時の作業機械２の動作状況をその時系列的な変化と併せて詳細に可視化することができるので、所定事象発生時の作業機械２の動作状況を現場作業者に対して更に的確に把握させることができる。加えて、情報表示システム１は、関連する操作圧等の動作計測値の推移を示す動作推移図を併せて作成すれば、現場作業者の操作状況と作業機械２の動作状況との関連性を可視化することができる。情報表示システム１は、所定事象発生時の作業機械２の動作状況を現場作業者に更に円滑に共有させることができ、安全運転の指導に役立てることができる。よって、情報表示システム１は、従来よりも現場作業者の安全意識を更に向上させることができる。

【0066】

更に、情報表示システム１は、サーバ装置４が、所定事象発生時の作業機械２の作業場所を示す作業場所図を作成する作業場所図作成部６２を更に備える。情報表示システム１は、端末装置７が、動作状況図と動作推移図と作業場所図とを併せて表示する。

【0067】

これにより、情報表示システム１は、所定事象発生時の作業機械２の動作状況を作業場所の状況に関連付けて可視化することができるので、所定事象発生時の作業機械２の動作状況を現場作業者に対して更に的確に把握させることができる。情報表示システム１は、所定事象発生時の作業機械２の動作状況を現場作業者に更に円滑に共有させることができ、安全運転の指導に役立てることができる。よって、情報表示システム１は、従来よりも現場作業者の安全意識を更に向上させることができる。

【0068】

更に、情報表示システム１は、サーバ装置４が、所定事象発生時の作業機械２の周囲の映像を記録する抽出映像記録部３４を更に備える。情報表示システム１は、端末装置７が、動作状況図と動作推移図と作業場所図と映像とを併せて表示する。

【0069】

これにより、情報表示システム１は、所定事象発生時の作業機械２の動作状況を作業機械２の周囲の詳細な状況に関連付けて可視化することができるので、所定事象発生時の作業機械２の動作状況を現場作業者に対して更に的確に把握させることができる。情報表示システム１は、所定事象発生時の作業機械２の動作状況を現場作業者に更に円滑に共有させることができ、安全運転の指導に役立てることができる。よって、情報表示システム１は、従来よりも現場作業者の安全意識を更に向上させることができる。

【0070】

更に、情報表示システム１は、動作アイコン特定部５７が、動作計測値に基づいた形態を有する動作アイコンを特定する。

【0071】

これにより、情報表示システム１は、所定事象発生時の作業機械２の動作状況を更に分かり易く可視化することができるので、所定事象発生時の作業機械２の動作状況を現場作業者に対して更に的確に把握させることができる。情報表示システム１は、所定事象発生時の作業機械２の動作状況を現場作業者に更に円滑に共有させることができ、安全運転の指導に役立てることができる。よって、情報表示システム１は、従来よりも現場作業者の安全意識を更に向上させることができる。

【0072】

以上、本発明の実施形態について詳述したが、本発明は、上記の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の精神を逸脱しない範囲で、種々の設計変更を行うことができるものである。

【符号の説明】

【0073】

１…情報表示システム、２…作業機械、４…サーバ装置、７…端末装置、２４…物体検知装置、３４…抽出映像記録部（映像記録部）、５７…動作アイコン特定部、５９…物体アイコン特定部、６０…動作状況図作成部、６１…動作推移図作成部、６２…作業場所図作成部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】