(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024145653
(43)【公開日】2024-10-15
(54)【発明の名称】建設機械の情報処理システム及びヒヤリハットレポート
(51)【国際特許分類】
G06Q 10/063 20230101AFI20241004BHJP
G06Q 50/08 20120101ALI20241004BHJP
G06Q 10/0635 20230101ALI20241004BHJP
【FI】
G06Q10/063
G06Q50/08
G06Q10/0635
【審査請求】未請求
【請求項の数】7
【出願形態】OL
(21)【出願番号】P 2023058099
(22)【出願日】2023-03-31
(71)【出願人】
【識別番号】000005522
【氏名又は名称】日立建機株式会社
(74)【代理人】
【識別番号】110003096
【氏名又は名称】弁理士法人第一テクニカル国際特許事務所
(72)【発明者】
【氏名】三ツ橋 元気
(72)【発明者】
【氏名】佐藤 毅一
(72)【発明者】
【氏名】日暮 昌輝
(72)【発明者】
【氏名】多胡 尚
(72)【発明者】
【氏名】坂井 大斗
【テーマコード(参考)】
5L010
5L049
5L050
【Fターム(参考)】
5L010AA06
5L049AA06
5L049CC07
5L050CC07
(57)【要約】
【課題】ヒヤリハット事例のレポート作成のための労力を低減し、事例レポートを容易に作成できる建設機械の情報処理システムを提供する。
【解決手段】ユーザが入力可能な操作端末6と、操作端末6に接続されるデータベースDB1,DB2とを有し、建設機械3の事故前兆であるヒヤリハット事例に係わる情報処理を行う建設機械の情報処理システム1であって、建設機械3の稼働情報及び建設機械3で撮影された映像情報のうち、ヒヤリハット事例に係わるヒヤリハット検知情報を取得してデータベースDB1,DB2に記憶し、取得されたヒヤリハット検知情報に基づき推定されるヒヤリハット事例のテンプレートTを作成し、データベースDB1,DB2への情報読み書き及び操作端末6との情報送受信を繰り返すことにより作成されたテンプレートTを完成させ、完成されたヒヤリハット事例のヒヤリハットレポートを出力する。
【選択図】
図14
【特許請求の範囲】
【請求項1】
操作者が入力可能な操作端末と、前記操作端末に接続されるデータベースとを有し、建設機械の事故前兆であるヒヤリハット事例に係わる情報処理を行う建設機械の情報処理システムであって、
前記建設機械の稼働情報及び前記建設機械で撮影された映像情報のうち、前記ヒヤリハット事例に係わるものとして検知されたヒヤリハット検知情報を取得して前記データベースに記憶するデータ取得部と、
前記データ取得部により取得された前記ヒヤリハット検知情報に基づき推定される前記ヒヤリハット事例のレポート素案を作成するレポート素案作成部と、
前記データベースへの情報読み書き及び前記操作端末との情報送受信を繰り返すことにより、前記レポート素案作成部により作成された前記レポート素案を完成させるレポート仕上げ部と、
前記レポート仕上げ部により完成された前記ヒヤリハット事例の事例レポートを出力するレポート出力部と
を有することを特徴とする建設機械の情報処理システム。
【請求項2】
請求項1記載の建設機械の情報処理システムにおいて、
前記レポート素案作成部は、
前記データ取得部により取得された前記ヒヤリハット検知情報と当該ヒヤリハット検知情報中から導かれる自明情報とに基づき前記ヒヤリハット事例を推定する事例推定部と、
前記事例推定部により推定された前記ヒヤリハット事例を複数の類型に分類する類型分類部と、
前記類型分類部により分類された前記複数の類型にそれぞれ対応するとともに、該当するヒヤリハット検知情報中の前記稼働情報及び前記映像情報をそれぞれ割り当てた複数のレポート用テンプレートを、前記レポート素案として作成するテンプレート作成部と
を含み、
前記レポート仕上げ部は、
前記テンプレート作成部により作成された前記レポート用テンプレートに対する前記操作端末からの編集操作を受け付ける編集受付部を含み、
前記編集受付部により受け付けた前記編集操作に対応した修正を行うことで前記レポート素案を完成させる
ことを特徴とする建設機械の情報処理システム。
【請求項3】
請求項2記載の建設機械の情報処理システムにおいて、
前記レポート仕上げ部は、さらに、
前記編集操作の対象候補となる情報を前記操作端末の表示部において提示する情報提示部を含み、
前記編集受付部は、
前記情報提示部により前記操作端末において提示された前記情報に対する、前記操作端末からの編集操作を受け付ける
ことを特徴とする建設機械の情報処理システム。
【請求項4】
請求項3記載の建設機械の情報処理システムにおいて、
前記レポート用テンプレートは、
前記稼働情報に基づく、前記建設機械の姿勢又は動作挙動を表す第1CG画像データ、
前記建設機械で検知した物体検知情報に基づく、前記建設機械と検知された前記物体との位置関係を表す第2CG画像データ、及び、
前記ヒヤリハット事例に対応して前記データベースから取得される施工現場の設計情報に基づく、前記施工現場の出来形の背景を表す第3CG画像データ
のうち、少なくとも1つのCG画像データを含むことを特徴とする建設機械の情報処理システム。
【請求項5】
請求項3記載の建設機械の情報処理システムにおいて、
前記情報提示部による前記編集操作の対象候補となる情報を提示の後に前記編集受付部により受け付けた編集操作がなされた編集後情報を、対応する前記稼働情報、前記映像情報、及び、前記物体検知情報のうち少なくとも1つと対応付けた態様で、前記データベースに蓄積する情報蓄積部をさらに有する
ことを特徴とする建設機械の情報処理システム。
【請求項6】
請求項5記載の建設機械の情報処理システムにおいて、
前記情報蓄積部により前記データベースに蓄積された情報に基づく母集団データに対して統計分析を行った後、前記統計分析の結果に基づき、前記操作端末に係わるユーザ別に複数の前記ヒヤリハット事例に基づく統計レポートを作成する統計レポート作成部と、
前記統計レポートに含まれるデータと対応する前記母集団データとの乖離度に応じて、当該ユーザに対応する前記操作端末に対し警告通知を行う警告通知部と
を有することを特徴とする建設機械の情報処理システム。
【請求項7】
建設機械の事故前兆である1つのヒヤリハット事例に係わるヒヤリハットレポートであって、
前記建設機械の稼働情報に基づく、前記建設機械の姿勢又は動作挙動を表す第1CG画像データ、前記建設機械で検知した物体検知情報に基づく、前記建設機械と検知された前記物体との位置関係を表す第2CG画像データ、及び、前記1つのヒヤリハット事例に対応してデータベースから取得される施工現場の設計情報に基づく、前記施工現場の出来形の背景を表す第3CG画像データ、の少なくとも1つのCG画像データと、
前記少なくとも1つのCG画像データに対応する動画データと、
前記1つのヒヤリハット事例の発生状況を表す状況説明文データと、
前記1つのヒヤリハット事例に対する対策を表す対策説明文データと
を含むことを特徴とするヒヤリハットレポート。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ヒヤリハット事例に係わる情報処理を行う建設機械の情報処理システム及びヒヤリハットレポートに関する。
【背景技術】
【0002】
特許文献1は、車両の前方の物体を検出する物体検出装置と、物体検出装置の検出結果に基づいて衝突の可能性を判断する衝突判断部と、衝突判断部の判断結果に基づいて、衝突による被害を軽減するための信号を出力する制御部とを備えた運搬車両を開示している。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】国際公開WO2015/030240号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1においては、取得したセンサ情報を基に、ヒヤリハット事象が発生した時点の情報をシステムが自動的に抽出して記録している。ヒヤリハットとは、労働災害におけるハインリッヒの法則として広く認識される、重大な事故には至らないものの事故に直結してもおかしくない、事故の一歩手前の前兆のことである。例えば発生したヒヤリハット事例を当事者がレポートの形にまとめることで、そのレポートを後に見直したり当該レポートを他者にも閲覧可能としたりすることができ、ヒヤリハット事例の発生、ひいては事故の発生を抑えることができる。
【0005】
しかしながら、上記のように取得された情報をレポートの形でまとめることは、当事者にとって多大な労力を要するため、実際にはヒヤリハット事例のレポートを作成するのは困難であった。
【0006】
本発明は、上記事情に鑑みてなされたものであり、その目的は、ヒヤリハット事例のレポート作成のための労力を低減し、事例レポートを容易に作成可能とする建設機械の情報処理システム及びヒヤリハットレポートを提供することにある。
【課題を解決するための手段】
【0007】
上記目的を達成するために、本発明は、操作者が入力可能な操作端末と、前記操作端末に接続されるデータベースとを有し、建設機械の事故前兆であるヒヤリハット事例に係わる情報処理を行う建設機械の情報処理システムであって、前記建設機械の稼働情報及び前記建設機械で撮影された映像情報のうち、前記ヒヤリハット事例に係わるものとして検知されたヒヤリハット検知情報を取得して前記データベースに記憶するデータ取得部と、前記データ取得部により取得された前記ヒヤリハット検知情報に基づき推定される前記ヒヤリハット事例のレポート素案を作成するレポート素案作成部と、前記データベースへの情報読み書き及び前記操作端末との情報送受信を繰り返すことにより、前記レポート素案作成部により作成された前記レポート素案を完成させるレポート仕上げ部と、前記レポート仕上げ部により完成された前記ヒヤリハット事例の事例レポートを出力するレポート出力部とを有することを特徴とする。
【発明の効果】
【0008】
本発明によれば、ヒヤリハット事例のレポート作成のための労力を低減し、事例レポートを容易に作成することができる。
【図面の簡単な説明】
【0009】
【
図1】本発明の一実施形態による建設機械の情報処理システムのシステム構成図である。
【
図2】建設機械の一例としての油圧ショベルの全体外観構造を表す側面図である。
【
図3】建設機械に搭載される、ヒヤリハット事象の検知のための機能的構成の一例を表す機能ブロック図である。
【
図4】
図3に示した機能を得るために、実際に建設機械に実装されるハードウェア構成の一例を表す機能ブロック図である。
【
図5】主サーバ及び副サーバの詳細機能構成の一例を表す機能ブロック図である。
【
図6】ヒヤリハットレポートの一例を表す説明図である。
【
図7】ヒヤリハット概略ページの詳細を表す説明図である。
【
図8】ヒヤリハット映像ページの詳細を表す説明図である。
【
図9】ヒヤリハット詳細ページの詳細を表す説明図である。
【
図10】ヒヤリハット対策ページの詳細を表す説明図である。
【
図12】ヒヤリハット検知情報の一覧画面を表す説明図である。
【
図13】割り込みウィンドウで表示されるドロップダウンリストを表す説明図である。
【
図14】ヒヤリハット概略ページの編集画面を表す説明図である。
【
図15】ヒヤリハット概略ページの編集画面を表す説明図である。
【
図16】ヒヤリハット概略ページの編集画面を表す説明図である。
【
図17】ヒヤリハット映像ページの編集画面を表す説明図である。
【
図18】ヒヤリハット映像ページの編集画面を表す説明図である。
【
図19】ヒヤリハット詳細ページの編集画面を表す説明図である。
【
図20】ヒヤリハット詳細ページの編集画面を表す説明図である。
【
図21】ヒヤリハット詳細ページの編集画面を表す説明図である。
【
図22】ヒヤリハット対策ページの編集画面を表す説明図である。
【
図23】ヒヤリハット対策ページの編集画面を表す説明図である。
【
図24】ヒヤリハット対策ページの編集画面を表す説明図である。
【
図25】ヒヤリハットレポートの別例を表す説明図である。
【
図26】ヒヤリハット概略ページの詳細を表す説明図である。
【
図27】ヒヤリハット映像ページの詳細を表す説明図である。
【
図28】ヒヤリハット詳細ページの詳細を表す説明図である。
【
図29】ヒヤリハット対策ページの詳細を表す説明図である。
【
図31】ヒヤリハット概略ページの編集画面を表す説明図である。
【
図32】ヒヤリハット概略ページの編集画面を表す説明図である。
【
図33】ヒヤリハット概略ページの編集画面を表す説明図である。
【
図34】ヒヤリハット映像ページの編集画面を表す説明図である。
【
図35】ヒヤリハット映像ページの編集画面を表す説明図である。
【
図36】ヒヤリハット詳細ページの編集画面を表す説明図である。
【
図37】ヒヤリハット詳細ページの編集画面を表す説明図である。
【
図38】ヒヤリハット詳細ページの編集画面を表す説明図である。
【
図39】ヒヤリハット対策ページの編集画面を表す説明図である。
【
図40】ヒヤリハット対策ページの編集画面を表す説明図である。
【
図41】ヒヤリハット対策ページの編集画面を表す説明図である。
【
図42】ヒヤリハットレポート作成のために主サーバのプロセッサが副サーバのプロセッサと協働して実行する制御内容を表すフローチャートである。
【
図43】ヒヤリハットレポート作成のために主サーバのプロセッサが副サーバのプロセッサと協働して実行する制御内容を表すフローチャートである。
【
図44】類型分類テーブルの一例を表す説明図である。
【
図45】統計レポート作成のために主サーバのプロセッサが副サーバのプロセッサと協働して実行する制御内容を表すフローチャートである。
【発明を実施するための形態】
【0010】
以下、本発明の一実施形態を、図面を参照しつつ説明する。
【0011】
<システム構成>
本実施形態による建設機械の情報処理システム1のシステム構成図を
図1に示す。
図1に示すように、情報処理システム1は、このシステムを運営・管理する者又は企業(以下適宜、「運営者」と称する)により保有される主サーバ4及び副サーバ5と、このシステムの利用契約をした者又は企業(以下適宜、「契約者」と称する)により保有される操作端末6とを有する。
【0012】
この例では、副サーバ5と、複数の操作端末6とが、ネットワークを介し主サーバ4に対し通信可能に接続されている。主サーバ4及び副サーバ5は、いわゆるクラウドサーバでもよい。主サーバ4にはまた、各契約者により保有されている建設機械、この例では油圧ショベル3が通信可能に接続されている。なお、建設機械として、これ以外に、ホイールローダ(後述の
図25~
図29等に示す例を参照)、ダンプトラック、クローラクレーン等、他の機械を用いてもよい。以下、本願明細書においては、主に油圧ショベルを例にとって説明するが、それ以外の建設機械を含め、特に区別しない場合は、以下単に「建設機械3」と称する。
【0013】
操作端末6は、例えばパソコン、タブレット、携帯端末等の適宜の情報端末であり、ディスプレイ等の表示部6aと、マウスやキーボード等の操作部6bと、図示しない記憶部及びプロセッサとをそれぞれ備えている。
【0014】
<建設機械の詳細構成>
建設機械3の詳細構成を
図2に示す。建設機械3は、この例では前述の油圧ショベルであり、下部走行体103と上部旋回体104とフロント装置105とを有する。
【0015】
下部走行体103には、原動機としてのエンジン101と、エンジン101によって駆動されるメインポンプ102とが搭載されている。メインポンプ102によって送られた作動油により、下部走行体103と上部旋回体104と多関節型のフロント装置105とがそれぞれ独立して動作する。
【0016】
下部走行体103は、一対の履帯106を備えており、メインポンプ102からの上記作動油が走行油圧モータ107に供給されることにより各履帯106が駆動され、走行する。
【0017】
上部旋回体104は、旋回輪108を介して下部走行体103と接続されており、メインポンプ102からの作動油が旋回油圧モータ(図示せず)に供給されることにより、下部走行体103に対して旋回する。
【0018】
フロント装置105は上部旋回体104に搭載されており、回転軸115を回動中心として回動可能に上部旋回体104に連結されたブーム109と、回転軸116を回動中心として回動可能にブーム109に連結されたアーム111と、回転軸117を回動中心として回動可能にアーム111に連結されたバケット113とを有する。ブームシリンダ110、アームシリンダ112、及びバケットシリンダ114は、メインポンプ102からの作動油の供給に応じて伸縮する。ブームシリンダ110の伸縮に応じてブーム109が上部旋回体104に対して俯仰動し、アームシリンダ112の伸縮に応じてアーム111がブーム109に対して俯仰動し、バケットシリンダ114の伸縮に応じてバケット113がアーム111に対して俯仰動する。これらの動作により、建設機械3は、バケット113により掘削や整地等の作業を行う。
【0019】
なお、建設機械3の各部には、マシンコントロールやマシンガイダンスにおいて建設機械の姿勢を検知することを目的として、角度センサ129(後述の
図4参照)が複数搭載されている。それら角度センサ129により、上記回転軸115まわりのブーム109の回動角度、上記回転軸116まわりのアーム111の回動角度、上記回転軸117まわりのバケット113の回動角度、上記旋回油圧モータによる上部旋回体104の旋回角度等が検出されて対応する各種回転速度及び角速度等(以下適宜、それらを総称して単に「各種角度データ」と称する)が出力される。また建設機械3のオペレータが搭乗する運転室104Aには、オペレータが上部旋回体104の旋回動作を操作するための旋回レバー127A(後述の
図4参照)と下部走行体103の走行動作を操作するための走行レバー127B(後述の
図4参照)とが設けられており、それらレバー127A,127Bの操作量も上記同様に検出され、それら操作量のログ(履歴)を含む、対応する各種操作量データが出力される。さらにエンジン101には、公知の手法による回転数センサ128(後述の
図4参照)が設けられており、この回転数センサにより検出されたエンジン回転数データが出力される。さらに走行油圧モータ107の回転数に基づき建設機械3の走行速度を検出する速度センサ(図示せず)も設けられており、この速度センサにより検出された走行速度データが出力される。
【0020】
<ヒヤリハット>
本実施形態では、建設機械3に搭載された各種センサ等(詳細は後述)の検出結果に基づき、ヒヤリハット事象の検知が試みられる。ヒヤリハットとは、労働災害におけるハインリッヒの法則として広く認識される、重大な事故には至らないものの事故に直結してもおかしくない、事故の一歩手前の前兆のことである。
【0021】
<ヒヤリハット検知のための機能的構成例>
建設機械3に搭載される、上記ヒヤリハット事象の検知のための機能的構成の一例を
図3に示す。建設機械3は、物体検知部13と、トリガー発信部14と、時計部15と、映像記録部16と、映像処理部17と、撮像部18と、トリガー動画記憶部20と、車体情報取得部12と、通信I/F21と、契約者情報記憶部22とを有する。
【0022】
物体検知部13は、建設機械3に対する障害物や建設機械3の周囲の人を検知し、対応する物体検知信号をトリガー発信部14へ出力する。なお、物体検知信号はトリガー動画記憶部20へも出力される。トリガー発信部14は、物体検知部13が物体を検知して上記物体検知信号が入力されたとき、対応するトリガーを映像処理部17へ出力する。
【0023】
撮像部18は、建設機械3の周囲を撮像した映像を映像記録部16へ出力する。なお、この撮像映像が映像情報の一例を構成する。時計部15は、リアルタイムの日時情報を映像記録部16及び映像処理部17へ出力する。映像記録部16は、撮像部18が出力した撮像映像と時計部15が出力した日時情報とを紐づけて保存する。
【0024】
映像処理部17は、時計部15から入力される日時情報に基づき、トリガー発信部14からのトリガーの入力日時をトリガー検知時刻とする。また映像処理部17は、映像記録部16に記録された撮像動画のうち上記トリガー検知時刻前後の所定期間(例えば前後15秒間)分を抜き出し、トリガー動画とする。このトリガー動画は後述のヒヤリハット検知情報の一部を構成する。そして映像処理部17は、そのトリガー動画を上記トリガー検知時刻と紐づけた形でトリガー動画記憶部20へと出力する。なお、上記所定期間は15秒には限られず、それよりも短くてもよいし長くてもよい。またトリガー検知時刻の前後両方にも限られず、いずれか一方でもよい。トリガー検知時刻の前と後とで所定期間の時間範囲を異ならせてもよい。
【0025】
車体情報取得部12は、前述した各種角度データ、各種操作量データ、エンジン回転数データ、走行速度データを含む、建設機械3の車体情報を取得し、トリガー動画記憶部20へと出力する。
【0026】
トリガー動画記憶部20は、映像処理部17から入力したトリガー検知時刻紐づけ済みの上記トリガー動画と、車体情報取得部12から入力した上記車体情報及び物体検知部13から入力した上記物体検知信号のうち上記トリガー検知時刻に対応するものとを、互いに関連付けて記憶し、通信IF21へと出力する。
【0027】
契約者情報記憶部22は、上記契約者と対応する建設機械3とを関連付ける契約情報を記憶する。通信IF21は、契約者情報記憶部22から取得した契約情報に基づき、トリガー動画記憶部20から取得された上記トリガー動画を、上記主サーバ4へとアップロードする。
【0028】
<ヒヤリハット検知のための実装構成例>
上記
図3に示した機能を得るために、実際に建設機械3に実装されるハードウェア構成の一例を
図4に示す。
【0029】
図4において、例えば建設機械3の上記運転室104Aの内部に、車体制御コントローラ121と、モニタ制御コントローラ120と、モニタ122と、記録装置123とが搭載されている。各コントローラ120,121とモニタ122と記録装置123とは、例えばCAN(Control Area Network)等の車載ネットワーク124を介し相互通信可能に構成されている。また運転室104Aの外部には、複数の周囲監視用のカメラ118と、公知の構成の複数の物体検知センサ119とが搭載されている。
【0030】
車体制御コントローラ121は機械の油圧制御を行うコントローラであり、前述した旋回レバー127Aの操作量及び走行レバー127Bの操作量データと、角度センサ129からの角度データと、回転数センサ128からのエンジン回転数データ、速度センサからの走行速度データとを取得する。なお、車体制御コントローラ121は、建設機械3の適宜の箇所に設けた、例えば慣性計測装置(IMU:Inertial Measurement Unit)等の他の計測又は検出装置からのデータを取得してもよい。車体制御コントローラ121は、これら操作量データ、角度データ、エンジン回転数データ、走行速度データ等を含む各種データを、建設機械3の車体情報として、車載ネットワーク124を介し記録装置123へと送信する。すなわち、車体制御コントローラ121は、
図3を用いて前述した車体情報取得部12として機能する。
【0031】
また車体制御コントローラ121には、複数の上記物体検知センサ119が接続されている。複数の物体検知センサ119は、それぞれ、建設機械3に対する障害物や建設機械3の周囲の人を公知の手法により検出し、対応する上記物体検知信号を車体制御コントローラ121へ出力する。具体的には、例えば上記検知対象である障害物や人(以下適宜、「オブジェクト」と総称する)が予め定められた所定距離内に近づいたときに、物体検知信号が出力される。この物体検知信号はさらに車体制御コントローラ121から車載ネットワーク124を介し記録装置123へと送信される。すなわち、物体検知センサ119が、
図3を用いて前述した物体検知部13として機能する。車体制御コントローラ121はまたトリガー発信部14としても機能し、物体検知信号が前述のトリガーとして機能する。
【0032】
カメラ118は、建設機械3のうち周囲が撮影可能な複数個所に取り付けられており、それぞれが撮像した映像をモニタ制御コントローラ120へと出力する。モニタ制御コントローラ120は、それら複数のカメラ118からそれぞれ入力された周囲映像を合成し、各カメラ118の映像が分割された映像もしくは隣りあったカメラ118の境界をブレンドしたサラウンドビューとして、モニタ122へと出力する。モニタ122は、上記のようにしてモニタ制御コントローラ120から入力された合成映像を表示するとともに、さらに表示している映像を記録装置123へと出力する。すなわち、カメラ118が、
図3を用いて前述した撮像部18として機能し、モニタ制御コントローラ120及びモニタ122が映像記録部16として機能する。
【0033】
記録装置123には通信端末125が通信可能に接続されている。通信端末125は、主サーバ4と双方向通信可能に構成されてあり、記録装置123から主サーバ4へのアップロードと主サーバ4から記録装置123へのアクセスとの双方を行うことができる。また通信端末125は例えばGPS測位機能を備えており、建設機械3の車体位置情報を取得することもできる。なお、通信端末125は、GPSによる測位機能に代えて、例えば、GNSS(Global Navigation Satellite System)による測位機能や、RTK(Real time kinematic)による測位機能を備えていてもよい。すなわち、通信端末125は、
図3を用いて前述した通信IF21として機能する。
【0034】
なお、上記車体情報(角度データ、操作量データ、エンジン回転数データ、走行速度データを含む)、上記車体位置情報、及び前述の物体検知信号が稼働情報の一例を構成する。
【0035】
そして、記録装置123は、モニタ122から入力された上記映像と、車載ネットワーク124を介し車体制御コントローラ121から取得した上記車体情報及び上記車体位置情報とを、上記物体検知信号と関連付けて保存する。詳細には、記録装置123は、前述の物体検知信号を車体制御コントローラ121から受信したとき、その物体検知信号の検知時刻を前述のトリガー検知時刻とする。そしてその検知時刻の前後において予め設定された所定期間(
図3を用いて前述した例では前後15秒間)の範囲分の、上記映像と上記車体情報とを互いに紐づけた状態で保存する。このとき、それら映像及び車体情報は、通信端末125から取得された、上記検知時刻における車体位置情報とも紐づけられた形で保存される。このときの上記所定期間の映像と、車体情報と、車体位置情報と、物体検知信号とが、ヒヤリハット検知情報の一例を構成する。なお、車体位置情報及び物体検知信号は上記稼働情報や上記ヒヤリハット検知情報に必ずしも含まれなくてもよい。以上の結果、記録装置123が、
図3における時計部15、映像処理部17、及び、トリガー動画記憶部20として機能し、上記所定期間の映像が、前述のトリガー動画として機能する。
【0036】
<主サーバ及び副サーバの詳細構成例>
主サーバ4の詳細機能構成例を
図5(a)に示す。主サーバ4は、例えば情報処理システム1の運営者が設置及び管理するサーバである。主サーバ4は、前述のように建設機械3から取得したトリガー動画等に基づき、ヒヤリハット事例の事例レポートの作成(詳細は後述)等に係わる種々の処理を実行する。
【0037】
主サーバ4は、
図5(a)に示すように、例えばいわゆるCPUにより構成されるプロセッサ210と、記憶装置215と、通信インタフェース290とを有している。これらプロセッサ210、記憶装置215、及び通信インタフェース290は、バス205を介して互いにデータ送受信可能に接続されている。
【0038】
記憶装置215は、揮発性記憶装置220と、不揮発性記憶装置230とを備えている。揮発性記憶装置220は、例えば、DRAMであり、処理対象となる各種のプログラムやデータを記憶する。不揮発性記憶装置230は、例えば、ハードディスクドライブ、あるいはソリッドステートドライブであり、プログラム記憶領域231と、データ記憶領域232とを有している。
【0039】
プログラム記憶領域231には各種プログラムが格納されている。各種プログラムには、後述の
図42、
図43、
図45のフローチャートに示す処理を実行する情報処理プログラムが含まれる。
【0040】
データ記憶領域232は、前述の処理を実行するために必要な各種データ等が記憶される領域であり、データベースDB1を備えている。
【0041】
プロセッサ210は、データ処理を行う装置、例えばCPUであり、プログラム記憶領域231に格納された各種プログラムを実行することで、主サーバ4に接続された建設機械3、操作端末6、副サーバ5に対するデータ通信を含む各種の処理を行う。
【0042】
通信インタフェース290は、他の装置と通信するための有線LANインタフェース又は無線インタフェースであり、例えば適宜のネットワークを介し、建設機械3、操作端末6、副サーバ5に接続されている。この結果、操作端末6及び副サーバ5が上記データベースDB1にアクセス可能となっている。
【0043】
副サーバ5の詳細機能構成例を
図5(b)に示す。副サーバ5は、上記主サーバ4と同様、例えば情報処理システム1の運営者が設置及び管理するサーバである。副サーバ5は、前述した主サーバ4によるヒヤリハット事例の事例レポートの作成等に係わる種々の処理を、補助する機能を果たす。副サーバ5は、
図5(b)に示すように、前述の主サーバ4と同等の機能的構成を備えており、上記プロセッサ210、記憶装置215、通信インタフェース290、バス205と同様の、プロセッサ310、記憶装置315、通信インタフェース390、バス305を有している。
【0044】
記憶装置315は、上記揮発性記憶装置220及び不揮発性記憶装置230と同様の、揮発性記憶装置320及び不揮発性記憶装置330を備えている。不揮発性記憶装置330は、プログラム記憶領域331と、データ記憶領域332とを有している。プログラム記憶領域331には、主サーバ4と協働して例えば後述の
図42、
図43、
図45のフローチャートに示す処理を実行する情報処理プログラムを含む各種プログラムが格納されている。データ記憶領域232は、各種データ等が記憶される領域であり、データベースDB2を備えている。
【0045】
プロセッサ310は、上記プロセッサ210と同様、例えばCPUであり、主サーバ4に対するデータ通信を含む各種の処理を行う。通信インタフェース390は、例えば適宜のネットワークを介し、主サーバ4に接続されている。なおこれにより、副サーバ5は、間接的に操作端末6にも接続されていることとなる。以上の結果、上記データベースDB2には、主サーバ4及び操作端末6がアクセス可能となっている。
【0046】
なお、上記プログラム記憶領域231,331に格納されたプログラムは、プログラムソースからインストールされてプログラム記憶領域231,331に格納されていてもよい。プログラムソースは、例えば、プログラム配布サーバ又はプロセッサ210,310が読み取り可能な記憶メディアであってもよい。プログラムソースがプログラム配布サーバの場合、プログラム配布サーバはプロセッサと配布対象のプログラムを記憶する記憶資源とを含んでもよく、プログラム配布サーバのプロセッサが配布対象のプログラムを他のプロセッサに配布してもよい。また、本実施形態における2以上のプログラムが1つのプログラムとして実現されてもよいし、本実施形態における1つのプログラムが2以上のプログラムとして実現されてもよい。
【0047】
また、上記プロセッサ210,310の機能を、ASIC(Application Specific Integrated Circuit)やFPGA(field-programmable gatearray)やCPLD(Complex Programmable Logic Deviceなどの専用回路を用いて実現してもよい。
【0048】
また、上記記憶装置215,315は上述した装置要素での構成に限られず、例えば、RAM、ROM、EEPROM、HDD、主サーバ4又は副サーバ5に着脱されるUSBメモリ等の可搬記録媒体、プロセッサ210,310が備えるバッファ等、或いはそれらの組み合わせによって構成されてもよい。さらに、記憶装置215,315は、コンピュータが読み取り可能なストレージ媒体であってもよい。コンピュータが読み取り可能なストレージ媒体とは、non-transitoryな媒体である。non-transitoryな媒体には、上記の例の他に、CD-ROM、DVD-ROM等の記録媒体も含まれる。また、non-transitoryな媒体は、tangibleな媒体でもある。前述した操作端末6の記憶部についても同様である。
【0049】
<ヒヤリハット事例の事例レポート>
本実施形態による建設機械の情報処理システム1では、前述のヒヤリハット事例を当事者が事例レポートの形にまとめることで、その作成されたレポートを後から容易に見直し可能としたり、他者にも閲覧可能とするものである。以下、そのヒヤリハット事例の事例レポートの内容、及び、そのレポート作成手法について、順を追って説明する。
【0050】
<事例レポートの概略>
作成されたヒヤリハット事例の事例レポート(以下適宜、単に「ヒヤリハットレポート」と称する)の一例を
図6(a)~(f)に示す。図示のように、この例では、ヒヤリハットレポートは、
図6(a)に示す表紙ページ400と、
図6(b)に示すヒヤリハット概略ページ410と、
図6(c)に示すヒヤリハット映像ページ430と、
図6(d)に示すヒヤリハット詳細ページ450と、
図6(e)に示すヒヤリハット対策ページ470と、
図6(f)に示す裏表紙ページ490の6ページ構成となっている。このような構成で作成されたヒヤリハットレポートは、端末6の表示部6aにおいて例えばスライド形式やアニメーション形式等で表示させることができるほか、サーバ4,5又は端末6に接続された外部機器に対し適宜のファイル形式(pdfファイル等)で出力することができ、さらに、サーバ4,5又は端末6に接続された適宜のプリンタ等により印刷物として出力することもできる。なお印刷物となる場合は、レポート中に含まれる動画は省略されるか、静止画化されて印刷される。以下、各ページの詳細を
図7~
図10により説明する。
【0051】
<ヒヤリハット概略ページ>
ヒヤリハット概略ページ410の詳細を
図7に示す。
図7に示すように、ヒヤリハット概略ページ410には、ヒヤリハット類型分類欄41と、事例説明欄42と、タイムスタンプ43と、ヒヤリハット事例再現CG44とが、含まれている。
【0052】
ヒヤリハット類型分類欄41には、ヒヤリハット事例の類型が表記される。具体的には、予め設定されたものの中から選択された(後述)、大分類となる類型が表記される。事例説明欄42には、上記ヒヤリハット類型分類欄41に示された類型の中でのさらに細かい事例説明、具体的には、予め設定されたものの中から選択された(後述)、小分類となるヒヤリハット事例の類型が表記される。図示では、建設機械3の上部旋回体104が旋回しているときに現場作業員が押していた台車に衝突した例を表しており、ヒヤリハット類型分類欄41には対応する「激突され」が表記され、事例説明欄42には対応する「旋回時に作業員と激突」が表記されている。タイムスタンプ43では、このヒヤリハット事例が生じた時刻が表記されている。
【0053】
ヒヤリハット事例再現CG44は、このヒヤリハット事例の状況をコンピュータグラフィックスの画像(静止画)にて概念的に再現するものである。なお、いわゆるGIF形式による短時間の繰返し動画としてもよい。ヒヤリハット事例再現CG44では、例えば、建設機械3の姿勢、及び、建設機械3の稼働部の回転角速度や建設機械3全体の前進後進速度等を含む動作挙動(第1CG画像データ)、検知された物体と建設機械3との位置関係(第2CG画像データ)、対象物体の属性、稼働現場の出来形を模擬した背景(第3CG画像データ)、等のCG画像が構成要素として表現される。図示では、前述の例に沿い、建設機械3の図像に旋回中及び走行中を表す矢印が付されて表記されるとともに、その左側に作業員及び台車の図像が表記され、さらに衝突したことを表す図像も表記されている。また図示では、当該ヒヤリハット事例が発生したときの状態量の一例として、建設機械3の上部旋回体104の旋回角速度「30度/秒」と、下部走行体103の走行速度「時速0.5km」とが表記されている。
【0054】
<ヒヤリハット映像ページ>
ヒヤリハット映像ページ430の詳細を
図8に示す。
図8に示すように、ヒヤリハット映像ページ430には、映像48と、注目サークル49と、ヒヤリハット発生アイコン50とが、含まれている。
【0055】
映像48は、このヒヤリハット事例における前述のトリガー動画、言い換えれば上記ヒヤリハット事例再現CG44に対応する動画データがはめ込まれて合成されたものである。ページ中の適宜の箇所の操作により再生・停止等を行うことができる。注目サークル49は、映像48において、視聴者が注目すべき箇所を表す囲みである。図示では、前述の例に沿い、建設機械3に相対的に接近してきた人(作業員)の実像位置を囲むように表記されている(台車は図示省略)。
【0056】
ヒヤリハット発生アイコン50は、上記映像48に係わるトリガーが発動した時刻をシークバー51上に示したアイコンである。シークバー51は、映像48の時間軸を表した棒グラフであり、シークバー51上においてヒヤリハット発生アイコン50が配置された時刻の前後所定期間がハイライト表示され、当該所定期間におけるトリガー動画が映像48として組み込まれる。映像48の再生時には、ヒヤリハット発生アイコン50が配置してある時刻で、映像48の再生が所定時間(例えば3秒)停止する演出が行われる。このヒヤリハット発生アイコン50は、ドラッグすることでシークバー51上を移動させ、注目すべき時刻を変更することができる。その際、ヒヤリハット発生アイコンの配置してある時刻に追従して、上記注目サークル49が配置される時刻も連動して移動する。
【0057】
<ヒヤリハット詳細ページ>
ヒヤリハット詳細ページ450の詳細を
図9に示す。
図9に示すように、ヒヤリハット詳細ページ450には、ヒヤリハット概略ページ410と共通の事例説明欄42及びヒヤリハット事例再現CG44と、ヒヤリハット状況欄55とが含まれている。
【0058】
事例説明欄42及びヒヤリハット事例再現CG44は前述のヒヤリハット概略ページ410と同一の内容である。ヒヤリハット状況欄55は、このヒヤリハット事例の発生状況を説明する詳細なテキスト文章が表記される(状況説明文データ)。図示では、前述の例に沿い、「■ヒヤリハットの状況」を表題とする囲み欄の中に、「ショベル旋回時に現場作業員と激突しそうになった。バケットは現場作業員が押していた台車に接触し止まった。」「建機オペレータホーン・安全確認を怠っていた。」の2文章が記載されている。
【0059】
<ヒヤリハット対策ページ>
ヒヤリハット対策ページ470の詳細を
図10に示す。
図10に示すように、ヒヤリハット対策ページ470には、対策説明欄58と、対策説明イラスト欄59とが含まれている。
【0060】
対策説明欄58には、このヒヤリハット事例に対して既に行われた対策(又は行うべき対策)が表記される(対策説明文データ)。図示では、前述の例に沿い、「作業エリアを設定し、コーンなどで区切って立ち入り禁止エリアを設定する。」「オペレータは動作の始まり時にホーンを鳴らし、指差呼称を行うことを徹底する。」の2文章が記載されている。
【0061】
対策説明イラスト欄59には、上記対策説明欄58に記載された対策を表すイラストが表記される。図示では、前述の例に沿い、建設機械3の図像の周囲に配置された4つのコーン図像とそれらを結ぶ直線図像とで区画される、立ち入り禁止エリアが表されている。
【0062】
<事例レポートの作成>
次に、本実施形態の要部である、上記構成のヒヤリハットレポートの作成手法を説明する。本実施形態では、ユーザ(上記契約者。言い換えれば操作端末6の操作者)は、予め用意されているレポート用テンプレートに入力していくだけで、容易にヒヤリハットレポートを作成することができる。
【0063】
<テンプレート>
上記レポート用テンプレート(以下適宜、単に「テンプレート」と称する)の例を
図11(a)及び
図11(b)に示す。本実施形態では、予め想定されるヒヤリハット事例の種類に対応させて、複数のテンプレートTが事前に用意されている。
【0064】
図11(a)に示す例のテンプレートTは、上記
図6(a)~(f)に示したヒヤリハットレポートを作成するためのものである。このテンプレートTは、前述の6ページ構成に対応して、表紙ページ400、ヒヤリハット概略ページ410、ヒヤリハット映像ページ430、ヒヤリハット詳細ページ450、ヒヤリハット対策ページ470、裏表紙ページ490にそれぞれ対応する、表紙ページ500、ヒヤリハット概略ページ510、ヒヤリハット映像ページ530、ヒヤリハット詳細ページ550、ヒヤリハット対策ページ570、裏表紙ページ590の6ページ構成となっている。
【0065】
図11(b)には、別の例のテンプレートTを示す。このテンプレートTは、上記
図11(a)に示したテンプレートTからヒヤリハット映像ページ530が省略された、表紙ページ500、ヒヤリハット概略ページ510、ヒヤリハット詳細ページ550、ヒヤリハット対策ページ570、裏表紙ページ590の5ページ構成となっている。
【0066】
また、図示を省略するが、上記
図11(a)及び
図11(b)に示す例以外にも、複数種類のテンプレートTが予め用意されており、例えば主サーバ4内の上記データベースDB1に記憶されている。前述のようにして取得されたヒヤリハット検知情報(所定期間の映像、車体情報等)が主サーバ4へと送信されて主サーバ4にて受信されると、そのヒヤリハット検知情報の内容に応じてプロセッサ210によってヒヤリハット事例が推定され、推定されたヒヤリハット事例に対応したいずれか1つのテンプレートTがデータベースDB1の記憶内容の中から選択される。この選択されたテンプレートTがレポート素案の一例を構成する。
【0067】
選択されたテンプレートTは、例えば主サーバ4のプロセッサ210からの表示制御信号に基づき操作端末6の表示部6aに表示され、操作部6bを介したテンプレートT内各部へのユーザの入力を待つ。ユーザの操作部6bを介した編集操作によってテンプレートT内の各部への新規入力・選択・修正等が繰り返し行われることで、ヒヤリハット事例の記録としてのテンプレートTの内容の完成度が高められ、最終的にヒヤリハットレポートとして完成する。以下、そのようなヒヤリハットレポート完成までの流れを順を追って説明する。
【0068】
<ヒヤリハット検知情報の一覧画面>
図12に、操作端末6の表示部6aに表示される、ヒヤリハット検知情報の一覧画面595を示す。
図12において、この例では、9つのヒヤリハット検知情報が取得され、一覧画面595において例えば発生日時順に上段から下段へと一覧表示されている。また一覧画面595では、各ヒヤリハット検知情報について、動画保持スイッチ32と、サムネイル38と、発生日時情報39と、メモ33と、機種情報34と、号機番号情報35と、稼働時間情報36と、編集ボタン37とが表示されている。
【0069】
サムネイル38は、当該ヒヤリハット検知情報のトリガー動画の一場面を表すものであり、トリガー動画に対応して例えばプロセッサ210により適宜に作成されたものが表示される。一覧画面595中のこのサムネイル38がクリックすることで表示部6aの表示が適宜のプレビュー画面へ移行し、上記トリガー動画を視聴することができる(図示省略)。
【0070】
保存されているトリガー動画は一定の保存期間が設定されており、自動で削除される。動画保持スイッチ32は、古い映像データがDB1から自動で削除されてしまうのを防ぐため、及びユーザの不用意な操作による削除を防ぐためのロックスイッチとしての機能を有する。図示上から6段目の動画保持スイッチ32Aは、ロックがオン(クリック不能)にされた状態を表している。
【0071】
発生日時情報39は、当該ヒヤリハット検知情報のトリガー動画において、前述のトリガーが生じた時刻を表示している。メモ33は、当該ヒヤリハット検知情報に関する注釈をユーザが記入可能なテキストボックスである。
【0072】
機種情報34は、当該ヒヤリハット検知情報が取得された建設機械3の機種を表している。号機番号情報35は、当該ヒヤリハット検知情報が取得された建設機械3の個体識別情報を表している。稼働時間情報36は当該ヒヤリハット検知情報が取得された建設機械3の、工場出荷時を計測開始基準とした稼働時間を表している。これら機種情報34、号機番号情報35、稼働時間情報36等は、例えば取得されたヒヤリハット検知情報に基づき主サーバ4のプロセッサ210がデータベースDB1(又は副サーバ5のデータベースDB2)にアクセスすることで、当該データベースDB1,DB2に事前に格納されていた情報に基づき取得される。言い換えれば、これら機種情報34、号機番号情報35、稼働時間情報36等は、ヒヤリハット検知情報の内容に基づき導かれる情報であり、自明情報の一例を構成している。なお、これら機種情報34、号機番号情報35、稼働時間情報36等を、ヒヤリハット検知情報が建設機械3から取得されるときに、併せてプロセッサ210が建設機械3から取得するようにしてもよい。
【0073】
編集ボタン37は、このボタンをユーザがクリック操作することにより、当該ヒヤリハット検知情報を用いたヒヤリハットレポートの作成が開始されるものである。
【0074】
<ドロップダウンリスト>
上記編集ボタン37が押されると、例えば
図13に示すような、割り込みウィンドウ596がポップアップ表示される。この例に示す割り込みウィンドウ596では、「レポートを作成します」のメッセージと、ドロップダウンリスト611とが表示される。ドロップダウンリスト611では、想定できるヒヤリハット事例の大まかな類型をユーザが選択できるようにリスト表示される。ここで表示される内容は、編集ボタン37が押されたヒヤリハット検知情報に対応したもの、例えば対応する建設機械3の機種に応じた内容となるように、プロセッサ210によって制御される。図示の例では、ヒヤリハット事例の大まかな類型候補として、「挟まれ」「激突され」「転落」「落下」「交通事故」、等が表示されており、操作部6bを介したユーザによるカーソル612の操作によって「激突され」が選択された状態を示している。
【0075】
<ヒヤリハット概略ページの編集>
上記ドロップダウンリスト611における選択を確定させた後には、その選択に対応した種類の上記テンプレートTが操作端末6の表示部6aに表示され、当該テンプレートTに対し各ページごとに仕上げ作業を行えるようになる。前述の「激突され」が選択されたときに、対応するテンプレートT(
図11(a)参照)に含まれる前述の各ページ500,510,530,550,570のうち、ヒヤリハット概略ページ510の編集画面を
図14に示す。
【0076】
図14に示すように、この編集画面では、ヒヤリハット概略ページ510の上部に編集ツール表示部511が表示される。編集ツール表示部511には、詳細な図示及び説明を省略するが、コピー、貼り付け、切り取り、挿入等の公知の各種操作を行える複数のボタンと、編集結果を保存を行うための「保存」ボタン等が設けられている(以下に示す他の編集画面も同様)。
【0077】
またこの編集画面中のヒヤリハット概略ページ510には、前述のドロップダウンリスト611における選択に対応して、既に述べたヒヤリハット類型分類欄41欄に「激突され」が表示されている。そしてその下部には、前述の事例説明欄42において表示する、小分類となるヒヤリハット事例の類型をユーザが選択するための、ドロップダウンリスト512が表示される。ドロップダウンリスト512では、上記ヒヤリハット類型分類欄41欄の内容に対して事前に紐づけられた、さらに細かいヒヤリハット事例の類型が、ユーザにより選択可能にリスト表示される。図示の例では、前述の「激突され」に対応した細かい類型候補として、「走行時に激突」「旋回時に作業員と激突」「吊荷に激突」「建機同士が激突」、等が表示されており、操作部6bを介したユーザによるカーソル513の操作によって「旋回時に作業員と激突」が選択された状態を示している。このように、プロセッサ210の制御による初期提示内容に対し、ユーザ操作によってヒヤリハット事例の類型の正確化を図ることができる。
【0078】
なお、このときこの編集画面中のヒヤリハット概略ページ510には、該当するヒヤリハット検知情報(すなわち編集ボタン37が押されたヒヤリハット検知情報)に対応する、前述のタイムスタンプ43が変更不能に表示される。このタイムスタンプ43は、当該ヒヤリハット検知情報に含まれる上記発生日時情報39が転記されたものである。さらに、当該ヒヤリハット検知情報に対応する、前述のヒヤリハット事例再現CG44が表示される。但しこの段階でのヒヤリハット事例再現CG44は、ユーザによる後述の修正等が行われる前に初期的に表示されるものであり、その内容は、プロセッサ210による後述の処理(後述の
図42のステップA15等参照)によって決定される。なお、この初期的な表示においては、前述の稼働情報に含まれる車体情報としての、建設機械3の上部旋回体104の旋回角速度「30度/秒」と、下部走行体103の走行速度「時速0.5km」とが組み込まれて表記されている。
【0079】
図15に、ドロップダウンリスト512における上記選択が確定して、事例説明欄42に「旋回時に作業員と激突」が表記された状態を示す。このとき、図示の編集画面のヒヤリハット概略ページ510に表示されているヒヤリハット事例再現CG44に対し、ユーザは操作部6bの操作を介して適宜に修正を行うことができる。
【0080】
図16は、上記修正の一例として、ヒヤリハット事例再現CG44中の対象物の属性を編集可能なCG編集ダイアログ514が表示された状態を示している。図示のように、この例では、CG編集ダイアログ514中に、人の図像、コーンの図像、動物の図像の3つが選択可能に表示されている。この結果、ヒヤリハット事例再現CG44中に表示させる対象物(現時点では人)の図像を、操作部6bにおける適宜の操作により、コーンの図像又は動物の図像に変更可能(言い換えれば対象物の属性を変更可能)となっている。なお、詳細な図示及び説明を省略するが、操作部6bにおける適宜の操作により可能な上記修正の他の例としては、ヒヤリハット事例再現CG44全体のアングル変更や差し替え、表示項目のオン・オフ(例えば図中に示す回転速度、走行速度等の稼働情報の表示・非表示の切替)、等も可能となっている。このように、プロセッサ210の制御による初期提示内容に対し、ユーザ操作によってヒヤリハット事例再現CG44の高精度化を図ることができる。
【0081】
<ヒヤリハット映像ページの編集>
上記ヒヤリハット概略ページ510に続いてテンプレートTに含まれる、ヒヤリハット映像ページ530の編集画面を
図17に示す。
【0082】
図17に示すように、この編集画面では、上記ヒヤリハット概略ページ510と同様、上部に編集ツール表示部511が表示される。また、この編集画面中のヒヤリハット映像ページ530には、該当するヒヤリハット検知情報(すなわち編集ボタン37が押されたヒヤリハット検知情報)に対応する、前述の映像48が表示される。映像48は、前述したように、上記ヒヤリハット検知情報のトリガー動画がはめ込まれて合成されたものである。
【0083】
但しこの段階での映像48は、ユーザによる後述の各部への修正等が行われる前に初期的に表示されるものであり、その内容は、プロセッサ210による後述の処理(後述の
図42のステップA4等参照)によって決定される。ヒヤリハット発生アイコン50はヒヤリハットが発生した時刻を表すマークであり、ヒヤリハット検知情報のトリガーが発生した時刻を初期位置としている。また、図中の注目サークル49及びヒヤリハット発生アイコン50の位置も、修正前のものであり、上記同様、プロセッサ210によって初期的に決定されたものである。注目サークル49の位置は、当該ヒヤリハット検知情報の取得時において、例えば前述の物体検知部13が接近を検知した方角から大雑把に算出された検知対象であるオブジェクトの位置を初期的に映像上で示したものである。
【0084】
図17に示した状態から、ユーザによる操作部6bの操作によって注目サークル49及びヒヤリハット発生アイコン50の位置が変更された状態の一例を
図18に示す。
図18に示すように、この例では、注目サークル49の位置が
図17に示した位置からドラッグアンドドロップ操作にて図示左側へと移動されることで、注目サークル49が人(作業員)物の実像を完全に内周側に収容する態様に変更されている。またシークバー51内の黒抜きの範囲及び位置は、
図17に示したタイミングよりももっと時間的に遅いタイミングを意図してドラッグアンドドロップ操作にて図示右側へと移動されて位置変更されている。また、注目すべき映像の時間範囲の中心に必ずしもヒヤリハット発生アイコン50が存在するわけではないため、ヒヤリハット発生アイコン50とシークバー51は個別に編集することができてもかまわない。このように、プロセッサ210の制御による初期提示内容に対し、ユーザ操作によって映像48の高精度化・正確化を図ることができる。
【0085】
<ヒヤリハット詳細ページの編集>
上記ヒヤリハット映像ページ530に続いてテンプレートTに含まれる、ヒヤリハット詳細ページ550の編集画面を
図19~
図21に示す。
【0086】
図19及び
図20に示すように、この編集画面では、前述と同様、上部に編集ツール表示部511が表示され、またヒヤリハット詳細ページ550内に前述の事例説明欄42が表示される。また、この編集画面中のヒヤリハット詳細ページ550では、まず一次的に
図19に示すようにヒヤリハット状況欄55がプロセッサ210の制御により組み込まれる。その後、
図20に示すように、該当するヒヤリハット検知情報(すなわち編集ボタン37が押されたヒヤリハット検知情報)に対応する、前述のヒヤリハット事例再現CG44が組み込まれて表示される。事例説明欄42及びヒヤリハット事例再現CG44は前述のヒヤリハット概略ページ410と同一の内容であり、一方が変更されるともう一方にも反映される。
【0087】
図20に示した状態から、ユーザによる操作部6bの操作によってヒヤリハット状況欄55に、当該ヒヤリハット事例の発生状況を説明する詳細なテキスト文章が記入された状態の一例を
図21に示す。
図21に示すように、この例では、前述の例に沿い、「■ヒヤリハットの状況」を表題とする囲み欄の中に、「ショベル旋回時に現場作業員と激突しそうになった。バケットは現場作業員が押していた台車に接触し止まった。」「建機オペレータホーン・安全確認を怠っていた。」の2文章が記載されている。なお、ヒヤリハット状況欄55のタイトル「■ヒヤリハットの状況」も、例えば「災害の状況」等、任意に変更可能としてもよい。このように、プロセッサ210の制御による初期提示内容に対し、ユーザ操作によって追記が行われることでヒヤリハット事例に係わる情報の高精度化を図ることができる。
【0088】
<ヒヤリハット対策ページの編集>
上記ヒヤリハット詳細ページ550に続いてテンプレートTに含まれる、ヒヤリハット対策ページ570の編集画面を
図22~
図24に示す。
【0089】
図22及び
図23に示すように、この編集画面では、前述と同様、上部に編集ツール表示部511が表示され、またヒヤリハット対策ページ570内に前述の対策説明欄58と、対策説明イラスト欄59が表示される。また、この編集画面中のヒヤリハット対策ページ570では、まず対策説明欄58及び対策説明イラスト欄59(いずれも中身は空)がプロセッサ210の制御により組み込まれる。その後、対策説明イラスト欄59には、
図22に示すように、該当するヒヤリハット検知情報(すなわち前述の編集ボタン37が押されたヒヤリハット検知情報)に対応する対応策(又はその一部)を表す図像がプロセッサ210の制御により組み込まれて初期的に表示される。
図22の例では、対応策の一部を表す図像として油圧ショベルの図像と、それを取り囲むエリアを表す四角形の4辺を表す直線図像とが対策説明イラスト欄59に表示されている。
【0090】
図22に示した状態から、ユーザによる操作部6bの操作によって対策説明欄58に、当該ヒヤリハット事例に対して既に行われた対策(又は行うべき対策)を説明するテキスト文章が記入された状態の一例を
図23に示す。この例では、「作業エリアを設定し、コーンなどで区切って立ち入り禁止エリアを設定する。」「オペレータは動作の始まり時にホーンを鳴らし、指差呼称を行うことを徹底する。」の2文章が記載されている。
【0091】
そしてまた
図23に示すように、この編集画面では、操作部6bの適宜の操作により、イラスト編集ダイアログ571を表示させることができる。図示のように、この例では、イラスト編集ダイアログ571中に、人の指差し状態の図像等の安全確認系のイラスト、コーンの図像等の環境整備系のイラスト、操作端末6等に保存されている写真の3種類が選択挿入可能に表示されている。なお図示及び詳細な説明を省略するが、安全確認系のその他のイラストとしては、チェックリストを点検している状況を表す図像等が考えられ、環境整備系のイラストとしては、安全柵や塀やロープなどを表す図像等が考えられる。ユーザは、操作部6bにおける適宜の操作により、これらの少なくとも1つを、対策説明イラスト欄59中に新規に表示又は追記することで、対策説明イラスト欄59の内容を変更可能となっている。なお、この変更として、いったん前述のイラスト編集ダイアログ571を用いて対策説明イラスト欄59に挿入した内容を、さらに別のイラストに差し替えることも可能になっている。
【0092】
図24に、上記イラスト編集ダイアログ571中のコーンの図像を用いて、対策説明イラスト欄59の修正を行った例を示す。図示のように、
図23に示した油圧ショベルの図像を取り囲むエリアを表す四角形の四隅それぞれに対し、コーンの図像が追加されることで、対策説明欄58に記載した内容と合致するイラストが完成されている。このように、プロセッサ210の制御による初期提示内容に対し、ユーザ操作によって追記が行われることでヒヤリハット事例に係わる情報の高精度化を図ることができる。
【0093】
<事例レポートの別例>
以下、ヒヤリハットレポートの別例を
図25(a)~(f)及び
図26~
図29により説明する。前述と同等の部分には同一の符号を付し、適宜説明を省略する。このヒヤリハットレポートは、建設機械としてホイールローダが用いられた場合の例である。この例でのヒヤリハットレポートは、前述と同様、
図25(a)に示す表紙ページ600と、
図25(b)に示すヒヤリハット概略ページ610と、
図25(c)に示すヒヤリハット映像ページ630と、
図25(d)に示すヒヤリハット詳細ページ650と、
図25(e)に示すヒヤリハット対策ページ670と、
図25(f)に示す裏表紙ページ690の6ページ構成となっている。これら各ページ610,630,650,670,690の詳細を、
図26、
図27、
図28、
図29にそれぞれ示す。
【0094】
図26に示すヒヤリハット概略ページ610には、前述の
図7のヒヤリハット概略ページ410と同様、ヒヤリハット類型分類欄41と、事例説明欄42と、タイムスタンプ43と、ヒヤリハット事例再現CG44とが、含まれている。ヒヤリハット事例再現CG44では、建設機械3(この例ではホイールローダ。以下同様)の図像に走行中であることを表す左向きの矢印が付されて表記されるとともに、その左側に乗用車の図像が表記され、さらにその乗用車が接触したことを表す図像も表記されている。また図示では、当該ヒヤリハット事例が発生したときの状態量の一例として、建設機械3の走行速度「時速30km」が表記されている。
【0095】
図27に示すヒヤリハット映像ページ630には、前述のヒヤリハット映像ページ430と同様、映像48と、注目サークル49と、ヒヤリハット発生アイコン50とが、含まれている。注目サークル49では、前述の例に沿い、建設機械3に相対的に接触してきた乗用車の実像位置を囲むように表記されている。
【0096】
図28に示すヒヤリハット詳細ページ650には、前述のヒヤリハット概略ページ610と共通の事例説明欄42及びヒヤリハット事例再現CG44と、ヒヤリハット状況欄55とが含まれている。ヒヤリハット状況欄55は、前述の例に沿い、「道路を駐機場から現場Aに向かって走行中に、一般乗用車と接触した。」「一般乗用車は中央の白線を踏んでいた」の2文章が記載されている。
【0097】
図29に示すヒヤリハット対策ページ670には、前述のヒヤリハット対策ページ470と同様、対策説明欄58と、対策説明イラスト欄59とが含まれている。対策説明欄58には、前述の例に沿い、「交通量の少ない時間帯(例えば5:30以前の早朝)にあらかじめ移動を行う。ショッピングモールAの営業時間をさける。(早朝推奨)または、大きく迂回して現場間を移動させる。」の2文章が記載されている。対策説明イラスト欄59には、上記対策説明欄58に記載された対策を表すイラストが表記される。図示では、前述の例に沿い、まだ暗い早朝時間帯の写真を背景に、走行する建設機械の図像が表記されている。
【0098】
<事例レポートの別例を作成するためのテンプレート>
上記構成のヒヤリハットレポートの作成するために使用されるテンプレートの例を、前述の
図11(a)及び
図11(b)に対応する
図30(a)及び
図30(b)にそれぞれ示す。
図30(a)に示す例のテンプレートTは、上記
図25(a)~(f)に示したヒヤリハットレポートを作成するためのものであり、前述の各ページ600,610,630,650,670,690にそれぞれ対応する、表紙ページ700、ヒヤリハット概略ページ710、ヒヤリハット映像ページ730、ヒヤリハット詳細ページ750、ヒヤリハット対策ページ770、裏表紙ページ790の6ページ構成となっている。
図30(b)に示す別の例のテンプレートTは、上記
図30(a)に示したテンプレートTからヒヤリハット映像ページ730が省略された、表紙ページ700、ヒヤリハット概略ページ710、ヒヤリハット詳細ページ750、ヒヤリハット対策ページ770、裏表紙ページ790の5ページ構成となっている。
【0099】
【0100】
この例においても、前述の
図12に示したヒヤリハット検知情報の一覧画面595でいずれかのヒヤリハット検知情報の編集ボタン37が押されると、
図13と同様の割り込みウィンドウ596が表示される。割り込みウィンドウ596中のドロップダウンリスト611に表示された大まかな類型の中で、この例ではユーザにより「交通事故」が選択されている。
【0101】
<ヒヤリハット概略ページの編集>
図31は、上記「交通事故」が選択されたときに、対応するテンプレートTに含まれるヒヤリハット概略ページ710の編集画面を示している。この編集画面では、ヒヤリハット概略ページ710の上部に前述と同様の編集ツール表示部711が表示される(以下に示す他の編集画面も同様)。この編集画面中のヒヤリハット概略ページ710には、ヒヤリハット類型分類欄41欄に「交通事故」が表示されている。そしてその下部に表示されるドロップダウンリスト712では、「交通事故」に対応して「停車中に他車が追突」「道路で乗用車と接触」「歩道の歩行者と接触」、等が表示されており、ユーザによるカーソル713の操作によって「道路で乗用車と接触」が選択されている。
図32は上記選択が確定して、事例説明欄42に「道路で乗用車と接触」が表記された状態を示す。
【0102】
図33は、
図16と同様のCG編集ダイアログ714が表示された状態を示しており、前述と同様、CG編集ダイアログ714中に、人の図像、コーンの図像、動物の図像の3つが選択可能に表示されている。
【0103】
<ヒヤリハット映像ページの編集>
上記の例のテンプレートTに含まれる、ヒヤリハット映像ページ730の編集画面を
図34及び
図35に示す。これらの編集画面中のヒヤリハット映像ページ730には、該当するヒヤリハット検知情報に対応する映像48が表示され、この例ではホイールローダから見て接近してくる前述の乗用自動車が映し出されている。前述と同様、初期的に決められた
図34における注目サークル49及びヒヤリハット発生アイコン50の位置、及びシークバー51において黒抜きで表されるトリガー動画の切り抜き範囲が、ユーザの編集操作によって
図35の位置へ変更されている。
【0104】
<ヒヤリハット詳細ページの編集>
上記の例のテンプレートTに含まれる、ヒヤリハット詳細ページ750の編集画面を
図36~
図38に示す。これら編集画面中のヒヤリハット詳細ページ750では、前述と同様、まず一次的に
図36に示すヒヤリハット状況欄55が組み込まれた後、
図37に示すように、該当するヒヤリハット検知情報に対応する前述のヒヤリハット事例再現CG44が組み込まれて表示される。
図37に示した状態からユーザ操作によってヒヤリハット状況欄55に書き込みが行われることで、
図38に示すように、前述したヒヤリハットの状況を表す文章が記載されている。
【0105】
<ヒヤリハット対策ページの編集>
上記の例のテンプレートTに含まれる、ヒヤリハット対策ページ770の編集画面を
図39~
図41に示す。対策説明イラスト欄59には、前述と同様、該当するヒヤリハット検知情報に対応する対応策(又はその一部)を表す図像が初期的に表示される。
図39の例では、対応策の一部を表す図像としてホイールローダの図像が対策説明イラスト欄59に表示されている。
【0106】
図39に示した状態から、ユーザ操作によって対策説明欄58に、当該ヒヤリハット事例に対して既に行われた対策(又は行うべき対策)が記入される。この例では、
図40に示すように、前述した対応策を表す文章が記載されている。また
図40の編集画面では、前述と同様のイラスト編集ダイアログ571中に、安全確認系のイラスト、環境整備系のイラスト、保存されている写真が選択挿入可能に表示されている。
【0107】
図41に、上記イラスト編集ダイアログ771中の写真(早朝の写真)を用いて、対策説明イラスト欄59の修正を行った例を示す。図示のように、
図40に示したホイールローダの背景にまだ暗い早朝時間帯の街並みの写真が追加されることで、対策説明欄58に記載した前述の内容と合致するイラストが完成されている。
【0108】
<制御フロー>
本実施形態における以上の手法を実現するために、前述の情報処理プログラムに基づき主サーバ4のプロセッサ210が副サーバ5のプロセッサ310と協働して実行する制御手順を、
図42及び
図43のフローチャートにより説明する。但し、以下は一例として各手順をプロセッサ210が実行するものとして説明するが、これに限られない。すなわち、主サーバ4のプロセッサ210が主体となって下記のうち少なくとも1つの手順を実行し副サーバ5のプロセッサ310がその実行に伴う指令に従う形で当該手順の制御を実現するようにしてもよいし、副サーバ5のプロセッサ310が主体となって下記のうち少なくとも1つの手順を実行し主サーバ4のプロセッサ210がその実行に伴う指令に従う形で当該手順の制御を実現するようにしてもよい。またそれら主サーバ4及び副サーバ5に限られず、少なくとも1つの手順を操作端末6のプロセッサが主体となって実行したり、操作端末6のプロセッサと、上記主サーバ4及び副サーバ5のプロセッサ210,310のうち少なくとも1つとが協働して実行するようにしてもよい。
【0109】
<テンプレートの作成>
まず、前述のテンプレートTを作成する処理について、
図42により説明する。
図42において、このフローは、
図3及び
図4に示した構成により主サーバ4にて建設機械3から随時ヒヤリハット検知情報が取得され、データベースDB1に格納済の状態において、開始される。なお、このフロー開始前のヒヤリハット検知情報が格納される処理を実行するプロセッサ210等が、データ取得部の一例として機能する。
【0110】
まずステップA1にて、ユーザにより、操作端末6の表示部6aに表示されたヒヤリハット検知情報一覧画面595の中の、編集ボタン37(
図12参照)が操作されたか否かが判定される。編集ボタン37が操作されたらYes判定され、ステップA2へ移行する。
【0111】
ステップA2では、取得済のヒヤリハット検知情報(上述のトリガー動画及び稼働情報を含む)がデータベースDB1からデータベースDB2へとコピーされる。
【0112】
その後、ステップA3で、データベースDB2にコピーされたヒヤリハット検知情報に基づき、検知対象(オブジェクト)の接近が検知された方角が判断される。具体的には、前述の複数の物体検知センサ119(
図4参照)のうち、主にどのセンサ119によって検知されたかにより上記判断が行われる。
【0113】
ステップA4では、ステップA3での判断結果に基づき、複数方向の物体検知センサ119のうち主に検知したセンサ119の検知方向に対応する撮像方向の上記カメラ118が特定され、そのカメラ118により撮影されたトリガー動画が必要なものとして認定され、抜粋(抽出)される。そして、その抽出されたトリガー動画に対応するヒヤリハット事例再現CG44が公知の手法で作成された後、テンプレートTに貼り付けられるものとして仮設定され一時的に適宜の箇所に保存される。なお、トリガー動画そのものも、後述の映像48として適宜のタイミングでテンプレートT内に初期的に組み込まれる(後述の
図17、
図34等参照)。
【0114】
その後、ステップA5において、ヒヤリハット検知情報に含まれる機種情報34(
図12も参照)に基づき、想定されるヒヤリハット事例の類型が一次的に推定される。この類型の推定は、予め例えばデータベースDB1,DB2に記憶済の類型分類テーブルに基づいて行われる。
【0115】
上記類型分類テーブルの一例を
図44を用いて説明する。
図44において、この類型分類テーブルは、上記運営者によって作成されるかあるいは国や地方公共団体や業界団体等が適宜に定めたものが予め用意され、記憶されている。この例では、建設機械3が油圧ショベルの場合は、大分類として「墜落」「激突され」「落下」「挟まれ」の4つの類型が用意されており、建設機械3がホイールローダの場合は、大分類として「交通事故(道路)」「激突され」「挟まれ・巻き込まれ」の3つの類型が用意されており、各大分類の類型に対してさらに図示の小分類の類型がそれぞれ対応付けられている。なお、この類型分類テーブルもまた、自明情報の一例を構成している。
【0116】
ステップA5では、機種情報34に基づき、上記類型分類テーブルを用いて、想定されるヒヤリハット事例の類型の大分類が複数個特定(推定)される。例えば油圧ショベルから取得されたヒヤリハット検知情報であれば、想定されるヒヤリハット事例の大分類の類型は「墜落」「激突され」「落下」「挟まれ」のどれかであると特定(推定)される。例えばホイールローダから取得されたヒヤリハット検知情報であれば、想定されるヒヤリハット事例の大分類の類型は「交通事故(道路)」「激突され」「挟まれ・巻き込まれ」のどれかであると推定される。そしてその後のステップA6で、引き続き上記
図44のテーブルを利用して、上記ヒヤリハット検知情報に含まれる稼働情報に基づき、想定されるヒヤリハット事例の大分類の1つの類型が特定(推定)される。
【0117】
例えば
図6~
図10に示すヒヤリハットレポートを作成したヒヤリハット事例の場合は、上部旋回体104の旋回角速度が30[度/秒]、下部走行体103の走行速度が0.5[km/h]で推移していたところで、あるタイミングで急にどちらも0近くに減少したこと、その時点で対応する物体検知センサ119により物体の接近が検知されていたこと、等により、想定されるヒヤリハット事例の大分類の類型は「激突され」であると推定される。
【0118】
また例えば
図25~
図29に示すヒヤリハットレポートを作成したヒヤリハット事例の場合は、走行速度が30[km/h]で推移していたところで、あるタイミングで急に0近くに減少したこと、その時点で対応する物体検知センサ119により前方からの急速な接近が検知されていたこと、等により、想定されるヒヤリハット事例の大分類の類型は「交通事故(道路)」であると推定される。
【0119】
その後、ステップA7にて、ヒヤリハット検知情報に含まれる機種情報34(
図12も参照)に基づき、対応する建設機械3の外形図像のCG(例えば、ヒヤリハット事例再現CG44中に示されるもの)が生成される。
【0120】
その後、ステップA8において、上記ステップA6で推定されたヒヤリハット事例の大分類の類型に基づき、対応する1つのテンプレートTが作成される。このとき作成されるテンプレートTは、後述するユーザの編集前の初期状態の姿であり、ヒヤリハット事例の小分類の類型の特定まではなされていない。また、このテンプレートTは、ステップA4で仮設定されたヒヤリハット事例再現CG44が初期的に挿入されている。
【0121】
例えば
図6~
図10に示した例に係わるヒヤリハット検知情報に基づきテンプレートTが作成される場合、テンプレートTには、
図14に示す初期的な状態のヒヤリハット概略ページ510(但しヒヤリハット事例再現CG44は未挿入)の編集画面と、
図17に示すヒヤリハット映像ページ530の編集画面と、
図19に示すヒヤリハット詳細ページ550の編集画面と、
図22に示すヒヤリハット対策ページ570の編集画面(図中の対応策又はその一部を表すものとして例えばステップA7で生成した油圧ショベルの外形図像のCG入り)とが含まれる。
【0122】
例えば
図25~
図29に示した例に係わるヒヤリハット検知情報に基づきテンプレートTが作成される場合、テンプレートTには、
図31に示す初期的な状態のヒヤリハット概略ページ710(但しヒヤリハット事例再現CG44は未挿入)の編集画面と、
図34に示すヒヤリハット映像ページ730の編集画面と、
図36に示すヒヤリハット詳細ページ750の編集画面と、
図39に示すヒヤリハット対策ページ770の編集画面(図中の対応策又はその一部を表すものとして例えばステップA7で生成したホイールローダの外形図像のCG入り)とが含まれる。
【0123】
その後、ステップA9で、当該ヒヤリハット検知情報に対応する稼働現場(建設現場)の設計データが例えばデータベースDB1に格納されているか否かが判断される。設計データがない場合はそのまま後述のステップA11へ移行する。設計データがある場合は、ステップA10に移行して当該設計データがデータベースDB1から取得されると共に、当該設計データに基づく稼働現場の出来形を表すCG(図示省略)が生成された後、ステップA11へ移行する。
【0124】
ステップA11では、ヒヤリハット検知情報に含まれる物体検知信号において、接近検知されたのが人であったか(人の接近検知が含まれていたか)否かが判断される。人でない場合はそのまま後述のステップA13へ移行する。人であった場合はステップA12へ移行して人のアイコン図像(例えば、
図7のヒヤリハット事例再現CG44中に示される人の図像参照)のCGが生成された後、ステップA13へ移行する。
【0125】
ステップA13では、ヒヤリハット検知情報に含まれる物体検知信号において、接近検知されたのが物であった(物の接近検知が含まれていたか)か否かが判断される。物でない場合はそのまま後述のステップA15へ移行する。物であった場合はステップA14へ移行して対応する物のアイコン図像(例えば、
図7のヒヤリハット事例再現CG44中に示される台車の図像、
図26のヒヤリハット事例再現CG44に示される乗用車の図像参照)のCGが生成された後、ステップA13へ移行する。なお、物のアイコン図像の形状については、ステップA4で抜粋したトリガー動画に対する適宜の画像処理等に基づき対象の物がどのようなものであるかが特定され、その特定結果に基づき適宜にアレンジされる。
【0126】
ステップA15では、これまでに生成されたCG(建設機械、出来形、人のアイコン図像、物のアイコン図像等)が再現CGとしてテンプレートTの該当箇所に組み込まれ、テンプレートT(編集前の状態)が完成する。完成されたテンプレートTは、例えば副サーバ5のデータベースDB2に順次記憶され、後述の
図43のフローに示す処理において読み出されてレポート作成に使用されるまで、保存される。
【0127】
これにより、例えば
図6~
図10に示した例に係わるヒヤリハット検知情報に基づきテンプレートTが作成される場合、
図14に示すように、ヒヤリハット概略ページ510においてヒヤリハット事例再現CG44が挿入された状態となり、ヒヤリハット詳細ページ550の編集画面は
図19に示す状態から
図20に示すヒヤリハット事例再現CG44が挿入された状態となる。
【0128】
同様に、例えば
図25~
図29に示した例に係わるヒヤリハット検知情報に基づきテンプレートTが作成される場合、
図31に示すように、ヒヤリハット概略ページ710においてヒヤリハット事例再現CG44が挿入された状態となり、ヒヤリハット詳細ページ750の編集画面は
図36に示す状態から
図37に示すヒヤリハット事例再現CG44が挿入された状態となる。
【0129】
その後、ステップA16へ移行し、ステップA6で特定されたヒヤリハット事例の1つの大分類に含まれる、すべての小分類の類型についてテンプレートTが作成済みであるか否かが判断され、未作成のものがある場合は上記ステップA8に戻って同様の手順が繰り返される。すなわち、ステップA8~ステップA15の各処理は、ステップA6で特定された大分類の類型に含まれるすべての小分類の類型について、各小分類ごとに実行され、各小分類の数と同じ数のテンプレートTが作成される。上記の際、ステップA10,A12,A14における各処理は、当該小分類ごとに適合した内容の処理が行われる。
【0130】
例えば
図6~
図10に示した例に係わるヒヤリハット検知情報に基づきテンプレートTが作成される場合においては、大分類の類型は「激突され」であると推定されている。この場合、
図44の類型分類テーブルが参照されることで、小分類の類型としては「走行時に激突」「旋回時に作業員と激突」「吊荷に激突」「建機同士が激突」の4つがあることが判明するため、これらにそれぞれ対応した4つのテンプレートTが作成される。そして、例えば「走行時に激突」のテンプレートTが作成される場合は稼働現場のヒヤリハット事例ではないためステップA10のCG作成は行われない場合があり、「吊荷に激突」「建機同士が激突」のテンプレートTが作成される場合は衝突に人が関与しない状況であればステップA12のCG作成は行われない場合がある。
【0131】
例えば
図25~
図29に示した例に係わるヒヤリハット検知情報に基づきテンプレートTが作成される場合においては、大分類の類型は「交通事故(道路)」であると推定されている。この場合、
図44の類型分類テーブルが参照されることで、小分類の類型としては「停車中に他車が追突」「道路で乗用車と接触」「歩道の歩行者と接触」の3つがあることが判明するため、これらにそれぞれ対応した3つのテンプレートTが作成される。そして、これら3つの場合はいずれも稼働現場のヒヤリハット事例ではないためステップA10のCG作成は行われない場合があり、「停車中に他車が追突」「道路で乗用車と接触」のテンプレートTが作成される場合は当該交通事故に人が関与しない状況であればステップA12のCG作成は行われない場合があり、「歩道の歩行者と接触」のテンプレートTが作成される場合は当該交通事故に物が関与しない状況であればステップA14のCG作成は行われない場合がある。
【0132】
ステップA16において、ステップA6で特定されたヒヤリハット事例の大分類に含まれるすべての小分類の類型についてテンプレートTが作成済みであればYes判定され、後述の
図43のフローのステップB2へ移行する。
【0133】
なお、以上において、ステップA5,A6の処理を実行するプロセッサ210等が、事例推定部及び類型分類部の一例として機能する。なお、その際、上記の例では、それら事例推定部及び類型分類部としての機能では、主として自明情報の一例である上記機種情報34及び
図44の類型分類テーブルに基づき上記の推定及び分類処理を行ったが、これに限られない。すなわち、上記以外に、建設機械3のオプション機能情報や、稼働時における地域情報・時刻情報・天気情報や、オペレータ情報や、現場管理者情報、等も併せて用いて上記推定及び分類処理を行うようにしてもよい。なお、これら各種情報もまた、自明情報の一例を構成している。また、ステップA7~A16の処理を実行するプロセッサ210等が、テンプレート作成部の一例として機能する。そして、上記を含むステップA5~A16の処理全体を実行するプロセッサ210等が、レポート素案作成部の一例として機能する。
【0134】
<レポートの作成>
上記
図43のステップA16でYes判定されたら、上記のようにして作成したテンプレートTを用いて、ヒヤリハットレポートを作成する処理へと移行する。この処理を
図43のフローにより説明する。
【0135】
図43において、まず、ステップB2において、作成したテンプレートTの前述の大分類の類型に対応する、複数の小分類の類型が、操作端末6の表示部6aに表示される画面内においてユーザに提示される。例えば
図6~
図10に示した例に係わるヒヤリハット検知情報に基づきテンプレートTが作成されている場合は、
図14に示すヒヤリハット概略ページ510が表示部6aに表示される。そして、前述の大分類の類型「激突され」に対応した小分類の類型の候補として、「走行時に激突」「旋回時に作業員と激突」「吊荷に激突」「建機同士が激突」等が表示される。
図25~
図29に示した例に係わるヒヤリハット検知情報に基づきテンプレートTが作成されている場合は、
図31に示すヒヤリハット概略ページ510が表示部6aに表示される。そして、前述の大分類の類型「交通事故」に対応した小分類の類型の候補として、「停車中に他車が追突」「道路で乗用車と接触」「歩道の歩行者と接触」等が表示される。
【0136】
その後、ステップB3で、上記ステップB2で提示した小分類の類型の中から、ユーザによる選択がなされたか否かが判断される。選択されたらYes判定され、ステップB4へ移行する。
【0137】
ステップB4では、表示部6aの表示が、ステップB3で選択された類型に該当する1つのテンプレートTの編集画面に遷移する。この結果、当該テンプレートT中の各ページに対する編集が可能となる。
【0138】
具体的には、例えば
図6~
図10に示した例に係わるテンプレートTが作成されている場合は、テンプレートT中に含まれるヒヤリハット概略ページ510が、前述の
図14に示した初期状態から
図15に示す内容へと移行する。その結果、操作部6bにおける適宜の操作により、例えば
図16に示したCG編集ダイアログ514を用いて当該ヒヤリハット概略ページ510の内容の編集が可能となる。またテンプレートT中に前述の
図17に示した初期状態で含まれていたヒヤリハット映像ページ530において、注目サークル49及びヒヤリハット発生アイコン50を修正し
図18に示す内容へと編集可能となる。さらにテンプレートT中に前述の
図20に示した初期状態で含まれていたヒヤリハット詳細ページ550において、ヒヤリハット状況欄55に対し操作部6bを介して所望の文章を記載することで、前述の
図21に示す内容へと編集可能となる。さらにテンプレートT中に前述の
図22に示した初期状態で含まれていたヒヤリハット対策ページ570において、対策説明欄58に対し操作部6bを介し所望の文章を記載するとともにイラスト編集ダイアログ571を用いて対策説明イラスト欄59の内容を追記・変更し前述の
図24に示す内容へと編集可能となる。
【0139】
また例えば
図25~
図29に示した例に係わるテンプレートTが作成されている場合は、テンプレートT中に含まれるヒヤリハット概略ページ710が、前述の
図31に示した初期状態から
図32に示す内容へと移行する。その結果、操作部6bにおける適宜の操作により、例えば
図33に示したCG編集ダイアログ714を用いて当該ヒヤリハット概略ページ710の内容の編集が可能となる。またテンプレートT中に前述の
図34に示した初期状態で含まれていたヒヤリハット映像ページ730において、注目サークル49及びヒヤリハット発生アイコン50を修正し
図35に示す内容へと編集可能となる。さらにテンプレートT中に前述の
図37に示した初期状態で含まれていたヒヤリハット詳細ページ750において、ヒヤリハット状況欄55に対し操作部6bを介して所望の文章を記載することで、前述の
図38に示す内容へと編集可能となる。さらにテンプレートT中に前述の
図39に示した初期状態で含まれていたヒヤリハット対策ページ770において、対策説明欄58に対し操作部6bを介し所望の文章を記載するとともにイラスト編集ダイアログ771を用いて対策説明イラスト欄59の内容を追記・変更し前述の
図41に示す内容へと編集可能となる。
【0140】
上記のように操作端末6の操作部6bを介した各種編集が繰り返して行われ、その編集結果はその都度ステップB5において受け付けられ、前述のようにテンプレートTの内容に反映される。その際、既に述べたように、必要に応じてデータベースDB1,DB2内の情報の読み出しが行われると共に、編集に伴う修正後の内容は別途データベースDB1,DB2内に書き込まれて保存される。
【0141】
ステップB5の後は、ステップB6へ移行する。ステップB6では、上述のユーザ操作による編集が完了したか否かが判断される。具体的には、上記各ページ510,530,550,570の上部の編集ツール表示部511に含まれる「保存」ボタン、上記各ページ710,730,750,770の上部の編集ツール表示部711に含まれる「保存」ボタン、が操作されたか否かが判断される。「保存」ボタンが押されたらYes判定され、ステップB7へと移行する。
【0142】
ステップB7では、予め定められた編集必須項目が埋まっているか否かが判断される。例えば前述の例では、ヒヤリハット詳細ページ550,750のヒヤリハット状況欄55や、ヒヤリハット対策ページ570,770の対策説明欄58が、編集必須項目に設定されている。これらの欄が埋まっておらず空白のままの場合はNo判定され、ステップB8へ移行する。これらの欄が埋まっている場合は後述のステップB9へ移行する。
【0143】
ステップB8では、ステップB7で埋まっていないと判断された必須項目の内部領域に、編集を促す文章が注釈として表示される(図示省略)。その後、ステップB5へ戻って同様の手順が繰り返される。
【0144】
ステップB9では、テンプレートTに対する全ての編集作業が完了したとみなされて、当該編集によりテンプレートTの内容の完成度が高められたものがヒヤリハットレポートとして出力されるとともに、副サーバ5のデータベースDB2へと格納される。なお、出力の態様は、既に述べたように、端末6の表示部6aにおいて例えばスライド形式やアニメーション形式等で表示させたり、サーバ4,5又は端末6に接続された外部機器に対して適宜のファイル形式(pdfファイル等)で送信したり、サーバ4,5又は端末6に接続された適宜のプリンタ等により印刷することができる。その後、このフローを終了する。
【0145】
なお、以上において、ステップB4で、例えば
図14、
図16、
図23、
図31、
図33、
図40、等の各編集画面においてドロップダウンリスト512,712やCG編集ダイアログ514,714において選択肢を表示する処理を実行するプロセッサ210等が情報提示部の一例として機能する。またステップB5~B8においてユーザ操作による編集を受け付ける処理を実行するプロセッサ210等が編集受付部の一例として機能する。それらの機能を含む
図43のステップB2~ステップB8の処理を実行するプロセッサ210等が、レポート仕上げ部の一例として機能する。そして、ステップB9の処理を実行するプロセッサ210等が、レポート出力部の一例として機能する。
【0146】
<統計レポートの作成>
前述のようにして、取得されたヒヤリハット検知情報に基づき自動的にテンプレートT(編集される前)が作成される場合、ヒヤリハット検知情報には、実際にはヒヤリハット事例にはつながらない誤検知とも言える情報がある程度含まれる。一方、そのようにして作成されたテンプレートTに対し操作者の編集により修正されヒヤリハットレポートに組み込まれることになった各種データは、高い精度でヒヤリハット事例の要因となる情報である。そこで、本実施形態では、このような編集時に修正されヒヤリハットレポートに含まれている各種データを抽出してそれらに対し統計分析を行い、各ユーザごとの特性を洗い出した統計レポートの作成が併せて行われる。以下、そのような処理の詳細を
図45を用いて順を追って説明する。なお、前述と同様、以下は各手順をプロセッサ210が実行するものとして説明するが、主サーバ4のプロセッサ210が主体となって下記のうち少なくとも1つの手順を実行し副サーバ5のプロセッサ310がその実行に伴う指令に従う形で当該手順の制御を実現するようにしてもよいし、副サーバ5のプロセッサ310が主体となって下記のうち少なくとも1つの手順を実行し主サーバ4のプロセッサ210がその実行に伴う指令に従う形で当該手順の制御を実現するようにしてもよい。また、少なくとも1つの手順を操作端末6のプロセッサが主体となって実行したり、操作端末6のプロセッサと、上記主サーバ4及び副サーバ5のプロセッサ210,310のうち少なくとも1つとが協働して実行するようにしてもよい。
【0147】
図45において、上記統計レポートの作成を目的としてユーザが操作端末6の操作部6bを適宜に操作することで、このフローが開始される。なお、操作目的としては、上記統計レポートの作成のほか、ヒヤリハットレポート作成時にデータベースDB1,DB2内に蓄積済のヒヤリハット検知情報に含まれる稼働情報等の各種データへフィードバック(編集後のデータによる更新)して高精度化を図る場合もある。
【0148】
まずステップC1で、前述のように副サーバ5のデータベースDB2に格納されているヒヤリハットレポートが、取得される。
【0149】
その後、ステップC2において、ステップC1で取得されたヒヤリハットレポートについて、その編集の際に選択された前述の小分類の類型がタグとして抽出される。
【0150】
そして、ステップC3において、ステップC1で取得されたヒヤリハットレポートに含まれている、編集済みのトリガー動画(
図8及び
図27のヒヤリハット映像ページ430,630の映像48参照)が抽出される。
【0151】
ステップC4では、ステップC1で取得されたヒヤリハットレポートに含まれている、編集済みのすべての再現CG44(
図7及び
図26のヒヤリハット概略ページ410,610参照)が抽出される。
【0152】
ステップC5では、ステップC1で取得されたヒヤリハットレポートに含まれている、すべての稼働データ(例えば
図7及び
図26のヒヤリハット概略ページ410,610に注記されている、回転角速度30[度/秒]、走行速度0.5[km/h]等)が抽出される。
【0153】
ステップC6では、上記ステップC3,C4,C5で抽出した各データ(編集後の各データ。編集後情報の一例を構成する)が、ステップC2で抽出されたタグ(類型の小分類)とすべて紐づけられる。
【0154】
その後、ステップC7で、ステップC6で抽出されたデータ群が、もともとのヒヤリハット検知情報に含まれていたデータとは別に分けて、例えばデータベースDB1,DB2に格納される。これにより、ヒヤリハット検知情報に含まれていたがその後のユーザ操作によって編集されて高精度化されたデータが、もともとのヒヤリハット検知情報中のデータとは別に、ステップC2で取得したタグをキーにして整理された形で、データベースDB1,DB2に保存される。但しその際には、上記もともとのヒヤリハット検知情報中のデータ(編集前のトリガー動画や、車体情報、車体位置情報、物体検知信号を含む稼働情報)と何らかの形で対応付けて保存される。これにより、編集後のデータに素早くアクセスできるように図られるので、後に、別途経営・営業・サポート・研究などの別用途向けに使いやすくすることもできる。
【0155】
そして、ステップC8では、この時点までに、過去のステップC2~C7においてヒヤリハットレポートの小分類ごとにタグ付けされデータベースDB1,DB2内に格納済の、全ヒヤリハットレポートに含まれる前述のデータ群のうち、任意のデータ群を母集団として公知の手法により統計分析が行われる。すなわち、この統計分析は、当該ユーザに係わる過去の複数の事例レポートにわたるデータ群に対して行われる。
【0156】
このときの統計分析の例としては、いわゆるミクロ分析としては、以下のような分析が行われる。例えば道路工事のヒヤリハット事例において、小分類A→小分類B→小分類Cという順で生じるのが全国平均であったときに、ある業者Xの道路工事施工時において、小分類C→小分類A→小分類Bの順でヒヤリハット事例が発生したとする。道路工事では、小分類ごと発生頻度に業者ごとのばらつきが小さいことが分かっていた場合には、業者Xにおいては何か特有の事情があるであろうことが類推される。またマクロ分析としては、例えば国土交通省のような上位階層において統計的に把握されている事例内容と、本実施形態の情報処理システムで収集される事例内容との間で類型小分類の発生割合に乖離がある場合、本実施形態の情報処理システムの契約者には何か特有の事情があるであろうことが類推される。
【0157】
なお、上記の任意のデータ群のデータ範囲は、諸外国を含む世界単位や、日本国単位、都道府県単位等に設定変更できるようにしてもよいし、建設機械3から収集されるデータとは異なる、外部の参考データを母集団にすることもできるようにしてもよい。
【0158】
その後、ステップC9にて、ユーザごとの、前述の母集団との統計的な隔たりが、統計レポートとしてまとめられて出力される。言い換えれば、ユーザ別に、複数のヒヤリハット事例に基づく統計レポートが作成される。その際、前述の分析手法にバリエーションを加え、他の業者ではどうか?他の地方ではどうか?日本全国ではどうか?アジアではどうか?等、統計の規模・階層ごとに視点を変えて、顧客の立ち位置を分析できるような資料となる統計レポートを出力するようにしてもよい。
【0159】
そして、ステップC10では、前述の統計レポート中に含まれる各データの値と、対応する母集団における同一データの値との偏差(乖離度)が、ある閾値を超えたか否かが判断される。閾値を超えなかった場合はNo判定されてこのフローを終了する。閾値を超えた場合はYes判定されて後述のC11へ移行する。
【0160】
ステップC11では、当該ユーザに対して所定のアラート(警告)を通知する。具体的には、主サーバ4のプロセッサ210から操作端末6の表示部6aにおいてアラート表示が行われる。なお、これ以外に、通知する先を任意に設定しておくようにしてもよい。あるいは、主サーバ4に接続された運営者の端末(図示せず)にのみ通知したり、運営者の端末では見えないようにしつつ操作端末6のみ通知するようにしてもよい。さらには、データベースDB1,DB2内にログとして記録されるだけで具体的な宛先は設定しない、というようにしてもよい。
【0161】
なお、以上において、ステップC2~C7の処理を実行するプロセッサ210等が、情報蓄積部の一例として機能し、ステップC9の処理を実行するプロセッサ210等が、統計レポート作成部の一例として機能し、ステップC11の処理を実行するプロセッサ210等が、警告通知部の一例として機能する。
【0162】
<実施形態の効果>
以上のように構成された本実施形態の建設機械の情報処理システム1においては、建設機械3が稼働したときの稼働情報及び稼働中に撮影された映像のうち、予め定められた基準に合致したものがヒヤリハット事例に係わるヒヤリハット検知情報として検知される。検知されたヒヤリハット検知情報は主サーバ4により取得され、データベースDB1,DB2に記憶される。そして、その取得されたヒヤリハット検知情報に基づき、対応するヒヤリハット事例の内容が推定され、
図42に示すステップA3~A16により、その推定された内容をレポートとしてまとめるためのテンプレートTが作成される。
【0163】
作成されたこのテンプレートTに対し、
図43のステップB2~B8による仕上げが行われる。すなわち、ユーザの適宜の操作により操作端末6との間で情報送受信が行われたり、データベースDB1,DB2への情報読み書きが行われて、上記ヒヤリハット検知情報中の稼働情報及びトリガー動画の取捨選択や編集が行われる(ステップB5,B8参照)。これらの結果、上記テンプレートTの完成度が高められ、ヒヤリハットレポートが完成する。完成されたヒヤリハットレポートは
図43のステップB9において出力される。
【0164】
以上のように、本実施形態によれば、予め建設機械3側から取得された各種情報に基づきテンプレートTが自動的に作成され、ユーザは、操作端末6を介しそのテンプレートTに対し適宜に手を加えるだけで、ヒヤリハットレポートを完成させることができる。この結果、レポート作成のための労力を大きく低減できるので、ヒヤリハットレポートを容易に作成可能となる。
【0165】
また、本実施形態では特に、
図42のステップA5,A6において、前述のようにして取得されたヒヤリハット検知情報とそれから導かれる自明情報とに基づき、対応するヒヤリハット事例が推定される。さらにその後、ステップA5,A6では、上記のようにして推定されたヒヤリハット事例が、予め定めた複数の類型大分類に分類される。そしてステップA7~A16において、複数の大分類のうち上記ヒヤリハット事例の類型に対応する1つの大分類に沿ったテンプレートTが用意され、それに対応する上記稼働情報やトリガー動画が割り当てられる。
【0166】
その後、本実施形態においてはさらに、テンプレートTの仕上げが行われる。すなわちユーザが操作端末6を介し、上記テンプレートTに対し適宜に編集操作を行い(ステップB5~B8参照)、その編集操作に対応した稼働情報やトリガー動画の修正が行われることで、テンプレートTの完成度が高められて、ヒヤリハットレポートが完成する。本実施形態によれば、ヒヤリハット事例の類型に応じたテンプレートTが自動的に作成されるので、ユーザは、操作端末6を介しそのテンプレートTに対し適宜に編集を行うだけで、ヒヤリハットレポートを簡単に完成させることができる。
【0167】
また、本実施形態では特に、テンプレートTに対し前述の編集操作を受け付けるに際し、
図43のステップB4において、編集の候補となる情報が操作端末6の表示部6aに表示される。これにより、ユーザは、その表示された情報を見て、修正したい内容について操作端末6を適宜に操作し、編集を行うことができる。その編集操作は、ステップB5~B8によって受け付けられ、反映される。本実施形態によれば、編集できる情報が操作端末6において予め選択肢として提示されるので、ユーザは容易かつ円滑にテンプレートT中の情報内容の修正を行うことができる。
【0168】
また、本実施形態では特に、テンプレートT中に、建設機械3の姿勢又は動作挙動を表す第1CG画像データ、建設機械3と物体との位置関係を表す第2CG画像データ、施工現場の出来形の背景を表す第3CG画像データ、等が含まれる(いずれもヒヤリハット事例再現CG44参照)。その結果、ユーザは、より具体的で視覚的に分かりやすい形のヒヤリハットレポートを、簡単に作成することができる。
【0169】
また、本実施形態では特に、
図45のステップC2~C7において、ユーザにより編集操作がなされた後の各種情報が、元々の対応する稼働情報、トリガー動画、物体検知情報等と紐づけた状態でデータベースDB1,DB2に蓄積される。これにより、高精度にヒヤリハット事例に結びつく有用な情報を、それ以外の情報と区別した形で保管しておくことができる。
【0170】
また、本実施形態では特に、前述のようにして蓄積した情報を用いて統計レポートの作成が行われる。すなわち、まず、データベースDB1,DB2に蓄積された情報に基づく母集団データに対し、適宜の手法により統計分析が行われる。そして、その統計分析の結果に基づき、
図45のステップC9において、ユーザ別に、ヒヤリハット事例に基づく統計レポートが作成される。これにより、ユーザは、自らのヒヤリハット事例が統計的に見てどのような状況や位置づけにあるのか、を把握することができる。
【0171】
そして本実施形態においてはまた、ステップC11において、上記統計レポート中のデータが対応する母集団データからどれくらい乖離しているかに応じて、操作端末6に対し警告通知が行われる。これにより、ユーザは、例えば自らのヒヤリハット事例が統計的に見て有意に異常な状態である場合に、そのことを確実に認識することができる。
【0172】
<解決しようとする課題や発明の効果について>
なお、発明が解決しようとする課題や発明の効果は、前記した内容に限定されるものではない。すなわち、本発明によって、上述されていない課題を解決したり、上述されていない効果を奏することもでき、また、記載されている課題の一部のみを解決したり、記載されている効果の一部のみを奏することがある。
【0173】
<形状、数値、構造、時系列について>
実施の形態や図面において例示した構成要素に関して、形状、数値、又は複数の構成要素の構造若しくは時系列の相互関係については、本発明の技術的思想の範囲内において、任意に改変及び改良することができる。
【0174】
<その他>
以上において、
図3中に示す矢印は信号の流れの一例を示すものであり、信号の流れ方向を限定するものではない。
【0175】
また、
図42、
図43、
図45に示すフローチャートは本発明を上記フローに示す手順に限定するものではなく、発明の趣旨及び技術的思想を逸脱しない範囲内で手順の追加・削除又は順番の変更等をしてもよい。すなわち、上記手順の少なくとも一部を削除又は変更してもよいし、上記以外の手順を追加してもよい。また、上記手順の少なくとも一部の順番を変更してもよいし、複数の手順が単一の手順にまとめられてもよい。
【0176】
また、以上既に述べた以外にも、上記実施形態や各変形例による手法を適宜組み合わせて利用しても良い。
【0177】
その他、一々例示はしないが、本発明は、その趣旨を逸脱しない範囲内において、種々の変更が加えられて実施されるものである。
【符号の説明】
【0178】
1 情報処理システム
3 建設機械
4 主サーバ
5 副サーバ
6 操作端末
6a 表示部
6b 操作部
12 車体情報取得部
13 物体検知部
14 トリガー発信部
16 映像記録部
17 映像処理部
18 撮像部
20 トリガー動画記憶部
37 編集ボタン
44 ヒヤリハット事例再現CG
48 映像
58 対策説明欄
59 対策説明イラスト欄
118 カメラ
119 物体検知センサ
128 回転数センサ
129 角度センサ
210 プロセッサ
310 プロセッサ
430 ヒヤリハット映像ページ
450 ヒヤリハット詳細ページ
470 ヒヤリハット対策ページ
530 ヒヤリハット映像ページ
550 ヒヤリハット詳細ページ
570 ヒヤリハット対策ページ
600 ヒヤリハット検知情報一覧画面
630 ヒヤリハット映像ページ
650 ヒヤリハット詳細ページ
670 ヒヤリハット対策ページ
730 ヒヤリハット映像ページ
750 ヒヤリハット詳細ページ
770 ヒヤリハット対策ページ
DB1 データベース
DB2 データベース
T テンプレート