知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024007270
(43)【公開日】2024-01-18
(54)【発明の名称】操作監視システムおよび操作監視方法
(51)【国際特許分類】
H04N 7/18 20060101AFI20240111BHJP
G08B 25/00 20060101ALI20240111BHJP
G08B 21/00 20060101ALI20240111BHJP
G08B 21/06 20060101ALI20240111BHJP
E02F 9/24 20060101ALI20240111BHJP
E02F 9/26 20060101ALI20240111BHJP
E02F 9/16 20060101ALI20240111BHJP
【ＦＩ】
H04N7/18 D
G08B25/00 510M
G08B21/00 U
G08B21/06
E02F9/24 Z
E02F9/26 B
E02F9/16 A
【審査請求】未請求
【請求項の数】5
【出願形態】ＯＬ
(21)【出願番号】P 2022108664
(22)【出願日】2022-07-05
【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り （１）令和３年８月１１日付けの日本経済新聞に掲載 （２）令和３年８月１１日に株式会社日本経済新聞社のウェブサイト（ｈｔｔｐｓ：／／ｗｗｗ．ｎｉｋｋｅｉ．ｃｏｍ／ａｒｔｉｃｌｅ／ＤＧＫＫＺＯ７４６６４８７０Ｑ１Ａ８１０Ｃ２ＴＢ１０００／）において公開 （３）令和３年８月１６日に大成建設株式会社のウェブサイト（ｈｔｔｐｓ：／／ｗｗｗ．ｔａｉｓｅｉ．ｃｏ．ｊｐ／ａｂｏｕｔ＿ｕｓ／ｗｎ／２０２１／２１０８１６＿８４１１．ｈｔｍｌ）において公開 （４）令和３年８月２５日にＹｏｕＴｕｂｅのウェブサイト（ｈｔｔｐｓ：／／ｗｗｗ．ｙｏｕｔｕｂｅ．ｃｏｍ／ｗａｔｃｈ？ｖ＝ｔｊＶｏＦｇｓＩ０ＭＵ）において公開 （５）令和３年１２月２８日に株式会社ＩＩＵのウェブサイト（ｈｔｔｐｓ：／／ａｉｍｏｓ－ｐｒｏｍｏｔｉｏｎ．ｃｏｍ／ｓｅｒｖｉｃｅｓ－ｓａｆｅｔｙ．ｈｔｍｌ）において公開 （６）令和３年１０月２２日にＹｏｕＴｕｂｅのウェブサイト（ｈｔｔｐｓ：／／ｗｗｗ．ｙｏｕｔｕｂｅ．ｃｏｍ／ｗａｔｃｈ？ｖ＝ＷｃＤ５２ＯＣＩＺＥ４＆ｔ＝２６ｓ）において公開
(71)【出願人】
【識別番号】000206211
【氏名又は名称】大成建設株式会社
(74)【代理人】
【識別番号】110001807
【氏名又は名称】弁理士法人磯野国際特許商標事務所
(72)【発明者】
【氏名】西山 恭平
(72)【発明者】
【氏名】長峰 春夫
(72)【発明者】
【氏名】若山 真則
【テーマコード（参考）】
2D015
5C054
5C086
5C087
【Ｆターム（参考）】
2D015EB01
2D015HA03
5C054CA04
5C054CC02
5C054DA09
5C054FC12
5C054FC13
5C054FE14
5C054HA19
5C086AA22
5C086AA23
5C086BA22
5C086CA12
5C086CA25
5C086CA28
5C086CB16
5C086CB36
5C086DA33
5C086EA08
5C086EA13
5C086FA02
5C086FA06
5C086FA17
5C087AA19
5C087AA32
5C087AA37
5C087DD03
5C087DD14
5C087FF01
5C087FF02
5C087FF04
5C087FF13
5C087GG02
5C087GG08
5C087GG31
5C087GG35
5C087GG59
5C087GG70
(57)【要約】
【課題】建設機械の操作に対する実効性の高い監視を行うことができる、操作監視システムおよび操作監視方法を提供する。
【解決手段】建設機械の操作を監視する操作監視システム１であって、操作室内を撮影する撮影部１２と、撮影部１２によって撮影された画像データに基づいて前記操作室の状況を判定する判定部１４ａとを備える。判定部１４ａは、前記画像データに写る操作者の骨格の位置を示す骨格座標と、前記画像データに写る操作関連物の位置を示す操作関連物座標とを取得し、前記骨格座標および前記操作関連物座標に基づいて異常を検知する。
【選択図】図１
【解決手段】建設機械の操作を監視する操作監視システム１であって、操作室内を撮影する撮影部１２と、撮影部１２によって撮影された画像データに基づいて前記操作室の状況を判定する判定部１４ａとを備える。判定部１４ａは、前記画像データに写る操作者の骨格の位置を示す骨格座標と、前記画像データに写る操作関連物の位置を示す操作関連物座標とを取得し、前記骨格座標および前記操作関連物座標に基づいて異常を検知する。
【選択図】図１
【特許請求の範囲】
【請求項1】
建設機械の操作を監視する操作監視システムであって、
操作室内を撮影する撮影部と、
前記撮影部によって撮影された画像データに基づいて前記操作室の状況を判定する判定部と、を備え、
前記判定部は、前記画像データに写る操作者の骨格の位置を示す骨格座標と、前記画像データに写る操作関連物の位置を示す操作関連物座標とを取得し、前記骨格座標および前記操作関連物座標に基づいて異常を検知する、
ことを特徴とする操作監視システム。
操作室内を撮影する撮影部と、
前記撮影部によって撮影された画像データに基づいて前記操作室の状況を判定する判定部と、を備え、
前記判定部は、前記画像データに写る操作者の骨格の位置を示す骨格座標と、前記画像データに写る操作関連物の位置を示す操作関連物座標とを取得し、前記骨格座標および前記操作関連物座標に基づいて異常を検知する、
ことを特徴とする操作監視システム。
【請求項2】
前記異常を検知した場合に警報を発する警報部、および異常を検知した場合に前記建設機械を停止させる緊急停止部の一方または双方をさらに備える、ことを特徴とする請求項１に記載の操作監視システム。
【請求項3】
前記異常を検知した場合の画像データを蓄積するデータ蓄積部と、
前記データ蓄積部から前記操作者の情報を取得して画面に表示する確認用の端末と、を備える、
ことを特徴とする請求項１に記載の操作監視システム。
前記データ蓄積部から前記操作者の情報を取得して画面に表示する確認用の端末と、を備える、
ことを特徴とする請求項１に記載の操作監視システム。
【請求項4】
前記撮影部および前記判定部の一方または双方は、ポータブルバッテリーまたは前記建設機械が備える給電端子からケーブルを介して給電される、
ことを特徴とする請求項１に記載の操作監視システム。
ことを特徴とする請求項１に記載の操作監視システム。
【請求項5】
建設機械の操作を監視する操作監視方法であって、
操作室内を撮影する撮影工程と、
前記撮影工程によって撮影された画像データに基づいて前記操作室の状況を判定する判定工程と、を有し、
前記判定工程では、前記画像データに写る操作者の骨格の位置を示す骨格座標と、前記画像データに写る操作関連物の位置を示す操作関連物座標とを取得し、前記骨格座標および前記操作関連物座標に基づいて異常を検知する、
ことを特徴とする操作監視方法。
操作室内を撮影する撮影工程と、
前記撮影工程によって撮影された画像データに基づいて前記操作室の状況を判定する判定工程と、を有し、
前記判定工程では、前記画像データに写る操作者の骨格の位置を示す骨格座標と、前記画像データに写る操作関連物の位置を示す操作関連物座標とを取得し、前記骨格座標および前記操作関連物座標に基づいて異常を検知する、
ことを特徴とする操作監視方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、操作監視システムおよび操作監視方法に関する。
【背景技術】
【0002】
現在、建設機械と周囲の作業員との接触を防止する技術が開発・実用化されている。例えば、建設機械との接触を物理的に防止する器具、作業員の接近をセンサを用いて検出する警報装置などが知られている。この接触防止技術の基本的な考え方は、作業中の建設機械と周囲の作業員との離隔距離の確保である。しかしながら、この接触防止技術のみでは、建設機械を操作する操作者のヒューマンエラーに起因する災害や、不安全行動による災害を防止することが難しい。
また、人の行動を計測するための技術の開発も進められている。例えば、人の顔を撮影して心理状態の変化を定量的に計測する技術や、人の体にマーカを取り付けて各部の変位を計測する技術などが知られている（特許文献１参照）。これらの技術を用いれば、例えば車両を運転する運転者の行動を監視することが可能である。
また、人の行動を計測するための技術の開発も進められている。例えば、人の顔を撮影して心理状態の変化を定量的に計測する技術や、人の体にマーカを取り付けて各部の変位を計測する技術などが知られている（特許文献１参照）。これらの技術を用いれば、例えば車両を運転する運転者の行動を監視することが可能である。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２００５－２６７２５８号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
このように人の行動を監視する技術は存在するものの、建設機械は、操作が特殊であったり、操作中の行動に制限が多かったりと、一般的な車両とは異なる事情が存在し、一般的な車両における技術をそのまま適用することが難しい。そのため、操作者のヒューマンエラーや不安全行動に起因する災害のリスクを抑制するための技術の開発が望まれている。
このような観点から、本発明は、建設機械の操作に対する実効性の高い監視を行うことができる、操作監視システムおよび操作監視方法を提供する。
このような観点から、本発明は、建設機械の操作に対する実効性の高い監視を行うことができる、操作監視システムおよび操作監視方法を提供する。
【課題を解決するための手段】
【0005】
本発明に係る操作監視システムは、建設機械の操作を監視する操作監視システムである。この操作監視システムは、操作室内を撮影する撮影部と、前記撮影部によって撮影された画像データに基づいて前記操作室の状況を判定する判定部とを備える。前記判定部は、前記画像データに写る操作者の骨格の位置を示す骨格座標と、前記画像データに写る操作関連物の位置を示す操作関連物座標とを取得し、前記骨格座標および前記操作関連物座標に基づいて異常を検知する。操作監視システムは、前記異常を検知した場合に警報を発する警報部、および異常を検知した場合に前記建設機械を停止させる緊急停止部の一方または双方を備えるのがよい。
本発明に係る操作監視システムにおいては、操作室を撮影した画像データから操作者の行動を判定できるので、操作者の不安全行動や異常行動を検知することができる。また、画像データから操作者の装備の状況や操作室に備え付けられる物の状況を判定できるので、操作者のヒューマンエラーを検知することができる。そのため、災害の原因となる多くの事象に対して警告や緊急停止などの対応を行うことができ、建設機械の操作に対する実効性の高い監視を行うことが可能である。
本発明に係る操作監視システムにおいては、操作室を撮影した画像データから操作者の行動を判定できるので、操作者の不安全行動や異常行動を検知することができる。また、画像データから操作者の装備の状況や操作室に備え付けられる物の状況を判定できるので、操作者のヒューマンエラーを検知することができる。そのため、災害の原因となる多くの事象に対して警告や緊急停止などの対応を行うことができ、建設機械の操作に対する実効性の高い監視を行うことが可能である。
【0006】
前記異常を検知した場合の画像データを蓄積するデータ蓄積部と、前記データ蓄積部から前記操作者の情報を取得して画面に表示する確認用の端末と、を備えてもよい。このようにすると、操作室内で異常を発生させた操作者を確認できるので、現場管理者が操作者の指導を容易に行える。
また、前記撮影部および前記判定部の一方または双方は、ポータブルバッテリーまたは前記建設機械が備える給電端子（例えばシガーソケットなど）からケーブルを介して給電されるようにしてもよい。このようにすると、操作監視システムを建設機械に後付けで搭載することが容易となり、また、様々な種類の建設機械に操作監視システムを用いることが可能になる。
また、前記撮影部および前記判定部の一方または双方は、ポータブルバッテリーまたは前記建設機械が備える給電端子（例えばシガーソケットなど）からケーブルを介して給電されるようにしてもよい。このようにすると、操作監視システムを建設機械に後付けで搭載することが容易となり、また、様々な種類の建設機械に操作監視システムを用いることが可能になる。
【0007】
本発明に係る操作監視方法は、建設機械の操作を監視する操作監視方法である。この操作監視方法は、操作室内を撮影する撮影工程と、前記撮影工程によって撮影された画像データに基づいて前記操作室の状況を判定する判定工程とを有する。前記判定工程では、前記画像データに写る操作者の骨格の位置を示す骨格座標と、前記画像データに写る操作関連物の位置を示す操作関連物座標とを取得し、前記骨格座標および前記操作関連物座標に基づいて異常を検知する。
本発明に係る操作監視方法においては、操作室を撮影した画像データから操作者の行動を判定できるので、操作者の不安全行動や異常行動を検知することができる。また、画像データから操作者の装備の状況や操作室に備え付けられる物の状況を判定できるので、操作者のヒューマンエラーを検知することができる。そのため、災害の原因となる多くの事象に対して警告や緊急停止などの対応を行うことができ、建設機械の操作に対する実効性の高い監視を行うことが可能である。
本発明に係る操作監視方法においては、操作室を撮影した画像データから操作者の行動を判定できるので、操作者の不安全行動や異常行動を検知することができる。また、画像データから操作者の装備の状況や操作室に備え付けられる物の状況を判定できるので、操作者のヒューマンエラーを検知することができる。そのため、災害の原因となる多くの事象に対して警告や緊急停止などの対応を行うことができ、建設機械の操作に対する実効性の高い監視を行うことが可能である。
【発明の効果】
【0008】
本発明によれば、建設機械の操作に対する実効性の高い監視を行うことができる。
【図面の簡単な説明】
【0009】
【図1】本発明の実施形態に係る操作監視システムの構成図である。
【図2】建設機械側システムのイメージ図である。
【図3】操作室内の状況を判定した結果のイメージ図であり、操作室内に異常がない状態である。
【図4】操作室内の状況を判定した結果のイメージ図であり、窓から身を乗り出していると判定された状態を示す。
【図5】操作室内の状況を判定した結果のイメージ図であり、シートベルトを使用していないと判定された状態を示す。
【図6】操作室内の状況を判定した結果のイメージ図であり、安全ベストを装着していると判定された状態を示す。
【図7】操作室内の状況を判定した結果のイメージ図であり、稼働中の建設機械で扉が開放されていると判定された状態を示す。
【図8】操作室内の状況を判定した結果のイメージ図であり、安全ロックが適切に使用されていないと判定された状態を示す。
【図9】操作室内の状況を判定した結果のイメージ図であり、居眠りしていると判定された状態を示す。
【図10】操作室内の状況を判定した結果のイメージ図であり、スマートフォン等の携帯デバイスを使用していると判定された状態を示す。
【図11】本発明の実施形態に係る操作監視システムの動作を示すフローチャートの例示である。
【発明を実施するための形態】
【0010】
以下、本発明の実施をするための形態を、適宜図面を参照しながら詳細に説明する。各図は、本発明を十分に理解できる程度に、概略的に示してあるに過ぎない。よって、本発明は、図示例のみに限定されるものではない。なお、各図において、共通する構成要素や同様な構成要素については、同一の符号を付し、それらの重複する説明を省略する。
【0011】
≪実施形態に係る操作監視システムの構成≫
図１および図２を参照して、実施形態に係る操作監視システム１について説明する。図１は、実施形態に係る操作監視システム１の構成図である。図２は、実施形態に係る操作監視システム１を構成する建設機械側システムのイメージ図である。
図１に示す操作監視システム１は、建設機械の操作を監視するシステムである。操作監視システム１の監視対象は、建設機械の操作に関連するものを広く含み、例えば、操作を行う操作者（装備品や所持している物を含む）、操作室に備え付けられている物（例えば、ドア、窓、操作レバー）などである。
図１および図２を参照して、実施形態に係る操作監視システム１について説明する。図１は、実施形態に係る操作監視システム１の構成図である。図２は、実施形態に係る操作監視システム１を構成する建設機械側システムのイメージ図である。
図１に示す操作監視システム１は、建設機械の操作を監視するシステムである。操作監視システム１の監視対象は、建設機械の操作に関連するものを広く含み、例えば、操作を行う操作者（装備品や所持している物を含む）、操作室に備え付けられている物（例えば、ドア、窓、操作レバー）などである。
【0012】
操作監視システム１は、建設機械における操作の監視を必要とする様々な場面で使用することができ、操作対象の建設機械は、種類、用途などを限定されない。建設機械は、移動手段を有しているもの（例えば、移動式クレーン、バックホウ、ブルドーザ、ダンプトラックなど）に限定されず、決められた場所で作業を行う建設機械（例えば、固定式クレーン）を含む。
本実施形態に係る操作監視システム１は、主に、建設機械側システム１０と、クラウドシステム２０と、管理システム３０と、現場事務所システム４０とを備える。建設機械側システム１０は、建設機械内に構築されるシステムであり、現場事務所システム４０は、現場事務所に構築されるシステムである。クラウドシステム２０および管理システム３０は、建設現場外（例えば、建設現場から離れた場所）に構築されるシステムである。建設機械側システム１０とそれ以外のシステムとは、例えばインターネット２を介して通信可能に接続されている。
本実施形態に係る操作監視システム１は、主に、建設機械側システム１０と、クラウドシステム２０と、管理システム３０と、現場事務所システム４０とを備える。建設機械側システム１０は、建設機械内に構築されるシステムであり、現場事務所システム４０は、現場事務所に構築されるシステムである。クラウドシステム２０および管理システム３０は、建設現場外（例えば、建設現場から離れた場所）に構築されるシステムである。建設機械側システム１０とそれ以外のシステムとは、例えばインターネット２を介して通信可能に接続されている。
【0013】
図１に示すように、建設機械側システム１０は、表示部１１と、撮影部１２と、警報部１３と、制御部１４とを主に備える。これらの構成要素は、例えばポータブルバッテリーやシガーソケット等の給電端子からケーブルを介して給電されてもよい。その場合、電源安定化装置を間に入れることで、建設機械側システム１０を安定的に起動することが可能になる。
撮影部１２は、デジタル画像を取得可能なビデオカメラである。撮影部１２は、操作室内を撮影することが可能な位置に設置される。操作室内には、建設機械の操作者が搭乗しているので、撮影部１２は、操作者を含めて操作室内を撮影する。また、操作室内には、建設機械の操作に関連する物（「操作関連物」と称する）が存在し、撮影部１２は、操作関連物を撮影する。操作関連物は、操作室に備え付けられている物以外に、操作者などによって操作室内に持ち込まれた物であってもよい。操作関連物は、建設機械の操作に直接関連する物に留まらず、建設機械の操作に直接関連しない物を広く含む。例えば、操作関連物は、操作者が触れて操作する物、建設機械の操作の前提となる物、建設機械の操作を助ける補助的な役割を担う物、建設機械の操作に良くない影響を与える物（例えば、操作の邪魔になる物や操作者の気を散らす物）などを含む。一例を挙げると、操作関連物は、建設機械が備える操作レバー、扉、窓、シートベルトや、操作者が有する安全装備、携帯デバイスなどである。撮影部１２は、操作者や操作関連物を適切に撮影可能な位置に設置されるのがよく、複数の撮影部１２が撮影室内に設置されてもよい。撮影部１２は、例えば広角カメラであって、図２に示すようにフロントガラス１０ａに設置される。撮影部１２は、例えば可視光線や赤外線を用いて操作室内を撮影する。
撮影部１２は、デジタル画像を取得可能なビデオカメラである。撮影部１２は、操作室内を撮影することが可能な位置に設置される。操作室内には、建設機械の操作者が搭乗しているので、撮影部１２は、操作者を含めて操作室内を撮影する。また、操作室内には、建設機械の操作に関連する物（「操作関連物」と称する）が存在し、撮影部１２は、操作関連物を撮影する。操作関連物は、操作室に備え付けられている物以外に、操作者などによって操作室内に持ち込まれた物であってもよい。操作関連物は、建設機械の操作に直接関連する物に留まらず、建設機械の操作に直接関連しない物を広く含む。例えば、操作関連物は、操作者が触れて操作する物、建設機械の操作の前提となる物、建設機械の操作を助ける補助的な役割を担う物、建設機械の操作に良くない影響を与える物（例えば、操作の邪魔になる物や操作者の気を散らす物）などを含む。一例を挙げると、操作関連物は、建設機械が備える操作レバー、扉、窓、シートベルトや、操作者が有する安全装備、携帯デバイスなどである。撮影部１２は、操作者や操作関連物を適切に撮影可能な位置に設置されるのがよく、複数の撮影部１２が撮影室内に設置されてもよい。撮影部１２は、例えば広角カメラであって、図２に示すようにフロントガラス１０ａに設置される。撮影部１２は、例えば可視光線や赤外線を用いて操作室内を撮影する。
【0014】
撮影部１２は、ネットワークカメラ、赤外線カメラ、暗視カメラ等であってよく、図１に示すＰｏＥ（Power over Ethernet）ハブ１６を介して制御部１４やルータ１７に接続されている。撮影部１２で撮影した撮影データは、操作室の状況の判定に用いられる。撮影部１２は、撮影した映像データを制御部１４に送信する。
警報部１３は、操作室内の異常を操作者に報知するものである。警報部１３は、図２に示すように操作室内に設置され、操作室内の異常を視角や聴覚を介して操作者に報知するのがよい。警報部１３は、例えば、回転灯、ブザー、スピーカである。
表示部１１は、建設機械の操作に関する情報を操作者に対して表示するモニタである。表示部１１は、図２に示すように操作室内に設置される。表示部１１は、操作室内の異常を検知した場合に表示部１１に警告を表示してもよい。また、操作者が確認を行えるように、撮影部１２で撮影した画像を表示部１１に表示させてもよい。
警報部１３は、操作室内の異常を操作者に報知するものである。警報部１３は、図２に示すように操作室内に設置され、操作室内の異常を視角や聴覚を介して操作者に報知するのがよい。警報部１３は、例えば、回転灯、ブザー、スピーカである。
表示部１１は、建設機械の操作に関する情報を操作者に対して表示するモニタである。表示部１１は、図２に示すように操作室内に設置される。表示部１１は、操作室内の異常を検知した場合に表示部１１に警告を表示してもよい。また、操作者が確認を行えるように、撮影部１２で撮影した画像を表示部１１に表示させてもよい。
【0015】
図１に示す制御部１４は、操作監視システム１（主に、建設機械側システム１０）の全体動作を制御する。制御部１４は、例えば建設機械に設置されたＩｏＴ（Internet of Things）センシング用のコンピュータ（「エッジコンピュータ」などとも呼ばれる）であり、ＰｏＥハブ１６を介して表示部１１、撮影部１２、警報部１３、ルータ１７などに接続されている。制御部１４は、撮影部１２によって撮影された撮影データに基づいて操作室の状況を判定する判定部１４ａを備える。判定部１４ａは、例えばＡＩ（Artificial Intelligence）処理用のハードウェアエンジンによって実現される。判定部１４ａは、例えば、姿勢検知ＡＩと、物体検知ＡＩとを有する。姿勢検知ＡＩは、骨格検知によって画像（映像のフレームを含む）内の人物がどのような姿勢をとっているかを推定するものであり、画像に写る操作者の骨格の位置を示す座標（骨格座標）を取得することが可能である。一方、物体検知ＡＩは、物体検知によって画像（映像のフレームを含む）内のどの場所に何が写っているかを推定するものであり、画像に写る操作関連物の位置を示す座標（操作関連物座標）を取得することが可能である。判定部１４ａは、姿勢検知ＡＩおよび物体検知ＡＩの二つの検知結果に基づいて操作室の状況を判定し、操作室内に異常が発生していることを検知する。本実施形態では、操作室内の異常として、作業安全上の違反を想定する。
【0016】
図３ないし図１０を参照して（適宜、図１および図２を参照）、作業安全上の違反の判定処理について説明する。ここでは、作業安全上の違反として、（１）窓・扉からの身の乗り出し、（２）シートベルトの不使用、（３）安全ベストの装着、（４）建設機械稼働中での扉の開放、（５）安全ロックの不適正使用、（６）居眠り、（７）携帯デバイス（例えばスマートフォン）の不正使用、を例示して説明する。なお、これらは作業安全上の違反の一例であって、作業安全上の違反はこれらの行為に限定されない。
最初に、図３を参照して、操作室内に異常がない状態（作業安全上の違反がない状態）を説明する。図３は、操作室内の状況を判定した結果のイメージ図であり、操作室内に異常がない状態である。図３では、物体検知ＡＩで検知した操作者の領域を符号７で示し、姿勢検知ＡＩで検知した操作者の骨格を符号８で示している。
最初に、図３を参照して、操作室内に異常がない状態（作業安全上の違反がない状態）を説明する。図３は、操作室内の状況を判定した結果のイメージ図であり、操作室内に異常がない状態である。図３では、物体検知ＡＩで検知した操作者の領域を符号７で示し、姿勢検知ＡＩで検知した操作者の骨格を符号８で示している。
【0017】
＜（１）窓・扉からの身の乗り出し＞
窓・扉からの身の乗り出しは、落下や挟まれ事故の原因となるので危険である。この場合、判定部１４ａは、物体検知ＡＩによって建設機械の窓や扉の領域を示す座標（基準となる座標であってもよい）を検出し、また、姿勢検知ＡＩによって操作者の骨格座標を取得する。そして、判定部１４ａは、頭部・腕部等の座標データが窓や扉の領域に進入した場合に、操作者が窓や扉から身を乗り出していると判定する。なお、頭部の座標データを求めるのに、物体検知ＡＩによって頭部（特に、ヘルメットや顔）の座標を検出してもよい。また、座席の周囲に検知エリアを予め設定し、判定部１４ａは、当該検知エリアから頭部や肩部の座標データが逸脱した場合に操作者が窓や扉から身を乗り出していると判定してもよい。図４に、窓から身を乗り出していると判定された状態を示す。図４では、操作者の頭部の骨格８Ａが窓の領域９Ａに進入している。判定部１４ａは、頭部の領域７Ａが窓の領域９Ａに進入している場合に、窓から身を乗り出していると判定してもよい。窓の領域９Ａは、搭載する撮影部１２の位置や操作室内の配置などに合わせて、人間が任意に設定してもよい。
窓・扉からの身の乗り出しは、落下や挟まれ事故の原因となるので危険である。この場合、判定部１４ａは、物体検知ＡＩによって建設機械の窓や扉の領域を示す座標（基準となる座標であってもよい）を検出し、また、姿勢検知ＡＩによって操作者の骨格座標を取得する。そして、判定部１４ａは、頭部・腕部等の座標データが窓や扉の領域に進入した場合に、操作者が窓や扉から身を乗り出していると判定する。なお、頭部の座標データを求めるのに、物体検知ＡＩによって頭部（特に、ヘルメットや顔）の座標を検出してもよい。また、座席の周囲に検知エリアを予め設定し、判定部１４ａは、当該検知エリアから頭部や肩部の座標データが逸脱した場合に操作者が窓や扉から身を乗り出していると判定してもよい。図４に、窓から身を乗り出していると判定された状態を示す。図４では、操作者の頭部の骨格８Ａが窓の領域９Ａに進入している。判定部１４ａは、頭部の領域７Ａが窓の領域９Ａに進入している場合に、窓から身を乗り出していると判定してもよい。窓の領域９Ａは、搭載する撮影部１２の位置や操作室内の配置などに合わせて、人間が任意に設定してもよい。
【0018】
＜（２）シートベルトの不使用＞
シートベルトの不使用は、体が安定せず衝突が発生した場合に座席から投げ出されるので危険である。この場合、判定部１４ａは、物体検知ＡＩによって建設機械のシートベルトの領域を示す座標（基準となる座標であってもよい）を検出し、また、姿勢検知ＡＩによって操作者の骨格座標を取得する。そして、判定部１４ａは、操作者の腹部付近にシートベルトの領域がない場合に、操作者がシートベルトを使用していないと判定する。なお、判定部１４ａは、物体検知ＡＩによってシートベルトを検出できなかった場合に、操作者がシートベルトを使用していないと判定してもよい。図５に、シートベルトを使用していないと判定された状態を示す。図５では、腹部の骨格８Ｂ付近にシートベルトの領域９Ｂ（図３参照）が存在しない。図３に示す違反がない状態では、腹部の骨格８Ｂ付近にシートベルトの領域９Ｂが存在する。
シートベルトの不使用は、体が安定せず衝突が発生した場合に座席から投げ出されるので危険である。この場合、判定部１４ａは、物体検知ＡＩによって建設機械のシートベルトの領域を示す座標（基準となる座標であってもよい）を検出し、また、姿勢検知ＡＩによって操作者の骨格座標を取得する。そして、判定部１４ａは、操作者の腹部付近にシートベルトの領域がない場合に、操作者がシートベルトを使用していないと判定する。なお、判定部１４ａは、物体検知ＡＩによってシートベルトを検出できなかった場合に、操作者がシートベルトを使用していないと判定してもよい。図５に、シートベルトを使用していないと判定された状態を示す。図５では、腹部の骨格８Ｂ付近にシートベルトの領域９Ｂ（図３参照）が存在しない。図３に示す違反がない状態では、腹部の骨格８Ｂ付近にシートベルトの領域９Ｂが存在する。
【0019】
＜（３）安全ベストの装着＞
安全ベスト（「反射ベスト」とも呼ばれる）を装着した状態で建設機械の操作を行った場合、安全ベストの端部が操作レバーに引っ掛かることで誤操作が発生することがあり危険である。この場合、判定部１４ａは、物体検知ＡＩによって安全ベストの領域を示す座標（基準となる座標であってもよい）を検出し、また、姿勢検知ＡＩによって操作者の骨格座標を取得する。そして、判定部１４ａは、操作者の胸部付近に安全ベストの領域がある場合に、操作者が安全ベストを装着していると判定する。図６に、安全ベストを装着していると判定された状態を示す。図６では、胸部の骨格８Ｃ付近に安全ベストの領域９Ｃが存在する。
安全ベスト（「反射ベスト」とも呼ばれる）を装着した状態で建設機械の操作を行った場合、安全ベストの端部が操作レバーに引っ掛かることで誤操作が発生することがあり危険である。この場合、判定部１４ａは、物体検知ＡＩによって安全ベストの領域を示す座標（基準となる座標であってもよい）を検出し、また、姿勢検知ＡＩによって操作者の骨格座標を取得する。そして、判定部１４ａは、操作者の胸部付近に安全ベストの領域がある場合に、操作者が安全ベストを装着していると判定する。図６に、安全ベストを装着していると判定された状態を示す。図６では、胸部の骨格８Ｃ付近に安全ベストの領域９Ｃが存在する。
【0020】
＜（４）建設機械稼働中での扉の開放＞
建設機械の扉を開放したまた稼働することは、落下や挟まれ事故の原因となるので危険である。この場合、判定部１４ａは、物体検知ＡＩによって建設機械のロックレバーや扉の領域を示す座標（基準となる座標であってもよい）を検出する。ここで、ロックレバーがロック位置にある場合、建設機械の操作レバーを操作しても建設機械が動かず、ロックレバーが解除位置にあることで操作レバーを操作して建設機械を動かすことができる。また、ロックレバーをロック位置にしないとエンジンが始動しないようになっている。判定部１４ａは、ロックレバーが解除位置にあり（建設機械を操作することが可能な状態であり）、かつ、閉まった状態の扉を検出しない場合に、扉を開けた状態で建設機械を使用していると判定する。判定部１４ａは、ロックレバーが解除位置にあり、かつ、開いた状態の扉を検出した場合に、扉を開けた状態で建設機械を使用していると判定してもよい。図７に、稼働中の建設機械で扉が開放されていると判定された状態を示す。図７では、ロックレバーの領域９Ｄが解除位置にあり、かつ、所定の位置に閉じた状態の扉の領域９Ｅ（図３参照）が存在しない。図３に示す違反がない状態では、閉じた状態の扉の領域９Ｅが所定の位置に存在する。なお、開いた状態の扉の領域９Ｆ（図７参照）が存在することによって、扉の開放を判定してもよい。扉の領域９Ｅ，９Ｆは、搭載する撮影部１２の位置や操作室内の配置などに合わせて、人間が任意に設定してもよい。
建設機械の扉を開放したまた稼働することは、落下や挟まれ事故の原因となるので危険である。この場合、判定部１４ａは、物体検知ＡＩによって建設機械のロックレバーや扉の領域を示す座標（基準となる座標であってもよい）を検出する。ここで、ロックレバーがロック位置にある場合、建設機械の操作レバーを操作しても建設機械が動かず、ロックレバーが解除位置にあることで操作レバーを操作して建設機械を動かすことができる。また、ロックレバーをロック位置にしないとエンジンが始動しないようになっている。判定部１４ａは、ロックレバーが解除位置にあり（建設機械を操作することが可能な状態であり）、かつ、閉まった状態の扉を検出しない場合に、扉を開けた状態で建設機械を使用していると判定する。判定部１４ａは、ロックレバーが解除位置にあり、かつ、開いた状態の扉を検出した場合に、扉を開けた状態で建設機械を使用していると判定してもよい。図７に、稼働中の建設機械で扉が開放されていると判定された状態を示す。図７では、ロックレバーの領域９Ｄが解除位置にあり、かつ、所定の位置に閉じた状態の扉の領域９Ｅ（図３参照）が存在しない。図３に示す違反がない状態では、閉じた状態の扉の領域９Ｅが所定の位置に存在する。なお、開いた状態の扉の領域９Ｆ（図７参照）が存在することによって、扉の開放を判定してもよい。扉の領域９Ｅ，９Ｆは、搭載する撮影部１２の位置や操作室内の配置などに合わせて、人間が任意に設定してもよい。
【0021】
＜（５）安全ロックの不適正使用＞
建設機械を操作しないのにロックレバーを解除したままにすることは、建設機械が意図せず動く可能性があり危険である。この場合、判定部１４ａは、物体検知ＡＩによって建設機械のロックレバーの領域を示す座標（基準となる座標であってもよい）を検出し、また、姿勢検知ＡＩによって操作者の骨格座標を取得する。そして、判定部１４ａは、ロックレバーが解除位置にあり（建設機械を操作することが可能な状態であり）、かつ、操作者の骨格座標が所定時間動かない場合（姿勢が変わらない状態が継続した場合）に、建設機械を操作しないのにロックレバーを解除した状態と判定する。図８に、安全ロックが適切に使用されていないと判定された状態を示す。図８では、ロックレバーの領域９Ｄが解除位置にあり、かつ、操作者の骨格８が動かないまま所定時間が経過している。判定部１４ａは、ロックレバーの領域９Ｄが解除位置にあり、かつ、手の領域７Ｄが操作レバーから離れて脚部の骨格８Ｄの付け根付近に存在する状態のまま所定時間が経過した場合に、安全ロックが適切に使用されていないと判定してもよい。ロックレバーの領域９Ｄは、搭載する撮影部１２の位置や操作室内の配置などに合わせて、人間が任意に設定してもよい。
建設機械を操作しないのにロックレバーを解除したままにすることは、建設機械が意図せず動く可能性があり危険である。この場合、判定部１４ａは、物体検知ＡＩによって建設機械のロックレバーの領域を示す座標（基準となる座標であってもよい）を検出し、また、姿勢検知ＡＩによって操作者の骨格座標を取得する。そして、判定部１４ａは、ロックレバーが解除位置にあり（建設機械を操作することが可能な状態であり）、かつ、操作者の骨格座標が所定時間動かない場合（姿勢が変わらない状態が継続した場合）に、建設機械を操作しないのにロックレバーを解除した状態と判定する。図８に、安全ロックが適切に使用されていないと判定された状態を示す。図８では、ロックレバーの領域９Ｄが解除位置にあり、かつ、操作者の骨格８が動かないまま所定時間が経過している。判定部１４ａは、ロックレバーの領域９Ｄが解除位置にあり、かつ、手の領域７Ｄが操作レバーから離れて脚部の骨格８Ｄの付け根付近に存在する状態のまま所定時間が経過した場合に、安全ロックが適切に使用されていないと判定してもよい。ロックレバーの領域９Ｄは、搭載する撮影部１２の位置や操作室内の配置などに合わせて、人間が任意に設定してもよい。
【0022】
＜（６）居眠り＞
作業中の居眠りは、予期せぬトラブルに対応できないので危険である。この場合、判定部１４ａは、姿勢検知ＡＩによって操作者の骨格座標を取得する。そして、判定部１４ａは、頭部が通常の位置よりも前後左右の何れかに傾いている状態で所定時間動かない場合（姿勢が変わらない状態が継続した場合）に、居眠りしていると判定する。図９に、居眠りしていると判定された状態を示す。図９では、操作者の頭部の骨格８Ａが右側に傾いている状態のまま所定時間が経過している。判定部１４ａは、操作者の頭部の領域７Ａが通常の位置よりも右側にある状態が所定時間だけ経過した場合に、居眠りしていると判定してもよい。
作業中の居眠りは、予期せぬトラブルに対応できないので危険である。この場合、判定部１４ａは、姿勢検知ＡＩによって操作者の骨格座標を取得する。そして、判定部１４ａは、頭部が通常の位置よりも前後左右の何れかに傾いている状態で所定時間動かない場合（姿勢が変わらない状態が継続した場合）に、居眠りしていると判定する。図９に、居眠りしていると判定された状態を示す。図９では、操作者の頭部の骨格８Ａが右側に傾いている状態のまま所定時間が経過している。判定部１４ａは、操作者の頭部の領域７Ａが通常の位置よりも右側にある状態が所定時間だけ経過した場合に、居眠りしていると判定してもよい。
【0023】
＜（７）携帯デバイスの不正使用＞
作業中にスマートフォン等の携帯デバイスを使用した場合、注意が散漫になって危険である。この場合、判定部１４ａは、姿勢検知ＡＩによって操作者の骨格座標を取得する。そして、判定部１４ａは、腕部が腹部または胸部の前で物を持った形の状態で所定時間が経過した場合に、携帯デバイスを使用していると判定する。また、判定部１４ａは、物体検知ＡＩによって携帯デバイスの領域を示す座標（基準となる座標であってもよい）を検出し、操作者の手元付近に携帯デバイスの領域がある場合に、操作者が携帯デバイスを使用していると判定してもよい。なお、ロックレバーを解除した状態であるかをさらに判定してもよく、また、上半身が前かがみになっているかを判定の項目に入れてもよい。図１０に、携帯デバイスを使用していると判定された状態を示す。図１０では、腕部の先端側の骨格８Ｅが腹部の骨格８Ｂの前にあり、かつ、上半身の骨格８Ａ～８Ｃが前かがみになっている状態のまま所定時間が経過している。
作業中にスマートフォン等の携帯デバイスを使用した場合、注意が散漫になって危険である。この場合、判定部１４ａは、姿勢検知ＡＩによって操作者の骨格座標を取得する。そして、判定部１４ａは、腕部が腹部または胸部の前で物を持った形の状態で所定時間が経過した場合に、携帯デバイスを使用していると判定する。また、判定部１４ａは、物体検知ＡＩによって携帯デバイスの領域を示す座標（基準となる座標であってもよい）を検出し、操作者の手元付近に携帯デバイスの領域がある場合に、操作者が携帯デバイスを使用していると判定してもよい。なお、ロックレバーを解除した状態であるかをさらに判定してもよく、また、上半身が前かがみになっているかを判定の項目に入れてもよい。図１０に、携帯デバイスを使用していると判定された状態を示す。図１０では、腕部の先端側の骨格８Ｅが腹部の骨格８Ｂの前にあり、かつ、上半身の骨格８Ａ～８Ｃが前かがみになっている状態のまま所定時間が経過している。
【0024】
図１に示す現場事務所システム４０は、確認用の端末４１を備える。確認用の端末４１は、作業安全上の違反に関する判定結果を様々な形式で確認することができるＷｅｂアプリケーションを有する。端末４１は、認証されたユーザのみがアクセス可能であり、例えば現場管理者が操作する。Ｗｅｂアプリケーションは、例えば、違反時の画像を表示する機能、違反時の画像をダウンロードする機能、指定期間の監視結果をダウンロードする機能、期限や違反項目を指定してグラフを描画する機能（複数地点ある場合は、地点間の比較グラフを描画可能）などを有する。
【0025】
図１に示すクラウドシステム２０には、操作室で異常が発生していると判定された場合の画像データが蓄積される。クラウドシステム２０は、「データ蓄積部」の一例である。管理システム３０は、操作監視システム１の管理を行う場所であり、例えばシステム管理者が管理システム３０を用いてシステムメンテナンスを行う。システム管理者は、例えば、姿勢検知ＡＩや物体検知ＡＩの再学習を行ったり、検知精度を高めるための設定変更などを行う。また、管理システム３０は、端末４１のＷｅｂアプリケーションで使用する情報をクラウドシステム２０から収集し、端末４１に提供する。
【0026】
≪実施形態に係る操作監視システムの動作≫
図１１を参照して（適宜、図１ないし図１０を参照）、操作監視システム１の動作の一例を説明する。図１１は、操作監視システム１の動作を示すフローチャートの例示である。図１１に示す処理は、操作監視システム１が起動されることで開始される。例えば、建設機械のエンジンを始動させることによって、操作監視システム１にシガーソケットを介して電源が供給されて、操作監視システム１が起動する。システム起動後、撮影部１２で撮影した映像の制御部１４への入力が開始される（ステップＳ１）。図１１に示すステップＳ２～ステップＳ７の処理は、各フレーム（画像データ）に対して行われ、順次繰り返し実行される。
制御部１４の判定部１４ａは、入力されたフレーム（画像データ）に対して姿勢検知ＡＩを用いた処理を行い（ステップＳ２）、例えば操作者の骨格の座標（骨格座標）を取得する。また、判定部１４ａは、物体検知ＡＩを用いた処理を行い（ステップＳ３）、例えば操作関連物の座標（操作関連物座標）を取得する。そして、判定部１４ａは、姿勢検知ＡＩおよび物体検知ＡＩの二つの検知結果から、操作室内で異常（作業安全上の違反など）が発生しているか否かを判定する。
図１１を参照して（適宜、図１ないし図１０を参照）、操作監視システム１の動作の一例を説明する。図１１は、操作監視システム１の動作を示すフローチャートの例示である。図１１に示す処理は、操作監視システム１が起動されることで開始される。例えば、建設機械のエンジンを始動させることによって、操作監視システム１にシガーソケットを介して電源が供給されて、操作監視システム１が起動する。システム起動後、撮影部１２で撮影した映像の制御部１４への入力が開始される（ステップＳ１）。図１１に示すステップＳ２～ステップＳ７の処理は、各フレーム（画像データ）に対して行われ、順次繰り返し実行される。
制御部１４の判定部１４ａは、入力されたフレーム（画像データ）に対して姿勢検知ＡＩを用いた処理を行い（ステップＳ２）、例えば操作者の骨格の座標（骨格座標）を取得する。また、判定部１４ａは、物体検知ＡＩを用いた処理を行い（ステップＳ３）、例えば操作関連物の座標（操作関連物座標）を取得する。そして、判定部１４ａは、姿勢検知ＡＩおよび物体検知ＡＩの二つの検知結果から、操作室内で異常（作業安全上の違反など）が発生しているか否かを判定する。
【0027】
次に、判定部１４ａは、最新のフレーム（画像データ）を含めた所定枚数のフレーム（例えば、直近0.6秒間のフレーム）の検知結果に対して統計処理を行い、検知結果の有効性を示した値を求める（ステップＳ４）。例えば、所定枚数のフレームに対してどのくらいの割合で操作室での異常が検知されたかや、操作室での異常を検知したフレームがどのくらい連続したかを求める。続いて、判定部１４ａは、ステップＳ４で求めた値が閾値を超えたか否かを判定し（ステップＳ５）、閾値を超えていない場合（ステップＳ５で「Ｎｏ」）に次のフレーム（画像データ）の処理に移行する。一方、判定部１４ａは、閾値を超えている場合（ステップＳ５で「Ｙｅｓ」）に操作室で異常が発生している可能性が高いとして警報部１３を稼働してアラートを発生させ（ステップＳ６）、また、クラウドシステム２０に画像データをアップロードする（ステップＳ７）。例えば、閾値として５割を設定した場合、直近0.6秒間の判定結果が５割以上の確率で異常が発生しているときにアラートを発生させる。このように、ステップＳ４，Ｓ５の処理を行うことによって、一つのフレーム（画像データ）のみで操作室の異常を判定する場合に比べて、誤検知を抑制することができる。そして、作業が終了した場合に、建設機械のエンジンを停止させることによって、操作監視システム１により監視が終了する。
【0028】
以上のように、実施形態に係る操作監視システム１においては、操作室を撮影した画像データから操作者の行動を判定できるので、操作者の不安全行動を検知することができる。また、画像データから操作者の装備の状況や操作室に備え付けられる物の状況を判定できるので、操作者のヒューマンエラーを検知することができる。そのため、災害の原因となる多くの事象に対して警告などの対応を行うことができ、建設機械の操作に対する実効性の高い監視を行うことが可能である。
ここまで本発明の実施形態について説明したが、本発明はこれに限定されるものではなく、特許請求の範囲の趣旨を変えない範囲で実施することができる。
実施形態では、操作室内の異常として、作業安全上の違反を想定して説明した。しかしながら、作業安全上の違反以外の事象（例えば、操作者に突然起こった病気による異変）の監視を操作監視システム１で行ってもよい。
また、実施形態では、操作室内の異常を検知した場合に、警報部１３を用いて異常を操作者に報知していた。しかしながら、異常を検知した場合の対応は操作者への報知に限定されない。例えば、操作監視システム１は、警報部１３に代えて、または警報部１３と共に緊急停止部を備える構成であってもよい。緊急停止部は、異常を検知した場合に建設機械を停止させる機能であり、例えば異常時に判定部１４ａから信号を受信し、当該信号をトリガとして建設機械を停止させる。
ここまで本発明の実施形態について説明したが、本発明はこれに限定されるものではなく、特許請求の範囲の趣旨を変えない範囲で実施することができる。
実施形態では、操作室内の異常として、作業安全上の違反を想定して説明した。しかしながら、作業安全上の違反以外の事象（例えば、操作者に突然起こった病気による異変）の監視を操作監視システム１で行ってもよい。
また、実施形態では、操作室内の異常を検知した場合に、警報部１３を用いて異常を操作者に報知していた。しかしながら、異常を検知した場合の対応は操作者への報知に限定されない。例えば、操作監視システム１は、警報部１３に代えて、または警報部１３と共に緊急停止部を備える構成であってもよい。緊急停止部は、異常を検知した場合に建設機械を停止させる機能であり、例えば異常時に判定部１４ａから信号を受信し、当該信号をトリガとして建設機械を停止させる。
【符号の説明】
【0029】
１ 操作監視システム
１０ 建設機械側システム
１１ 表示部
１２ 撮影部
１３ 警報部
１４ 制御部
１４ａ 判定部
２０ クラウドシステム（データ蓄積部）
３０ 管理システム
４０ 現場事務所システム
４１ 端末
１０ 建設機械側システム
１１ 表示部
１２ 撮影部
１３ 警報部
１４ 制御部
１４ａ 判定部
２０ クラウドシステム（データ蓄積部）
３０ 管理システム
４０ 現場事務所システム
４１ 端末
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】