特開 2022-179080 情報処理装置、作業機械、情報処理方法、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022179080

(43)【公開日】2022-12-02

(54)【発明の名称】情報処理装置、作業機械、情報処理方法、プログラム

(51)【国際特許分類】

   G06Q 50/08 20120101AFI20221125BHJP

【ＦＩ】

G06Q50/08

【審査請求】未請求

【請求項の数】13

【出願形態】ＯＬ

(21)【出願番号】P 2021086323

(22)【出願日】2021-05-21

(71)【出願人】

【識別番号】000002107

【氏名又は名称】住友重機械工業株式会社

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(72)【発明者】

【氏名】松岡 平

【テーマコード（参考）】

5L049

【Ｆターム（参考）】

5L049CC07

(57)【要約】

【課題】施工現場の様子を撮像した動画を利用して、より効率的に、施工現場の状況を事後的に確認可能な技術を提供する。
【解決手段】本開示の一実施形態に係る情報処理装置４０は、施工現場の様子を撮像する撮像装置１０により取得される動画の中の静止画ごとの画像特徴量を抽出する画像特徴量抽出部４０３と、画像特徴量に基づく元の動画の解析結果から、元の動画の中での相対的に大きな変化を表すシーンを抽出し、要約動画を生成する要約動画生成部４０６と、を備える。
【選択図】図６

【特許請求の範囲】

【請求項1】

施工現場の様子を撮像する撮像装置により取得される動画を解析することにより、前記動画の中での相対的に大きな変化を表すシーンを抽出して相対的に短い要約動画を生成する、
情報処理装置。

【請求項2】

前記動画の中での相対的に大きな変化を表すシーンには、前記施工現場での所定の作業の開始時を含むシーンが含まれる、
請求項１に記載の情報処理装置。

【請求項3】

前記動画の中での相対的に大きな変化を表すシーンには、前記施工現場での作業機械又は作業車両が停止状態から動作状態に移行するときを含むシーン、及び前記施工現場での作業機械又は作業車両が動作状態から停止状態に移行するときを含むシーンの少なくとも一方が含まれる、
請求項１又は２に記載の情報処理装置。

【請求項4】

前記動画の中での相対的に大きな変化を表すシーンには、前記動画の中に人、作業機械、又は作業車両が現れるときを含むシーンが含まれる、
請求項１乃至３の何れか一項に記載の情報処理装置。

【請求項5】

前記動画の中での相対的に大きな変化を表すシーン、及び前記動画の中で、相対的に長い期間で継続する、相対的に変化が小さいシーンの一部を抽出して前記要約動画を生成する、
請求項１乃至４の何れか一項に記載の情報処理装置。

【請求項6】

前記動画の中での相対的に大きな変化を表すシーンを抽出すると共に、前記動画の中で前記要約動画に含まれるシーンごとの時系列での時間間隔が所定基準以下になるように、前記動画の中での相対的に変化が小さいシーンを抽出して前記要約動画を生成する、
請求項１乃至５の何れか一項に記載の情報処理装置。

【請求項7】

前記動画の中の静止画ごとの画像特徴量を抽出する画像特徴量抽出部と、
前記画像特徴量に基づく前記動画の解析結果から、前記動画の中から相対的に大きな変化を表すシーンを抽出し、前記要約動画を生成する要約動画生成部と、を備える、
請求項１乃至６の何れか一項に記載の情報処理装置。

【請求項8】

前記静止画ごとの前記画像特徴量に基づき、前記動画を、それぞれが相対的に近い前記画像特徴量を有する一連の前記静止画で構成される複数のシーンに分割するシーン分割部を備え、
前記複数のシーンごとに、その中の前記静止画ごとの前記画像特徴量に基づき、前記動画の中での相対的に大きな変化を表すシーンに該当する度合いを評価するシーン評価部を備え、
前記要約動画生成部は、前記シーン評価部による評価結果に基づき、前記複数のシーンの中から前記動画の中での相対的に大きな変化を表すシーンを抽出し、前記要約動画を生成する、
請求項７に記載の情報処理装置。

【請求項9】

前記動画の取得後、所定のタイミングで、前記要約動画を生成すると共に、ユーザが前記要約動画を相対的に早いタイミングで確認する必要があると判断すると、前記動画の取得後、前記所定のタイミングより前のタイミングで、前記要約動画を生成する、
請求項１乃至８の何れか一項に記載の情報処理装置。

【請求項10】

作業機械の周辺の様子を撮像する撮像装置と、
前記撮像装置により取得される動画を解析することにより、前記動画の中での相対的に大きな変化を表すシーンを抽出して相対的に短い要約動画を生成する情報処理装置と、を備える、
作業機械。

【請求項11】

前記情報処理装置により生成される前記要約動画のうちの構成要素のシーンの相対的に大きな変化を表す度合いが相対的に高い前記要約動画を所定の外部装置に送信する、
請求項１０に記載の作業機械。

【請求項12】

情報処理装置が実行する情報処理方法であって、
施工現場の様子を撮像する撮像装置により取得される動画を解析することにより、前記動画の中での相対的に大きな変化を表すシーンを抽出して相対的に短い要約動画を生成する、
情報処理方法。

【請求項13】

情報処理装置に、
施工現場の様子を撮像する撮像装置により取得される動画を解析させることにより、前記動画の中での相対的に大きな変化を表すシーンを抽出させて相対的に短い要約動画を生成させる、
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、情報処理装置等に関する。

【背景技術】

【0002】

従来、撮像装置を用いて、施工現場の様子を監視する技術が知られている（特許文献１，２参照）。

【0003】

特許文献１では、作業機械（ショベル）に撮像装置が搭載され、施工現場における作業機械の周辺の様子が監視される。

【0004】

特許文献２では、施工現場に設置される撮像装置（監視カメラ）で、施工現場の様子が監視される。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０２０－０４１３２６号公報

【特許文献2】特開２０１８－０８１５４９号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

ところで、施工現場の様子を撮像した動画が記録され、事後的に、その動画を用いて、管理者等が施工現場の状況を確認することが考えられる。

【0007】

しかしながら、管理者等が動画の全ての内容を確認することは、多大な労力や時間を消費し、現実的ではない。

【0008】

そこで、上記課題に鑑み、施工現場の様子を撮像した動画を利用して、より効率的に、施工現場の状況を事後的に確認可能な技術を提供することを目的とする。

【課題を解決するための手段】

【0009】

上記目的を達成するため、本開示の一実施形態では、
施工現場の様子を撮像する撮像装置により取得される動画を解析することにより、前記動画の中での相対的に大きな変化を表すシーンを抽出して相対的に短い要約動画を生成する、
情報処理装置が提供される。

【0010】

また、本開示の他の実施形態では、
作業機械の周辺の様子を撮像する撮像装置と、
前記撮像装置により取得される動画を解析することにより、前記動画の中での相対的に大きな変化を表すシーンを抽出して相対的に短い要約動画を生成する情報処理装置と、を備える、
作業機械が提供される。

【0011】

また、本開示の更に他の実施形態では、
情報処理装置が実行する情報処理方法であって、
施工現場の様子を撮像する撮像装置により取得される動画を解析することにより、前記動画の中での相対的に大きな変化を表すシーンを抽出して相対的に短い要約動画を生成する、
情報処理方法が提供される。

【0012】

また、本開示の更に他の実施形態では、
情報処理装置に、
施工現場の様子を撮像する撮像装置により取得される動画を解析させることにより、前記動画の中での相対的に大きな変化を表すシーンを抽出させて相対的に短い要約動画を生成させる、
プログラムが提供される。

【発明の効果】

【0013】

上述の実施形態によれば、施工現場の様子を撮像した動画を利用して、より効率的に、施工現場の状況を事後的に確認することができる。

【図面の簡単な説明】

【0014】

【図1】作業ログ生成システムの一例を示す概要図である。

【図2】情報処理装置のハードウェア構成の一例を示す図である。

【図3】作業ログ生成システムの機能構成の一例を示す機能ブロック図である。

【図4】画像特徴量生成部の処理を模式的に説明する図である。

【図5】シーン分割部の処理を概略的且つ模式的に説明する図である。

【図6】要約動画を生成するための解析処理の流れを模式的に説明する図である。

【図7】画像特徴量の時系列での変化の一例を示す図である。

【発明を実施するための形態】

【0015】

以下、図面を参照して実施形態について説明する。

【0016】

［作業ログ生成システムの概要］
図１を参照して、本実施形態に係る作業ログ生成システム１の概要について説明する。

【0017】

図１に示すように、作業ログ生成システム１は、撮像装置１０と、制御装置２０と、記憶装置３０と、情報処理装置４０と、管理装置５０とを含む。

【0018】

作業ログ生成システム１は、情報処理装置４０において、撮像装置１０で取得される施工現場ＣＳの動画データを編集し、元の動画よりも相対的に短い要約版の動画（以下、「要約動画」）を、施工現場ＣＳの作業ログとして生成する。これにより、施工現場ＣＳの管理者は、作業ログとしての要約動画を、情報処理装置４０（後述の表示装置４８）を通じて事後的に確認することができる。また、複数の施工現場ＣＳの管理を担当する管理者は、情報処理装置４０から管理装置５０にアップロードされる要約動画を、管理装置５０（表示装置）を通じて確認することができる。

【0019】

作業ログ生成システム１に含まれる撮像装置１０は、１つであっても、複数であってもよい。また、作業ログ生成システム１は、複数の施工現場ＣＳごとの撮像装置１０を含んでもよい。即ち、作業ログ生成システム１は、複数の施工現場ＣＳごとに設けられる、一又は複数の撮像装置１０を含んでもよい。また、作業ログ生成システム１に、複数の施工現場ごとの撮像装置１０が含まれる場合、管理装置５０は、一つであってもよいし、複数であってもよい。例えば、複数の管理装置５０は、それぞれ、複数の施工現場ＣＳのうちの互いに重複しない一部の施工現場ＣＳを担当し、その一部の施工現場ＣＳの情報処理装置４０から作業ログ（要約動画）を取得する態様であってもよい。

【0020】

撮像装置１０は、施工現場ＣＳに設けられ、施工現場ＣＳの様子を撮像する。

【0021】

撮像装置１０は、例えば、施工現場ＣＳに定置される監視カメラを含む。また、撮像装置１０は、施工現場ＣＳの施工状況や施工開始前の地形形状等を取得するためのドローンに搭載されるカメラを含んでもよい。また、撮像装置１０は、施工現場ＣＳの管理者等が携帯して所持するカメラやカメラ付きの携帯端末（例えば、スマートフォンやタブレット端末）であってもよい。また、撮像装置１０は、施工現場ＣＳで作業を行う作業機械や作業車両（以下、「作業車両等」）に搭載されるカメラを含んでもよい。作業機械は、例えば、ショベル、ブルドーザ、ホイルローダ、移動式クレーン等を含む。作業車両には、例えば、ダンプトラック等が含まれる。作業機械等に搭載されるカメラは、作業ログ生成システム１の専用のカメラであってもよいし、作業機械等の周辺の状況を監視し、オペレータに作業機械等の周辺の状況に関する情報を通知するためのカメラであってもよい。

【0022】

制御装置２０は、撮像装置１０に関する制御を行う。

【0023】

例えば、制御装置２０は、撮像装置１０が施工現場ＣＳに定置される監視カメラの場合、監視カメラと一体的に或いは監視カメラの相対的に近い場所に設置される。また、例えば、制御装置２０は、撮像装置１０がドローンに搭載されるカメラの場合、そのドローンに搭載される。また、制御装置２０は、例えば、撮像装置１０が施工現場ＣＳの管理者等が携帯して所持するカメラやカメラ付きの携帯端末である場合、制御装置２０は、そのカメラや携帯端末の筐体の内部に内蔵される。また、制御装置２０は、例えば、撮像装置１０が作業機械等に搭載される場合、その作業機械等に搭載される。制御装置２０は、作業機械等に搭載される場合、撮像装置１０のための専用の制御装置であってもよいし、作業機械等に搭載される他の機器に関する制御にも兼用される制御装置であってもよい。

【0024】

記憶装置３０には、制御装置２０の制御下で、撮像装置１０により撮像される動画データが記憶される。記憶装置３０は、制御装置２０と一体的に或いは相対的に近い場所に設けられてもよいし、制御装置２０とは相対的に離れた場所に設けられてもよい。

【0025】

例えば、撮像装置１０が施工現場ＣＳに定置される監視カメラの場合、記憶装置３０は、監視カメラや制御装置２０と一体的に或いは相対的に近い場所に設けられてもよいし、施工現場ＣＳの管理事務所等の監視カメラから相対的に離れた場所に設けられてもよい。また、例えば、撮像装置１０がドローンに搭載されるカメラの場合、記憶装置３０は、ドローンに搭載されてもよいし、施工現場ＣＳの管理事務所等のドローンから相対的に離れた場所に設けられてもよい。後者の場合、ドローン（制御装置２０）は、所定の通信回線を通じて、記憶装置３０に動画データを送信し記憶させる。所定の通信回線は、例えば、施工現場ＣＳにおける無線のローカルネットワーク（ＬＡＮ：Local Area Network）である。また、所定の通信回線は、例えば、ＷｉＦｉやブルートゥース（登録商標）等の無線通信規格に基づく近距離通信回線であってもよい。また、例えば、撮像装置１０が、施工現場ＣＳの管理者等が携帯して所持するカメラやカメラ付きの携帯端末の場合、記憶装置３０は、その筐体の中に内蔵されてもよいし、施工現場ＣＳの管理事務所等のカメラやカメラ付きの携帯端末から相対的に離れた場所に設けられてもよい。後者の場合、カメラやカメラ付きの携帯端末（制御装置２０）は、上述のドローンの場合と同様、無線のローカルネットワークや近距離通信回線等の所定の通信回線を通じて、記憶装置３０に動画データを送信し記憶させる。また、例えば、撮像装置１０が作業機械等に搭載される場合、記憶装置３０は、作業機械等に搭載されてもよいし、施工現場ＣＳの管理事務所等の作業機械等から相対的に離れた場所に設けられてもよい。

【0026】

尚、記憶装置３０の機能は、制御装置２０の内部メモリ（補助記憶装置）に移管されてもよいし、情報処理装置４０の内部メモリ（補助記憶装置）に移管されてもよい。

【0027】

情報処理装置４０は、記憶装置３０に記憶される施工現場ＣＳの動画データを解析し、動画データの中から相対的に重要度の高いシーンを抽出するように編集を行うことにより、元の動画よりも相対的に短い要約動画を作成する。これにより、施工現場ＣＳの管理者は、後述の表示装置４８を通じて、要約動画の確認することができる。

【0028】

また、情報処理装置４０は、要約動画を管理装置５０に送信する。これにより、複数の施工現場ＣＳを担当する管理者は、管理装置５０の表示装置を通じて、それぞれの施工現場ＣＳの要約動画を確認することができる。

【0029】

例えば、情報処理装置４０は、制御装置２０から記憶装置３０に記録された動画データに関する情報を取得し、所定のタイミング（例えば、施工現場ＣＳの一日の作業終了後の夜間）で、未編集の動画データについて、要約動画を作成する。また、例えば、情報処理装置４０は、ユーザが要約動画を相対的に早いタイミングで確認する必要があると判断すると、所定のタイミングより前のタイミングで、要約動画を作成してもよい。具体的には、情報処理装置４０は、後述の通信インタフェース４６を通じて管理装置５０から所定の制御指令が受信される場合に、ユーザが要約動画を相対的に早いタイミングで確認する必要があると判断してよい。また、情報処理装置４０は、後述の入力装置４７を通じてユーザからの所定の入力が受け付けられる場合に、ユーザが要約動画を相対的に早いタイミングで確認する必要があると判断してもよい。特に、情報処理装置４０が作業機械等に搭載される場合、オペレータは、管理者に早期に確認してもらった方がよいと考える事象等が発生したことをトリガにして、所定の入力を行うことで、より早いタイミングで要約動画を管理装置５０に送信させることができる。

【0030】

例えば、撮像装置１０が施工現場ＣＳに定置される監視カメラの場合、情報処理装置４０は、監視カメラや制御装置２０と一体的に或いは相対的に近い場所に設けられてもよいし、施工現場ＣＳの管理事務所等の監視カメラから相対的に離れた場所に設けられてもよい。また、情報処理装置４０は、また、例えば、撮像装置１０がドローンに搭載されるカメラの場合、情報処理装置４０は、記憶装置３０と共に、ドローンに搭載されてもよいし、記憶装置３０の配置に依らず、施工現場ＣＳの管理事務所等のドローンから相対的に離れた場所に設けられてもよい。また、例えば、撮像装置１０が、施工現場ＣＳの管理者等が携帯して所持するカメラやカメラ付きの携帯端末の場合、情報処理装置４０は、その筐体の中に内蔵されてもよいし、施工現場ＣＳの管理事務所等のカメラやカメラ付きの携帯端末から相対的に離れた場所に設けられてもよい。また、例えば、撮像装置１０が作業機械等に搭載される場合、情報処理装置４０は、作業機械等に搭載されてもよいし、施工現場ＣＳの管理事務所等の作業機械等から相対的に離れた場所に設けられてもよい。施工現場ＣＳの管理事務所等に設定される場合、管理装置５０は、例えば、エッジサーバであってもよいし、施工現場ＣＳの管理用の端末装置であってもよい。

【0031】

尚、情報処理装置４０の機能の一部又は全部は、制御装置２０に統合されてもよい。また、情報処理装置４０の機能の一部又は全部は、施工現場ＣＳの外部に設けられてもよく、例えば、管理装置５０に統合されてもよい。

【0032】

管理装置５０は、施工現場ＣＳの外部に設けられ、施工現場ＣＳの管理や運用に関する処理を行う。

【0033】

例えば、管理装置５０は、オンプレミスサーバやクラウドサーバである。また、例えば、管理装置５０は、エッジサーバであってもよい。また、管理装置５０は、複数の施工現場ＣＳを担当する管理者が利用する端末装置であってもよい。端末装置は、例えば、デスクトップ型のコンピュータ端末等の定置型の端末装置であってもよいし、スマートフォン、タブレット端末、ラップトップ型のコンピュータ端末等の可搬型の端末装置（携帯端末）であってもよい。

【0034】

［作業ログ生成システムの構成］
次に、図１に加えて、図２、図３を参照して、情報処理装置４０の構成を中心に作業ログ生成システム１の構成について説明する。

【0035】

図２は、情報処理装置４０のハードウェア構成の一例を示す図である。図３は、情報処理装置４０の機能構成の一例を示す図である。

【0036】

制御装置２０は、その機能が任意のハードウェア、或いは、任意のハードウェア及びソフトウェアの組み合わせ等により実現される。例えば、制御装置２０は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）等のメモリ装置、ＲＯＭ（Read Only Memory）等の補助記憶装置、及び外部との入出力用のインタフェース装置等を含むコンピュータを中心に構成される。

【0037】

記憶装置３０は、不揮発性の半導体メモリや磁気ディスク等により構成される。例えば、記憶装置３０は、例えば、ＨＤＤ（Hard Disc Drive）やＳＳＤ（Solid State Disc）である。

【0038】

情報処理装置４０は、その機能が任意のハードウェア、或いは、任意のソフトウェアの組み合わせ等により実現される。例えば、図２に示すように、情報処理装置４０は、外部インタフェース４１と、補助記憶装置４２と、メモリ装置４３と、ＣＰＵ４４と、高速演算装置４５と、通信インタフェース４６と、入力装置４７と、表示装置４８とを含む。

【0039】

外部インタフェース４１は、記録媒体４１Ａからデータの読み取りや記録媒体４１Ａへのデータの書き込みためのインタフェースとして機能する。記録媒体４１Ａには、例えば、フレキシブルディスク、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-ray Disc）（登録商標）、ＳＤメモリカード、ＵＳＢ（Universal Serial Bus）メモリ等が含まれる。これにより、情報処理装置４０は、記録媒体４１Ａを通じて、処理で利用する各種データを読み込み、補助記憶装置４２に格納したり、各種機能を実現するプログラムをインストールしたりすることができる。

【0040】

尚、情報処理装置４０は、外部装置（例えば、管理装置５０）から各種データやプログラムを取得してもよい。

【0041】

補助記憶装置４２は、インストールされた各種プログラムを格納すると共に、各種処理に必要なファイルやデータ等を格納する。補助記憶装置４２は、例えば、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）、ＨＤＤ、ＳＳＤ等を含む。

【0042】

メモリ装置４３は、プログラムの起動指示があった場合に、補助記憶装置４２からプログラムを読み出して格納する。メモリ装置４３は、例えば、ＤＲＡＭ（Dynamic Random Access Memory）やＳＲＡＭ（Static Random Access Memory）を含む。

【0043】

ＣＰＵ４４は、補助記憶装置４２からメモリ装置４３にロードされた各種プログラムを実行し、プログラムに従って情報処理装置４０に関する各種機能を実現する。

【0044】

高速演算装置４５は、ＣＰＵ４４の処理と連動し、ＣＰＵ４４の処理速度よりも相対的に高い速度の高速演算処理を実現する。高速演算装置４５は、例えば、ＧＰＵ（Graphical Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）、ＡＳＩＣ（Application Specific Integrated Circuit）等を含む。

【0045】

尚、高速演算装置４５は、省略されてもよい。

【0046】

通信インタフェース４６は、外部機器と通信可能に接続するためのインタフェースとして用いられる。これにより、情報処理装置４０は、通信インタフェース４６を通じて、例えば、制御装置２０、記憶装置３０、管理装置５０等の外部機器と通信可能に接続される。また、通信インタフェース４６は、接続される機器との間の通信方式等によって、複数の種類の通信インタフェースを有してよい。

【0047】

入力装置４７は、情報処理装置４０の作業者や管理者等のユーザから、情報処理装置４０に関する様々な指示入力を受け付ける。入力装置４７は、例えば、キーボード、マウス、タッチパネル、タッチパッド等の操作入力装置を含む。また、入力装置４７は、例えば、ユーザからの音声入力を受け付けるマイクロフォン等の音声入力装置を含む。また、入力装置４７は、例えば、ユーザからのジェスチャ入力を受け付けるカメラ等のジェスチャ入力装置を含む。また、入力装置４７は、例えば、ユーザからの生体入力（ユーザの指紋や虹彩に関する画像情報）を受け付けるカメラ等を含む生体入力装置を含む。

【0048】

表示装置４８は、例えば、ＣＰＵ４４で実行されるプログラムに従って、ＧＵＩ（Graphical User Interface）を表示する。表示装置４８は、例えば、液晶ディスプレイや有機ＥＬ（Electroluminescence）ディスプレイ等である。

【0049】

管理装置５０は、その機能が任意のハードウェア、或いは、任意のソフトウェアの組み合わせ等により実現される。例えば、管理装置５０は、情報処理装置４０と同様、外部インタフェース装置と、補助記憶装置と、メモリ装置と、ＣＰＵと、高速演算装置と、通信インタフェース装置と、入力装置と、表示装置とを含む。また、情報処理装置４０の場合と同様、高速演算装置は、省略されてもよい。

【0050】

図３に示すように、情報処理装置４０は、機能部として、画像取得部４０１と、記憶部４０２と、画像特徴量抽出部４０３と、シーン分割部４０４と、シーン評価部４０５と、要約動画生成部４０６と、通信部４０７とを含む。

【0051】

画像取得部４０１、画像特徴量抽出部４０３、シーン分割部４０４、シーン評価部４０５、要約動画生成部４０６、及び通信部４０７等の機能は、例えば、補助記憶装置４２にインストールされるプログラムをメモリ装置４３にロードしＣＰＵ上で実行することにより実現される。また、記憶部４０２等の機能は、例えば、補助記憶装置４２に規定される記憶領域により実現される。

【0052】

画像取得部４０１は、制御装置２０から取得される記憶装置３０に記録された、撮像装置１０の動画データに関する情報に基づき、記憶装置３０にアクセスし、編集対象の動画データを取得する。

【0053】

記憶部４０２には、画像取得部４０１により取得される編集対象の動画データが記憶される。

【0054】

画像特徴量抽出部４０３は、記憶部４０２の編集対象の動画データを解析し、動画データの中の静止画ごとの画像特徴量を抽出する。

【0055】

シーン分割部４０４は、画像特徴量抽出部４０３により抽出される、一連の静止画ごとの画像特徴量に基づき、画像データを複数のシーンに分割する。例えば、シーン分割部４０４は、動画データを、それぞれが相対的に近い画像特徴量を有する一連の静止画で構成される複数のシーンに分割する。

【0056】

シーン評価部４０５は、複数のシーンごとに、施工現場ＣＳの作業ログとして残す必要性の度合いを表す重要度を評価する。

【0057】

要約動画生成部４０６は、シーン評価部４０５の評価結果、即ち、複数のシーンごとの重要度に基づき、複数のシーンの中から作業ログとして残す一部のシーンを抽出し、抽出したシーンを時系列で繋ぎ合わせることにより、要約動画のデータを生成する。要約動画に含まれる一部のシーンは、それぞれ、シーン全体であってもよいし、シーンの一部であってもよい。

【0058】

要約動画生成部４０６は、生成した要約動画のデータを記憶装置３０に記憶させる。そして、要約動画生成部４０６は、通信部４０７を通じて、生成した要約動画を管理装置５０に送信する。

【0059】

通信部４０７は、管理装置５０と通信を行う。

【0060】

例えば、通信部４０７は、要約動画生成部４０６からの要求に応じて、記憶装置３０の要約動画を管理装置５０に送信する。また、例えば、通信部４０７は、管理装置５０から受信される要求に応じて、記憶装置３０の動画を送信してもよい。また、例えば、通信部４０７は、管理装置５０から要約動画の生成を要求する信号を受信する。この場合、画像取得部４０１は、管理装置５０からの要約動画の生成の要求に応じて、編集対象の動画を記憶装置３０から記憶部４０２に取り込んでよい。そして、画像特徴量抽出部４０３、シーン分割部４０４、シーン評価部４０５、及び要約動画生成部４０６は、管理装置５０からの要約動画の生成の要求に応じて、要約動画を生成するための一連の処理を行い、要約動画を生成してよい。

【0061】

［要約動画の生成処理の詳細］
次に、図４～図６を参照して、情報処理装置４０による要約動画を生成する処理の詳細について説明する。

【0062】

図４は、画像特徴量抽出部４０３の処理を模式的に示す図である。図５は、シーン分割部４０４の処理を概略的且つ模式的に説明する図である。図６は、要約動画を生成するための解析処理の流れを模式的に説明する図である。

【0063】

＜画像特徴量抽出部の処理＞
図４に示すように、画像特徴量抽出部４０３は、畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）４０３Ａを含む。ＣＮＮ４０３Ａは、畳み込み処理を行う畳み込み層及びプーリング処理を行うプーリング層の組み合わせを活性化関数により複数繋ぎ合わせることにより構成される。活性化関数は、例えば、ＲｅＬＵ（Rectified Linear Unit）である。

【0064】

尚、本例のＣＮＮ４０３Ａには、全結合層が含まれない。

【0065】

本例では、編集対象の動画データの１フレームの静止画は、８００画素?６００画素?ＲＧＢ（Red Green Red）３プレーンで構成される。ＣＮＮ４０３Ａは、入力される静止画ごとに１０２４個の画像特徴量を出力することができる（図６Ａ参照）。

【0066】

尚、画像特徴量抽出部４０３は、ＣＮＮ４０３Ａを用いる方法以外の既知の方法を任意に適用することにより他の種類の画像特徴量を抽出してもよい。また、本例では、情報処理装置４０は、ＣＮＮ４０３Ａを用いて、静止画ごとの画像特徴量を抽出するが、ＣＮＮ４０３Ａを静止画ごとのラベル付けに利用してもよい。この場合、ＣＮＮ４０３Ａは、複数段の畳み込み層及びプーリング装置の組み合わせの最後に全結合層が接続され、予め機械学習が適用されることにより、静止画ごとにラベル付けを行ってもよい。予め準備されるラベルには、要約動画に含めたい施工現場ＣＳでの事象（例えば、ショベルの掘削作業）や要約動画に含めたい対象物（例えば、土砂搬出用のダンプトラック等）に関する複数のラベルが準備される。これにより、ＣＮＮ４０３Ａは、対象の静止画が複数のラベルのそれぞれに該当する確率を出力することができる。

【0067】

＜シーン分割部の処理＞
本例では、シーン分割部４０４は、ＫＴＳ（Kernel Temporal Segmentation）の手法を用いて、動画データを複数のシーンに分割する。

【0068】

図５Ａ、図５Ｂに示すように、まず、シーン分割部４０４は、複数（例えば、上述の図４の例では、１０２４個）の画像特徴量について、動画の１フレーム（静止画）ごとの対象の画像特徴量を時系列で各行に並べた特徴量行列Ｘを生成する。特徴量行列Ｘは、行数が画像特徴量の個数（種類数）に相当し、列数が編集対象の動画のフレーム数に相当する。

【0069】

図５Ａ、図５Ｂの例では、１６フレームの動画データの画像特徴量Ａ，Ｂが時系列で各行に並べられた、２行１６列の特徴量行列Ｘが生成されている。

【0070】

続いて、図５Ｃに示すように、シーン分割部４０４は、特徴量行列Ｘの転置行列Ｘ^Ｔと特徴量行列Ｘとの積（＝Ｘ^Ｔ・Ｘ）を演算し、行数及び列数が動画のフレーム数に相当する正方行列を算出する。シーン分割部４０４は、演算結果の正方行列の対角方向を時系列の軸と想定して、所定数のシーンに分割されるような複数のフレーム分割点ＳＤＰを仮定する。そして、図５Ｄに示すように、シーン分割部４０４は、所定の制約条件下において、隣接するフレーム分割点ＳＤＰにより規定される、複数のシーンに対応する複数の小さい正方行列の非対角成分の合計値が最大になるようにフレーム分割点ＳＤＰを最適化する。

【0071】

これにより、シーン分割部４０４は、編集対象の動画データを、それぞれが相対的に近い画像特徴量を有する一連の静止画（フレーム）によって構成される、複数のシーンに分割することができる（図６Ｂ参照）。

【0072】

尚、シーン分割部４０４は、本例の手法以外の既知の手法を任意に適用することにより、動画データを複数のシーンに分割してもよい。例えば、全結合層を追加したＣＮＮ４０３Ａを用いて、静止画ごとにラベル付けが行われる場合、ラベル付けの結果に基づき、動画で生じている事象や映っている対象物の相対的に大きな変化を判断することにより、時系列でのシーン分割点が決定されてもよい。

【0073】

＜シーン評価部の処理＞
シーン評価部４０５は、シーン分割部４０４により分割された複数のシーンごとに、編集対象の動画の中での相対的に大きな変化を表すシーンに該当する度合い（重要度）を評価する。

【0074】

シーン評価部４０５は、例えば、動画データの静止画（フレーム）ごとに、時系列での前後の一定期間の画像特徴量の平均に対する対象の静止画（フレーム）に対する差分に基づき、重要度を算出する。この際、シーン評価部４０５は、その差分を重要度としてもよいし、その差分に対して更に演算処理を施すことにより重要度を算出してもよい。

【0075】

これにより、シーン評価部４０５は、動画データの時系列でのフレーム（静止画）ごとの重要度を算出することができる（図６Ｃのグラフ６０１参照）。

【0076】

そして、シーン評価部４０５は、複数のシーンごとの一連のフレーム（静止画）の重要度の平均値を、複数のシーンごとの重要度として算出することができる。

【0077】

尚、シーン評価部４０５は、本例の手法以外の既知の手法を任意に適用することにより、複数のシーンごとの重要度を評価（算出）してもよい。

【0078】

＜要約動画生成部の処理＞
要約動画生成部４０６は、シーン評価部４０５の評価結果、即ち、複数のシーンごとの重要度に基づき、複数のシーンの中から要約動画に含めるべきシーンを抽出する。

【0079】

例えば、要約動画生成部４０６は、以下の（１）の条件に基づき、複数のシーンの中から要約動画に含めるべきシーンを抽出する。

【0080】

（１）複数のシーンの中で重要度が高いシーンから順に抽出される。

【0081】

具体的には、要約動画生成部４０６は、上述の（１）の条件に加えて、以下の（２）の条件に基づき、複数のシーンの中から要約動画に含めるべきシーンを抽出する。

【0082】

（２）複数のシーンの中から要約動画の時間、要約動画の元の動画データに対する比率、或いは、要約動画に含まれるシーンの数が所定閾値以下になるようにシーンが抽出される。

【0083】

これにより、要約動画生成部４０６は、上述の（１）、（２）の条件に基づき、相対的に重要度が高いシーンを要約動画に含めるべきシーンとして抽出することができる（図６Ｃのグラフ６０２参照）。

【0084】

また、例えば、要約動画生成部４０６は、上述の（１）、（２）の条件に加えて、以下の（３）や（４）の条件に基づき、要約動画に含めるべきシーンを抽出する。

【0085】

（３）複数のシーンの中に所定時間を超える相対的に長いシーンが存在する場合、重要度に依らず、当該シーンの一部が抽出される。

【0086】

（４）抽出される時系列で隣接するシーン同士の間隔が所定のフレーム数、或いは所定時間以下になるようにシーンが抽出される。

【0087】

要約動画生成部４０６は、例えば、（１）の条件、及び（２）の時間や比率に関する条件に沿って抽出するシーンに加えて、（３）の条件に該当するシーンの一部を、（２）の時間や比率に関する条件に該当する範囲で抽出してよい。これにより、情報処理装置４０は、相対的に長いシーンが存在する場合、動画の中での相対的に大きな変化、即ち、画像特徴量の変化が相対的に小さいシーンであっても、そのシーンの一部を作業ログとして要約動画に含めることができる。

【0088】

また、要約動画生成部４０６は、（１）の条件、及び（２）の時間や比率に関する条件に沿って抽出するシーンに加えて、（２）の時間や比率に関する条件に該当する範囲で（４）の条件を満足するようにシーンを追加で抽出してよい。

【0089】

このように、要約動画生成部４０６は、シーン分割部４０４により編集対象の動画データから分割された複数のシーンから抽出したシーンを時系列で繋ぐことにより、要約動画を生成することができる。

【0090】

尚、要約動画生成部４０６は、複数のシーンに分割される前の動画データから、直接、要約動画を生成してもよい。例えば、上述の全結合層を含むＣＮＮ４０３Ａによるラベル付けにより、動画データの中の所定のラベルに該当する静止画（フレーム）を含むシーンを適宜抽出することにより、要約動画を生成してもよい。

【0091】

＜通信部の処理＞
通信部４０７は、要約動画生成部４０６により生成され記憶装置３０に登録される要約動画を管理装置５０に送信する。

【0092】

例えば、通信部４０７は、要約動画生成部４０６による要約動画の完成の通知に応じて、要約動画を管理装置５０に送信する。

【0093】

また、例えば、通信部４０７は、管理装置５０からの要求に応じて、特定の要約動画を管理装置５０に送信してもよい。

【0094】

また、例えば、通信部４０７は、情報処理装置４０が作業機械等に搭載される場合、要約動画生成部４０６により生成される要約動画のうちの構成要素のシーンの重要度が相対的に高い要約動画だけを管理装置５０に送信してもよい。これにより、作業機械等から管理装置５０への通信量を抑制し、通信回線の占有状態を改善したり、通信コストを抑制したりすることができる。

【0095】

［要約動画の構成要素のシーンの具体例］
次に、図７を参照して、要約動画の構成要素のシーンの具体例を説明する。

【0096】

図７は、画像特徴量の時系列での変化の一例を示す図である。

【0097】

図７に示すように、施工現場ＣＳの人や作業機械等にほとんど動きがない場合、画像特徴量の変化は相対的に小さい（図中の一点鎖線や二点鎖線の枠で囲まれた部分を除く時系列部分）。

【0098】

一方、施工現場ＣＳの人や作業機械等に相対的に大きな動きが生じると、画像特徴量に相対的に大きな変化が生じる（図中の一点鎖線や二点鎖線の枠で囲まれた時系列部分）。

【0099】

そのため、情報処理装置４０は、上述の如く、動画データの中の画像特徴量が相対的に大きな変化を表すシーンを抽出して要約動画を生成することにより、要約動画の中に、施工現場ＣＳにおける人や作業機械等の相対的に大きな動きを含めることができる。この際、情報処理装置４０は、図中の一点鎖線で囲まれた時系列部分のように、相対的に長い期間で画像特徴量に相対的に大きな変化が生じるシーン（例えば、所定の作業が開始されてその作業が継続する状態を表すシーン）を要約動画に含めてよい。また、情報処理装置４０は、図中の二点鎖線で囲まれた時系列部分のように、相対的に短い期間で画像特徴量に相対的に大きな変化が生じるシーン（例えば、人や作業機械等がフレームインし、直ぐにフレームアウトする状態を表すシーン）を要約動画に含めてもよい。

【0100】

動画データの中の画像特徴量が相対的に大きな変化を表すシーンには、例えば、施工現場での所定の作業の開始時を含むシーンが含まれてよい。

【0101】

また、動画データの中の画像特徴量が相対的に大きな変化を表すシーンには、例えば、施工現場ＣＳでの作業機械等が停止状態から動作状態に移行するときを含むシーンが含まれてよい。作業機械等には、動画データに含まれる作業機械等だけでなく、撮像装置１０を搭載する作業機械等が含まれる。作業機械等が停止状態から動作状態に移行するときには、例えば、作業機械等が走行停止状態から走行状態に移行するときが含まれる。また、作業機械等が停止状態から動作状態に移行するときには、例えば、旋回式の作業機械等が旋回停止状態から旋回状態に移行するときが含まれる。

【0102】

また、動画データの中の画像特徴量が相対的に大きな変化を表すシーンには、例えば、施工現場ＣＳでの作業機械等が動作状態から停止状態に移行するときを含むシーンが含まれてもよい。作業機械等には、上記の場合と同様、動画データに含まれる作業機械等だけでなく、撮像装置１０を搭載する作業機械等が含まれる。作業機械等が動作状態から停止状態に移行するときには、例えば、作業機械等が走行状態から走行停止状態に移行するときが含まれる。また、作業機械等が動作状態から停止状態に移行するときには、例えば、旋回式の作業機械等が旋回状態から旋回停止状態に移行するときが含まれる。

【0103】

また、動画データの中の画像特徴量が相対的に大きな変化を表すシーンには、例えば、動画データの中に人や作業機械等が現れるときを含むシーンが含まれてよい。

【0104】

このように、情報処理装置４０は、動画データを解析することにより、動画データの中から、施工現場の人や作業機械等の相対的に大きな動きを含むシーンを抽出して要約動画を生成することができる。そのため、施工現場ＣＳの管理者等は、施工現場ＣＳの人や作業機械等の相対的に大きな動きを中心に施工現場ＣＳの作業状況を効率的に確認することができる。

【0105】

尚、情報処理装置４０は、例えば、上述の如く、相対的に大きな動きを含むシーンに加えて、或いは、代えて、特定の作業状況（例えば、掘削作業等）を含むシーンを抽出して要約動画を生成してもよい。

【0106】

［作用］
次に、本実施形態に係る作業ログ生成システム１（情報処理装置４０）の作用について説明する。

【0107】

本実施形態では、情報処理装置４０は、施工現場ＣＳの様子を撮像する撮像装置１０により取得される動画を解析することにより、動画の中での相対的に大きな変化を表すシーンを抽出して相対的に短い要約動画を生成する。

【0108】

これにより、情報処理装置４０は、施工現場ＣＳでの人や作業機械等の相対的に大きな動きを中心にして、施工現場ＣＳの作業状況をより効率的に確認することができる。

【0109】

また、本実施形態では、元の動画の中での相対的に大きな変化を表すシーンには、施工現場ＣＳでの所定の作業の開始時を含むシーンが含まれてよい。

【0110】

これにより、情報処理装置４０は、施工現場ＣＳの作業状況として管理者等が確認したいシーンを要約動画の中に具体的に含めることができる。

【0111】

また、本実施形態では、元の動画の中での相対的に大きな変化を表すシーンには、施工現場ＣＳでの作業機械或いは作業車両が停止状態から動作状態に移行するときを含むシーン、及び施工現場ＣＳでの作業機械又は作業車両が動作状態から停止状態に移行するときを含むシーンの少なくとも一方が含まれてよい。

【0112】

これにより、情報処理装置４０は、施工現場ＣＳの作業状況として管理者等が確認したいシーンを要約動画の中に具体的に含めることができる。

【0113】

また、本実施形態では、元の動画の中での相対的に大きな変化を表すシーンには、動画の中に人、作業機械、或いは、作業車両が現れるときを含むシーンが含まれてよい。

【0114】

これにより、情報処理装置４０は、施工現場ＣＳの作業状況として管理者等が確認したいシーンを要約動画の中に具体的に含めることができる。

【0115】

また、本実施形態では、情報処理装置４０は、元の動画の中での相対的に大きな変化を表すシーン、及び動画の中で、相対的に長い期間で継続する、相対的に変化が小さいシーンの一部を抽出して要約動画を生成してよい。

【0116】

これにより、情報処理装置４０は、元の動画の中で相対的に変化が小さいシーンであっても、相対的に長い期間で継続するシーンについては、作業ログとしてその一部を要約動画に含めることができる。

【0117】

また、本実施形態では、情報処理装置４０は、元の動画の中での相対的に大きな変化を表すシーンを抽出すると共に、元の動画の中で要約動画に含まれるシーンごとの時系列での時間間隔が所定基準以下になるように、動画の中での相対的に変化が小さいシーンを抽出して要約動画を生成してよい。

【0118】

これにより、情報処理装置４０は、元の動画の中から時系列で満遍なくシーンを抽出して要約動画を生成することができる。

【0119】

また、本実施形態では、画像特徴量抽出部４０３は、元の動画の中の静止画（フレーム）ごとの画像特徴量を抽出してよい。そして、要約動画生成部４０６は、画像特徴量に基づく元の動画の解析結果から、元の動画の中での相対的に大きな変化を表すシーンを抽出し、要約動画を生成してよい。

【0120】

これにより、情報処理装置４０は、フレームごとの画像特徴量を用いて、具体的に、要約動画を生成することができる。

【0121】

また、本実施形態では、シーン分割部４０４は、元の動画の中の静止画ごとの画像特徴量に基づき、元の動画を、それぞれが相対的に近い画像特徴量を有する一連の静止画で構成される複数のシーンに分割してよい。また、シーン評価部４０５は、複数のシーンごとに、その中の静止画ごとの画像特徴量に基づき、元の動画の中での相対的に大きな変化を表すシーンに該当する度合い（重要度）を評価してよい。そして、要約動画生成部４０６は、シーン評価部４０５による評価結果に基づき、複数のシーンの中から元の動画の中での相対的に大きな変化を表すシーンを抽出し、要約動画を生成してよい。

【0122】

これにより、情報処理装置４０は、フレームごとの画像特徴量を用いて、複数のシーンごとの重要度を評価し、具体的に、要約動画を生成することができる。

【0123】

また、本実施形態では、要約動画生成部４０６は、元の動画の取得後、所定のタイミングで、要約動画を生成すると共に、ユーザが要約動画を相対的に早いタイミングで確認する必要があると判断すると、動画の取得後、所定のタイミングより前のタイミングで、要約動画を生成してよい。

【0124】

これにより、情報処理装置４０は、ユーザの都合に合わせて、より早いタイミングで要約動画を生成することができる。

【0125】

また、本実施形態では、撮像装置１０は、作業機械に搭載され、作業機械の周辺の様子を撮像してよい。そして、情報処理装置４０は、作業機械に搭載され、撮像装置１０により取得される動画を解析することにより、動画の中での相対的に大きな変化を表すシーンを抽出して相対的に短い要約動画を生成してよい。

【0126】

これにより、作業機械は、その周辺の状況を撮像する撮像装置の画像を用いて、要約動画を生成することができる。

【0127】

また、本実施形態では、作業機械は、情報処理装置４０により生成される要約動画のうちの構成要素のシーンの相対的に大きな変化を表す度合い（重要度）が相対的に高い要約動画を管理装置５０に送信してよい。

【0128】

これにより、作業機械は、管理装置５０のユーザ（複数の施工現場ＣＳを担当する管理者等）が確認すべき要約動画を選択的に管理装置５０に送信することができる。そのため、作業機械は、通信回線の占有状態を改善したり、通信コストを抑制したりすることができる。

【0129】

以上、実施形態について詳述したが、本開示はかかる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された要旨の範囲内において、種々の変形・変更が可能である。

【符号の説明】

【0130】

１ 作業ログ生成システム
１０ 撮像装置
２０ 制御装置
３０ 記憶装置
４０ 情報処理装置
４１ 外部インタフェース
４１Ａ 記録媒体
４２ 補助記憶装置
４３ メモリ装置
４４ ＣＰＵ
４５ 高速演算装置
４６ 通信インタフェース
４７ 入力装置
４８ 表示装置
５０ 管理装置
４０１ 画像取得部
４０２ 記憶部
４０３ 画像特徴量抽出部
４０３Ａ 畳み込みニューラルネットワーク
４０４ シーン分割部
４０５ シーン評価部
４０６ 要約動画生成部
４０７ 通信部
ＣＳ 施工現場

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】