特開 2024-62247 情報処理システム、情報処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024062247

(43)【公開日】2024-05-09

(54)【発明の名称】情報処理システム、情報処理方法及びプログラム

(51)【国際特許分類】

   G06T 7/70 20170101AFI20240430BHJP

【ＦＩ】

G06T7/70 A

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2022170113

(22)【出願日】2022-10-24

(71)【出願人】

【識別番号】515253083

【氏名又は名称】株式会社ＣＬＵＥ

(74)【代理人】

【識別番号】110002790

【氏名又は名称】Ｏｎｅ ｉｐ弁理士法人

(72)【発明者】

【氏名】中村 剛史

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096CA02

5L096DA02

5L096FA69

5L096HA09

5L096KA04

(57)【要約】

【課題】容易に現場に存在する資機材を把握することができるようにする。
【解決手段】情報処理システムであって、現場を撮影した画像を取得する画像取得部と、画像に撮影された物体を検出する物体検出部と、物体が検出された画像上の位置に基づいて、物体の現場内での位置である設置位置を推定する位置推定部と、検出した物体及び物体の設置位置を出力する出力部と、を備えることを特徴とする。
【選択図】図１

【特許請求の範囲】

【請求項1】

現場を撮影した画像を取得する画像取得部と、
前記画像に撮影された物体を検出する物体検出部と、
前記物体が検出された前記画像上の位置に基づいて、前記物体の前記現場内での位置である設置位置を推定する位置推定部と、
検出した前記物体及び前記物体の前記設置位置を出力する出力部と、
を備えることを特徴とする情報処理システム。

【請求項2】

請求項１に記載の情報処理システムであって、
前記画像を撮影したカメラの前記現場内での撮影位置、撮影高度、撮影方向、撮影角度を取得する撮影情報取得部を備え、
前記位置推定部は、前記画像上の位置と、前記撮影位置、前記撮影高度、前記撮影方向、前記撮影角度とに基づいて、前記設置位置を推定すること、
を特徴とする情報処理システム。

【請求項3】

請求項１に記載の情報処理システムであって、
前記現場の地形を表す現場情報を記憶する現場情報記憶部を備え、
前記位置推定部は、前記地形に応じて前記設置位置を補正すること、
を特徴とする情報処理システム。

【請求項4】

請求項１に記載の情報処理システムであって、
前記現場に設置されている前記物体の前記設置位置を記憶する設備情報記憶部と、
検出した前記物体のうち、前記設置位置が前記設備情報記憶部に記憶されていないものを出力する非管理物体出力部と、
を備えることを特徴とする情報処理システム。

【請求項5】

現場を撮影した画像を取得するステップと、
前記画像に撮影された物体を検出するステップと、
前記物体が検出された前記画像上の位置に基づいて、前記物体の前記現場内での位置である設置位置を推定するステップと、
検出した前記物体及び前記物体の前記設置位置を出力するステップと、
を情報処理装置が実行することを特徴とする情報処理方法。

【請求項6】

現場を撮影した画像を取得するステップと、
前記画像に撮影された物体を検出するステップと、
前記物体が検出された前記画像上の位置に基づいて、前記物体の前記現場内での位置である設置位置を推定するステップと、
検出した前記物体及び前記物体の前記設置位置を出力するステップと、
を情報処理装置に実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理システム、情報処理方法及びプログラムに関する。

【背景技術】

【0002】

建設現場内の資機材の位置を管理することが行われている（特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２２－０９２３６４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１に記載のシステムでは、識別票を現場に配置しておく必要があり、手間がかかる。

【0005】

本発明はこのような背景を鑑みてなされたものであり、容易に現場に存在する資機材を把握することのできる技術を提供することを目的とする。

【課題を解決するための手段】

【0006】

上記課題を解決するための本発明の主たる発明は、情報処理システムであって、現場を撮影した画像を取得する画像取得部と、前記画像に撮影された物体を検出する物体検出部と、前記物体が検出された前記画像上の位置に基づいて、前記物体の前記現場内での位置である設置位置を推定する位置推定部と、検出した前記物体及び前記物体の前記設置位置を出力する出力部と、を備えることを特徴とする。

【0007】

その他本願が開示する課題やその解決方法については、発明の実施形態の欄及び図面により明らかにされる。

【発明の効果】

【0008】

本発明によれば、容易に現場に存在する資機材を把握することができる。

【図面の簡単な説明】

【0009】

【図1】本開示の一実施形態に係る情報処理システム１の概略を示す図である。

【図2】本実施形態に係る情報処理装置１０の構成を示すブロック図である。

【図3】本実施形態に係る無人飛行体２０の機能構成の一例を示すブロック図である。

【図4】本実施形態の情報処理装置１０の機能構成の一例を示す図である。

【図5】情報処理装置１０の動作を説明する図である。

【図6】物体Ｔ１の位置の推定を説明する図である。

【図7】検出した物体を出力する画面４０の一例を示す図である。

【発明を実施するための形態】

【0010】

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

【0011】

図１は、本開示の一実施形態に係る情報処理システム１の概略を示す図である。図示のように、情報処理システム１は、情報処理装置１０と、無人飛行体２０とを備える。本実施形態に係る情報処理システム１は、例えば、無人飛行体２０により現場（本実施形態では工事現場を想定する。）を撮影し、工事現場に載置されている資機材等の物体Ｔ１を検出しようとするものである。情報処理システム１においては、情報処理装置１０を使用するユーザＵが、情報処理装置１０のタッチパネルに対して操作を行い、無人飛行体２０を用いて現場の画像を撮像する。そして、情報処理装置１０は、撮像された画像に含まれる物体Ｔ１を検出し、無人飛行体２０の位置、高度、撮影方向に基づいて、その物体Ｔ１の世界座標（実空間）における載置位置を推定することができる。

【0012】

本実施形態の情報処理装置１０は、いわゆるタブレット状の小型のコンピュータによって実装される。他の実施形態においては、情報処理装置１０は、スマートフォンまたはゲーム機等の携帯型のコンピュータにより実現されてもよいし、パーソナルコンピュータ等の据え置き型のコンピュータにより実現されてもよい。また、情報処理装置１０は、複数のハードウェアにより実現され、それらに機能が分散された構成を有してもよい。

【0013】

図２は、本実施形態に係る情報処理装置１０の構成を示すブロック図である。図示のように、情報処理装置１０は、制御部１１及び表示部の一例であるタッチパネル１２を備える。

【0014】

プロセッサ１１ａは、制御部１１の動作を制御し、各要素間におけるデータの送受信の制御や、プログラムの実行に必要な処理等を行う演算装置である。このプロセッサ１１ａは、本実施の形態では例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であり、後述するストレージ１１ｃに格納されてメモリ１１ｂに展開されたプログラムを実行して各処理を行う。

【0015】

メモリ１１ｂは、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の揮発性記憶装置で構成される主記憶装置、及びフラッシュメモリやＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）等の不揮発性記憶装置で構成される補助記憶装置を備える。このメモリ１１ｂは、プロセッサ１１ａの作業領域として使用される一方、制御部１１の起動時に実行されるブートローダ、及び各種の設定情報等が格納される。

【0016】

ストレージ１１ｃは、プログラムや各種の処理に用いられる情報等が格納されている。例えば、壁面Ｗ１の画像情報を撮像するための飛行体を、情報処理装置１０を介してユーザが操作する場合、ストレージ１１ｃには、かかる飛行体の飛行を制御するプログラムが格納されていてもよい。

【0017】

送受信部１１ｄは、制御部１１をインターネット網等のネットワークに接続するものであって、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、赤外線、無線、ＷｉＦｉ、ポイントツーポイント（Ｐ２Ｐ）ネットワーク、電気通信ネットワーク、クラウド通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＢＬＥ（Ｂｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ）といった近距離通信インターフェースを具備するものであってもよい。

【0018】

入出力部１１ｅは、入出力機器が接続されるインターフェースであって、本実施形態では、タッチパネル１２が接続される。

【0019】

バス１１ｆは、接続したプロセッサ１１ａ、メモリ１１ｂ、ストレージ１１ｃ、送受信部１１ｄ及び入出力部１１ｅの間において、例えばアドレス信号、データ信号及び各種の制御信号を伝達する。

【0020】

タッチパネル１２は、表示部の一例であり、取得した映像や画像が表示される表示面を備える。この表示面は、本実施形態では、表示面への接触によって情報の入力を受け付けるものであって、抵抗膜方式や静電容量方式といった各種の技術によって実装される。

【0021】

タッチパネル１２の表示面には、例えば、無人飛行体２０により撮像された画像が表示され得る。また、該表示面には、無人飛行体２０の飛行制御や撮像装置の制御のためのボタンやオブジェクト等が表示されてもよい。また、ユーザは、該表示面に表示された画像やボタン等に対して、タッチパネル１２を介して入力情報を入力し得る。かかる入力情報の入力のための操作は、例えば、ボタンやオブジェクト等に対するタッチ（タップ）操作、スライド操作、またはスワイプ操作等である。

【0022】

図３は、本実施形態に係る無人飛行体２０の機能構成の一例を示すブロック図である。図３に示すように、一実施形態に係る無人飛行体２０は、本体２１において、送受信部２２、フライトコントローラ２３、バッテリ２４、ＥＳＣ２５、モータ２６、プロペラ２７およびカメラ２８を備える。なお、無人飛行体２０は飛行体の一例である。飛行体の種類は特に限定されず、例えば、図３に示すようなマルチローター式のいわゆるドローンであってもよい。

【0023】

フライトコントローラ２３は、プログラマブルプロセッサ（例えば、中央演算処理装置（ＣＰＵ））などの１つ以上のプロセッサ２３Ａを有することができる。

【0024】

フライトコントローラ２３は、メモリ２３Ｂを有しており、メモリ２３Ｂにアクセス可能である。メモリ２３Ｂは、１つ以上のステップを行うためにフライトコントローラが実行可能であるロジック、コード、および／またはプログラム命令を記憶している。

【0025】

メモリ２３Ｂは、例えば、ＳＤカードやランダムアクセスメモリ（ＲＡＭ）などの分離可能な媒体または外部の記憶装置を含んでいてもよい。センサ類２３Ｃから取得したデータは、メモリ２３Ｂに直接に伝達されかつ記憶されてもよい。例えば、カメラ２８で撮影した静止画・動画データが内蔵メモリ又は外部メモリに記録される。

【0026】

フライトコントローラ２３は、飛行体の状態を制御するように構成された制御モジュールを含んでいる。例えば、制御モジュールは、６自由度（並進運動ｘ、ｙ及びｚ、並びに回転運動θｘ、θｙ及びθｚ）を有する飛行体の空間的配置、速度、および／または加速度を調整するために飛行体の推進機構（モータ２６等）をＥＳＣ（Ｅｌｅｃｔｒｉｃ Ｓｐｅｅｄ Ｃｏｎｔｒｏｌｌｅｒ）２５を介して制御する。制御モジュールは、カメラ２８やセンサ類２３Ｃ等のうち１つ以上を制御することができる。また、フライトコントローラ２３は、飛行体の状態に関する情報を生成し、保持しうる。飛行体の状態に関する情報は、例えば、カメラ２８やセンサ類２３Ｃが取得したデータを含む。カメラ２８が取得したデータは、例えば、カメラ２８が撮像して生成される画像情報、カメラ２８の撮像状況（例えば、カメラ２８の撮像位置、カメラ２８の撮像方向）に関する情報を含む。撮像方向は、カメラ２８のパン方向およびチルト方向の角度等を含みうる。

【0027】

フライトコントローラ２３は、１つ以上の外部のデバイス（例えば、情報処理装置１０等の端末、表示装置、無人飛行体２０を遠隔で操作するコントローラであるプロポまたは他の遠隔の制御器）からのデータを送信および／または受け取るように構成された送受信部２２と通信可能である。例えば、送受信部２２は、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、赤外線、無線、ＷｉＦｉ、ポイントツーポイント（Ｐ２Ｐ）ネットワーク、電気通信ネットワーク、クラウド通信などのうちの１つ以上を利用することができる。

【0028】

送受信部２２は、カメラ２８やセンサ類２３Ｃで取得したデータ、フライトコントローラ２３が生成した処理結果、所定の制御データ、情報処理装置１０または遠隔の制御器からのユーザコマンドなどのうちの１つ以上を送信および／または受け取ることができる。送受信部２２は、例えば、情報処理装置１０に対する入力を受けて、不図示のプロポを介して、飛行や撮像にかかる制御を受信し得る。また、送受信部２２は、例えば、カメラ２８等が取得したデータを、不図示のプロポを介して、情報処理装置に送信し得る。

【0029】

本実施形態によるセンサ類２３Ｃは、慣性センサ（加速度センサ、ジャイロセンサ）、ＧＰＳセンサ、近接センサ（例えば、ライダー）、またはビジョン／イメージセンサ（例えば、カメラ）を含み得る。

【0030】

バッテリ２４は、例えばリチウムポリマー電池等の公知のバッテリであり得る。なお、無人飛行体２０を駆動させる動力は、バッテリ２４等から供給される電力に限定されず、例えば内燃機関等の動力によるものであってもよい。

【0031】

カメラ２８は撮像装置の一例である。カメラ２８の種類は特に限定されず、例えば通常のデジタルカメラ、全天球カメラ、赤外線カメラ、サーモグラフィ等のイメージセンサ等であってもよい。カメラ２８は、本体２１と不図示のジンバル等により独立変位可能に接続されていてもよい。

【0032】

図４は、本実施形態の情報処理装置１０の機能構成の一例を示す図である。情報処理装置１０は、画像情報記憶部１３１と、学習モデル記憶部１３２と、物体記憶部１３３と、現場情報記憶部１３４と、設備情報記憶部１３５と、画像取得部１１１と、撮影情報取得部１１２と、物体検出部１１３と、物体位置推定部１１４と、物体出力部１１５と、非管理物体出力部１１６と、を備える。

【0033】

画像情報記憶部１３１は、現場を撮影した画像に関する情報（以下、画像情報という。）を記憶する。画像情報には、画像を特定する画像ＩＤに対応付けて、画像を撮影した撮影位置、撮影高度、撮影方向、撮影角度、画角、焦点距離などの撮影に関する情報（以下、撮影情報という。）と、画像を表示するための画像データとを含むことができる。撮影位置は、例えば、緯度及び経度により表される。撮影方向は、水平面上におけるカメラ２８の視線の向きであり、例えば、北を０度及び３６０度とする角度により表される。撮影角度は、垂直面上におけるカメラ２８の視線の向きであり、例えば、水平方向を０度、鉛直方向真下の方向を９０度とした角度により表すことができる。画像データは、無人飛行体２０が撮像して得られる撮像画像を想定するが、かかる例に限定されない。例えば、画像データは、高所等からデジタルカメラやスマートフォン、タブレット等を用いて撮像して得られる撮像画像であってもよい。その際、撮像位置や撮像方向等を任意の方法で取得できれば、かかる情報を撮像状況に係る情報として用いることができる。画像を撮影した位置は、例えば、緯度及び経度により表すことができる。

【0034】

学習モデル記憶部１３２は、現場に存在する物体を検出するための学習モデルを記憶する。学習モデルは、例えば、画像データを入力データとし、画像中における物体の範囲及び物体の種類を教師データとして、例えばディープラーニングの手法などの機械学習により作成することができる。

【0035】

物体記憶部１３３は、画像から検出された物体についての情報（以下、物体情報という。）を記憶する。物体情報には、画像を特定する画像ＩＤ、物体の位置、物体の種類、物体のサイズなどを含めることができる。物体の位置は、例えば、緯度及び経度により表すことができる。物体の位置は、例えば、所与の現場の基準位置からの相対位置としてもよい。サイズは、例えば、平面図上における縦横方向の大きさとすることができる。サイズは、例えば、平面図において北方向を上方向として、物体を囲むバウンディングボックスの大きさとしてもよいし、その他の幅及び奥行きの長さとしてもよい。また、サイズは、画像上のサイズであってもよいし、現実空間における実際の物体のサイズであってもよい。

【0036】

現場情報記憶部１３４は、現場に関する情報（以下、現場情報という。）を記憶する。現場情報には、現場の地形を表すデータ（地形データ）を含めることができる。地形データは、例えば、盛土、窪地、法面、斜面、構造物など現場内の地上面の起伏に関連する種類であってもよいし、３Ｄモデルデータであってもよい。

【0037】

設備情報記憶部１３５は、現場に設置されている設備に関する情報（以下、設備情報という。）を記憶する。設備情報には、設備を特定する設備ＩＤ、設備の種類、設備の設置位置、設備のサイズなどが含まれ得る。すなわち、設備情報記憶部１３５は、現場に設置されている物体の設置位置を記憶することができる。

【0038】

画像取得部１１１は、現場を撮影した画像を取得する。本実施形態では、無人飛行体２０が撮影した画像の画像データを、撮影時に又は飛行後に受信するものとするが、無人飛行体２０以外が現場を撮影した画像の入力を、例えば、情報処理装置１０などから受け付けるようにしてもよい。

【0039】

撮影情報取得部１１２は、画像を撮影したカメラに関連する撮影情報を取得する。撮影情報には、カメラの撮影位置、撮影高度、撮影方向、撮影角度、画角、焦点距離などが含まれ得る。本実施形態では、無人飛行体２０から画像データとともに撮影情報を取得するものとする。なお、情報処理装置１０などから撮影情報の入力を受け付けるようにしてもよい。

【0040】

画像取得部１１１が取得した画像データと、撮影情報取得部１１２が取得した撮影情報とを含む画像情報を作成して、画像情報記憶部１３１に登録することができる。

【0041】

物体検出部１１３は、画像に撮影された物体を検出する。物体検出部１１３は、例えば、学習モデルに画像データを与えることにより画像に写っている物体の種類及び場所を特定することができる。物体検出部１１３は、一般的な画像解析処理を用いて物体の画像上における位置及びサイズを検出することができる。

【0042】

物体位置推定部１１４は、現場に残置されている物体の位置を推定する。物体位置推定部１１４は、物体が検出された画像上の位置に基づいて、物体の現場内での位置である設置位置を推定することができる。物体位置推定部１１４は、画像情報に含まれる撮影情報（撮影位置、高度、方向、角度、焦点距離）と、物体が検出された画像上の位置とに基づいて、物体の現場における設置位置を推定することができる。また、物体位置推定部１１４は、地形に応じて設置位置を補正することができる。また、物体位置推定部１１４は、撮影情報に基づいて歪み補正などの処理を行った後に、補正処理後の画像情報から物体を検出するようにしてもよい。

【0043】

物体出力部１１５は、検出した物体及び物体の設置位置を出力する。物体出力部１１５は、例えば、現場の図面上に物体を表す図形を表示することができる。

【0044】

非管理物体出力部１１６は、検出された物体のうち管理されていないものを出力する。非管理物体出力部１１６は、例えば、物体検出部１１３が検出した物体のうち、設置位置が設備情報記憶部１３５に記憶されていないものを出力することができる。

【0045】

＜動作＞
図５は、情報処理装置１０の動作を説明する図である。

【0046】

情報処理装置１０は、画像情報を取得する（Ｓ３０１）。情報処理装置１０は、無人飛行体２０が撮影した画像の画像データを無人飛行体２０から受信することができる。

【0047】

情報処理装置１０は、無人飛行体２０から、撮影時における撮影位置、高度、撮影方向、撮影角度、画角などの撮影情報を取得する（Ｓ３０２）。情報処理装置１０は、取得した画像データ及び撮影情報を含む画像情報を画像情報記憶部１３１に登録することができる。

【0048】

情報処理装置１０は、撮影された画像から物体Ｔ１を検出する（Ｓ３０３）。画像からの物体Ｔ１の検出は、例えば、画像データを学習モデルに与えることにより物体の種類及び位置を推論することにより行うことができる。なお、画像からの物体の検出処理には、公知の画像解析の手法を用いることができる。

【0049】

情報処理装置１０は、画像から物体Ｔ１を検出できた場合には（Ｓ３０４：ＹＥＳ）、撮影情報を用いて物体Ｔ１の位置を推定する（Ｓ３０５）。図６は、物体Ｔ１の位置の推定を説明する図である。撮影情報として、無人飛行体２０のカメラ２８が現場を撮影したときの水平位置がＰ１、高度がＨ１、撮影方向がＤ１、撮影角度がＡ１、画角がＦＡ１である。撮影方向Ｄ１及び撮影角度Ａ１により撮影方向ＰＶ１が規定される。また、位置Ｐ１及び高度Ｈ１と、撮影方向Ｄ１及び撮影角度Ａ１とに基づいて撮影方向ＰＶ１をベクトル表現することも可能である。情報処理装置１０は、これらに基づいて、地表面上の撮影範囲Ｖ１を求めることができる。情報処理装置１０は、画像上に検出された物体Ｔ１の位置Ｐ２（例えば、物体Ｔ１が画像上に占める領域を矩形で表現した場合の北西の角としてもよいし、物体Ｔ１の重心位置としてもよい。）及びサイズに基づいて、実世界上の位置Ｐ２及びサイズを推定することができる。

【0050】

なお、撮影範囲Ｖ１は、地表面が高度０の平面である場合に求められる範囲である。情報処理装置１０は、現場情報に含まれている地形データに基づいて、位置Ｐ２及びサイズを補正することができる（Ｓ３０６）。

【0051】

情報処理装置１０は、撮影終了まで（Ｓ３０７：ＮＯ）、ステップＳ３０１からの処理を繰り返すことができる。

【0052】

撮影が終了すると（Ｓ３０７：ＹＥＳ）、情報処理装置１０は、検出した物体Ｔ１の位置を出力する（Ｓ３０８）。

【0053】

情報処理装置１０はまた、管理されていない物体（非管理物体）が検出された場合には（Ｓ３０９：ＹＥＳ）、管理されていない物体を出力する（Ｓ３１０）。

【0054】

図７は、検出した物体を出力する画面４０の一例を示す図である。画面４０には、現場４１が表示される。図７の例では、現場４１は矩形で表示されているが、例えば、航空写真など、実際の現場を表すものであればよい。現場４１は、緯度及び経度の情報が与えられているものとする。情報処理装置１０は、現場４１に重畳させて、物体Ｔ１を示す図形４２及び物体Ｔ１の種類４３を出力することができる。

【0055】

情報処理装置１０はまた、管理されていない物体については、太線の矩形４４のように強調表示をすることにより、管理されていない物体であることを出力することができる。なお、情報処理装置１０は、管理されていない物体については、その他の物体とは別に現場４１上に表示する画面を表示することができる。また、情報処理装置１０は、管理されていない物体をリスト表示することもできる。

【0056】

以上のようにして、本実施形態の情報処理システムによれば、無人飛行体２０を用いて現場を撮影した画像から、現場に載置されている資機材などの物体Ｔ１を検出し、出力することができる。これにより、例えば、現場に配置されている資機材の位置を容易に把握することができる。また、本実施形態の情報処理システムによれば、管理されていない物体を出力することができるので、現場の残置物を容易に把握することができる。

【0057】

以上、本実施形態について説明したが、上記実施形態は本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物も含まれる。

【0058】

例えば、本実施形態では、ある時点で撮影された画像に基づいて、現場に配置されている物体を検出するものとしたが、複数の時点で撮影された画像から物体を検出し、経時的な物体の移動を特定するようにしてもよい。

【0059】

この場合、画像情報記憶部１３１に記憶される画像情報には撮影日時を含めるようにし、物体検出部１１３は、画像から検出した物体を識別するようにし、物体記憶部１３３に記憶される物体情報には、物体を識別する物体ＩＤ及び検出された日時（撮影日時としてもよい。）を含めるようにすることができる。また、情報処理装置１０は、稼働率算出部と、異常検知部とを備えることができる。

【0060】

稼働率算出部は、検出された物体について、物体が動作しているか否かを判定することができる。稼働率算出部は、例えば、物体情報の位置が時系列で変化しているか否かにより、物体が移動したか否かを判定することができる。稼働率算出部はまた、例えば、画像から検出された物体の部分（部分画像）のみを抽出し、抽出した部分画像を撮影日時の順に並べ、各部分画像について、当該部分画像と、当該部分画像の直前又は過去所定時間内の他の部分画像との差分を抽出し、当該差分に基づいて移動ベクトルを計算し、移動ベクトルに基づいて物体の部分が動いたか否かにより物体が動作したか否かを判定することができる。

【0061】

稼働率算出部はまた、物体が動作した時間（稼働時間）を計算することができる。稼働率算出部は、例えば、物体が動作したと判定された日時の連続する時間を稼働時間として計算することができる。

【0062】

稼働率算出部はまた、物体が現場に設置されている設置時間を計算することができる。稼働率算出部は、例えば、物体情報の日時に基づいて設置時間を計算することができる。稼働率算出部は、例えば、物体情報を日時の順に並べ、最古の日時から最新の日時までを設置時間として計算し、あるいは、最古の日付から最新の日付までの日数に現場の作業時間（例えば１日８時間など）を乗じて設置時間を計算することができる。

【0063】

稼働率算出部はまた、稼働時間を設置時間で割ることにより稼働率を計算することができる。

【0064】

異常検知部は、物体の異常を検知することができる。異常検知部は、例えば、異常の有無を教師データとして資機材の画像を学習させた機械学習により作成される学習モデルに対して、画像情報の画像を与えることにより、物体の異常の有無を推論することができる。

【0065】

異常検知部はまた、物体の位置の変化に基づいて、物体の異常を検知することができる。例えば、設備情報記憶部１３５に記憶される設備情報に、当該資機材が移動されるか否かを示すフラグ値を設定しておき、異常検知部は、設備情報に移動しないことを示すフラグ値が設定されているにもかかわらず、位置の変化が検知された物体について、異常が生じたと判定することができる。

【0066】

異常検知部はまた、物体の動作時刻に基づいて物体の異常を検知することができる。例えば、異常検知部は、現場の作業時刻（例えば０８：００～１６：００など）以外の時刻に物体が動作していることを検知した場合には、物体に異常が発生したとして異常を検知することができる。また、例えば、設備情報記憶部１３５に記憶される設備情報に、物体が動作する予定の時間帯や期間などの時間情報を設定しておき、異常検知部は、設備情報に設定されている時間情報の示すタイミング以外で物体の動作を検知した場合に、物体の異常を検知することができる。

【0067】

＜開示事項＞
なお、本開示には、以下のような構成も含まれる。
［項目１］
現場を撮影した画像を取得する画像取得部と、
前記画像に撮影された物体を検出する物体検出部と、
前記物体が検出された前記画像上の位置に基づいて、前記物体の前記現場内での位置である設置位置を推定する位置推定部と、
検出した前記物体及び前記物体の前記設置位置を出力する出力部と、
を備えることを特徴とする情報処理システム。
［項目２］
項目１に記載の情報処理システムであって、
前記画像を撮影したカメラの前記現場内での撮影位置、撮影高度、撮影方向、撮影角度を取得する撮影情報取得部を備え、
前記位置推定部は、前記画像上の位置と、前記撮影位置、前記撮影高度、前記撮影方向、前記撮影角度とに基づいて、前記設置位置を推定すること、
を特徴とする情報処理システム。
［項目３］
項目１に記載の情報処理システムであって、
前記現場の地形を表す現場情報を記憶する現場情報記憶部を備え、
前記位置推定部は、前記地形に応じて前記設置位置を補正すること、
を特徴とする情報処理システム。
［項目４］
項目１に記載の情報処理システムであって、
前記現場に設置されている前記物体の前記設置位置を記憶する設備情報記憶部と、
検出した前記物体のうち、前記設置位置が前記設備情報記憶部に記憶されていないものを出力する非管理物体出力部と、
を備えることを特徴とする情報処理システム。
［項目５］
現場を撮影した画像を取得するステップと、
前記画像に撮影された物体を検出するステップと、
前記物体が検出された前記画像上の位置に基づいて、前記物体の前記現場内での位置である設置位置を推定するステップと、
検出した前記物体及び前記物体の前記設置位置を出力するステップと、
を情報処理装置が実行することを特徴とする情報処理方法。
［項目６］
現場を撮影した画像を取得するステップと、
前記画像に撮影された物体を検出するステップと、
前記物体が検出された前記画像上の位置に基づいて、前記物体の前記現場内での位置である設置位置を推定するステップと、
検出した前記物体及び前記物体の前記設置位置を出力するステップと、
を情報処理装置に実行させるためのプログラム。

【符号の説明】

【0068】

１０ 情報処理装置
２０ 無人飛行体

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】