特開 2024-71436 情報処理装置、制御方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024071436

(43)【公開日】2024-05-24

(54)【発明の名称】情報処理装置、制御方法、及びプログラム

(51)【国際特許分類】

   H04N 7/18 20060101AFI20240517BHJP

   G06V 20/00 20220101ALI20240517BHJP

【ＦＩ】

H04N7/18 D

G06V20/00

H04N7/18 K

【審査請求】有

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2024041291

(22)【出願日】2024-03-15

(62)【分割の表示】P 2019210975の分割

【原出願日】2019-11-22

(71)【出願人】

【識別番号】390002761

【氏名又は名称】キヤノンマーケティングジャパン株式会社

(74)【代理人】

【識別番号】100189751

【弁理士】

【氏名又は名称】木村 友輔

(74)【代理人】

【識別番号】100227857

【弁理士】

【氏名又は名称】中山 圭

(72)【発明者】

【氏名】小林 義和

(57)【要約】

【課題】 画像から認識した対象に基づいて生じている事象を推定する仕組みを提供する。
【解決手段】 物体検出判定通知サーバ１１０は、クライアントＰＣ１０４から送信される、ネットワークカメラ１０２で撮影することにより得られた画像データに映されている物体の検出結果に基づいて、検出されたそれぞれの物体に対して付されている点数を用いて、物体の種類の組み合わせに対して合計点を求め、この合計した点数が所定の点数を超えた場合は、物体が存在する領域において工事が行われていると推定する。
【選択図】 図８

【特許請求の範囲】

【請求項1】

画像データから撮影された対象を取得する取得手段と、
前記取得手段によって取得した対象の組み合わせによって、所定の事象が、前記対象が存在する領域で生じているかを推定する推定手段と、
を備えたことを特徴とする情報処理装置。

【請求項2】

前記対象に対する重みを取得する推定要素取得手段を備え、
前記推定手段は、前記推定要素取得手段によって取得される、前記対象の組み合わせにおけるそれぞれの対象の重みに基づいて、前記所定の事象が、前記対象が存在する領域で生じているかを推定することを特徴とする請求項１に記載の情報処理装置。

【請求項3】

前記重みは、前記対象と前記事象との関連性に基づいて定めた重みであることを特徴とする請求項２に記載の情報処理装置。

【請求項4】

前記推定手段は、前記対象の種類の組み合わせにおけるそれぞれの対象の重みに基づいて、前記事象を推定することを特徴とする請求項１乃至３の何れか１項に記載の情報処理装置。

【請求項5】

前記推定手段によって推定された所定の事象が生じている位置を、前記画像データを撮影した位置情報に基づいて表示する制御を行う表示制御手段を備えたことを特徴とする請求項１乃至４の何れか１項に記載の情報処理装置。

【請求項6】

情報処理装置の制御方法であって、
前記情報処理装置が、
画像データから撮影された対象を取得する取得ステップと、
前記取得ステップによって取得した対象の組み合わせによって、所定の事象が、前記対象が存在する領域で生じているかを推定する推定ステップと、
を実行することを特徴とする情報処理装置の制御方法。

【請求項7】

コンピュータを、
画像データから撮影された対象を取得する取得手段と、
前記取得手段によって取得した対象の組み合わせによって、所定の事象が、前記対象が存在する領域で生じているかを推定する推定手段と、
して機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像から認識した対象によって所定の事象が生じているかを推定する方法に関する。

【背景技術】

【0002】

最近のコンピュータを搭載した物体検出装置では、畳み込みニューラルネットワークをベースとした物体検出モデルを用いている。

【0003】

検出したい物体のクラスと位置をラベリングした画像データを用いて学習データを作成し、物体検出モデルが、学習データの物体の位置とクラスを学習することで、物体検出モデルは、撮影された任意の画像内の物体を認識し検出できるようになる。

【0004】

物体の認識の精度を向上させるために、撮影した位置や時間帯等の撮影状況に応じて作成したモデルを用いて、物体の認識を行うこと（例えば、特許文献１参照）、背景差分による物体検出において、背景画像に対する入力画像の色変化傾向に基づいて、背景画像の物体が単なる照明条件により検出されたのか、新たに出現した物体を検出したのかを判定すること（例えば、特許文献２参照）、鳥の輪郭や飛行の仕方により、画像に含まれる物体の鳥の種類を推定すること（例えば、特許文献３参照）が考えられている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１１－５９８１０号公報

【特許文献2】特開２０１０－２１１７１４号公報

【特許文献3】特許第６３７９３４３号公報

【発明の開示】

【発明が解決しようとする課題】

【0006】

しかしながら、各特許文献に記載の発明は、ある特定の物体を検出するための認識精度向上を図ることが可能であるが、その特定した物体により、物体が存在するエリアにおいて生じている事象を認識するまでには至っていない。

【0007】

例えば、通常、工事現場には、工事看板、注意看板、交通看板、ショベルカー、ゼブラフェンス、プラスティックフェンス、矢印、あるいはカラーコーン（登録商標）等の工事関連物体（クラス）が存在することから、このような物体を認識することで、その物体が存在するエリアは、工事現場であることを推定できる。

【0008】

ただし、このような物体には、類似する形状を備えた物体が撮影されることもあることから、物体の存在するエリアで生じている事象の認識精度が低下するという問題が生じうる。

【0009】

そこで、本発明では、画像から認識した対象に基づいて所定の事象が生じているかを推定する仕組みを提供することを目的とする。

【課題を解決するための手段】

【0010】

上記目的を達成するために本発明は、画像データから撮影された対象を取得する取得手段と、前記取得手段によって取得した対象の組み合わせによって、所定の事象が、前記対象が存在する領域で生じているかを推定する推定手段と、を備えたことを特徴とする。

【発明の効果】

【0011】

本発明によれば、画像から認識した対象に基づいて所定の事象が生じているかを推定することができる、という効果を奏する。

【図面の簡単な説明】

【0012】

【図1】情報処理システムの概略構成の一例を示す構成図である。

【図2】クライアントＰＣ、エッジコンピュータ、物体検出判定通知サーバ、及び監視用ＰＣのハードウェアの概略構成の一例を示す構成図である。

【図3】情報処理システムのプログラム構成の一例を示す機能構成図である。

【図4】ネットワークカメラで撮影することにより得られた画像データをクライアントＰＣへ送信する処理を示すフローチャートである。

【図5】クライアントＰＣがネットワークカメラより取得した画像データとＧＰＳ機能により求めた位置情報とを合わせてエッジコンピュータへ送信する処理を示すフローチャートである。

【図6】エッジコンピュータにおいて画像データから物体を検出する処理を示すフローチャートである。

【図7】クライアントＰＣにおいて所定の範囲内で撮影された画像データを送信する処理を示すフローチャートである。

【図8】物体検出判定サーバにおいて工事現場であるか否かを推定する処理を示すフローチャートである。

【図9】物体検出判定通知サーバにおける物体検出の判定結果を監視用ＰＣに対して出力する処理を示すフローチャートである。

【図10】学習用クラス例を示す模式図である。

【図11】学習対象とする画像データの一例を示す図である。

【図12】検出結果の一例を示す図である。

【図13】アノテーションの一例を示す図である。

【図14】クラスに対する点数の一例を示す図である。

【図15】検出結果を記憶するデータベースの構成を示す構成図である。

【図16】検出結果を記憶するメモリ上の構成を示す構成図である。

【図17】工事現場の地図画像の一例を示す図である。

【図18】検出した画像データの一例を示す図である。

【発明を実施するための形態】

【0013】

以下、図面を参照して、本発明の実施形態を詳細に説明する。

【0014】

図１は、本発明の実施形態における情報処理システム１００の概略構成の一例を示す構成図である。

【0015】

工事監視用巡回車両は、ネットワークカメラ１０２、外部機器との画像データの送受信、及びＧＰＳ／ＧＮＳＳ機能を搭載したクライアントＰＣ１０４（ＵＳＢ接続によりＧＰＳ信号を受信可能な機器を接続しても良い）、画像データから物体検出を行うＧＰＵ搭載のエッジコンピュータ１０６が、車載のローカルネットワーク１０８を介して接続される構成を備えたシステムを搭乗している。

【0016】

クラウド環境を提供するデータセンタに配置された物体検出判定通知サーバ１１０は、画像データから検出された物体から工事現場であることを推定する機能などを備え、クライアントＰＣ１０４、及び、工事現場の監視を行う監視員が利用する監視用ＰＣ１１２とインターネット１１４を介して接続される。

【0017】

図２は、本発明の実施形態における、クライアントＰＣ１０４、エッジコンピュータ１０６、物体検出判定通知サーバ１１０、及び監視用ＰＣ１１２、それぞれの情報処理装置のハードウェア構成の一例を示すブロック図である。

【0018】

図２に示すように、情報処理装置は、システムバス２０４を介してＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０３、入力コントローラ２０５、ビデオコントローラ２０６、メモリコントローラ２０７、よび通信Ｉ／Ｆコントローラ２０８が接続される。

【0019】

ＣＰＵ２０１は、システムバス２０４に接続される各デバイスやコントローラを統括的に制御する。

【0020】

ＲＯＭ２０２あるいは外部メモリ２１１は、ＣＰＵ２０１が実行する制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ／Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）やＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）や、本情報処理方法を実現するためのコンピュータ読み取り実行可能なプログラムおよび必要な各種データ（データテーブルを含む）を保持している。

【0021】

ＲＡＭ２０３は、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。ＣＰＵ２０１は、処理の実行に際して必要なプログラム等をＲＯＭ２０２あるいは外部メモリ２１１からＲＡＭ２０３にロードし、ロードしたプログラムを実行することで各種動作を実現する。

【0022】

入力コントローラ２０５は、キーボード２０９や不図示のマウス等のポインティングデバイス等の入力装置からの入力を制御する。

【0023】

入力装置がタッチパネルの場合、ユーザがタッチパネルに表示されたアイコンやカーソルやボタンに合わせて押下（指等でタッチ）することにより、各種の指示を行うことができることとする。

【0024】

また、タッチパネルは、マルチタッチスクリーンなどの、複数の指でタッチされた位置を検出することが可能なタッチパネルであってもよい。

【0025】

ビデオコントローラ２０６は、ディスプレイ２１０などの外部出力装置への表示を制御する。ディスプレイは本体と一体になったノート型パソコンのディスプレイも含まれるものとする。

【0026】

なお、外部出力装置はディスプレイに限ったものははく、例えばプロジェクタであってもよい。また、前述のタッチ操作を受け付け可能な装置については、入力装置も提供する。

【0027】

なおビデオコントローラ２０６は、表示制御を行うためのビデオメモリ（ＶＲＡＭ）を制御することが可能で、ビデオメモリ領域としてＲＡＭ２０３の一部を利用することもできるし、別途専用のビデオメモリを設けることも可能である。

【0028】

メモリコントローラ２０７は、外部メモリ２１１へのアクセスを制御する。外部メモリとしては、ブートプログラム、各種アプリケーション、フォントデータ、ユーザファイル、編集ファイル、および各種データ等を記憶する外部記憶装置（ハードディスク）、フレキシブルディスク（ＦＤ）、或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるコンパクトフラッシュ（登録商標）メモリ等を利用可能である。

【0029】

通信Ｉ／Ｆコントローラ２０８は、ネットワークを介して外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。

【0030】

例えば、ＴＣＰ／ＩＰを用いた通信やＩＳＤＮなどの電話回線、および携帯電話の３Ｇ回線を用いた通信が可能である。

【0031】

尚、ＣＰＵ２０１は、例えばＲＡＭ２０３内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、ディスプレイ２１０上での表示を可能としている。

【0032】

また、ＣＰＵ２０１は、ディスプレイ２１０上の不図示のマウスカーソル等でのユーザ指示を可能とする。

【0033】

尚、エッジコンピュータ１０６については、ＣＰＵではなく、リアルタイム画像処理を得意とするＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）とする構成としても良い。

【0034】

次に図３を参照して、本発明の実施形態における各種装置の機能構成の一例について説明する。

【0035】

図３は、本発明の実施形態における、情報処理システムのプログラム構成の一例を示す図である。尚、各機能についての詳細は、後述するフローチャートと合わせて説明を行う。

【0036】

ネットワークカメラ１０２は、カメラモジュール３００、及び画像送受信プログラム３０１を備えており、カメラモジュール３００は、撮影することにより得られた画像データの加工等を行って画像送受信プログラム３０１へ出力し、画像送受信プログラム３０１は、カメラモジュール３００から入力された画像データをクライアントＰＣ１０４へ送信する。

【0037】

クライアントＰＣ１０４には、画像処理プログラム３０２、及び物体検出送受信プログラム３０３を備えており、画像処理プログラム３０２は、画像送受信プログラム３０１から画像データを取得してエッジコンピュータ１０６へ送信し、物体検出送受信プログラム３０３は、エッジコンピュータ１０６から受信した画像データから抽出した物体に関する情報と画像データを撮影した位置情報とをエッジコンピュータ１０６から受信して物体検出判定通知サーバ１１０へ送信する。

【0038】

エッジコンピュータ１０６は、物体検出プログラム３０４を備えており、クライアントＰＣ１０４から送信された画像データに対して、検出対象とする大量の画像データを学習して生成したモデルを用いて物体の検出を行い、検出した結果を物体検出送受信プログラム３０３へ送信する。

【0039】

物体検出判定通知サーバ１１０は、物体検出判定プログラム３０５、検出データベース３０６、及び検出結果表示プログラム３０７を備えており、物体検出判定プログラム３０５は、物体検出送受信プログラム３０３により受信した物体に関する情報と位置情報とに基づいて工事現場であるか否かの判定を行い、判定に係る情報を検出データベース３０６へ記憶する。

【0040】

検出結果表示プログラム３０７は、検出データベース３０６から工事現場であるか否かの判定に係る情報を取得して監視用ＰＣ１１２へ送信する。

【0041】

監視用ＰＣ１１２は、表示プログラム３０８を備えており、表示プログラム３０８は、検出結果表示プログラム３０７から受信した判定に係る情報に基づいて、工事現場の場所がピン止めされた地図画像を表示し、地図画像のピン止からのリンクで工事現場画像を表示する。

【0042】

次に図４乃至９に示すフローチャートを用いて、本発明の実施形態における情報処理システム１００が実行する工事現場を推定する処理について説明する。

【0043】

図４に示すフローチャートは、ネットワークカメラ１０２で撮影することにより得られた画像データをクライアントＰＣ１０４へ送信する処理を示すフローチャートである。

【0044】

ステップＳ１００では、画像送受信プログラム３０１は、画像処理プログラム３０２から画像データのリクエスト（ステップＳ２００で送信されたリクエスト）を受付け、ステップＳ１０２では、画像送受信プログラム３０１は、ステップＳ１００において画像データのリクエストを受付け、カメラモジュール３００により撮影により得られた画像データを取得して、クライアントＰＣ１０４へ送信する。

【0045】

図５に示すフローチャートは、クライアントＰＣ１０４がネットワークカメラ１０２より取得した画像データとＧＰＳ機能により求めた位置情報とを合わせてエッジコンピュータ１０６へ送信する処理を示すフローチャートである。

【0046】

尚、本処理は、ＵＲＬ等を指定することでシステムへアクセスがあったタイミングで処理が開始されるが、起動タイミングは、このような態様に限らず、ユーザがシステムの利用を所望するタイミングで起動しても良い。

【0047】

ステップＳ２００では、画像処理プログラム３０２は、ネットワークカメラ１０２に対して、画像データのリクエストを送信する。

【0048】

ステップＳ２０２では、画像処理プログラム３０２は、ステップＳ２００におけるリクエストへのレスポンスとして、ネットワークカメラ１０２から送信された画像データ（ステップＳ３０２で送信された画像データ）を受信する。

【0049】

ステップＳ２０４では、画像処理プログラム３０２は、ＧＰＳモジュールにより、ＧＰＳライブラリを用いて、最新の位置情報（緯度と経度）を取得する。

【0050】

ステップＳ２０６では、画像処理プログラム３０２は、ステップＳ２０２において受信した画像データとステップＳ２０４において取得した最新の位置情報（緯度と経度）と現在の日時（年月日時分秒マイクロ秒）をエッジコンピュータ１０６へ送信する。

【0051】

ステップＳ２０８では、画像処理プログラム３０２は、エッジコンピュータ１０６において、物体検出処理にかかる処理時間の性能に合わせてスリープ（例：物体検出にかかる時間が０．５秒の場合は、０．５秒スリープ等）する。スリープ解除後、ステップＳ２００から処理を進める。

【0052】

次に、図６に示すフローチャートを用いて、エッジコンピュータ１０６において画像データから物体を検出する処理について説明を行う。

【0053】

ステップＳ３００では、物体検出プログラム３０４は、クライアントＰＣ１０４から送信された画像データと最新の位置情報（緯度と経度）と日時（年月日時分秒マイクロ秒）（ステップＳ２０６で送信された画像データと最新の位置情報（緯度と経度）と日時（年月日時分秒マイクロ秒））を受信する（ステップＳ２０６で送信されたデータ）。

【0054】

ステップＳ３０２では、物体検出プログラム３０４は、ステップＳ３００において受信した画像データから物体を検出する。

【0055】

物体を検出する方法としては、図１０に示す学習用クラス例のように、工事現場に置かれている物体の検出対象に関して、画像データから物体を検出する。

【0056】

学習用クラス例は、クラスを一意に識別するためのＮｏ、物体が属する分類を示す大分類、物体を示す中分類、及びクラスの名称を示すクラス名を含んで構成されている。

【0057】

このクラスとは、図１１に示すように、それぞれの物体に関する画像データを大量に集めて機械的に学習して生成したモデルのことを示している。

【0058】

これらのモデルを用いて、画像データから物体を検出し、結果として、その物体であることを示す確信度が所定値以上（例えば、０．５以上）の検出結果を用いる。

【0059】

図１２に示す検出した結果の例は、コーン２本、ショベルカー１台、注意看板１枚を検出した例である。

【0060】

位置Ｘと位置Ｙは、検出されたクラスの画像データ内での左上起点を指すためのピクセル値であり、横幅と縦幅はクラスの起点からの長さをピクセル値で表しており、確信度は、画像データで特定した物体の確からしさを示している。

【0061】

ステップＳ３０４では、物体検出プログラム３０４は、ステップＳ３０２において検出した結果として物体が１つ以上あると判定した場合は、ステップＳ３０６へ処理を進め、１つ以上あると判定しない場合は、ステップＳ３０８へ処理を進める。

【0062】

ステップＳ３０６では、物体検出プログラム３０４は、画像データに対し物体検出モデルの検出結果のアノテーションを付与する。

【0063】

アノテーションとは、画像データに対し、検出結果の各行の位置Ｘ、位置Ｙ、横幅、縦幅をもとに矩形を画像に描画して付与し、矩形の上にクラス名と確信度を描画して付与することである。

【0064】

図１３に示すように、画像データにアノテーションを付与した例として、検出されたショベルカーを囲む矩形とクラス名の識別する文字（Ｓｈ）と確信度をアノテーションしている例である。

【0065】

ステップＳ３０８では、物体検出プログラム３０４は、画像データと最新の位置情報（緯度と経度）と日時（年月日時分秒マイクロ秒）と検出結果とをクライアントＰＣ１０４へ送信する。

【0066】

次に、図７に示すフローチャートを用いて、クライアントＰＣ１０４において所定の範囲内で撮影された画像データを送信する処理について説明を行う。

【0067】

ステップＳ４００では、物体検出送受信プログラム３０３は、画像と最新の位置情報（緯度と経度）と日時（年月日時分秒マイクロ秒）と検出結果とをクライアントＰＣ１０４から受信する（ステップＳ３０８で送信されたデータ）。

【0068】

ステップＳ４０２では、物体検出送受信プログラム３０３は、ステップＳ４００において受信した最新の位置情報（緯度と経度）と基準となる位置情報（緯度と経度）から移動距離を計算する。

【0069】

基準となる位置情報（緯度と経度）とは、最初に受信したときの位置情報（緯度と経度）、および、ステップＳ４０４で、移動距離が閾値を超えたときの位置情報（緯度と経度）とをメモリに保管したものである。２点の位置情報（緯度と経度）からの移動距離計算は、以下に示すように球面三角法で計算する。

【0070】

D=R*math.acos(math.cos(math.radians（lat1）*math.cos(math.radians（lat2）*math.cos(math.radians（lng2）-math.radians（lng1）)＋math.sin（math.radians（lat1）*math.sin(math.radians（lat2）)
D：2点間の距離(m)
R：地球半径=6378137.0
lat1：1点目の位置の緯度
lat2：2点目の位置の緯度
lng1：1点目の位置の経度
lng2：点目の位置の経度
math.acos：ラジアン単位の逆余弦関数
math.cos：ラジアン単位の余弦関数
math.sin：ラジアン単位の正弦関数
math.radians：ラジアン変換関数

【0071】

ステップＳ４０４では、物体検出送受信プログラム３０３は、ステップＳ４０２において計算した移動距離が閾値を超えるか否かを判定し、閾値を超えると判定した場合は、ステップＳ４０６へ処理を進め、超えると判定しない場合は、ステップＳ４０８へ処理を進める。

【0072】

閾値は、例えば、通常行われている工事エリアの大きさに応じて定めると好適である（例えば、１つの工事のエリアは、３０メートル内に収まるような場合は、閾値を３０メートルとする等）

【0073】

ステップＳ４０６では、物体検出送受信プログラム３０３は、物体検出判定通知サーバ１１０へ最新の位置情報（緯度と経度）を送信する。

【0074】

ステップＳ４０８では、物体検出送受信プログラム３０３は、検出結果が１レコード以上存在するか判定する。尚、１つの画像データに対して、物体の検出結果は複数存在するケースがあるため、本ステップでは、１レコード以上としている。

【0075】

ステップＳ４１０では、物体検出送受信プログラム３０３は、物体検出判定通知サーバ１１０に対して画像データと最新の位置情報（緯度と経度）と日時（年月日時分秒マイクロ秒）と検出結果とを送信する。

【0076】

次に、図８に示すフローチャートを用いて、物体検出判定通知サーバ１１０において工事現場であるか否かを推定する処理について説明を行う。

【0077】

ステップＳ５００では、物体検出判定プログラム３０５は、クライアントＰＣ１０４から送信視された画像データと最新の位置情報（緯度と経度）と日時（年月日時分秒マイクロ秒）と検出結果とを受信する（ステップＳ４０６かステップＳ４１０で送信されたデータ））。

【0078】

ステップＳ５０２では、物体検出判定プログラム３０５は、ステップＳ５００において受信したデータが、最新の位置情報（緯度と経度）のみか否かを判定し、受信データが最新の位置情報（緯度と経度）のみの場合は、ステップＳ５１２へ処理を進める。

【0079】

ステップＳ５０４では、物体検出判定プログラム３０５は、画像データを用いた工事判定処理計算を以下のロジックで行う。尚、分類、クラス、点数は、図１４に示す内容を基に計算を行う

【0080】

（１）検出結果に存在するすべての分類・クラスの点数を加算する。
（２）同じクラスが複数存在しても点数はクラスの点数のままとする。
（３）Notice、Caution、Trafiic_guideは混在しても看板の点数は加算しない。
（４）Zebla_fence、Plastic_fenceは混在してもフェンスの点数は加算しない。

【0081】

ステップＳ５０６では、物体検出判定プログラム３０５は、ステップＳ５０２で計算した点数計に基づいて工事判定処理を以下のロジックで行う。

【0082】

点数計が１００点以上であれば、工事現場と判定する。
点数計が５０点以上であれば、工事現場可能性ありと判定する。
点数計が５０点未満であれば、工事現場ではないと判定する。

【0083】

本ステップにおいて、工事現場であると判定した場合は、ステップＳ５０８へ処理を進め、工事現場であると判定しない場合は、ステップＳ５１０へ処理を進める。

【0084】

ステップＳ５０８では、物体検出判定プログラム３０５は、工事判定処理の結果を検出データベース３０６に保存する。

【0085】

検出データベース３０６の所定の記憶領域へ画像データを追加し、画像データへアクセスするためのＵＲＬを取得する。

【0086】

図１５に示すように、主キーの日時（年月日時分秒マイクロ秒）と位置情報（緯度、経度）と点数と合計点数（点数を登録）と画像データへアクセスするためのＵＲＬを追加する。

【0087】

ステップＳ５１０では、物体検出判定プログラム３０５は、画像データと最新の位置情報（緯度と経度）と日時（年月日時分秒マイクロ秒）とをメモリ上へ記憶する。

【0088】

図１６に示すように、主キーの日時（年月日時分秒マイクロ秒）と位置情報（緯度、経度）と点数と画像データを保存する。

【0089】

ステップＳ５１２では、物体検出判定プログラム３０５は、ステップＳ５１０における保存先となるメモリにデータが２件以上存在するか確認し、存在すると判定した場合は、ステップＳ５１４へ処理を進め、存在すると判定しない場合は、ステップＳ５２０へ処理を進める。

【0090】

ステップＳ５１４では、物体検出判定プログラム３０５は、メモリに存在する複数の画像データに対する検出結果に基づいて工事判定処理計算を以下のロジックで行う。尚、分類、クラス、点数は、図１４に示す内容を基に計算を行う

【0091】

（１）メモリに存在する画像データをまたがるすべての検出結果に存在するすべての分類・クラスの点数を加算する。
（２）同じクラスが複数存在しても点数はクラスの点数のままとする。
（３）Notice、Caution、Trafiic_guideは混在しても看板の点数は加算しない
（４）Zebla_fence、Plastic_fenceは混在してもフェンスの点数は加算しない。

【0092】

ステップＳ５１６では、物体検出判定プログラム３０５は、ステップＳ５１４で計算した点数計に基づいて工事判定処理を以下のロジックで行う。

【0093】

点数計が１００点以上であれば、工事現場と判定する。
点数計が５０点以上であれば、工事現場可能性ありと判定する。
点数計が５０点未満であれば、工事現場ではないと判定する。

【0094】

本ステップにおいて、工事現場であると判定した場合は、ステップＳ５１８へ処理を進め、工事現場であると判定しない場合は、ステップＳ５２０へ処理を進める。

【0095】

ステップＳ５１８では、物体検出判定プログラム３０５は、メモリに存在する工事判定結果全部を検出データベース３０６に保存する。

【0096】

検出データベース３０６の所定の記憶領域へ画像データを追加し、画像データへアクセスするためのＵＲＬを取得する。

【0097】

図１５に示すように、主キーの日時（年月日時分秒マイクロ秒）と位置情報（緯度、経度）と点数と画像データをまたがる点数を集計した合計点数と画像データへアクセスするためのＵＲＬとを追加する。

【0098】

ステップＳ５２０では、物体検出判定プログラム３０５は、メモリに保存されたデータを消去する。

【0099】

次に、図９に示すフローチャートを用いて。物体検出判定通知サーバ１１０における物体検出の判定結果を監視用ＰＣ１１２に対して出力する処理について説明する。

【0100】

ステップ６００では、表示プログラム３０８は、検出結果表示プログラム３０７を呼び出すための初期表示用ＵＲＬの入力を受付けて、監視画面を表示するためにリクエストを物体検出判定通知サーバ１１０へ送信する。

【0101】

ステップＳ６０２では、検出結果表示プログラム３０７は、監視用ＰＣ１１２から監視画面を表示するリクエストを受信する。

【0102】

ステップＳ６０４では、検出結果表示プログラム３０７は、監視画面の初期画面のＨＴＭＬとＪａｖａＳｃｒｉｐｔ（登録商標）の制御用プログラムを監視用ＰＣ１１２へ送信する。

【0103】

ステップＳ６０６では、表示プログラム３０８は、ステップＳ６０４において物体検出判定通知サーバ１１０から送信された監視画面の初期画面のＨＴＭＬとＪａｖａＳｃｒｉｐｔの制御用プログラムを受信する。

【0104】

ステップＳ６０８では、表示プログラム３０８は、監視画面の初期画面のＨＴＭＬを描画して、ＪａｖａＳｃｒｉｐｔの監視制御用プログラムを開始する。

【0105】

ステップＳ６１０では、表示プログラム３０８は、検出結果表示プログラム３０７の検出結果問い合わせＵＲＬに対し、問い合わせリクエストを物体検出判定通知サーバ１１０へ送信する。

【0106】

ステップ６１２では、検出結果表示プログラム３０７は、ステップＳ６１０において監視用ＰＣ１１２から送信された問い合わせリクエストを受信する。

【0107】

ステップＳ６１４では、検出結果表示プログラム３０７は、検出データベース３０６の検出結果エンティティ（図１５参照）の日時（年月日時分秒マイクロ秒）に対し、現在の日時（年月日時分秒）の直近１時間以内のレコードが存在した場合、日時（年月日時分秒マイクロ秒）の最新順に全てのレコードを取得する。

【0108】

ステップＳ６１６では、検出結果表示プログラム３０７は、ステップＳ６１４において取得した全てのレコードを監視用ＰＣ１１２へ送信する。

【0109】

ステップＳ６１８では、表示プログラム３０８は、ステップＳ６１６において物体検出判定通知サーバ１１０から送信された検出結果に関するレコードを受信する。

【0110】

ステップＳ６２０では、表示プログラム３０８は、ステップＳ６１８において受信したレコードが１レコードでも存在する場合、工事が行われていると判定し、ステップＳ６２２へ処理を進め、１レコードも存在しない場合、工事は行われていないと判定し、ステップＳ６２４へ処理を進める。

【0111】

ステップＳ６２２では、表示プログラム３０８は、検出結果のレコードから工事現場がピン止めされた地図画像を表示する。

【0112】

例えば、図１７に示すように、工事現場の地図画像４００には、レコードに対する画像データを検出画像４０２、検出画像４０４、検出画像４０６を日時で昇順にソートして表示し、検出画像４０２の合計点数を点数４０８、検出画像４０４の合計点数を点数４１０、検出画像４０６の合計点数を点数４１２として表示する。

【0113】

そして、それぞれの画像データを撮影した位置として、検出画像４０２を撮影した位置として撮影位置４１４、検出画像４０４を撮影した位置として撮影位置４１６、検出画像４０６を撮影した位置として撮影位置４１８を地図上にピン表示を行い、それぞれの撮影位置に対して合計点数を点数４２０、点数４２０、点数４２４を表示する。

【0114】

表示されているピンをクリック等により触れる操作を行うことにより、ピンに対応する撮影位置で撮影された画像データを表示する。

【0115】

例えば、図１７に示す工事現場の地図画像４００において、撮影位置４１４に触れることで、撮影位置４１４で撮影することにより得られた画像データである検出画像４０２が、図１８に示すように、クローズアップされて拡大表示されることになる。

【0116】

ステップＳ６２４では、表示プログラム３０８は、所望の工事現場を検出する処理のタイミング（例えば、数秒）に合わせてスリープし、所定時間経過後、ステップＳ２０５へ処理を進める。

【0117】

尚、本実施形態では、工事現場を対象に、画像から認識した対象に基づいて生じている事象を推定しているが、このような対象に限らず、画像から認識される対象の組み合わせによって、画像の撮影方向で生じている事象を推定できるようなものであれば、どのようなものを対象にしても良い。

【0118】

本発明の実施形態においては、工事現場を推定する処理をネットワークカメラ１０２、クライアントＰＣ１０４、エッジコンピュータ１０６、物体検出判定通知サーバ１１０において実行する構成として説明したが、クライアントＰＣ１０４、エッジコンピュータ１０６、物体検出判定通知サーバ１１０を１つの装置で構成することも可能である。

【0119】

また、クライアントＰＣ１０４とエッジコンピュータ１０６とを１つの装置で構成としても良く、また、これらの１つの装置にネットワークカメラ１０２の機能を備えても良い。

【0120】

さらに、ネットワークカメラ１０２でオンラインで撮影することにより得られた画像データを対象として処理を行っているが、クライアントＰＣ１０４、エッジコンピュータ１０６、あるいは、物体検出判定通知サーバ１１０に蓄積した既に撮影済（オフライン状態で）の画像データを取得して、それぞれの処理を実行しても良い。

【0121】

以上、実施形態について示したが、本発明におけるプログラムは、図４乃至９に示すフローチャートの処理方法をコンピュータが実行可能なプログラムであり、本発明の記憶媒体は図４乃至９の処理方法をコンピュータが実行可能なプログラムが記憶されている。

【0122】

なお、本発明におけるプログラムは図４乃至９の各装置の処理方法ごとのプログラムであってもよい。

【0123】

以上のように、前述した実施形態の機能を実現するプログラムを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムを読み出し、実行することによっても本発明の目的が達成されることは言うまでもない。

【0124】

この場合、記録媒体から読み出されたプログラム自体が本発明の新規な機能を実現することになり、そのプログラムを記録した記録媒体は本発明を構成することになる。

【0125】

プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＤＶＤ－ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＥＥＰＲＯＭ、シリコンディスク等を用いることが出来る。

【0126】

また、コンピュータが読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

【0127】

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

【0128】

また、本発明は、複数の機器から構成されるシステムに適用しても、ひとつの機器から成る装置に適用しても良い。

【0129】

また、本発明は、システムあるいは装置にプログラムを供給することによって達成される場合にも適用できることは言うまでもない。この場合、本発明を達成するためのプログラムを格納した記録媒体を該システムあるいは装置に読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。

【0130】

さらに、本発明を達成するためのプログラムをネットワーク上のサーバ、データベース等から通信プログラムによりダウンロードして読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。なお、上述した各実施形態およびその変形例を組み合わせた構成も全て本発明に含まれるものである。

【符号の説明】

【0131】

１００ 情報処理システム
１０２ ネットワークカメラ
１０４ クライアントＰＣ
１０６ エッジコンピュータ
１０８ ローカルネットワーク
１１０ 物体検出判定通知サーバ
１１２ 監視用ＰＣ
１１４ インターネット

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【手続補正書】

【提出日】2024-04-18

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

撮影された画像のうち、所定の被写体に係る画像を特定する特定手段と、
前記特定手段により特定された画像と、当該所定の被写体に係る情報と、を対応付けた情報を出力する出力手段と、
を備えることを特徴とする情報処理装置。

【請求項2】

前記所定の被写体に係る情報は、被写体に係る画像が撮影された位置を示す情報であることを特徴とする請求項１に記載の情報処理装置。

【請求項3】

前記所定の被写体に係る情報は、被写体が撮影された日を示す情報であることを特徴とする請求項１または２に記載の情報処理装置。

【請求項4】

前記画像は、複数の画像であることを特徴とする請求項１乃至３の何れか１項に記載の情報処理装置。

【請求項5】

前記画像は、撮影位置を変えながら撮影された複数の画像であることを特徴とする請求項４に記載の情報処理装置。

【請求項6】

前記特定手段は、同一の前記被写体に係る画像を複数特定することを特徴とする請求項１乃至５の何れか１項に記載の情報処理装置。

【請求項7】

撮影された画像のうち、所定の被写体に係る画像を特定する特定手段と、
前記特定手段により特定された画像と、当該所定の被写体に係る情報と、を対応付けた情報を出力する出力手段と、
を備えることを特徴とする情報処理システム。

【請求項8】

撮影された画像のうち、所定の被写体に係る画像を特定する特定ステップと、
前記特定手段により特定された画像と、当該所定の被写体に係る情報と、を対応付けた情報を出力する出力ステップと、
を備えることを特徴とする情報処理装置の制御方法。

【請求項9】

撮影された画像のうち、所定の被写体に係る画像を特定する特定ステップと、
前記特定手段により特定された画像と、当該所定の被写体に係る情報と、を対応付けた情報を出力する出力ステップと、
を備えることを特徴とする情報処理システムの制御方法。

【請求項10】

コンピュータを請求項１乃至６のいずれか１項に記載の各手段として機能させるためのプログラム。