特開 2023-119608 支援システム、情報処理装置、支援方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023119608

(43)【公開日】2023-08-29

(54)【発明の名称】支援システム、情報処理装置、支援方法およびプログラム

(51)【国際特許分類】

   H04N 7/18 20060101AFI20230822BHJP

   G06T 7/00 20170101ALI20230822BHJP

   G06T 7/246 20170101ALI20230822BHJP

   G06Q 50/10 20120101ALI20230822BHJP

【ＦＩ】

H04N7/18 D

G06T7/00 350B

G06T7/246

G06Q50/10

【審査請求】未請求

【請求項の数】14

【出願形態】ＯＬ

(21)【出願番号】P 2022022530

(22)【出願日】2022-02-17

(71)【出願人】

【識別番号】000174943

【氏名又は名称】三井住友建設株式会社

(74)【代理人】

【識別番号】100123788

【弁理士】

【氏名又は名称】宮崎 昭夫

(74)【代理人】

【識別番号】100127454

【弁理士】

【氏名又は名称】緒方 雅昭

(72)【発明者】

【氏名】小坂 英之

【テーマコード（参考）】

5C054

5L049

5L096

【Ｆターム（参考）】

5C054CA04

5C054CC02

5C054DA09

5C054EA01

5C054EA03

5C054EA05

5C054EA07

5C054FC01

5C054FC07

5C054FC12

5C054FE22

5C054FE25

5C054GB01

5C054GB05

5C054HA19

5L049CC12

5L096AA06

5L096BA02

5L096CA04

5L096DA02

5L096FA02

5L096GA51

5L096HA02

5L096HA11

5L096KA04

5L096KA15

(57)【要約】

【課題】所望の場面になったことを認識する。
【解決手段】撮像装置２００が撮像した複数の画像データそれぞれを、撮像したタイミングに応じたタイミングで情報処理装置１００へ送信し、情報処理装置１００が、撮像装置２００から送信されてきた複数の画像データのうち、直近に送信されてきた第１の画像データと、第１の画像データの直前に送信されてきた第２の画像データとの間の変化を検出し、変化を示す変化情報と通信端末３００から送信されてきた条件情報とを比較し、条件情報と変化情報との一致度に応じて変化情報を選定し、選定した変化情報に応じた条件情報を送信した通信端末へ所定の通知を行う。
【選択図】図１

【特許請求の範囲】

【請求項1】

撮像装置と、情報処理装置と、通信端末とを有し、
前記撮像装置は、
所定の周期で撮像を行う撮像部と、
前記撮像部が撮像した複数の画像データそれぞれを、撮像したタイミングに応じたタイミングで前記情報処理装置へ送信する送信部とを有し、
前記情報処理装置は、
前記通信端末から送信されてきた条件情報を受け付ける情報受付部と、
前記撮像装置から送信されてきた複数の画像データのうち、直近に送信されてきた第１の画像データと、該第１の画像データの直前に送信されてきた第２の画像データとの間の変化を検出する変化検出部と、
前記変化検出部が前記変化を検出した場合、該変化を示す変化情報を出力する解析部と、
前記条件情報と前記変化情報とを比較し、前記条件情報と前記変化情報との一致度に応じて、前記変化情報を選定する選定部と、
前記選定部が選定した変化情報に応じた条件情報を送信した通信端末へ所定の通知を行う通知部とを有する支援システム。

【請求項2】

前記選定部は、前記条件情報からキーワードを抽出し、該抽出したキーワードと前記変化情報とを比較する、請求項１に記載の支援システム。

【請求項3】

前記選定部は、前記キーワードを含む割合が最も高い変化情報を選定する、請求項２に記載の支援システム。

【請求項4】

前記選定部は、前記キーワードを含む割合が高いものから所定の数の変化情報を選定する、請求項２に記載の支援システム。

【請求項5】

前記選定部は、前記キーワードを含む割合が閾値以上である変化情報を選定する、請求項２に記載の支援システム。

【請求項6】

前記情報処理装置は、複数の画像データと該複数の画像データそれぞれが示す複数の特徴情報とに基づいて、前記複数の画像データと前記複数の特徴情報との対応付けの機械学習を行って学習モデルを生成する学習モデル生成部をさらに有し、
前記解析部は、前記変化した領域の画像データを前記学習モデルに入力することで、前記学習モデルから前記特徴情報を取得し、該取得した特徴情報を前記変化情報として出力する、請求項１から５のいずれか１項に記載の支援システム。

【請求項7】

前記通知部は、前記変化情報を選定してから、前記条件情報に含まれる時間情報が示す時間、前記変化検出部が前記第１の画像データと前記第２の画像データとの間の変化を検出しない場合、前記通知を行う、請求項１から６のいずれか１項に記載の支援システム。

【請求項8】

通信端末は、表示部を有し、
前記通知部は、前記通知を行ってから、前記通信端末から前記画像データの取得要求があった場合、前記変化の後の画像データを前記通信端末へ送信し、
前記表示部は、前記通知部から送信されてきた画像データを表示する、請求項１から７のいずれか１項に記載の支援システム。

【請求項9】

前記変化検出部は、前記第１の画像データを構成する画素の色と前記第２の画像データを構成する画素の色とを比較し、該比較の結果に基づいて前記変化を検出する、請求項１から８のいずれか１項に記載の支援システム。

【請求項10】

前記撮像装置は、固定されて設置されている、請求項１から９のいずれか１項に記載の支援システム。

【請求項11】

前記撮像装置は、動画を撮像する、請求項１から１０のいずれか１項に記載の支援システム。

【請求項12】

通信端末から送信されてきた条件情報を受け付ける情報受付部と、
撮像装置が撮像した複数の画像データのうち、現在の時刻の直近に撮像された第１の画像データと、該第１の画像データの直前に撮像された第２の画像データとの間の変化を検出する変化検出部と、
前記変化検出部が前記変化を検出した場合、該変化を示す変化情報を出力する解析部と、
前記条件情報と前記変化情報とを比較し、前記条件情報と前記変化情報との一致度に応じて、前記変化情報を選定する選定部と、
前記選定部が選定した変化情報に応じた条件情報を送信した通信端末へ所定の通知を行う通知部とを有する情報処理装置。

【請求項13】

通信端末から送信されてきた条件情報を受け付ける処理と、
撮像装置が撮像した複数の画像データのうち、現在の時刻の直近に撮像された第１の画像データと、該第１の画像データの直前に撮像された第２の画像データとの間の変化を検出する処理と、
前記変化を検出した場合、該変化を示す変化情報を出力する処理と、
前記条件情報と前記変化情報とを比較する処理と、
前記比較の結果を用いて、前記条件情報と前記変化情報との一致度に応じて、前記変化情報を選定する処理と、
前記選定した変化情報に応じた条件情報を送信した通信端末へ所定の通知を行う処理とを行う支援方法。

【請求項14】

コンピュータに、
通信端末から送信されてきた条件情報を受け付ける手順と、
撮像装置が撮像した複数の画像データのうち、現在の時刻の直近に撮像された第１の画像データと、該第１の画像データの直前に撮像された第２の画像データとの間の変化を検出する手順と、
前記変化を検出した場合、該変化を示す変化情報を出力する手順と、
前記条件情報と前記変化情報とを比較する手順と、
前記比較の結果を用いて、前記条件情報と前記変化情報との一致度に応じて、前記変化情報を選定する手順と、
前記選定した変化情報に応じた条件情報を送信した通信端末へ所定の通知を行う手順とを実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、支援システム、情報処理装置、支援方法およびプログラムに関する。

【背景技術】

【0002】

一般的に、監視対象の状況を遠隔で確認するには、監視カメラ等がその監視対象を撮像し、撮像した画像データを取得することで行われている。このような監視カメラを用いて、撮像した画像データの変化に基づいて、監視対象の異常を検出する技術が考えられている（例えば、特許文献１参照。）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２１－１７４０９８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

監視カメラ等が撮像する画像データのデータ量は膨大である。そのため、所望の場面の画像データを閲覧したい場合、その画像データを膨大な量の画像データの中から容易に見つけ出すことが困難である。そのため、所望の場面になったことを容易に認識することができないという問題点がある。

【0005】

本発明の目的は、所望の場面になったことを容易に認識することができる支援システム、情報処理装置、支援方法およびプログラムを提供することにある。

【課題を解決するための手段】

【0006】

本発明の支援システムは、
撮像装置と、情報処理装置と、通信端末とを有し、
前記撮像装置は、
所定の周期で撮像を行う撮像部と、
前記撮像部が撮像した複数の画像データそれぞれを、撮像したタイミングに応じたタイミングで前記情報処理装置へ送信する送信部とを有し、
前記情報処理装置は、
前記通信端末から送信されてきた条件情報を受け付ける情報受付部と、
前記撮像装置から送信されてきた複数の画像データのうち、直近に送信されてきた第１の画像データと、該第１の画像データの直前に送信されてきた第２の画像データとの間の変化を検出する変化検出部と、
前記変化検出部が前記変化を検出した場合、該変化を示す変化情報を出力する解析部と、
前記条件情報と前記変化情報とを比較し、前記条件情報と前記変化情報との一致度に応じて、前記変化情報を選定する選定部と、
前記選定部が選定した変化情報に応じた条件情報を送信した通信端末へ所定の通知を行う通知部とを有する。

【0007】

また、本発明の情報処理装置は、
通信端末から送信されてきた条件情報を受け付ける情報受付部と、
撮像装置が撮像した複数の画像データのうち、現在の時刻の直近に撮像された第１の画像データと、該第１の画像データの直前に撮像された第２の画像データとの間の変化を検出する変化検出部と、
前記変化検出部が前記変化を検出した場合、該変化を示す変化情報を出力する解析部と、
前記条件情報と前記変化情報とを比較し、前記条件情報と前記変化情報との一致度に応じて、前記変化情報を選定する選定部と、
前記選定部が選定した変化情報に応じた条件情報を送信した通信端末へ所定の通知を行う通知部とを有する。

【0008】

また、本発明の支援方法は、
通信端末から送信されてきた条件情報を受け付ける処理と、
撮像装置が撮像した複数の画像データのうち、現在の時刻の直近に撮像された第１の画像データと、該第１の画像データの直前に撮像された第２の画像データとの間の変化を検出する処理と、
前記変化を検出した場合、該変化を示す変化情報を出力する処理と、
前記条件情報と前記変化情報とを比較する処理と、
前記比較の結果を用いて、前記条件情報と前記変化情報との一致度に応じて、前記変化情報を選定する処理と、
前記選定した変化情報に応じた条件情報を送信した通信端末へ所定の通知を行う処理とを行う。

【0009】

また、本発明のプログラムは、
コンピュータに実行させるためのプログラムであって、
コンピュータに、
通信端末から送信されてきた条件情報を受け付ける手順と、
撮像装置が撮像した複数の画像データのうち、現在の時刻の直近に撮像された第１の画像データと、該第１の画像データの直前に撮像された第２の画像データとの間の変化を検出する手順と、
前記変化を検出した場合、該変化を示す変化情報を出力する手順と、
前記条件情報と前記変化情報とを比較する手順と、
前記比較の結果を用いて、前記条件情報と前記変化情報との一致度に応じて、前記変化情報を選定する手順と、
前記選定した変化情報に応じた条件情報を送信した通信端末へ所定の通知を行う手順とを実行させる。

【発明の効果】

【0010】

本発明において、所望の場面になったことを認識することができる。

【図面の簡単な説明】

【0011】

【図1】本発明の支援システムの第１の実施の形態を示す図である。

【図2】図１に示した撮像装置に具備された構成要素の一例を示す図である。

【図3】図１に示した情報処理装置に具備された構成要素の一例を示す図である。

【図4】図３に示した条件データベースに記憶された条件情報の一例を示す図である。

【図5】図１に示した通信端末に具備された構成要素の一例を示す図である。

【図6】図１に示した情報処理装置における支援方法の一例を説明するためのフローチャートである。

【図7】図５に示した表示部が表示する通知の一例を示す図である。

【図8】本発明の支援システムの第２の実施の形態を示す図である。

【図9】図８に示した情報処理装置に具備された構成要素の一例を示す図である。

【図10】図９に示した学習モデルの入出力の一例を示す図である。

【図11】図９に示した情報処理装置における学習モデルの生成方法の一例を説明するためのフローチャートである。

【図12】図８に示した情報処理装置における支援方法の一例を説明するためのフローチャートである。

【図13】本発明の支援システムの第３の実施の形態を示す図である。

【図14】図１３に示した情報処理装置に具備された構成要素の一例を示す図である。

【図15】図１３に示した支援システムにおける支援方法の一例を説明するためのフローチャートである。

【図16】ステップＳ４７にて表示部が表示した画像データの一例を示す図である。

【図17】本発明の支援システムの第４の実施の形態を示す図である。

【図18】図１７に示した情報処理装置に具備された構成要素の一例を示す図である。

【図19】図１７に示した支援システムにおける支援方法の一例を説明するためのフローチャートである。

【発明を実施するための形態】

【0012】

以下に、本発明の実施の形態について図面を参照して説明する。
（第１の実施の形態）

【0013】

図１は、本発明の支援システムの第１の実施の形態を示す図である。本形態における支援システムは図１に示すように、情報処理装置１００と、撮像装置２００と、通信端末３００とを有する。情報処理装置１００と、撮像装置２００と、通信端末３００とは、通信ネットワーク４００を介して互いに通信可能に接続されている。通信ネットワーク４００は、一般的なインターネットでも良いし、企業内ネットワーク等の特定の場所に閉じられた通信ネットワークであっても良い。また、情報処理装置１００と、撮像装置２００と、通信端末３００とは、互いが直接接続されていても良い。

【0014】

撮像装置２００は、対象物を撮像するカメラである。撮像装置２００は、対象物を撮像できる位置に固定されて設置されている。つまり、撮像装置２００は、撮像中は、位置、撮像向きおよび撮像範囲が固定されている。撮像装置２００は、対象物をあらかじめ設定された時間間隔で撮像するカメラ（例えば、継続的に撮像を行う動画撮像用カメラ）である。撮像装置２００は、１台に限らず、それぞれ互いに異なる対象物を撮像するために、複数台設けられていても良い。通信端末３００の数も１台に限らない。

【0015】

図２は、図１に示した撮像装置２００に具備された構成要素の一例を示す図である。図１に示した撮像装置２００は図２に示すように、撮像部２１０と、送信部２２０とを有する。なお、図２には、図１に示した撮像装置２００が具備する構成要素のうち、本形態に関わる主要な構成要素のみを示した。

【0016】

撮像部２１０は、所定のタイミング（周期）で撮像を行う。撮像部２１０は、外部からの操作に基づいて、撮像の開始および終了（中断）を行う。撮像部２１０は、あらかじめ設定されたスケジュールに従って、撮像の開始および終了（中断）を行っても良い。

【0017】

送信部２２０は、撮像部２１０が撮像した複数の画像データそれぞれを、撮像したタイミングに応じたタイミングで情報処理装置１００へ送信する。送信部２２０は、画像データを情報処理装置１００へ送信する際、撮像装置２００にあらかじめ付与された撮像装置識別情報を画像データと共に送信する。また、送信部２２０は、画像データを情報処理装置１００へ送信する際、当該画像データを撮像部２１０が撮像した日時を示す日時情報を画像データと共に送信する。

【0018】

情報処理装置１００は、撮像装置２００から送信されてきた画像データを処理する装置である。図３は、図１に示した情報処理装置１００に具備された構成要素の一例を示す図である。図１に示した情報処理装置１００は図３に示すように、画像記憶部１１０と、変化検出部１２０と、解析部１３０と、情報受付部１４０と、条件データベース１５０と、選定部１６０と、通知部１７０とを有する。なお、図３には、図１に示した情報処理装置１００が具備する構成要素のうち、本形態に関わる主要な構成要素のみを示した。

【0019】

画像記憶部１１０は、撮像装置２００から送信されてきた画像データを記憶する。このとき、画像記憶部１１０は、画像データと共に送信されてきた撮像装置識別情報および日時情報を対応付けて記憶する。画像記憶部１１０は、画像データを記憶してから所定の時間が経過した後、当該画像データを消去しても良い。つまり、画像記憶部１１０は、古い画像データが記憶されている領域に新しく送信されてきた画像データを上書きしても良い。

【0020】

変化検出部１２０は、撮像装置２００から送信されてきた複数の画像データのうち、直近に送信されてきた第１の画像データと、第１の画像データの直前に送信されてきた第２の画像データとの間の変化を検出する。変化検出部１２０は、第１の画像データを構成する画素の色や明るさと第２の画像データを構成する画素の色や明るさとを比較し、比較の結果に基づいて変化を検出しても良い。例えば、第１の画像データに人物が写り込んでおらず、第２の画像データに人物が写り込んでいる場合、その場に人物が出現したことが画像の変化となる。

【0021】

解析部１３０は、変化検出部１２０が変化を検出した場合、変化を示す変化情報を出力する。例えば、上述した人物が出現した画像が変化である場合、変化情報は「人物が出現した」になる。解析部１３０は、例えば、変化した領域の画像データから特徴量を抽出し、あらかじめ登録された特徴量と比較する画像解析を行って、変化情報を出力しても良い。

【0022】

情報受付部１４０は、通信端末３００から送信されてきた条件情報を受け付ける。情報受付部１４０は、受け付けた条件情報を条件データベース１５０に記憶させる。このとき、情報受付部１４０は、通信端末３００から送信されてきた端末識別情報と条件情報とを対応付けて条件データベース１５０に書き込む。端末識別情報の詳細については、後述する。

【0023】

条件データベース１５０は、情報受付部１４０が受け付けた条件情報を記憶する。図４は、図３に示した条件データベース１５０に記憶された条件情報の一例を示す図である。図３に示した条件データベース１５０には図４に示すように、端末識別情報と条件情報とが対応付けられて記憶されている。端末識別情報は、条件情報を送信した通信端末３００固有にあらかじめ付与された識別情報である。この端末識別情報を用いて、情報処理装置１００は当該端末識別情報が付与された通信端末３００へ情報を送信することができる。条件情報は、情報受付部１４０が通信端末３００から送信されてきて受け付けた情報である。

【0024】

例えば、図４に示すように、条件データベース１５０に、端末識別情報「Ａ０００１」と条件情報「２階の床スラブの配筋を始めたとき」とが対応付けられて記憶されている。これは、端末識別情報「Ａ０００１」が付与された通信端末から送信されてきた「２階の床スラブの配筋を始めたとき」という条件情報を情報受付部１４０が受け付けたことを示している。また、条件データベース１５０に、端末識別情報「Ａ０００２」と条件情報「見学者のうち５名が屋上に到着したとき」とが対応付けられて記憶されている。これは、端末識別情報「Ａ０００２」が付与された通信端末から送信されてきた「見学者のうち５名が屋上に到着したとき」という条件情報を情報受付部１４０が受け付けたことを示している。また、条件データベース１５０に、端末識別情報「Ｂ０００１」と条件情報「生コン車の３台目が打ち始めて１０分間が経過したとき」とが対応付けられて記憶されている。これは、端末識別情報「Ｂ０００１」が付与された通信端末から送信されてきた「生コン車の３台目が打ち始めて１０分間が経過したとき」という条件情報を情報受付部１４０が受け付けたことを示している。また、条件データベース１５０に、端末識別情報「Ｃ０００１」と条件情報「現場内にヘルメットを被っていない人が入ってきたとき」とが対応付けられて記憶されている。これは、端末識別情報「Ｃ０００１」が付与された通信端末から送信されてきた「現場内にヘルメットを被っていない人が入ってきたとき」という条件情報を情報受付部１４０が受け付けたことを示している。

【0025】

選定部１６０は、条件データベース１５０に記憶されている条件情報と解析部１３０が出力した変化情報とを比較する。選定部１６０は、比較の結果、条件情報と変化情報との一致度に応じて、変化情報を選定する。選定部１６０は、条件情報からキーワードを抽出し、抽出したキーワードと変化情報とを比較しても良い。例えば、選定部１６０は、図４に示した「２階の床スラブの配筋を始めたとき」という条件情報から「２階」、「床スラブ」および「配筋」というキーワードを抽出し、これらのキーワードと変更情報とを比較しても良い。この場合、選定部１６０は、キーワードを含む割合が最も高い変化情報を選定しても良い。また、選定部１６０は、キーワードを含む割合が高いものから所定の数の変化情報を選定しても良い。また、選定部１６０は、キーワードを含む割合が閾値以上である変化情報を選定しても良い。つまり、選定部１６０は、複数の画像データの変化それぞれに応じた複数の変化情報の中から、条件情報とより多くが一致する変化情報を選定することになる。

【0026】

通知部１７０は、選定部１６０が選定した変化情報に応じた条件情報を送信した通信端末へ所定の通知を行う。この通知は、通信端末３００を所持する利用者が認識できるものであれば良く、具体的には規定しない。

【0027】

通信端末３００は、利用者が所持して操作する携帯端末等の通信装置である。図５は、図１に示した通信端末３００に具備された構成要素の一例を示す図である。図１に示した通信端末３００は図５に示すように、入力部３１０と、表示部３２０と、通信部３３０とを有する。なお、図５には、図１に示した通信端末３００が具備する構成要素のうち、本形態に関わる主要な構成要素のみを示した。

【0028】

入力部３１０は、外部から受け付けた操作に基づいて通信端末３００に情報を入力する。入力部３１０は、例えば、タッチパネルであっても良い。表示部３２０は、情報を表示するディスプレイである。通信部３３０は、通信ネットワーク４００を介して、他の通信装置（例えば、情報処理装置１００）と通信を行う。

【0029】

以下に、図１に示した情報処理装置１００における支援方法について説明する。図６は、図１に示した情報処理装置１００における支援方法の一例を説明するためのフローチャートである。

【0030】

通信端末３００の入力部３１０が外部からの操作に基づいて条件情報を入力すると、入力された条件情報を通信部３３０が情報処理装置１００へ送信する。通信部３３０から送信されてきた条件情報を情報受付部１４０が受け付けると（ステップＳ１）、情報受付部１４０は受け付けた条件情報を条件データベース１５０に記憶させる（ステップＳ２）。このとき、情報受付部１４０は、条件情報と共に送信されてきた通信端末３００の端末識別情報を当該条件情報と対応付けて条件データベース１５０に記憶させる。なお、通信端末３００から条件情報と共に、利用者の氏名や住所等の利用者の属性情報が送信されてきた場合、情報受付部１４０は、これらの情報も条件情報と対応付けて条件データベース１５０に記憶させても良い。ステップＳ１～Ｓ２の処理は、以下に説明するステップＳ３～Ｓ８の処理とは別個に、あらかじめ行われていても良い。

【0031】

また、撮像装置２００から送信されてきた画像データを情報処理装置１００が受信すると（ステップＳ３）、変化検出部１２０は、撮像装置２００から直近に送信されてきた第１の画像データと、第１の画像データの直前に送信されてきた第２の画像データとの間に変化があるかどうかを判定する（ステップＳ４）。変化検出部１２０が、第１の画像データと第２の画像データとの間に変化を検出した場合、解析部１３０は、画像の変化した領域について画像処理を行って、その変化を示す変化情報を出力する（ステップＳ５）。

【0032】

続いて、選定部１６０は、条件データベース１５０に記憶されている条件情報と解析部１３０が出力した変化情報とを比較し、変化情報と一致する条件情報があるかどうかを判定する（ステップＳ６）。選定部１６０は、比較の結果、条件情報と変化情報との一致度に応じて、変化情報を選定する（ステップＳ７）。選定部１６０が変化情報を選定できた場合、通知部１７０は、選定部１６０が選定した変化情報に応じた条件情報を送信した通信端末３００へ所定の通知を行う（ステップＳ８）。

【0033】

通知部１７０からの通知に従って、通信端末３００の表示部３２０が所定の表示を行う。図７は、図５に示した表示部３２０が表示する通知の一例を示す図である。図７に示すように、表示部３２０の所定の位置に通知表示３２１が表示されても良い。通知表示３２１の形状や表示色は特に規定しない。通信端末３００が情報処理装置１００から通知を受けた場合、通信端末３００における通知の出力は、上述した表示以外でも、例えば、所定のメッセージ表示や、アイコン表示、振動、音声の出力通知でも良い。

【0034】

なお、通知部１７０は、変化情報を選定してから、条件情報に含まれる時間情報が示す時間、変化検出部１２０が第１の画像データと第２の画像データとの間の変化を検出しない場合、通知を行っても良い。例えば、図４に示した条件情報の「生コン車の３台目が打ち始めてから１０分間が経過したとき」がそれに相当する。

【0035】

このように、本形態においては、撮像装置２００が撮像した画像の変化を検出し、検出した変化と利用者から提供された条件情報との一致度に応じて、変化した旨を通知する。そのため、撮像装置２００が撮像している場面が所望の場面となったことを利用者が知ることができる。
（第２の実施の形態）

【0036】

図８は、本発明の支援システムの第２の実施の形態を示す図である。本形態における支援システムは図８に示すように、情報処理装置１０１と、撮像装置２００と、通信端末３００とを有する。情報処理装置１０１と、撮像装置２００と、通信端末３００とは、通信ネットワーク４００を介して互いに通信可能に接続されている。また、情報処理装置１０１と、撮像装置２００と、通信端末３００とは、互いが直接接続されていても良い。撮像装置２００、通信端末３００および通信ネットワーク４００それぞれは、第１の実施の形態におけるものとそれぞれ同じものである。

【0037】

情報処理装置１０１は、撮像装置２００から送信されてきた画像データを処理する装置である。図９は、図８に示した情報処理装置１０１に具備された構成要素の一例を示す図である。図８に示した情報処理装置１０１は図９に示すように、画像記憶部１１０と、変化検出部１２０と、解析部１３１と、情報受付部１４０と、条件データベース１５０と、選定部１６０と、通知部１７０と、学習モデル生成部１８１と、学習モデル１８２とを有する。画像記憶部１１０、変化検出部１２０、情報受付部１４０、条件データベース１５０、選定部１６０および通知部１７０のぞれぞれは、第１の実施の形態におけるものとそれぞれ同じものである。なお、図９には、図８に示した情報処理装置１０１が具備する構成要素のうち、本形態に関わる主要な構成要素のみを示した。

【0038】

学習モデル生成部１８１は、複数の画像データとその複数の画像データそれぞれが示す複数の特徴情報とに基づいて、複数の画像データと複数の特徴情報とを対応付けた教師データを生成する。学習モデル生成部１８１は、生成した教師データを用いて機械学習を行って学習モデル１８２を生成する。学習モデル生成部１８１が教師データとして用いる複数の画像データには、撮像装置２００が撮像することが予測できる画像データに含まれる画像を示すものが含まれる。

【0039】

学習モデル１８２は、学習モデル生成部１８１が生成した学習モデルである。学習モデル１８２は、学習モデル生成部１８１が生成した教師データを用いて、画像データに応じた特徴情報を出力する。学習モデル１８２は、例えば、複数のニューロンが相互に結合したニューラルネットワークの構造を有していても良い。ニューロンは、複数の入力に対して所定の演算を行い、演算結果として１つの値を出力する素子である。学習モデル１８２は、記憶部（不図示）に記憶されている。学習モデル１８２における学習方法は、学習モデルを生成する一般的な方法を用いるもので良い。図１０は、図９に示した学習モデル１８２の入出力の一例を示す図である。図９に示した学習モデル１８２は図１０に示すように、画像データが入力されると特徴情報が出力される学習モデルである。なお、学習モデル１８２は、情報処理装置１０１の外部に設けられていても良い。

【0040】

解析部１３１は、変化検出部１２０が変化を検出した場合、変化した領域の画像データを学習モデル１８２に入力することで、学習モデル１８２から特徴情報を取得する。解析部１３１は、学習モデル１８２から取得した特徴情報を変化情報として出力する。

【0041】

以下に、図９に示した情報処理装置１０１における学習モデル生成方法について説明する。図１１は、図９に示した情報処理装置１０１における学習モデル１８２の生成方法の一例を説明するためのフローチャートである。

【0042】

まず、学習モデル生成部１８１は、外部から受け付けた複数の画像データと、それぞれの複数の画像データの特徴情報とを対応付けた教師データを生成する（ステップＳ１１）。そして、学習モデル生成部１８１は、生成した教師データを用いて、既知または未知の画像データに応じた特徴情報を出力する学習モデル１８２を生成する（ステップＳ１２）。これにより、画像データを入力すると、その画像データに応じた特徴データを出力する学習モデル１８２が生成される。

【0043】

以下に、図８に示した情報処理装置１０１における支援方法について説明する。図１２は、図８に示した情報処理装置１０１における支援方法の一例を説明するためのフローチャートである。

【0044】

通信端末３００の入力部３１０が外部からの操作に基づいて条件情報を入力すると、入力された条件情報を通信部３３０が情報処理装置１０１へ送信する。通信部３３０から送信されてきた条件情報を情報受付部１４０が受け付けると（ステップＳ２１）、情報受付部１４０は受け付けた条件情報を条件データベース１５０に記憶させる（ステップＳ２２）。このとき、情報受付部１４０は、条件情報と共に送信されてきた通信端末３００の端末識別情報を当該条件情報と対応付けて条件データベース１５０に記憶させる。なお、通信端末３００から条件情報と共に、利用者の氏名や住所等の利用者の属性情報が送信されてきた場合、情報受付部１４０は、これらの情報も条件情報と対応付けて条件データベース１５０に記憶させても良い。ステップＳ２１～Ｓ２２の処理は、以下に説明するステップＳ２３～Ｓ３０の処理とは別個に、あらかじめ行われていても良い。

【0045】

また、撮像装置２００から送信されてきた画像データを情報処理装置１０１が受信すると（ステップＳ２３）、変化検出部１２０は、撮像装置２００から直近に送信されてきた第１の画像データと、第１の画像データの直前に送信されてきた第２の画像データとの間に変化があるかどうかを判定する（ステップＳ２４）。変化検出部１２０が、第１の画像データと第２の画像データとの間に変化を検出した場合、解析部１３１は、画像の変化した領域の画像データを学習モデル１８２に入力する（ステップＳ２５）。すると、学習モデル１８２から特徴情報が出力され、解析部１３１は、学習モデル１８２から出力された特徴情報を取得する（ステップＳ２６）。解析部１３１は、取得した特徴情報を、画像の変化を示す変化情報として出力する（ステップＳ２７）。

【0046】

続いて、選定部１６０は、条件データベース１５０に記憶されている条件情報と解析部１３１が出力した変化情報とを比較し、変化情報と一致する条件情報があるかどうかを判定する（ステップＳ２８）。選定部１６０は、比較の結果、条件情報と変化情報との一致度に応じて、変化情報を選定する（ステップＳ２９）。選定部１６０が変化情報を選定できた場合、通知部１７０は、選定部１６０が選定した変化情報に応じた条件情報を送信した通信端末３００へ所定の通知を行う（ステップＳ３０）。

【0047】

このように、本形態においては、撮像装置２００が撮像した画像の変化を検出し、検出した変化に応じた変化情報を取得する。取得した変化情報と利用者から提供された条件情報との一致度に応じて、変化した旨を通知する。そのため、撮像装置２００が撮像している場面が所望の場面となったことを利用者が知ることができる。変化情報の取得には、画像データを入力すると、その画像データに応じた特徴情報を出力する学習モデル１８２を用いる。これにより、変化した画像データが示す内容（変化）をより正確に判定した変化情報を得ることができ、利用者の条件情報に適した変化が発生したことを利用者が知ることができる。
（第３の実施の形態）

【0048】

図１３は、本発明の支援システムの第３の実施の形態を示す図である。本形態における支援システムは図１３に示すように、情報処理装置１０２と、撮像装置２００と、通信端末３００とを有する。情報処理装置１０２と、撮像装置２００と、通信端末３００とは、通信ネットワーク４００を介して互いに通信可能に接続されている。また、情報処理装置１０２と、撮像装置２００と、通信端末３００とは、互いが直接接続されていても良い。撮像装置２００、通信端末３００および通信ネットワーク４００それぞれは、第１の実施の形態におけるものとそれぞれ同じものである。

【0049】

情報処理装置１０２は、撮像装置２００から送信されてきた画像データを処理する装置である。図１４は、図１３に示した情報処理装置１０２に具備された構成要素の一例を示す図である。図１３に示した情報処理装置１０２は図１４に示すように、画像記憶部１１０と、変化検出部１２０と、解析部１３０と、情報受付部１４０と、条件データベース１５０と、選定部１６０と、通知部１７２と、画像読み出し部１９２とを有する。画像記憶部１１０、変化検出部１２０、解析部１３０、情報受付部１４０、条件データベース１５０および選定部１６０のぞれぞれは、第１の実施の形態におけるものとそれぞれ同じものである。なお、図１４には、図１３に示した情報処理装置１０２が具備する構成要素のうち、本形態に関わる主要な構成要素のみを示した。

【0050】

画像読み出し部１９２は、選定部１６０が変化情報を選定できた場合に通知部１７２が通知を行ってから、通信端末３００から画像データの取得要求があった場合、変化の後の（選定部１６０が変化情報を選定できた）画像データを画像記憶部１１０から読み出す。

【0051】

通知部１７２は、第１の実施の形態における通知部１７０が具備する機能に加えて、画像読み出し部１９２が読み出した画像データを通信端末３００へ送信する機能を具備する。

【0052】

以下に、図１３に示した支援システムにおける支援方法について説明する。図１５は、図１３に示した支援システムにおける支援方法の一例を説明するためのフローチャートである。ここで、第１の実施の形態において、図６に示したフローチャートを用いて説明したステップＳ１～Ｓ７の処理は同様であるため、本説明においては省略する。

【0053】

選定部１６０が変化情報を選定できた場合、通知部１７２は、選定部１６０が選定した変化情報に応じた条件情報を送信した通信端末３００へ所定の通知を行う（ステップＳ４１）。すると、通信端末３００の表示部３２０が所定の表示を行う（ステップＳ４２）。この表示は、第１の実施の形態において、図７に示すような通知表示３２１で良い。または、この表示は、画像データの取得要求を促す表示でも良い。

【0054】

ステップＳ４２にて行われた表示に対して、通信端末３００の入力部３１０が外部からの操作に基づいて画像取得の要求を受け付けると（ステップＳ４３）、通信端末３００の通信部３３０は、画像の取得を要求するための画像取得要求信号を情報処理装置１０２へ送信する（ステップＳ４４）。通信部３３０が送信した画像取得要求信号を情報処理装置１０２が受信すると、画像読み出し部１９２は、画像取得要求信号が指定する画像データを画像記憶部１１０から読み出す（ステップＳ４５）。この指定には、画像取得要求信号に含まれる画像を識別するための画像識別情報が用いられる。画像記憶部１１０に記憶されている画像データそれぞれには、画像識別情報があらかじめ対応付けられている。通知部１７２が通信端末３００に対して行う通知には、この画像識別情報が含まれており、通知に対して画像取得の要求を受け付けると、この画像識別情報が含まれた画像取得要求信号が作成される。続いて、通知部１７２は、画像読み出し部１９２が読み出した画像データを通信端末３００へ送信する（ステップＳ４６）。すると、通信端末３００の表示部３２０は、通知部１７２から送信されてきた画像データを表示する（ステップＳ４７）。

【0055】

図１６は、ステップＳ４７にて表示部３２０が表示した画像データの一例を示す図である。図１６に示した例は、第１の実施の形態で一例として説明した「見学者のうち５名が屋上に到着したとき」という変化の画像データである。このような画像データを表示部３２０が表示する。

【0056】

このように、本形態においては、撮像装置２００が撮像した画像の変化を検出し、検出した変化と利用者から提供された条件情報との一致度に応じて、変化した旨を通知する。そのため、撮像装置２００が撮像している場面が所望の場面となったことを利用者が知ることができる。さらに、この通知に対して、通信端末３００から画像データの取得要求があると、情報処理装置１０２は当該画像データを通信端末３００へ送信し、通信端末３００が画像データを表示する。これにより、所望の画像データを利用者が閲覧することができる。
（第４の実施の形態）

【0057】

図１７は、本発明の支援システムの第４の実施の形態を示す図である。本形態における支援システムは図１７に示すように、情報処理装置１０３と、撮像装置２００と、通信端末３００と、クラウドサーバ５０３とを有する。情報処理装置１０３と、撮像装置２００と、通信端末３００と、クラウドサーバ５０３とは、通信ネットワーク４００を介して互いに通信可能に接続されている。また、情報処理装置１０２と、撮像装置２００と、通信端末３００と、クラウドサーバ５０３とは、互いが直接接続されていても良い。撮像装置２００、通信端末３００および通信ネットワーク４００それぞれは、第１の実施の形態におけるものとそれぞれ同じものである。クラウドサーバ５０３は、第１～３の実施の形態における画像記憶部１１０の代わりに、撮像装置２００から送信されてきた画像データを記憶する。このとき、クラウドサーバ５０３は、画像データと共に送信されてきた撮像装置識別情報および日時情報を対応付けて記憶する。クラウドサーバ５０３は、画像データを記憶してから所定の時間が経過した後、当該画像データを消去しても良い。つまり、クラウドサーバ５０３は、古い画像データが記憶されている領域に新しく送信されてきた画像データを上書きしても良い。

【0058】

情報処理装置１０３は、撮像装置２００から送信されてきた画像データを処理する装置である。図１８は、図１７に示した情報処理装置１０３に具備された構成要素の一例を示す図である。図１７に示した情報処理装置１０３は図１８に示すように、変化検出部１２０と、解析部１３０と、情報受付部１４０と、条件データベース１５０と、選定部１６０と、通知部１７２と、画像読み出し部１９３とを有する。変化検出部１２０、解析部１３０、情報受付部１４０、条件データベース１５０および選定部１６０のぞれぞれは、第１の実施の形態におけるものとそれぞれ同じものである。また、通知部１７２は、第３の実施の形態におけるものと同じものである。なお、図１８には、図１７に示した情報処理装置１０３が具備する構成要素のうち、本形態に関わる主要な構成要素のみを示した。

【0059】

画像読み出し部１９３は、選定部１６０が変化情報を選定できた場合に通知部１７２が通知を行ってから、通信端末３００から画像データの取得要求があった場合、変化の後の（選定部１６０が変化情報を選定できた）画像データをクラウドサーバ５０３から読み出す。

【0060】

以下に、図１７に示した支援システムにおける支援方法について説明する。図１９は、図１７に示した支援システムにおける支援方法の一例を説明するためのフローチャートである。ここで、第１の実施の形態において、図６に示したフローチャートを用いて説明したステップＳ１～Ｓ７の処理は同様であるため、本説明においては省略する。

【0061】

選定部１６０が変化情報を選定できた場合、通知部１７２は、選定部１６０が選定した変化情報に応じた条件情報を送信した通信端末３００へ所定の通知を行う（ステップＳ５１）。すると、通信端末３００の表示部３２０が所定の表示を行う（ステップＳ５２）。この表示は、第１の実施の形態において、図７に示すような通知表示３２１で良い。または、この表示は、画像データの取得要求を促す表示でも良い。

【0062】

ステップＳ５２にて行われた表示に対して、通信端末３００の入力部３１０が外部からの操作に基づいて画像取得の要求を受け付けると（ステップＳ５３）、通信端末３００の通信部３３０は、画像の取得を要求するための画像取得要求信号を情報処理装置１０３へ送信する（ステップＳ５４）。通信部３３０が送信した画像取得要求信号を情報処理装置１０３が受信すると、画像読み出し部１９３は、画像取得要求信号が指定する画像データをクラウドサーバ５０３から読み出す（ステップＳ５５）。この指定には、画像取得要求信号に含まれる画像を識別するための画像識別情報が用いられる。クラウドサーバ５０３に記憶されている画像データそれぞれには、画像識別情報があらかじめ対応付けられている。通知部１７２が通信端末３００に対して行う通知には、この画像識別情報が含まれており、通知に対して画像取得の要求を受け付けると、この画像識別情報が含まれた画像取得要求信号が作成される。続いて、通知部１７２は、画像読み出し部１９３が読み出した画像データを通信端末３００へ送信する（ステップＳ５６）。すると、通信端末３００の表示部３２０は、通知部１７２から送信されてきた画像データを表示する（ステップＳ５７）。

【0063】

このように、本形態においては、撮像装置２００が撮像した画像の変化を検出し、検出した変化と利用者から提供された条件情報との一致度に応じて、変化した旨を通知する。そのため、撮像装置２００が撮像している場面が所望の場面となったことを利用者が知ることができる。さらに、この通知に対して、通信端末３００から画像データの取得要求があると、情報処理装置１０３は当該画像データを通信端末３００へ送信し、通信端末３００が画像データを表示する。これにより、所望の画像データを利用者が閲覧することができる。また、撮像装置２００が撮像した画像データを情報処理装置１０３の外部のクラウドサーバ５０３に記憶しておく。そのため、情報処理装置１０３が大容量の記憶装置を具備することなく、装置の構築費用の削減を図ることができる。

【0064】

上述した形態においては、情報処理装置が、撮像装置から送信されてきた複数の画像データを用いて処理を行う場合を例に挙げて説明したが、本発明はこれに限らない。情報処理装置は、公開されている利用可能な複数の画像データ、例えば、一般のＷｅｂ上で公開されている公共の複数の画像データを取得し、取得した複数の画像データを用いて、上述した処理を行っても良い。このような複数の画像データは、任意のまたは特定の撮像装置を用いて撮像されたものである。本発明の情報処理装置は、このような撮像装置が撮像して公開されている複数の画像データのうち、現在の時刻の直近に撮像された第１の画像データと、第１の画像データの直前に撮像された第２の画像データとの間の変化を検出して、上述した処理を行っても良い。

【0065】

以上説明した本発明は、桜の開花の監視、紅葉の変化の監視、渡り鳥の到来の監視、観光地の混雑状況の監視、河川の水位の変化の監視、積雪量の監視、ごみの不法投棄の監視、立ち入り禁止区域への侵入監視等に用いることができる。

【0066】

以上、各構成要素に各機能（処理）それぞれを分担させて説明したが、この割り当ては上述したものに限定しない。また、構成要素の構成についても、上述した形態はあくまでも例であって、これに限定しない。また、各実施の形態を組み合わせたものであっても良い。

【0067】

情報処理装置１００，１０１，１０２，１０３それぞれが行う処理は、目的に応じてそれぞれ作製された論理回路で行うようにしても良い。また、処理内容を手順として記述したコンピュータプログラム（以下、プログラムと称する）を情報処理装置１００，１０１，１０２，１０３それぞれにて読取可能な記録媒体に記録し、この記録媒体に記録されたプログラムを情報処理装置１００，１０１，１０２，１０３それぞれに読み込ませ、実行するものであっても良い。情報処理装置１００，１０１，１０２，１０３それぞれにて読取可能な記録媒体とは、光磁気ディスク、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）、Ｂｌｕ－ｒａｙ（登録商標） Ｄｉｓｃ、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリなどの移設可能な記録媒体の他、情報処理装置１００，１０１，１０２，１０３それぞれに内蔵されたＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等のメモリやＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等を指す。この記録媒体に記録されたプログラムは、情報処理装置１００，１０１，１０２，１０３それぞれに設けられたＣＰＵにて読み込まれ、ＣＰＵの制御によって、上述したものと同様の処理が行われる。ここで、ＣＰＵは、プログラムが記録された記録媒体から読み込まれたプログラムを実行するコンピュータとして動作するものである。

【符号の説明】

【0068】

１００，１０１，１０２，１０３ 情報処理装置
１１０ 画像記憶部
１２０ 変化検出部
１３０，１３１ 解析部
１４０ 情報受付部
１５０ 条件データベース
１６０ 選定部
１７０，１７２ 通知部
１８１ 学習モデル生成部
１８２ 学習モデル
１９２，１９３ 画像読み出し部
２００ 撮像装置
２１０ 撮像部
２２０ 送信部
３００ 通信端末
３１０ 入力部
３２０ 表示部
３２１ 通知表示
３３０ 通信部
４００ 通信ネットワーク
５０３ クラウドサーバ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】