(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-03-21
(45)【発行日】2024-03-29
(54)【発明の名称】情報処理システム、情報処理装置、端末装置、情報処理方法及びプログラム
(51)【国際特許分類】
H04N 7/18 20060101AFI20240322BHJP
H04N 21/234 20110101ALI20240322BHJP
H04N 21/2668 20110101ALI20240322BHJP
H04N 21/488 20110101ALI20240322BHJP
H04N 21/4728 20110101ALI20240322BHJP
G06T 7/246 20170101ALI20240322BHJP
G06T 7/215 20170101ALI20240322BHJP
【FI】
H04N7/18 D
H04N7/18 K
H04N21/234
H04N21/2668
H04N21/488
H04N21/4728
G06T7/246
G06T7/215
(21)【出願番号】P 2019239772
(22)【出願日】2019-12-27
【審査請求日】2022-12-22
(73)【特許権者】
【識別番号】514263540
【氏名又は名称】株式会社アダコテック
(74)【代理人】
【識別番号】100127384
【氏名又は名称】坊野 康博
(72)【発明者】
【氏名】大津 展之
(72)【発明者】
【氏名】伊部 卓秀
(72)【発明者】
【氏名】伊藤 桂一
【審査官】佐野 潤一
(56)【参考文献】
【文献】特開2005-312018(JP,A)
【文献】特開2006-318272(JP,A)
【文献】特開2006-285312(JP,A)
【文献】特開2006-260049(JP,A)
【文献】国際公開第2016/125366(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 7/18
H04N 21/00
G06T 1/00-7/00
(57)【特許請求の範囲】
【請求項1】
ユーザによって使用される端末装置と、前記端末装置と通信可能に構成されたサーバとを含む情報処理システムであって、
前記端末装置は、
前記サーバに対し、検知対象となる映像において、設定された検知領域内で移動する物体を検知するための検知処理を要求する検知要求手段を備え、
前記サーバは、
前記端末装置の要求に応じて、前記検知対象となる映像
のデータに含まれる2つのフレーム間の差分を表す差分画像において、1つの差分画像における前記検知領域内の
着目画素のデータと、前記1つの差分画像とは異なる時間の他の差分画像における前記着目画素周辺の所定範囲に位置する画素のデータとの相関に基づいて、前記検知領域内で移動する物体を検知する前記検知処理を実行する物体検知手段と、
前記物体検知手段による物体の検知結果を前記端末装置に提示する検知結果提示手段と、
を備え
、
前記物体検知手段は、前記1つの差分画像における前記検知領域内の前記着目画素のデータと、前記他の差分画像における前記着目画素周辺の所定範囲に位置する画素のデータとの相関値を前記所定範囲の各画素について取得し、取得された前記相関値からなるデータに対し、特定方向への移動に対応する重み付けを行って取得される特徴量に基づいて、前記設定された検知領域内で前記特定方向へ移動する物体を検知することを特徴とする情報処理システム。
【請求項2】
前記物体検知手段は、前記特徴量の要素値に基づいて、映像内における任意の物体の移動方向及び移動速度を取得することを特徴とする請求項
1に記載の情報処理システム。
【請求項3】
前記端末装置は、
前記物体検知手段によって検知する物体の移動方向を含む検知条件を設定するための条件設定画面を表示する条件設定画面表示手段を備え、
前記検知要求手段は、前記条件設定画面において設定された前記検知条件に従って、前記サーバに対して前記検知処理の要求を行うことを特徴とする請求項1
または2に記載の情報処理システム。
【請求項4】
前記端末装置は、
前記サーバから提示された前記検知結果に基づいて、前記映像及び前記検知領域を表示すると共に、前記検知された物体を識別して表示する検知結果表示手段を備えることを特徴とする請求項1から
3のいずれか1項に記載の情報処理システム。
【請求項5】
前記端末装置の前記検知要求手段は、前記検知対象となる映像内に、複数の前記検知領域を設定して前記サーバに前記検知処理を要求し、
前記サーバの前記物体検知手段は、複数の前記検知領域毎に、当該検知領域内で移動する物体を検知し、
前記検知結果提示手段は、前記端末装置に対し、複数の前記検知領域毎に前記物体検知手段による物体の前記検知結果を提示することを特徴とする請求項1から
4のいずれか1項に記載の情報処理システム。
【請求項6】
請求項1に記載の情報処理システムを構成する端末装置であって、
前記物体検知手段によって検知する物体の検知条件を設定するための条件設定画面を表示する条件設定画面表示手段と、
前記サーバから提示された前記検知結果に基づいて、前記映像及び前記検知領域を表示すると共に、前記検知された物体を識別して表示する検知結果表示手段と、
を備え、
前記検知要求手段は、前記条件設定画面において設定された前記検知条件に従って、前記サーバに対して前記検知処理の要求を行うことを特徴とする端末装置。
【請求項7】
検知対象となる映像
のデータに含まれる2つのフレーム間の差分を表す差分画像において、1つの差分画像における設定された検知領域内の
着目画素のデータと、前記1つの差分画像とは異なる時間の他の差分画像における前記着目画素周辺の所定範囲に位置する画素のデータとの相関に基づいて、前記検知領域内で移動する物体を検知するための検知処理を実行する物体検知手段と、
前記物体検知手段による物体の検知結果を提示する検知結果提示手段と、
を備え
、
前記物体検知手段は、前記1つの差分画像における前記検知領域内の前記着目画素のデータと、前記他の差分画像における前記着目画素周辺の所定範囲に位置する画素のデータとの相関値を前記所定範囲の各画素について取得し、取得された前記相関値からなるデータに対し、特定方向への移動に対応する重み付けを行って取得される特徴量に基づいて、前記設定された検知領域内で前記特定方向へ移動する物体を検知することを特徴とする情報処理装置。
【請求項8】
情報処理システムが実行する情報処理方法であって、
検知対象となる映像
のデータに含まれる2つのフレーム間の差分を表す差分画像において、1つの差分画像における設定された検知領域内の
着目画素のデータと、前記1つの差分画像とは異なる時間の他の差分画像における前記着目画素周辺の所定範囲に位置する画素のデータとの相関に基づいて、前記検知領域内で移動する物体を検知するための検知処理を実行する物体検知ステップと、
前記物体検知ステップにおける物体の検知結果を提示する検知結果提示ステップと、
を含
み、
前記物体検知ステップでは、前記1つの差分画像における前記検知領域内の前記着目画素のデータと、前記他の差分画像における前記着目画素周辺の所定範囲に位置する画素のデータとの相関値を前記所定範囲の各画素について取得し、取得された前記相関値からなるデータに対し、特定方向への移動に対応する重み付けを行って取得される特徴量に基づいて、前記設定された検知領域内で前記特定方向へ移動する物体を検知することを特徴とする情報処理方法。
【請求項9】
コンピュータに、
検知対象となる映像
のデータに含まれる2つのフレーム間の差分を表す差分画像において、1つの差分画像における設定された検知領域内の
着目画素のデータと、前記1つの差分画像とは異なる時間の他の差分画像における前記着目画素周辺の所定範囲に位置する画素のデータとの相関に基づいて、前記検知領域内で特定方向へ移動する物体を検知するための検知処理を実行する物体検知機能と、
前記物体検知機能による物体の検知結果を提示する検知結果提示機能と、
を実現させ
、
前記物体検知機能は、前記1つの差分画像における前記検知領域内の前記着目画素のデータと、前記他の差分画像における前記着目画素周辺の所定範囲に位置する画素のデータとの相関値を前記所定範囲の各画素について取得し、取得された前記相関値からなるデータに対し、特定方向への移動に対応する重み付けを行って取得される特徴量に基づいて、前記設定された検知領域内で前記特定方向へ移動する物体を検知することを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理システム、情報処理装置、端末装置、情報処理方法及びプログラムに関する。
【背景技術】
【0002】
近年、映像内における物体を検知する技術が盛んに利用されるようになっている。
例えば、監視カメラで撮影された映像において、異常な物体等を自動的に検知する技術が実用化されている。
また、AI(Artificial Intelligence)の発達に伴い、映像内における物体を、AIを用いた画像認識等によって検知する技術も開発されつつある。
なお、映像内における物体を検知する技術は、例えば、特許文献1に記載されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、映像内における物体の移動を検知する場合、各種外乱によって、物体の移動を検知する精度が低下する可能性がある。
例えば、映像内における物体の特定方向への移動を検知する場合、外乱の影響により、物体の移動方向が誤検知される等の可能性がある。
また、屋外にカメラが設置されたような外乱が大きい場合等において、物体の特定方向への移動を、AIを用いて検知する方法では、演算処理負荷が大きくなったり、学習のためのサンプルデータを多数用意する必要が生じたりする等の問題から導入が困難となるケースがある。
また、検知したい対象をプログラムで表現するアプローチ(ルールベースアプローチ)では、多くの動作パラメータを最適に設定する必要があるが、パラメータ数が多く直感的に設定することが困難である。
【0005】
本発明の課題は、外乱に頑健に映像内の物体速度を推定することである。
【課題を解決するための手段】
【0006】
上記課題を解決するため、本発明の一態様に係る情報処理システムは、
ユーザによって使用される端末装置と、前記端末装置と通信可能に構成されたサーバとを含む情報処理システムであって、
前記端末装置は、
前記サーバに対し、検知対象となる映像において、設定された検知領域内で移動する物体を検知するための検知処理を要求する検知要求手段を備え、
前記サーバは、
前記端末装置の要求に応じて、前記検知対象となる映像において、異なる時間の前記映像のデータにおける前記検知領域内の画素及び当該画素周辺の画素のデータの相関に基づいて、前記検知領域内で移動する物体を検知する前記検知処理を実行する物体検知手段と、
前記物体検知手段による物体の検知結果を前記端末装置に提示する検知結果提示手段と、
を備えることを特徴とする。
【発明の効果】
【0007】
本発明によれば、外乱に頑健に映像内の物体速度を推定することができる。
【図面の簡単な説明】
【0008】
【
図1】本発明に係る情報処理システム1全体のシステム構成を示す模式図である。
【
図2】各装置を構成する情報処理装置800のハードウェア構成を示す図である。
【
図3】サーバ20の機能的構成を示すブロック図である。
【
図4】移動平均特徴量R(t)をN×Nのマトリクスでヒートマップ表示した例を示す模式図である。
【
図5】ユーザ端末10の機能的構成を示すブロック図である。
【
図6】ライブビュー画面の一例を示す模式図である。
【
図7】複数の物体検知領域が設定された場合のライブビュー画面の一例を示す模式図である。
【
図10】ユーザ端末10が実行するUI制御処理の流れを示すフローチャートである。
【
図11】サーバ20が実行する物体検知処理の流れを示すフローチャートである。
【
図12】物体検知処理及び処理結果の表示を実行するスタンドアローン型の情報処理装置800の機能的構成を示すブロック図である。
【発明を実施するための形態】
【0009】
以下、本発明の実施形態について、図面を参照して説明する。
本実施形態に係る情報処理システムは、AIへの応用のための膨大な学習サンプルを用意することなく、直感的な操作による設定で、映像内における任意のエリア内を指定の速度で一定の方向へ移動する物体を検知するものであり、例えば、高速道路等の入り口や、建物の入り口等において、特定方向に移動する物体を検知する。
また、本実施形態における情報処理システムでは、映像内において、特定方向へ移動する物体を選別して検知するための条件設定が可能であり、このような条件設定を容易に行うことが可能なユーザインターフェースを提供する。
これにより、本実施形態に係る情報処理システムは、映像内における物体の特定方向への移動を精度良く、より簡単に検知することを可能としている。
また、外乱に頑健(ロバスト)に映像内の物体速度を推定することができる。
【0010】
[構成]
[システム構成]
図1は、本発明に係る情報処理システム1全体のシステム構成を示す模式図である。
図1に示すように、情報処理システム1は、複数のユーザ端末10と、サーバ20と、撮像装置Cとを含んで構成され、複数のユーザ端末10とサーバ20とは、インターネット等のネットワーク30を介して通信可能に構成されている。なお、情報処理システム1には、ネットワークカメラ等からなる撮像装置Cを必要に応じて備えることができる。この撮像装置Cは、ネットワーク30を介して、ユーザ端末10及びサーバ20と通信可能に構成される。情報処理システム1においては、ユーザ端末10、サーバ20あるいは撮像装置Cによって取得(撮像あるいは読み出し等)された映像のいずれも、映像内における物体の特定方向への移動を検知する対象とすることが可能である。
【0011】
ユーザ端末10は、ユーザによって使用される情報処理装置であり、映像内における物体の移動を検知するための各種情報(映像のデータや検知する物体に関する条件等)の入力を受け付けたり、サーバ20に対して、映像内における物体の検知に関する要求を行ったりする。また、ユーザ端末10は、サーバ20から送信された映像内における物体の検知結果(具体的には、検知結果を表示するUI画面)を表示したり、映像内における物体の一連の検知結果に関するデータ(ログデータ)をダウンロードしたりする。
【0012】
サーバ20は、ユーザ端末10から映像内における物体の検知に関する要求が行われた場合に、ユーザ端末10で設定された条件に従って、映像内において条件に適合する物体を検知する。具体的には、サーバ20は、映像内において、特定方向へ移動する物体を検知すると共に、その移動速度やサイズ、あるいは、移動する領域等、ユーザ端末10においてユーザが設定した条件に適合する物体の移動を検知する。そして、サーバ20は、検知結果を表すデータをユーザ端末10に逐次送信したり、映像のデータ全体に関する検知結果のデータをログデータとしてユーザ端末10に送信したりする。
撮像装置Cは、物体を検知する領域を撮像可能な位置に設置され、撮像した映像データを、ネットワーク30を介してユーザ端末10あるいはサーバ20に送信する。
【0013】
[ハードウェア構成]
次に、情報処理システム1における各装置のハードウェア構成を説明する。
情報処理システム1において、各装置はPC、サーバコンピュータあるいはタブレット端末等の情報処理装置によって構成され、その基本的構成は同様である。
【0014】
図2は、各装置を構成する情報処理装置800のハードウェア構成を示す図である。
図2に示すように、各装置を構成する情報処理装置800は、CPU(Central Processing Unit)811と、ROM(Read Only Memory)812と、RAM(Random Access Memory)813と、バス814と、入力部815と、出力部816と、記憶部817と、通信部818と、ドライブ819と、撮像部820と、を備えている。
【0015】
CPU811は、ROM812に記録されているプログラム、または、記憶部817からRAM813にロードされたプログラムに従って各種の処理を実行する。
RAM813には、CPU811が各種の処理を実行する上において必要なデータ等も適宜記憶される。
【0016】
CPU811、ROM812及びRAM813は、バス814を介して相互に接続されている。バス814には、入力部815、出力部816、記憶部817、通信部818、ドライブ819及び撮像部820が接続されている。
【0017】
入力部815は、各種ボタン等で構成され、指示操作に応じて各種情報を入力する。
出力部816は、ディスプレイやスピーカ等で構成され、映像や音声を出力する。
なお、情報処理装置800がスマートフォンやタブレット端末として構成される場合には、入力部815と出力部816のディスプレイとを重ねて配置し、タッチパネルを構成することとしてもよい。
記憶部817は、ハードディスクあるいはDRAM(Dynamic Random Access Memory)等で構成され、各サーバで管理される各種データを記憶する。
通信部818は、ネットワーク30を介して他の装置との間で行う通信を制御する。
【0018】
ドライブ819には、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリ等よりなる、リムーバブルメディア831が適宜装着される。ドライブ819によってリムーバブルメディア831から読み出されたプログラムは、必要に応じて記憶部817にインストールされる。
撮像部820は、レンズ及び撮像素子等を備えた撮像装置によって構成され、被写体のデジタル映像を撮像する。
なお、情報処理装置800がタブレット端末として構成される場合には、入力部815をタッチセンサによって構成し、出力部816のディスプレイに重ねて配置することにより、タッチパネルを備える構成とすることも可能である。
【0019】
[機能的構成]
次に、情報処理システム1における各装置の機能的構成について説明する。
[サーバ20の構成]
図3は、サーバ20の機能的構成を示すブロック図である。
図3に示すように、サーバ20のCPU811においては、データ取得部211と、パラメータ設定部212と、画像フィルタ処理部213と、画像2値化処理部214と、画素値演算部215と、条件判定部216と、可視化処理部217と、検知結果提示部218と、が機能する。また、サーバ20の記憶部817には、映像データ記憶部271と、パラメータ記憶部272と、ログデータ記憶部273と、が形成される。
【0020】
映像データ記憶部271には、物体の検知が行われる映像のデータが記憶される。映像データ記憶部271には、ユーザ端末10から送信された、リアルタイムで撮影された映像データ及び過去に撮影された映像データの他、サーバ20がユーザ端末10以外(撮像装置C等)から取得したリアルタイムで撮影された映像データ及び過去に撮影された映像データ等を記憶することができる。また、映像データ記憶部271は、サーバ20においてリアルタイムで撮影された映像データ及び過去に撮影された映像データも記憶することができる。なお、本実施形態における映像データは、動画像のデータ及び連続的に撮影された静止画像のデータ等、物体の動きが記録された各種形態のデータとすることができる。
【0021】
パラメータ記憶部272には、ユーザ端末10から送信された各種パラメータ(例えば、映像内における物体の検知を行う際の条件を示す動作パラメータ等)が記憶される。
ログデータ記憶部273には、映像内における物体の検知が行われた検知結果のデータ(ログデータ)が記憶される。
【0022】
データ取得部211は、ユーザ端末10または他の装置から送信される映像のデータや、ユーザ端末10から送信される映像内における物体の検知のために設定された各種パラメータ等のデータを取得する。また、データ取得部211は、取得した映像のデータを映像データ記憶部271に記憶すると共に、取得した各種パラメータのデータをパラメータ記憶部272に記憶する。本実施形態において、データ取得部211は、映像のデータを1フレームずつ時系列に取得することが可能である。また、データ取得部211は、取得されたフレームの画像データがカラー画像である場合、グレースケール画像に変換する。
ここで、時刻tに取得された濃淡化画像(グレースケール)のデータは、横方向Wピクセル、縦方向Hピクセルの2次元データで、その座標(x,y)に対する輝度値を、I(t,x,y)と定義する。なお、輝度値は0(黒)~255(白)の値を取る。
【0023】
パラメータ設定部212は、ユーザ端末10から送信された動作パラメータに基づいて、映像内における物体の検知を行う際の条件を設定する。なお、パラメータ設定部212は、映像内における物体の検知を行っている途中で、ユーザ端末10から動作パラメータを受信した場合(即ち、物体の検知を行う条件が変更された場合)、新たな動作パラメータに基づいて、映像内における物体の検知を行う際の条件を更新する。
【0024】
画像フィルタ処理部213は、ユーザの設定に応じて、物体の検知を行うフレームの画像に対し、各種フィルタ処理を行う。例えば、画像フィルタ処理部213は、ユーザによってノイズフィルタを適用する設定とされている場合に、物体の検知を行うフレームの画像にノイズフィルタを適用する。また、画像フィルタ処理部213は、ユーザによって照明変動フィルタを適用する設定とされている場合に、物体の検知を行う画像のフレームに照明変動フィルタを適用する。
【0025】
画像2値化処理部214は、物体の検知を行う映像のフレームの画像において、フレーム間における2値化フレーム間差分画像を生成する。時刻tにおけるフレームの画像データをI(t)とした場合、2値化フレーム間差分画像のフレームのデータ座標(x,y)に対する輝度値I’(t,x,y)は、
【数1】
として模式的に表すことができる。ただし、nはフレーム間の時間差を表し、thは閾値であり映像内における物体の検知を行う際の条件を示す動作パラメータとしてユーザによって設定されたパラメータの1つである。
さらに、画像2値化処理部214は、生成した2値化フレーム間差分画像において、ユーザによって設定された物体検知領域以外の画素の値を0に設定する。これにより、不要な情報を除去し、物体の検知における誤判定が生じることを抑制できる。
また、ユーザが指定した監視エリアを示すマスク情報と、2値化フレーム間差分画像のAND演算でI’(t,x,y)を更新することで指定のエリア内の動きにのみ着目することができる。
【0026】
画素値演算部215は、物体検知領域内を移動する物体の移動速度(移動方向及び速さ)を定量化する特徴量を算出する。この特徴量としては、物体の移動速度(移動方向及び速さ)を定量化できるものであれば、種々の算出方法で算出された値を用いることができるが、本実施形態においては、2値化フレーム間差分画像における着目ピクセル値(輝度値)I’(t,x,y)と前時刻に取得された2値化フレーム間差分画像I’(t-1,x,y)との相関値を用いることとする。相関値はr(t,dx,dy)=ΣxΣyI’(t,x,y)I’(t-1、x+dx、y+dy)の数式で計算することができる。ここで(dx,dy)は、画像内の2次元座標に対する変位を示す。
着目画素周辺のN×N画素内の相関値を算出する場合、フレームの画像内の2次元座標に対する変位(dx,dy)の組み合わせがNの2乗パターン存在することから、特徴量はN×N次元の行列r(t)となる。
【0027】
また、画素値演算部215は、設定された時間窓を用いて、算出した特徴量r(t)の移動平均特徴量R(t)を算出する。特徴量r(t)は、物体の移動に関する特徴を表す値であるが、特徴量r(t)の移動平均特徴量R(t)を算出することで、ノイズによって物体の特定方向への移動が誤検知されることを抑制できる。
【0028】
図4は、移動平均特徴量R(t)をN×Nのマトリクスでヒートマップ表示した例を示す模式図である。
図4の例のように、自転車が接近するシーンに対して計算された移動平均特徴量R(t)をN×Nのマトリックスでヒートマップ表示した場合、接近を示す7~8時の方向に対する値が大きくなる傾向を確認することができる。
この傾向を利用して、画素値演算部215は、算出した移動平均特徴量R(t)とN×N次元の重みの行列Wとの要素ごとの積{R(t,i,j)×W(i,j)}を特徴量R’(t)とする。例えば、算出した特徴量の移動平均において、ユーザが検知したい方向あるいは速度に対する重みを1.0とし、それ以外の重みを0.0とすることができる。なお、速度の重み付けに関しては、N×N画素の中心のアドレスが速度0、中心から離れたアドレスほど、移動速度が高くなるものとして、重み付けW(i,j)を設定することができる。
【0029】
さらに、画素値演算部215は、算出した重み付き特徴量R’(t)の各要素値の和s(t)=Σ
mxΣ
myR’(t,mx,my)を算出する。この値は、検知したい物体の大きさを疑似的に表すものである。ここで、
図4はmx,myはヒートマップ上の座標情報を指す。
そして、画素値演算部215は、算出した重み付き特徴量R’(t)において、最大要素座標{(dx,dy)}=arg max{R’(t,dx,dy)},(dx,dy)∈N
2への中心座標(0,0)からの方向ベクトルを検出し、移動速度として取得する。
また、局所最大値(モード)を取得することで移動速度の異なる複数の物体も扱えるような手法を採用してもよい。
【0030】
画素値演算部215は、設定された時間窓を用いて、重み付き特徴量の要素の和s(t)の時間積分S(t)を算出する。重み付き特徴量の要素の和s(t)の移動平均を算出することで、ノイズによって物体の特定方向への移動を誤検知することが抑制される。
条件判定部216は、重み付き特徴量の要素の和s(t)の時間積分S(t)が異常値として検出するための条件に合致したか否か(例えば、設定された閾値を超えているか否か)を判定する。なお、重み付き特徴量の要素の和s(t)の時間積分S(t)は、検出された異常の可能性を示すスコアとしての意義を有する。
【0031】
可視化処理部217は、条件判定部216によって、重み付き特徴量の要素の和s(t)の時間積分S(t)が異常値として検出するための条件に合致したと判定された場合、ユーザ端末10に対し、映像内における物体が異常な状態である(例えば、設定された閾値を超えている)ことを示すアラートを出力する。
また、可視化処理部217は、映像内における物体の検知結果を表す各種情報のデータ(例えば、後述するライブビュー画面に含まれる検知結果のデータ)を生成し、ログデータ記憶部273に逐次記憶する。
【0032】
なお、可視化処理部217は、動作パラメータの設定が適切であることを確認可能とするため、処理内容として、物体検知領域の2値化フレーム間差分画像、特徴量r(t)の要素を2次元マトリクス表示した図、物体の移動方向を表すベクトル、及び、重み付き特徴量の要素の和s(t)の時間積分S(t)(検出された異常の可能性を示すスコア)を後述するライブビュー画面において表示させることができる。
【0033】
検知結果提示部218は、可視化処理部217によって生成された画像内における物体の検知結果を表す各種情報のデータをユーザ端末10に逐次送信する。また、検知結果提示部218は、ユーザ端末10からログデータのダウンロードが要求された場合に、ログデータ記憶部273に記憶されているログデータを読み出して、ユーザ端末10に送信する。
【0034】
[ユーザ端末10の構成]
図5は、ユーザ端末10の機能的構成を示すブロック図である。
図5に示すように、ユーザ端末10のCPU811においては、UI制御部111と、データ管理部112と、が機能する。また、ユーザ端末10の記憶部817には、映像データ記憶部171と、パラメータ記憶部172と、ログデータ記憶部173と、が形成される。
【0035】
映像データ記憶部171には、物体の検知が行われる映像のデータが記憶される。本実施形態において、物体の検知が行われる映像のデータとしては、リアルタイムで撮影された映像のデータ及び過去に撮影された映像のデータのいずれも対象とすることができ、映像データ記憶部171には、これらの映像のデータが記憶される。
【0036】
パラメータ記憶部172には、映像内における物体の検知のために設定された各種パラメータ(例えば、検知する物体に関する条件を表す各種パラメータ、映像内における物体の検知結果を表示するための各種パラメータ等)が記憶される。
ログデータ記憶部173には、サーバ20によって映像内における物体の検知が行われた検知結果のデータ(ログデータ)が記憶される。
【0037】
UI制御部111は、映像内における物体を検知するためのパラメータを入出力する各種入出力画面(以下、「UI画面」と称する。)の表示を制御する。例えば、UI制御部111は、映像のデータをリアルタイムに表示すると共に、映像内における物体の検知結果をリアルタイムに表示するUI画面(以下、「ライブビュー画面」と称する。)、映像内における物体の検知結果のログを表示するUI画面(以下、「検知ログ画面」と称する。)、検知する物体に関する条件を設定するUI画面(以下、「条件設定画面」と称する。)、あるいは、アラートとして通知する内容を設定するUI画面(以下、「アラート設定画面」と称する。)を表示する。なお、UI制御部111は、これらの画面をユーザの選択に応じて表示する。ライブビュー画面の表示が選択された場合、UI制御部111は、サーバ20に対して、映像内における物体の検知に関する要求を行う。
【0038】
図6は、ライブビュー画面の一例を示す模式図である。
図6に示すように、ライブビュー画面には、物体の検知が行われる映像が表示される映像表示領域D1と、映像内における物体の検知結果に関する情報が表示される検知結果表示領域D2とが含まれている。なお、
図6に示す例では、映像表示領域D1において、自動車専用道路から一般道への出口付近の映像が表示されている。
【0039】
映像表示領域D1には、物体の検知が行われる映像が動画像または連続的な静止画像として表示される。また、映像表示領域D1には、物体の検知を行う対象として設定された領域(以下、「物体検知領域d」と称する。)が表示される。さらに、映像表示領域D1には、設定された条件に合致する物体(特定方向への移動物体)が検知されている場合、検知された物体を識別するマーカー(以下、「検知物体識別マーカーM」と称する。)が表示される。一例として、物体検知領域dは、緑色の枠として表示することができ、検知物体識別マーカーMは、物体を囲う赤色の枠として表示することができる。
【0040】
検知結果表示領域D2には、映像内における物体の検知結果を表す各種情報が表示される。例えば、検知結果表示領域D2には、異常値(例えば、設定された閾値を超えた値)、アラートの有無、検知結果の詳細情報、タイムゾーン、設定された閾値、実行フレームレート等の情報が表示される。検知結果の詳細情報としては、例えば、検知する方向として設定された移動方向、検知された物体の移動方向、移動速度、あるいは、異常の大きさ(閾値の超過度合い)等を表示することができる。
図6に示す例では、検知結果の詳細情報として、検知結果表示領域D2内に、設定された移動方向を縦軸の+方向とする座標が表示され(検知結果表示領域D2の右端)、設定された移動方向が幅を有する場合、当該幅が縦軸の+方向から扇形の広がりとして表示される。また、
図6に示す例では、検知された物体の移動方向が直線として表示されると共に、検知された物体の移動速度が当該直線の長さとして表されている。なお、検知された物体の移動方向を表す直線の表示形態によって、異常の大きさを表示することが可能であり、例えば、検知された物体の移動方向を表す直線を、異常の大きさに対応させて異なる色で表示することができる。
【0041】
なお、ライブビュー画面において、映像表示領域D1に複数の物体検知領域dを設定することが可能であり、この場合、設定された物体検知領域それぞれの検知結果を表す検知結果表示領域D2がライブビュー画面内に表示される。
図7は、複数の物体検知領域が設定された場合のライブビュー画面の一例を示す模式図である。
図7に示す例では、映像表示領域D1内に、2つの物体検知領域d1,d2が設定され、物体検知領域d1は実線、物体検知領域d2は一点鎖線で表されている。また、検知結果表示領域D2には、物体検知領域d1の検知結果及び物体検知領域d2の検知結果が上下または左右に並べて表示されている。
【0042】
図8は、検知ログ画面の一例を示す模式図である。
図8に示すように、検知ログ画面では、物体の検知結果が記録されたログデータの表示が行われる。
図8に示す例では、ログデータの表示を指示する操作が行われたことに対応して、異常が検知された日時が一覧表示されている。
なお、
図8に示すようにログデータを表示させることの他、ログデータをファイルとしてユーザ端末10にダウンロードすることも可能である。
【0043】
図9は、条件設定画面の一例を示す模式図である。
図9に示すように、条件設定画面では、入力された画像と、入力された画像に各種フィルタ処理(ノイズフィルタあるいは照明変動フィルタ等による処理)を行い、さらに2値化フレーム間差分処理を行った画像と、検知結果の詳細情報と、異常値のインジケータとが表示される。また、条件設定画面には、「基本設定」、「タイムゾーン設定」、「検知設定」及び「メンテナンス」の各カテゴリについて設定を行うためのボタンアイコンが表示される。
【0044】
「基本設定」が選択された場合、検知領域の設定及びフレームレートの設定が受け付けられる。具体的には、条件設定画面において、ユーザが検知領域を設定するための操作を行うと、画像内における物体検知領域の設定が受け付けられ、ユーザはマウス等のポインティングデバイスによって、物体検知領域を設定することができる。また、条件設定画面において、ユーザがフレームレートを設定するための操作を行うと、物体の検知を行う映像のフレームレートの設定が受け付けられ、ユーザは目的に応じたフレームレートを設定することができる。
【0045】
「タイムゾーン設定」が選択された場合、1日のうちの時間帯を示すタイムゾーンの設定が受け付けられる。具体的には、条件設定画面において、ユーザがタイムゾーンを設定するための操作を行うと、映像内における物体の検知を行う時間帯(タイムゾーン)の設定が受け付けられ、タイムゾーンを特定する時間の入力が受け付けられる。このとき設定されるタイムゾーンにおいては、後述するように、タイムゾーン毎に物体を検知する際の条件が設定可能となっている。
そのため、タイムゾーンを設定することで、日照条件の変化等に応じて、より適切な条件で映像内における物体の検知を行うことが可能となる。
【0046】
「検知設定」が選択された場合、設定されているタイムゾーン毎に物体を検知する際の条件の設定が受け付けられる。具体的には、条件設定画面において、ユーザがタイムゾーン毎に物体を検知する際の条件を設定する操作を行うと、タイムゾーンの選択が受け付けられ、さらに、選択されたタイムゾーンに関する動作パラメータの入力が受け付けられる。
【0047】
動作パラメータとしては、ノイズフィルタ、照明変動フィルタ、2値化閾値、水平方向ブロックサイズ、垂直方向ブロックサイズ、特徴量サイズ、特徴量の移動平均、異常値の移動平均、検知方向、異常値を判定するための閾値、及び、アラートのディレイ時間等を設定することができる。
ノイズフィルタの設定では、ノイズフィルタ(平滑化フィルタ等)を適用するか否かを設定することができると共に、ノイズフィルタのサイズ(3×3画素または5×5画素等)を設定することができる。
【0048】
照明変動フィルタの設定では、照明変動フィルタ(ソーベルフィルタ等)を適用するか否かを設定することができる。
2値化閾値の設定では、入力された画像に関する2値化フレーム間差分画像を生成する際の閾値を設定することができる。
水平方向ブロックサイズの設定では、画像を水平方向に分割するブロック数を設定することができる。
垂直方向ブロックサイズの設定では、画像を垂直方向に分割するブロック数を設定することができる。
なお、物体の検知は、設定された水平方向ブロックサイズ及び垂直方向ブロックサイズで定まるブロック毎に行われる。
【0049】
特徴量サイズの設定では、前述のサーバ20における画素値演算部215で特徴量を計算する際の最大変位量を設定することができる。
特徴量の移動平均の設定では、算出された特徴量に対する積分処理の時間窓の大きさを設定することができる。
異常値の移動平均の設定では、検知された異常値に対する積分処理の時間窓の大きさを設定することができる。
【0050】
検知方向の設定では、映像内において検知したい物体の移動方向を設定することができる。検知方向を設定する場合、検知したい物体の移動方向を表す角度(0時の方向を0度として360度のいずれか)、許容する誤差角度(移動方向に対する幅)、速度の下限または上限閾値、検知したい物体の移動方向を両方向とするか否か(逆方向への移動も検知するか)を設定することが可能となっている。
異常値を判定するための閾値の設定では、異常値と判定するための閾値をユーザの目的等に応じて任意に設定することができる。
【0051】
アラートのディレイ時間の設定では、異常値と判定された状態がどの程度継続した場合に、アラートを出力するかを定めるための時間を設定することができる。
図9において、「メンテナンス」が選択された場合、動作パラメータの設定を初期値に戻す操作や、異常値の推移を表すログ画面を表示する操作が受け付けられる。
【0052】
図5に戻り、データ管理部112は、映像データ記憶部171への映像のデータの記憶及び読み出し、パラメータ記憶部172への各種パラメータの記憶及び読み出し、サーバ20との間でのデータの送受信を管理する。例えば、データ管理部112は、ライブビュー画面に表示する映像のデータを映像データ記憶部171から読み出したり、UI画面において設定された各種パラメータのデータをパラメータ記憶部172に記憶したりする。また、データ管理部112は、映像内における物体の検知をサーバ20に要求する際に、パラメータ記憶部172に記憶された各種パラメータをサーバ20に送信したり、映像内における物体の検知結果のデータをサーバ20から受信したりする。
【0053】
[動作]
次に、情報処理システム1の動作を説明する。
[UI制御処理]
図10は、ユーザ端末10が実行するUI制御処理の流れを示すフローチャートである。
UI制御処理は、ユーザ端末10の入力部815を介してUI制御処理の実行が指示入力されることに対応して開始される。
【0054】
UI制御処理が開始されると、ステップS1において、UI制御部111は、映像内における物体の検知を行うためのユーザインターフェースの初期画面を表示する。ユーザインターフェースの初期画面には、各種UI画面に遷移するためのアイコンが表示される。
【0055】
ステップS2において、UI制御部111は、ユーザによって、ライブビュー画面に遷移するためのアイコンが選択されたか否かの判定を行う。
ユーザによって、ライブビュー画面に遷移するためのアイコンが選択されていない場合、ステップS2においてNOと判定されて、処理はステップS4に移行する。
一方、ユーザによって、ライブビュー画面に遷移するためのアイコンが選択された場合、ステップS2においてYESと判定されて、処理はステップS3に移行する。
【0056】
ステップS3において、UI制御部111は、ライブビュー画面を表示する。ライブビュー画面が表示された場合、ライブビュー画面に関連する各種操作が適宜受け付けられる。なお、ライブビュー画面に遷移するためのアイコンが選択された場合、UI制御部111は、サーバ20に対して、映像内における物体の検知に関する要求を行う。
ステップS4において、UI制御部111は、ユーザによって、検知ログ画面に遷移するためのアイコンが選択されたか否かの判定を行う。
ユーザによって、検知ログ画面に遷移するためのアイコンが選択されていない場合、ステップS4においてNOと判定されて、処理はステップS6に移行する。
一方、ユーザによって、検知ログ画面に遷移するためのアイコンが選択された場合、ステップS4においてYESと判定されて、処理はステップS5に移行する。
【0057】
ステップS5において、UI制御部111は、検知ログ画面を表示する。検知ログ画面が表示された場合、検知ログ画面に関連する各種操作(ログデータのダウンロード要求等)が適宜受け付けられる。
ステップS6において、UI制御部111は、条件設定画面に遷移するためのアイコンが選択されたか否かの判定を行う。
条件設定画面に遷移するためのアイコンが選択されていない場合、ステップS6においてNOと判定されて、処理はステップS8に移行する。
一方、条件設定画面に遷移するためのアイコンが選択された場合、ステップS6においてYESと判定されて、処理はステップS7に移行する。
【0058】
ステップS7において、UI制御部111は、条件設定画面を表示する。条件設定画面が表示された場合、条件設定画面に関連する各種操作が適宜受け付けられる。
ステップS8において、UI制御部111は、UI制御処理の終了が指示されたか否かの判定を行う。
UI制御処理の終了が指示されていない場合、ステップS8においてNOと判定されて、処理はステップS1に移行する。
一方、UI制御処理の終了が指示された場合、ステップS8においてYESと判定されて、UI制御処理は終了する。
【0059】
次に、サーバ20が実行する処理について説明する。
[物体検知処理]
図11は、サーバ20が実行する物体検知処理の流れを示すフローチャートである。
物体検知処理は、サーバ20の入力部815、あるいは、他の装置から物体検知処理の実行が指示入力されることにより開始される。
【0060】
物体検知処理が開始されると、ステップS31において、データ取得部211は、物体の検知を行う映像のデータを取得する。このとき、データ取得部211は、映像のデータを1フレームずつ時系列に取得すると共に、取得されたフレームの画像データがカラー画像である場合、グレースケール画像に変換する。
ステップS32において、画像フィルタ処理部213は、ユーザの設定に応じて、物体の検知を行うフレームの画像に対し、各種フィルタ処理(ノイズフィルタあるいは照明変動フィルタ等による処理)を行う。
【0061】
ステップS33において、画像2値化処理部214は、物体の検知を行う映像のフレームの画像において、フレーム間における2値化フレーム間差分画像を生成する。
ステップS34において、画像2値化処理部214は、生成した2値化フレーム間差分画像において、ユーザによって設定された物体検知領域以外の画素の値を0に設定する。
ステップS35において、画素値演算部215は、物体検知領域内を移動する物体の移動速度(移動方向及び速さ)を定量化する特徴量r(t)を算出する。
【0062】
ステップS36において、画素値演算部215は、設定された時間窓を用いて、算出した特徴量r(t)の移動平均特徴量R(t)を算出する。
ステップS37において、画素値演算部215は、算出した移動平均特徴量R(t)における各要素に重み付けを行い、重み付けした結果である重み付き特徴量R’(t)の各要素値の和s(t)=ΣxΣyR’(t,x,y)を算出する。また、ステップS37において、画素値演算部215は、算出した重み付き特徴量R’(t)において、最大要素座標{(dx,dy)}=arg max{R’(t,dx,dy)},(dx,dy)∈N2への中心座標(0,0)からの方向ベクトルを検出し、移動速度として取得する。
ステップS38において、画素値演算部215は、設定された時間窓を用いて、重み付き特徴量の要素の和s(t)の時間積分S(t)を算出する。
【0063】
ステップS39において、条件判定部216は、重み付き特徴量の要素の和s(t)の時間積分S(t)が異常値として検出するための条件に合致したか否か(例えば、設定された閾値を超えているか否か)の判定を行う。
重み付き特徴量の要素の和s(t)の時間積分S(t)が異常値として検出するための条件に合致していない場合、ステップS39においてNOと判定されて、処理はステップS41に移行する。
一方、重み付き特徴量の要素の和s(t)の時間積分S(t)が異常値として検出するための条件に合致した場合、ステップS39においてYESと判定されて、処理はステップS40に移行する。
【0064】
ステップS40において、可視化処理部217は、ユーザ端末10に対し、映像内における物体が異常な状態である(例えば、設定された閾値を超えている)ことを示すアラートを出力する。
ステップS41において、可視化処理部217は、映像内における物体の検知結果を表す各種情報のデータ(例えば、ライブビュー画面に含まれる検知結果のデータ)を生成し、検知結果提示部218は、可視化処理部217によって生成された映像内における物体の検知結果を表す各種情報のデータをユーザ端末10に逐次送信する。
【0065】
ステップS42において、データ取得部211は、物体の検知を行う映像のデータが終了したか否かの判定を行う。
物体の検知を行う映像のデータが終了していない場合、ステップS42においてNOと判定されて、処理はステップS31に移行する。
一方、物体の検知を行う映像のデータが終了した場合、ステップS42においてYESと判定されて、物体検知処理は終了となる。
【0066】
このような処理により、AIへの応用のように膨大な学習サンプルを用意することなく、直感的な操作による設定で、映像内における物体の特定方向への移動を検知することができる。また、映像内において、特定方向へ移動する物体を選別して検知するための条件設定を容易に行うことが可能なユーザインターフェースを提供することができる。
したがって、本実施形態に係る情報処理システム1によれば、映像内における物体の特定方向への移動を精度良く、より簡単に検知することが可能となる。
また、外乱に頑健に映像内の物体速度を推定することができる。
【0067】
なお、物体検知処理を1つの映像のデータに対して複数実行させることが可能であり、例えば、道路の映像のデータにおいて、上り車線の領域と下り車線の領域とをそれぞれ別の物体探知領域として設定し、それぞれの物体探知領域について、物体検知処理を実行することとしてもよい。
また、タイムゾーン(時間帯)に応じて、動作パラメータを切り替えて、物体検知処理を実行することも可能である。
【0068】
[変形例1]
上述の実施形態においては、クライアント-サーバ型の情報処理システム1を構築し、サーバ20において物体検知処理を実行して、ユーザ端末10に物体検知処理の結果を送信するものとした。
これに対し、物体検知処理を実行するための機能及び物体検知処理の結果を表示するための機能を1つの装置(例えば、ユーザ端末10等)に備えることにより、情報処理システム1の機能を単体の情報処理装置800で実現(即ち、スタンドアローン型のシステムとして実現)することとしてもよい。
【0069】
図12は、物体検知処理及び処理結果の表示を実行するスタンドアローン型の情報処理装置800の機能的構成を示すブロック図である。
図12に示すように、スタンドアローン型として構成する場合、単体の情報処理装置800において、ユーザ端末10のUI制御部111、サーバ20のデータ取得部211、パラメータ設定部212、画像フィルタ処理部213、画像2値化処理部214、画素値演算部215、条件判定部216、可視化処理部217及び検知結果提示部218の機能をCPU811に備えると共に、サーバ20が備える映像データ記憶部271、パラメータ記憶部272及びログデータ記憶部273を記憶部817に備えることとすればよい。
【0070】
[変形例2]
上述の実施形態において、撮像装置Cにサーバ20の物体検知処理を実行するための機能を備えることが可能である。
この場合、撮像装置Cは、映像内における物体の特定方向への移動を自動的に検知する機能を備えたカメラとして構成することができる。
そして、撮像装置Cにおいて実行された物体検知処理の処理結果をユーザ端末10あるいはサーバ20に送信することで、処理結果の表示や記録を行うことができる。
【0071】
以上のように、本実施形態に係る情報処理システム1は、ユーザによって使用されるユーザ端末10と、ユーザ端末10と通信可能に構成されたサーバ20とを含む。
ユーザ端末10は、UI制御部111を備える。
UI制御部111は、サーバ20に対し、検知対象となる映像において、設定された検知領域内で移動する物体を検知するための物体検知処理を要求する。
サーバ20は、画素値演算部215及び条件判定部216と、検知結果提示部218とを備える。
画素値演算部215及び条件判定部216は、ユーザ端末10の要求に応じて、検知対象となる映像において、異なる時間の映像のデータにおける検知領域内の画素及び当該画素周辺の画素のデータの相関に基づいて、検知領域内で移動する物体を検知する物体検知処理を実行する。
検知結果提示部218は、条件判定部216による物体の検知結果をユーザ端末10に提示(例えば、送信)する。
これにより、外乱に頑健に映像内の物体速度を推定することが可能となる。
【0072】
画素値演算部215及び条件判定部216は、異なる時間の映像のデータにおいて、検知領域内の画素及び当該画素周辺の画素のデータの相関値を各画素について取得し、取得された相関値からなるデータに対し、特定方向への移動に対応する重み付けを行って取得される特徴量に基づいて、設定された検知領域内で特定方向へ移動する物体を検知する。
これにより、AI学習のための膨大な学習サンプルを用意することなく、直感的な操作による設定で、映像内における物体の特定方向への移動を精度良く、より簡単に検知することができる。
【0073】
画素値演算部215及び条件判定部216は、重み付き特徴量R’(t)の要素値に基づいて、映像内における任意の物体の移動方向及び移動速度を取得する。
これにより、ユーザが設定した移動方向及び移動速度の物体をより高精度に検知することができる。
【0074】
UI制御部111は、検知する物体の移動方向を含む検知条件を設定するための条件設定画面を表示する。
また、UI制御部111は、条件設定画面において設定された検知条件に従って、サーバ20に対して物体検知処理の要求を行う。
これにより、直感的な操作によって検知条件を設定し、映像内における物体の特定方向への移動を検知することができる。
【0075】
UI制御部111は、サーバ20から提示された検知結果に基づいて、映像及び検知領域を表示すると共に、検知された物体を識別して表示する。
これにより、物体検知処理によって検知された、映像内において移動する物体をわかりやすい形態で表示することができる。
【0076】
UI制御部111は、検知対象となる映像内に、複数の検知領域を設定してサーバ20に物体検知処理を要求する。
画素値演算部215及び条件判定部216は、複数の検知領域毎に、当該検知領域内で移動する物体を検知する。
検知結果提示部218は、ユーザ端末10に対し、複数の検知領域毎に画素値演算部215及び条件判定部216による物体の検知結果を提示する。
これにより、より複雑な検知条件を設定して、映像内における物体の移動を検知することができる。
【0077】
また、本実施形態に係る情報処理装置800(サーバ20または変形例1の情報処理装置800)は、画素値演算部215及び条件判定部216と、検知結果提示部218とを備える。
画素値演算部215及び条件判定部216は、検知対象となる映像において、異なる時間の映像のデータにおける設定された検知領域内の画素及び当該画素周辺の画素のデータの相関に基づいて、検知領域内で移動する物体を検知する物体検知処理を実行する。
検知結果提示部218は、条件判定部216による物体の検知結果を提示(例えば、表示あるいは送信)する。
これにより、外乱に頑健に映像内の物体速度を推定することが可能となる。
【0078】
なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
例えば、上述の実施形態において、クライアント-サーバ型の情報処理システム1を構成する場合、システムを構成する情報処理装置の組み合わせは、上述の実施形態に示した例に限られない。
例えば、サーバ20に備えられた機能をより多くのサーバに分散して実装したり、ユーザ端末10、サーバ20あるいは撮像装置Cの機能をより少ない装置にまとめて実装したりすることが可能である。
【0079】
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、上述の実施形態における機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が情報処理システム1を構成するいずれかのコンピュータに備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に示した例に限定されない。
また、1つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
【0080】
また、上述した一連の処理を実行するためのプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布されるリムーバブルメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。
【0081】
以上、本発明の実施形態について説明したが、本発明は前述した実施形態に限るものではない。また、本実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本実施形態に記載されたものに限定されるものではない。
【符号の説明】
【0082】
1 情報処理システム、10 ユーザ端末、20 サーバ、30 ネットワーク、C 撮像装置、111 UI制御部、112 データ管理部、171,271 映像データ記憶部、172,272 パラメータ記憶部、173,273 ログデータ記憶部、211 データ取得部、212 パラメータ設定部、213 画像フィルタ処理部、214 画像2値化処理部215 画素値演算部、216 条件判定部、217 可視化処理部、218 検知結果提示部、800 情報処理装置、811 CPU、812 ROM、813 RAM、814 バス、815 入力部、816 出力部、817 記憶部、818 通信部、819 ドライブ、820 撮像部、831 リムーバブルメディア