(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024179506
(43)【公開日】2024-12-26
(54)【発明の名称】情報出力装置、情報出力システム、情報出力方法および情報出力プログラム
(51)【国際特許分類】
G08B 25/00 20060101AFI20241219BHJP
G01S 1/68 20060101ALI20241219BHJP
G01S 5/02 20100101ALI20241219BHJP
G08B 25/10 20060101ALI20241219BHJP
【FI】
G08B25/00 510M
G01S1/68
G01S5/02 Z
G08B25/10 A
【審査請求】未請求
【請求項の数】10
【出願形態】OL
(21)【出願番号】P 2023098404
(22)【出願日】2023-06-15
(71)【出願人】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100109313
【弁理士】
【氏名又は名称】机 昌彦
(74)【代理人】
【識別番号】100149618
【弁理士】
【氏名又は名称】北嶋 啓至
(72)【発明者】
【氏名】岸本 薫
(72)【発明者】
【氏名】栗原 崇
(72)【発明者】
【氏名】喜田 雅人
【テーマコード(参考)】
5C087
5J062
【Fターム(参考)】
5C087AA02
5C087AA03
5C087AA25
5C087BB20
5C087BB74
5C087DD03
5C087EE07
5C087EE14
5C087FF01
5C087FF02
5C087FF04
5C087FF16
5C087GG02
5C087GG08
5C087GG66
5C087GG67
5J062AA09
5J062BB05
5J062CC14
5J062FF01
5J062FF02
(57)【要約】
【課題】対象物の検知精度を向上することを可能にする。
【解決手段】
情報出力装置が、カメラによって撮影された画像の情報である撮影画像情報を、複数のカメラから受信し、電波センサによって受信された電波の情報である受信電波情報を、複数の電波センサから受信し、カメラと当該カメラに対応付けられている電波センサとの組の各々について、組のカメラから受信した撮影画像情報、および、組の電波センサから受信した受信電波情報を含む受信情報と、対象物の画像の情報である対象画像情報、および、対象物に対応付けられている無線通信端末が発する電波の情報である対象電波情報を含む対象物情報との間の合致度を算出し、合致度の算出結果に関する情報である出力情報を出力し、合致度の算出において、撮影画像情報および受信電波情報の各々に対する重み係数を、組に応じて変更する。
【選択図】
図1
【特許請求の範囲】
【請求項1】
カメラによって撮影された画像の情報である撮影画像情報を、複数の前記カメラから受信する画像情報受信部と、
電波センサによって受信された電波の情報である受信電波情報を、複数の前記電波センサから受信する電波情報受信部と、
前記カメラと当該カメラに対応付けられている前記電波センサとの組の各々について、前記組の前記カメラから受信した前記撮影画像情報、および、前記組の前記電波センサから受信した前記受信電波情報を含む受信情報と、対象物の画像の情報である対象画像情報、および、前記対象物に対応付けられている無線通信端末が発する電波の情報である対象電波情報を含む対象物情報との間の合致度を算出する算出部と、
前記合致度の算出結果に関する情報である出力情報を出力する出力部と
を備え、
前記算出部は、前記合致度の算出において、前記撮影画像情報および前記受信電波情報の各々に対する重み係数を、前記組に応じて変更する、
情報出力装置。
【請求項2】
前記算出部は、前記撮影画像情報と前記対象画像情報と間の合致の度合いを示す画像合致度と、前記受信電波情報と前記対象電波情報との間の合致の度合いを示す電波合致度とを算出し、前記画像合致度と前記電波合致度とに基づいて、前記合致度を算出する、
請求項1に記載の情報出力装置。
【請求項3】
前記算出部は、前記撮影画像情報に対する重み係数を、前記組の前記カメラが設置されている場所の明るさに関する情報である明るさ情報に応じて変更する、
請求項1または請求項2に記載の情報出力装置。
【請求項4】
前記算出部は、前記撮影画像情報に対する重み係数を、前記組の前記カメラの解像度を示す解像度情報に応じて変更する、
請求項1または請求項2に記載の情報出力装置。
【請求項5】
前記算出部は、前記受信電波情報に対する重み係数を、前記受信電波情報の信頼度を示す信頼度情報に応じて変更する、
請求項1または請求項2に記載の情報出力装置。
【請求項6】
前記合致度が所定の値より高い前記組がある場合に、前記対象物の位置を推定する推定部
をさらに備える、請求項1または請求項2に記載の情報出力装置。
【請求項7】
前記推定部は、前記対象物の位置に基づいて、前記対象物の移動方向を推定する、
請求項6に記載の情報出力装置。
【請求項8】
カメラによって撮影された画像の情報である撮影画像情報を、複数の前記カメラから受信する画像情報受信手段と、
電波センサによって受信された電波の情報である受信電波情報を、複数の前記電波センサから受信する電波情報受信手段と、
前記カメラと当該カメラに対応付けられている前記電波センサとの組の各々について、前記組の前記カメラから受信した前記撮影画像情報、および、前記組の前記電波センサから受信した前記受信電波情報を含む受信情報と、対象物の画像の情報である対象画像情報、および、前記対象物に対応付けられている無線通信端末が発する電波の情報である対象電波情報を含む対象物情報との間の合致度を算出する算出手段と、
前記合致度の算出結果に関する情報である出力情報を出力する出力手段と
を備え、
前記算出手段は、前記合致度の算出において、前記撮影画像情報および前記受信電波情報の各々に対する重み係数を、前記組に応じて変更する、
情報出力システム。
【請求項9】
カメラによって撮影された画像の情報である撮影画像情報を、複数の前記カメラから受信し、
電波センサによって受信された電波の情報である受信電波情報を、複数の前記電波センサから受信し、
前記カメラと当該カメラに対応付けられている前記電波センサとの組の各々について、前記組の前記カメラから受信した前記撮影画像情報、および、前記組の前記電波センサから受信した前記受信電波情報を含む受信情報と、対象物の画像の情報である対象画像情報、および、前記対象物に対応付けられている無線通信端末が発する電波の情報である対象電波情報を含む対象物情報との間の合致度を算出し、
前記合致度の算出結果に関する情報である出力情報を出力し、
前記合致度の算出において、前記撮影画像情報および前記受信電波情報の各々に対する重み係数を、前記組に応じて変更する、
情報出力方法。
【請求項10】
コンピュータに、
カメラによって撮影された画像の情報である撮影画像情報を、複数の前記カメラから受信する画像情報受信機能と、
電波センサによって受信された電波の情報である受信電波情報を、複数の前記電波センサから受信する電波情報受信機能と、
前記カメラと当該カメラに対応付けられている前記電波センサとの組の各々について、前記組の前記カメラから受信した前記撮影画像情報、および、前記組の前記電波センサから受信した前記受信電波情報を含む受信情報と、対象物の画像の情報である対象画像情報、および、前記対象物に対応付けられている無線通信端末が発する電波の情報である対象電波情報を含む対象物情報との間の合致度を算出する算出機能と、
前記合致度の算出結果に関する情報である出力情報を出力する出力機能と
を実現させ、
前記算出機能は、前記合致度の算出において、前記撮影画像情報および前記受信電波情報の各々に対する重み係数を、前記組に応じて変更する、
情報出力プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、情報出力装置、情報出力システム、情報出力方法および情報出力プログラムに関する。
【背景技術】
【0002】
犯罪者などの特定人物の検知を目的として、監視カメラ等で撮影された画像を用いて、特定人物を検知する方法がある。たとえば、特許文献1に記載の方法では、監視カメラで撮影された画像と特定の人物の顔画像とが合致した場合に、通知が行われる。
【0003】
また、画像の照合に加えて電波の情報を照合する方法が、特許文献2に記載されている。特許文献2には、撮影画像に映された移動体が登録移動体である場合に、移動体の位置を電波センサの電波の検出範囲として設定して電波センサに電波を検出させることが記載されている。また、特許文献2には、検出された電波に関する情報とデータベースに登録された電波に関する情報とを照合することが記載されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2003-187352号公報
【特許文献2】国際公開第2022/091165号
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかし、特許文献1や特許文献2に記載の方法では、画像や電波の情報の照合の際に算出される合致度の精度が低くなる場合がある。なお、合致度は、照合される情報の合致の度合いを示す。たとえば、対象物が存在する状態で低い合致度が算出される可能性が高くなる場合がある。また、対象物が存在しない状態で高い合致度が算出される可能性が高くなる場合がある。その結果、合致度に基づいた対象物の検知の精度が低くなる場合がある。
【0006】
本開示の目的は、上述した課題を鑑み、対象物の検知精度を向上することを可能にする情報出力装置、情報出力システム、情報出力方法および情報出力プログラムを提供することにある。
【課題を解決するための手段】
【0007】
本開示の一態様において、情報出力装置は、カメラによって撮影された画像の情報である撮影画像情報を、複数の前記カメラから受信する画像情報受信部と、電波センサによって受信された電波の情報である受信電波情報を、複数の前記電波センサから受信する電波情報受信部と、前記カメラと当該カメラに対応付けられている前記電波センサとの組の各々について、前記組の前記カメラから受信した前記撮影画像情報、および、前記組の前記電波センサから受信した前記受信電波情報を含む受信情報と、対象物の画像の情報である対象画像情報、および、前記対象物に対応付けられている無線通信端末が発する電波の情報である対象電波情報を含む対象物情報との間の合致度を算出する算出部と、前記合致度の算出結果に関する情報である出力情報を出力する出力部とを備え、前記算出部は、前記合致度の算出において、前記撮影画像情報および前記受信電波情報の各々に対する重み係数を、前記組に応じて変更する。
【0008】
また、本開示の他の態様において、情報出力システムは、カメラによって撮影された画像の情報である撮影画像情報を、複数の前記カメラから受信する画像情報受信手段と、電波センサによって受信された電波の情報である受信電波情報を、複数の前記電波センサから受信する電波情報受信手段と、前記カメラと当該カメラに対応付けられている前記電波センサとの組の各々について、前記組の前記カメラから受信した前記撮影画像情報、および、前記組の前記電波センサから受信した前記受信電波情報を含む受信情報と、対象物の画像の情報である対象画像情報、および、前記対象物に対応付けられている無線通信端末が発する電波の情報である対象電波情報を含む対象物情報との間の合致度を算出する算出手段と、前記合致度の算出結果に関する情報である出力情報を出力する出力手段とを備え、前記算出手段は、前記合致度の算出において、前記撮影画像情報および前記受信電波情報の各々に対する重み係数を、前記組に応じて変更する。
【0009】
また、本開示の他の態様において、情報出力方法は、カメラによって撮影された画像の情報である撮影画像情報を、複数の前記カメラから受信し、電波センサによって受信された電波の情報である受信電波情報を、複数の前記電波センサから受信し、前記カメラと当該カメラに対応付けられている前記電波センサとの組の各々について、前記組の前記カメラから受信した前記撮影画像情報、および、前記組の前記電波センサから受信した前記受信電波情報を含む受信情報と、対象物の画像の情報である対象画像情報、および、前記対象物に対応付けられている無線通信端末が発する電波の情報である対象電波情報を含む対象物情報との間の合致度を算出し、前記合致度の算出結果に関する情報である出力情報を出力し、前記合致度の算出において、前記撮影画像情報および前記受信電波情報の各々に対する重み係数を、前記組に応じて変更する。
【0010】
また、本開示の他の態様において、情報出力プログラムは、コンピュータに、カメラによって撮影された画像の情報である撮影画像情報を、複数の前記カメラから受信する画像情報受信機能と、電波センサによって受信された電波の情報である受信電波情報を、複数の前記電波センサから受信する電波情報受信機能と、前記カメラと当該カメラに対応付けられている前記電波センサとの組の各々について、前記組の前記カメラから受信した前記撮影画像情報、および、前記組の前記電波センサから受信した前記受信電波情報を含む受信情報と、対象物の画像の情報である対象画像情報、および、前記対象物に対応付けられている無線通信端末が発する電波の情報である対象電波情報を含む対象物情報との間の合致度を算出する算出機能と、前記合致度の算出結果に関する情報である出力情報を出力する出力機能とを実現させ、前記算出機能は、前記合致度の算出において、前記撮影画像情報および前記受信電波情報の各々に対する重み係数を、前記組に応じて変更する。
【発明の効果】
【0011】
本開示によれば、対象物の検知精度を向上することが可能になる。
【図面の簡単な説明】
【0012】
【
図1】本開示の第一の実施形態の情報出力装置の構成例を示す図である。
【
図2】本開示の第一の実施形態の情報出力装置の動作フローの例を示す図である。
【
図3】本開示の第二の実施形態の情報出力装置を含むシステムの構成例を示す図である。
【
図4】本開示の第二の実施形態の情報出力装置の構成例を示す図である。
【
図5】カメラと電波センサの配置の例を示す図である。
【
図6】カメラと電波センサの対応関係の例を示す図である。
【
図7】本開示の第二の実施形態の情報出力装置が表示手段に表示させる画像の例を示す図である。
【
図8】本開示の第二の実施形態の情報出力装置の他の構成例を示す図である。
【
図9】本開示の第二の実施形態の情報出力装置の他の構成例を示す図である。
【
図10】本開示の第二の実施形態の情報出力装置の動作フローの例を示す図である。
【
図11】本開示の第二の実施形態の情報出力装置の動作フローの例を示す図である。
【
図12】本開示の第二の実施形態の情報出力装置の動作フローの例を示す図である。
【
図13】本開示の各実施形態のハードウェア構成例を示す図である。
【発明を実施するための形態】
【0013】
[第一の実施形態]
本開示の第一の実施の形態について説明する。
【0014】
なお、第一の実施の形態における情報出力装置10の具体的な一例が、後述する第二の実施の形態における情報出力装置20である。
【0015】
まず、本実施形態の情報出力装置10の構成例について説明する。
図1に、本実施形態の情報出力装置10の構成例を示す。情報出力装置10は、画像情報受信部11、電波情報受信部12、算出部13および出力部14を含む。
【0016】
画像情報受信部11は、撮影画像情報を、複数のカメラから受信する。撮影画像情報は、カメラによって撮影された画像の情報である。
【0017】
電波情報受信部12は、受信電波情報を、複数の電波センサから受信する。受信電波情報は、電波センサによって受信された電波の情報である。
【0018】
算出部13は、カメラと当該カメラに対応付けられている電波センサとの組の各々について、受信情報と対象物情報との間の合致度を算出する。受信情報は、当該組のカメラから受信した撮影画像情報、および、当該組の電波センサから受信した受信電波情報を含む。また、対象物情報は、対象画像情報および対象電波情報を含む。対象画像情報は、対象物の画像の情報である。対象電波情報は、対象物に対応付けられている無線通信端末が発する電波の情報である。
【0019】
算出部13は、合致度の算出において、撮影画像情報および受信電波情報の各々に対する重み係数を、組に応じて変更する。
【0020】
出力部14は、出力情報を出力する。出力情報は、合致度の算出結果に関する情報である。
【0021】
次に、本実施形態の情報出力装置10の動作フローの例について説明する。
図2に本実施形態の情報出力装置10の動作フローの例を示す。
【0022】
画像情報受信部11は、撮影画像情報を、複数のカメラから受信する(ステップS101)。
【0023】
電波情報受信部12は、受信電波情報を、複数の電波センサから受信する(ステップS102)。
【0024】
算出部13は、カメラと当該カメラに対応付けられている電波センサとの組の各々について、受信情報と対象物情報との間の合致度を算出する(ステップS103)。算出部13は、合致度の算出において、撮影画像情報および受信電波情報の各々に対する重み係数を、組に応じて変更する。
【0025】
出力部14は、出力情報を出力する(ステップS104)。
【0026】
以上で説明したように、本開示の第一の実施形態では、情報出力装置10は、画像情報受信部11、電波情報受信部12、算出部13および出力部14を含む。画像情報受信部11は、撮影画像情報を、複数のカメラから受信する。撮影画像情報は、カメラによって撮影された画像の情報である。電波情報受信部12は、受信電波情報を、複数の電波センサから受信する。受信電波情報は、電波センサによって受信された電波の情報である。算出部13は、カメラと当該カメラに対応付けられている電波センサとの組の各々について、受信情報と対象物情報との間の合致度を算出する。受信情報は、当該組のカメラから受信した撮影画像情報、および、当該組の電波センサから受信した受信電波情報を含む。また、対象物情報は、対象画像情報および対象電波情報を含む。対象画像情報は、対象物の画像の情報である。対象電波情報は、対象物に対応付けられている無線通信端末が発する電波の情報である。算出部13は、合致度の算出において、撮影画像情報および受信電波情報の各々に対する重み係数を、組に応じて変更する。出力部14は、出力情報を出力する。出力情報は、合致度の算出結果に関する情報である。
【0027】
このように、情報出力装置10は、合致度の算出において、撮影画像情報および受信電波情報の各々に対する重み係数を、組に応じて変更する。これにより、撮影画像情報が検知精度の低下の原因になっている組については、撮影画像情報に対する重み係数を下げて、合致度への撮影画像情報の影響を低下させることが可能になる。また、受信電波情報が検知精度の低下の原因になっている組については、受信電波情報に対する重み係数を下げて、合致度への受信電波情報の影響を低下させることが可能になる。その結果、対象物が存在する状態で合致度が低くなる可能性や、対象物が存在しない状態で合致度が高くなる可能性を、低減させることができる。そのため、対象物の検知精度を向上することが可能になる。
【0028】
[第二の実施形態]
次に、本開示の第二の実施の形態における情報出力装置20について説明する。なお、第一の実施の形態における情報出力装置10の具体的な一例が、第二の実施の形態における情報出力装置20である。
【0029】
まず、
図3に本実施形態の情報出力装置20を含むシステムの構成例を示す。情報出力装置20は、電波センサ50-i(iは1以上N以下の整数)と互いに接続する。また、情報出力装置20は、カメラ60-j(jは1以上M以下の整数)と互いに接続する。また、情報出力装置20は、表示手段70と互いに接続する。電波センサ50-i、カメラ60-jおよび情報出力装置20は監視システム80に含まれる。
【0030】
電波センサ50-iは、電波を受信する。また、電波センサ50-iは、受信電波情報を情報出力装置20へ送信する。受信電波情報は、電波センサ50-iによって受信された電波についての電波情報である。電波情報は、電波に関する情報である。
【0031】
電波情報は、たとえば、電波の信号波形を示す波形データを含んでいてもよい。
【0032】
また、電波情報は、たとえば、電波識別情報を含んでいてもよい。電波識別情報は、電波を発する発信源の個体を識別可能な情報である。電波識別情報は、たとえば、IMEI(International Mobile Equipment Identity)、IMSI(International Mobile Subscriber Identity)、MAC(Media Access Control)アドレスなどを含んでいてもよい。発信源がドローンである場合、電波識別情報は、ドローンの識別情報であるリモートID(identification)を含んでいてもよい。
【0033】
また、電波情報は、電波に関し、周波数、変調方式、電波センサ50-iにおける受信信号レベルなどの情報を含んでいてもよい。たとえば、電波情報は、SS-RSRQ(Reference Signal Received Quality)などの情報を含んでいてもよい。
【0034】
また、電波情報は、電波特徴情報を含んでいてもよい。電波特徴情報は、電波の信号波形の特徴を示す情報である。
【0035】
電波を発信する機器は、あらかじめ定められた通信規格を満たすように製造されるが、アナログ回路のばらつき等により、微小な個体差が存在している。したがって、電波は発信源である機器の個体差に基づき識別可能な特徴量を有する。電波特徴情報は、たとえば、変調解析による変調誤差に基づく特徴量や、電波の時間波形に基づく特徴量等である。また、たとえば、電波特徴情報は、受信信号のトランジェント(立ち上がりおよび立ち下がり)、プリアンブル部分の電力スペクトル密度、エラーベクトル振幅(Error Vector Magnitude:EVM)、IQ位相誤差、IQインバランス量、周波数オフセット、および、シンボルクロック誤差のうち一以上を示す特徴量であってもよいが、これらに限定されない。
【0036】
カメラ60-jは、画像を撮影する。また、カメラ60-jは、撮影画像情報を情報出力装置20へ送信する。撮影画像情報は、カメラ60-jによって撮影された画像の情報である。カメラ60-jは、たとえば、所定時間おきに画像を撮影する。撮影画像情報は、静止画像の情報であってもよいし、動画像(映像)の情報であってもよい。カメラ60-jは、たとえば、街中に設置されている監視カメラ等であってもよい。また、カメラ60-jは、監視カメラより解像度が低い防犯カメラであってもよい。
【0037】
表示手段70は、出力デバイスとしてのディスプレイ等のマンマシンインタフェースである。表示手段70は、画像を表示する。本実施形態では、情報出力装置20は、出力情報を表示手段70に出力する。しかし、出力情報の出力先は任意である。情報出力装置20は、表示手段70以外の出力先に出力情報を出力してもよい。
【0038】
次に、
図4に本実施形態の情報出力装置20の構成例を示す。本実施形態の情報出力装置20は、画像情報受信部21、電波情報受信部22、算出部23および出力部24を含む。
【0039】
画像情報受信部21は、カメラ60-1~60-Mから、撮影画像情報を受信する。撮影画像情報は、カメラ60-jによって撮影された画像の情報である。カメラ60-jの位置に関する情報は、あらかじめ情報出力装置20の内部または外部の記憶手段(不図示)に記憶されている。
【0040】
電波情報受信部22は、電波センサ50-1~50-Nから、受信電波情報を受信する。受信電波情報は、電波センサ50-iによって受信された電波の情報である。電波センサ50-iの位置に関する情報は、あらかじめ記憶手段に記憶されている。
【0041】
カメラ60-jには、電波センサ50-1~50-Nのうちのいずれか一つ以上が対応付けられている。カメラと電波センサの対応関係の情報は、たとえば、記憶手段に記憶されている。一つのカメラには、二以上の複数の電波センサが対応付けられていてもよい。また、一つの電波センサには、二以上の複数のカメラが対応付けられていてもよい。
【0042】
カメラには、当該カメラの近辺の電波センサが対応付けられている。カメラと、当該カメラに対応付けられている電波センサとの組において、カメラの撮影エリアと電波センサの受信エリアとは、少なくとも一部が重複している。撮影エリアは、カメラによって撮影されるエリアである。受信エリアは、電波センサによって電波が受信されるエリアである。つまり、カメラと電波センサの対応関係において、カメラの各々には、受信エリアの少なくとも一部が当該カメラの撮影エリアの少なくとも一部と重複する電波センサが、対応付けられている。
【0043】
たとえば、
図5に示すように、フィールドにカメラ60-1~60-5と電波センサ50-1~50-5とが配置されているとする。
図5は、カメラと電波センサの配置の例を示す図である。
図5において、白抜きの丸は電波センサを示す。また、黒丸はカメラを示す。また、破線の円は、電波センサの受信エリアを示す。なお、電波センサの受信エリアの形状は、円でなくてもよい。たとえば、電波センサは、指向性を持っていてもよい。また、扇形は、カメラの撮影エリアを示す。
【0044】
図5に示す例のようにカメラと電波センサが配置されている場合、カメラと電波センサとの対応関係は、
図6のようになる。
図6は、カメラと電波センサとの対応関係を示す図である。なお、
図6に示す対応関係の表において、一つの行で示されるカメラと電波センサとから構成される単位を、以降、「組」と呼ぶ。
図6に示す例の場合、組の数は、6つである。
【0045】
算出部23は、カメラと当該カメラに対応付けられている電波センサとの組の各々について、受信情報と対象物情報との間の合致度を算出する。受信情報は、当該組のカメラから受信した撮影画像情報、および、当該組の電波センサから受信した受信電波情報を含む。合致度は、受信情報と対象物情報との合致の度合いを示す。
【0046】
また、対象物情報は、対象画像情報および対象電波情報を含む。対象画像情報は、対象物の画像の情報である。対象物は、検知の対象の物体である。対象物は、たとえば、人物であってもよいし、人物でなくてもよい。たとえば、特定の人物が対象物である場合、対象画像情報は、その人物の顔画像や全身画像などであってもよい。また、対象画像情報は、一つの対象物に対して、一または二以上の複数の画像情報を含んでいてもよい。
【0047】
また、対象電波情報は、対象物に対応付けられている無線通信端末が発する電波の情報である。無線通信端末は、たとえば、対象物が人物である場合、その人物が携行している無線通信端末であってもよい。無線通信端末は、対象物の移動に伴って移動する。なお、以降、対象物に対応付けられている無線通信端末が発する電波を、対象電波と呼ぶことがある。
【0048】
たとえば、カメラと電波センサとの対応関係が、
図6に示される対応関係である場合、算出部23は、6つの組の各々について、合致度を算出する。
【0049】
算出部23は、合致度Dを、たとえば、以下の式を用いて算出する。
【0050】
【0051】
上記の式において、WIは、撮影画像情報に対する重み係数である。また、DIは、撮影画像情報と対象画像情報との間の合致度である。撮影画像情報と対象画像情報との間の合致度を、以降、画像合致度と呼ぶ。また、WRは、受信電波情報に対する重み係数である。また、DRは、受信電波情報と対象電波情報との間の合致度である。受信電波情報と対象電波情報との間の合致度を、以降、電波合致度と呼ぶ。
【0052】
なお、合致度Dの算出式は、上記の式に限られない。合致度Dは、撮影画像情報に対する重み係数WI、受信電波情報に対する重み係数WR、画像合致度DIおよび電波合致度DRによって算出される。また、合致の度合いが高くなるほど、合致度は高くなる。
【0053】
算出部23は、合致度Dの算出において、撮影画像情報に対する重み係数WIおよび受信電波情報に対する重み係数WRを、組に応じて変更する。
【0054】
撮影画像情報に対する重み係数WIおよび受信電波情報に対する重み係数WRは、組の各々に対してあらかじめ設定されていてもよい。この場合、組と重み係数との対応関係は、あらかじめ記憶手段に記憶されている。そして、算出部23は、当該対応関係に従って、重み係数を変更する。
【0055】
また、撮影画像情報に対する重み係数WIおよび受信電波情報に対する重み係数WRは、所定の条件に応じて動的に変更されてもよい。この場合、組と所定の条件と重み係数との対応関係は、あらかじめ記憶手段に記憶されている。算出部23は、組に対応付けられている所定の条件に応じて、重み係数を変更する。
【0056】
また、撮影画像情報に対する重み係数WIおよび受信電波情報に対する重み係数WRは、作業者による操作入力に応じて変更されてもよい。
【0057】
たとえば、算出部23は、合致度Dの算出対象の組のカメラからの撮影画像情報の信頼度に応じて、撮影画像情報に対する重み係数WIを変更してもよい。
【0058】
たとえば、カメラが設置されている場所が薄暗い場所である場合、撮影画像情報の信頼度が低い。たとえば、カメラの設置場所が薄暗い場合、画像合致度DIが高いが、対象物が撮影されていない可能性、および、画像合致度DIが低いが、対象物が撮影されている可能性が高くなる。そのため、算出部23は、薄暗い場所に設置されたカメラからの撮影画像情報に対して、撮影画像情報に対する重み係数WIを低くする。
【0059】
たとえば、一日を通して薄暗い場所に設置されているカメラによって構成される組について、撮影画像情報に対する重み係数WIは、あらかじめ低く設定されていてもよい。また、算出部23は、明るさ情報に応じて、撮影画像情報に対する重み係数WIを変更してもよい。明るさ情報は、カメラが設置されている場所の明るさに関する情報である。組と明るさ情報との対応関係は、記憶手段に記憶されていてもよい。
【0060】
また、算出部23は、時間帯に応じて信頼度が変化する場合には、画像が撮影された時間帯に応じて、撮影画像情報に対する重み係数WIを変更してもよい。たとえば、算出部23は、暗くなる時間帯に、撮影画像情報に対する重み係数WIを低くしてもよい。この場合、組と時間帯と重み係数との対応関係は、記憶手段に記憶されていてもよい。また、算出部23は、明るさ情報に応じて、撮影画像情報に対する重み係数WIを変更してもよい。この場合、組と時間帯と明るさ情報との対応関係は、記憶手段に記憶されていてもよい。また、明るさ情報は、たとえば、カメラの設置場所に設置されている照度センサなどの情報に基づいて動的に変更されてもよい。
【0061】
また、算出部23は、撮影画像情報によって示される画像の明るさに応じて、撮影画像情報に対する重み係数WIを変更してもよい。たとえば、画像の平均輝度が所定のしきい値より低い場合に、算出部23は、撮影画像情報に対する重み係数WIを低くしてもよい。
【0062】
また、解像度が低いカメラによって構成される組について、撮影画像情報に対する重み係数WIは、あらかじめ低く設定されていてもよい。また、算出部23は、カメラの解像度を示す解像度情報に応じて、撮影画像情報に対する重み係数WIを変更してもよい。この場合、各々の組のカメラの解像度情報は、記憶手段に記憶されている。
【0063】
また、算出部23は、合致度Dの算出対象の組の電波センサからの受信電波情報の信頼度に応じて、受信電波情報に対する重み係数WRを変更してもよい。
【0064】
たとえば、電波センサが設置されている場所が、人通りが多い場所や、マルチパスの影響が大きい場所である場合、受信電波情報の信頼度が低い。たとえば、受信電波情報の設置場所が、上記のように、電波情報の収集が難しい場所である場合、電波合致度DRが高いが、対象電波が受信されていない可能性、および、電波合致度DRが低いが、対象電波が受信されている可能性が高くなる。そのため、算出部23は、信頼度が低い電波センサからの受信電波情報に対して、受信電波情報に対する重み係数WIを低くする。
【0065】
たとえば、一日を通して受信電波情報の信頼度が低い電波センサによって構成される組について、受信電波情報に対する重み係数WRは、あらかじめ低く設定されていてもよい。また、算出部23は、受信電波情報の信頼度を示す信頼度情報に応じて、受信電波情報に対する重み係数WRを変更してもよい。この場合、組と信頼度情報との関係は、記憶手段に記憶されていてもよい。信頼度情報は、電波センサの設置場所の、人通りやマルチパスの影響などの環境に応じて設定される。
【0066】
また、算出部23は、時間帯に応じて信頼度が変化する場合には、電波が受信された時間帯に応じて、受信電波情報に対する重み係数WRを変更してもよい。たとえば、算出部23は、電波センサの近辺の人通りが多くなる時間帯に、受信電波情報に対する重み係数WRを低くしてもよい。この場合、組と時間帯と重み係数との対応関係は、記憶手段に記憶されていてもよい。また、組と時間帯と信頼度情報との対応関係が記憶手段に記憶されていてもよい。
【0067】
また、算出部23は、受信電波情報によって示される電波の受信レベル(利得)応じて、受信電波情報に対する重み係数WRを変更してもよい。たとえば、受信レベルが所定のしきい値より低い場合に、算出部23は、受信電波情報に対する重み係数WRを低くしてもよい。
【0068】
なお、算出部23は、撮影画像情報に対する重み係数WIと受信電波情報に対する重み係数WRとの和が一定(たとえば、1)となるように、重み係数を変更してもよい。また、たとえば、撮影画像情報の信頼度と受信電波情報の信頼度の両方が低い場合には、算出部23は、撮影画像情報に対する重み係数WIと受信電波情報に対する重み係数WRの両方を低下させてもよい。
【0069】
画像合致度DIと電波合致度DRの算出方法には、任意の方法を利用することができる。画像合致度DIと電波合致度DRの算出方法の例については、後述する。
【0070】
上述のように、撮影画像情報や受信電波情報は、信頼度が低い場合がある。そのため、撮影画像情報および受信電波情報の少なくともいずれかを用いて対象物を検知する場合、対象物の検知精度が低くなる場合がある。たとえば、撮影画像情報の信頼度が低い場合(たとえば暗い場所で画像が撮影されている場合)、対象物が存在していても画像合致度が低くなる可能性や、対象物が存在しないのに画像合致度が高くなる可能性が、高くなる。そのため、本実施形態の情報出力装置20は、カメラと電波センサの組に応じて、撮影画像情報に対する重み係数WIおよび受信電波情報に対する重み係数WRを変更する。
【0071】
情報出力装置20は、撮影画像情報の信頼度が低い組について、撮影画像情報に対する重み係数WIを下げる。また、情報出力装置20は、受信電波情報の信頼度が低い組について、受信電波情報に対する重み係数WRを下げる。これによって、信頼度の低い情報による合致度への影響を低下させることができる。そのため、対象物の検知精度を向上することができる。すなわち、対象物が存在する状態で合致度が低くなる可能性や、対象物が存在しない状態で合致度が高くなる可能性を、低減することができる。
【0072】
出力部24は、出力情報を出力する。出力情報は、合致度の算出結果に関する情報である。
【0073】
出力情報は、たとえば、所定の条件を満たす合致度が算出された組についての情報を含んでいてもよい。たとえば、所定の条件は、合致度が所定の値より高いことであってもよい。また、所定の条件は、たとえば、最も合致度が高いことであってもよい。また、所定の条件は、たとえば、合致度が所定の値より高く、かつ、最も合致度が高いことであってもよい。また、出力情報は、所定の条件を満たす合致度が算出された組について、カメラの設置位置の情報および電波センサの設置位置の情報の少なくともいずれかを含んでいてもよい。また、出力情報は、所定の条件を満たす合致度が算出された組について、合致度の情報を含んでいてもよい。
【0074】
本実施形態では、出力部24は、出力情報を表示手段70に出力する。また、本実施形態では、出力部24は、出力情報を、画像を表示手段70に表示させるための画像情報として出力する。すなわち、出力部24は、出力情報を表示手段70に出力することによって、画像を表示手段70に表示させる。
【0075】
次に、出力部24が表示手段70に表示させる画像の具体例について説明する。
【0076】
たとえば、画像は、合致度が所定の値より高い組のうち、最も合致度が高い組を示す画面アイテムを含むものであってもよい。たとえば、画像は、最も合致度が高い組について、地図上のカメラの位置と電波センサの位置とに、各々を示す画面アイテムを含むものであってもよい。また、画像は、算出された合致度の情報を含んでいてもよい。また、画像は、電波センサの受信エリアを示す画面アイテムを含んでいてもよい。また、画像は、カメラの撮影エリアを示す画面アイテムを含んでいてもよい。
【0077】
また、画像は、同一の対象物について、異なる時刻における、二以上の複数の合致度算出結果に関する情報を示すものであってもよい。つまり、画像は、同一の対象物について、合致度の算出結果に関する情報を、時系列で示すものであってもよい。
【0078】
図7は、表示画像の例を示す図である。
図7において、白抜きの丸は、最も高い合致度が算出された組についての電波センサの位置を示す。また、黒丸は、最も高い合致度が算出された組についてのカメラの位置を示す。また、
図7に示す画像は、最も高い合致度が算出された組のカメラで撮影された画像(撮影画像)を含む。また、画像は、最も高い合致度が算出された組のカメラで撮影画像が撮影された時刻の情報を含む。また、画像は、同一の対象物について、異なる時刻における情報を含む。
【0079】
また、出力部24は、表示手段70ではない出力先に情報を出力してもよい。たとえば、出力部24によって出力される情報は、所定の値より高い合致度が算出された組のうち、最も高い合致度が算出された組のカメラの設置位置および電波センサの設置位置の少なくとも一方の情報を含んでいてもよい。
【0080】
次に、画像合致度DIの算出方法について説明する。画像合致度DIは、任意の方法で算出されることができる。たとえば、算出部23は、撮影画像情報によって示される撮影画像の中に、顔画像に類似する画像が含まれている場合に、高い画像合致度DIを算出する。
【0081】
次に、電波合致度DRの算出方法について説明する。
【0082】
受信電波情報に電波識別情報が含まれる場合、算出部23は、受信電波情報に含まれる電波識別情報(受信電波識別情報)と、対象電波情報に含まれる電波識別情報(対象電波識別情報)とに基づいて、電波合致度DRを算出してもよい。
【0083】
また、受信電波情報に波形データが含まれる場合、算出部23は、受信電波情報に含まれる波形データ(受信波形データ)と、対象電波情報に含まれる波形データ(対象波形データ)とに基づいて、電波合致度DRを算出してもよい。
【0084】
また、受信電波情報に電波特徴情報が含まれる場合、算出部23は、受信電波情報に含まれる電波特徴情報(受信電波特徴情報)と、対象電波情報に含まれる電波特徴情報(対象電波特徴情報)とに基づいて、電波合致度DRを算出してもよい。
【0085】
また、受信電波情報に波形データが含まれる場合、算出部23は、受信電波情報に含まれる波形データから抽出された電波特徴情報(受信電波特徴情報)と、対象電波情報に含まれる電波特徴情報(対象電波特徴情報)とに基づいて、電波合致度DRを算出してもよい。
【0086】
次に、波形データに基づく電波合致度DRの算出方法について説明する。算出部23は、たとえば、受信波形データから抽出された電波特徴情報と、対象電波特徴情報とから、受信電波情報と対象電波情報との間の電波合致度を算出してもよい。対象電波特徴情報は、記憶手段に記憶されている。対象電波特徴情報は、対象波形データから抽出された電波特徴情報である。
【0087】
算出部23は、まず、電波情報受信部22が受信した受信波形データから電波特徴情報を抽出する。受信波形データから何の特徴量を電波特徴情報として抽出するかを示す抽出ルールは、あらかじめ定められている。算出部23は、抽出ルールに従って、受信波形データから電波特徴情報を抽出する。
【0088】
そして、算出部23は、受信波形データから抽出した電波特徴情報と対象電波特徴情報とから、電波合致度DRを算出する。なお、電波合致度の算出方法には、任意の方法を利用することができる。
【0089】
算出部23は、電波合致度DRの算出に、機械学習を利用することも可能である。算出部23は、学習手段(不図示)によって生成された算出モデルを使用して、電波合致度DRを算出する。たとえば、算出モデルは、受信波形データから電波合致度DRを算出するモデルであってもよい。また、算出モデルは、受信電波特徴情報から電波合致度DRを算出するモデルであってもよい。算出モデルは、たとえば、様々な発信源から出力された電波の信号波形データまたは電波特徴情報によって生成される。
【0090】
また、算出部23は、電波特徴情報の抽出に、機械学習を利用することができる。算出部23は、学習手段によって生成された抽出モデルを使用して、受信波形データから、電波特徴情報を抽出する。抽出モデルは、信号波形データから電波特徴情報を抽出するモデルである。抽出モデルは、たとえば、様々な発信源から出力された電波の信号波形データによって生成される。抽出モデルへの入力は、電波情報受信部22が受信した受信波形データである。また、抽出モデルからの出力は、受信波形データから抽出された電波特徴情報である。
【0091】
また、情報出力装置は、推定部35をさらに含んでいてもよい。
図8に、推定部35を含む情報出力装置30の構成例を示す。
【0092】
推定部35は、合致度Dが所定の値より高い組がある場合に、対象物の位置を推定する。そして、出力部24は、対象物の位置の推定結果を、出力情報に含めて出力してもよい。
【0093】
推定部35は、たとえば、合致度Dが所定の値より高い組がある場合に、合致度Dが最も高い組のカメラの設置位置または電波センサの設置位置を、対象物の位置として推定してもよい。
【0094】
また、推定部35は、たとえば、電波合致度DRの算出結果に基づいて、対象物の位置を推定してもよい。推定部35は、たとえば、合致度Dが所定の値(合致度用しきい値)より高い組があり、かつ、電波合致度DRが所定の値(電波合致度用しきい値)より高い受信電波情報が二以上の複数ある場合に、対象物の位置を推定する。
【0095】
電波センサの設置間隔が近い場合、対象電波が、二以上の複数の電波センサで受信される場合がある。このような場合に、電波合致度DRが所定の値より高い受信電波情報の数が、二以上の複数となる。
【0096】
推定部35は、たとえば、電波合致度DRが所定の値より高い二以上の複数の受信電波情報について、当該受信電波情報の送信元の電波センサの受信エリアが重なっている場所を、対象物の位置として推定してもよい。また、推定部35は、受信電波情報の送信元の電波センサの受信エリアと、合致度Dが最も高い組のカメラの撮影エリアとが重なっている場所を、対象物の位置として推定してもよい。
【0097】
また、推定部35は、電波合致度DRが所定の値より高い二以上の複数の受信電波情報について、位置特定情報に基づいて、対象物の位置を推定してもよい。位置特定情報は、電波の発信源の位置の特定に使用できる情報である。
【0098】
電波情報受信部22は、電波センサ50-iが受信した電波について、位置特定情報を受信してもよい。位置特定情報は、たとえば、電波センサ50-iに対する電波の到来方向を示す方向情報を含んでいてもよい。電波センサ50-iは、たとえば、ビームフォーミングや回転によって指向性を制御可能なアンテナにより、信号の到来方向を推定することができる。また、位置特定情報は、AOA(Angle of Arrival)方式、POA(Power of Arrival)方式、TDOA(Time Difference of Arrival)方式などの電波発射位置推定方式で使用される情報を含んでいてもよい。
【0099】
推定部35は、たとえば、所定の値より高い電波合致度DRが算出された二以上の複数の受信電波情報について、当該受信電波情報の送信元の電波センサから受信した位置特定情報に基づいて、無線通信端末の位置を推定する。
【0100】
また、推定部35は、対象物の位置の推定結果に基づいて、さらに、対象物の移動方向を推定してもよい。推定部35は、たとえば、二以上の複数回の対象物の位置の推定結果に基づいて、対象物の移動方向を推定してもよい。
【0101】
また、出力部24は、対象物の移動方向の情報を、出力情報に含めて出力してもよい。対象物の移動方向の情報が出力されると、対象物の移動方向に設置されているカメラの撮影画像に確認者を注目させることが可能になる。
【0102】
また、出力部24は、対象物の移動方向に設置されているカメラを特定し、当該カメラの情報を、出力情報に含めて出力してもよい。また、出力部24は、特定されたカメラで撮影された撮影画像の情報を、出力情報に含めて出力してもよい。
【0103】
また、情報出力装置は、制御部46をさらに含んでいてもよい。
図9に、制御部46を含む情報出力装置40の構成例を示す。
【0104】
制御部46は、画像合致度DIが所定の値より高い場合に、画像合致度DIが所定の値より高い組の電波センサの受信エリアを制御する。制御部46は、制御対象の電波センサの受信エリアが、カメラの撮影エリアと同じ程度、または、撮影エリアより狭くなるように制御する。制御部46は、アンテナビーム幅およびビーム方向を制御することで、電波センサの受信エリアを制御することができる。
【0105】
この場合、算出部23は、受信エリアが制御された後に電波情報受信部22によって受信された受信電波情報を使用して、電波合致度DRと合致度Dとを算出する。
【0106】
このようにすると、電波センサで受信される電波の数が減る可能性があるので。算出部23は、電波合致度DRの精度を向上できる可能性がある。
【0107】
次に、本実施形態の情報出力装置20の動作フローの例について説明する。
図10に、本実施形態の情報出力装置20の動作フローの例を示す。
【0108】
画像情報受信部21は、カメラ60-1~60-Mから、撮影画像情報を受信する。たとえば、画像情報受信部21は、所定時間おきに、撮影画像情報を受信する(ステップS201)。
【0109】
また、電波情報受信部22は、電波センサ50-1~50-Nから、受信電波情報を受信する。たとえば、電波情報受信部22は、所定時間おきに、受信電波情報を受信する(ステップS202)。
【0110】
算出部23は、カメラと当該カメラに対応付けられている電波センサとの組の各々について、受信情報と対象物情報との間の合致度を算出する(ステップS203)。たとえば、算出部23は、所定時間おきに合致度を算出する。
【0111】
出力部24は、出力情報を出力する(ステップS204)。
【0112】
また、本実施形態の情報出力装置30(
図8)の動作フローの例について説明する。
図11に、本実施形態の情報出力装置30の動作フローの例を示す。
【0113】
ステップS301からステップS303は、
図10のステップS201からステップS203と同様である。
【0114】
推定部35は、対象物の位置を推定する(ステップS304)。推定部35は、さらに、対象物の移動方向を推定してもよい。
【0115】
出力部24は、出力情報を出力する(ステップS305)。出力部24は、対象物の位置の推定結果を、出力情報に含めて出力してもよい。また、出力部24は、対象物の移動方向の推定結果を、出力情報に含めて出力してもよい。
【0116】
次に、本実施形態の情報出力装置40(
図9)の動作フローの例について説明する。
図12に、本実施形態の情報出力装置40の動作フローの例を示す。
【0117】
ステップS401からステップS402は、
図10のステップS201からステップS202と同様である。
【0118】
算出部23は、撮影画像情報の各々について、画像合致度DIを算出する(ステップS403)。
【0119】
制御部46は、画像合致度DIが所定の値より高い場合に、画像合致度DIが所定の値より高い組の電波センサの受信エリアを制御する(ステップS404)。
【0120】
電波情報受信部22は、制御された電波センサから、受信電波情報を受信する(ステップS405)。
【0121】
算出部23は、カメラと当該カメラに対応付けられている電波センサとの組の各々について、受信情報と対象物情報との間の合致度を算出する(ステップS406)。このとき、算出部23は、画像合致度DIが所定の値より高い組については、受信エリアが制御された後に電波情報受信部22によって受信された(つまり、ステップS405で受信された)受信電波情報を使用して、電波合致度DRと合致度Dとを算出する。
【0122】
出力部24は、出力情報を出力する(ステップS407)。
【0123】
以上で説明したように、本開示の第二の実施形態では、情報出力装置20は、画像情報受信部21、電波情報受信部22、算出部23および出力部24を含む。画像情報受信部21は、撮影画像情報を、複数のカメラから受信する。撮影画像情報は、カメラによって撮影された画像の情報である。電波情報受信部22は、受信電波情報を、複数の電波センサから受信する。受信電波情報は、電波センサによって受信された電波の情報である。算出部23は、カメラと当該カメラに対応付けられている電波センサとの組の各々について、受信情報と対象物情報との間の合致度を算出する。受信情報は、当該組のカメラから受信した撮影画像情報、および、当該組の電波センサから受信した受信電波情報を含む。また、対象物情報は、対象画像情報および対象電波情報を含む。対象画像情報は、対象物の画像の情報である。対象電波情報は、対象物に対応付けられている無線通信端末が発する電波の情報である。算出部23は、合致度の算出において、撮影画像情報および受信電波情報の各々に対する重み係数を、組に応じて変更する。出力部24は、出力情報を出力する。出力情報は、合致度の算出結果に関する情報である。
【0124】
このように、情報出力装置20は、合致度の算出において、撮影画像情報および受信電波情報の各々に対する重み係数を、組に応じて変更する。これにより、撮影画像情報が検知精度の低下の原因になっている組については、撮影画像情報に対する重み係数を下げて、合致度への撮影画像情報の影響を低下させることが可能になる。また、受信電波情報が検知精度の低下の原因になっている組については、受信電波情報に対する重み係数を下げて、合致度への受信電波情報の影響を低下させることが可能になる。その結果、対象物が存在する状態で合致度が低くなる可能性や、対象物が存在しない状態で合致度が高くなる可能性を、低減させることができる。そのため、対象物の検知精度を向上することが可能になる。
【0125】
また、算出部23は、画像合致度と電波合致度とを算出し、画像合致度と電波合致度とに基づいて、合致度を算出する。画像合致度は、撮影画像情報と対象画像情報と間の合致の度合いを示す。電波合致度は、受信電波情報と対象電波情報との間の合致の度合いを示す。これにより、画像と電波とによる合致度の算出を実現できる。
【0126】
また、算出部23は、撮影画像情報に対する重み係数を、組の明るさ情報に応じて変更する。明るさ情報は、カメラが設置されている場所の明るさに関する情報である。これにより、カメラが設置されている場所が暗いことで撮影画像情報の信頼度が低い場合に、撮影画像情報に対する重み係数を低下させることができる。
【0127】
また、算出部23は、撮影画像情報に対する重み係数を、撮影画像情報によって示される画像が撮影された時間帯に応じて変更する。これにより、たとえば、カメラが設置されている場所の明るさが時間帯に応じて変わる場合に、撮影画像情報に対する重み係数を時間帯によって変えることができる。
【0128】
また、算出部23は、撮影画像情報に対する重み係数を、撮影画像情報によって示される画像の明るさに応じて変更する。これにより、撮影画像情報の信頼度が画像の明るさに応じて変化する場合に、撮影画像情報に対する重み係数を画面の明るさに応じて変更することができる。
【0129】
また、算出部23は、撮影画像情報に対する重み係数を、組のカメラの解像度を示す解像度情報に応じて変更する。これにより、カメラの解像度が低いことで撮影画像情報の信頼度が低い場合に、撮影画像情報に対する重み係数を低下させることができる。
【0130】
また、算出部23は、受信電波情報に対する重み係数を、受信電波情報の信頼度を示す信頼度情報に応じて変更する。これにより、受信電波情報の信頼度が検知精度の低下の原因になっている組について、合致度への受信電波情報の影響を低下させることが可能になる。
【0131】
また、算出部23は、受信電波情報に対する重み係数を、受信電波情報によって示される電波が電波センサで受信された時間帯に応じて変更する。これにより、受信電波情報の信頼度が時間帯によって変化する場合に、受信電波情報に対する重み係数を変更することができる。
【0132】
また、算出部23は、受信電波情報に対する重み係数を、受信電波情報によって示される電波の受信レベルに応じて変更する。これにより、受信電波情報の信頼度が受信レベルによって変化する場合に、受信電波情報に対する重み係数を変更することができる。
【0133】
また、出力情報は、所定の条件を満たす合致度が算出された組についての情報を含む。また、条件は、合致度が所定の値より高く、かつ、最も合致度が高いことであってもよい。これにより、対象物が近くに存在する可能性が高い組についての情報を出力することができる。
【0134】
また、出力情報は、条件を満たす合致度が算出された組についての、カメラの設置位置の情報および電波センサの設置位置の情報の少なくともいずれかを含む。これにより、対象物が近くに存在する可能性が高い組の設置位置の情報を出力することができる。
【0135】
また、出力情報は、条件を満たす合致度が算出された組についての、合致度の情報を含む。これにより、対象物が近くに存在する可能性が高い組について、その可能性の程度を示す情報を出力することができる、
また、情報出力装置30は、推定部35をさらに備える。推定部35は、合致度が所定の値より高い組がある場合に、対象物の位置を推定する。これにより、確認者にとって有益な情報を提供することができる。
【0136】
また、推定部35は、電波合致度が所定の値より高い受信電波情報が複数ある場合に、当該受信電波情報の送信元の電波センサの受信エリアが重なっている場所を、対象物の位置として推定する。
【0137】
また、推定部35は、電波合致度が所定の値より高い受信電波情報が複数ある場合に、電波を発する発信源の位置の特定に使用できる情報である位置特定情報に基づいて、対象物の位置を推定してもよい。これにより、対象物の位置の推定を実現することができる。
【0138】
また、推定部35は、対象物の位置に基づいて、対象物の移動方向を推定する。これにより、対象物の移動方向に設置されているカメラの撮影画像に確認者を注目させ、確認者による対象物の確認をより容易にすることが可能になる。
【0139】
また、出力部24は、対象物の移動方向に設置されているカメラを特定し、カメラで撮影された画像の情報を、出力情報に含めて出力する。これにより、確認者による対象物の確認をより容易にすることが可能になる。
【0140】
[ハードウェア構成例]
上述した本開示の各実施形態における情報出力装置(10、20、30、40)を、一つの情報処理装置(コンピュータ)を用いて実現するハードウェア資源の構成例について説明する。なお、情報出力装置は、物理的または機能的に少なくとも二つの情報処理装置を用いて実現されてもよい。また、情報出力装置は、専用の装置として実現されてもよい。また、情報出力装置の一部の機能のみが情報処理装置を用いて実現されてもよい。
【0141】
図13は、本開示の各実施形態の情報出力装置を実現可能な情報処理装置のハードウェア構成例を概略的に示す図である。情報処理装置90は、通信インタフェース91、入出力インタフェース92、演算装置93、記憶装置94、不揮発性記憶装置95およびドライブ装置96を含む。
【0142】
たとえば、
図1の画像情報受信部11、電波情報受信部12および出力部14は、通信インタフェース91と演算装置93とで、算出部13は、演算装置93で実現することが可能である。
【0143】
通信インタフェース91は、各実施形態の情報出力装置が、有線あるいは/および無線で外部装置と通信するための通信手段である。なお、情報出力装置を、少なくとも二つの情報処理装置を用いて実現する場合、それらの装置の間を通信インタフェース91経由で相互に通信可能なように接続してもよい。
【0144】
入出力インタフェース92は、入力デバイスの一例であるキーボードや、出力デバイスとしてのディスプレイ等のマンマシンインタフェースである。
【0145】
演算装置93は、汎用のCPU(Central Processing Unit)やマイクロプロセッサ等の演算処理装置や複数の電気回路によって実現される。演算装置93は、たとえば、不揮発性記憶装置95に記憶された各種プログラムを記憶装置94に読み出し、読み出したプログラムに従って処理を実行することが可能である。
【0146】
記憶装置94は、演算装置93から参照可能な、RAM(Random Access Memory)等のメモリ装置であり、プログラムや各種データ等を記憶する。記憶装置94は、揮発性のメモリ装置であってもよい。
【0147】
不揮発性記憶装置95は、たとえば、ROM(Read Only Memory)、フラッシュメモリ、等の、不揮発性の記憶装置であり、各種プログラムやデータ等を記憶することが可能である。
【0148】
ドライブ装置96は、たとえば、後述する記録媒体97に対するデータの読み込みや書き込みを処理する装置である。
【0149】
記録媒体97は、たとえば、光ディスク、光磁気ディスク、半導体フラッシュメモリ等、データを記録可能な任意の記録媒体である。
【0150】
本開示の各実施形態は、たとえば、
図13に例示した情報処理装置90により情報出力装置を構成し、この情報出力装置に対して、上記各実施形態において説明した機能を実現可能なプログラムを供給することにより実現してもよい。
【0151】
この場合、情報出力装置に対して供給したプログラムを、演算装置93が実行することによって、実施形態を実現することが可能である。また、情報出力装置のすべてではなく、一部の機能を情報処理装置90で構成することも可能である。
【0152】
さらに、上記プログラムを記録媒体97に記録しておき、情報出力装置の出荷段階、あるいは運用段階等において、適宜上記プログラムが不揮発性記憶装置95に格納されるよう情報出力装置を構成してもよい。なお、この場合、上記プログラムの供給方法は、出荷前の製造段階、あるいは運用段階等において、適当な治具を利用して情報出力装置内にインストールする方法を採用してもよい。また、上記プログラムの供給方法は、インターネット等の通信回線を介して外部からダウンロードする方法等の一般的な手順を採用してもよい。
【0153】
上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下には限られない。
【0154】
(付記1)
カメラによって撮影された画像の情報である撮影画像情報を、複数の前記カメラから受信する画像情報受信部と、
電波センサによって受信された電波の情報である受信電波情報を、複数の前記電波センサから受信する電波情報受信部と、
前記カメラと当該カメラに対応付けられている前記電波センサとの組の各々について、前記組の前記カメラから受信した前記撮影画像情報、および、前記組の前記電波センサから受信した前記受信電波情報を含む受信情報と、対象物の画像の情報である対象画像情報、および、前記対象物に対応付けられている無線通信端末が発する電波の情報である対象電波情報を含む対象物情報との間の合致度を算出する算出部と、
前記合致度の算出結果に関する情報である出力情報を出力する出力部と
を備え、
前記算出部は、前記合致度の算出において、前記撮影画像情報および前記受信電波情報の各々に対する重み係数を、前記組に応じて変更する、
情報出力装置。
【0155】
(付記2)
前記算出部は、前記撮影画像情報と前記対象画像情報と間の合致の度合いを示す画像合致度と、前記受信電波情報と前記対象電波情報との間の合致の度合いを示す電波合致度とを算出し、前記画像合致度と前記電波合致度とに基づいて、前記合致度を算出する、
付記1に記載の情報出力装置。
【0156】
(付記3)
前記算出部は、前記撮影画像情報に対する重み係数を、前記組の前記カメラが設置されている場所の明るさに関する情報である明るさ情報に応じて変更する、
付記1または付記2に記載の情報出力装置。
【0157】
(付記4)
前記算出部は、前記撮影画像情報に対する重み係数を、前記撮影画像情報によって示される画像が撮影された時間帯に応じて変更する、
付記1から付記3のいずれか一項に記載の情報出力装置。
【0158】
(付記5)
前記算出部は、前記撮影画像情報に対する重み係数を、前記撮影画像情報によって示される画像の明るさに応じて変更する、
付記1から付記4のいずれか一項に記載の情報出力装置。
【0159】
(付記6)
前記算出部は、前記撮影画像情報に対する重み係数を、前記組の前記カメラの解像度を示す解像度情報に応じて変更する、
付記1から付記5のいずれか一項に記載の情報出力装置。
【0160】
(付記7)
前記算出部は、前記受信電波情報に対する重み係数を、前記受信電波情報の信頼度を示す信頼度情報に応じて変更する、
付記1から付記6のいずれか一項に記載の情報出力装置。
【0161】
(付記8)
前記算出部は、前記受信電波情報に対する重み係数を、前記受信電波情報によって示される電波が前記電波センサで受信された時間帯に応じて変更する、
付記1から付記7のいずれか一項に記載の情報出力装置。
【0162】
(付記9)
前記算出部は、前記受信電波情報に対する重み係数を、前記受信電波情報によって示される電波の受信レベルに応じて変更する、
付記1から付記8のいずれか一項に記載の情報出力装置。
【0163】
(付記10)
前記出力情報は、所定の条件を満たす前記合致度が算出された前記組についての情報を含む、
付記1から付記9のいずれか一項に記載の情報出力装置。
【0164】
(付記11)
前記条件は、前記合致度が所定の値より高く、かつ、最も前記合致度が高いことである、
付記10に記載の情報出力装置。
【0165】
(付記12)
前記出力情報は、前記条件を満たす前記合致度が算出された前記組についての、前記カメラの設置位置の情報および前記電波センサの設置位置の情報の少なくともいずれかを含む、
付記10または付記11に記載の情報出力装置。
【0166】
(付記13)
前記出力情報は、前記条件を満たす前記合致度が算出された前記組についての、前記合致度の情報を含む、
付記10から付記12のいずれか一項に記載の情報出力装置。
【0167】
(付記14)
前記合致度が所定の値より高い前記組がある場合に、前記対象物の位置を推定する推定部
をさらに備える、付記1から付記13のいずれか一項に記載の情報出力装置。
【0168】
(付記15)
前記推定部は、前記受信電波情報と前記対象電波情報との間の合致の度合いを示す電波合致度が所定の値より高い前記受信電波情報が複数ある場合に、当該受信電波情報の送信元の電波センサによって電波が受信されるエリアが重なっている場所を、前記対象物の位置として推定する、
付記14に記載の情報出力装置。
【0169】
(付記16)
前記推定部は、前記受信電波情報と前記対象電波情報との間の合致の度合いを示す電波合致度が所定の値より高い前記受信電波情報が複数ある場合に、電波を発する発信源の位置の特定に使用できる情報である位置特定情報に基づいて、前記対象物の位置を推定する、
付記14に記載の情報出力装置。
【0170】
(付記17)
前記推定部は、前記対象物の位置に基づいて、前記対象物の移動方向を推定する、
付記14から付記16のいずれか一項に記載の情報出力装置。
【0171】
(付記18)
前記出力部は、前記対象物の前記移動方向に設置されている前記カメラを特定し、前記カメラで撮影された画像の情報を、前記出力情報に含めて出力する、
付記17に記載の情報出力装置。
【0172】
(付記19)
カメラによって撮影された画像の情報である撮影画像情報を、複数の前記カメラから受信する画像情報受信手段と、
電波センサによって受信された電波の情報である受信電波情報を、複数の前記電波センサから受信する電波情報受信手段と、
前記カメラと当該カメラに対応付けられている前記電波センサとの組の各々について、前記組の前記カメラから受信した前記撮影画像情報、および、前記組の前記電波センサから受信した前記受信電波情報を含む受信情報と、対象物の画像の情報である対象画像情報、および、前記対象物に対応付けられている無線通信端末が発する電波の情報である対象電波情報を含む対象物情報との間の合致度を算出する算出手段と、
前記合致度の算出結果に関する情報である出力情報を出力する出力手段と
を備え、
前記算出手段は、前記合致度の算出において、前記撮影画像情報および前記受信電波情報の各々に対する重み係数を、前記組に応じて変更する、
情報出力システム。
【0173】
(付記20)
カメラによって撮影された画像の情報である撮影画像情報を、複数の前記カメラから受信し、
電波センサによって受信された電波の情報である受信電波情報を、複数の前記電波センサから受信し、
前記カメラと当該カメラに対応付けられている前記電波センサとの組の各々について、前記組の前記カメラから受信した前記撮影画像情報、および、前記組の前記電波センサから受信した前記受信電波情報を含む受信情報と、対象物の画像の情報である対象画像情報、および、前記対象物に対応付けられている無線通信端末が発する電波の情報である対象電波情報を含む対象物情報との間の合致度を算出し、
前記合致度の算出結果に関する情報である出力情報を出力し、
前記合致度の算出において、前記撮影画像情報および前記受信電波情報の各々に対する重み係数を、前記組に応じて変更する、
情報出力方法。
【0174】
(付記21)
前記撮影画像情報と前記対象画像情報と間の合致の度合いを示す画像合致度と、前記受信電波情報と前記対象電波情報との間の合致の度合いを示す電波合致度とを算出し、前記画像合致度と前記電波合致度とに基づいて、前記合致度を算出する、
付記20に記載の情報出力方法。
【0175】
(付記22)
前記撮影画像情報に対する重み係数を、前記組の前記カメラが設置されている場所の明るさに関する情報である明るさ情報に応じて変更する、
付記20または付記21に記載の情報出力方法。
【0176】
(付記23)
前記撮影画像情報に対する重み係数を、前記撮影画像情報によって示される画像が撮影された時間帯に応じて変更する、
付記20から付記22のいずれか一項に記載の情報出力方法。
【0177】
(付記24)
前記撮影画像情報に対する重み係数を、前記撮影画像情報によって示される画像の明るさに応じて変更する、
付記20から付記23のいずれか一項に記載の情報出力方法。
【0178】
(付記25)
前記撮影画像情報に対する重み係数を、前記組の前記カメラの解像度を示す解像度情報に応じて変更する、
付記20から付記24のいずれか一項に記載の情報出力方法。
【0179】
(付記26)
前記受信電波情報に対する重み係数を、前記受信電波情報の信頼度を示す信頼度情報に応じて変更する、
付記20から付記25のいずれか一項に記載の情報出力方法。
【0180】
(付記27)
前記受信電波情報に対する重み係数を、前記受信電波情報によって示される電波が前記電波センサで受信された時間帯に応じて変更する、
付記20から付記26のいずれか一項に記載の情報出力方法。
【0181】
(付記28)
前記受信電波情報に対する重み係数を、前記受信電波情報によって示される電波の受信レベルに応じて変更する、
付記20から付記27のいずれか一項に記載の情報出力方法。
【0182】
(付記29)
前記出力情報は、所定の条件を満たす前記合致度が算出された前記組についての情報を含む、
付記20から付記28のいずれか一項に記載の情報出力方法。
【0183】
(付記30)
前記条件は、前記合致度が所定の値より高く、かつ、最も前記合致度が高いことである、
付記29に記載の情報出力方法。
【0184】
(付記31)
前記出力情報は、前記条件を満たす前記合致度が算出された前記組についての、前記カメラの設置位置の情報および前記電波センサの設置位置の情報の少なくともいずれかを含む、
付記29または付記30に記載の情報出力方法。
【0185】
(付記32)
前記出力情報は、前記条件を満たす前記合致度が算出された前記組についての、前記合致度の情報を含む、
付記29から付記31のいずれか一項に記載の情報出力方法。
【0186】
(付記33)
前記合致度が所定の値より高い前記組がある場合に、前記対象物の位置を推定する、
付記20から付記32のいずれか一項に記載の情報出力方法。
【0187】
(付記34)
前記受信電波情報と前記対象電波情報との間の合致の度合いを示す電波合致度が所定の値より高い前記受信電波情報が複数ある場合に、当該受信電波情報の送信元の電波センサによって電波が受信されるエリアが重なっている場所を、前記対象物の位置として推定する、
付記33に記載の情報出力方法。
【0188】
(付記35)
前記受信電波情報と前記対象電波情報との間の合致の度合いを示す電波合致度が所定の値より高い前記受信電波情報が複数ある場合に、電波を発する発信源の位置の特定に使用できる情報である位置特定情報に基づいて、前記対象物の位置を推定する、
付記33に記載の情報出力方法。
【0189】
(付記36)
前記対象物の位置に基づいて、前記対象物の移動方向を推定する、
付記33から付記35のいずれか一項に記載の情報出力方法。
【0190】
(付記37)
前記対象物の前記移動方向に設置されている前記カメラを特定し、前記カメラで撮影された画像の情報を、前記出力情報に含めて出力する、
付記36に記載の情報出力方法。
【0191】
(付記38)
コンピュータに、
カメラによって撮影された画像の情報である撮影画像情報を、複数の前記カメラから受信する画像情報受信機能と、
電波センサによって受信された電波の情報である受信電波情報を、複数の前記電波センサから受信する電波情報受信機能と、
前記カメラと当該カメラに対応付けられている前記電波センサとの組の各々について、前記組の前記カメラから受信した前記撮影画像情報、および、前記組の前記電波センサから受信した前記受信電波情報を含む受信情報と、対象物の画像の情報である対象画像情報、および、前記対象物に対応付けられている無線通信端末が発する電波の情報である対象電波情報を含む対象物情報との間の合致度を算出する算出機能と、
前記合致度の算出結果に関する情報である出力情報を出力する出力機能と
を実現させ、
前記算出機能は、前記合致度の算出において、前記撮影画像情報および前記受信電波情報の各々に対する重み係数を、前記組に応じて変更する、
情報出力プログラム。
【0192】
(付記39)
前記算出機能は、前記撮影画像情報と前記対象画像情報と間の合致の度合いを示す画像合致度と、前記受信電波情報と前記対象電波情報との間の合致の度合いを示す電波合致度とを算出し、前記画像合致度と前記電波合致度とに基づいて、前記合致度を算出する、
付記38に記載の情報出力プログラム。
【0193】
(付記40)
前記算出機能は、前記撮影画像情報に対する重み係数を、前記組の前記カメラが設置されている場所の明るさに関する情報である明るさ情報に応じて変更する、
付記38または付記39に記載の情報出力プログラム。
【0194】
(付記41)
前記算出機能は、前記撮影画像情報に対する重み係数を、前記撮影画像情報によって示される画像が撮影された時間帯に応じて変更する、
付記38から付記40のいずれか一項に記載の情報出力プログラム。
【0195】
(付記42)
前記算出機能は、前記撮影画像情報に対する重み係数を、前記撮影画像情報によって示される画像の明るさに応じて変更する、
付記38から付記41のいずれか一項に記載の情報出力プログラム。
【0196】
(付記43)
前記算出機能は、前記撮影画像情報に対する重み係数を、前記組の前記カメラの解像度を示す解像度情報に応じて変更する、
付記38から付記42のいずれか一項に記載の情報出力プログラム。
【0197】
(付記44)
前記算出機能は、前記受信電波情報に対する重み係数を、前記受信電波情報の信頼度を示す信頼度情報に応じて変更する、
付記38から付記43のいずれか一項に記載の情報出力プログラム。
【0198】
(付記45)
前記算出機能は、前記受信電波情報に対する重み係数を、前記受信電波情報によって示される電波が前記電波センサで受信された時間帯に応じて変更する、
付記38から付記44のいずれか一項に記載の情報出力プログラム。
【0199】
(付記46)
前記算出機能は、前記受信電波情報に対する重み係数を、前記受信電波情報によって示される電波の受信レベルに応じて変更する、
付記38から付記45のいずれか一項に記載の情報出力プログラム。
【0200】
(付記47)
前記出力情報は、所定の条件を満たす前記合致度が算出された前記組についての情報を含む、
付記38から付記46のいずれか一項に記載の情報出力プログラム。
【0201】
(付記48)
前記条件は、前記合致度が所定の値より高く、かつ、最も前記合致度が高いことである、
付記47に記載の情報出力プログラム。
【0202】
(付記49)
前記出力情報は、前記条件を満たす前記合致度が算出された前記組についての、前記カメラの設置位置の情報および前記電波センサの設置位置の情報の少なくともいずれかを含む、
付記47または付記48に記載の情報出力プログラム。
【0203】
(付記50)
前記出力情報は、前記条件を満たす前記合致度が算出された前記組についての、前記合致度の情報を含む、
付記47から付記49のいずれか一項に記載の情報出力プログラム。
【0204】
(付記51)
前記合致度が所定の値より高い前記組がある場合に、前記対象物の位置を推定する推定機能
をさらにコンピュータに実現させる、付記38から付記50のいずれか一項に記載の情報出力プログラム。
【0205】
(付記52)
前記推定機能は、前記受信電波情報と前記対象電波情報との間の合致の度合いを示す電波合致度が所定の値より高い前記受信電波情報が複数ある場合に、当該受信電波情報の送信元の電波センサによって電波が受信されるエリアが重なっている場所を、前記対象物の位置として推定する、
付記51に記載の情報出力プログラム。
【0206】
(付記53)
前記推定機能は、前記受信電波情報と前記対象電波情報との間の合致の度合いを示す電波合致度が所定の値より高い前記受信電波情報が複数ある場合に、電波を発する発信源の位置の特定に使用できる情報である位置特定情報に基づいて、前記対象物の位置を推定する、
付記51に記載の情報出力プログラム。
【0207】
(付記54)
前記推定機能は、前記対象物の位置に基づいて、前記対象物の移動方向を推定する、
付記51から付記53のいずれか一項に記載の情報出力プログラム。
【0208】
(付記55)
前記出力機能は、前記対象物の前記移動方向に設置されている前記カメラを特定し、前記カメラで撮影された画像の情報を、前記出力情報に含めて出力する、
付記54に記載の情報出力プログラム。
【0209】
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【符号の説明】
【0210】
10、20、30、40 情報出力装置
11、21 画像情報受信部
12、22 電波情報受信部
13、23 算出部
14、24 出力部
35 推定部
46 制御部
50-i 電波センサ
60-j カメラ
70 表示手段
80 監視システム
90 情報処理装置
91 通信インタフェース
92 入出力インタフェース
93 演算装置
94 記憶装置
95 不揮発性記憶装置
96 ドライブ装置
97 記録媒体