IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ パナソニックi−PROセンシングソリューションズ株式会社の特許一覧

<>
  • 特許-画像合成システムおよび画像合成方法 図1
  • 特許-画像合成システムおよび画像合成方法 図2
  • 特許-画像合成システムおよび画像合成方法 図3
  • 特許-画像合成システムおよび画像合成方法 図4
  • 特許-画像合成システムおよび画像合成方法 図5
  • 特許-画像合成システムおよび画像合成方法 図6
  • 特許-画像合成システムおよび画像合成方法 図7
  • 特許-画像合成システムおよび画像合成方法 図8
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-08-07
(45)【発行日】2023-08-16
(54)【発明の名称】画像合成システムおよび画像合成方法
(51)【国際特許分類】
   H04N 7/18 20060101AFI20230808BHJP
   H04N 5/765 20060101ALI20230808BHJP
【FI】
H04N7/18 D
H04N7/18 V
H04N5/765
【請求項の数】 10
(21)【出願番号】P 2019159100
(22)【出願日】2019-08-30
(65)【公開番号】P2021040200
(43)【公開日】2021-03-11
【審査請求日】2022-07-28
(73)【特許権者】
【識別番号】320008672
【氏名又は名称】i-PRO株式会社
(74)【代理人】
【識別番号】110002000
【氏名又は名称】弁理士法人栄光事務所
(72)【発明者】
【氏名】小口 隆恵
【審査官】鈴木 隆夫
(56)【参考文献】
【文献】特開2015-002423(JP,A)
【文献】特開2018-061214(JP,A)
【文献】特開2017-060158(JP,A)
【文献】特開2015-002553(JP,A)
【文献】特開2019-040368(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 7/18
H04N 5/765
(57)【特許請求の範囲】
【請求項1】
複数のカメラと、前記複数のカメラのそれぞれとの間で通信可能に接続されるサーバと、を含む画像合成システムであって、
前記複数のカメラのそれぞれは、
特定のオブジェクトを撮像した個々の撮像画像を前記サーバに送り、
前記サーバは、
前記複数のカメラのそれぞれから送られた前記個々の撮像画像に映る前記特定のオブジェクトの特徴要素を有するメタ情報を抽出し、前記メタ情報と対応する撮像画像とを対応付けて記録し、
前記個々の撮像画像に対応する前記メタ情報に基づいて、前記特定のオブジェクトの特徴要素が一致する複数の撮像画像を合成した合成画像を生成してビューア装置に送る、
画像合成システム。
【請求項2】
前記サーバは、
前記合成画像の生成に用いた前記複数の撮像画像のそれぞれの撮像時刻に対して時間的に前後する前後撮像画像を用いて、前記特定のオブジェクトの特徴要素が一致する複数の前後撮像画像を合成した1以上の前後合成画像を生成し、前記合成画像と前記1以上の前後合成画像とを繋げた空間画像を生成して前記ビューア装置に送る、
請求項1に記載の画像合成システム。
【請求項3】
前記複数のカメラのそれぞれは、
位置情報を取得可能であり、前記特定のオブジェクトの位置情報と撮像時刻とを撮像画像に対応付けて前記サーバに送り、
前記サーバは、
前記複数のカメラのそれぞれから送られた前記個々の撮像画像に対応する位置情報および撮像時刻が同一である場合に、前記個々の撮像画像に同一の事件管理番号を付与して記録する、
請求項1に記載の画像合成システム。
【請求項4】
前記サーバは、
前記同一の事件管理番号が付与された前記個々の撮像画像を用いて、前記特定のオブジェクトの特徴要素を有する前記メタ情報を抽出する、
請求項3に記載の画像合成システム。
【請求項5】
前記複数のカメラは、
複数の警官のそれぞれにより装着されるウェアラブルカメラである、
請求項1~4のうちいずれか一項に記載の画像合成システム。
【請求項6】
前記複数のカメラは、
1人以上の警官のそれぞれにより装着されるウェアラブルカメラと、前記警官が乗車する警察車両に設けられる車載カメラである、
請求項1~4のうちいずれか一項に記載の画像合成システム。
【請求項7】
前記空間画像は、
前記合成画像と1以上の前記前後合成画像とが結合され、前記合成画像および1以上の前記前後合成画像のそれぞれに映る撮像エリアと比べて広い撮像エリアが前記カメラによって撮像された画像を構成する、
請求項2に記載の画像合成システム。
【請求項8】
複数のカメラと、前記複数のカメラのそれぞれとの間で通信可能に接続されるサーバと、を含む画像合成システムにより実行される画像合成方法であって、
特定のオブジェクトを撮像した個々の撮像画像を前記サーバに送り、
前記複数のカメラのそれぞれから送られた前記個々の撮像画像に映る前記特定のオブジェクトの特徴要素を有するメタ情報を抽出し、前記メタ情報と対応する撮像画像とを対応付けて記録し、
前記個々の撮像画像に対応する前記メタ情報に基づいて、前記特定のオブジェクトの特徴要素が一致する複数の撮像画像を合成した合成画像を生成してビューア装置に送る、
画像合成方法。
【請求項9】
カメラと、前記カメラとの間で通信可能に接続されるサーバと、を含む画像合成システムであって、
前記カメラは、
特定のオブジェクトを撮像した、時間的に前後する複数の撮像画像を前記サーバに送り、
前記サーバは、
前記カメラから送られた前記複数の撮像画像のそれぞれに映る前記特定のオブジェクトの特徴要素を有するメタ情報を抽出し、前記メタ情報と対応する撮像画像とを対応付けて記録し、
前記複数の撮像画像のそれぞれに対応する前記メタ情報に基づいて、前記特定のオブジェクトの特徴要素が一致する複数の撮像画像を合成した空間画像を生成してビューア装置に送る、
画像合成システム。
【請求項10】
カメラと、前記カメラとの間で通信可能に接続されるサーバと、を含む画像合成システムにより実行される画像合成方法であって、
特定のオブジェクトを撮像した、時間的に前後する複数の撮像画像を前記サーバに送り、
前記カメラから送られた前記複数の撮像画像のそれぞれに映る前記特定のオブジェクトの特徴要素を有するメタ情報を抽出し、前記メタ情報と対応する撮像画像とを対応付けて記録し、
前記複数の撮像画像のそれぞれに対応する前記メタ情報に基づいて、前記特定のオブジェクトの特徴要素が一致する複数の撮像画像を合成した空間画像を生成してビューア装置に送る、
画像合成方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、画像合成システムおよび画像合成方法に関する。
【背景技術】
【0002】
特許文献1には、複数の監視カメラと、複数の監視カメラで撮影した複数の映像を結合して1つの結合映像とする映像変換結合部と、結合映像を符号化するエンコーダと、エンコーダから伝送路を介して伝送された結合映像を復号するデコーダと、復号された結合映像を複数の監視カメラで撮影した映像を表示画面に表示する表示装置と、を備えた映像監視システムが開示されている。
【先行技術文献】
【特許文献】
【0003】
【文献】国際公開第2016/174946号
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献1の構成では、複数の監視カメラで撮影した映像を表示装置において表示画面に表示する際、結合映像を生成するために使用された複数の映像のうちいずれか一つが選択された上で表示される。このため、特許文献1では、表示装置に伝送する際に一度に多くの映像を効率的に送るために複数の映像を結合して結合映像を生成することの技術的開示はあるが、これらの複数の映像を結合して撮影された地点の広範囲な映像を表示することはできなかった。このため、例えば事件あるいは事故が発生した現場等の注目するべき地点を複数のカメラにより撮影した際に、撮影された複数の映像を結合して広範囲の現場の映像を得ることはできない。
【0005】
本開示は、上述した従来の状況に鑑みて案出され、注目するべき地点の広範囲の映像を得て、その地点の周囲の状況の観察および把握を効果的に支援する画像合成システムおよび画像合成方法を提供することを目的とする。
【課題を解決するための手段】
【0006】
本開示は、複数のカメラと、前記複数のカメラのそれぞれとの間で通信可能に接続されるサーバと、を含む画像合成システムであって、前記複数のカメラのそれぞれは、特定のオブジェクトを撮像した個々の撮像画像を前記サーバに送り、前記サーバは、前記複数のカメラのそれぞれから送られた前記個々の撮像画像に映る前記特定のオブジェクトの特徴要素を有するメタ情報を抽出し、前記メタ情報と対応する撮像画像とを対応付けて記録し、前記個々の撮像画像に対応する前記メタ情報に基づいて、前記特定のオブジェクトの特徴要素が一致する複数の撮像画像を合成した合成画像を生成してビューア装置に送る、画像合成システムを提供する。
【0007】
また、本開示は、複数のカメラと、前記複数のカメラのそれぞれとの間で通信可能に接続されるサーバと、を含む画像合成システムにより実行される画像合成方法であって、特定のオブジェクトを撮像した個々の撮像画像を前記サーバに送り、前記複数のカメラのそれぞれから送られた前記個々の撮像画像に映る前記特定のオブジェクトの特徴要素を有するメタ情報を抽出し、前記メタ情報と対応する撮像画像とを対応付けて記録し、前記個々の撮像画像に対応する前記メタ情報に基づいて、前記特定のオブジェクトの特徴要素が一致する複数の撮像画像を合成した合成画像を生成してビューア装置に送る、画像合成方法を提供する。
【0008】
また、本開示は、カメラと、前記カメラとの間で通信可能に接続されるサーバと、を含む画像合成システムであって、前記カメラは、特定のオブジェクトを撮像した、時間的に前後する複数の撮像画像を前記サーバに送り、前記サーバは、前記カメラから送られた前記複数の撮像画像のそれぞれに映る前記特定のオブジェクトの特徴要素を有するメタ情報を抽出し、前記メタ情報と対応する撮像画像とを対応付けて記録し、前記複数の撮像画像のそれぞれに対応する前記メタ情報に基づいて、前記特定のオブジェクトの特徴要素が一致する複数の撮像画像を合成した空間画像を生成してビューア装置に送る、画像合成システムを提供する。
【0009】
また、本開示は、カメラと、前記カメラとの間で通信可能に接続されるサーバと、を含む画像合成システムにより実行される画像合成方法であって、特定のオブジェクトを撮像した、時間的に前後する複数の撮像画像を前記サーバに送り、前記カメラから送られた前記複数の撮像画像のそれぞれに映る前記特定のオブジェクトの特徴要素を有するメタ情報を抽出し、前記メタ情報と対応する撮像画像とを対応付けて記録し、前記複数の撮像画像のそれぞれに対応する前記メタ情報に基づいて、前記特定のオブジェクトの特徴要素が一致する複数の撮像画像を合成した空間画像を生成してビューア装置に送る、画像合成方法を提供する。
【発明の効果】
【0010】
本開示によれば、注目するべき地点の広範囲の映像を得て、その地点の周囲の状況の観察および把握を効果的に支援することができる。
【図面の簡単な説明】
【0011】
図1】実施の形態1に係るウェアラブルカメラシステムのシステム構成例を示す概要説明図
図2】ウェアラブルカメラのハードウェア構成例を示すブロック図
図3】車載PCのハードウェア構成例を示すブロック図
図4】実施の形態1に係るウェアラブルカメラシステムの動作手順例を時系列に示すシーケンス図
図5】同一の事件番号が付与された撮像画像を含む空間画像および撮像エリアの一例を示す図
図6】同一の事件番号が付与された複数枚の撮像画像を用いて空間画像を生成する動作例を説明する図
図7】実施の形態2に係るウェアラブルカメラシステムの動作手順例を時系列に示すシーケンス図
図8】1台のウェアラブルカメラで撮像された複数枚の画像を用いて空間画像を生成する動作例を説明する図
【発明を実施するための形態】
【0012】
以下、適宜図面を参照しながら、本開示に係る画像合成システムおよび画像合成方法を具体的に開示した実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
【0013】
(実施の形態1)
図1は、実施の形態1に係るウェアラブルカメラシステム1のシステム構成例を示す概要説明図である。画像合成システムの一例としてのウェアラブルカメラシステム1は、例えば現場(Field)に到着したユーザの一例としての警官が装着しているウェアラブルカメラ10と、警察署(Police Station)内に配置される各種の機器と、現場に到着したパトロールカー等の警察車両VC1(Police Vehicle)内に搭載される各種の機器とにより構成される。ウェアラブルカメラ10は、警察署内で使用されてもよいし、警察署外(例えば警察車両VC1内あるいは現場)で使用されてもよい。ウェアラブルカメラ10は、BWC(Body Worn Camera)と称されることがある。事件等に関する注目地点の一例としての現場は、例えば事件が発生した地点、あるいは犯人が存在するあるいは立てこもっている地点である。
【0014】
警察署内に配置される各種の機器は、例えば、バックエンドストリーミングサーバ60(BSS:Back end Streaming Server)、バックエンドサーバ70(BES:Back End Server)、バックエンドクライアント80(BEC:Back End Client)、1以上の無線LAN(Local Area Network)アクセスポイント、複数のウェアラブルカメラ10を一括して充電可能な充電装置の一例としてのギャングチャージャ90を少なくとも含むが、これらに限定されない。なお、無線LANアクセスポイントは、車載カメラシステム50と警察署内のサーバ(例えばバックエンドサーバ70)との間の通信を仲介する。
【0015】
警察車両VC1内に搭載される各種の機器は、例えば、車載カメラシステム50(ICV:In-Car Video system)、トリガー装置の一例としてのコモントリガーボックス54(CTB:Common Trigger Box)、充電装置(PD:Pairing Dock)の一例としての充電台55、回転警告灯PL1を少なくとも含むが、これらに限定されない。例えば、警察署との連絡を行うために警官が所持するスマートフォンも含まれてもよい。なお、コモントリガーボックス54は車載カメラシステム50に含まれてもよい。
【0016】
カメラの一例としてのウェアラブルカメラ10は、警官の制服に装着され、警官の前方の状況を被写体として撮像して一定時間分の撮像映像を記録(つまり録画)し、撮像映像を有線(例えばUSBケーブル)あるいは無線(例えばコモントリガーボックス54)を介して車載カメラシステム50に送る。ウェアラブルカメラ10は、警察署内の無線LANアクセスポイントと無線通信が可能に接続されたことを検知した際に、無線LANアクセスポイントを介して接続されたバックエンドサーバ70に撮像映像を送ってもよい。ウェアラブルカメラ10は、警官の手動でギャングチャージャ90の充電面に載置されたことを検知した際に、充電を行ってよい。
【0017】
なお、ウェアラブルカメラ10、および後述する車載カメラ51の撮像対象となる被写体は、単に人物だけではなく、事件の現場の情景、現場の近くに群がる群衆(いわゆる野次馬)、更に、撮像位置の周囲の雰囲気を含んでよい。
【0018】
車載カメラシステム50は、1以上の車載カメラ51と車載PC52と車載レコーダ53とを有し、警察車両VC1が到着した現場の状況を車載カメラ51により撮像し、撮像により得られた映像(以下「撮像映像」という)を車載レコーダ53に記録(つまり録画)する。車載カメラ51と車載PC52と車載レコーダ53とは、それぞれデータあるいは情報の送受信が可能に有線で接続されるが、無線で接続されても構わない。また、車載カメラシステム50(例えば車載PC52)とウェアラブルカメラ10とは、データあるいは情報の送受信が可能に有線(例えばUSB(Universal Serial Bus)対応のUSBケーブル)で接続されてよい。
【0019】
カメラの一例としての車載カメラ51は、例えば警察車両VC1の前方を撮像可能に取り付けられた前方カメラ、警察車両VC1の側面方向を撮像可能に取り付けられた側方カメラ、警察車両VC1の後方を撮像可能に取り付けられた後方カメラ、のうち少なくとも1つであってよい。車載カメラ51は撮像映像を車載レコーダ53に送り、この撮像映像は車載レコーダ53に記録される。
【0020】
車載PC52は、警官の操作に応じて、車載カメラ51および車載レコーダ53のそれぞれの動作を制御する。また、詳細は後述するが、ビューア装置の一例としての車載PC52は、警察車両VC1に乗車中の警官の操作により、同一時間帯に1以上のウェアラブルカメラ10,車載カメラ51のそれぞれにより撮像された撮像映像を車載レコーダ53から読み出して表示して再生してよい。これにより、車載PC52を使用する警官は、同一時間帯にウェアラブルカメラ10および車載カメラ51のそれぞれで撮像された現場の撮像映像を簡易に視聴でき、広域に現場等の状況を確認できて当時の状況を鮮明に思い出す等、自身の業務効率を向上できる。なお、車載PC52は、USBケーブルを介してウェアラブルカメラ10と接続されたことを検知すると、ウェアラブルカメラ10に給電してウェアラブルカメラ10を充電してよい。
【0021】
車載レコーダ53は、ウェアラブルカメラ10および車載カメラ51のそれぞれにより撮像された撮像映像を記録する。車載PC52は、警官の操作により、ウェアラブルカメラ10により撮像された撮像映像を車載レコーダ53から読み出して取得したり、車載PC52内にインストールされている既定のアプリケーションにおいてウェアラブルカメラ10の撮像映像を単独で再生したり、そのアプリケーションにおいて撮像映像の属性情報を付与したりしてもよい。同様に、車載PC52は、警官の操作により、車載カメラ51により撮像された撮像映像を車載レコーダ53から読み出して取得したり、車載PC52内にインストールされている既定のアプリケーションにおいて車載カメラ51の撮像映像を単独で再生したり、そのアプリケーションにおいて撮像映像の属性情報を付与したりしてもよい。
【0022】
車載カメラシステム50は、コモントリガーボックス54と有線(例えばLANケーブル)で接続され、コモントリガーボックス54からの指令に応じた動作を行う。コモントリガーボックス54からの指令に応じた動作は、例えば、車載カメラ51の撮像映像の記録(つまり録画)の開始あるいは停止、ウェアラブルカメラ10の撮像映像の記録(つまり録画)の開始あるいは停止、が含まれる。なお、車載カメラシステム50は、コモントリガーボックス54を介してウェアラブルカメラ10との間でデータあるいは情報の無線通信が可能に接続されてもよい。
【0023】
車載カメラシステム50は、コモントリガーボックス54およびネットワークNW1を介して、ウェアラブルカメラ10および車載カメラ51のそれぞれの撮像映像(例えば撮像されているリアルタイムのライブ映像)を、バックエンドストリーミングサーバ60にストリーミングしてよい。ネットワークNW1は、例えばモバイル通信ネットワーク網またはインターネット網である。車載カメラシステム50(例えば車載PC52)は、警察署内の無線LANアクセスポイントと無線通信が可能に接続されたことを検知した際(例えば警察車両VC1が警察署の敷地内の駐車場に駐車した時)、無線LANアクセスポイントを介して、ウェアラブルカメラ10および車載カメラ51のそれぞれの撮像映像(例えば録画された過去の撮像映像)を、バックエンドサーバ70に送ってよい。
【0024】
コモントリガーボックス54は、回転警告灯PL1、加速度センサ(図示略)、サイレン(図示略)、車載カメラシステム50、充電台55との間でそれぞれ有線(例えばGPIO(物理ケーブル)あるいはLANケーブル)、あるいは各機器がIoT(Internet Of Things)化することに対応して無線によって接続される。コモントリガーボックス54は、ウェアラブルカメラ10が充電台55に載置された時には充電台55を介してウェアラブルカメラ10とも接続可能である。
【0025】
コモントリガーボックス54は、例えば車載カメラシステム50との間が有線(例えばLANケーブル)で接続される場合に、所定の事象を検知した時に車載カメラシステム50に、アラーム通知(例えば録画開始または録画停止の制御信号)を送る。これにより、車載カメラシステム50は、コモントリガーボックス54からの制御信号に応じた動作として、例えば車載カメラ51で撮像された撮像映像の車載レコーダ53への記録(録画)を開始したり、その記録(録画)を停止したりできる。コモントリガーボックス54は、例えば回転警告灯PL1あるいはサイレン等の警察車両搭載機器からの動作開始信号を取得すると、その警察車両搭載機器の使用開始を検知し、コモントリガーボックス54に接続されたウェアラブルカメラ10および車載カメラシステム50の少なくとも一方に、録画開始あるいは録画停止の制御信号を送ってもよい。これにより、ウェアラブルカメラ10および車載カメラシステム50の少なくとも一方は、コモントリガーボックス54からの制御信号に応じた動作として、例えば回転警告灯PL1の回転開始あるいはサイレンの音声出力に伴って、撮像映像の録画を開始したり停止したりできる。
【0026】
充電台55は、例えば警察車両VC1の既定位置(例えばセンターコンソールの付近)に配置され、コモントリガーボックス54との間で有線(例えばLANケーブルを使ったPoE(Power over Ethernet(登録商標)))によって接続される。充電台55は、ウェアラブルカメラ10が載置されるための収容部(図示略)を有する。充電台55は、収容部(図示略)にウェアラブルカメラ10が載置されたことを検知すると、コモントリガーボックス54からの供給電流に基づいてウェアラブルカメラ10のバッテリを充電可能である。
【0027】
警官により所持されるスマートフォン(上述参照)は、電話機能および無線通信機能(例えば車載カメラシステム50との通信)を有し、例えば警察署からの緊急連絡あるいは警察署への緊急連絡時に使用される。スマートフォンは、警官の操作に従って、ウェアラブルカメラ10あるいは車載カメラ51の撮像映像を表示して再生したり、その撮像映像にメタ情報と言われる属性情報(メタ情報ともいう)を付与する等の編集をしたりする。属性情報は、例えば、撮像映像の内容を直接的あるいは間接的に示唆する事件種別であってよい。
【0028】
スマートフォンは、テザリング機能を有し、このテザリング機能を用いて、車載カメラシステム50からのウェアラブルカメラ10および車載カメラ51のそれぞれの撮像映像を、ネットワークNW1を介して警察署内のバックエンドストリーミングサーバ60に中継してもよい。ここで、車載カメラシステム50とスマートフォンとの間には、例えばBLE(Bluetooth(登録商標) Low Energy)またはWifi(登録商標)等の無線LANが用いられる。
【0029】
サーバの一例としてのバックエンドストリーミングサーバ60は、高性能なサーバコンピュータおよびストレージを有して構成され、車載カメラシステム50からコモントリガーボックス54およびネットワークNW1を介してストリーミングされた撮像映像(例えばライブ映像)を受信してバックエンドサーバ70に転送する。
【0030】
サーバの一例としてのバックエンドサーバ70は、高性能なサーバコンピュータおよびストレージを有して構成され、事件の証拠映像を管理する。バックエンドサーバ70は、バックエンドクライアント80を使用するユーザ(例えば警察署内の解析専門官)の操作に応じた要求に従い、例えばウェアラブルカメラ10および車載カメラ51のそれぞれの撮像映像を構成する画像フレーム中の顔の検知、認識、照合等の各種の画像処理を含む映像解析機能を有する。
【0031】
ビューア装置の一例としてのバックエンドクライアント80は、例えばPC(Personal Computer)等のコンピュータにより構成され、ユーザ(例えば警察署内の解析専門官)の操作により、不審人物データベース(図示略)にアクセスして犯罪者等の事件に関する情報を検索してその検索結果をディスプレイデバイス上に表示可能なブラウザあるいは専用アプリケーションを有する。ディスプレイデバイスは、例えばバックエンドクライアント80に設けられたLCD(Liquid Crystal Display)あるいは有機EL(Electroluminescence)により構成される。不審人物データベースには、例えば指名手配中の人物あるいは過去の犯罪者等が事件を識別する情報(例えば事件番号)に対応付けて予め登録されている。また、ビューア装置の一例としてのバックエンドクライアント80は、ユーザ(例えば警察署内の解析専門官)の操作により、同一時間帯にウェアラブルカメラ10,車載カメラ51のそれぞれにより撮像された撮像映像をバックエンドサーバ70から読み出して表示して再生する。これにより、バックエンドクライアント80のユーザは、同一時間帯にウェアラブルカメラ10および車載カメラ51のそれぞれで撮像された現場の撮像映像を簡易に視聴できるので、広域に現場等の状況を確認できて当時の状況を鮮明に特定する等、自身の業務効率を向上できる。
【0032】
無線LANアクセスポイントは、車載カメラシステム50と無線LANによって無線接続し、例えば車載カメラシステム50から送られた撮像映像を中継してバックエンドサーバ70に転送する。
【0033】
ギャングチャージャ90は、複数の警官のそれぞれが装着するウェアラブルカメラ10を所定の充電面上に載置可能であり、載置された個々のウェアラブルカメラ10に内蔵されるバッテリを充電する。
【0034】
図2は、ウェアラブルカメラ10のハードウェア構成例を示すブロック図である。ウェアラブルカメラ10は、撮像部11と、GPIO12(General PurposeInput/Output)と、RAM13(Random Access Memory)と、ROM14(Read Only Memory)と、記憶部15とを含む。ウェアラブルカメラ10は、EEPROM16(Electrically Erasable Programmable ROM)と、RTC17(Real Time Clock)と、GNSS(Global Navigation Satellite System)受信部18とを含む。ウェアラブルカメラ10は、MCU19(Micro Contoller Unit)と、BLE通信部21Aと、WLAN通信部21Bと、USBインターフェース22と、コンタクトターミナル23と、電源部24と、バッテリ25とを含む。なお、添付図面においてインターフェースを「I/F」と略記している。
【0035】
ウェアラブルカメラ10は、録画スイッチSW1と、スナップショットスイッチSW2と、通信モードスイッチSW3と、属性情報付与スイッチSW4と、無線登録スイッチSW5とを含む。
【0036】
ウェアラブルカメラ10は、3個のLED26a,26b,26c(Light Emission Diode)と、バイブレータ27と、音声出力部28と、マイク29Aと、スピーカ29Bと、イヤホン端子29Cとを含む。
【0037】
撮像部11は、撮像レンズ115と、CCD(Charge Coupled Device)型イメージセンサあるいはCMOS(Complementary Metal Oxide Semiconductor)型イメージセンサによる固体撮像素子とを有する。撮像部11は、撮像により得られた被写体の撮像映像のデータをMCU19に出力する。
【0038】
コンタクトターミナル23の検知端子23Tは、ウェアラブルカメラ10が充電台55あるいはギャングチャージャ90に載置された場合、あるいは充電台55あるいはギャングチャージャ90から取り外された場合に電圧変化が生じる端子である。コンタクトターミナル23の検知端子23Tは、ADコンバータCVに接続される。検知端子23Tの電圧変化を示す信号は、ADコンバータCVにおいてデジタル信号に変換され、そのデジタル信号がI2C20を介してMCU19に入力される。
【0039】
GPIO12は、パラレルインターフェースである。GPIO12には、録画スイッチSW1、スナップショットスイッチSW2、通信モードスイッチSW3、属性情報付与スイッチSW4、無線登録スイッチSW5、LED26a,26b,26c、バイブレータ27、音声出力部28、マイク29A、スピーカ29Bおよびイヤホン端子29Cのそれぞれが接続される。GPIO12は、これらの各種電子部品とMCU19との間で信号を入出力する。
【0040】
マイク29Aは、ウェアラブルカメラ10の周囲の音声を収音し、収音された音声の音声データを、GPIO12を介してMCU19に出力する。なお、マイク29Aは、ウェアラブルカメラ10の筐体に収容された内蔵マイクであってもよいし、ウェアラブルカメラ10と無線接続されたワイヤレスマイクであってもよい。ワイヤレスマイクの場合、警官が任意の箇所に取り付けることで、収音性を高めることができる。
【0041】
音声出力部28は、MCU19の指示の下で、ウェアラブルカメラ10の動作に関する音声信号を出力する。音声出力部28は、予めROM14などに記憶された既定のメッセージの音声を有する音声データを読み出し、この音声データに基づく音声信号をスピーカ29Bから音声出力する。イヤホン端子29Cは、イヤホン端子29Cに接続されたイヤホンに対し、音声出力部28より出力される音声信号を出力する。スピーカ29Bは、音声出力部28より出力される音声信号を入力して音声出力する。
【0042】
また、ADコンバータCVは、I2C20(Inter-Integrated Circuit)などの通信インターフェースを介してMCU19に接続される。なお、コンタクトターミナル23の検知端子23Tを、ADコンバータCVを介さずにGPIO12へ接続することでも類似の効果を得ることが可能である。
【0043】
RAM13は、例えばMCU19の動作において使用されるワークメモリである。ROM14は、例えばMCU19の動作(処理)の実行を制御するためのプログラムおよびデータを予め記憶する。
【0044】
記憶部15は、例えばメモリカード等の記憶媒体により構成され、例えば警官の操作に基づく録画開始の指示、あるいは車載カメラシステム50からの録画開始の指示に基づき、撮像部11で撮像された撮像映像のデータ記録(つまり録画)を開始する。記憶部15は、撮像部11で撮像された所定時間(例えば30秒)の撮像映像のデータを常時プリバッファリングして保持し、現在時刻より所定時間(例えば30秒)前までの撮像映像のデータを常に蓄積し続ける。記憶部15は、録画開始の指示を受けると、撮像映像のデータの記録を開始し、録画停止の指示を受けるまでの撮像映像のデータの記録を継続する。また、記憶部15がメモリカードで構成される場合、ウェアラブルカメラ10の筐体に挿抜自在に装着される。
【0045】
EEPROM16は、例えばウェアラブルカメラ10を識別する識別情報(例えばカメラIDとしてのシリアル番号)、および各種設定情報を記憶する。RTC17は、現在の時刻情報をカウントしてMCU19に出力する。
【0046】
GNSS受信部18は、複数(例えば4機)の航法衛星から送信される、各自の信号送信時刻および位置座標を含む衛星信号を受信してMCU19に出力する。MCU19は、複数の衛星信号を用いて、現在のウェアラブルカメラ10の位置座標および衛星信号の受信時刻を算出する。なお、この算出は、MCU19ではなくGNSS受信部18により実行されてもよい。この受信時刻の情報は、ウェアラブルカメラ10のシステム時刻(つまり、RTC17の出力)の補正のためにも使用されてもよい。システム時刻は、撮像された画像(静止画、動画を含む)の撮像時刻の記録等に利用される。
【0047】
MCU19は、ウェアラブルカメラ10の制御部としての機能を有し、例えばウェアラブルカメラ10の各部の動作を全体的に統括するための制御処理、ウェアラブルカメラ10の各部との間のデータの入出力処理、データの演算(計算)処理およびデータの記憶処理を行う。MCU19は、ROM14に記憶された各種のプログラムおよびデータに従って動作する。MCU19は、動作時、RAM13を使用し、RTC17より現在の時刻情報を得るとともに、GNSS受信部18から現在の位置情報を得るかあるいはGNSS受信部18からの出力を用いて現在の位置情報を算出する。
【0048】
BLE通信部21Aは、近距離無線通信の通信規格であるBLE(Bluetooth(登録商標) Low Energy)通信を用いて、スマートフォンあるいはコモントリガーボックス54等との間で無線通信を行う。BLEは、Bluetooth(登録商標)のバージョン4.0の呼称である。BLEでは、低消費電力で通信可能あるが、その通信速度は100kbps程度と低速である。
【0049】
WLAN通信部21Bは、テザリング機能を用いた無線LANアクセスポイントとしてのスマートフォン、あるいは警察署内に設けられた無線LANアクセスポイント等と無線LAN(つまりWLAN)で接続され、接続先と無線通信を行う。無線LANは、BLEと比べ、通信速度が数十~数百Mbpsと高速通信可能であるが、無線LANアクセスポイントと常時接続されるので、消費電力が多くなる。また、WLAN通信部21Bは、無線LAN通信により、警察車両VC1内に搭載されたコモントリガーボックス54との間で通信を行い、撮像部11により得られた撮像映像のデータをコモントリガーボックス54に送る。この撮像映像のデータは、コモントリガーボックス54およびネットワークNW1を介して警察署内のバックエンドストリーミングサーバ60に送られる。また、警察車両VC1が警察署内の無線LANアクセスポイントの通信圏内に位置する場合には、撮像映像のデータは、コモントリガーボックス54および無線LANアクセスポイントを介して警察署内のバックエンドサーバ70に送られてよい。
【0050】
なお、ウェアラブルカメラ10は、BLE通信あるいはWLAN通信の他、NFC(Near Field Communication)等の近距離無線通信、もしくは携帯回線網(例えばLTE:Long Term Evolution)を用いた無線通信を行うための通信部の構成(図示略)をそれぞれ有してもよい。
【0051】
USBインターフェース22は、シリアルバスであり、例えば車載PC52あるいは警察署内のバックエンドクライアント80との接続を可能とする。
【0052】
コンタクトターミナル23は、充電台55と電気的に接続するための端子であり、USBインターフェース22を介してMCU19に接続されるとともに、電源部24と接続される。電源部24は、コンタクトターミナル23における充電台55との接続検知に応じて、バッテリ25を充電する。コンタクトターミナル23は、充電台55との接続に応じて、MCU19が記憶部15から読み出した映像のデータを、充電台55を介して接続された外部機器(例えばコモントリガーボックス54)に通信可能である。
【0053】
コンタクトターミナル23には、例えば「充電端子V+」(図示略)、「検知端子23T」、「データ端子D-,D+」(図示略)および「グランド端子」(図示略)が設けられる。検知端子23Tは、電圧および電圧変化を検出するための端子である。データ端子D-,D+は、例えばUSBコネクタ端子を介して、車載PC52に対してウェアラブルカメラ10で撮像した映像のデータを転送するための端子である。コンタクトターミナル23の検知端子23Tは、ADコンバータCVを介してI2C20等の通信インターフェースに接続され、コンタクトターミナル23の検知電圧値がMCU19に入力される。
【0054】
コンタクトターミナル23と、充電台55のコネクタとが接続されることにより、ウェアラブルカメラ10と外部機器(例えばコモントリガーボックス54)との間でデータ通信が可能となる。
【0055】
電源部24は、例えばコンタクトターミナル23を介して、充電台55に接続される外部電源(例えばコモントリガーボックス54、警察車両VC1内のシガーチャージャ(図示略)、警察車両VC1内のアクセサリ)より供給される充電電流をバッテリ25に給電することで、バッテリ25を充電する。
【0056】
バッテリ25は、例えば充電可能な2次電池により構成され、ウェアラブルカメラ10の各部に電源電力を供給する。
【0057】
録画スイッチSW1は、例えば警官の押下操作による録画(動画の撮像)の開始/停止の操作指示を入力する押しボタンスイッチである。また、MCU19は、例えば録画スイッチSW1が短押しされたことで録画(動画の撮像)を開始し、録画スイッチSW1が長押しされたことで録画を終了してもよい。また、MCU19は、例えば録画スイッチSW1が奇数回押下されることで録画(動画の撮像)を開始し、録画スイッチSW1が偶数回押下されることで録画を終了してもよい。
【0058】
スナップショットスイッチSW2は、例えば警官の押下操作による静止画の撮像の操作指示を入力する押しボタンスイッチである。スナップショットスイッチSW2は、例えば押下される度に、MCU19によって押下時の静止画の撮像が実行される。
【0059】
通信モードスイッチSW3は、例えばウェアラブルカメラ10と外部機器との間の通信モードを設定するための操作指示を入力するスライドスイッチである。通信モードは、例えばアクセスポイントモード、ステーションモード、OFFモードを含む。
【0060】
アクセスポイントモードは、ウェアラブルカメラ10が無線LANのアクセスポイントとして動作し、例えば警官が所持するスマートフォンと無線接続して、ウェアラブルカメラ10とスマートフォンとの間で通信を行うモードである。アクセスポイントモードにおいて、スマートフォンは、ウェアラブルカメラ10と接続することにより、ウェアラブルカメラ10による現在のライブ画像の表示、録画された画像の再生、撮像された静止画の表示等を行うことができる。
【0061】
ステーションモードは、無線LANを用いて外部機器と接続する場合に、外部機器をアクセスポイントとして通信するモードである。例えばスマートフォンのテザリング機能を利用し、外部機器としてスマートフォンを設定してもよい。ステーションモードにおいて、ウェアラブルカメラ10は、各種設定、ウェアラブルカメラ10が保持する録画された画像の転送(アップロード)等を車載カメラシステム50に行うことができる。
【0062】
OFFモードは、無線LANの通信動作をオフし、無線LANを未使用とするモードである。
【0063】
属性情報付与スイッチSW4は、映像データに属性情報を付与するために操作される押しボタンスイッチである。属性情報は、ウェアラブルカメラ10により撮像された映像の内容(例えば事件の種別、殺人、強盗、災害等)を示す。
【0064】
無線登録スイッチSW5は、ウェアラブルカメラ10が無線通信(例えばBLEまたは無線LANを用いた無線通信)する相手の外部機器(例えばスマートフォン、コモントリガーボックス54)を通信相手として登録して設定する(以下「通信設定処理」とも称する場合がある)際に操作される押しボタンスイッチである。以下、例えばBLEを用いた無線通信において、通信相手となる機器を登録して設定する処理を「ペアリング」と称する場合がある。
【0065】
LED26aは、例えばウェアラブルカメラ10の電源投入状態(オンオフ状態)およびバッテリ25の状態を示す表示部である。
【0066】
LED26bは、例えばウェアラブルカメラ10の撮像動作の状態(録画状態)を示す表示部である。
【0067】
LED26cは、例えばウェアラブルカメラ10の通信モードの状態を示す表示部である。また、3個のLED26a~26cは、ウェアラブルカメラ10が車載カメラシステム50(例えば車載PC52)から通知データを受信すると、MCU19からの指示に従い、点滅動作を行う。この時、MCU19は、通知データに含まれる、音源に関する情報に応じて、MCU19は、LED26a~26cの点滅パターンを可変させる。
【0068】
MCU19は、録画スイッチSW1、スナップショットスイッチSW2、通信モードスイッチSW3、属性情報付与スイッチSW4および無線登録スイッチSW5の各スイッチの入力検出を行い、操作があったスイッチ入力に対する処理を行う。
【0069】
MCU19は、録画スイッチSW1の操作入力を検出した場合、撮像部11における撮像動作の開始または停止を制御し、撮像部11から得られた画像を、動画像として記憶部15に保存する。
【0070】
MCU19は、スナップショットスイッチSW2の操作入力を検出した場合、スナップショットスイッチSW2が操作されたときの撮像部11による画像を、静止画像として記憶部15に保存する。
【0071】
MCU19は、通信モードスイッチSW3の状態を検出し、通信モードスイッチSW3の設定に応じた通信モードによって通信部21を動作させる。
【0072】
MCU19は、属性情報付与スイッチSW4が押下された場合、撮像部11によって撮像された映像のデータに対応する属性情報を、その映像に対応付けて付与する。
【0073】
MCU19は、無線登録スイッチSW5が押下された場合、ウェアラブルカメラ10の通信相手となり得る周囲の外部機器(例えばコモントリガーボックス54)に対し、通信設定処理(例えばペアリング)において行われるべき既定の処理を実行する。ここで、既定の処理は、ペアリングを例示すると、無線通信の通信相手としての登録要求情報の生成並びにBLE通信部21Aへの出力、接続先である通信相手を特定するための接続情報の生成ならびにBLE通信部21Aへの出力、通信相手から送信された接続情報の記憶部15への保存である。但し、無線LANの通信設定に関する既定の処理は、上述したペアリングを例示した時の既定の処理と同様であることは言うまでもない。
【0074】
図3は、車載PC52のハードウェア構成例を示すブロック図である。車載PC52は、CPU201と、I/O(Input/Output)制御部202と、通信部203と、メモリ204と、入力部205と、表示部206と、スピーカ207と、HDD208とを含む構成である。車載PC52は、ウェアラブルカメラ10および車載レコーダ53のそれぞれとの間で通信可能であり、コモントリガーボックス54を介して警察署内の各種サーバ(例えばバックエンドストリーミングサーバ60、バックエンドサーバ70)とも通信可能である。
【0075】
CPU201は、例えば、車載PC52の各部の動作を全体的に統括するための制御処理、他の各部との間のデータのI/O制御部202を介した入出力処理、データの演算(計算)処理およびデータの記憶処理を行う。
【0076】
CPU201は、例えば、表示部206に表示された車載カメラシステム50へのログイン画面に対する警官の入力操作により、警官の車載カメラシステム50へのログインの可否を認証する。警官の入力操作は、例えば、Officer IDとパスワード等を入力する操作である。ログインが許可される対象となる警官に関する各種情報は、例えばメモリ204に予め保存されており、CPU201は、メモリ204に予め保存されているログインの許可対象の情報を用いて、警官の車載カメラシステム50へのログインの可否を判定する。なお、このログインは、車載PC52を介した車載カメラシステム50へのログインでもよいし、車載PC52にインストールされた既定のアプリケーションへのログインでもよい。
【0077】
I/O制御部202は、CPU201と車載PC52の各部(例えば通信部203、入力部205、表示部206、スピーカ207)との間でデータの入出力に関する制御を行い、CPU201からのデータおよびCPU201へのデータの中継を行う。なお、I/O制御部202は、CPU201と一体的に構成されてもよい。
【0078】
通信部203は、例えば、車載カメラ51あるいは車載レコーダ53との間または警官が装着可能なウェアラブルカメラ10との間間で、有線または無線による通信を行う。
【0079】
メモリ204は、例えばRAM、ROM、不揮発性あるいは揮発性の半導体メモリを用いて構成され、CPU201の動作時のワークメモリとして機能し、CPU201を動作させるための所定のプログラムおよびデータを保存している。メモリ204は、例えば、車載カメラシステム50へのログインが許可される警官に関するログイン情報を保存する。
【0080】
入力部205は、警官の入力操作を受け付け、I/O制御部202を介してCPU201に通知するためのUI(User Interface)であり、例えばマウス、キーボード等のポインティングデバイスである。入力部205は、例えば表示部206の画面に対応して配置され、警官の指あるいはスタイラスペンによって操作が可能なタッチパネルもしくはタッチパッドを用いて構成されても良い。入力部205は、例えば、車載カメラシステム50へログインするためのログイン情報を入力する。
【0081】
表示部206は、例えばLCDあるいは有機ELを用いて構成され、各種情報を表示する。また、表示部206は、例えば警官の入力操作に応じて、ウェアラブルカメラ10および車載カメラ51のそれぞれにより撮像された撮像映像に含まれる映像部分のデータを、CPU201の指示の下で同一画面上に表示する。
【0082】
スピーカ207は、例えば警官の入力操作に応じて、ウェアラブルカメラ10および車載カメラ51のそれぞれにより撮像された撮像映像に含まれる音声部分のデータを、CPU201の指示の下で出力する。なお、表示部206およびスピーカ207は、車載PC52とは別々の構成としてもよい。
【0083】
HDD208は、例えば、各種データ、ソフトウェア(ソフトウェアプログラム)を記憶する。具体的には、HDD208は、例えば、車載カメラ51および車載レコーダ53のそれぞれの制御および設定を行うためのソフトウェア、ウェアラブルカメラ10の制御や設定を行うためのソフトウェア、を保存する。また、HDD208は、例えば、ウェアラブルカメラ10により撮像された撮像映像のデータ、車載カメラ51により撮像された撮像映像のデータを保存してよい。
【0084】
次に、実施の形態1に係るウェアラブルカメラシステム1の動作手順を説明する。
【0085】
ここでは、2人の警官OA,OB(図4参照)がそれぞれ装着するウェアラブルカメラ10によって撮像される画像をバックエンドサーバ70が結合し、空間画像としてバックエンドクライアント80に表示する例を説明する。2人の警官OA,OBが装着するウェアラブルカメラ10を区別するために、ここでは、警官OAが装着するウェアラブルカメラ10を便宜的に「BWC1」と称し、警官OBが装着するウェアラブルカメラ10を便宜的に「BWC2」と称する。なお、BWC1,BWC2は、ともに同一のハードウェア構成を有するウェアラブルカメラ10である(図2参照)。
【0086】
図4は、実施の形態1に係るウェアラブルカメラシステム1の動作手順例を時系列に示すシーケンス図である。事件あるいは事故等の現場(以下、単に「事件現場」ともいう)に警官OA,OBがいる状況を想定する。
【0087】
図4において、警官OAが装着するBWC1によって事件現場が撮像されると、BWC1は、記録証拠映像を定期的にバックエンドサーバ70にアップロードする(T1)。例えば、犯人が家に立てこもっているシーンを想定する。警官OAがこの家を巡回する場合、BWC1による記録証拠映像は、例えば30秒、1分、5分毎にバックエンドサーバ70に送信される。なお、記録証拠映像が送信されるタイミング(周期)は、30秒、1分、5分に限定されないことは言うまでもない。このとき、BWC1は、記録証拠映像に時刻情報および現在位置情報を記録証拠映像のメタ情報として含めて送信する。
【0088】
BWC1により得られた記録証拠映像は、例えばBWC1と無線LANにより接続されているコモントリガーボックス54およびネットワークNW1を介して、バックエンドストリーミングサーバ60あるいは、そのバックエンドストリーミングサーバ60を更に介してバックエンドサーバ70に送信される。なお、BWC1による記録証拠映像は、車載レコーダ53に蓄積された後、コモントリガーボックス54と警察署内の無線LANアクセスポイントとが通信可能に接続された上でコモントリガーボックス54を介してバックエンドサーバ70に直接に送信されてもよい。
【0089】
同様に、警官OBによって事件現場が撮像されると、BWC2は、記録証拠映像を定期的にバックエンドサーバ70にアップロードする(T2)。このとき、BWC2は、記録証拠映像に時刻情報および現在位置情報を記録証拠映像のメタ情報として含めて送信する。なお、BWC2からバックエンドサーバ70までの記録証拠映像の送信ルートは、上述したBWC2からバックエンドサーバ70までの記録証拠映像の送信ルートと同じでよいし異なっていてもよい。
【0090】
同様に、車載カメラ51は、警察車両VC1が到着した事件現場を撮像する。車載カメラシステム50(ICV)は、車載カメラ51により得られた記録証拠映像を定期的にバックエンドサーバ70に送信する(T3)。このとき、車載PC52は、記録証拠映像に時刻情報および現在位置情報を記録証拠映像のメタ情報として併せて送信する。
【0091】
車載カメラ51により得られた記録証拠映像は、例えば車載カメラ51と接続される車載PC52からコモントリガーボックスおよびネットワークNW1を介して、バックエンドストリーミングサーバ60あるいは、そのバックエンドストリーミングサーバ60を更に介してバックエンドサーバ70に送信される。なお、車載カメラ51による記録証拠映像は、車載レコーダ53に蓄積された後、コモントリガーボックス54と警察署内の無線LANアクセスポイントとが通信可能に接続された上でコモントリガーボックス54を介してバックエンドサーバ70に直接に送信されてもよい。
【0092】
バックエンドサーバ70は、BWC1,BWC2および車載カメラ51のそれぞれからメタ情報を含む記録証拠映像を受信して記録(蓄積)する。バックエンドサーバ70は、蓄積した記録証拠映像に対応するメタ情報に基づいて、同一の時間帯および同一のエリア(地点)の記録証拠映像に対し、同一の事件管理番号の一例としての事件番号(ケースナンバー)を付与する(T4)。同一の時間帯は、同じ事件、事故等の状況を表す映像であると判断される時間であり、任意に設定される。例えば、警官が不審者に対し職務質問を行う場合、同一の時間帯は、10分に設定される。同一のエリアは、ウェアラブルカメラ10が搭載するGNSS受信部18によって得られる現在位置情報に基づく所定の範囲である。ここでは、現在位置情報として、GNSSの1つであるGPS(Global Positioning System)を用いて得られるGPS位置情報を用いる場合を示す。なお、現在位置情報は、GNSS受信部によって得られる位置情報に限られず、ウェアラブルカメラと無線信号を送受信する無線基地局の位置情報で代用されてもよい。
【0093】
バックエンドサーバ70は、同一の事件番号が付与された記録証拠映像が少なくとも1つ存在する場合、証拠記録映像に記録された特定のオブジェクトの特徴要素をメタ情報として取り出し、記録時刻(時間帯よりも詳細な時刻)およびGPS位置情報とともに蓄積する(T5)。ここで、特定のオブジェクトは、事件、事故等の現場(言い換えると、事件等に関する注目地点)にある目印(基点)となる対象であり、例えば簡単に移動しない家、木等の不動物体である。なお、BWC1,BWC2および車載カメラ51により短時間の間に得られた記録証拠映像を用いる場合には、特定のオブジェクトとして移動可能な車両を採用してもよい。
【0094】
バックエンドサーバ70は、同じ事件番号が付与された複数の記録証拠映像に対し、特徴要素が一致するオブジェクトを検索する(T6)。このオブジェクトの検索では、同じカメラ(例えば同じ警官が装着するウェアラブルカメラ)で撮像された記録証拠映像において、特徴要素が一致するオブジェクトを検索してもよいし、異なるカメラ(別々の警官がそれぞれ装着するウェアラブルカメラ)で撮像された記録証拠映像において、特徴要素が一致するオブジェクトを検索してもよい。なお、異なるカメラは、警官が装着するウェアラブルカメラと警察車両の車載カメラの組み合わせであってもよい。また、カメラの台数は、2台に限らず3台以上であってもよい。
【0095】
検索の結果、特徴要素が一致するオブジェクトが見つかった場合、バックエンドサーバ70は、特徴要素が一致したオブジェクトを基点(基準となる点)とし、異なる2以上の証拠記録映像の中からそれぞれオブジェクトを含む画像を抽出し、抽出した2以上の画像をオブジェクトの全体あるいは共通する一部分の外観形状の同一性が保持されるように結合し、合成画像を生成する(T7)。例えば、抽出される2以上の画像は、2つのウェアラブルカメラ10(BWC1,BWC2)によって同一のタイミングで撮像された画像である。なお、抽出される2以上の画像は、異なるタイミングにおいて撮像された画像であってもよい。
【0096】
合成画像は、仮に結合された場合でもそれぞれの記録証拠映像中に共通するオブジェクトの全体あるいは共通する一部分の外観形状の同一性が保持される程度に、抽出された2以上の画像を単に足し合わせることで生成される静止画像であり、例えば2以上の画像が重なっている領域を含む。また、合成画像において、2以上の画像が近接する、いずれの画像にも現れない部分は、合成画像の証拠性を担保するために、画像処理等によって補間処理されることなく(言い換えると、撮像されていない画像を作成することなく)空白の領域となる。これにより、合成画像は、虚偽の無い、真正な画像(言い換えると、証拠性の信頼度が担保された画像)である。
【0097】
バックエンドサーバ70は、合成画像の生成に用いられた、2以上の画像に対し、それぞれ時間方向に対して前後する複数のフレームの画像のそれぞれを継ぎ足し(繋ぎ)、より大きな空間画像を生成する(T8)。この空間画像は、特徴要素が一致したオブジェクトを基点とする2以上の画像を含む合成画像、およびこの合成画像に含まれる2以上の画像における1以上の前後フレームの画像を1つに結合した静止画像である。したがって、空間画像は、特徴要素が一致したオブジェクトを基点とする2以上の画像を含む合成画像の前フレーム(所定フレーム数前の画像)から、合成画像の後フレームの画像(所定フレーム数後の画像)まで、重ねた状態で得られる。なお、前後フレームは、基点とする画像の後フレームだけであってもよいし、前フレームだけであってもよい。また、基点とする画像ごとに前後フレームの数は、例えば事件番号ごとに異なってもよい。
【0098】
なお、空間画像を表示する場合、空間画像は、合成画像の前フレームから後フレームの画像までスライドショーのようにフレーム単位で連続的に表示されてもよい。つまり、空間画像は、静止画像を連続的に再生するように、動画像として表示されてもよい。
【0099】
バックエンドサーバ70は、1つの映像に結合された空間画像のデータを、バックエンドクライアント80にストリーミング配信を行う(T9)。ここでは、ストリーミング配信は、バックエンドサーバ70に有線LAN等で接続されたバックエンドクライアント80に対して行われる。なお、ストリーミング配信は、無線LAN、ネットワークNW1およびコモントリガーボックス54を介して車載PC52あるいは他のビューア装置(スマートフォン、タブレット端末)等に対して行われてもよい。
【0100】
一方、バックエンドクライアント80は、バックエンドサーバ70から送信される空間画像のデータを受信する(T10)。バックエンドクライアント80は、受信した空間画像のデータを基に、警察署の解析専門官が閲覧可能なように空間画像SG(図6参照)を表示する(T11)。
【0101】
なお、本実施形態では、オブジェクトの特徴要素をメタ情報として取り出す処理は、バックエンドサーバ70によって行われたが、バックエンドサーバ70が行う代わりに、BWC1,BWC2,車載カメラ51、あるいは車載PC52によって行われてもよい。例えば、車載PC52は、車載レコーダ53に記録された、上記記録証拠映像を基に、メタ情報を取り出してよい。
【0102】
図5は、同一の事件番号が付与された撮像画像を含む空間画像および撮像エリアの一例を示す図である。図中、点線枠で示される5枚の撮像画像G11,G12,G13,G14,G15は、警官OAによって、それぞれ時刻t1,t2,t3,t4,t5で連続的に撮像された、同一の事件番号が付与された画像である。同様に、点線枠で示される4枚の撮像画像G22,G23,G23,G24は、警官OBによってそれぞれ時刻t2,t3,t4,t5で連続的に撮像された、同一の事件番号が付与された画像である。これらの撮像画像のうち、例えば、警官OAによる撮像画像G12と、警官OBによる撮像画像G22とでは、オブジェクト(例えば同一の車両)の特徴要素(フロントガラス、左右のサイドミラー等)が一致する。ここでは、撮像画像G12と撮像画像G22は、同じ時刻t2に撮像された画像であるが、異なる時刻に撮像された画像であってもよい。このことは、撮像画像G13と撮像画像G23、および撮像画像G14と撮像画像G24においても同様である。ただし、5枚の撮像画像G11,G12,G13,G14,G15、および4枚の撮像画像G22,G23,G23,G24は、それぞれ時系列に連続して撮像されたフレームの画像であることが望ましい。
【0103】
図6は、同一の事件番号が付与された複数枚の撮像画像を用いて空間画像を生成する動作例を説明する図である。バックエンドサーバ70は、メタ情報に含まれるオブジェクトの特徴要素が一致する撮像画像G12と撮像画像G22とのそれぞれを結合基準画像として結合し、合成画像MGを生成する。さらに、バックエンドサーバ70は、撮像画像G12,G22と同一の事件番号が付与され、かつ上述した結合基準画像に対して時間方向に前後する複数のフレームのそれぞれの画像(例えば1フレーム後の撮像画像G13と撮像画像G23)を結合し、1フレーム後合成画像MG1を生成する。また同様にして、バックエンドサーバ70は、上述した結合基準画像に対して時間方向に2フレーム後の撮像画像G14と撮像画像G24とを結合し、2フレーム後合成画像MG2を生成する。また同様にして、バックエンドサーバ70は、上述した結合基準画像に対して時間方向に3フレーム後の撮像画像G15と撮像画像G25とを結合し、3フレーム後合成画像MG3を生成する。
【0104】
なお、BWC2によって撮像される、結合基準画像である撮像画像G22より時間的に1フレーム前の撮像画像G21が仮に存在する場合(図6では撮像画像G21が存在せず)、バックエンドサーバ70は、その撮像画像G11と撮像画像G21とを結合し、1フレーム前合成画像を生成してもよい。図6の例では、1フレーム前合成画像が生成されないので、1フレーム前の撮像画像G11だけが用いられる。バックエンドサーバ70は、合成画像MGと1以上の前後合成画像(例えば1フレーム後合成画像MG1、2フレーム後合成画像MG2、3フレーム後合成画像MG3)と1フレーム前の撮像画像G11とを繋げた空間画像SGを生成する。
【0105】
このように、空間画像SGは、合成画像MGに1以上の前後合成画像(例えば1フレーム後合成画像MG1、2フレーム後合成画像MG2、3フレーム後合成画像MG3)を結合した画像であり、合成画像MGおよび1以上の前後フレームの画像のそれぞれと比べ、撮像エリアの広い画像である。したがって、警察署の解析専門官は、事件、事故等の現場の状況を広範囲な画像で確認できる。また、空間画像SGは、合成画像MGおよび1以上の前後フレームの画像を超える範囲の画像を含まない。つまり、空間画像SGは、合成画像MGおよび1以上の前後フレームの画像を基に得られる、虚偽の無い(例えば画像補間によって生成される画像を含まない)真正な画像である。したがって、空間画像は、証拠記録映像としての価値を担保できる。
【0106】
なお、合成画像の生成に用いられる画像としては、同一の事件番号が付与された複数枚の撮像画像のうち、任意のタイミングで撮像された複数枚(2枚以上の)画像であってよい。つまり、特徴要素が一致するオブジェクトの基点は、同一のタイミングに限らず、同一の事件番号と扱われる時間帯において異なるタイミングのフレーム画像に含まれてもよい。また、空間画像は、合成画像に対し1以上の前後合成画像を生成して繋げることなく、各フレームの画像を単に合成画像に結合することで、生成されてもよい。
【0107】
このように、実施の形態1に係るウェアラブルカメラシステム1では、ウェアラブルカメラシステム1は、複数のウェアラブルカメラ10と、複数のウェアラブルカメラ10のそれぞれとの間で通信可能に接続されるバックエンドサーバ70と、を含む。複数のウェアラブルカメラ10のそれぞれは、事件現場を撮像した個々の撮像画像をバックエンドサーバ70に送る。バックエンドサーバ70は、複数のウェアラブルカメラ10のそれぞれから送られた個々の撮像画像に映る特定のオブジェクトの特徴要素を有するメタ情報を抽出し、メタ情報と対応する撮像画像とを対応付けて記録する。バックエンドサーバ70は、個々の撮像画像に対応するメタ情報に基づいて、特定のオブジェクトの特徴要素が一致する複数の撮像画像を合成した合成画像を生成してバックエンドクライアント80に送る。
【0108】
これにより、警察署の解析専門官は、バックエンドクライアント80に表示される、複数台のウェアラブルカメラ10を用いて撮像された事件、事故等の現場(注目するべき地点)の映像を広範囲に閲覧できる。したがって、ウェアラブルカメラシステム1は、事件あるいは事故等の注目するべき地点の広範囲の映像を得ることができ、警官による事件、事故等の現場の周囲の状況の観察および把握を効果的に支援できる。
【0109】
また、バックエンドサーバ70は、合成画像の生成に用いた複数の撮像画像のそれぞれの撮像時刻に対して時間的に前後する1以上の前後フレームの画像(前後撮像画像)を用いて、特定のオブジェクトの特徴要素が一致する複数の前後撮像画像を合成した1以上の前後合成画像(例えば1フレーム後合成画像MG1、2フレーム後合成画像MG2、3フレーム後合成画像MG3)を生成し、合成画像MGと1以上の前後合成画像とを繋げた空間画像を生成してバックエンドクライアント80に送る。これにより、ウェアラブルカメラシステム1は、時間的に連続した事件、事故等の現場の映像を表示でき、事件、事故等の現場の周囲の状況の観察および把握をより効果的に支援できる。
【0110】
また、複数(例えば2台)のウェアラブルカメラ10のそれぞれは、GNSS受信部18により位置情報を取得可能である。各ウェアラブルカメラ10は、事件、事故等の現場の位置情報と撮像時刻とを撮像画像に対応付けてバックエンドサーバ70に送る。バックエンドサーバ70は、2台のウェアラブルカメラ10のそれぞれから送られた個々の撮像画像に対応する位置情報および撮像時刻が同一である場合に、個々の撮像画像に同一の事件番号を付与して記録する。これにより、バックエンドサーバ70は、同じ事件、事故等に係る撮像画像だけを検索し、かつバックエンドクライアント80に表示させることができる。したがって、警察署の解析専門官は、事件、事故に係る撮像画像を速やかに閲覧できる。
【0111】
また、バックエンドサーバ70は、同一の事件番号が付与された個々の撮像画像を用いて、特定のオブジェクトの特徴要素を有するメタ情報を抽出する。これにより、バックエンドサーバ70は、メタ情報を用いて、同一の事件番号が付与された個々の撮像画像を対応付けることができる。例えば、バックエンドサーバ70は、オブジェクトの特徴要素が一致する2枚の撮像画像を結合し、合成画像を生成できる。
【0112】
また、複数のカメラとして、複数(例えば2名)の警官OA,OBのそれぞれにより装着される2台のウェアラブルカメラ10が用いられる。これにより、バックエンドサーバ70は、2台のウェアラブルカメラ10による、広範囲な現場の撮像画像を得ることができる。
【0113】
また、複数のカメラとして、1人以上の警官のそれぞれにより装着されるウェアラブルカメラ10と、警官が乗車する警察車両VC1に設けられる車載カメラ51が用いられる。これにより、バックエンドサーバ70は、1台以上のウェアラブルカメラ10と車載カメラ51による、広範囲な現場の撮像画像を得ることができる。
【0114】
また、空間画像SGは、合成画像MGおよび1以上の前後合成画像(例えば1フレーム後合成画像MG1、2フレーム後合成画像MG2、3フレーム後合成画像MG3)を結合し、合成画像MGおよび1以上の前後合成画像のそれぞれと比べて撮像エリアの広い、2台のBWC1,BWC2によって撮像される画像である。これにより、空間画像SGは、合成画像MGおよび1以上の前後フレームの画像のそれぞれと比べ、撮像エリアの広い画像となる。したがって、警察署の解析専門官は、事件、事故等の現場の状況を広範囲な画像で確認できる。また、空間画像SGは、合成画像MGおよび1以上の前後フレームの画像を基に得られる、虚偽の無い(例えば画像補間によって生成される画像を含まない)真正な画像である。したがって、空間画像は、証拠記録映像としての価値を担保できる。
【0115】
なお、ここでは、バックエンドサーバは、同一の事件番号が付与された複数枚の撮像画像を結合して空間画像を生成したが、メタ情報として警官の識別番号がバックエンドサーバに送信される場合、同一の事件現場に向かった警官の識別番号を基に、異なる警官が装着するウェアラブルカメラによる撮像画像を結合し、空間画像を生成してもよい。
【0116】
(実施の形態2)
実施の形態1では、複数(2人以上)の警官が装着する各ウェアラブルカメラで撮像される画像を結合して合成画像とし、この合成画像と1以上の前後フレームの画像を結合して空間画像を生成する場合を示した。実施の形態2では、1人の警官が装着する1台のウェアラブルカメラで撮像される、1以上の前後フレームの画像を結合して空間画像を生成する例を説明する。なお、1台のウェアラブルカメラの代わりに、警察車両に塔載された車載カメラが用いられてもよい。
【0117】
また、実施の形態2のウェアラブルカメラシステムは実施の形態1とほぼ同一の構成を有する。実施の形態1と同一の構成要素については同一の符号を用いることで、その説明を省略する。
【0118】
図7は、実施の形態2に係るウェアラブルカメラシステム1の動作手順例を時系列に示すシーケンス図である。ここでは、1台のウェアラブルカメラ10は、1人の警官OBによって装着されるBWC2である場合を示すが、警官OAによって装着されるBWC1であってもよい。
【0119】
図7において、警官OBによって事件、事故等の現場が撮像されると、BWC2は、記録証拠映像を定期的にバックエンドサーバ70にアップロードする(T31)。このとき、BWC2は、記録証拠映像に時刻情報および現在位置情報を記録証拠映像のメタ情報として含めて送信する。なお、BWC2の代わりに、車載カメラ51が、警察車両VC1が到着した現場の状況を撮像し、同様に時刻情報および現在位置情報等のメタ情報を含む記録証拠映像を定期的にバックエンドサーバ70に送信してもよい。
【0120】
バックエンドサーバ70は、記録証拠映像が少なくとも1つ存在する場合、それぞれの証拠記録映像に記録されたオブジェクトの特徴要素をメタ情報として取り出し、記録時刻およびGPS位置情報とともに蓄積する(T32)。
【0121】
バックエンドサーバ70は、複数の記録証拠映像に対し、特徴要素が一致するオブジェクトを検索する(T33)。このオブジェクトの検索では、同じカメラ(例えば同じ警官が装着するウェアラブルカメラ)で撮像された記録証拠映像において、特徴要素が一致するオブジェクトが検索される。
【0122】
検索の結果、特徴要素が一致するオブジェクトが見つかった場合、バックエンドサーバ70は、特徴要素が一致したオブジェクトを基点(基準となる点)とする(T34)。バックエンドサーバ70は、基点を含む1枚の画像に対し、1以上の前後フレームの画像を継ぎ足し(繋ぎ)、大きな空間画像SG2(図8参照)を生成する(T35)。この空間画像SG2は、特徴要素が一致したオブジェクトを基点とする画像に対し、1以上の前後フレームの画像を結合した静止画像である。なお、前後フレームは、基点とする画像の後フレームだけであってもよいし、前フレームだけであってもよい。また、基点とする画像ごとに前後フレームの数は、GPS位置情報、記録時刻等によって異なってもよい。
【0123】
バックエンドサーバ70は、1つの映像に結合された空間画像のデータを、バックエンドクライアント80にストリーミング配信を行う(T36)。
【0124】
一方、バックエンドクライアント80は、バックエンドサーバ70から送信される空間画像のデータを受信する(T37)。バックエンドクライアント80は、受信した空間画像のデータを基に、警察署の解析専門官が閲覧可能なように空間画像SG2を表示する(T38)。
【0125】
図8は、1台のウェアラブルカメラで撮像された複数枚の画像を用いて空間画像を生成する動作例を説明する図である。図中、点線枠で示される4枚の撮像画像G22,G23,G24,G25は、警官OBによってそれぞれ時刻t2,t3,t4,t5と連続的に撮像された画像である。例えば、撮像画像G22と撮像画像G23とでは、オブジェクト(同一車両)の特徴要素(ヘッドライト、サイドミラー等)が一致する。
【0126】
バックエンドサーバ70は、撮像画像G22を元画像とし、撮像画像G22の前後フレームの画像(撮像画像G23,G24,G25)を撮像画像G22に結合し、空間画像SG2を生成する。ここでは、バックエンドサーバ70は、元画像である撮像画像G22に対し、後フレームの撮像画像G23,G24,G25を結合する場合を示したが、前フレームの画像を結合してもよい。したがって、空間画像SG2は、撮像画像G22に1以上の前後フレームの画像を結合した画像であり、撮像画像G22および1以上の前後フレームの画像のそれぞれと比べ、撮像エリアの広い画像である。また、空間画像SG2は、撮像画像G22および1以上の前後フレームの撮像画像G23,G24,G25を超える範囲の画像を含まない、虚偽の無い(例えば画像補間によって生成される画像を含まない)真正な画像である。したがって、空間画像は、証拠記録映像としての価値を担保できる。
【0127】
なお、空間画像を表示する場合、空間画像は、元画像の前フレームから後フレームの画像までスライドショーのように連続的に表示されてもよい。この場合、空間画像は、静止画像を連続的に再生する、動画像として表示される。
【0128】
このように、実施の形態2におけるウェアラブルカメラシステムでは、ウェアラブルカメラシステムは、1台のウェアラブルカメラ10と、複数のウェアラブルカメラ10のそれぞれとの間で通信可能に接続されるバックエンドサーバ70と、を含む。ウェアラブルカメラ10は、事件現場を撮像した、時間的に前後する複数枚のフレームの撮像画像をバックエンドサーバ70に送る。バックエンドサーバ70は、複数フレームのそれぞれに映る特定のオブジェクトの特徴要素を有するメタ情報を抽出し、メタ情報と対応する撮像画像とを対応付けて記録する。バックエンドサーバ70は、複数フレームの撮像画像のそれぞれに対応するメタ情報に基づいて、特定のオブジェクトの特徴要素が一致する複数の撮像画像を合成した合成画像を生成してバックエンドクライアント80に送る。
【0129】
これにより、警察署の解析専門官は、バックエンドクライアント80に表示される、1台のウェアラブルカメラ10を用いて撮像された事件、事故等の現場の映像を広範囲に閲覧できる。したがって、ウェアラブルカメラシステム1は、警察署の解析専門官による事件、事故等の現場の周囲の状況の観察および把握を効果的に支援できる。
【0130】
以上、図面を参照しながら各種の実施の形態について説明したが、本開示はかかる例に限定されないことはいうまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。また、発明の趣旨を逸脱しない範囲において、上述した各種の実施の形態における各構成要素を任意に組み合わせてもよい。
【産業上の利用可能性】
【0131】
本開示は、注目するべき地点の広範囲の映像を得て、その地点の周囲の状況の観察および把握を効果的に支援する画像合成システムおよび画像合成方法として有用である。
【符号の説明】
【0132】
1 ウェアラブルカメラシステム
10 ウェアラブルカメラ
50 車載カメラシステム
51 車載カメラ
52 車載PC
53 車載レコーダ
54 コモントリガーボックス
60 バックエンドストリーミングサーバ
70 バックエンドサーバ
80 バックエンドクライアント
NW1 ネットワーク
図1
図2
図3
図4
図5
図6
図7
図8