特開 2015-80107 移動体表示システムおよび移動体表示プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2015-80107(P2015-80107A)

(43)【公開日】2015年4月23日

(54)【発明の名称】移動体表示システムおよび移動体表示プログラム

(51)【国際特許分類】

   H04N 7/18 20060101AFI20150327BHJP

   H04N 5/225 20060101ALI20150327BHJP

   H04N 5/232 20060101ALI20150327BHJP

   G06T 3/00 20060101ALI20150327BHJP

【ＦＩ】

   H04N7/18 D

   H04N5/225 C

   H04N5/232 C

   G06T3/00 300

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

【全頁数】16

(21)【出願番号】特願2013-216551(P2013-216551)

(22)【出願日】2013年10月17日

(71)【出願人】

【識別番号】307011510

【氏名又は名称】株式会社熊平製作所

(71)【出願人】

【識別番号】504133110

【氏名又は名称】国立大学法人電気通信大学

(74)【代理人】

【識別番号】100064414

【弁理士】

【氏名又は名称】磯野 道造

(74)【代理人】

【識別番号】100111545

【弁理士】

【氏名又は名称】多田 悦夫

(72)【発明者】

【氏名】村田 正和

(72)【発明者】

【氏名】川口 俊明

(72)【発明者】

【氏名】森田 啓義

(72)【発明者】

【氏名】伊藤 勝造

【テーマコード（参考）】

5B057

5C054

5C122

【Ｆターム（参考）】

5B057CD16

5B057CE08

5B057DA16

5C054CC02

5C054EA05

5C054FC12

5C054FC13

5C054FD03

5C054FD07

5C054FE17

5C054HA19

5C122DA03

5C122DA11

5C122EA42

5C122EA61

5C122FA02

5C122FA06

5C122FH10

5C122FH12

5C122FH14

5C122FH18

5C122FK23

5C122FK41

5C122FK42

5C122HA10

5C122HA13

5C122HA35

5C122HB01

5C122HB05

5C122HB10

(57)【要約】

【課題】安価で済み、手間のかかる操作を要さずに注視画像を表示できる移動体表示システムおよび移動体表示プログラムを提供する。
【解決手段】カメラの半球視野の空間を全周画像Ｖ１として撮影する全方位カメラ２を備え、全周画像Ｖ１の内の円内側の実質撮影領域をモニタ６の中央に表示する移動体表示システム１において、全方位カメラ２の撮影画像から移動体を検出および追跡する移動体抽出部３と、移動体抽出部３により追跡される移動体周りを拡大して注視画像Ｖ２として生成する注視画像生成部４と、注視画像生成部４により生成された注視画像Ｖ２が全周画像Ｖ１の一部に重なる構成の合成画像Ｖ３を生成し、合成画像Ｖ３をモニタ６に表示させる合成画像生成部５と、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

カメラの半球視野の空間を全周画像として撮影する全方位カメラを備え、前記全周画像の内の円内側の実質撮影領域をモニタの中央に表示する移動体表示システムにおいて、
前記全方位カメラの撮影画像から移動体を検出および追跡する移動体抽出部と、
前記移動体抽出部により追跡される移動体周りを拡大して注視画像として生成する注視画像生成部と、
前記注視画像生成部により生成された注視画像が全周画像の一部に重なる構成の合成画像を生成し、当該合成画像をモニタに表示させる合成画像生成部と、
を備えることを特徴とする移動体表示システム。

【請求項2】

前記合成画像生成部は、
新規の移動体の注視画像を全周画像のコーナー部に優先して配置することを特徴とする請求項１に記載の移動体表示システム。

【請求項3】

前記合成画像生成部は、
新規の移動体の注視画像を、空いている全周画像のコーナー部の内で前記移動体の重心座標から最も遠いコーナー部に配置することを特徴とする請求項２に記載の移動体表示システム。

【請求項4】

前記全周画像は横長画像であって、
前記合成画像生成部は、
全てのコーナー部に注視画像が既に配置されているときには、新規の移動体の注視画像を、左右の縁中央部の内で前記移動体の重心座標から遠い縁中央部に配置することを特徴とする請求項３に記載の移動体表示システム。

【請求項5】

前記合成画像生成部は、
左右の縁中央部に注視画像が既に配置されているときには、新規の移動体の注視画像を、上下の縁中央部の内で前記移動体の重心座標から遠い縁中央部に配置することを特徴とする請求項４に記載の移動体表示システム。

【請求項6】

前記移動体抽出部は、
Ｐピクチャフレームに含まれるイントラ符号化のマクロブロックと順方向予測符号化であって動きベクトルがしきい値Ｔ_１以上のマクロブロックとを同じ画素値とする２値化の移動物体マップを作成し、
前記画素値の集合体を囲む動き領域を作成し、
前記動き領域中のイントラ符号化のマクロブロック数がしきい値Ｔ_２以上であるとき、前記集合体を移動体として検出することを特徴とする請求項１ないし請求項５のいずれか一項に記載の移動体表示システム。

【請求項7】

前記移動体抽出部は、
直前Ｐピクチャフレームと現Ｐピクチャフレームとの間で同一のＩＤを持つ動き領域の重心を結ぶ擬似慣性ベクトルを求め、当該擬似慣性ベクトルから現Ｐピクチャフレームの動き領域の位置を予測することを特徴とする請求項６に記載の移動体表示システム。

【請求項8】

コンピュータに、
カメラの半球視野の空間を全周画像として撮影する全方位カメラの撮影画像から移動体を検出および追跡する移動体抽出ステップと、
前記移動体抽出ステップにより追跡される移動体周りを拡大して注視画像として生成する注視画像生成ステップと、
前記注視画像生成ステップにより生成された注視画像が全周画像の一部に重なる構成の合成画像を生成し、当該合成画像をモニタに表示させる合成画像生成ステップと、
を実行させることを特徴とする移動体表示プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、移動体表示システムおよび移動体表示プログラムに関する。

【背景技術】

【0002】

移動体を自動追尾して監視するシステムの従来例として複数の旋回カメラを備えたものが挙げられる。例えば特許文献１には、広い撮像範囲にわたって移動物体を撮像する移動物体検出用カメラと、移動物体を拡大して捕捉する監視用カメラとを備え、移動物体の位置に応じて両カメラを旋回制御する監視カメラシステムが記載されている。しかしこのような複数の旋回カメラを要するシステムは、カメラの旋回駆動手段もそれぞれ要することから高価なシステムになりやすい。

【0003】

一方、非旋回式のカメラとして、カメラの周囲のほぼ１８０°の半球視野の空間を魚眼画像（以降、全周画像という）として撮影する魚眼レンズカメラ（以降、全方位カメラという）が知られており、特許文献２には全方位カメラで撮影した画像を補正する技術について記載されている。全方位カメラを用いることにより、カメラが一台で済み、カメラの旋回駆動手段も要らないので安価なシムテムが期待できる。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開平１１−１０３４５７号公報

【特許文献2】特許第４０４８５１１号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

従来、全方位カメラを用いたシステムで監視対象を監視モニタに表示する場合、前記した全周画像および注視画像の内のどちらか一方のみが表示されるようになっている。ここでいう「注視画像」とは、全周画像に任意角度の視点パラメータを与えて補正した画像であり、注視対象、例えば移動体が位置する領域の拡大画像である。前記視点パラメータの付与は、監視モニタに表示されている全周画像の内で注視対象が存在する領域を監視者がパソコンのマウス操作で指定することにより行われる。図１１（ａ）は監視モニタに表示される全周画像Ｖ１のイメージ図である。円Ｃの内側の領域が全方位カメラで魚眼状に歪曲して表示される部分であり、円Ｃの外側の領域はＣＣＤ素子から得られる外枠として黒く映る（図では便宜上網掛けにて示す）。従来、全周画像Ｖ１に映っている移動体（人物）Ｊを注視したい場合、監視者は移動体Ｊ周りの領域Ａをマウス操作で指定する。このマウス操作により視点パラメータが付与され、監視モニタには、全周画像Ｖ１に替えて、領域Ａの補正された拡大画像である注視画像Ｖ２（図１１（ｂ））が表示される。

【0006】

しかしながら、マウス操作により注視画像Ｖ２を表示させる技術では、移動体Ｊが移動すると図１１（ｃ），（ｄ）に示すように、移動体Ｊが注視画像Ｖ２の縁部に表示されたり注視画像Ｖ２から外れることがある。その場合、監視者は再び全周画像Ｖ１に戻し、移動体Ｊ周りの領域Ａをマウス操作で再指定することとなり、注視画像Ｖ２の取扱いに手間がかかる。

【0007】

本発明は、このような問題を解決するために創作されたものであり、安価で済み、手間のかかる操作を要さずに注視画像を表示できる移動体表示システムおよび移動体表示プログラムを提供することを目的としている。

【課題を解決するための手段】

【0008】

本発明は、前記課題を解決するため、カメラの半球視野の空間を全周画像として撮影する全方位カメラを備え、前記全周画像の内の円内側の実質撮影領域をモニタの中央に表示する移動体表示システムにおいて、前記全方位カメラの撮影画像から移動体を検出および追跡する移動体抽出部と、前記移動体抽出部により追跡される移動体周りを拡大して注視画像として生成する注視画像生成部と、前記注視画像生成部により生成された注視画像が全周画像の一部に重なる構成の合成画像を生成し、当該合成画像をモニタに表示させる合成画像生成部と、を備えることを特徴とする。

【0009】

この移動体表示システムによれば、以下の効果が奏される。
（１）全周画像と注視画像とが同時に表示されるため、広範囲をカバーする全周画像を監視することでおおまかな人数確認や人物の動線を容易に把握しつつ、注視画像によりある人物の動きを詳細に把握できる。
（２）カメラとして単体の全方位カメラのみで済むため、広い撮像範囲をカバーする移動物体検出用カメラおよび移動物体を拡大して捕捉する監視用カメラの２台を要する従来技術に比して安価な表示システムとなる。
（３）移動体抽出部の移動体追跡機能により注視画像に常に移動体を自動表示させることができ、注視画像の表示にマウス操作等の人的操作を要さない。

【0010】

また、本発明は、前記合成画像生成部は、新規の移動体の注視画像を全周画像のコーナー部に優先して配置することを特徴とする。

【0011】

全周画像の内で円内側の実質撮影領域以外の外枠部分は非撮影領域であり、この非撮影領域はコーナー部で広く占める。したがって、注視画像の矩形の大きさが全周画像の実質撮影領域に重なるほどのサイズであった場合、注視画像をコーナー部に優先的に配置することで、全周画像に対する注視画像の重なり代を抑え、全周画像の監視の妨げを抑制できる。

【0012】

また、本発明は、前記合成画像生成部は、新規の移動体の注視画像を、空いている全周画像のコーナー部の内で前記移動体の重心座標から最も遠いコーナー部に配置することを特徴とする。

【0013】

この移動体表示システムによれば、全周画像における移動体の位置と注視画像との間の距離を大きくとれるため、全周画像において移動体が移動して注視画像に隠れる頻度を確率的に減らすことができる。

【0014】

また、本発明は、前記全周画像は横長画像であって、前記合成画像生成部は、全てのコーナー部に注視画像が既に配置されているときには、新規の移動体の注視画像を、左右の縁中央部の内で前記移動体の重心座標から遠い縁中央部に配置することを特徴とする。

【0015】

この移動体表示システムによれば、コーナー部に次いで非撮影領域を広く占める左右の縁中央部に注視画像を配置することで、全周画像に対する注視画像の重なり代を極力抑え、全周画像の監視の妨げを抑制できる。また、移動体の重心座標から遠い縁中央部に配置することで、全周画像における移動体の位置と注視画像との間の距離を大きくとれるため、全周画像において移動体が移動して注視画像に隠れる頻度を減らすことができる。

【0016】

また、本発明は、前記合成画像生成部は、左右の縁中央部に注視画像が既に配置されているときには、新規の移動体の注視画像を、上下の縁中央部の内で前記移動体の重心座標から遠い縁中央部に配置することを特徴とする。

【0017】

この移動体表示システムによれば、左右の縁中央部に次いで非撮影領域を広く占める上下の縁中央部に注視画像を配置することで、全周画像に対する注視画像の重なり代を極力抑え、全周画像の監視の妨げを抑制できる。また、移動体の重心座標から遠い縁中央部に配置することで、全周画像における移動体の位置と注視画像との間の距離を大きくとれるため、全周画像において移動体が移動して注視画像に隠れる頻度を減らすことができる。

【0018】

また、本発明は、前記移動体抽出部は、Ｐピクチャフレームに含まれるイントラ符号化のマクロブロックと順方向予測符号化であって動きベクトルがしきい値Ｔ_１以上のマクロブロックとを同じ画素値とする２値化の移動物体マップを作成し、前記画素値の集合体を囲む動き領域を作成し、前記動き領域中のイントラ符号化のマクロブロック数がしきい値Ｔ_２以上であるとき、前記集合体を移動体として検出することを特徴とする。

【0019】

この移動体表示システムによれば、低フレームレート（例えば８ｆｐｓ）の圧縮ビデオデータにおいても移動体を精度良く検出できる。

【0020】

また、本発明は、前記移動体抽出部は、直前Ｐピクチャフレームと現Ｐピクチャフレームとの間で同一のＩＤを持つ動き領域の重心を結ぶ擬似慣性ベクトルを求め、当該擬似慣性ベクトルから現Ｐピクチャフレームの動き領域の位置を予測することを特徴とする。

【0021】

この移動体表示システムによれば、低フレームレート（例えば８ｆｐｓ）の圧縮ビデオデータにおいても移動体の追跡精度が向上する。

【0022】

また、本発明は、コンピュータに、カメラの半球視野の空間を全周画像として撮影する全方位カメラの撮影画像から移動体を検出および追跡する移動体抽出ステップと、前記移動体抽出ステップにより追跡される移動体周りを拡大して注視画像として生成する注視画像生成ステップと、前記注視画像生成ステップにより生成された注視画像が全周画像の一部に重なる構成の合成画像を生成し、当該合成画像をモニタに表示させる合成画像生成ステップと、を実行させることを特徴とする。

【0023】

この移動体表示プログラムによれば、以下の効果が奏される。
（１）全周画像と注視画像とが同時に表示されるため、広範囲をカバーする全周画像を監視することでおおまかな人数確認や人物の動線を容易に把握しつつ、注視画像によりある人物の動きを詳細に把握できる。
（２）単体の全方位カメラの撮影画像に関する表示プログラムとなるため、広い撮像範囲をカバーする移動物体検出用カメラおよび移動物体を拡大して捕捉する監視用カメラの２台を要する従来技術に比して簡単な表示プログラムとなる。
（３）移動体抽出部の移動体追跡機能により注視画像に常に移動体を自動表示させることができ、注視画像の表示にマウス操作等の人的操作を要さない。

【発明の効果】

【0024】

本発明によれば、安価で、手間のかかる操作を要さずに注視画像を表示できる移動体表示システムとなる。

【図面の簡単な説明】

【0025】

【図1】本実施形態の移動表示システムの構成ブロック図である。

【図2】合成画像における注視画像の表示位置を示す説明図である。

【図3】合成画像の一例を示す説明図である。

【図4】（ａ），（ｂ）はそれぞれ動き検出部，動き追跡部の構成ブロック図である。

【図5】移動物体マップおよび動き領域のイメージ図である。

【図6】動き検出部の処理フロー図である。

【図7】動き追跡部の処理フロー図である。

【図8】全周画像から所定の矩形領域を抽出する方法を示す平面図である。

【図9】歪曲平面画像から極座標変換により視点パラメータを求める方法を示す斜視図である。

【図10】注視画像の表示位置決定の一例を示すフロー図である。

【図11】従来の注視画像の表示方法を示す説明図である。

【発明を実施するための形態】

【0026】

図１において、本実施形態の移動体表示システム１は、カメラの周囲（全方位３６０°）であって例えばほぼ１８０°の半球レンズの視野の空間を全周画像Ｖ１（図２）として撮影する全方位カメラ２を備える。全方位カメラ２は、例えば撮影した画像データを、H.264規格の圧縮ビデオデータとJPEGデータの２種のデータとして同時配信可能なカメラである。一般にモニタ６の表示部は横長矩形状であるため、これに表示される全周画像Ｖ１は図２に示すように横長矩形の画像である。全周画像Ｖ１は、その円Ｃの内側が魚眼状に歪曲して表示される実質撮影領域であり、円Ｃの外側領域はＣＣＤ素子から得られる外枠として黒く映る領域（図では便宜上網掛けにて示す）である。

【0027】

図１において、移動体表示システム１は、全方位カメラ２の撮影画像から移動体を検出および追跡する移動体抽出部３と、移動体抽出部３により追跡される移動体周りを拡大して注視画像Ｖ２（図２）として生成する注視画像生成部４と、注視画像生成部４により生成された注視画像Ｖ２が全周画像Ｖ１の一部に重なる構成の合成画像Ｖ３を生成し、この合成画像Ｖ３をモニタ６に表示させる合成画像生成部５と、を備える。

【0028】

「移動体抽出部３」
本実施形態の移動体抽出部３は、図４に示す動き検出部１１と動き追跡部２１とを備えて構成される。

【0029】

「動き検出部１１」
図４（ａ）において、動き検出部１１は、符号化判定部１２と、動きベクトル算出部１３と、２値化処理部１４と、動き領域作成部１５と、移動体特定部１６と、を備える。

【0030】

「符号化判定部１２」
符号化判定部１２は、全方位カメラ２で撮影されH.264規格で処理された圧縮ビデオデータをH.264キャプチャ部７（図１）を経由して入力する。圧縮ビデオデータは、３つのフレーム符号化モード（フレーム内符号化フレーム（Ｉピクチャフレーム），順方向予測フレーム（Ｐピクチャフレーム），双方向予測フレーム（Ｂピクチャフレーム））を含む。また、圧縮ビデオデータは、マクロブロックを構成するブロックの圧縮に用いられるブロック符号化モードとして、フレーム内のみの情報を用いるイントラ符号化と、過去のフレームを参照する順方向予測符号化とを含む。符号化判定部１２は、各Ｐピクチャフレームに含まれる個々のマクロブロックの符号化が、イントラ符号化であるか或いは順方向予測符号化であるかの判定を行う。

【0031】

「動きベクトル算出部１３」
符号化判定部１２により順方向予測符号化と判定されたマクロブロックについて、動きベクトル算出部１３は、H.264規格で実装された動きベクトル検出部（図示せず）から動きベクトルを取得し、マクロブロック全体の動きベクトルを算出する。例として、縦１６×横１６画素からなるマクロブロックに対し、複数のパーティション（例えば縦８×横８画素のブロックサイズ）に分け、各パーティションの動きベクトルからマクロブロック全体の動きベクトルを算出する。

【0032】

「２値化処理部１４」
符号化判定部１２によりイントラ符号化と判定されたマクロブロックについて、２値化処理部１４は、そのマクロブロックに対応した画素値を１とする。また、符号化判定部１２により順方向予測符号化と判定されたマクロブロックについて、２値化処理部１４は、動きベクトル算出部１３で算出された動きベクトルの大きさがしきい値Ｔ_１以上であるとき、そのマクロブロックに対応した画素値を１とし、しきい値Ｔ_１未満であるとき、そのマクロブロックに対応した画素値を０とする。

【0033】

「動き領域作成部１５」
２値化処理部１４によって作成された２値化の分布図（移動物体マップ１７（図５））において、動き領域作成部１５は、例えば、上下左右の４方向において画素値１で連結した、いわゆる「４連結」の成分、あるいは、さらに斜め４方向を加えた「８連結」の成分（以降、集合体Ｓという）を囲む矩形領域を作成する。以下、この矩形領域を動き領域ＢＢｏｘと呼ぶ。図５の移動物体マップ１７では、画素値「１」を白、画素値「０」を黒（便宜上、灰色にて示す）として示してあり、動き領域ＢＢｏｘが３箇所作成された場合を示している。

【0034】

「移動体特定部１６」
移動体特定部１６は、動き領域作成部１５で作成された動き領域ＢＢｏｘについて、動き領域ＢＢｏｘ中に含まれているイントラ符号化のマクロブロック数が或るしきい値Ｔ_２以上であれば、その動き領域ＢＢｏｘ内の集合体Ｓが移動体であるとみなし、該移動体を特定する。例えば図５では、２つの動き領域ＢＢｏｘ_１，動き領域ＢＢｏｘ_２がそれぞれのイントラ符号化のマクロブロック数がしきい値Ｔ_２以上であったとして移動体であるとみなされ、動き領域ＢＢｏｘ_３はイントラ符号化のマクロブロック数がしきい値Ｔ_２未満であったとしてノイズとみなされる。

【0035】

図６は動き検出部１１の処理フロー図である。符号化判定部１２は、各Ｐピクチャフレームに含まれる個々のマクロブロックの符号化がイントラ符号化であるか順方向予測符号化であるかの判定を行い（ステップＳ１０１）、イントラ符号化であれば２値化処理部１４はそのマクロブロックに対応した画素値を１とする（ステップＳ１０２）。ステップＳ１０１で順方向予測符号化であれば、動きベクトル算出部１３はそのマクロブロック全体の動きベクトルを算出する（ステップＳ１０３）。動きベクトルがしきい値Ｔ_１以上であるかの判定を行い（ステップＳ１０４）、２値化処理部１４は、しきい値Ｔ_１以上であればそのマクロブロックに対応した画素値を１とし（ステップＳ１０５）、しきい値Ｔ_１未満であればそのマクロブロックに対応した画素値を０とする（ステップＳ１０６）。

【0036】

２値化処理部１４は、ステップＳ１０２，Ｓ１０５，Ｓ１０６で得られた画素値から移動物体マップ１７を作成し（ステップＳ１０７）、動き領域作成部１５は画素値１の集合体Ｓを囲う動き領域ＢＢｏｘを作成する（ステップＳ１０８）。移動体特定部１６は、動き領域ＢＢｏｘ内のイントラマクロブロック数が或るしきい値Ｔ_２以上であるかの判定を行い（ステップＳ１０９）、しきい値Ｔ_２以上であればその動き領域ＢＢｏｘ内に移動体があると特定し（ステップＳ１１０）、しきい値Ｔ_２未満であればノイズと特定する（ステップＳ１１１）。

【0037】

「動き追跡部２１」
図４（ｂ）において、動き追跡部２１は、動き領域予測部２２と、動き領域比較判定部２３と、ＩＤ割り振り部２４と、を備える。

【0038】

「動き領域予測部２２」
動き領域予測部２２は、直前フレームにおいて移動体特定部１６により移動体があるとみなされた動き領域ＢＢｏｘの移動ベクトル（これを擬似慣性ベクトルという）から、現フレームにおける動き領域ＢＢｏｘの位置を予測する。擬似慣性ベクトルとは、隣接したＰピクチャフレーム間で後記するように同一のＩＤを持つ動き領域ＢＢｏｘの重心を結ぶベクトル（始点が直前フレームの重心、終点が現フレームの重心）である。

【0039】

「動き領域比較判定部２３」
動き領域比較判定部２３は、動き領域予測部２２で予測された動き領域ＢＢｏｘの位置に基づいて、現フレームで動き領域作成部１５により作成された動き領域ＢＢｏｘに対し、直前フレームの動き領域ＢＢｏｘとの類似度（例えば矩形の重なり率および擬似慣性ベクトル方向の近似率）を算出し、両フレーム間での動き領域ＢＢｏｘの比較判定を行う。

【0040】

「ＩＤ割り振り部２４」
動き領域比較判定部２３で比較された現フレームの動き領域ＢＢｏｘの中で、直前フレームの動き領域ＢＢｏｘと所定のしきい値Ｔ_３以上の類似度がある内で最大の類似度を持つ動き領域ＢＢｏｘに対して、直前フレームの動き領域ＢＢｏｘのＩＤと同一のＩＤを割り振る。しきい値Ｔ_３未満の類似度の動き領域ＢＢｏｘはノイズとみなす。異なる移動体同士が交差するとき等にはそれぞれの移動体の動き領域ＢＢｏｘが重なり、一つの大きな動き領域ＢＢｏｘが形成されることになるが、前記擬似慣性ベクトルと各ＩＤの割り振り保持により各移動体の追跡精度が向上する。

【0041】

図７は動き追跡部２１の処理フロー図である。動き領域予測部２２は、動き領域ＢＢｏｘの擬似慣性ベクトルを取得し（ステップＳ２０１）、この擬似慣性ベクトルから、現フレーム（フレーム（ｔ＋１））の動き領域ＢＢｏｘの位置を予測する（ステップＳ２０２）。動き領域比較判定部２３は直前フレーム（フレーム（ｔ））と現フレーム（フレーム（ｔ＋１））との間で動き領域ＢＢｏｘの比較を行う（ステップＳ２０３，Ｓ２０４）。類似度がしきい値Ｔ_３以上である動き領域ＢＢｏｘが複数存在した場合、その中で類似度が最大であれば（ステップＳ２０５のＹＥＳ）、同一の移動体と特定し、現フレームの動き領域ＢＢｏｘに直前の動き領域ＢＢｏｘと同じＩＤを割り振る（ステップＳ２０６）。ステップＳ２０５のＮＯの場合には別の移動体と特定される（ステップＳ２０７）。また、ステップＳ２０４でしきい値Ｔ_３未満である場合にはノイズと特定される（ステップＳ２０８）。

【0042】

「注視画像生成部４」
図１において、全方位カメラ２からH.264規格の圧縮ビデオデータと同時配信されるJPEGデータは、JPEGキャプチャ部８，RGBデコード部９を経由して注視画像生成部４に全周画像Ｖ１として入力される。全周画像Ｖ１から注視画像Ｖ２を作成するにあたっては、視点パラメータおよび拡大率が必要となる。本実施形態では、図８に示すように抽出した矩形情報（動き領域作成部１５で作成した動き領域ＢＢｏｘ）において、矩形の重心Ｇから視点パラメータを算出し、矩形の大きさから拡大率を算出することによって注視画像Ｖ２を作成する。全周画像Ｖ１は理論的に半球画像で表すことができるので、図９に示すように重心Ｇに対応する視点パラメータを極座標変換によって算出し、拡大率と合わせて注視画像Ｖ２を出力する。

【0043】

図８より、重心Ｇの座標（ｘ_Ｇ，ｙ_Ｇ）は、式（１）と表せる。ｘ_Ｒ，ｙ_Ｒは矩形の基準コーナー部Ｒの座標、ｗ_Ｒは矩形幅、ｈ_Ｒは矩形高さである。

【0044】

【数1】

【0045】

図９より、視点Ｐは、重心Ｇを通るｘｙ平面に垂直な直線と半球の交点であるので、視点パラメータφ，θは、式（２）を満たす。
但し「０≦φ≦π／２」，「０≦θ＜２π」。

【0046】

【数2】

【0047】

拡大率ｍｐは抽出した矩形の大きさ（ｗ_Ｒ，ｈ_Ｒ）と、全周画像Ｖ１の大きさ（ｗ_ｉ，ｈ_ｉ）とから式（３）で表せる。但しｋは正の定数。

【0048】

【数3】

【0049】

以上のように視点パラメータφ，θおよび拡大率ｍｐを用いることで、矩形の中心部を視点とした注視画像Ｖ２を作成することができる。

【0050】

「合成画像生成部５」
図１において、全方位カメラ２からのJPEGデータは、JPEGキャプチャ部８，RGBデコード部９を経由し合成画像生成部５にも全周画像Ｖ１として入力される。合成画像生成部５は、当該全周画像Ｖ１と注視画像生成部４から入力される注視画像Ｖ２とから合成画像Ｖ３を生成する。合成画像Ｖ３は、注視画像Ｖ２が前面側に表示され、その分、全周画像Ｖ１の一部が隠れた画面構成となる。注視画像Ｖ２の中心部には前記動き追跡部２１で追跡される移動体が常に表示される。

【0051】

本実施形態では、合成画像生成部５は、新規の移動体の注視画像Ｖ２を全周画像Ｖ１のコーナー部Ｐ１〜Ｐ４に優先して配置する。合成画像Ｖ３における注視画像Ｖ２の表示位置数は、例えば図２に示すように４つのコーナー部Ｐ１〜Ｐ４、左右の縁中央部Ｐ５，Ｐ６、上下の縁中央部Ｐ７，Ｐ８の計８箇所である。この場合の新規移動体の注視画像Ｖ２の表示位置決定のフロー例は次の通りである。図１０を参照して、コーナー部Ｐ１〜Ｐ４に空きがあるか否かの判定がなされ（ステップＳ０１）、空きがある場合、全周画像Ｖ１における移動体の重心座標から最も遠いコーナー部に注視画像Ｖ２を配置する（ステップＳ０２）。勿論、ここでは、空きが１つである場合はそのコーナー部が移動体の重心座標から最も遠いコーナー部であると解釈する。

【0052】

ステップＳ０１でコーナー部Ｐ１〜Ｐ４に空きがない場合、左右の縁中央部Ｐ５，Ｐ６に空きがあるか否かの判定がなされ（ステップＳ０３）、空きがある場合、移動体の重心座標から最も遠い縁中央部に注視画像Ｖ２を配置する（ステップＳ０４）。勿論、空きが１つである場合はその縁中央部が移動体の重心座標から最も遠い縁中央部であると解釈する。

【0053】

ステップＳ０３で左右の縁中央部Ｐ５，Ｐ６に空きがない場合、上下の縁中央部Ｐ７，Ｐ８に空きがあるか否かの判定がなされ（ステップＳ０５）、空きがある場合、移動体の重心座標から最も遠い縁中央部に注視画像Ｖ２を配置する（ステップＳ０６）。勿論、空きが１つである場合はその縁中央部が移動体の重心座標から最も遠い縁中央部であると解釈する。ステップＳ０５で上下の縁中央部Ｐ７，Ｐ８に空きがない場合には異常終了とする。

【0054】

図３では、移動体Ｊ１の注視画像Ｖ２が、全周画像Ｖ１における移動体Ｊ１の重心座標から最も遠いコーナー部であるコーナー部Ｐ１に表示され、移動体Ｊ２の注視画像Ｖ２が、全周画像Ｖ１における移動体Ｊ２の重心座標から最も遠いコーナー部であるコーナー部Ｐ３に表示された状態の合成画像Ｖ３を示している。

【0055】

また、或る移動体が追跡され続けている間は注視画像Ｖ２の表示位置は固定される。例えば、図３において移動体Ｊ１が左上に移動することにより、コーナー部Ｐ１が移動体Ｊ２の重心座標から最も遠いコーナー部ではなくなった場合であっても、移動体Ｊ１の注視画像Ｖ２はそのままコーナー部Ｐ１に表示され続ける。

【0056】

「効果」
以上のように、カメラの半球視野の空間を全周画像Ｖ１として撮影する全方位カメラ２を備え、全周画像Ｖ１の内の円内側の実質撮影領域をモニタ６の中央に表示する移動体表示システム１において、全方位カメラ２の撮影画像から移動体を検出および追跡する移動体抽出部３と、移動体抽出部３により追跡される移動体周りを拡大して注視画像Ｖ２として生成する注視画像生成部４と、注視画像生成部４により生成された注視画像Ｖ２が全周画像Ｖ１の一部に重なる構成の合成画像Ｖ３を生成し、この合成画像Ｖ３をモニタ６に表示させる合成画像生成部５と、を備える構成にすれば、次のような効果が奏される。

【0057】

（１）全周画像Ｖ１と注視画像Ｖ２とが同時に表示されるため、広範囲をカバーする全周画像Ｖ１を監視することでおおまかな人数確認や人物の動線を容易に把握しつつ、注視画像Ｖ２によりある人物の動きを詳細に把握できる。
（２）カメラとして単体の全方位カメラ２のみで済むため、広い撮像範囲をカバーする移動物体検出用カメラおよび移動物体を拡大して捕捉する監視用カメラの２台を要する従来技術に比して安価な表示システムとなる。
（３）移動体抽出部３の移動体追跡機能により注視画像Ｖ２に常に移動体を自動表示させることができ、注視画像Ｖ２の表示にマウス操作等の人的操作を要さない。

【0058】

また、ＣＰＵやメモリ等から構成されたコンピュータ（図示せず）に、カメラの周囲のほぼ１８０°の半球視野の空間を全周画像Ｖ１として撮影する全方位カメラ２の撮影画像から移動体を検出および追跡する移動体抽出ステップと、移動体抽出ステップにより追跡される移動体周りを拡大して注視画像Ｖ２として生成する注視画像生成ステップと、注視画像生成ステップにより生成された注視画像Ｖ２が全周画像Ｖ１の一部に重なる構成の合成画像Ｖ３を生成し、この合成画像Ｖ３をモニタ６に表示させる合成画像生成ステップと、を実行させる移動体表示プログラムによれば、次のような効果が奏される。

【0059】

この移動体表示プログラムによれば、以下の効果が奏される。
（１）全周画像と注視画像とが同時に表示されるため、広範囲をカバーする全周画像を監視することでおおまかな人数確認や人物の動線を容易に把握しつつ、注視画像によりある人物の動きを詳細に把握できる。
（２）単体の全方位カメラの撮影画像に関する表示プログラムとなるため、広い撮像範囲をカバーする移動物体検出用カメラおよび移動物体を拡大して捕捉する監視用カメラの２台を要する従来技術に比して簡単な表示プログラムとなる。
（３）移動体抽出部の移動体追跡機能により注視画像に常に移動体を自動表示させることができ、注視画像の表示にマウス操作等の人的操作を要さない。

【0060】

また、矩形の全周画像Ｖ１の内で円内側の実質撮影領域以外の外枠部分は被撮影領域であり、この被撮影領域はコーナー部Ｐ１〜Ｐ４で広く占める。したがって、注視画像の矩形サイズが大きい場合、新規の移動体の注視画像Ｖ２を全周画像Ｖ１のコーナー部Ｐ１〜Ｐ４に優先して配置することで、全周画像Ｖ１に対する注視画像Ｖ２の重なり代を抑え、全周画像Ｖ１の監視の妨げを抑制できる。

【0061】

また、合成画像生成部５は、新規の移動体の注視画像Ｖ２を、空いている全周画像Ｖ１のコーナー部Ｐ１〜Ｐ４の内で移動体の重心座標から最も遠いコーナー部に配置する構成とすれば、全周画像Ｖ１における移動体の位置と注視画像Ｖ２との間の距離を大きくとれるため、全周画像Ｖ１において移動体が移動して注視画像Ｖ２に隠れる頻度を減らすことができる。これにより、全周画像Ｖ１の監視の妨げを抑制できる。

【0062】

全周画像Ｖ１が横長画像である場合、合成画像生成部５は、全てのコーナー部Ｐ１〜Ｐ４に注視画像Ｖ２が既に配置されているときには、新規の移動体の注視画像Ｖ２を、左右の縁中央部Ｐ５，Ｐ６の内で移動体の重心座標から遠い縁中央部に配置する構成とすれば、コーナー部Ｐ１〜Ｐ４に次いで非撮影領域を広く占める左右の縁中央部Ｐ５，Ｐ６に注視画像Ｖ２を配置することで、全周画像Ｖ１に対する注視画像Ｖ２の重なり代を極力抑え、全周画像Ｖ１の監視の妨げを抑制できる。また、移動体の重心座標から遠い縁中央部に配置することで、全周画像Ｖ１における移動体の位置と注視画像Ｖ２との間の距離を大きくとれるため、全周画像Ｖ１において移動体が移動して注視画像Ｖ２に隠れる頻度を減らすことができる。

【0063】

さらに、合成画像生成部５は、左右の縁中央部Ｐ５，Ｐ６に注視画像Ｖ２が既に配置されているときには、新規の移動体の注視画像Ｖ２を、上下の縁中央部Ｐ７，Ｐ８の内で移動体の重心座標から遠い縁中央部に配置する構成とすれば、左右の縁中央部Ｐ５，Ｐ６に次いで非撮影領域を広く占める上下の縁中央部Ｐ７，Ｐ８に注視画像Ｖ２を配置することで、全周画像Ｖ１に対する注視画像Ｖ２の重なり代を極力抑え、全周画像Ｖ１の監視の妨げを抑制できる。また、移動体の重心座標から遠い縁中央部に配置することで、全周画像Ｖ１における移動体の位置と注視画像Ｖ２との間の距離を大きくとれるため、全周画像Ｖ１において移動体が移動して注視画像Ｖ２に隠れる頻度を減らすことができる。

【0064】

また、移動体抽出部３は、Ｐピクチャフレームに含まれるイントラ符号化のマクロブロックと順方向予測符号化であって動きベクトルがしきい値Ｔ_１以上のマクロブロックとを同じ画素値「１」とする２値化の移動物体マップ１７を作成し、前記画素値「１」の集合体Ｓを囲む動き領域ＢＢｏｘを作成し、動き領域ＢＢｏｘ中のイントラ符号化のマクロブロック数がしきい値Ｔ_２以上であるとき、集合体Ｓを移動体として検出する構成とすれば、低フレームレート（例えば８ｆｐｓ）の圧縮ビデオデータにおいても移動体を精度良く検出できる。

【0065】

さらに、移動体抽出部３は、直前Ｐピクチャフレームと現Ｐピクチャフレームとの間で同一のＩＤを持つ動き領域ＢＢｏｘの重心を結ぶ擬似慣性ベクトルを求め、当該擬似慣性ベクトルから現Ｐピクチャフレームの動き領域ＢＢｏｘの位置を予測する構成とすれば、次のような効果が奏される。従来、移動体の追跡手段として動きベクトルの加算平均を用いることが知られている。これは例えば３０ｆｐｓなどの高フレームレートにより動きベクトルの変化が滑らかとなる場合には有効であるが、監視カメラ等で多く用いられる低フレームレートの圧縮ビデオデータでは、隣接フレーム間の動きベクトルの変化が滑らかにならず、必ずしも物体の移動と合致しないおそれがある。これに対し、本実施形態では動き領域ＢＢｏｘの重心間の差分を動き領域ＢＢｏｘの移動ベクトルとして利用するため、低フレームレート（例えば８ｆｐｓ）の圧縮ビデオデータであっても移動体の追跡精度が向上する。

【0066】

以上、本発明の好適な実施形態を説明した。合成画像Ｖ３については様々な機能を付加することが可能であり、例えば合成画像生成部５により自動的に配置された注視画像Ｖ２に対し、監視者がマウスのドラッグ操作により任意の位置にずらしたり、任意の大きさに変える機能を持たせることもできる。

【符号の説明】

【0067】

１ 移動体表示システム
２ 全方位カメラ
３ 移動体抽出部
４ 注視画像生成部
５ 合成画像生成部
６ モニタ
１１ 動き検出部
２１ 動き追跡部
Ｓ 集合体
Ｖ１ 全周画像
Ｖ２ 注視画像
Ｖ３ 合成画像

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】