(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-09-26
(45)【発行日】2023-10-04
(54)【発明の名称】監視表示装置
(51)【国際特許分類】
G08B 15/00 20060101AFI20230927BHJP
G08B 25/00 20060101ALI20230927BHJP
H04N 5/66 20060101ALI20230927BHJP
G06T 7/20 20170101ALI20230927BHJP
【FI】
G08B15/00
G08B25/00 510M
H04N5/66 Z
G06T7/20 300
(21)【出願番号】P 2022001243
(22)【出願日】2022-01-06
(62)【分割の表示】P 2019083409の分割
【原出願日】2019-04-24
【審査請求日】2022-01-06
(73)【特許権者】
【識別番号】000108085
【氏名又は名称】セコム株式会社
(74)【代理人】
【識別番号】100099759
【氏名又は名称】青木 篤
(74)【代理人】
【識別番号】100123582
【氏名又は名称】三橋 真二
(74)【代理人】
【識別番号】100114018
【氏名又は名称】南山 知広
(74)【代理人】
【識別番号】100180806
【氏名又は名称】三浦 剛
(72)【発明者】
【氏名】長谷川 精也
(72)【発明者】
【氏名】沙魚川 久史
(72)【発明者】
【氏名】青木 秀行
(72)【発明者】
【氏名】今田 翔平
【審査官】綿引 隆
(56)【参考文献】
【文献】特開2018-077556(JP,A)
【文献】特開2017-108343(JP,A)
【文献】特開2008-117132(JP,A)
【文献】特開2009-045692(JP,A)
【文献】特開2011-000656(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
B25J 1/00 - B25J 21/02
G06T 7/00 - G06T 7/90
G06V 10/00 - G06V 20/90
G06V 30/418
G06V 40/16
G06V 40/20
G08B 1/00 - G08B 15/02
G08B 19/00 - G08B 31/00
G08G 1/00 - G08G 99/00
H04N 5/66 - H04N 5/74
(57)【特許請求の範囲】
【請求項1】
キャラクタの画像を表示する表示部と、
監視空間内の
複数の人物を検知
し、検知された複数の人物の中から注目対象の人物を検知する検知部と、
前記キャラクタの視線を所定範囲内で移動させる目配り動作を実行し、前記監視空間内で注目対象の人物が検知された場合に前記キャラクタの視線を前記
複数の人物のうち前記検知された注目対象の人物に向ける追跡動作に切り替えて実行するように前記キャラクタの画像表示を制御することで、前記キャラクタの動作を表示制御する表示制御部と、
を有することを特徴とする監視表示装置。
【請求項2】
前記キャラクタは立哨警備する人を模したキャラクタである、請求項1に記載の監視表示装置。
【請求項3】
前記表示制御部は、前記監視空間内で人物が検知されていない場合、前記目配り動作を実行し、前記監視空間内で人物が検知された場合、当該人物が前記注目対象の人物であるときに前記追跡動作を実行する、請求項1または2に記載の監視表示装置。
【請求項4】
前記表示制御部は、前記監視空間内で人物が検知された場合、前記検知された人物に前記注目対象の人物が含まれるときに当該注目対象の人物に対して追跡動作を実行し、前記検知された人物に前記注目対象の人物が含まれないときに前記目配り動作を実行する、請求項1~3の何れか一項に記載の監視表示装置。
【請求項5】
前記監視空間を撮像する撮像部をさらに有し、
前記検知部は、前記撮像部により撮像された画像から人物を検知するとともに、検知された人物の属性を特定し、又は、検知された人物が所定行動を行っているか否かを判定し、
前記表示制御部は、検知された人物が所定の属性を有する場合、又は、前記所定行動を行っている場合、当該人物を前記注目対象の人物として前記追跡動作を実行する、請求項1~4の
何れか一項に記載の監視表示装置。
【請求項6】
前記表示制御部は、目配り動作において前記キャラクタの視線を所定範囲内で移動させ、前記追跡動作においては前記キャラクタの視線の移動可能範囲が前記所定範囲よりも大きくなるように、前記キャラクタの画像表示を制御する、請求項1~5の何れか一項に記載の監視表示装置。
【請求項7】
前記表示制御部は、前記追跡動作における前記キャラクタの動作範囲が、前記目配り動作における前記キャラクタの動作範囲より大きくなるように、前記キャラクタの画像表示を制御する、請求項1~
6の何れか一項に記載の監視表示装置。
【請求項8】
前記表示制御部は、前記目配り動作では前記キャラクタの目又は顔を動かすことにより視線を移動させるように前記動作範囲を設定し、前記追跡動作では前記キャラクタの体全体を動かすことにより視線を移動させるように前記動作範囲を設定する、請求項
7に記載の監視表示装置。
【請求項9】
キャラクタの画像を表示する表示部と、
監視空間内の人物を検知する検知部と、
前記キャラクタの視線を所定範囲内で移動させる目配り動作を実行し、前記監視空間内で注目対象の人物が検知された場合に前記キャラクタの視線を前記検知された注目対象の人物に向ける追跡動作に切り替えて実行するように前記キャラクタの画像表示を制御することで、前記キャラクタの動作を表示制御する表示制御部と、を有し、
前記表示制御部は、前記監視空間内で前記注目対象の人物に対して前記追跡動作を所定時間以上連続して実行した場合、前記追跡動作を終了して前記目配り動作を実行し、前記目配り動作において、前記キャラクタの視線を向けた方向に前記注目対象の人物が存在する場合、視線の移動を一時的に停止するように、前記キャラクタの画像表示を制御する、
ことを特徴とする監視表示装置。
【請求項10】
キャラクタの画像を表示する表示部と、
監視空間内の人物を検知する検知部と、
前記キャラクタの視線を所定範囲内で移動させる目配り動作を実行し、前記監視空間内で注目対象の人物が検知された場合に前記キャラクタの視線を前記検知された注目対象の人物に向ける追跡動作に切り替えて実行するように前記キャラクタの画像表示を制御することで、前記キャラクタの動作を表示制御する表示制御部と、を有し、
前記表示制御部は、前記検知部により検知された人物の数に応じて、前記キャラクタの視線の向け方を変更するように、前記キャラクタの画像表示を制御する、
ことを特徴とする監視表示装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、監視空間を監視する監視表示装置に関する。
【背景技術】
【0002】
近年、空港、駅、商業施設(デパート、スーパーマーケット等)、興行場、企業の事務所等の施設において犯罪を未然に防止するために警備員による警備の重要性が高まっているが、警備員の人手不足が深刻化している。警備員の人手不足を解消するために、警備員を模したキャラクタの画像を表示しつつ、各施設の監視空間を監視する監視表示装置が開発されている。
【0003】
例えば、特許文献1には、人の上半身の形状に合わせたスクリーンを設置し、スクリーンの形状に合わせて警備員の映像を投影させる映像出力装置搭載機器が開示されている。この映像出力装置搭載機器は、所定の範囲内に人がいるか否かを検出する人感センサによって人が検出された際に、警備員の映像をスクリーンに投影させる。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
警備員を模したキャラクタの画像を表示しつつ監視空間を監視する監視表示装置では、監視空間内に存在する人物に、見られている意識、及び、見守られている安心感を与えるために、より本物の警備員らしい画像を表示することが求められている。
【0006】
本発明の目的は、警備員を模したキャラクタの画像を表示しつつ監視空間を監視する際に、より本物の警備員らしい画像を表示することができる監視表示装置を提供することにある。
【課題を解決するための手段】
【0007】
かかる課題を解決するため本発明は、立哨する警備員を模したキャラクタの画像を表示する表示部と、監視空間内の人物を検知する検知部と、監視空間内で人物が検知されていない場合、キャラクタの視線を所定範囲内で移動させる目配り動作を実行し、監視空間内で人物が検知された場合、キャラクタの視線の移動可能範囲を所定範囲より大きくし且つキャラクタの視線を検知された人物に向ける追跡動作を実行するようにキャラクタの画像表示を制御することで、警備員キャラクタの動作を表示制御する表示制御部と、を有する監視表示装置を提供する。
【0008】
この監視表示装置において、表示制御部は、追跡動作におけるキャラクタの動作範囲が、目配り動作におけるキャラクタの動作範囲より大きくなるように、キャラクタの画像表示を制御することが好適である。
【0009】
この監視表示装置において、表示制御部は、目配り動作ではキャラクタの目又は顔を動かすことにより視線を移動させるように動作範囲を設定し、追跡動作ではキャラクタの体全体を動かすことにより視線を移動させるように動作範囲を設定することが好適である。
【0010】
この監視表示装置において、監視空間を撮像する撮像部をさらに有し、検知部は、撮像部により撮像された画像から人物を検知するとともに、検知された人物が所定行動を行っているか否かを判定し、表示制御部は、検知された人物が所定行動を行っている場合、追跡動作を実行するように、キャラクタの画像表示を制御することが好適である。
【0011】
この監視表示装置において、表示制御部は、監視空間内で所定人物に対して前記追跡動作を所定時間以上連続して実行した場合、追跡動作を終了して目配り動作を実行し、目配り動作において、キャラクタの視線を向けた方向に所定人物が存在する場合、視線の移動を一時的に停止するように、キャラクタの画像表示を制御することが好適である。
【0012】
この監視表示装置において、表示制御部は、検知部により検知された人物の数に応じて、キャラクタの視線の向け方を変更するように、キャラクタの画像表示を制御することが好適である。
【発明の効果】
【0013】
本発明に係る監視表示装置は、警備員を模したキャラクタの画像を表示しつつ監視空間を監視する際に、より本物の警備員らしい画像を表示することが可能となる。
【図面の簡単な説明】
【0014】
【
図1】監視システム1の全体システム構成を示す図である。
【
図2】監視表示装置10の外観を示す模式図である。
【
図3】表示処理の動作の例を示すフローチャートである。
【
図4】(a)は目配り動作に係る画像表示処理の動作の例を示すフローチャートであり、(b)は追跡動作に係る画像表示処理の動作の例を示すフローチャートである。
【
図5】(a)、(b)は、キャラクタの視線の一例を示す模式図である。
【
図6】(a)、(b)は、キャラクタの視線の一例を示す模式図である。
【発明を実施するための形態】
【0015】
以下、実施形態に係る監視システムについて図を参照しつつ説明する。
【0016】
図1は、実施形態に係る監視システム1の全体システム構成を示す図である。
図1に示すように、監視システム1は、複数の監視表示装置10及び管理装置20等を有する。各監視表示装置10は、空港、駅、商業施設(デパート、スーパーマーケット等)、興行場、企業の事務所等の監視対象施設において、それぞれ異なる監視空間に設置され、各監視空間を監視及び警備する端末である。管理装置20は、警備会社が運営する警備センタ又は監視対象施設内の防災センタの監視卓等に設置され、各監視表示装置10による監視結果(撮影映像等)を収集し、管理する装置である。各監視表示装置10及び管理装置20は、イントラネット、インターネット又は携帯電話ネットワーク等の通信ネットワークを介して相互に接続される。
なお、監視システム1は、それぞれ異なる複数の監視対象をそれぞれ管理する複数の管理装置20を有してもよい。その場合、監視システム1は、各監視対象から離れた位置に設置された監視センタに配置されたサーバ装置をさらに有し、サーバ装置が、各管理装置20が管理する情報を収集し、管理してもよい。
【0017】
監視表示装置10は、ミラーサイネージ等の表示装置である。監視表示装置10は、表示部11、センサ12、撮像部13、音声入力部14、音声出力部15、通信部16、記憶部17及び制御部18等を有する。
【0018】
表示部11は、ミラー型ディスプレイ等であり、制御部18からの指示に従って画像、テキスト等の各情報を表示する。特に、表示部11は、制御部18からの指示に従って、立哨する警備員を模したキャラクタ(以降、警備員キャラクタと称する場合がある)の画像を表示する。なお、表示部11は、液晶ディスプレイ又は有機ELディスプレイ等の非ミラー型ディスプレイでもよい。表示部11の詳細については後述する。
【0019】
センサ12は、周期的に監視空間内の人物を検知し、検知した人物の位置を求める人体検知センサである。センサ12として、例えばレーザ測距センサが利用される。レーザ測距センサは、予め設定された走査範囲(例えば180°)にわたって水平方向に所定の角度ステップ(例えば0.25°単位)で、所定の波長(例えば約870nm)を有する近赤外線のパルスレーザを照射し、そのレーザの反射光を検出する。レーザ測距センサは、例えばTime-of-Flight法により、レーザを反射した物体までの距離を測定する。センサ12は、一定の周期(例えば200msec)で走査範囲全体を走査し、その走査範囲内の各方位における、レーザが反射された点までの距離を測定し、測定された距離を、パルスレーザを投光した方位と対応付けた測距データを制御部18へ出力する。なお、センサ12は、位相差方式、三角測量方式等の他の公知の測距方法を用いて人物の位置を求めてもよい。また、センサ12は、複数設けられてもよい。
【0020】
撮像部13は、CCD素子またはC-MOS素子など、可視光に感度を有する光電変換素子と、その光電変換素子上に像を結像する結像光学系と、光電変換素子から出力された電気信号を増幅し、アナログ/デジタル(A/D)変換するA/D変換器とを有する。撮像部13は、撮影したRGB各色の画像を各画素が0~255の範囲の輝度値を有するデジタルの入力画像に変換して制御部18へ出力する。なお、撮像部13は、複数設けられてもよい。
音声入力部14は、マイクロフォンと、光電変換素子から出力された電気信号を増幅し、アナログ/デジタル(A/D)変換するA/D変換器とを有する。音声入力部14は、入力された音声をデジタルの入力音声に変換して制御部18へ出力する。
音声出力部15は、例えばスピーカ等であり、制御部18からの指示に従って音声を出力する。
【0021】
通信部16は、例えばTCP/IP等に準拠した通信インタフェース回路を有し、イントラネット又はインターネット等の通信ネットワークに接続する。または、通信部16は、例えばW-CDMA方式又はLTE方式等に準拠した通信インタフェース回路を有し、基地局を介して移動体通信網等の通信ネットワークに接続する。通信部16は、通信ネットワークから受信したデータを制御部18へ出力し、制御部18から入力されたデータを通信ネットワークに送信する。
【0022】
記憶部17は、ROM、RAM等の半導体メモリ、磁気ディスク又はCD-ROM、DVD-ROM等の光ディスクドライブ及びその記録媒体を有する。記憶部17は、監視表示装置10を制御するためのコンピュータプログラム及び各種データを記憶し、制御部18との間でこれらの情報を入出力する。コンピュータプログラムは、CD-ROM、DVD-ROM等のコンピュータ読み取り可能な可搬型記録媒体から公知のセットアッププログラム等を用いて記憶部17にインストールされてもよい。
また、記憶部17は、データとして、監視空間における監視表示装置10の設置位置、及び、入場ゲートや立入禁止区域等の特定エリアの位置を記憶する。また、記憶部17は、データとして、監視空間におけるセンサ12の配置位置、及び、パルスレーザの照射方向を記憶する。また、記憶部17は、データとして、撮像部13により撮像される画像内の各画素と、監視空間内の各位置との対応関係を示すマップ情報を記憶する。
【0023】
制御部18は、CPU、MPU等のプロセッサと、ROM、RAM等のメモリと、その周辺回路とを有し、監視表示装置10の各種信号処理を実行する。制御部18は、プロセッサ上で動作するプログラムの機能モジュールとして実装される検知部181及び表示制御部182等を有する。表示制御部182は、認識した監視空間の状況等に応じて表示するキャラクタの動作を表示制御する。また、表示制御部182は、監視表示装置10の近傍(例えば、1m以内)で立ち止まった人物を検知したり、人物からの発話を検知したりすると当該人物と対話するように音声出力を制御する。なお、制御部18として、DSP、LSI、ASIC、FPGA等が用いられてもよい。
制御部18は、撮像部13が監視空間を撮像した入力画像又は音声入力部14が集音した入力音声を、通信部16を介して管理装置20へ送信する。また、制御部18は、通信部16を介して管理装置20から受信した監視員の音声を音声出力部15から出力する。
【0024】
管理装置20は、例えばパーソナルコンピュータ等である。管理装置20は、第2表示部21、第2音声入力部22、第2音声出力部23、第2通信部24、第2記憶部25及び第2制御部26等を有する。
【0025】
第2表示部21は、液晶ディスプレイ又は有機ELディスプレイ等であり、第2制御部26からの指示に従って画像、テキスト等の各情報を表示する。
第2音声入力部22は、音声入力部14と同様の構成を有し、入力された音声をデジタルの音声データに変換して第2制御部26へ出力する。
第2音声出力部23は、音声出力部15と同様の構成を有し、第2制御部26からの指示に従って音声を出力する。
【0026】
第2通信部24は、例えばTCP/IP等に準拠した通信インタフェース回路を有し、イントラネット又はインターネット等の通信ネットワークに接続する。第2通信部24は、通信ネットワークから受信したデータを第2制御部26へ出力し、第2制御部26から入力されたデータを通信ネットワークに送信する。
【0027】
第2記憶部25は、記憶部17と同様の半導体メモリ、磁気ディスク又は光ディスクドライブ及びその記録媒体を有する。第2記憶部25は、管理装置20を制御するためのコンピュータプログラム及び各種データを記憶し、第2制御部26との間でこれらの情報を入出力する。コンピュータプログラムは、CD-ROM、DVD-ROM等のコンピュータ読み取り可能な可搬型記録媒体から公知のセットアッププログラム等を用いて第2記憶部25にインストールされてもよい。
【0028】
第2制御部26は、制御部18と同様のプロセッサ、メモリ及び周辺回路を有し、管理装置20の各種信号処理を実行する。なお、第2制御部26として、DSP、LSI、ASIC、FPGA等が用いられてもよい。
第2制御部26は、第2通信部24を介して監視表示装置10から受信した入力画像を第2表示部21に表示するとともに、第2通信部24を介して監視表示装置10から受信した入力音声を第2音声出力部23から出力する。また、第2制御部26は、第2音声入力部22から入力された監視員による音声を、第2通信部24を介して監視表示装置10に送信する。
【0029】
図2は、監視表示装置10の外観を示す模式図である。
図2に示すように、監視表示装置10の表示部11は、台座19により支持されている。監視表示装置10は、表示部11が監視空間Aに向くように配置される。
表示部11は、例えば、液晶ディスプレイ又は有機ELディスプレイ等のモニターの表示面にミラーパネル111を貼り合わせることにより形成されている。ミラーパネル111は、外側(監視空間側)からの光を反射しつつ、内側(モニター側)からの光(画像)を透過する。これにより、表示部11は、監視空間Aを往来する人物H1、H2の像を反射させて表示しつつ、制御部18から出力された警備員キャラクタCの画像を表示する。
ミラーパネル111の外枠112には、センサ12が監視空間Aに向けて近赤外線のパルスレーザを投光可能に配置される。同様に、外枠112には、撮像部13が監視空間Aを撮像可能に配置され、音声入力部14が監視空間Aの音を集音可能に配置され、音声出力部15が監視空間Aに向けて音を出力可能に配置される。なお、センサ12、撮像部13、音声入力部14及び音声出力部15の配置は外枠112に限られるものではなく、ミラーパネル111越しに配置されてもよい。
【0030】
図3は、監視表示装置10による表示処理の動作の例を示すフローチャートである。このフローチャートは、予め記憶部17に記憶されているプログラムに基づいて、主に制御部18により、監視表示装置10の各要素と協働して実行される。表示処理が実行されている間、表示制御部182は、警備員キャラクタの画像を表示部11に表示し続ける。
【0031】
まず、検知部181は、撮像部13に監視空間を撮像させ、監視空間を撮像した入力画像を撮像部13から取得する(ステップS101)。
【0032】
次に、検知部181は、監視空間内の人物を検知する検知処理を実行する(ステップS102)。
検知部181は、入力画像から人物を検知する。検知部181は、例えばフレーム間差分処理または背景差分処理を利用して、順次撮影された複数の入力画像において輝度値の時間的な変化を有する変化領域を抽出する。検知部181は、抽出した各変化領域の大きさ、形状等の特徴量に基づいて、人物らしいと考えられる変化領域を人物領域として抽出する。検知部181は、抽出した人物領域に対してSobelフィルタなどを用いて輝度変化の傾き方向が分かるようにエッジ画素を抽出する。検知部181は、抽出したエッジ画素から、例えば一般化ハフ変換を用いて、所定の大きさを有する、頭部の輪郭形状を近似した楕円形状のエッジ分布を検出し、そのエッジ分布に囲まれた領域を顔領域として抽出する。なお、検知部181は、Adaboost識別器等の他の公知の方法を用いて顔領域を抽出してもよい。検知部181は、入力画像から顔領域を抽出した場合、その顔領域に対応する人物領域に含まれる人物を監視空間内の人物として検出する。そして、検知部181は、マップ情報に基づいて、検出した人物の足元が写っている、人物領域の最下端の画素に対応する監視空間内の位置を人物位置として特定する。検知部181は、複数の顔領域が抽出された場合、抽出した顔領域毎に人物を検出して人物位置を特定する。
【0033】
なお、検知部181は、センサ12から測距データを取得し、取得した測距データから人物を検知してもよい。検知部181は、取得した測距データを予め設定された基準測定データと比較し、所定以上の距離変化が生じている方向(走査方位)を抽出し、所定以上の連続性(例えば一般的な人のサイズ)を有する距離変化方向群を監視空間内の人物として検出する。検知部181は、監視空間におけるセンサ12の配置位置及びパルスレーザの照射方向と、検出した人物に係る代表測距データ(例えば、距離変化方向群の中心の走査方位及び測定距離)とから、監視空間内の人物位置を特定する。検知部181は、複数の距離変化方向群が抽出された場合、距離変化方向群毎に人物か否かを判別し、人物位置を特定する。
また、検知部181は、音声入力部14から入力音声を取得し、取得した入力音声から人物を検知してもよい。検知部181は、入力音声の音圧が、予め設定された閾値以上である場合に、監視空間に人物が存在すると判定する。なお、検知部181は、入力音声の周波数が、予め設定された範囲内である場合に、監視空間に人物が存在すると判定してもよい。
【0034】
次に、検知部181は、検知処理において人物が検知されたか否かを判定する(ステップS103)。
【0035】
検知処理において人物が検知されなかった場合、表示制御部182は、目配り動作を実行するように警備員キャラクタの画像表示を制御し(ステップS104)、処理をステップS101へ戻す。目配り動作の詳細については後述する。
【0036】
一方、検知処理において人物が検知された場合、検知部181は、検知された人物の追跡処理を実行する(ステップS105)。
検知部181は、複数の入力画像にわたって抽出された人物領域に対して公知のトラッキング技術を利用して追跡処理を行い、同一人物が写っている人物領域同士を対応付けることにより人物領域を追跡する。検知部181は、例えば、現フレームから抽出された人物領域の重心位置と、前フレームから抽出された人物領域の重心位置の距離を求めて、その距離が閾値以下である場合に、その人物領域に写っている人物を同一人物として対応付ける。なお、人物領域が複数抽出されている場合、検知部181は、距離が閾値以下である人物領域の内、重心位置が最も近い人物領域に写っている人物を同一人物として対応付ける。また、検知部181は、オプティカルフロー、パーティクルフィルタ等の他の公知の方法を用いて人物領域の追跡処理を行ってもよい。
なお、検知部181は、センサ12から取得した測距データから人物を検知した場合、今回検出された人物位置と、前回検出された人物位置の距離を求めて、その距離が閾値以下である場合に、その人物位置に対応する人物を同一人物として対応付ける。なお、人物が複数検知されている場合、検知部181は、距離が閾値以下である人物位置の内、最も近い人物位置に対応する人物を同一人物として対応付ける。
【0037】
次に、検知部181は、追跡処理で対応付けた人物毎に、検知された各人物が所定行動を行っているか否かを判定する(ステップS106)。所定行動は、監視空間への新たな入場又は特定エリアへの接近等である。検知部181は、今回検出された人物に対して、前回検出された人物の何れも対応付けられなかった場合、今回検出された人物が監視空間へ新たに入場したと判定し、所定行動を行っていると判定する。また、検知部181は、監視空間内の人物位置が、予め設定された特定エリアの位置から所定距離内である場合、その人物が特定エリアへ接近していると判定し、所定行動を行っていると判定する。それ以外の場合、検知部181は、各人物が所定行動を行っていないと判定する。なお、所定行動は上記の例に限られるものではなく、より注意を払うべき行動(例えば、監視空間でうろうろしている、大きな声を出している等)を所定行動とすることができる。
【0038】
検知された人物の内の何れの人物も所定行動を行っていない場合、表示制御部182は、目配り動作を実行するように警備員キャラクタの画像表示を制御し(ステップS104)、処理をステップS101へ戻す。
【0039】
一方、検知された人物の内の何れかの人物が所定行動を行っている場合、表示制御部182は、追跡動作を実行するように警備員キャラクタの画像表示を制御し(ステップS107)、処理をステップS101へ戻す。追跡動作の詳細については後述する。
【0040】
なお、ステップS105及びS106の処理を省略し、表示制御部182は、監視空間内で人物が検知されていない場合に目配り動作を実行し、監視空間内で人物が検知された場合に追跡動作を実行するように警備員キャラクタの画像表示を制御してもよい。この場合も、表示制御部182は、本物の警備員らしい画像を表示することが可能となる。
一方、表示制御部182は、検知された人物が所定行動を行っている場合に限り追跡動作を実行するように警備員キャラクタの画像表示を制御することにより、より注意を払うべき人物に対して警備員キャラクタの存在感を強く発揮させることが可能となる。
【0041】
また、表示制御部182は、検知された人物が所定の属性を有する場合に限り追跡動作を実行するように警備員キャラクタの画像表示を制御してもよい。その場合、検知部181は、追跡処理で対応付けた人物毎に、各人物の属性を特定する。検知部181は、人物の属性として、年齢、性別及び/又は表情等を特定する。
例えば、検知部181は、機械学習技術を用いて、人物の属性を特定する。監視表示装置10は、様々な属性を有する人物が写っている複数のサンプル画像を用いて、各サンプル画像が入力された場合にそのサンプル画像に写っている人物の属性を出力するように事前に学習された識別器を記憶部17に記憶しておく。検知部181は、入力画像内の人物領域を切り出して識別器に入力し、識別器から出力された属性を、その人物領域に写っている人物の属性として取得する。
なお、検知部181は、特徴量マッチング技術を用いて、各人物の属性を特定してもよい。監視表示装置10は、様々な属性を有する人物が写っている複数のサンプル画像から算出された「目」「鼻」「口」等の各部位の特徴量をその属性と関連付けて事前に記憶部17に記憶しておく。特徴量は、ハールライク(Haar-Like)特徴量又はHOG(Histogram of Oriented Gradient)特徴量等である。検知部181は、入力画像内の人物領域から、各部位の位置又は形状等の特徴に基づいて各部位を検出し、その特徴量を算出する。検知部181は、算出した特徴量と、記憶部17に記憶しておいた各特徴量との類似の程度を算出し、類似の程度が最も高い特徴量に関連付けられた属性を、その人物領域に写っている人物の属性として取得する。類似の程度は、正規化相互相関値等である。
表示制御部182は、検知された人物が所定の属性(例えば男性、20歳以上、緊迫した表情等)を有する場合に限り追跡動作を実行するように警備員キャラクタの画像表示を制御する。これにより、表示制御部182は、より注意を払うべき人物に対して警備員キャラクタの存在感を強く発揮させることが可能となる。
【0042】
図4(a)は、目配り動作に係る画像表示処理の動作の例を示すフローチャートである。なお、
図4(a)に示す画像表示処理は、
図3のステップS104で実行される。また、後述するように、所定人物に対して追跡動作を所定時間以上連続して実行した場合、表示制御部182は、追跡動作を終了して目配り動作を実行し、
図4(a)に示す画像表示処理を実行する。
【0043】
最初に、表示制御部182は、現在表示されている警備員キャラクタの視線を向けている視線方向に、所定行動を行っている人物として所定時間以上連続して検知され続けている所定人物が存在するか否かを判定する(ステップS201)。例えば、監視表示装置10は、複数の視線方向毎に、各視線方向に対応する監視空間内の位置を事前に記憶部17に設定しておく。表示制御部182は、現在表示されている警備員キャラクタの視線方向に対応する位置が、所定人物の最新の人物位置と重複する場合、その視線方向に所定人物が存在すると判定する。
【0044】
警備員キャラクタの視線方向に所定人物が存在しない場合、表示制御部182は、警備員キャラクタの視線を所定範囲内で移動させるように、警備員キャラクタの視線方向を決定する(ステップS202)。
【0045】
図5(a)、(b)は、目配り動作における警備員キャラクタの視線の一例を示す模式図である。
図5(a)は、目配り動作において視線が監視表示装置10側から見て最も右側を向いている状態の警備員キャラクタCを示し、
図5(b)は、目配り動作において視線が監視表示装置10側から見て最も左側を向いている状態の警備員キャラクタCを示す。目配り動作では、警備員キャラクタCの視線は、最初、
図2に示すように正面を向いており、時間の経過とともに徐々に右側に移動していく。警備員キャラクタCの視線は、
図5(a)の位置に達すると、今度は徐々に左側に移動していき、
図5(b)に示す位置に達すると、再度、右側に移動していく。以後、この動作が繰り返される。表示制御部182は、所定範囲内において警備員キャラクタCの視線が直前の状態から変化するように、警備員キャラクタCの視線方向を決定する。なお、警備員キャラクタCの視線の移動方向は、左右方向(水平方向)に限定されず、上下方向(垂直方向)又は斜め方向でもよい。また、目配り動作において、警備員キャラクタCの視線方向は、常に正面から変化しないように設定されたり、視線が正面を向いたときに一時的(例えば10秒)に視線の動きが止められたりしてもよい。
【0046】
一方、警備員キャラクタの視線方向に所定人物が存在する場合、表示制御部182は、視線の移動を一時的に停止するように、警備員キャラクタの視線方向を決定する(ステップS203)。表示制御部182は、所定時間(例えば3秒間)、視線の移動を一時的に停止するように、警備員キャラクタの視線方向を決定する。これにより、表示制御部182は、監視空間に長時間存在する人物が警備員キャラクタに見られ続けて不快に感じることを抑制できる。さらに、表示制御部182は、警備員キャラクタに自然な流れの中でその人物を注視させて、その人物に見られている意識(威嚇効果)を与えることが可能となる。
【0047】
次に、表示制御部182は、ステップS202又はS203で決定した視線方向を向くように、表示部11に表示される警備員キャラクタの画像表示を更新し(ステップS204)、一連のステップを終了する。監視表示装置10は、例えば、1枚の警備員キャラクタの画像を目、鼻、口、顔の輪郭、首、体、腕、足等の所定のパーツごとに分割し、各パーツにポリゴンを割り当てておく。また、監視表示装置10は、複数の視線方向毎に、各視線方向に対応する各パーツのポリゴンの位置及び向きを事前に記憶部17に設定しておく。表示制御部182は、警備員キャラクタが、決定した視線方向を向くように、ポリゴンを動かし、ポリゴンにあわせて各パーツを動かすことにより、警備員キャラクタの画像表示を更新する。なお、監視表示装置10は、複数の視線方向毎に、別個の警備員キャラクタの画像を予め記憶しておいてもよい。その場合、表示制御部182は、視線方向に応じた警備員キャラクタの画像を表示させることにより、警備員キャラクタの画像表示を更新する。
また、表示制御部182は、
図5(a)、(b)に示す例では、警備員キャラクタの目の向き及び顔の向きを変更することにより視線を変更させているが、目の向き、顔(頭部)の向き又は体全体(全身)の向きの何れか一つ又は複数を変更することにより視線を変更させてもよい。
【0048】
図4(b)は、追跡動作に係る画像表示処理の動作の例を示すフローチャートである。なお、
図4(b)に示す画像表示処理は、
図3のステップS107で実行される。
【0049】
最初に、表示制御部182は、監視空間内で所定行動を行っている人物として検知された各人物の追跡時間が、所定時間以上であるか否かを判定する(ステップS301)。表示制御部182は、検知された人物毎に、警備員キャラクタが視線を向けている時間(例えば、追跡動作を行なっている時間、又は、各人物が監視空間へ入場した時から現在時刻までの時間)を追跡時間として算出し、各人物の追跡時間が所定時間以上であるか否かを判定する。所定時間は、一般に、他人(警備員キャラクタC)から見られ続けていることを意識付けられる時間に設定され、例えば10秒間に設定される。また、所定時間は、他人から見られ続けた場合でも不快に感じない時間を考慮して設定されてもよい。なお、表示制御部182は、警備員キャラクタが視線を向けている時間が所定時間以上であるか否かに代えて、監視空間内で所定時間以上連続して検知され続けているか否かを判定してもよい。
【0050】
所定行動を行っている人物として検知された全ての人物の追跡時間が、所定時間以上である場合、表示制御部182は、追跡動作を終了して目配り動作を実行する(ステップS302)。
【0051】
一方、所定行動を行っている人物として検知された何れかの人物の追跡時間が、所定時間以上でない場合、表示制御部182は、警備員キャラクタの視線を、検知された人物に向けるように視線方向を決定する(ステップS303)。特に、表示制御部182は、警備員キャラクタの視線を、追跡時間が所定時間以上でない人物に向けるように視線方向を決定する。表示制御部182は、監視表示装置10の設置位置から、検知部181により検知されたその人物の人物位置に向かう方向を視線方向に決定する。
【0052】
図6(a)、(b)は、追跡動作における警備員キャラクタの視線の一例を示す模式図である。
図6(a)は、追跡動作において監視表示装置10側から見て右側に位置する人物H1に視線を向けている状態の警備員キャラクタCを示す。一方、
図6(b)は、追跡動作において監視表示装置10側から見て左側に位置する人物H2に視線を向けている状態の警備員キャラクタCを示す。追跡動作では、警備員キャラクタCの視線は、所定行動を行っている人物として検知された人物の内、追跡動作を所定時間以上実行していない何れかの人物に向けられる。対応する人物が複数存在する場合、警備員キャラクタCの視線が向けられる人物は、一定時間毎に変更される。この例では、表示制御部182は、警備員キャラクタCの視線を人物H1及びH2に交互に向けるように視線方向を決定する。また、表示制御部182は、追跡動作における警備員キャラクタCの視線の移動可能範囲を、目配り動作における警備員キャラクタCの視線の移動範囲である所定範囲より大きくする。例えば、目配り動作では、警備員キャラクタCの正面を基準に左右45度ずつを移動可能範囲として設定し、追跡動作では、警備員キャラクタCの正面を基準に75度ずつを移動可能範囲として設定する。このように、目配り動作では移動可能範囲が狭く設定されているため、目の動き及び/又は顔の動きにより視線を移動させ、追跡動作では移動可能範囲が広く設定されているため、さらに体全体の動きも加えることにより視線を移動させる。なお、目配り動作において移動可能範囲を狭く設定しているのは、警備員キャラクタCの自然な視線の移動により監視空間を監視するためであり、追跡動作において移動可能範囲を広く設定しているのは、警備員キャラクタCが継続して人物に視線を向けられるようにすることで存在感を与えるようにするためである。これにより、表示制御部182は、監視空間内の任意の位置に存在する人物に対して警備員キャラクタCの自然な動きにより視線を向けつつ存在感を与えることができる。
【0053】
なお、表示制御部182は、検知部181により検知された人物の数、特に所定行動を行っている人物の数に応じて、警備員キャラクタの視線の向け方を変更してもよい。例えば、表示制御部182は、人物の数が多いほど、警備員キャラクタCが各人物に視線を向ける時間を短くする。これにより、表示制御部182は、それぞれの人物に対して、見られている意識を効率良く与えることが可能となる。
また、表示制御部182は、各人物に対して優先度を設定してもよい。例えば、表示制御部182は、監視表示装置10の設置位置又は特定エリアの位置に近い人物ほど高くなるように優先度を設定する。または、表示制御部182は、動き(移動距離)が大きい人物ほど高くなるように優先度を設定してもよい。そして、表示制御部182は、優先度が高い人物から順に警備員キャラクタCの視線を向けるように視線方向を決定する。なお、表示制御部182は、優先度が高い人物ほど警備員キャラクタCの視線を向ける時間を長くしてもよい。これにより、表示制御部182は、より危険性が高い人物に対して、見られている意識を強く与えることが可能となる。
また、表示制御部182は、各人物の人物位置及び/又は各人物の移動方向に基づいて、各人物をグループ化してもよい。例えば、表示制御部182は、人物位置が特定の距離内である一又は複数の人物、及び/又は、移動方向(ベクトル)の差が特定の範囲内である一又は複数の人物を一つのグループにまとめる。表示制御部182は、一定時間毎に、警備員キャラクタCの視線を向けるグループを変更し、そのグループに含まれる各人物の人物位置の重心位置に警備員キャラクタCの視線を向けるように視線方向を決定する。これにより、表示制御部182は、検知された人物が多数存在する場合に、視線を効率良く変更することができる。
【0054】
次に、表示制御部182は、目配り動作と同様にして、決定した視線方向を向くように、表示部11に表示される警備員キャラクタの画像表示を更新し(ステップS304)、一連のステップを終了する。
なお、表示制御部182は、
図6(a)、(b)に示す例では、警備員キャラクタの顔の向きを変更することにより視線を変更させているが、目の向き又は体全体の向きを変更することにより視線を変更させてもよい。
また、表示制御部182は、追跡動作における警備員キャラクタの動作する部位(目、顔、体全体等)、即ち動作範囲が、目配り動作における警備員キャラクタの動作範囲より大きくなるように、警備員キャラクタの画像表示を制御してもよい。例えば、表示制御部182は、警備員キャラクタの視線を変更させるために、目配り動作では目の向きのみを変更しつつ、追跡動作では顔又は体全体の向きを変更する。または、表示制御部182は、目配り動作では顔の向きを変更しつつ、追跡動作では体全体の向き変更する。即ち、表示制御部182は、目配り動作では警備員キャラクタの目又は顔を動かすことにより視線を移動させるように動作範囲を設定し、追跡動作では警備員キャラクタの体全体を動かすことにより視線を移動させるように動作範囲を設定する。これにより、表示制御部182は、その人物に対して見られている意識をより強く与えることが可能となる。また、目配り動作と追跡動作とにおいて警備員キャラクタCが同じ方向を向く場合でも視線の向け方を異ならせるようにしてもよい。例えば、正面から左側に30度の方向に視線を向ける場合、目配り動作では目の動きにより視線を向け、追跡動作では体全体の動きにより視線を向ける。また、追跡動作において、目配り動作の移動可能範囲においては目配り動作と同様の動き(例えば、目の動き)により視線を向け、目配り動作の移動可能範囲を越える範囲においては動作範囲を大きくして(例えば、体全体の動き)視線を向けるようにしてもよい。
また、表示制御部182は、追跡動作における警備員キャラクタの動作範囲を、監視表示装置10の設置位置から人物位置までの距離に応じて変更するように、警備員キャラクタの画像表示を制御してもよい。例えば、表示制御部182は、監視表示装置10の設置位置から人物位置までの距離が距離閾値以上である場合、目の向きのみを変更し、監視表示装置10の設置位置から人物位置までの距離が距離閾値未満である場合、顔又は体全体の向きを変更する。これにより、表示制御部182は、警備員キャラクタの視線を、検知した人物に、より自然に向けさせることが可能となる。
【0055】
なお、
図4(a)のステップS201、203及び
図4(b)のステップS301、302を省略し、表示制御部182は、監視空間内で人物が検知された場合、検知され続けた時間に関わらず追跡動作を実行してもよい。
【0056】
また、表示制御部182は、上記した表示処理と並行して、監視空間の状況に応じて、又は、予め定められたルールに従って、警備員キャラクタに所定の動き又は発声を実行させる。例えば、表示制御部182は、検知部181が検知した人物位置の所定期間内の変化量が閾値以下である場合、その人物が立ち止まっていると判定し、警備員キャラクタに所定の動き又は発声を実行させる。または、表示制御部182は、音声入力部14から取得した入力音声に、公知の音声認識技術及び自然言語処理技術を適用して監視空間内の人物による発話内容を検出し、検出した発話内容に所定のキーワードが含まれる場合、警備員キャラクタに所定の動き又は発声を実行させる。または、表示制御部182は、一定期間経過する毎に、警備員キャラクタに所定の動き又は発声を実行させる。例えば、表示制御部182は、所定の動きとして、警備員キャラクタが敬礼等の所定の姿勢を取るように表示部11に表示された警備員キャラクタの画像表示を制御する。また、表示制御部182は、所定の発声として、例えば「こんにちわ」等の挨拶又は「大丈夫ですか」等の安否問いかけ等を音声出力部11から音声出力する。
【0057】
以上説明してきたように、本発明に係る監視表示装置10は、監視空間内で人物が検知されていない場合は目配り動作を実行し、人物が検知された場合は追跡動作を実行するように警備員キャラクタの画像表示を制御することで、警備員キャラクタの動作を表示制御する。これにより、監視表示装置10は、警備員キャラクタの画像を表示しつつ監視空間を監視する際に、警備員キャラクタに自然な振る舞いを行わせて警備員としての存在感を発揮させ、より本物の警備員らしい画像を表示することが可能となる。したがって、監視表示装置10は、監視空間内に存在する人物に、見られている意識、及び、見守られている安心感を与えることが可能となる。
【符号の説明】
【0058】
10 監視表示装置、11 表示部、13 撮像部、181 検知部、182 表示制御部