特許 7371764 情報登録装置、情報登録システム、情報登録方法およびコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-10-23

(45)【発行日】2023-10-31

(54)【発明の名称】情報登録装置、情報登録システム、情報登録方法およびコンピュータプログラム

(51)【国際特許分類】

   H04N 7/18 20060101AFI20231024BHJP

   G06V 40/16 20220101ALI20231024BHJP

   G06T 7/00 20170101ALI20231024BHJP

【ＦＩ】

H04N7/18 D

H04N7/18 U

G06V40/16 C

G06T7/00 660A

【請求項の数】 9

(21)【出願番号】P 2022511681

(86)(22)【出願日】2021-03-02

(86)【国際出願番号】 JP2021007960

(87)【国際公開番号】W WO2021199853

(87)【国際公開日】2021-10-07

【審査請求日】2022-08-23

(31)【優先権主張番号】P 2020059322

(32)【優先日】2020-03-30

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100109313

【弁理士】

【氏名又は名称】机 昌彦

(74)【代理人】

【識別番号】100149618

【弁理士】

【氏名又は名称】北嶋 啓至

(72)【発明者】

【氏名】周 一峰

【審査官】鈴木 隆夫

(56)【参考文献】

【文献】特開２０１７－１９１４９０（ＪＰ，Ａ）

【文献】特開２０１０－０６１２６５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１８

Ｇ０６Ｖ ４０／１６

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

登録対象と成り得る人あるいは物体が撮影されている撮影画像を見ている人の顔画像を取得し当該顔画像を用いた認証処理を実行する認証部と、
前記撮影画像を見ている人である登録操作者が、認証処理によって、許可されている者であると判断された場合に、当該登録操作者の視線を検知する視線検知部と、
検知された前記視線が予め設定された注目時間、動かなかった場合には、検知された前記視線の先にある前記撮影画像の部分領域に映し出されている前記人あるいは前記物体の画像を抽出する抽出部と、
抽出された前記画像を予め定められた記憶装置に登録する登録部と
を備える情報登録装置。

【請求項2】

前記抽出部は、検知された前記視線が前記注目時間、同じ前記撮影画像の部分領域から外れず、かつ、登録指令を受信した場合に、当該撮影画像の部分領域に映し出されている前記人あるいは前記物体の画像を抽出する請求項１に記載の情報登録装置。

【請求項3】

前記登録指令は、前記登録操作者が所持している入力装置から出力される請求項２に記載の情報登録装置。

【請求項4】

前記視線検知部は、少なくとも前記登録操作者の目が撮影されている映像から前記登録操作者の視線を検知する請求項１乃至請求項３の何れか一つに記載の情報登録装置。

【請求項5】

前記抽出部により抽出された前記画像を登録情報として確定してよいか否かを前記登録操作者に確認する処理を実行する確認部がさらに備えられ、
前記登録部は、前記確認部による処理によって、前記抽出部により抽出された前記画像が前記登録情報として確定された後に、抽出された前記画像を前記記憶装置に登録する請求項１乃至請求項４の何れか一つに記載の情報登録装置。

【請求項6】

請求項１乃至請求項５の何れか一つに記載の情報登録装置と、
登録対象と成り得る人あるいは物体が撮影されている前記撮影画像を表示する表示装置と、
前記撮影画像を見ている人である前記登録操作者の視線を検知する情報を前記情報登録装置に提供する視線情報提供装置と
を備える情報登録システム。

【請求項7】

前記視線情報提供装置は、少なくとも前記登録操作者の目を撮影する撮影装置により構成されている請求項６に記載の情報登録システム。

【請求項8】

コンピュータによって、
登録対象と成り得る人あるいは物体が撮影されている撮影画像を見ている人の顔画像を取得し当該顔画像を用いた認証処理を実行し、
前記撮影画像を見ている人である登録操作者が、認証処理によって、許可されている者であると判断された場合に、当該登録操作者の視線を検知し、
検知された前記視線が予め設定された注目時間、動かなかった場合には、検知された前記視線の先にある前記撮影画像の部分領域に映し出されている前記人あるいは前記物体の画像を抽出し、
抽出された前記画像を予め定められた記憶装置に登録する情報登録方法。

【請求項9】

登録対象と成り得る人あるいは物体が撮影されている撮影画像を見ている人の顔画像を取得し当該顔画像を用いた認証処理を実行する処理と、
前記撮影画像を見ている人である登録操作者が、認証処理によって、許可されている者であると判断された場合に、当該登録操作者の視線を検知する処理と、
検知された前記視線が予め設定された注目時間、動かなかった場合には、検知された前記視線の先にある前記撮影画像の部分領域に映し出されている前記人あるいは前記物体の画像を抽出する処理と、
抽出された前記画像を予め定められた記憶装置に登録する処理と
をコンピュータに実行させるコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、登録対象の人や物体の画像を登録する技術に関する。

【背景技術】

【0002】

ビデオカメラを利用する監視システムにおいて、監視員が、ビデオカメラの監視映像から不審者と思われる人物を見つけた場合に、その人物を監視映像上で指定することにより、指定された人物をシステムのコンピュータが監視映像において追跡する技術がある。監視員が不審者と思われる人物を監視映像上で指定する技術としては、例えば、特許文献１に、監視員（操作者）がマウスなどの入力装置を利用して監視映像上の不審者を指定する技術が開示されている。

【0003】

なお、特許文献２には、警備員等が所持している移動端末の位置情報を利用して、監視カメラの向きを制御する技術が開示されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２００５－１１０１００号公報

【文献】国際公開第２０１６/１４７５８１号

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１に示されている技術では、監視員が入力装置を利用して監視映像において不審者（換言すれば追跡対象者）を指定することから、監視領域が例えばスタジアムやイベント会場のように大勢の人が同時に集まる場合に、次のような問題が生じる。つまり、一人の監視員が同時に監視しなければならない人数が多く、また、短時間で追跡対象者として登録しなければならない人が複数である場合に、全ての追跡対象者を入力装置を利用して登録することが難しいという問題が生じる。

【0006】

より具体的には、例えば、監視映像に同時に映し出されている人の数Ａが１０人（Ａ＝１０）であり、監視映像に映り始めた人が移動して当該監視映像の外に出て行くまでの一人当たりの表示時間の平均値Ｂは１０秒（Ｂ＝１０）であるとする。また、監視員が監視映像に映し出されている人が不審な者であるか否かの判断に要する時間Ｃは０．５秒程度（Ｃ＝０．５）であるとされる。さらに、検知した不審者を追跡対象者として登録するか否かの判断に要する時間は０．２秒程度（Ｄ＝０．２）であるとされる。これにより、監視映像に映し出されている１０人について、監視員が、不審な者であるか否かの判断、および、追跡対象者として登録するか否かの判断を行うのに要する時間Ｆは、数式Ｆ＝Ａ×（Ｃ＋Ｄ）により、１０×（０．５＋０．２）＝７秒と算出される。

【0007】

ここで、前述したように、一人当たりの表示時間の平均値Ｂは１０秒（Ｂ＝１０）である。したがって、１０人が映っている監視映像中の一人一人において不審者か否かの判断と、登録するか否かの判断とを行った後に、追跡対象者の登録に使える時間Ｈは、数式Ｈ＝Ｂ－Ｆにより、１０－７＝３秒である。

【0008】

一方、登録すると判断した後に監視員が入力装置を利用して監視映像上で一人の追跡対象者を登録する作業に要する時間Ｅは３秒程度（Ｅ＝３）であるとされる。すなわち、１０人が映っている監視映像の一人一人において不審者か否かの判断と、登録するか否かの判断とを行って追跡対象者の登録に使える時間Ｈは上述のように３秒であり、一人の追跡対象者を登録する作業に要する時間Ｅと同程度である。このため、追跡対象者が一人である場合には、監視員は入力装置を利用してその追跡対象者の登録が可能である。しかしながら、追跡対象者が複数である場合には、監視員は複数の追跡対象者を監視映像上で登録することができない。

【0009】

本発明は上述したような課題を解決するために考え出された。すなわち、本発明の主な目的は、撮影画像において、登録対象である人や物体が映し出されている部分領域を登録操作者が登録すべく指定する作業時間を短縮する技術を提供することにある。

【課題を解決するための手段】

【0010】

上述した目的を達成するために、本発明の情報登録装置は、その一態様として、
登録対象と成り得る人あるいは物体が撮影されている撮影画像を見ている人である登録操作者の視線を検知する視線検知部と、
検知された前記視線が予め設定された注目時間、動かなかった場合には、検知された前記視線の先にある前記撮影画像の部分領域に映し出されている前記人あるいは前記物体の画像を抽出する抽出部と、
抽出された前記画像を予め定められた記憶装置に登録する登録部と
を備える。

【0011】

本発明の情報登録システムは、その一態様として、
上述した情報登録装置と、
登録対象と成り得る人あるいは物体が撮影されている撮影画像を表示する表示装置と、
前記撮影画像を見ている人である登録操作者の視線を検知する情報を前記情報登録装置に提供する視線情報提供装置と
を備える。

【0012】

本発明の情報登録方法は、その一態様として、
登録対象と成り得る人あるいは物体が撮影されている撮影画像を見ている人である登録操作者の視線を検知し、
検知された前記視線が予め設定された注目時間、動かなかった場合には、検知された前記視線の先にある前記撮影画像の部分領域に映し出されている前記人あるいは前記物体の画像を抽出し、
抽出された前記画像を予め定められた記憶装置に登録する。

【0013】

本発明のプログラム記憶媒体は、その一態様として、
登録対象と成り得る人あるいは物体が撮影されている撮影画像を見ている人である登録操作者の視線を検知する処理と、
検知された前記視線が予め設定された注目時間、動かなかった場合には、検知された前記視線の先にある前記撮影画像の部分領域に映し出されている前記人あるいは前記物体の画像を抽出する処理と、
抽出された前記画像を予め定められた記憶装置に登録する処理と
をコンピュータに実行させるコンピュータプログラムを記憶する。

【発明の効果】

【0014】

本発明によれば、撮影画像において、登録対象である人や物体が映し出されている部分領域を登録操作者が登録すべく指定する作業時間を短縮することができる。

【図面の簡単な説明】

【0015】

【図1】本発明に係る第１実施形態の情報登録システムの構成を表す図である。

【図2】第１実施形態の情報登録システムを構成する情報登録装置の機能構成を表すブロック図である。

【図3】登録ボタンの一態様の例を表す図である。

【図4】登録する画像を確認する処理の一例を説明する図である。

【図5】登録する画像を確認する処理の別の例を説明する図である。

【図6】第１実施形態における情報登録装置の動作例を表すフローチャートである。

【図7】本発明に係る第２実施形態の情報登録システムの構成を説明する図である。

【図8】本発明に係る第３実施形態の情報登録システムの構成を説明する図である。

【図9】第３実施形態において登録操作者が利用する移動端末を説明する図である。

【図10】第３実施形態の情報登録システムを構成する情報登録装置の機能構成を表すブロック図である。

【図11】本発明に係る第４実施形態の情報登録システムの構成を表す図である。

【図12】第４実施形態における情報登録装置の機能構成を表すブロック図である。

【図13】第４実施形態における情報登録装置の動作例を表すフローチャートである。

【発明を実施するための形態】

【0016】

以下に、本発明に係る実施形態を図面を参照しつつ説明する。

【0017】

＜第１実施形態＞
図１は、本発明に係る第１実施形態の情報登録システムの構成が模式的に表されている。第１実施形態の情報登録システム１は、監視カメラによる撮影画像（監視映像ともいう）を用いる監視システムに組み込まれるシステムである。情報登録システム１は、監視映像を監視する監視員が撮影画像から不審者と思われる人などを検知した場合に当該検知した人の画像を監視員が登録する作業に要する時間の短縮化を図るシステムである。

【0018】

すなわち、第１実施形態の情報登録システム１は、撮影装置２と、情報登録装置３と、データベース４と、撮影装置５と、表示装置６と、入力装置８とを備えている。

【0019】

撮影装置２は、監視システムが監視する領域を撮影する装置であり、例えばビデオカメラである。なお、図１の例では、このような監視用の撮影装置２は、１台のみ図示されているが、監視システムが用いる監視用の撮影装置２は複数である場合もあり、この場合には、第１実施形態の情報登録システム１もそれら複数の撮影装置２を含む。

【0020】

撮影装置２は、情報登録装置３と接続されており、撮影画像である監視映像を情報登録装置３に時々刻々と出力する機能を備えている。撮影装置２から情報登録装置３に出力される監視映像には、撮影時刻を表す時間情報と、撮影場所を表す場所情報とが関連付けられている。撮影場所を表す場所情報としては、例えば、撮影装置２を識別する識別情報や、撮影装置２により撮影されている監視領域を識別する識別情報が挙げられる。場所情報として撮影装置２を識別する識別情報が採用されている場合には、例えば、撮影装置２の識別情報と、当該識別情報を持つ撮影装置２が設置されている場所の情報とが関連付けられているデータが情報登録装置３に保持される。

【0021】

データベース４は、データを記憶する記憶装置であり、第１実施形態では、情報登録システム１が組み込まれる監視システムが利用する例えば不審者と判断された人の画像等が参考画像として記憶されている。

【0022】

表示装置６は、映像や文字などを表示する装置であり、第１実施形態では、その表示動作は、情報登録装置３により制御される。表示装置６は、情報登録装置３の制御動作により、撮影装置２により撮影された監視映像を表示する。この表示装置６により表示された監視映像は、監視員７が監視対象の領域を監視する際に利用される。

【0023】

入力装置８は、監視員７が操作して情報を情報登録装置３に入力する装置である。入力装置８は、機械的な押しボタン等を備えた情報入力専用の装置であってもよいし、演算装置および表示装置を備えた情報処理機能をも持つ移動端末であってもよく、ここでは、その態様は限定されない。

【0024】

撮影装置５は、表示装置６により表示されている監視映像を見ている監視員７の顔を少なくとも撮影するように設置されている撮影装置である。換言すれば、撮影装置５は、表示装置６による監視映像を見ている監視員７の顔および視線を検知可能な映像をできるように設置される。例えば、監視員７が表示装置６の監視映像を椅子に座って監視する場合には、椅子に座った監視員７の目の位置と、表示装置６の表示画面との位置関係が分かるように監視員７と表示装置６を撮影できる位置に撮影装置５は設置される。あるいは、撮影装置５は、表示装置６の監視映像を見ている監視員７の目を撮影できるように表示装置６に取り付けられてもよい。すなわち、撮影装置５は視線情報提供装置として機能する。

【0025】

撮影装置５は情報登録装置３に接続されており、撮影した映像を時々刻々と情報登録装置３に出力する。情報登録装置３に出力される撮影装置５による撮影画像には、撮影時刻を表す時間情報が関連付けられている。

【0026】

第１実施形態の情報登録システム１が組み込まれる監視システムは、監視員７が監視映像において不審を感じた人や物体が有った場合に、その不審と感じた人や物体を監視映像において追跡する機能を有する。その追跡処理に必要な、不審な人や物体の参考画像の情報は監視員７により監視映像において指定されてデータベース４に登録される。つまり、第１実施形態では、監視員７は、情報を登録する登録操作者でもある。

【0027】

情報登録装置３は、そのような監視システムの追跡処理にて利用する参考画像の情報をデータベース４に登録する処理を実行する装置である。情報登録装置３は、コンピュータ装置（サーバ）により構成される。このコンピュータ装置は、第１実施形態の情報登録システム１が組み込まれる監視システムの処理を実行するコンピュータ装置であってもよいし、当該監視システムのコンピュータ装置とは別個の装置であってもよい。

【0028】

図２は、情報登録装置３の機能構成を表すブロック図である。情報登録装置３は、演算装置２０と、記憶装置２１とを備えている。記憶装置２１は、データやコンピュータプログラム（以下、プログラムとも記す）２３を記憶する記憶媒体である。記憶媒体には様々な種類があり、記憶装置２１は、何れの記憶媒体により構成されてもよい。また、情報登録装置３には、複数種の記憶媒体が備えられていてもよく、この場合には、複数種の記憶媒体をまとめて記憶装置２１として表すこととする。記憶装置２１の構成および動作の説明は省略する。

【0029】

演算装置２０は、例えば、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）などのプロセッサを備えている。プロセッサは、記憶装置２１に記憶されているプログラムを読み出して実行することにより、当該プログラムに基づいた様々な機能を持つことができる。例えば、第１実施形態では、演算装置２０は、認証部２５と対象検知部２６と視線検知部２７と抽出部２８と表示制御部２９と確認部３０と登録部３１という機能部を有している。

【0030】

表示制御部２９は、表示装置６の表示動作を制御する機能を備えている。表示制御部２９の制御動作により、撮影装置２から受信した監視映像がほぼリアムタイムで表示装置６に表示されたり、情報登録装置３による監視員７への提示情報が表示装置６に表示される。また、情報登録システム１が複数の撮影装置２を備えている場合には、表示制御部２９は、それら撮影装置２による監視映像を一画面に並べて表示する、あるいは、順番に表示を切り換えて表示するというように表示装置６の表示動作が制禦される。

【0031】

ところで、第１実施形態では、情報登録装置３は、当該情報登録装置３を利用して参考画像を登録できる監視員７を限定する機能を備えている。つまり、参考画像の登録が許可されている監視員７の顔の画像（以下、許可顔画像とも称する）が、データベース４、あるいは、情報登録装置３の記憶装置２１、あるいは、データベース４および記憶装置２１とは別個の記憶装置（図示せず）に予め登録されている。

【0032】

認証部２５は、撮影装置５により撮影された監視員７の顔画像（以下、撮影顔画像とも称する）を取得すると、撮影顔画像と、予め登録されている許可顔画像とを照合し、合致するか否かを判断する機能を備えている。また、認証部２５は、撮影顔画像に合致する許可顔画像が有った場合には、撮影顔画像に対応する監視員７、つまり、撮影装置５により撮影されている監視員７は参考画像の登録が許可されている者であることを表す許可情報を出力する機能を備えている。このような認証部２５による認証処理は、予め設定されているタイミング毎に実行される。

【0033】

対象検知部２６は、撮影装置２から受信した監視映像の全てのフレーム画像、あるいは、時系列に並べられた場合における予め設定された枚数間隔毎に選出されたフレーム画像から顔の画像を登録対象と成り得る人の画像として検知する機能を備える。また、対象検知部２６は、検知した顔画像毎に識別情報を付与し、当該識別情報に、検知したフレーム画像の識別情報と、検知したフレーム画像における検知された画像の部分領域を表す情報とを関連付け顔位置情報を生成する機能を備える。さらに、対象検知部２６は、そのような顔位置情報を、データベース４、あるいは、データベース４とは別個の記憶装置（図示せず）に登録する。なお、監視映像から顔を検知する手法には、例えば、顔の基本パターンを利用したパターンマッチングを利用する手法などの様々な手法があり、ここでは、情報登録装置３の処理能力などを考慮した適宜な手法が採用され、その説明は省略される。

【0034】

また、第１実施形態では、対象検知部２６は、顔だけでなく、登録対象と成り得る予め定められた物体（例えば、人が所持や装着している物体（杖、帽子、サングラスなど）、車などの移動体など）を検知する機能を備える。さらに、対象検知部２６は、顔位置情報と同様の物体位置情報を生成し、データベース４、あるいは、データベース４とは別個の記憶装置（図示せず）に登録する機能を備える。

【0035】

視線検知部２７は、撮影装置５により撮影された撮影顔画像における目の向いている方向（つまり、視線）を検知する機能を備える。視線を検知する手法としては、限定されるものではないが、例えば、白目部分における黒目の中心位置を撮影顔画像から検知することにより視線を検知する手法がある。

【0036】

また、視線検知部２７は、検知した視線が予め設定された注目時間（例えば、０．５秒）、動かなかったことを検知する機能を備える。具体的には、視線検知部２７は、注目時間で撮影される複数のフレーム画像に亘って、検知した視線が、視線が動かなかったか否かを判定する予め設定されている許容範囲から外れない場合に、視線が動かなかったと検知する。

【0037】

なお、第１実施形態では、視線検知部２７による処理は、認証部２５によって許可情報が出力された監視員７の顔画像にだけ実行される。

【0038】

抽出部２８は、視線検知部２７によって視線が動かなかったと検知された場合に、その動かなかった期間に、図３に表されているような入力装置８の登録ボタン（機械的な押しボタンや、画面表示されているアイコンなど）が操作されたか否かを判断する。また、抽出部２８は、登録ボタンが操作され入力装置８から登録指令を受信した場合に、次のような処理を実行する。例えば、抽出部２８は、表示装置６の監視映像を見ている監視員（登録操作者）から表示装置６の表示画面に向かう方向およびその範囲を表す情報と、視線検知部２７により検知された視線が向かっている方向を表す情報とを利用して、視線の先にある表示装置６の表示画面の部分領域を検知する。このように検知された視線の先にある表示画面の部分領域を表す情報には、当該検知処理が実行されたタイミング（登録指令を受信したタイミング）において表示装置６に表示されていたフレーム画像に関連付けられている時間情報と同じ時間情報が関連付けられる。

【0039】

さらに、抽出部２８は、その検知された視線の先にある表示画面の部分領域を表す情報に関連付けられている時間情報を利用して、同じ時間に撮影装置２により撮影された監視映像のフレーム画像における対象検知部２６によって生成された顔位置情報や物体位置情報を取得する。そして、抽出部２８は、監視員７の視線の先にある表示装置６の表示画面の部分領域に対応する顔位置情報や物体位置情報が有った場合には、当該顔位置情報や物体位置情報に関係するフレーム画像の部分領域の画像をフレーム画像から登録情報として抽出する。

【0040】

確認部３０は、抽出部２８により抽出された画像を登録情報として確定してよいか否かを監視員（つまり、登録操作者）７に確認する処理を実行する機能を備える。例えば、確認部３０は、抽出部２８により抽出されたフレーム画像の部分領域の画像を監視員７に提示し、また、提示された画像を登録情報として確定してよいか否かの判断結果を入力装置８から情報登録装置３に入力させる処理を実行する。抽出部２８により抽出されたフレーム画像の部分領域の画像を監視員７に提示する手法としては、次のような手法がある。例えば、入力装置８が表示装置を備えた移動端末である場合には、確認部３０は、抽出された画像を入力装置８に送信する。入力装置８は、抽出された画像を受信すると、図４に表されているように、表示装置の表示画面に、抽出部２８により抽出されたフレーム画像の部分領域の画像を表示することにより、当該画像を監視員７に提示する。あるいは、図５に表されているように、確認部３０は、表示制御部２９によって、監視映像を映し出している表示装置６の表示画面に、抽出部２８により抽出されたフレーム画像の部分領域を表す枠３３を表示させる。このようにして、抽出部２８により抽出されたフレーム画像の部分領域の画像が監視員７に提示されてもよい。

【0041】

一方、図４のような入力装置８の登録ボタン（機械的な押しボタンや、画面表示されているアイコンなど）が操作された場合には、確定指令が入力装置８から情報登録装置３に向けて出力される構成となっている。また、入力装置８の取消ボタン（機械的な押しボタンや、画面表示されているアイコンなど）が操作された場合には、取消指令が入力装置８から情報登録装置３に向けて出力される構成となっている。確認部３０は、抽出されたフレーム画像の部分領域の画像を提示してから所定の確認期間が経過するまでに、入力装置８から確定指令を受信した場合には、抽出されたフレーム画像の部分領域の画像を登録情報として確定する。また、確認部３０は、確認期間中に、入力装置８から取消指令を受信した場合、あるいは、確認期間が経過しても確定指令も取消指令も受信しなかった場合には、抽出されたフレーム画像の部分領域の画像をキャンセルする。

【0042】

登録部３１は、確認部３０の処理により、入力装置８から登録情報を受信した場合には、抽出部２８により抽出されたフレーム画像の部分領域の画像を登録情報としてデータベース４に登録する機能を備える。データベース４に登録される画像には、対象検知部２６により付与されたと同じ情報が引き続き関連付けられる。このようにデータベース４に登録された画像の情報を利用して、第１実施形態の情報登録システム１が組み込まれる監視システムでは、例えば、追跡処理が実行される。

【0043】

第１実施形態の情報登録システム１および情報登録装置３は上述したように構成されている。次に、情報登録装置３の情報登録に係る動作例を図６を利用して説明する。例えば、情報登録装置３が撮影装置２による監視映像を受信すると、対象検知部２６が監視映像から、登録対象と成り得る予め定められた人の顔や物体の画像を検知する（ステップＳ１０１）。

【0044】

一方、情報登録装置３が撮影装置５から撮影画像を受信したことにより、認証部２５が、撮影装置５による監視員７の撮影顔画像を取得すると（ステップＳ１０２）、撮影顔画像と、許可顔画像とを照合する。そして、認証部２５が、撮影顔画像に合致する許可顔画像が有るか否かを判断する。つまり、認証部２５は、撮影顔画像の監視員７が情報登録を許可されている者であるか否かを判断する（ステップＳ１０３）。許可されていなかった場合には、情報登録装置３はステップＳ１０１以降の動作を繰り返す。

【0045】

許可されていることを確認できた後には、視線検知部２７が、撮影装置５による撮影顔画像から視線を検知し、当該視線が注目時間、動かなかったか否かを判断する（ステップＳ１０４）。注目時間を越える前に視線が動いた場合には、情報登録装置３はステップＳ１０１以降の動作を繰り返す。

【0046】

視線が注目時間、動かなかった場合には、抽出部２８が、その動かなかった期間に入力装置８の登録ボタンが操作され登録指令を受信したことを確認後に、視線の先にある表示画面の部分領域の画像を監視映像から抽出する（ステップＳ１０５）。

【0047】

確認部３０は、抽出部２８により抽出された画像を登録情報として確定してよいか否かを判断する処理を実行する。つまり、確認部３０は、入力装置８から確定指令を受信したか否かを判断する（ステップＳ１０６）。取消指令が入力装置８から出力された場合、あるいは、確認期間に確定指令も取消指令も入力装置８から出力されなかった場合には、情報登録装置３はステップＳ１０１以降の動作を繰り返す。

【0048】

登録部３１は、入力装置８から確定指令を受信した場合に、抽出部２８により抽出された画像を登録情報としてデータベース４に登録する（ステップＳ１０７）。

【0049】

上述したような動作によって、情報登録装置３は、監視映像から登録対象の人や物体の画像をデータベース４に登録する。なお、図６におけるステップの順番は一例であって、情報登録装置３の動作順は図６の例に限定されない。

【0050】

第１実施形態の情報登録システム１および情報登録装置３は、監視員（登録操作者）７が、入力装置８を操作するのではなく、監視映像における登録対象の人物や物体を見つめるだけで、監視映像における登録対象の人物や物体の位置を取得できる。つまり、登録対象の人物や物体を監視映像において指定する作業に要する時間は、監視員７が入力装置８を操作して実行する場合に比べて、見つめるだけでよいので、短縮される。よって、第１実施形態の情報登録システム１および情報登録装置３は、撮影画像において、登録対象である人が映し出されている部分領域を登録操作者が登録すべく指定する作業時間を短縮することができる。

【0051】

また、第１実施形態では、情報登録装置３は、視線が動かなかったという視線の動きだけでなく、入力装置８からの登録指令を受けたという条件が満たされた状態で、登録対象の人や物体の画像を撮影画像（監視映像）から抽出する。このため、情報登録装置３は、次のような画像の誤登録を防止することができる。例えば、監視員７が画像を登録するつもりでなかったのにも拘わらず、視線を止めてしまった場合には、入力装置８から登録指令は出力されないと想定される。このような場合には、情報登録装置３により、視線に基づいた監視映像からの画像の抽出は行われないから、監視員７の意思に反して画像が登録される事態が防止される。

【0052】

＜第２実施形態＞
以下に、本発明に係る第２実施形態を説明する。なお、第２実施形態の説明において、第１実施形態の情報登録システム１および情報登録装置３を構成する構成要素と同一名称部分には同一符号を付し、その共通部分の重複説明は省略する。

【0053】

第１実施形態では、監視員７の視線を検知する視線情報提供装置として撮影装置５が利用される。これに代えて、第２実施形態では、視線情報提供装置として、図７に表されるような視線検知機能付きメガネ１５が利用される。すなわち、第２実施形態の情報登録システム１は、撮影装置２と、情報登録装置３と、データベース４と、撮影装置５と、表示装置６と、入力装置８とに加えて、視線検知機能付きメガネ１５を備えている。第２実施形態では、撮影装置５は、視線情報提供装置としては機能しないものの、情報登録が許可されているか否かを判断する認証を行うために、監視員７の顔画像を撮影する。

【0054】

視線検知機能付きメガネ１５は、装着している人の視線を検知する機能を備えているメガネである。また、視線検知機能付きメガネ１５には、カメラ（図示せず）が取り付けられている。このカメラは、視線検知機能付きメガネ１５を装着している人（ここでは、監視員７）が見ている表示装置６の表示画面を撮影する。このカメラによる撮影画像と、視線検知機能付きメガネ１５により検知された視線の情報とに基づいて、監視員７の視線の先にある表示装置６の表示画面の部分領域が検知可能である。

【0055】

第２実施形態では、撮影装置５に代えて、視線情報提供装置として、視線検知機能付きメガネ１５が利用されることにより、情報登録装置３の視線検知部２７は、視線検知機能付きメガネ１５により検知された視線の情報を利用して、監視員７の視線を検知する。また、視線検知部２７は、視線検知機能付きメガネ１５により検知された視線の情報を利用して、検知された視線が注目時間、動かなかったことを検知する。

【0056】

第２実施形態における情報登録システム１および情報登録装置３の上述した構成以外の構成は、第１実施形態と同様であり、ここでは、その説明は省略する。

【0057】

第２実施形態における情報登録システム１は、視線検知機能付きメガネ１５による視線の情報を利用している。このような構成であっても、第２実施形態における情報登録システム１および情報登録装置３は、第１実施形態と同様の効果を奏することができる。

【0058】

＜第３実施形態＞
以下に、本発明に係る第３実施形態を説明する。なお、第３実施形態の説明において、第１実施形態の情報登録システムおよび情報登録装置を構成する構成要素と同一名称部分には同一符号を付し、その共通部分の重複説明は省略する。

【0059】

図８は、第３実施形態の情報登録システム１の構成を表す図である。第３実施形態の情報登録システム１は、第１実施形態の情報登録システム１を構成する撮影装置５と表示装置６と入力装置８に代えて、移動端末１０を備えている。移動端末１０は、登録操作者である監視員７が所持することが想定されており、情報処理を実行する演算装置に加えて、図９に表されているように、撮影装置１１および表示装置１２を備えている。また、移動端末１０は、入力装置としての機能をも備える。移動端末１０が採り得る入力装置としての態様は様々にあり、ここでは、限定されないので、その説明は省略する。

【0060】

撮影装置１１は、第１実施形態における撮影装置５と同様に、登録操作者である監視員７の顔を撮影する機能を備えている。撮影装置１１による撮影画像は、情報登録装置３の認証部２５による監視員７の認証（情報登録を許可されているか否かの判断）、および、監視員７の視線の検知に利用される。すなわち、撮影装置１１は、視線情報提供装置として機能する。

【0061】

表示装置１２は、第１実施形態における表示装置６と同様に機能する。すなわち、移動端末１０は、撮影装置２による監視映像を情報登録装置３を介して受信すると、当該移動端末１０に備えられている制御表示部（図示せず）の制御動作によって、表示装置１２に監視映像が表示される構成となっている。

【0062】

図１０は、第３実施形態における情報登録装置３の機能構成を表すブロック図である。第３実施形態では、情報登録装置３は、通信部３２が備えられている。通信部３２は、情報登録装置３と移動端末１０との間で、撮影装置２の監視映像や撮影装置１１の撮影画像やデータ等の情報を通信すべく、通信に係る処理を実行する機能を備えている。

【0063】

また、第３実施形態では、認証部２５は、移動端末１０の撮影装置１１により撮影された顔画像を利用して、第１実施形態と同様に、撮影装置１１による撮影画像に映し出されている人（つまり、監視員７）が情報登録を許可されている者であるか否かを判断する。

【0064】

視線検知部２７は、撮影装置１１による撮影画像に映し出されている人（つまり、監視員７）の視線を検知する。抽出部２８は、撮影装置１１のレンズと表示装置１２の表示画面との予め与えられている位置関係の情報と、視線検知部２７による監視員７の視線の情報とを利用して、監視員７の視線の先にある監視映像の部分領域の画像を抽出する。

【0065】

第３実施形態の情報登録システム１および情報登録装置３の上述した構成以外の構成は第１実施形態と同様であり、ここでは、その説明は省略する。

【0066】

第３実施形態における情報登録システム１では、監視員７が所持する移動端末１０に、第１実施形態で説明した撮影装置５と表示装置６と入力装置８との機能と同様の機能を持たせている。このような構成を持つ第３実施形態における情報登録システム１および情報登録装置３も、第１実施形態と同様の効果を奏することができる。

【0067】

＜第４実施形態＞
以下に、本発明に係る第４実施形態を説明する。

【0068】

図１１は、第４実施形態の情報登録システムの構成を模式的に表すブロック図である。また、図１２は、第４実施形態の情報登録システムを構成する情報登録装置の機能構成を表すブロック図である。

【0069】

第４実施形態の情報登録システム４０は、表示装置４１と、情報登録装置４２と、視線情報提供装置４３とを備え、表示装置４１に映し出されている人や物体の画像を登録する構成を備える。すなわち、表示装置４１は、画像や文字などを表示する機能を備え、ここでは、登録対象と成り得る人あるいは物体が撮影されている撮影画像を表示する。

【0070】

視線情報提供装置４３は、表示装置４１に表示されている撮影画像を見ている人である登録操作者の視線を検知する情報を情報登録装置４２に提供する装置である。例えば、登録操作者の少なくとも目を撮影する撮影装置が視線情報提供装置４３として機能する。

【0071】

情報登録装置４２は、登録操作者の視線を利用して、表示装置４１に表示されている撮影画像から、登録対象の人あるいは物体を検知し、検知した登録対象の画像を記憶装置に登録する機能を備える。すなわち、情報登録装置４２は、例えばコンピュータ装置であり、例えばプロセッサにより実現される機能部として、視線検知部４５と、抽出部４６と、登録部４７とを備える。

【0072】

視線検知部４５は、表示装置４１に映し出されている撮影画像を見ている登録操作者の視線を検知する機能を備えている。

【0073】

抽出部４６は、検知された登録操作者の視線が予め設定された注目時間、動かなかった場合には、登録操作者の視線の先にある撮影画像の部分領域に映し出されている人あるいは物体の画像を抽出する機能を備える。

【0074】

登録部４７は、抽出された画像を予め定められている記憶装置に登録する機能を備える。

【0075】

図１３は、情報登録装置４２における情報登録に係る動作例を表すフローチャートである。この図１３を利用して、情報登録装置４２における情報登録に係る動作例を次に説明する。例えば、視線検知部４５が、表示装置４１に映し出されている撮影画像を見ている登録操作者の視線を検知し（ステップＳ３０１）、検知した視線が注目時間に亘り動かないか否かを判断する（ステップＳ３０２）。視線が注目時間を経過する前に動いた場合には、視線検知部４５は、ステップＳ３０１以降の動作（つまり、視線検知の動作）を繰り返す。

【0076】

検知した視線が注目時間、動かなかった場合には、抽出部４６は、登録操作者の視線の先にある撮影画像の部分領域に映し出されている人あるいは物体の画像を抽出する（ステップＳ３０３）。そして、登録部４７は、抽出された画像を予め定められている記憶装置に登録する（ステップＳ３０４）。

【0077】

第４実施形態の情報登録システム４０および情報登録装置４２は上述したように構成されており、撮影画像において、登録対象である人や物体が映し出されている部分領域を登録操作者が登録すべく指定する作業時間を短縮できる。

【0078】

以上、上述した実施形態を模範的な例として本発明を説明した。しかしながら、本発明は、上述した実施形態には限定されない。即ち、本発明は、本発明のスコープ内において、当業者が理解し得る様々な態様を適用することができる。

【0079】

この出願は、２０２０年３月３０日に出願された日本出願特願２０２０－０５９３２２を基礎とする優先権を主張し、その開示の全てをここに取り込む。

【符号の説明】

【0080】

１，４０ 情報登録システム
２，５，１１ 撮影装置
３，４２ 情報登録装置
４ データベース
６，１２，４１ 表示装置
２７，４５ 視線検知部
２８，４６ 抽出部
３０ 確認部
３１ 登録部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】