特許 7190224 画像抽出装置、および画像抽出方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2022-12-07

(45)【発行日】2022-12-15

(54)【発明の名称】画像抽出装置、および画像抽出方法

(51)【国際特許分類】

   H04N 5/232 20060101AFI20221208BHJP

   H04N 5/92 20060101ALI20221208BHJP

【ＦＩ】

H04N5/232 300

H04N5/232 290

H04N5/92 010

【請求項の数】 4

(21)【出願番号】P 2022120628

(22)【出願日】2022-07-28

【審査請求日】2022-07-28

【早期審査対象出願】

(73)【特許権者】

【識別番号】522302574

【氏名又は名称】フィノス株式会社

(74)【代理人】

【識別番号】110001427

【氏名又は名称】弁理士法人前田特許事務所

(72)【発明者】

【氏名】竹内 正樹

(72)【発明者】

【氏名】和田 雄一

【審査官】高野 美帆子

(56)【参考文献】

【文献】特開２００５－１１０１０２（ＪＰ，Ａ）

【文献】特開２００４－３１２５１１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／２３２

Ｈ０４Ｎ ５／９２

(57)【特許請求の範囲】

【請求項1】

撮像された画像から同一人物の画像を抽出する画像抽出装置であって、
複数のカメラと、
各上記カメラごとに、撮影された画像と撮影時刻とを対応させて記憶する画像記憶部と、
各上記カメラに対応して設置され、ＩＤタグから送られるＩＤタグ情報を読み取る複数のＩＤタグ情報読取部と、
各上記ＩＤタグ情報読取部ごとに、読み取られたＩＤタグ情報と情報読み取り時刻とを対応させて記憶するＩＤタグ情報記憶部と、
上記カメラと上記ＩＤタグ情報記憶部との対応関係を記憶する対応関係記憶部と、
上記ＩＤタグ情報記憶部に記憶されているＩＤタグ情報ごとに、そのＩＤタグ情報が読み取られたＩＤタグ情報読取部に対応するカメラで撮影され、撮影時刻と情報読み取り時刻とが一致する画像を抽出して合成する画像抽出合成部と、
合成された画像を記憶する合成画像記憶部と、
を備え、
上記ＩＤタグ情報は、個人情報と対応づけられていない情報であり、
上記カメラ、および画像記憶部は、上記ＩＤタグ情報読取部によるＩＤタグ情報の読み取りとは非同期に画像を撮影し記憶するとともに、さらに、
上記画像抽出合成部からアクセスできないように設けられ、上記ＩＤタグ情報と個人情報との対応関係を記憶する個人情報対応関係記憶部と、
上記個人情報対応関係記憶部にアクセス可能に設けられ、上記合成画像記憶部に記憶された画像と上記個人情報とを対応づける個人情報対応付け部と、
を備えたことを特徴とする画像抽出装置。

【請求項2】

請求項１の画像抽出装置であって、
上記ＩＤタグ情報読取部は、複数の領域に位置するＩＤタグを識別して上記ＩＤタグ情報を読み取り得るように構成され、
上記カメラは、各上記領域に対応して設置されていることを特徴とする画像抽出装置。

【請求項3】

請求項１から請求項２のうち何れか１項の画像抽出装置であって、
上記ＩＤタグ情報読取部は、上記カメラの撮影領域に至る移動経路に設けられていることを特徴とする画像抽出装置。

【請求項4】

撮像された画像から同一人物の画像を抽出する画像抽出方法であって、
複数の各カメラごとに、撮影された画像と撮影時刻とを対応させて画像記憶部に記憶させる画像記憶ステップと、
各上記カメラに対応して設置された複数の各ＩＤタグ情報読取部ごとに、ＩＤタグから送られて読み取られたＩＤタグ情報と情報読み取り時刻とを対応させてＩＤタグ情報記憶部に記憶させるＩＤタグ情報記憶ステップと、
上記ＩＤタグ情報記憶部に記憶されているＩＤタグ情報ごとに、対応関係記憶部に記憶された上記カメラと上記ＩＤタグ情報記憶部との対応関係に基づいて、そのＩＤタグ情報が読み取られたＩＤタグ情報読取部に対応するカメラで撮影され、撮影時刻と情報読み取り時刻とが一致する画像を抽出して合成し、合成された画像を合成画像記憶部に記憶させる画像抽出合成ステップと、
を有し、
上記ＩＤタグ情報は、個人情報と対応づけられていない情報であり、
上記画像記憶ステップでは、上記ＩＤタグ情報読取部によるＩＤタグ情報の読み取りとは非同期に画像が撮影されて記憶されるとともに、さらに、
上記画像抽出合成ステップにおいてはアクセスできないように設けられ、上記ＩＤタグ情報と個人情報との対応関係を記憶する個人情報対応関係記憶部にアクセス可能に設けられた個人情報対応付け部により、上記合成画像記憶部に記憶された画像と上記個人情報とを対応づける個人情報対応付けステップ
を有すること特徴とする画像抽出方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、複数のカメラで撮像された画像から同一人物の画像を抽出する画像抽出装置に関するものである。

【背景技術】

【0002】

従来、所定のタグと所定の個人情報とが対応付けられ、サービスを提供する現場にてタグと個人との対応付けが行われて、タグと対応づけられた個人情報に係る個人に対しサービスが提供されるサービス提供方法が知られている（例えば、特許文献１参照。）。

【0003】

また、収集端末がユーザの動作によって生じる信号を取得し、識別端末が非接触式タグを読み取り、これらに基づいて、ユーザ端末に、ユーザ動作および／またはユーザ動作の結果に対応する動画を再生する知的インタラクションシステムが知られている（例えば、特許文献２参照。）。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２００７－１１４９７０号公報

【文献】特開２０１９－５３６１７９号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

上記のようなサービス提供方法やシステムでは、ユーザ端末に関する情報などの個人情報をシステム等に登録することが必須とされる。このため、そのような個人情報の登録等の手間がかかるうえ、セキュリティを確保することが困難な場合がある。

【0006】

本発明は、上記の点に鑑みて、セキュリティが損なわれる虞を確実に回避しつつ、同一人物の画像の自動的な抽出を可能にすることを目的としている。

【課題を解決するための手段】

【0007】

上記の目的を達成するために、
本発明は、
撮像された画像から同一人物の画像を抽出する画像抽出装置であって、
複数のカメラと、
各上記カメラごとに、撮影された画像と撮影時刻とを対応させて記憶する画像記憶部と、
各上記カメラに対応して設置され、ＩＤタグから送られるＩＤタグ情報を読み取る複数のＩＤタグ情報読取部と、
各上記ＩＤタグ情報読取部ごとに、読み取られたＩＤタグ情報と情報読み取り時刻とを対応させて記憶するＩＤタグ情報記憶部と、
上記カメラと上記ＩＤタグ情報記憶部との対応関係を記憶する対応関係記憶部と、
上記ＩＤタグ情報記憶部に記憶されているＩＤタグ情報ごとに、そのＩＤタグ情報が読み取られたＩＤタグ情報読取部に対応するカメラで撮影され、撮影時刻と情報読み取り時刻とが一致する画像を抽出して合成する画像抽出合成部と、
合成された画像を記憶する合成画像記憶部と、
を備えたことを特徴とする。

【0008】

これにより、ＩＤタグ情報とタイムスタンプによって特定の人物の画像が抽出されることにより、その人物が撮影された一連の画像を合成することが容易にできる。また、ＩＤタグ情報は、個人情報と対応づけられていなくても画像の抽出が可能なので、セキュリティが損なわれる虞を確実に回避することが容易にできる。

【発明の効果】

【0009】

本発明では、セキュリティが損なわれる虞を確実に回避しつつ、同一人物の画像の自動的な抽出を可能にできる。

【図面の簡単な説明】

【0010】

【図1】画像抽出装置の概略構成を示すブロック図である。

【図2】検知部の具体的な構成を示す配線図である。

【図3】ＲＦＩＤタグの装着例を示す説明図である。

【図4】カメラの接続例を示す配線図である。

【図5】アンテナとカメラとの対応関係の例を示す説明図である。

【図6】サーバの概略構成を示すブロック図である。

【図7】画像抽出装置の適用例を示す説明図である。

【図8】画像抽出合成処理の例を示すフローチャートである。

【図9】画像抽出装置の他の適用例を示す説明図である。

【図10】画像抽出装置のさらに他の適用例を示す説明図である。

【発明を実施するための形態】

【0011】

以下、本発明の実施形態を図面に基づいて詳細に説明する。

【0012】

本発明の実施の形態として、静止画・動画自動生成システムとして用いられる画像抽出装置の例について詳細に説明する。

【0013】

図１の本システムのブロック図において、本システムはネットワークで接続されたローカルシステム１１００とサーバ１２００で構成される。ローカルシステム１１００は、検知部１１１０と、撮影部１１２０とを備え、それぞれルータ１１０１（および／またはハブ）などを介してネットワーク経由でサーバ１２００に接続される。

【0014】

検知部１１１０は、図２に示すように、検知データ読取器１１１１と、これらに同軸ケーブルを介して接続された複数のアンテナ１１１２・１１１３…とによって（検知データ読取器１１１１が兼用された）複数のＩＤタグ情報読取部が構成され、ＩＤタグ１３００から電波を介して送られる、個人情報と対応づけられていないＩＤタグ情報を読み取り、サーバ１２００に送信するようになっている。なお、検知データ読取器１１１１を必要としないアンテナ装置が用いられる場合は、そのアンテナ装置を直接ルータ１１０１等に接続し、ＩＤタグ情報がサーバ１２００に送信されるようにしてもよい。また、各アンテナごとに検知データ読取器が接続されて、それぞれ、ＩＤタグ情報読み取り部が構成されるなどしてもよい。

【0015】

ＩＤタグ１３００としては、例えばＲＦＩＤタグが用いられ、図３に示すように、例えばアスレチックに利用するヘルメット３００１の内部、アウター３００１ａとインナー３００１ｂとの間などに取り付けられ、個別のＩＤタグ情報を発信するようになっている。なお、上記のようにヘルメット３００１に取り付けられるのに限らず、利用者の衣類にタグを装着したり、靴に装着したりすることも可能である。ここで、上記のようにＩＤタグ１３００としてＲＦＩＤタグが用いられる場合には、アンテナ１１１２・１１１３…としてはＲＦＩＤ読み取り用アンテナ、検知データ読取器１１１１としてはＲＦＩＤリーダーを使用するＲＦＩＤシステムが使われることになる。

【0016】

撮影部１１２０は、図４に示すように、撮影データ収集器１１２１に複数のカメラ１１２２・１１２３…が接続されて構成され、静止画や動画の画像を撮影するようになっている。より詳しくは、各カメラ１１２２・１１２３…は、検知データ読取器１１１１等（ＩＤタグ情報読取部）によるＩＤタグ情報の読み取りとは非同期に画像を撮影し、後述する画像記憶部２２２２に記憶するようになっている。

【0017】

上記検知データ読取器１１１１、および撮影データ収集器１１２１は、図４に併せて示すようにスイッチングハブ１１１４やルータ１１０１を介して、ＩＤタグ情報や撮影された画像（画像データ）をインターネット等を経由してサーバ１２００に送信するようになっている。なお、撮影データ収集器１１２１を必要としないカメラ（例えば直接サーバに動画を送信するように設定できるネットワークカメラなど）が用いられる場合は、それらのカメラを直接ＬＡＮケーブルでルータ１１０１等に接続し、撮影された画像がサーバ１２００に送信されるようにしてもよい。

【0018】

上記アンテナ１１１２・１１１３…は、それぞれ、図５に示すようにカメラ１１２２・１１２３…とペアになるように対応づけられている。より詳しくは、例えば、あるＩＤタグ１３００を装着した人物がアンテナ１１１２の検知領域に入ったときには、その人物はカメラ１１２２によって撮影されるようになっている。

【0019】

サーバ１２００は、図６に示すように、検知部１１１０から送られるＩＤタグ情報を記憶するＩＤタグ情報記憶部２２１２を備えている。このＩＤタグ情報記憶部２２１２には、ＩＤタグ情報読取部ごとのＩＤタグ情報が、タイムスタンプと対応させて記憶される。ＩＤタグ情報読取部との対応関係は、例えばアンテナ１１１２・１１１３…の識別番号と検知データ読取器１１１１の識別番号が併せて記憶されることなどによってとり得るようになっている。なお、アンテナ１１１２・１１１３…の識別番号がシステム全体でユニークな場合には、アンテナ１１１２・１１１３…の識別番号が記憶されるだけにしたりしてもよい。

【0020】

サーバ１２００は、また、撮影部１１２０から送られる画像を記憶する画像記憶部２２２２を備えている。この画像記憶部２２２２には、カメラ１１２２・１１２３…ごとの撮影画像が、タイムスタンプと対応させて記憶される。各カメラ１１２２・１１２３…との対応関係は、例えばカメラ１１２２・１１２３…の識別番号が併せて記憶されることなどによってとり得るようになっている。

【0021】

サーバ１２００には、また、図５について説明したような、アンテナ１１１２・１１１３…とカメラ１１２２・１１２３…との対応関係を記憶する対応関係記憶部２２３２が設けられている。

【0022】

サーバ１２００の画像抽出合成部２２３１は、ＩＤタグ情報記憶部２２１２に記憶されているＩＤタグ情報ごとに、そのＩＤタグ情報が読み取られたアンテナ１１１２・１１１３（ＩＤタグ情報読取部）に対応するカメラ１１２２・１１２３…で撮影され、タイムスタンプが一致する画像を画像記憶部２２２２から抽出して合成し、合成された画像をＩＤタグ情報と対応づけて合成画像記憶部２２３３に記憶させるようになっている。これにより、複数のカメラ１１２２・１１２３…で撮影された複数の人物から、ある人物を同定し、かつ、同一人物の一連の静止画や動画が抽出され、つなげられて合成されるなどして、合成画像記憶部２２３３に記憶される。ここで、上記ＩＤタグ情報は、個人情報と対応づけられる必要はない。すなわち、画像抽出合成部２２３１は、例えばＩＤタグ情報と個人情報との対応関係を記憶する個人情報対応関係記憶部などにアクセスできないようにされていても、個人を特定することなく、ＩＤタグ情報に対応する画像を抽出することができる。

【0023】

（画像抽出装置の適用例１）
上記のような画像抽出装置は、例えば図７に示すようなアスレチックコースに適用することができる。同図の例では、コース内の２箇所に、それぞれアンテナ１１１２とカメラ１１２２とのペア、またはアンテナ１１１３とカメラ１１２３とのペアが設置されている。

【0024】

そして、ある人物が例えばある時刻にアンテナ１１１２の検知領域に入ったときには、ＩＤタグ情報がアンテナ１１１２によって読み取られてＩＤタグ情報記憶部２２１２に記憶されるとともに、その人物がカメラ１１２２により撮影されて画像が画像記憶部２２２２に記憶される。また、同様に、アンテナ１１１３の検知領域に入ったときには、ＩＤタグ情報がアンテナ１１１３によって読み取られてＩＤタグ情報記憶部２２１２に記憶されるとともに、その人物がカメラ１１２３により撮影されて画像が画像記憶部２２２２に記憶される。

【0025】

そこで、画像抽出合成部２２３１では、例えば図８に示すような動作が行われる。

【0026】

（Ｓ１） ＩＤタグ情報記憶部２２１２の記憶内容から、例えば時刻ｔ１にアンテナ１１１２でＩＤタグ情報（例えばＩＤ３１０１）が検出されたことが認識される。

【0027】

（Ｓ２） 対応関係記憶部２２３２の記憶内容から、アンテナ１１１２とカメラ１１２２とがペアであることが確認される。

【0028】

（Ｓ３） 時刻ｔ１にカメラ１１２２で撮影された画像の被写体はＩＤタグ情報（ＩＤ３１０１）のＩＤタグを装着した人物であると判定されるので、その画像が抽出される。

【0029】

（Ｓ４） 同様に、時刻ｔ２にカメラ１１２３で撮影された画像が抽出される。さらに、同様に、その後に各カメラで撮影された画像があれば抽出される。

【0030】

（Ｓ５） 抽出された画像が合成されることにより、ＩＤタグ情報（ＩＤ３１０１）のＩＤタグを装着した人物の一連の画像がまとめられた画像が合成画像記憶部２２３３に記憶される。

【0031】

（画像抽出装置の適用例２）
画像抽出装置の適用例２として、図９に示すように、保育施設に適用される例を説明する。この例では、アンテナ１・２として、指向性を有し、ＩＤタグの位置が領域１・２の何れにあるか、または領域３・４の何れにあるかが、例えばＩＤタグの位置情報（座標）等として判別できるものが用いられている。この場合には、上記領域の区別を含む情報がＩＤタグ情報とされ、対応関係記憶部２２３２には、領域１～４とカメラ１～４とが、それぞれ対応することを示す対応関係が記憶される。

【0032】

ＩＤタグは、例えば名札やリストバンドに取り付けて利用者が装着したり、利用者の衣類や靴に装着したりしてもよい。

【0033】

この例では、アンテナ１でＩＤタグが検出された時に、その位置情報（座標）が領域１であれば、カメラ１の映像に写っていると判定し、ＩＤタグ検出時のタイムスタンプからカメラ１の映像のタイムスタンプを比較することで、そのＩＤタグを装着していた人物が映っている部分を抽出できる。同様に領域２であればカメラ２の映像から抽出できる。

【0034】

アンテナ２で検出された場合も同様に、領域３であればカメラ３に、領域４であればカメラ４に写っていると判定し、タイムスタンプを比較することでその人物が映っている映像を抽出できる。

【0035】

なお、同一ＩＤの人物の映像を複数カメラの映像から抽出し出力することが可能にしてもよい。

【0036】

上記のように指向性を有するアンテナなどが用いられることによって、アンテナ等の数を低減することができる。

【0037】

（画像抽出装置の適用例３）
画像抽出装置の適用例３として、図１０に示すように、施設監視カメラとして適用される例を説明する。

【0038】

ＩＤタグは、施設利用者の社員証や、セキュリティカードのような、利用者が携帯、表示する必要があるものなどに取り付けられる。この例では、位置情報のマッチング情報として３台のアンテナと３台のカメラのペア情報が対応関係記憶部２２３２に保持されて、上記適用例１、２と同様の処理により、画像の抽出、合成をすることができる。ここで、上記社員証やセキュリティカードなどが用いられる場合でも、ＩＤタグ情報自体は、個人情報と対応づけられる必要はない。すなわち、画像抽出合成部２２３１は、例えばＩＤタグ情報と個人情報との対応関係を記憶する個人情報対応関係記憶部などにアクセスできないようにされていても、個人を特定することなく、ＩＤタグ情報に対応する画像を抽出することができる。

【0039】

（その他の事項）
アンテナ１１１２・１１１３…（ＩＤタグ情報読取部）、またはこれらによって検知される領域と、カメラ１１２２・１１２３…との対応関係は、１対１に限らず、検知される１つのアンテナ１１１２等や領域に対して、複数のカメラによって例えば複数の方向からの撮影や複数のアングルなどでの撮影が可能であったり、逆に複数のアンテナ１１１２等や領域の何れが検知された場合でも１台のカメラの視野に入る撮影が可能なようにしたりしてもよい。また、複数のアンテナ１１１２等や領域と複数のカメラとが対応するようにされてもよい。

【0040】

また、アンテナ１１１２等は、カメラ１１２２等の撮影領域に至る移動経路等に配置されて、例えば部屋への入退出や通過が検知可能なように設けられ、カメラ１１２２等は、その室内等を撮影可能にされるなどしてもよい。この場合、カメラ１１２２等は、その人物が室内や通過先の領域等に居る限り常に撮影可能であることは、その人物が、抽出された画像に常に写ったものとできる点で好ましい。また、この場合には、アンテナ１１１２等によってＩＤタグ情報が読み取られた際（ＩＤタグが検知領域を通過した際）のタイムスタンプの範囲が、画像記憶部２２２２に記憶されている画像のタイムスタンプとの照合対象とされる。また、アンテナ１１１２等によってＩＤタグの通過方向等（入室か退室かの区別等）が検知可能にされてもよい。

【0041】

上記のように、ＩＤタグ情報とタイムスタンプによって特定の人物の画像が抽出されることにより、その人物が撮影された一連の画像を合成することが容易にできる。

【0042】

また、画像記憶部２２２２は、各カメラ１１２２・１１２３…ごとに、撮影された画像とタイムスタンプとを対応させて記憶していればよいので、カメラ１１２２・１１２３…、および画像記憶部２２２２は、検知データ読取器１１１１等によるＩＤタグ情報の読み取りとは非同期に画像を撮影し記憶することができる。それゆえ、例えば連続的に撮影を継続する一般的な監視システムなどと組み合わせて画像抽出装置を構成することも容易にできる。

【0043】

なお、画像と撮影時刻との対応やＩＤタグ情報と情報読み取り時刻との対応を採るためには、タイムスタンプを用いるのに限らず、例えば記憶領域やリンクを介して対応づけられるなど、種々の方法で対応づけられるようにすればよい。

【0044】

また、ＩＤタグ情報は、個人情報と対応づけられていなくても画像の抽出が可能なので、セキュリティが損なわれる虞を確実に回避しつつ、同一人物の画像を自動的に抽出することができる。

【0045】

また、撮影された個人を特定するためには、ＩＤタグ情報と個人情報との対応関係を記憶する個人情報対応関係記憶部を画像抽出合成部からアクセスできないように設ける一方、上記個人情報対応関係記憶部にアクセスして、合成画像記憶部に記憶された画像と上記個人情報とを対応づける個人情報対応付け部を設けるようにしてもよい。具体的には、例えば、上記のような個人情報対応関係記憶部や個人情報対応付け部をセキュリティ保護された社内システムや顧客管理システムなどに設け、これらにアクセスできないように押抽出合成部等を設けることにより、セキュリティが損なわれる虞を確実に回避しつつ、同一人物の画像の自動的な抽出を可能にし、かつ、その画像を特定の個人と結びつけて、画像を提供したり行動の監視をしたりすることもできる。ここで、上記個人情報は、実際上の個人を特定し、または個人に直接関連する情報でもよく、個人の所属や個人が所有または使用する端末等を特定する情報などでもよい。

【符号の説明】

【0046】

１１００ ローカルシステム
１１０１ ルータ
１１１０ 検知部
１１１１ 検知データ読取器
１１１２・１１１３ アンテナ
１１１４ スイッチングハブ
１１２０ 撮影部
１１２１ 撮影データ収集器
１１２２・１１２３ カメラ
１２００ サーバ
１３００ ＩＤタグ
２２１２ ＩＤタグ情報記憶部
２２２２ 画像記憶部
２２３１ 画像抽出合成部
２２３２ 対応関係記憶部
２２３３ 合成画像記憶部
３００１ ヘルメット
３００１ａ アウター
３００１ｂ インナー

【要約】

【課題】同一人物の画像の自動的な抽出を可能にする。
【解決手段】画像抽出装置は、複数のカメラ、撮影画像と撮影時刻を記憶する画像記憶部２２２２、複数のＩＤタグ情報読取部、読み取られたＩＤタグ情報と情報読み取り時刻を記憶するＩＤタグ情報記憶部２２１２、ＩＤタグ情報記憶部２２１２に記憶されているＩＤタグ情報ごとにＩＤタグ情報が読み取られたＩＤタグ情報読取部に対応するカメラで撮影され、撮影時刻と情報読み取り時刻とが一致する画像を抽出して合成する画像抽出合成部２２３１および合成された画像を記憶する合成画像記憶部２２３３とを有する。
【選択図】図２

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】