特許 7319013 抽出装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-07-24

(45)【発行日】2023-08-01

(54)【発明の名称】抽出装置

(51)【国際特許分類】

   H04N 23/60 20230101AFI20230725BHJP

   G06T 7/20 20170101ALI20230725BHJP

   H04N 7/18 20060101ALI20230725BHJP

   H04N 23/73 20230101ALI20230725BHJP

【ＦＩ】

H04N23/60 500

G06T7/20 300Z

H04N7/18 K

H04N23/60 300

H04N23/73

【請求項の数】 9

(21)【出願番号】P 2022501745

(86)(22)【出願日】2021-01-29

(86)【国際出願番号】 JP2021003386

(87)【国際公開番号】W WO2021166604

(87)【国際公開日】2021-08-26

【審査請求日】2022-07-29

(31)【優先権主張番号】P 2020024112

(32)【優先日】2020-02-17

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000232092

【氏名又は名称】ＮＥＣソリューションイノベータ株式会社

(74)【代理人】

【識別番号】100124811

【弁理士】

【氏名又は名称】馬場 資博

(74)【代理人】

【識別番号】100088959

【弁理士】

【氏名又は名称】境 廣巳

(74)【代理人】

【識別番号】100097157

【弁理士】

【氏名又は名称】桂木 雄二

(74)【代理人】

【識別番号】100187724

【弁理士】

【氏名又は名称】唐鎌 睦

(72)【発明者】

【氏名】石寺 永記

【審査官】佐藤 直樹

(56)【参考文献】

【文献】特開２００７－１１５２３６（ＪＰ，Ａ）

【文献】特開２０１７－０３４４５５（ＪＰ，Ａ）

【文献】国際公開第２０１２／０１４４３０（ＷＯ，Ａ１）

【文献】特開２００８－２３０２８２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／６０

Ｇ０６Ｔ ７／２０

Ｈ０４Ｎ ７／１８

Ｈ０４Ｎ ２３／７３

(57)【特許請求の範囲】

【請求項1】

外部装置から画像データを取得する取得部と、
前記取得部が取得した前記画像データから、当該画像データ中の軌跡抽出対象に生じている被写体ぶれに基づく、前記軌跡抽出対象の移動軌跡を抽出する抽出部と、
を有し、
混雑状況を示す混雑状況情報を取得する混雑状況情報取得部を有し、
前記抽出部は、取得した前記混雑状況情報に基づいて、移動軌跡として抽出する対象を決定する
抽出装置。

【請求項2】

請求項１に記載の抽出装置であって、
前記取得部は、被写体ぶれが生じるようにシャッタースピードを設定して撮影した前記画像データを取得する
抽出装置。

【請求項3】

請求項１に記載の抽出装置であって、
前記取得部は、外部装置が前記画像データを送信する枚数を示すフレームレートに応じたシャッタースピードで撮影した前記画像データを取得する
抽出装置。

【請求項4】

請求項１に記載の抽出装置であって、
前記抽出部は、被写体ぶれにより生じる、明度が所定値以上となる輝点の筋を移動軌跡として抽出する
抽出装置。

【請求項5】

請求項１に記載の抽出装置であって、
背景の明度または色を示す背景情報を取得する背景情報取得部を有し、
前記抽出部は、取得した前記背景情報に基づいて移動軌跡の抽出対象を決定し、前記画像データのうち、決定した抽出対象となる移動軌跡を抽出する
抽出装置。

【請求項6】

請求項１に記載の抽出装置であって、
抽出した移動軌跡のうち、同一の前記軌跡抽出対象により生じる移動軌跡を統合する統合部を有する
抽出装置。

【請求項7】

請求項１に記載の抽出装置であって、
前記取得部は、複数のシャッタースピードを設定して撮影した前記画像データを取得し、
前記抽出部は、取得した前記画像データのうちより遅いシャッタースピードを設定して撮影した前記画像データ中の前記軌跡抽出対象に生じている被写体ぶれに基づいて移動軌跡を抽出する
抽出装置。

【請求項8】

情報処理装置が、
外部装置から画像データを取得し、
取得した前記画像データから、当該画像データ中の軌跡抽出対象に生じている被写体ぶれに基づく、前記軌跡抽出対象の移動軌跡を抽出し、
混雑状況を示す混雑状況情報を取得し、
移動軌跡を抽出する際、取得した前記混雑状況情報に基づいて、移動軌跡として抽出する対象を決定する
抽出方法。

【請求項9】

情報処理装置に、
外部装置から画像データを取得する取得部と、
前記取得部が取得した前記画像データから、当該画像データ中の軌跡抽出対象に生じている被写体ぶれに基づく、前記軌跡抽出対象の移動軌跡を抽出する抽出部と、
混雑状況を示す混雑状況情報を取得する混雑状況情報取得部と、
を実現させ、
前記抽出部は、取得した前記混雑状況情報に基づいて、移動軌跡として抽出する対象を決定する
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、抽出装置、抽出方法、記録媒体に関する。

【背景技術】

【0002】

画像データに基づいて、人物の軌跡を抽出することが知られている。

【0003】

画像データに基づく軌跡抽出について記載された文献としては、例えば、特許文献１がある。特許文献１によると、短期変化抽出部は、２時刻の入力画像の差分から、画像上で短期に変化した部分を抽出して、抽出結果に基づいて代表点などを抽出する。また、軌跡抽出部は、短期変化抽出部の出力である代表点の時系列から移動軌跡を抽出する。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１２－１４３０２号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ＩＰカメラなどでは、１秒間に出力する画像枚数を示すフレームレートが予め定められている場合がある。また、被写体ぶれの抑制などのため、画像データは短い露光時間で取得されることが一般的である。

【0006】

上記のようにして画像データを取得すると、フレームレートで限られる時間内の一瞬だけ露光するため、各画像データの取得タイミングの間に、画像データに反映されない露光していない時間が生じることになる。その結果、被写体の移動状況などによっては、例えば、取得した画像データ間において被写体の位置がとびとびになる、同様の特徴を有する他の被写体と重なるなどにより見かけ上移動していないように見える、などの事情が生じることがあった。その結果、特許文献１に記載のような画像データに基づく移動軌跡の抽出処理において、移動軌跡の抽出が困難になることがあった。

【0007】

このように、画像データから移動軌跡の抽出を容易に行うことが難しい場合がある、という課題が生じていた。

【0008】

そこで、本発明の目的は、画像データから移動軌跡の抽出を容易に行うことが可能な抽出装置、抽出方法、記録媒体を提供することにある。

【課題を解決するための手段】

【0009】

かかる目的を達成するため本発明の一形態である抽出装置は、
外部装置から画像データを取得する取得部と、
前記取得部が取得した前記画像データから、当該画像データ中の軌跡抽出対象に生じている被写体ぶれに基づく、前記軌跡抽出対象の移動軌跡を抽出する抽出部と、
を有する
という構成をとる。

【0010】

また、本発明の他の形態である抽出方法は、
情報処理装置が、
外部装置から画像データを取得し、
取得した前記画像データから、当該画像データ中の軌跡抽出対象に生じている被写体ぶれに基づく、前記軌跡抽出対象の移動軌跡を抽出する
という構成をとる。

【0011】

また、本発明の他の形態である記録媒体は、
情報処理装置に、
外部装置から画像データを取得する取得部と、
前記取得部が取得した前記画像データから、当該画像データ中の軌跡抽出対象に生じている被写体ぶれに基づく、前記軌跡抽出対象の移動軌跡を抽出する抽出部と、
を実現するためのプログラムを記録した、コンピュータが読み取り可能な記録媒体である。

【発明の効果】

【0012】

本発明は、以上のように構成されることにより、画像データから移動軌跡の抽出を容易に行うことが可能な抽出装置、抽出方法、記録媒体を提供することが可能となる。

【図面の簡単な説明】

【0013】

【図1】本発明の第１の実施形態におけるシステムの構成の一例を示す図である。

【図2】図１で示すカメラの構成の一例を示すブロック図である。

【図3】設定部による処理の一例を説明するための図である。

【図4】図１で示す抽出装置の構成の一例を示すブロック図である。

【図5】被写体ぶれの一例を模式的に示し、移動軌跡抽出部が抽出する移動軌跡の一例を示している。

【図6】抽出装置の動作の一例を示すフローチャートである。

【図7】抽出装置の他の構成の一例を示すブロック図である。

【図8】抽出装置の他の構成の一例を示すブロック図である。

【図9】抽出装置の他の構成の一例を示すブロック図である。

【図10】本発明の第２の実施形態における抽出装置のハードウェア構成の一例を示すブロック図である。

【図11】本発明の第２の実施形態における抽出装置の構成の一例を示すブロック図である。

【発明を実施するための形態】

【0014】

［第１の実施形態］
本発明の第１の実施形態を図１から図９までを参照して説明する。図１は、システム１００の構成の一例を示す図である。図２は、ＩＰカメラ２００の構成の一例を示すブロック図である。図３は、設定部２１０による処理の一例を説明するための図である。図４は、抽出装置３００の構成の一例を示すブロック図である。図５は、被写体ぶれの一例を模式的に示しており、移動軌跡抽出部３５２が抽出する移動軌跡の一例を示している。図６は、抽出装置の動作の一例を示すフローチャートである。図７から図９は、抽出装置３００の他の構成の一例を示すブロック図である。

【0015】

第１の実施形態では、ＩＰカメラ２００が撮影した画像データに基づいて、軌跡抽出対象の移動軌跡を抽出する抽出装置３００を有するシステム１００について説明する。後述するように、ＩＰカメラ２００は、撮影した画像データにおいて被写体ぶれ（モーションブラー）を生じさせるように、シャッタースピードが設定されている。例えば、ＩＰカメラ２００は、フレームレートに応じたシャッタースピードが設定されている。また、抽出装置３００は、ＩＰカメラ２００が撮影した、被写体ぶれが生じている画像データに基づいて、移動軌跡を抽出する。例えば、上記のようにして取得した画像データにおいては、軌跡抽出対象の輝点が一本の筋状に撮影される。そこで、抽出装置３００は、画像データ中において被写体ぶれにより生じる筋を移動軌跡として抽出する。

【0016】

なお、軌跡抽出対象は、例えば、人物や車両などである。本実施形態においては、一例として、軌跡抽出対象が人である場合について説明する。軌跡抽出対象は、上記例示した以外であっても構わない。

【0017】

図１は、システム１００全体の構成例を示している。図１を参照すると、システム１００は、例えば、ＩＰカメラ２００と抽出装置３００とを有している。図１で示すように、ＩＰカメラ２００と抽出装置３００とは、例えば、ネットワークなどを介して互いに通信可能なよう接続されている。

【0018】

ＩＰカメラ２００は、画像データを撮影する、ネットワークに接続された撮像装置である。例えば、ＩＰカメラ２００は、所定箇所に予め設置されており、軌跡抽出対象である人を含む画像データを撮影する。なお、ＩＰカメラ２００は、ネットワークカメラなどとも呼ばれうる。

【0019】

図２は、ＩＰカメラ２００の構成の一例を示している。図２を参照すると、ＩＰカメラ２００は、例えば、設定部２１０と、撮影部２２０と、送信部２３０と、を有している。

【0020】

なお、ＩＰカメラ２００は、例えば、ＣＰＵ（Central Processing Unit）などの演算装置と記憶装置とを有している。例えば、ＩＰカメラ２００は、記憶装置に格納されたプログラムを演算装置が実行することで、上述した各処理部を実現する。

【0021】

設定部２１０は、撮影部２２０が画像データを撮影する際のシャッタースピードを設定する。つまり、設定部２１０は、画像データを撮影する際の露光時間を設定する。

【0022】

本実施形態において、設定部２１０は、ＩＰカメラ２００が１秒間に出力する画像枚数を示すフレームレートに基づいて、シャッタースピードを設定する。例えば、設定部２１０は、フレームレートで規定される限りにおいて最大限シャッタースピードが遅くなるように、シャッタースピードを設定する。

【0023】

図３は、ＩＰカメラ２００のフレームレートが５ｆｐｓ（frame per second）と設定されている場合の設定部２１０によるシャッタースピードの設定の一例を示している。図３で示すように、フレームレートが５ｆｐｓと設定されている場合、撮影部２２０は、１秒間に５枚の画像データを撮影する。つまり、撮影部２２０は、１／５＝０．２秒で１枚の画像データを撮影する。設定部２１０は、上記フレームレートで規定される限りにおいて最大限シャッタースピードが遅くなるように、撮影部２２０の撮影間隔に応じたシャッタースピードを設定する。つまり、設定部２１０は、フレームレートに応じて、画像データの撮影間に露光していない時間が出来る限り生じないように、シャッタースピードを設定する。図３で示す場合、上記のように、ＩＰカメラ２００のフレームレートが５ｆｐｓと設定され、撮影部２２０が０．２秒で１枚の画像データを撮影する。そのため、設定部２１０は、フレームレートで規定される限りにおいて最大限シャッタースピードが遅くなるように、シャッタースピードを０．２秒と設定する。

【0024】

例えば、上述したように、設定部２１０は、フレームレートに応じたシャッタースピードの設定を行う。なお、設定部２１０は、上記例示した以外の処理を行うよう構成しても構わない。例えば、設定部２１０は、ＩＰカメラ２００のフレームレートが変更された場合に、変更されたフレームレートに応じてシャッタースピードの再設定を行うよう構成しても構わない。また、設定部２１０は、必ずしもフレームレートに基づいてシャッタースピードを設定しなくても構わない。例えば、設定部２１０は、撮影した画像データにおいて軌跡抽出対象に被写体ぶれが生じるように、予め定められたシャッタースピードを設定しても構わない。

【0025】

撮影部２２０は、設定部２１０により設定されたシャッタースピードで画像データを撮影する。また、撮影部２２０は、画像データを撮影する際、画像データを撮影する際の日時を示す情報を取得して、撮影した画像データに対応づけることが出来る。

【0026】

送信部２３０は、撮影部２２０が撮像した画像データを含む情報を抽出装置３００に対して送信する。

【0027】

例えば、以上のように、ＩＰカメラ２００は、設定部２１０が設定したシャッタースピードで画像データを撮像する。

【0028】

抽出装置３００は、画像データ中において軌跡抽出対象が移動した移動軌跡を抽出する情報処理装置である。図４は、抽出装置３００の構成の一例を示している。図４を参照すると、抽出装置３００は、主な構成要素として、例えば、操作入力部３１０と、画面表示部３２０と、通信Ｉ／Ｆ部３３０と、記憶部３４０と、演算処理部３５０と、を有している。

【0029】

操作入力部３１０は、キーボードやマウスなどの操作入力装置からなる。操作入力部３１０は、抽出装置３００を操作するオペレータの操作を検出して、演算処理部３５０に出力する。

【0030】

画面表示部３２０は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ、液晶ディスプレイ）などの画面表示装置からなる。画面表示部３２０は、演算処理部３５０からの指示に応じて、画像情報３４１に含まれる画像データや、移動軌跡情報３４２などを画面表示することが出来る。

【0031】

通信Ｉ／Ｆ部３３０は、データ通信回路からなる。通信Ｉ／Ｆ部３３０は、通信回線を介して接続された各種装置との間でデータ通信を行う。例えば、抽出装置３００は、通信Ｉ／Ｆ部３３０を介して、ＩＰカメラ２００から画像データを取得するなどＩＰカメラ２００との間で通信を行う。

【0032】

記憶部３４０は、ハードディスクやメモリなどの記憶装置である。記憶部３４０は、演算処理部３５０における各種処理に必要な処理情報やプログラム３４３を記憶する。プログラム３４３は、演算処理部３５０に読み込まれて実行されることにより各種処理部を実現する。プログラム３４３は、通信Ｉ／Ｆ部３３０などのデータ入出力機能を介して外部装置や記録媒体から予め読み込まれ、記憶部３４０に保存されている。記憶部３４０で記憶される主な情報としては、例えば、画像情報３４１と、移動軌跡情報３４２と、がある。

【0033】

画像情報３４１は、ＩＰカメラ２００が撮影した画像データを含んでいる。例えば、画像情報３４１では、画像データをＩＰカメラ２００が撮影した日時を示す情報と、画像データと、が対応づけられている。画像情報３４１には、複数フレームの画像データを含むことが出来る。

【0034】

移動軌跡情報３４２は、後述する移動軌跡抽出部３５２が抽出した移動軌跡を示す情報を含んでいる。移動軌跡抽出部３５２による移動軌跡の抽出処理については、後述する。

【0035】

演算処理部３５０は、ＭＰＵなどのマイクロプロセッサとその周辺回路を有する。演算処理部３５０は、記憶部３４０からプログラム３４３を読み込んで実行することにより、上記ハードウェアとプログラム３４３とを協働させて各種処理部を実現する。演算処理部３５０で実現される主な処理部としては、例えば、画像取得部３５１と、移動軌跡抽出部３５２と、出力部３５３と、がある。

【0036】

画像取得部３５１は、通信Ｉ／Ｆ部３３０を介して接続されたＩＰカメラ２００から、ＩＰカメラ２００が撮影した画像データを取得する。そして、画像取得部３５１は、取得した画像データを画像情報３４１として記憶部３４０に格納する。例えば、画像取得部３５１は、画像データと、画像データをＩＰカメラ２００が撮影した日時を示す情報と、を対応付けて画像情報３４１として記憶部３４０に格納することが出来る。

【0037】

移動軌跡抽出部３５２は、画像情報３４１に含まれる画像データから軌跡抽出対象である人の移動軌跡を抽出する。

【0038】

図５は、被写体ぶれの一例を模式的に示しており、移動軌跡抽出部３５２が抽出する移動軌跡の一例を示している。図５で示すように、シャッタースピードを遅くして撮影した画像データにおいては、被写体ぶれが生じており、軌跡抽出対象である人の顔、Ｙシャツの襟、手などの輝点が一本の筋状に撮影される。つまり、背景、スーツ、髪などと比較して明度の高くなる顔、Ｙシャツの襟、手などの輝点が一本の筋状に撮影される。そこで、移動軌跡抽出部３５２は、画像データ中において被写体ぶれにより生じる筋を移動軌跡として抽出する。例えば、移動軌跡抽出部３５２は、画像データ中の明度に基づいて、移動軌跡を抽出する。具体的には、例えば、移動軌跡抽出部３５２は、画像データ内において、所定値以上の明度を有し、かつ、隣接する領域において明度の差が所定範囲内となる筋を、移動軌跡として抽出する。例えば、図５の場合、移動軌跡抽出部３５２は、軌跡抽出対象である人の顔、Ｙシャツの襟、手に相当する部位がぶれることで形成される筋を、移動軌跡として抽出する。

【0039】

例えば、以上のように、移動軌跡抽出部３５２は、シャッタースピードを遅くして撮影した画像データにおいて、所定値以上の明度を有する輝点に着目することで、移動軌跡を抽出する。そして、移動軌跡抽出部３５２は、抽出した移動軌跡を示す情報を、抽出元となる画像データと紐づけて、移動軌跡情報３４２として記憶部３４０に格納する。

【0040】

なお、移動軌跡抽出部３５２は、上述したように、１枚の画像データに基づいて移動軌跡を抽出するほかに、抽出した移動軌跡の明度や位置などの特徴に基づいて、複数の画像データにおける移動軌跡を抽出するよう構成しても構わない。上述したように、設定部２１０は、画像データの撮影間に露光していない時間が出来る限り生じないように、シャッタースピードを設定している。そのため、撮影時間が隣接する画像データ間において、軌跡抽出対象の位置が大幅に変わる事態を抑制することができ、その結果、移動軌跡抽出部３５２は、複数の画像データにおいて容易に移動軌跡を抽出することが出来る。

【0041】

出力部３５３は、画像情報３４１に含まれる画像データや移動軌跡情報３４２に含まれる移動軌跡などを出力する。例えば、出力部３５３は、画像情報３４１に含まれる画像データや移動軌跡情報３４２に含まれる移動軌跡などを画面表示部３２０に表示させたり、通信Ｉ／Ｆ部３３０を介して外部装置に対して送信したりすることが出来る。

【0042】

以上が、抽出装置３００の構成の一例である。

【0043】

続いて、図６を参照して、抽出装置３００の動作の一例について説明する。

【0044】

図６を参照すると、抽出装置３００の画像取得部３５１は、通信Ｉ／Ｆ部３３０を介して接続されたＩＰカメラ２００から、ＩＰカメラ２００が撮影した画像データを取得する（ステップＳ１０１）。ＩＰカメラ２００の撮影部２２０は、設定部２１０によりフレームレートに応じて設定されたシャッタースピードで画像データを撮影している。そのため、画像取得部３５１は、フレームレートに応じたシャッタースピードで撮影された画像データを取得する、ということが出来る。

【0045】

移動軌跡抽出部３５２は、画像情報３４１に含まれる画像データから軌跡抽出対象が移動した移動軌跡を抽出する（ステップＳ１０２）。例えば、移動軌跡抽出部３５２は、画像データ内において、所定値以上の明度を有し、かつ、隣接する領域において明度の差が所定範囲内となる区間を、移動軌跡として抽出する。そして、移動軌跡抽出部３５２は、抽出した移動軌跡を示す情報を、抽出元となる画像データと紐づけて、移動軌跡情報３４２として記憶部３４０に格納する。

【0046】

以上が、抽出装置３００の動作の一例である。

【0047】

このように、抽出装置３００は、移動軌跡抽出部３５２を有している。また、抽出装置３００は、ＩＰカメラ２００から画像データを取得するよう構成されている。このような構成によると、移動軌跡抽出部３５２は、ＩＰカメラ２００においてシャッタースピードが出来る限り遅くなるよう設定された状態で撮影した画像データに基づいて、移動軌跡を取得することが出来る。その結果、移動軌跡抽出部３５２は、画像データにおいて生じる被写体ぶれを利用して移動軌跡を抽出することが可能となる。これにより、移動軌跡抽出部３５２は、１枚の画像データに基づいて容易に移動軌跡を抽出することが可能となる。

【0048】

また、抽出装置３００は、設定部２１０によりフレームレートに応じて設定されたシャッタースピードで撮影された画像データを取得するよう構成されている。このような構成によると、移動軌跡抽出部３５２は、撮影間隔に出来る限り空きが生じないように撮影された画像データに基づいて、移動軌跡を抽出することが出来る。その結果、撮影時間が隣接する画像データにおいて軌跡抽出対象の位置が大幅に変わる事態を抑制することが出来るため、移動軌跡抽出部３５２は、複数の画像データに基づいて容易に移動軌跡を抽出することが可能となる。

【0049】

また、本実施形態で説明した方法によると、被写体ぶれが生じた画像を取得することが可能となる。つまり、本実施形態で説明した方法によると、人の目、鼻、口などの顔認証を行う際に特徴点となる箇所が被写体ぶれによりぶれている画像データを取得することが出来る。その結果、個人情報に配慮した画像データを取得することが可能となり、個人情報に配慮した画像データに基づいて軌跡抽出対象の移動軌跡を抽出することが可能となる。

【0050】

なお、抽出装置３００は、図４で例示した以外の構成を有しても構わない。

【0051】

例えば、図７は、抽出装置３００の他の構成例を示している。図７を参照すると、抽出装置３００は、図４を参照して説明した構成の他に、背景情報取得部３５４を有することが出来る。

【0052】

背景情報取得部３５４は、背景画像における色や明度（例えば、平均値）などの背景情報を取得する。なお、本実施形態においては、背景画像の抽出方法については、特に限定しない。抽出装置３００は、例えば複数の画像データに基づいて背景画像を抽出するなど、既知の方法を用いて背景画像を抽出するよう構成することが出来る。

【0053】

また、抽出装置３００が背景情報取得部３５４を有する場合、移動軌跡抽出部３５２は、背景画像と軌跡抽出対象との色差や明度差に基づいて、移動軌跡として抽出する対象を決定するよう構成することが出来る。例えば、本実施形態においては、所定値以上の明度を有する輝点に着目して移動軌跡を抽出する場合について説明した。しかしながら、例えば、背景画像や移動軌跡周辺における明度が高い場合などにおいては、輝点に着目するよりも明度の低い箇所に注目する方が背景との明度差が大きくなり、抽出する移動軌跡として好ましくなる。そこで、移動軌跡抽出部３５２は、背景情報取得部３５４が取得した背景情報に基づいて、明度の高い筋を移動軌跡として抽出するか、または、明度の低い筋を移動軌跡として抽出するか、を決定することが出来る。このように、抽出装置３００は、背景情報取得部３５４を有するとともに、背景情報取得部３５４が取得した背景情報に基づいて、移動軌跡の抽出対象を決定するよう構成することが出来る。

【0054】

また、図８は、抽出装置３００の他の構成例を示している。図８を参照すると、抽出装置３００は、図４を参照して説明した構成の他に、混雑状況取得部３５５を有することが出来る。

【0055】

混雑状況取得部３５５は、画像データ中に含まれる軌跡抽出対象である人以外の人の数などに応じた混雑状況を示す混雑状況情報を取得する。例えば、混雑状況取得部３５５は、画像データから検出した人の数や抽出した移動軌跡の数などに基づいて、画像データが撮影する領域の混み具合を示す混雑状況情報を取得する。混雑状況取得部３５５は、外部装置などからＩＰカメラ２００設置箇所のイベント情報などを取得することで、混雑状況情報を取得しても構わない。

【0056】

また、抽出装置３００が混雑状況取得部３５５を有する場合、移動軌跡抽出部３５２は、混雑状況情報に基づいて、移動軌跡として抽出する対象を決定するよう構成することが出来る。一般論として、移動軌跡抽出部３５２が抽出する移動軌跡としては、長くて細い筋であるほど望ましい。つまり、（周囲長／面積の平方根）の値が大きいほど、抽出対象となる移動軌跡として好ましい。特に、混雑状況などによっては、太い筋の場合（面積の大きい移動軌跡である場合）、軌跡抽出対象以外の移動軌跡と重なってしまい、的確な抽出を行うことが出来ないおそれがある。そこで、移動軌跡抽出部３５２は、混雑状況情報などに基づいて、移動軌跡として抽出する対象となる移動軌跡の面積を制限することが出来る。例えば、移動軌跡抽出部３５２は、混雑状況情報が示す混雑の状況がよりひどくなればなるほど、抽出対象となる筋の面積（太さ）を小さく（細く）することが出来る。このように、抽出装置３００は、混雑状況取得部３５５を有するとともに、混雑状況取得部３５５が取得した混雑状況情報に基づいて、移動軌跡の抽出対象を決定するよう構成しても構わない。

【0057】

また、図９は、抽出装置３００の他の構成例を示している。図９を参照すると、抽出装置３００は、図４を参照して説明した構成の他に、軌跡統合部３５６を有することが出来る。

【0058】

例えば、本実施形態の場合、移動軌跡抽出部３５２は、軌跡抽出対象である人の顔、Ｙシャツの襟、手などの筋を移動軌跡として抽出するとした。このように、移動軌跡抽出部３５２は、一人の軌跡抽出対象から複数の移動軌跡を抽出することがある。そこで、軌跡統合部３５６は、移動軌跡抽出部３５２が抽出した移動軌跡のうち同一の人物の移動軌跡と判断される移動軌跡を統合する。例えば、同一の人物の移動軌跡がある程度平行になるものと想定される。そこで、軌跡統合部３５６は、移動軌跡が平行な関係にあると評価できるか否かに基づいて、移動軌跡の統合を行う。軌跡統合部３５６は、移動軌跡の統合を行う際、移動軌跡の位置関係を示す情報などを加味しても構わない。

【0059】

抽出装置３００は、上記例示したうちのいずか一つ、または、組み合わせた構成を有することが出来る。抽出装置３００は、例えば、画像データ中の人物の中から軌跡抽出対象を特定する特定部を有するなど、上記例示した以外の構成を有しても構わない。

【0060】

また、本実施形態においては、１台の情報処理装置により抽出装置３００としての機能を実現する場合について説明した。しかしながら、抽出装置３００としての機能は、例えば、ネットワークを介して接続された複数台の情報処理装置により実現されても構わない。

【0061】

また、本実施形態においては、軌跡抽出対象が人である場合について説明した。しかしながら、上述したように、軌跡抽出対象は車両などの人以外であっても構わない。なお、軌跡抽出対象が車両である場合、移動軌跡抽出部３５２は、ヘッドライトやテールライトなどの筋を移動軌跡として抽出することが出来る。

【0062】

また、本実施形態においては、設定部２１０がフレームレートに基づいてシャッタースピードを設定する場合について説明した。設定部２１０によるフレームレートに基づくシャッタースピードの設定は、常に行われても構わないし、必ずしも常に行われなくても構わない。例えば、フレームレートが５ｆｐｓである場合、１秒間に撮影する５枚の画像データのうちの４枚の画像データをフレームレートに基づくシャッタースピードで撮影し、残りの１枚を被写体ぶれが生じないようなシャッタースピードで撮影しても構わない。このように、設定部２１０は、被写体ぶれが生じないようなシャッタースピードと、被写体ブレが生じるようなシャッタースピードと、を含む少なくとも２種類のシャッタースピードを設定するよう構成しても構わない。このような構成により、被写体ブレが生じるようなシャッタースピードで画像データを撮影した期間において容易な移動軌跡の抽出を実現しつつ、顔認証などによる認証処理を行うことを可能とすることが出来る。

【0063】

また、例えば、抽出装置３００は、ＩＰカメラ２００のフレームレートやシャッタースピードを制御するよう構成しても構わない。例えば、抽出装置３００は、ＩＰカメラ２００に対して、フレームレートを指示するフレームレート指示情報やシャッタースピードを指示するシャッタースピード情報を送信することが出来る。例えば、ＩＰカメラ２００や設定部２１０は、受信したフレームレート情報やシャッタースピード情報に基づいて、フレームレートやシャッタースピードを設定することが出来る。

【0064】

また、本実施形態においては、ＩＰカメラ２００が可視光の画像データを取得する場合について説明した。しかしながら、本発明は、可視光以外の例えば赤外線画像データなどに対しても適用可能である。

【0065】

［第２の実施形態］
次に、本発明の第２の実施形態について、図１０、図１１を参照して説明する。図１０、図１１は、抽出装置４００の構成の一例を示している。

【0066】

図１０は、抽出装置４００のハードウェア構成の一例を示している。図１０を参照すると、抽出装置４００は、一例として、以下のようなハードウェア構成を有している。
・ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）４０１（演算装置）
・ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）４０２（記憶装置）
・ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）４０３（記憶装置）
・ＲＡＭ４０３にロードされるプログラム群４０４
・プログラム群４０４を格納する記憶装置４０５
・情報処理装置外部の記録媒体４１０の読み書きを行うドライブ装置４０６
・情報処理装置外部の通信ネットワーク４１１と接続する通信インタフェース４０７
・データの入出力を行う入出力インタフェース４０８
・各構成要素を接続するバス４０９

【0067】

また、抽出装置４００は、プログラム群４０４をＣＰＵ４０１が取得して当該ＣＰＵ４０１が実行することで、図１１に示す取得部４２１や抽出部４２２としての機能を実現することが出来る。なお、プログラム群４０４は、例えば、予め記憶装置４０５やＲＯＭ４０２に格納されており、必要に応じてＣＰＵ４０１がＲＡＭ４０３などにロードして実行する。また、プログラム群４０４は、通信ネットワーク４１１を介してＣＰＵ４０１に供給されてもよいし、予め記録媒体４１０に格納されており、ドライブ装置４０６が該プログラムを読み出してＣＰＵ４０１に供給してもよい。

【0068】

なお、図１０は、抽出装置４００のハードウェア構成の一例を示している。抽出装置４００のハードウェア構成は上述した場合に限定されない。例えば、抽出装置４００は、ドライブ装置４０６を有さないなど、上述した構成の一部から構成されてもよい。

【0069】

取得部４２１は、外部装置から画像データを取得する。例えば、取得部４２１は、ＩＰカメラなどの外部装置から、被写体ぶれが生じるようにシャッタースピードを設定して撮影した前記画像データを取得する。

【0070】

抽出部４２２は、取得部４２１が取得した画像データから、当該画像データ中の軌跡抽出対象に生じている被写体ぶれに基づく、軌跡抽出対象の移動軌跡を抽出する。

【0071】

このように、抽出装置４００は、取得部４２１と抽出部４２２とを有している。このような構成により、抽出部４２２は、取得部４２１が取得した画像データから、当該画像データ中の軌跡抽出対象に生じている被写体ぶれに基づく、軌跡抽出対象の移動軌跡を抽出することが出来る。その結果、１枚の画像データに基づいて容易に移動軌跡を抽出することが可能となる。

【0072】

なお、上述した抽出装置４００は、当該抽出装置４００に所定のプログラムが組み込まれることで実現できる。具体的に、本発明の他の形態であるプログラムは、抽出装置４００に、外部装置から画像データを取得する取得部４２１と、取得部４２１が取得した画像データから、当該画像データ中の軌跡抽出対象に生じている被写体ぶれに基づく、軌跡抽出対象の移動軌跡を抽出する抽出部４２２と、を実現するためのプログラムである。

【0073】

また、上述した抽出装置４００により実行される抽出方法は、抽出装置４００が、外部装置から画像データを取得し、取得した画像データから、当該画像データ中の軌跡抽出対象に生じている被写体ぶれに基づく、軌跡抽出対象の移動軌跡を抽出する、という方法である。

【0074】

上述した構成を有する、プログラム、又は、抽出方法、の発明であっても、上記抽出装置と同様の作用・効果を有するために、上述した本発明の目的を達成することが出来る。

【0075】

＜付記＞
上記実施形態の一部又は全部は、以下の付記のようにも記載されうる。以下、本発明における抽出方法などの概略を説明する。但し、本発明は、以下の構成に限定されない。

【0076】

（付記１）
外部装置から画像データを取得する取得部と、
前記取得部が取得した前記画像データから、当該画像データ中の軌跡抽出対象に生じている被写体ぶれに基づく、前記軌跡抽出対象の移動軌跡を抽出する抽出部と、
を有する
抽出装置。
（付記２）
付記１に記載の抽出装置であって、
前記取得部は、被写体ぶれが生じるようにシャッタースピードを設定して撮影した前記画像データを取得する
抽出装置。
（付記３）
付記１または付記２に記載の抽出装置であって、
前記取得部は、外部装置が前記画像データを送信する枚数を示すフレームレートに応じたシャッタースピードで撮影した前記画像データを取得する
抽出装置。
（付記４）
付記１から付記３までのいずれか１項に記載の抽出装置であって、
前記抽出部は、被写体ぶれにより生じる、明度が所定値以上となる輝点の筋を移動軌跡として抽出する
抽出装置。
（付記５）
付記１から付記４までのいずれか１項に記載の抽出装置であって、
背景の明度または色を示す背景情報を取得する背景情報取得部を有し、
前記抽出部は、取得した前記背景情報に基づいて移動軌跡の抽出対象を決定し、前記画像データのうち、決定した抽出対象となる移動軌跡を抽出する
抽出装置。
（付記６）
付記１から付記５までのいずれか１項に記載の抽出装置であって、
混雑状況を示す混雑状況情報を取得する混雑状況情報取得部を有し、
前記抽出部は、取得した前記混雑状況情報に基づいて、移動軌跡として抽出する対象を決定する
抽出装置。
（付記７）
付記１から付記６までのいずれか１項に記載の抽出装置であって、
抽出した移動軌跡のうち、同一の前記軌跡抽出対象により生じる移動軌跡を統合する統合部を有する
抽出装置。
（付記８）
付記１から付記７までのいずれか１項に記載の抽出装置であって、
前記取得部は、複数のシャッタースピードを設定して撮影した前記画像データを取得し、
前記抽出部は、取得した前記画像データのうちより遅いシャッタースピードを設定して撮影した前記画像データ中の前記軌跡抽出対象に生じている被写体ぶれに基づいて移動軌跡を抽出する
抽出装置。
（付記９）
情報処理装置が、
外部装置から画像データを取得し、
取得した前記画像データから、当該画像データ中の軌跡抽出対象に生じている被写体ぶれに基づく、前記軌跡抽出対象の移動軌跡を抽出する
抽出方法。
（付記１０）
情報処理装置に、
外部装置から画像データを取得する取得部と、
前記取得部が取得した前記画像データから、当該画像データ中の軌跡抽出対象に生じている被写体ぶれに基づく、前記軌跡抽出対象の移動軌跡を抽出する抽出部と、
を実現するためのプログラムを記録した、コンピュータが読み取り可能な記録媒体。

【0077】

なお、上記各実施形態及び付記において記載したプログラムは、記憶装置に記憶されていたり、コンピュータが読み取り可能な記録媒体に記録されていたりする。例えば、記録媒体は、フレキシブルディスク、光ディスク、光磁気ディスク、及び、半導体メモリ等の可搬性を有する媒体である。

【0078】

以上、上記各実施形態を参照して本願発明を説明したが、本願発明は、上述した実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明の範囲内で当業者が理解しうる様々な変更をすることが出来る。

【0079】

なお、本発明は、日本国にて２０２０年２月１７日に特許出願された特願２０２０－０２４１１２の特許出願に基づく優先権主張の利益を享受するものであり、当該特許出願に記載された内容は、全て本明細書に含まれるものとする。

【符号の説明】

【0080】

１００ システム
２００ ＩＰカメラ
２１０ 設定部
２２０ 撮影部
２３０ 送信部
３００ 抽出装置
３１０ 操作入力部
３２０ 画面表示部
３３０ 通信Ｉ／Ｆ部
３４０ 記憶部
３４１ 画像情報
３４２ 移動軌跡情報
３４３ プログラム
３５０ 演算処理部
３５１ 画像取得部
３５２ 移動軌跡抽出部
３５３ 出力部
３５４ 背景情報取得部
３５５ 混雑状況取得部
３５６ 軌跡統合部
４００ 抽出装置
４０１ ＣＰＵ
４０２ ＲＯＭ
４０３ ＲＡＭ
４０４ プログラム群
４０５ 記憶装置
４０６ ドライブ装置
４０７ 通信インタフェース
４０８ 入出力インタフェース
４０９ バス
４１０ 記録媒体
４１１ 通信ネットワーク
４２１ 取得部
４２２ 抽出部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】