特許 7193104 行動体同定システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2022-12-12

(45)【発行日】2022-12-20

(54)【発明の名称】行動体同定システム

(51)【国際特許分類】

   G06V 10/80 20220101AFI20221213BHJP

   G06V 10/62 20220101ALI20221213BHJP

   G06T 7/00 20170101ALI20221213BHJP

【ＦＩ】

G06V10/80

G06V10/62

G06T7/00 300F

【請求項の数】 4

(21)【出願番号】P 2022133966

(22)【出願日】2022-08-25

【審査請求日】2022-08-25

(31)【優先権主張番号】P 2021191057

(32)【優先日】2021-11-25

(33)【優先権主張国・地域又は機関】JP

(31)【優先権主張番号】P 2022080310

(32)【優先日】2022-05-16

(33)【優先権主張国・地域又は機関】JP

【早期審査対象出願】

(73)【特許権者】

【識別番号】518126409

【氏名又は名称】株式会社アジラ

(74)【代理人】

【識別番号】100176256

【弁理士】

【氏名又は名称】相田 隆敬

(72)【発明者】

【氏名】若狭 政啓

(72)【発明者】

【氏名】ビ フゥン ドゥック

(72)【発明者】

【氏名】チャン ズン ティエン

(72)【発明者】

【氏名】ブイ ニヤット ヴェット

(72)【発明者】

【氏名】ニティシュ ジェースワル

【審査官】大塚 俊範

(56)【参考文献】

【文献】特開２０１０－２３９９９２（ＪＰ，Ａ）

【文献】特開２００３－３１６７４６（ＪＰ，Ａ）

【文献】特開２０１１－１３０２０３（ＪＰ，Ａ）

【文献】国際公開第２００６／０１３７６５（ＷＯ，Ａ１）

【文献】特開２０１１－１１８８１２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００－ ７／９０

Ｇ０６Ｖ １０／００－１０／９８

(57)【特許請求の範囲】

【請求項1】

画像又は映像に映った行動体の外観に関する第１の着目点及び動作に関する第２の着目点に関する特徴量に基づき行動体の同定を行うための行動体同定システムであって、
サンプル画像に映ったサンプル行動体の前記第１の着目点に関する第１のサンプル特徴量及び前記第２の着目点に関する第２のサンプル特徴量を記憶した記憶部と、
対象画像を取得する取得部と、
前記対象画像に映った対象行動体の前記第１の着目点に関する第１の対象特徴量及び前記第２の着目点に関する第２の対象特徴量を検出する検出部と、
前記検出された第１の対象特徴量及び第２の対象特徴量と、前記第１のサンプル特徴量及び第２のサンプル特徴量と、に基づき、前記対象行動体と前記サンプル行動体との同定を行う同定部と、
を備え、
前記記憶部は、前記サンプル画像の撮影時期、又は、前記第１のサンプル特徴量及び第２のサンプル特徴量の記憶時期に関するサンプル時期情報を更に記憶しており、
前記取得部は、前記対象画像の撮影時期又は取得時期に関する対象時期情報を更に取得し、
前記同定部は、前記サンプル時期情報から前記対象時期情報までの経過時間を算出し、前記算出された経過時間が第１の所定値より短い場合には第１の着目点にかける重みを増加させ、前記算出された経過時間が前記第１の所定値以上に設定された第２の所定値より長い場合には第２の着目点にかける重みを増加させることで、前記行動体の実体の経時的変化を考慮した前記同定を行うことを特徴とする行動体同定システム。

【請求項2】

前記第１の所定値又は前記第２の所定値は、前記第１の着目点又は前記第２の着目点の種類ごとに個別に設定されていることを特徴とする請求項１に記載の行動体同定システム。

【請求項3】

画像又は映像に映った行動体の外観に関する第１の着目点及び動作に関する第２の着目点に関する特徴量に基づき行動体の同定を行うために、サンプル画像に映ったサンプル行動体の前記第１の着目点に関する第１のサンプル特徴量及び前記第２の着目点に関する第２のサンプル特徴量が記憶されるコンピュータに実行させるプログラムであって、
対象画像を取得するステップと、
前記対象画像に映った対象行動体の前記第１の着目点に関する第１の対象特徴量及び前記第２の着目点に関する第２の対象特徴量を検出するステップと、
前記検出された第１の対象特徴量及び第２の対象特徴量と、前記第１のサンプル特徴量及び第２のサンプル特徴量と、に基づき、前記対象行動体と前記サンプル行動体との同定を行うステップと、
を備え、
前記コンピュータは、前記サンプル画像の撮影時期、又は、前記第１のサンプル特徴量及び第２のサンプル特徴量の記憶時期に関するサンプル時期情報を更に記憶しており、
前記取得するステップでは、前記対象画像の撮影時期又は取得時期に関する対象時期情報を更に取得し、
前記同定するステップでは、前記サンプル時期情報から前記対象時期情報までの経過時間を算出し、前記算出された経過時間が第１の所定値より短い場合には第１の着目点にかける重みを増加させ、前記算出された経過時間が前記第１の所定値以上に設定された第２の所定値より長い場合には第２の着目点にかける重みを増加させることで、前記行動体の実体の経時的変化を考慮した前記同定を行うことを特徴とする行動体同定プログラム。

【請求項4】

画像又は映像に映った行動体の外観に関する第１の着目点及び動作に関する第２の着目点に関する特徴量に基づき行動体の同定を行うために、サンプル画像に映ったサンプル行動体の前記第１の着目点に関する第１のサンプル特徴量及び前記第２の着目点に関する第２のサンプル特徴量が記憶されるコンピュータで実行される方法であって、
対象画像を取得するステップと、
前記対象画像に映った対象行動体の前記第１の着目点に関する第１の対象特徴量及び前記第２の着目点に関する第２の対象特徴量を検出するステップと、
前記検出された第１の対象特徴量及び第２の対象特徴量と、前記第１のサンプル特徴量及び第２のサンプル特徴量と、に基づき、前記対象行動体と前記サンプル行動体との同定を行うステップと、
を備え、
前記コンピュータは、前記サンプル画像の撮影時期、又は、前記第１のサンプル特徴量及び第２のサンプル特徴量の記憶時期に関するサンプル時期情報を更に記憶しており、
前記取得するステップでは、前記対象画像の撮影時期又は取得時期に関する対象時期情報を更に取得し、
前記同定するステップでは、前記サンプル時期情報から前記対象時期情報までの経過時間を算出し、前記算出された経過時間が第１の所定値より短い場合には第１の着目点にかける重みを増加させ、前記算出された経過時間が前記第１の所定値以上に設定された第２の所定値より長い場合には第２の着目点にかける重みを増加させることで、前記行動体の実体の経時的変化を考慮した前記同定を行うことを特徴とする行動体同定方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像に映った対象行動体と、記憶されているサンプル行動体と、の同定を行うための行動体同定システムに関する。

【背景技術】

【0002】

従来より、行動体の特徴的な動作に基づき、時系列画像に映った行動体を高精度に特定することの可能な行動体特定システムが知られている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】特許第６７９３３８３号

【発明の概要】

【発明が解決しようとする課題】

【0004】

上記技術では、検出された動作と、記憶されている動作と、に基づき行動体の同定を行っているが、高精度な同定を行うためには、動作以外にも外観等の様々な種類の特徴情報を考慮することが好ましい。

【0005】

しかしながら、外観等の特徴情報は時間経過と共に変化することが考えられるため、同定時には、記憶されている外観等の特徴情報は、同定に用いるのに適したものではなくなっている可能性がある。

【0006】

そこで、本発明は、特徴情報の記憶時からの時間経過を考慮して高精度な同定を行うことが可能な行動体同定システムを提供することを目的としている。

【課題を解決するための手段】

【0007】

本発明は、画像又は映像に映った行動体の外観に関する第１の着目点及び動作に関する第２の着目点に関する特徴量に基づき行動体の同定を行うための行動体同定システムであって、サンプル画像に映ったサンプル行動体の前記第１の着目点に関する第１のサンプル特徴量及び前記第２の着目点に関する第２のサンプル特徴量を記憶した記憶部と、対象画像を取得する取得部と、前記対象画像に映った対象行動体の前記第１の着目点に関する第１の対象特徴量及び前記第２の着目点に関する第２の対象特徴量を検出する検出部と、前記検出された第１の対象特徴量及び第２の対象特徴量と、前記第１のサンプル特徴量及び第２のサンプル特徴量と、に基づき、前記対象行動体と前記サンプル行動体との同定を行う同定部と、を備え、前記記憶部は、前記サンプル画像の撮影時期、又は、前記第１のサンプル特徴量及び第２のサンプル特徴量の記憶時期に関するサンプル時期情報を更に記憶しており、前記取得部は、前記対象画像の撮影時期又は取得時期に関する対象時期情報を更に取得し、前記同定部は、前記サンプル時期情報から前記対象時期情報までの経過時間を算出し、前記算出された経過時間が第１の所定値より短い場合には第１の着目点にかける重みを増加させ、前記算出された経過時間が前記第１の所定値以上に設定された第２の所定値より長い場合には第２の着目点にかける重みを増加させることで、前記行動体の実体の経時的変化を考慮した前記同定を行うことを特徴とする行動体同定システムを提供している。

【0008】

このような構成によれば、着目点の種類ごとに経過時間に応じた適切な重みが加えられるので、高精度な同定を行うことが可能となる。

【0009】

また、前記第１の所定値又は前記第２の所定値は、前記第１の着目点又は前記第２の着目点の種類ごとに個別に設定されていることが好ましい。

【0010】

このような構成によれば、より高精度な同定を行うことが可能となる。

【0011】

また、本発明の別の観点によれば、上記行動体同定システムに対応する行動体同定プログラム及び行動体同定方法を提供している。

【発明の効果】

【0012】

本発明の行動体同定システムによれば、特徴情報の記憶時からの時間経過を考慮して高精度な同定を行うことが可能となる。

【図面の簡単な説明】

【0013】

【図1】本発明の実施の形態による対象画像及びサンプル画像の説明図

【図2】本発明の実施の形態による行動体同定システムのブロック図

【図3】本発明の実施の形態による行動体同定システムのフローチャート

【発明を実施するための形態】

【0014】

以下、本発明の実施の形態による行動体同定システム１について、図１－図３を参照して説明する。

【0015】

行動体同定システム１は、図１に示すように、画像（映像）Ｘに映った対象行動体Ａの外観又は動作における第１の着目点及び第２の着目点に関する特徴量に基づき行動体の同定を行うためのものである。本実施の形態では、行動体として、人間を例に説明を行う。

【0016】

行動体同定システム１は、図２に示すように、記憶部２と、取得部３と、検出部４と、同定部５と、を備えている。

【0017】

記憶部２は、サンプル画像Ｙに映ったサンプル行動体Ｂの第１の着目点に関する第１のサンプル特徴量及び第２の着目点に関する第２のサンプル特徴量を記憶している。本実施の形態では、サンプル画像Ｙから検出された第１のサンプル特徴量及び第２のサンプル特徴量を記憶しており、サンプル画像Ｙ自体は記憶していないものとする。

【0018】

また、本実施の形態では、第１の着目点は、行動体の外観に関するもの、第２の着目点は、行動体の動作に関するものとして説明を行う。

【0019】

行動体の外観としては、顔、体格、髪型、服装、持ち物等が考えられ、行動体の動作としては、特徴的な動作（癖、仕草等）、歩容等が考えられる。

【0020】

本実施の形態では、記憶部２は、このような第１のサンプル特徴量及び第２のサンプル特徴量を多数のサンプル行動体Ｂのそれぞれについて記憶しているものとする。

【0021】

また、記憶部２は、サンプル画像Ｙの撮影時期、又は、第１のサンプル特徴量及び第２のサンプル特徴量の記憶時期に関するサンプル時期情報を、各サンプル行動体Ｂの第１のサンプル特徴量及び第２のサンプル特徴量と紐づけて更に記憶している。

【0022】

取得部３は、対象画像（映像）Ｘを取得する。また、本実施の形態では、取得部３は、対象画像Ｘの撮影時期又は取得時期に関する対象時期情報を更に取得する。

【0023】

検出部４は、対象画像Ｘに映った対象行動体Ａの第１の着目点に関する第１の対象特徴量及び第２の着目点に関する第２の対象特徴量を検出する。

【0024】

例えば、記憶部２に記憶された第１のサンプル特徴量が「顔」であった場合には、第1の対象特徴量として、「顔」の特徴量を検出し、記憶部２に記憶された第２のサンプル特徴量が「歩容」であった場合には、第２の対象特徴量として、「歩容」の特徴量を検出することとなる。

【0025】

動作の特徴量の検出としては、様々な方法が考えられるが、例えば、対象行動体Ａを公知のトラッキング方法等でトラッキングして各関節の動きを特徴量として検出する方法が考えられる。

【0026】

同定部５は、検出された第１の対象特徴量及び第２の対象特徴量と、第１のサンプル特徴量及び第２のサンプル特徴量と、に基づき、対象行動体Ａとサンプル行動体Ｂとの同定を行う。

【0027】

ここで、上記同定を行うために用いられる第１のサンプル特徴量及び第２のサンプル特徴量の信頼度は、時間経過と共に変化することが考えられる。

【0028】

例えば、髪型、服装、持ち物等は、日にちが異なれば、大きく変化している可能性がある（図１の例では、対象行動体Ａとサンプル行動体Ｂが同一人物であったとしても、日付が異なれば、帽子、鞄の有無等は高確率で変化する）。また、顔、体格等は、数か月～数年経過すれば、大きく変化している可能性がある。一方、特徴的な動作（癖、仕草等）、歩容等は、数年経過していても、大きく変化している可能性は低い。

【0029】

そこで、本実施の形態では、同定部５は、サンプル時期情報から対象時期情報までの経過時間を算出し、算出された経過時間が第１の所定値より短い場合には第１の着目点（外観）にかける重みを増加させ、算出された経過時間が第１の所定値以上に設定された第２の所定値より長い場合には第２の着目点（動作）にかける重みを増加させることで、行動体Ａ、Ｂの実体の経時的変化を考慮した同定を行う。

【0030】

例えば、経過時間が短い（例えば、同じ日にち）場合には（第１の所定値より短い場合には）、外観に関する第１の着目点にかける重みを増加させることが考えられる（結果として、動作に関する第２の着目点にかける重みは減少させることとなる）。一方、経過時間が長い（例えば、数年）場合には（第２の所定値より長い場合には）、動作に関する第２の着目点にかける重みを、外観に関する第１の着目点にかける重みより増加させることが考えられる（結果として、外観に関する第１の着目点にかける重みは減少させることとなる）。このようにして、着目点の種類ごとに経過時間に応じた適切な重みを加えることで、高精度な同定を行うことが可能となる。

【0031】

なお、本実施の形態では、記憶部２に記憶された各サンプル行動体Ｂについてサンプル時期情報から対象時期情報までの経過時間を算出し、算出された各経過時間に応じて第１の着目点にかける重みと第２の着目点にかける重みの割合を変化させて、対象行動体Ａと各サンプル行動体Ｂとの同定を行うが、所定以上の一致度を有する複数のサンプル行動体Ｂの中で最も一致度の高いサンプル行動体Ｂを対象行動体Ａとして決定しても良いし、所定以上の一致度を有する複数のサンプル行動体Ｂを対象行動体Ａの候補として決定しても良い。

【0032】

また、上記同定により「対象行動体Ａは一のサンプル行動体Ｂと同一の行動体である」と判断された場合には、検出された第１の対象特徴量及び第２の対象特徴量を、第１のサンプル特徴量及び第２のサンプル特徴量として記憶部２に新たに記憶することが好ましい。

【0033】

この場合、古い第１のサンプル特徴量及び第２のサンプル特徴量を削除しても良いし、古い第１のサンプル特徴量及び第２のサンプル特徴量を新たに記憶された第１のサンプル特徴量及び第２のサンプル特徴量に紐づけ、次回以降は、双方（複数セットの第１のサンプル特徴量及び第２のサンプル特徴量）を用いての同定を行っても良い。

【0034】

更に、複数セットの第１のサンプル特徴量及び第２のサンプル特徴量を用いて同定を行う場合には、古い第１のサンプル特徴量及び第２のサンプル特徴量よりも、新しい第１のサンプル特徴量及び第２のサンプル特徴量の少なくとも一方にかける重みの割合の方が大きくなるようにしても良い。すなわち、経過時間に応じて第１の着目点にかける重みと第２の着目点にかける重みの割合を変化させることとなる。

【0035】

続いて、図３のフローチャートを用いて、行動体同定システム１の動作について説明する。

【0036】

まず、対象画像Ｘ及び対象時期情報を取得すると（Ｓ１：ＹＥＳ）、第１の対象特徴量及び第２の対象特徴量を検出する（Ｓ２）。

【0037】

続いて、サンプル時期情報から対象時期情報までの経過時間を算出し（S３）、算出された経過時間が第１の所定値より短い場合には第１の着目点にかける重みを増加させ、算出された経過時間が第１の所定値以上に設定された第２の所定値より長い場合には第２の着目点にかける重みを増加させることで（Ｓ４）、サンプル行動体と対象行動体Ａの実体の経時的変化を考慮した同定を行う（Ｓ５）。

【0038】

なお、対象時期情報は、対象画像Ｘと同時に取得されなくても、Ｓ３で経過時間を算出するまでに取得されていれば良い。

【0039】

以上説明したように、本実施の形態による行動体同定システム１では、サンプル時期情報から対象時期情報までの経過時間を算出し、算出された経過時間が第１の所定値より短い場合には第１の着目点にかける重みを増加させ、算出された経過時間が第１の所定値以上に設定された第２の所定値より長い場合には第２の着目点にかける重みを増加させることで、行動体Ａ、Ｂの実体の経時的変化を考慮した同定を行う。

【0040】

このような構成によれば、経過時間によって大きく変化する可能性の高い外観と、経過時間によって大きく変化する可能性の低い動作と、で重みを変化させるので、高精度な同定を行うことが可能となる。

【0041】

尚、本発明の行動体同定システムは、上述した実施の形態に限定されず、特許請求の範囲に記載した範囲で種々の変形や改良が可能である。

【0042】

例えば、上記実施の形態では、単純に、算出された経過時間が第１の所定値より短い場合には第１の着目点（外観）にかける重みを増加させ、算出された経過時間が第２の所定値より長い場合には第２の着目点（動作）にかける重みを増加させた例を挙げたが、各着目点の中でもその種類ごとに所定値を個別に設定しても良い。例えば、同じ外観であっても、顔、体格の方が、帽子、鞄の有無よりも時間経過による変化の可能性が低いので、顔、体格に関しては、帽子、鞄の有無に設定した第１の所定値よりも長い第１の所定値に設定することが考えられる。これにより、より高精度な同定を行うことが可能となる。

【0043】

また、上記実施の形態では、全てのサンプル行動体Ｂについて、サンプル時期情報から対象時期情報までの経過時間を算出したが、これに限らない。例えば、検出された第１の対象特徴量及び第２の対象特徴量に基づき、記憶部２に記憶された多数のサンプル行動体Ｂの中から所定以上の一致度を有する複数のサンプル行動体Ｂを対象行動体の候補として決定し、当該複数のサンプル行動体Ｂについて経過時間に応じて重みの割合を変化させて同定を行っても良い。

【0044】

また、上記実施の形態では、映像を用いて同定を行ったが、単一の画像を用いて同定を行っても良い。着目点が外観の場合には、単一の画像であっても同定可能なことは当然であるが、着目点が動作の場合でも、行動体の姿勢から動作の特徴量を推定して同定を行うことが可能である。

【0045】

また、上記実施の形態では、一の対象行動体Ａが対象画像Ｘに映っている例を用いて説明を行ったが、複数の対象行動体Ａが対象画像に映っている場合に複数の対象行動体Ａのそれぞれについて同定を用いてもよいことはもちろんである。

【0046】

また、上記実施の形態では、対象行動体Ａ及びサンプル行動体Ｂとして人間を例に説明したが、動物やロボットについて使用することも可能である。

【0047】

また、本発明は、行動体同定システム（コントローラ）が行う処理に相当するプログラム又は方法や、当該プログラムを記憶した記録媒体にも応用可能である。記録媒体の場合、コンピュータ等に当該プログラムがインストールされることとなる。ここで、当該プログラムを記憶した記録媒体は、非一過性の記録媒体であっても良い。非一過性の記録媒体としては、ＣＤ－ＲＯＭ等が考えられるが、それに限定されるものではない。

【符号の説明】

【0048】

１ 行動体同定システム
２ 記憶部
３ 取得部
４ 検出部
５ 同定部
６ 推定部
Ａ 対象行動体
Ｂ サンプル行動体
Ｘ 対象画像
Ｙ サンプル画像

【要約】

【課題】 特徴情報の記憶時からの時間経過を考慮して高精度な同定を行うことが可能な行動体同定システムを提供する。
【解決手段】 記憶部２は、サンプル画像Ｙに映ったサンプル行動体Ｂの第１の着目点に関する第１のサンプル特徴量及び第２の着目点に関する第２のサンプル特徴量を記憶している。同定部５は、検出された第１の対象特徴量及び第２の対象特徴量と、第１のサンプル特徴量及び第２のサンプル特徴量と、に基づき、対象行動体Ａとサンプル行動体Ｂとの同定を行う。記憶部２は、サンプル画像Ｙの撮影時期に関するサンプル時期情報を更に記憶している。取得部３は、対象画像Ｘの撮影時期に関する対象時期情報を更に取得し、同定部５は、サンプル時期情報から対象時期情報までの経過時間を算出し、算出された経過時間に応じて第１の着目点にかける重みと第２の着目点にかける重みの割合を変化させて、同定を行う。
【選択図】図３

【図1】

【図2】

【図3】