特許 7653228 歩行者再識別デバイス及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-03-19

(45)【発行日】2025-03-28

(54)【発明の名称】歩行者再識別デバイス及び方法

(51)【国際特許分類】

   G06T 7/292 20170101AFI20250321BHJP

   H04N 7/18 20060101ALI20250321BHJP

【ＦＩ】

G06T7/292

H04N7/18 K

H04N7/18 G

【請求項の数】 7

(21)【出願番号】P 2020121896

(22)【出願日】2020-07-16

(65)【公開番号】P2021039740

(43)【公開日】2021-03-11

【審査請求日】2023-06-14

(31)【優先権主張番号】201910823726.8

(32)【優先日】2019-09-02

(33)【優先権主張国・地域又は機関】CN

【前置審査】

(73)【特許権者】

【識別番号】392026693

【氏名又は名称】株式会社ＮＴＴドコモ

(74)【代理人】

【識別番号】110004185

【氏名又は名称】インフォート弁理士法人

(72)【発明者】

【氏名】ジュ メンユェン

(72)【発明者】

【氏名】グオ シンユ

(72)【発明者】

【氏名】リ アンシン

(72)【発明者】

【氏名】チェン ラン

(72)【発明者】

【氏名】山谷 佳祐

(72)【発明者】

【氏名】小島 誠也

(72)【発明者】

【氏名】酒井 俊樹

【審査官】宮島 潤

(56)【参考文献】

【文献】Ning An et al.，Online Context-based Person Re-identification and Biometric-based Action Recognition for Service Robots，29th Chinese Control And Decision Conference，米国，IEEE，2017年，p.3369-3374，https://ieeexplore.ieee.org/document/7979088

【文献】D. Conte et al.，A MultiView Appearance Model for people re-identification，8th IEEE International Conference on Advanced Video and Signal Based Survelliance，米国，IEEE，2011年，p.297-302，https://ieeexplore.ieee.org/document/6027340

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００ － ７／９０

Ｇ０６Ｖ １０／００ － ２０／９０

Ｇ０６Ｖ ３０／４１８

Ｇ０６Ｖ ４０／１６

Ｇ０６Ｖ ４０／２０

(57)【特許請求の範囲】

【請求項1】

ビデオシーケンスの各ビデオフレームから歩行者を検出する歩行者検出ユニットと、
ビデオフレームから検出された各歩行者について、外観特徴を抽出する特徴抽出ユニットと、
抽出された各歩行者の外観特徴と目標歩行者の目標外観特徴との間の特徴距離を算出して、予め設定された閾値と比較し、当該特徴距離が予め設定された閾値よりも低い歩行者のうち、最も近い特徴距離に対応する歩行者を目標歩行者とする歩行者識別ユニットと、を含み、
前記目標歩行者の目標外観特徴は、前記目標歩行者の初期外観特徴と最近外観特徴とを融合して得られ、
前記初期外観特徴は、当該目標歩行者の初回出現時の少なくとも１ビデオフレームである初期ビデオフレームから予め抽出された外観特徴を含み、
前記最近外観特徴は、当該目標歩行者の直近の出現時の少なくとも１ビデオフレームである最近ビデオフレームから予め抽出された外観特徴を含む歩行者再識別デバイス。

【請求項2】

予め設定された重みに基づいて、前記目標歩行者の前記初期外観特徴と前記最近外観特徴を重み付け融合する、請求項１に記載の歩行者再識別デバイス。

【請求項3】

予め設定された重みに基づいて、前記目標歩行者の前記初期外観特徴と前記最近外観特徴を重み付け融合することは、予め設定された重みに基づいて、重み付け融合するための前記目標歩行者の初期ビデオフレームの数と最近ビデオフレームの数を、前記初期外観特徴の重みと前記最近外観特徴の重みとの比が、前記初期ビデオフレームの数と前記最近ビデオフレームの数との比と同じになるように決定し、決定された数の初期ビデオフレームと決定された数の最近ビデオフレームにおける前記目標歩行者の外観特徴の平均を計算することを含む、請求項２に記載の歩行者再識別デバイス。

【請求項4】

前記目標歩行者の前記初期外観特徴と前記最近外観特徴をカスケード接続し、カスケード接続した外観特徴に対して畳み込み操作を行うことにより、前記初期外観特徴と前記最近外観特徴をカスケード接続して融合する、請求項１に記載の歩行者再識別デバイス。

【請求項5】

ビデオフレームから検出された歩行者が前記目標歩行者に該当する場合、ビデオフレームにおける検出された歩行者の外観特徴を前記目標歩行者の最も新しい前記最近外観特徴とする特徴更新ユニットをさらに含む、請求項１に記載の歩行者再識別デバイス。

【請求項6】

前記ビデオシーケンスと、前記目標歩行者の前記目標外観特徴が抽出される初期ビデオフレーム及び最近ビデオフレームとは、異なるカメラにより撮影されたもの、又は、同じカメラにより異なる時刻で撮影されたものである、請求項１に記載の歩行者再識別デバイス。

【請求項7】

プロセッサと、コンピュータプログラム命令が記憶されたメモリとを備え、
前記コンピュータプログラム命令が前記プロセッサによって実行されるとき、前記プロセッサに、ビデオシーケンスの各ビデオフレームから歩行者を検出するステップと、
ビデオフレームから検出された各歩行者について、外観特徴を抽出するステップと、
抽出された各歩行者の外観特徴と目標歩行者の目標外観特徴との間の特徴距離を算出して、予め設定された閾値と比較し、当該特徴距離が予め設定された閾値よりも低い歩行者のうち、最も近い特徴距離に対応する歩行者を目標歩行者とするステップと、を実行させ、
前記目標歩行者の目標外観特徴は、前記目標歩行者の初期外観特徴と最近外観特徴とを融合して得られ、
前記初期外観特徴は、当該目標歩行者が初回出現時の少なくとも１ビデオフレームである初期ビデオフレームから予め抽出された外観特徴を含み、
前記最近外観特徴は、当該目標歩行者が直近の出現時の少なくとも１ビデオフレームである最近ビデオフレームから予め抽出された外観特徴を含む、歩行者再識別デバイス。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、画像処理に関し、具体的に、歩行者再識別デバイス、方法及びコンピュータ記憶媒体に関する。

【背景技術】

【0002】

歩行者の再識別とは、複数の視野の重なっている、又は重なっていないカメラからの画像シーケンス又はビデオシーケンスを解析することによって、そのうち特定の目標歩行者が存在するか否かを判断する技術である。通常の歩行者の追跡とは異なり、歩行者の再識別では、特定の目標歩行者に対する長期的な追跡及び監視を可能にするために、異なるカメラにより撮影された画像シーケンス又はビデオシーケンスにおいて特定の目標歩行者を識別することができるため、監視分野や犯罪検知作業等において非常に良い適用の見通しがある。

【発明の概要】

【発明が解決しようとする課題】

【0003】

現在、歩行者の再識別では、画像シーケンスやビデオシーケンスから検出された各歩行者の特徴と、予め構築された目標歩行者ライブラリにおける既知の目標歩行者の特徴と、をマッチングして、検出された歩行者が既知の目標歩行者に該当するか否かを判断することが一般的であるが、その効果が良くないことが多く、主な原因として、異なるカメラ間の撮影角度、視野範囲、照明条件などの違いによって、異なるカメラで撮影された画像における同一歩行者の姿勢や外観が大きく異なることがあり、歩行者の移動性が高いことが多いので、姿勢や外観も時間と共に多少変化し、予め構築された目標歩行者の特徴は単一であり、同一歩行者の姿勢や外観が変化した場合に誤識別が発生し易くなる。

【課題を解決するための手段】

【0004】

本開示の一態様によれば、ビデオシーケンスの各ビデオフレームに歩行者を検出するように構成される歩行者検出ユニットと、ビデオフレームから検出された各歩行者について、外観特徴を抽出するように構成される特徴抽出ユニットと、抽出された各歩行者の外観特徴を目標歩行者の目標外観特徴とマッチングし、マッチング結果に基づいてビデオフレームから目標歩行者を識別するように構成される歩行者識別ユニットと、を含み、前記目標歩行者の目標外観特徴は、前記目標歩行者の初期外観特徴と最近外観特徴に基づいて生成される歩行者再識別デバイスが提供される。

【0005】

本開示の他の態様によれば、プロセッサと、コンピュータプログラム命令が記憶されたメモリとを備え、前記コンピュータプログラム命令が前記プロセッサによって実行されるとき、前記プロセッサに、ビデオシーケンスの各ビデオフレームに歩行者を検出するステップと、ビデオフレームから検出された各歩行者について、外観特徴を抽出するステップと、抽出された各歩行者の外観特徴を目標歩行者の目標外観特徴とマッチングし、マッチング結果に基づいてビデオフレームから目標歩行者を識別するステップと、を実行させ、前記目標歩行者の目標外観特徴は、前記目標歩行者の初期外観特徴と最近外観特徴に基づいて生成される歩行者再識別デバイスが提供される。

【0006】

本開示の他の態様によれば、ビデオシーケンスの各ビデオフレームに歩行者を検出するステップと、ビデオフレームから検出された各歩行者について、外観特徴を抽出するステップと、抽出された各歩行者の外観特徴を目標歩行者の目標外観特徴とマッチングし、マッチング結果に基づいてビデオフレームから目標歩行者を識別するステップと、を含み、前記目標歩行者の目標外観特徴は、前記目標歩行者の初期外観特徴と最近外観特徴に基づいて生成される歩行者再識別方法が提供される。

【0007】

本開示の他の態様によれば、コンピュータプログラム命令が記憶され、前記コンピュータプログラム命令がプロセッサによって実行されるとき、上記した歩行者再識別方法を実行するコンピュータで読み取り可能な記憶媒体が提供される。

【0008】

本開示の上記のデバイス、方法及びコンピュータで読み取り可能な記憶媒体は、歩行者の姿勢が大きく変化し又は異なるカメラにより識別する場合、歩行者に対する再識別の正確度を向上させる。

【図面の簡単な説明】

【0009】

本開示のこれら及び/又は他の態様及び利点は、添付の図面と併せて本開示の実施例の以下の詳細な説明からより明らかとなり、より容易に理解されるであろう。

【図1】目標歩行者の初期外観特徴に基づいて歩行者を再識別する場合の誤識別の一例を示す。

【図2】目標歩行者の最近外観特徴に基づいて歩行者を再識別する場合の誤識別の一例を示す。

【図3】本開示の実施例に係る歩行者再識別デバイスの構成例のブロック図を示す。

【図4】本開示の実施例に係る歩行者再識別デバイスにおいて目標歩行者の目標外観特徴に基づいて歩行者を再識別する模式図を示す。

【図5】本開示の実施例に係る歩行者再識別デバイスを実現するためのコンピューティング装置の一例のハードウェアブロック図を示す。

【図6】本開示の実施例に係る歩行者再識別方法の模式的なフローチャートを示す。

【図7】従来及び本開示の実施例に係る歩行者再識別方法の検証結果の模式図を示す。

【発明を実施するための形態】

【0010】

本開示を当業者にさらによく理解させるために、本開示について、添付の図面および詳細な実施形態を参照して、以下にさらに詳細に説明する。

【0011】

本開示の実施例における技術案について、本開示の実施例における添付図面を参照して、以下に明確に、完全に説明し、説明する実施例は、本開示の一部の実施例に過ぎず、全ての実施例ではないことが明らかである。本開示の実施例に基づいて、当業者が創造的な労働をすることなく得られる全ての他の実施例は、本開示の保護範囲に属する。

【0012】

以上のように、既存の歩行者の再識別は、画像シーケンス又はビデオシーケンスから検出された各歩行者の特徴を、予め構築された目標歩行者ライブラリ内の既知の目標歩行者の特徴とマッチングして、検出された歩行者が既知の目標歩行者に該当するか否かを判断することが一般的であるが、歩行者の姿勢変化などの様々な理由から、従来の歩行者再識別方法では、歩行者を誤識別しやすくなる。特に、特徴マッチングを行うための目標歩行者ライブラリの特徴が単一である場合、同一歩行者の姿勢や外観が大きく変化すれば、他の歩行者と誤識別してしまう可能性があり、さらに、誤識別が継続される可能性がある。以下には、歩行者を再識別する際に生じ得る歩行者の誤識別例について、図１及び図２を参照して説明する。

【0013】

図１は、目標歩行者の初期外観特徴に基づいて特徴マッチングを行った場合に生じる歩行者の誤識別の一例を示す。この場合、目標歩行者ライブラリの目標歩行者について、初回出現時の特徴が、目標歩行者ＩＤの初期外観特徴として目標歩行者ライブラリに格納され、以降、この目標歩行者の初期外観特徴とのマッチングを行う。図１に示すように、視野の重なっている、又は重なっていないカメラで同一歩行者を撮影した３枚(連続又は非連続)の画像のうち、１番目の画像においてこの目標歩行者をＩＤ１と識別し、１番目の画像での特徴を、この目標歩行者ＩＤ１の初期外観特徴として以降のマッチングに用いるが、その後、歩行者の姿勢や撮影角度等が大きく変化したために、２番目の画像においてこの目標歩行者をＩＤ２と誤識別し、３番目の画像においてまたこの目標歩行者をＩＤ３と誤識別してしまう。この場合、マッチングに用いる目標歩行者の初期外観特徴が一定であるため、歩行者姿勢や撮像角度が大きく変化した状況によく応対できないことが分かる。

【0014】

図２は、目標歩行者の最近外観特徴に基づいて特徴マッチングを行った場合に生じる歩行者の誤識別の一例を示す図である。この場合、目標歩行者について、直近に出現したときの特徴を、目標歩行者ＩＤの最近外観特徴として目標歩行者ライブラリに格納し、目標歩行者の前回出現時の特徴を削除し、以降、この目標歩行者の最近外観特徴とのマッチングを行う。図２に示すように、視野の重なっている、又は重なっていないカメラで同一歩行者を撮影した３枚の画像のうち、１番目の画像においてこの目標歩行者をＩＤ１と識別し、本回出現時の特徴を、目標歩行者ＩＤ１の最近外観特徴としてもよく、その後、歩行者たちが重なっている等の様々な理由で、２番目の画像においてこの目標歩行者をＩＤ２と誤識別し、本回出現時の特徴を目標歩行者ＩＤ２の最近外観特徴として、以前に記憶された外観特徴を置き換え、３番目の画像において目標歩行者ＩＤ１をＩＤ２と識別したという誤った結果を維持することになる。この場合、最近外観特徴によるマッチングでは、歩行者の姿勢や撮像角度などの変化にある程度応対できるが、歩行者の重なりなどの原因で誤識別が発生すると、その誤識別の結果は、訂正せず維持されてしまう傾向がある。

【0015】

かかる事情について、本開示では、目標歩行者の初期外観特徴と最近外観特徴とを総合的に考慮して、目標歩行者の特徴を構築し、これを検出された歩行者の特徴とのマッチングに用いることで、歩行者の姿勢が大きく変化したシーンや異なるカメラにより識別されたシーンにおいても、十分な正確度の識別結果を提供することができる。

【0016】

以下、図３を参照し、本開示の実施例に係る歩行者再識別デバイスを説明する。図３は本開示の実施例に係る歩行者再識別デバイス１００の構成例のブロック図を示す。図３に示すように、歩行者再識別デバイス１００は、歩行者検出ユニット１１０と、特徴抽出ユニット１２０と、歩行者識別ユニット１３０とを含んでもよい。以下、当該歩行者再識別デバイス１００の各ユニットの主な機能を説明する。

【0017】

歩行者検出ユニット１１０は、ビデオシーケンスの各ビデオフレームから歩行者の検出を行うことができる。以上のように、本開示に係る歩行者再識別技術では、通常の歩行者追跡とは異なり、異なるカメラにより撮影された画像シーケンス又はビデオシーケンスから特定の目標歩行者を識別し、特定の目標歩行者に対する長期的な追跡及び監視を可能にする。より具体的には、当該ビデオシーケンスは、目標歩行者の存在の有無が識別されることを必要とする解析すべきビデオシーケンスであり、当該ビデオシーケンスと、以前に目標歩行者が撮影されそこから初期外観特徴又は最近外観特徴が抽出されたビデオフレームとは、異なるカメラによって撮影されてもよく、又は異なる時刻に同一カメラによって撮影されてもよい。

【0018】

具体的に、歩行者検出ユニット１１０によって解析されるビデオシーケンスは、１つ又は複数のビデオフレームを含んでもよく、各ビデオフレームは、単一のカメラや視野の重なっている又は重なっていない複数のカメラによって撮影された連続的又は非連続的なビデオフレームであってもよい。歩行者検出ユニット１１０は、当該技術分野で任意の適切な画像検出技術を用いて、ビデオシーケンスの各ビデオフレームから歩行者を検出することができ、本開示では、これが限定されない。例えば、歩行者検出ユニット１１０は、ビデオフレーム毎に、前景分割（Foreground Segmentation）、エッジ抽出、動き検出等の処理を行い、このビデオフレームに出現する各歩行者に対応する各サブ画像領域を特定してもよく、例えば、このビデオフレームのサブ画像領域を、検出された歩行者の身体の輪郭に外接する矩形枠で表してもよい。また、例えば、歩行者検出ユニット１１０は、ニューラルネットワークやサポートベクターマシン等の機械学習手法を用いて、予め訓練された歩行者検出分類器により各ビデオフレームに対して歩行者の検出を行うことにより、当該ビデオフレームに出現する各歩行者の位置を特定してもよい。

【0019】

特徴抽出ユニット１２０は、ビデオフレームから検出された各歩行者について、外観特徴を抽出してもよい。本開示において、外観特徴は、色特徴、テクスチャ特徴、形状特徴、及び顔特徴など、歩行者の外観形態を反映する特徴を含んでもよく、本開示では、これが限定されない。上記の各種特徴の抽出方法は、当該技術分野における周知のものであり、ここでは説明を省略する。

【0020】

歩行者識別ユニット１３０は、検出された各歩行者の外観特徴と目標歩行者の目標外観特徴とをマッチングし、マッチング結果に基づいてビデオフレームから目標歩行者を識別してもよい。具体的には、歩行者識別ユニット１３０は、検出された各歩行者の外観特徴と目標歩行者の外観特徴とをマッチングし、両者の類似度に基づいてビデオフレームから検出された歩行者が当該目標歩行者に該当するか否かを決定して歩行者の再識別を行ってもよい。選択的に、目標歩行者の数は複数であってもよく、これに対応して、歩行者識別ユニット１３０は、検出された各歩行者の外観特徴を、構築された各目標歩行者の外観特徴とそれぞれマッチングし、両者の類似度に基づいて、ビデオフレームから検出された歩行者が各目標歩行者のいずれに該当するか否かを決定して、歩行者の再識別を行うようにしてもよい。目標歩行者の目標外観特徴は、予め構築された歩行者外観特徴ライブラリに含まれ、この歩行者外観特徴ライブラリは、この歩行者再識別デバイスのローカルに、又は、歩行者再識別デバイスがアクセス可能なサーバに格納され得ることが理解できる。これに代わって、目標歩行者の目標外観特徴は、歩行者外観特徴ライブラリに予め記憶せず、必要に応じて写真から生成されて外部から入力されるものであってもよい。本開示では、目標歩行者の目標外観特徴の記憶又は取得の方式が限定されていない。

【0021】

前述したように、目標歩行者の初期外観特徴のみに基づいて識別を行う場合には、歩行者の姿勢や撮像角度が変化した状況によく対応できず、目標歩行者の最近外観特徴のみに基づいて識別を行う場合には、誤識別が発生すると、修正が困難となる。本開示では、目標歩行者の初期外観特徴と最近外観特徴の両方に基づいて、この目標歩行者の目標外観特徴を生成することにより、生成された特徴は、目標歩行者の固有の外観特性と、その外観及び姿勢の変化を十分に反映することができ、歩行者の再識別の正確性を確保することができる。前記初期外観特徴は、この目標歩行者を含む初期ビデオフレームから予め抽出された外観特徴を含み、前記最近外観特徴は、この目標歩行者を含む最近ビデオフレームから予め抽出された外観特徴を含んでもよい。本開示では、目標歩行者の初期外観特徴と最近外観特徴とを融合して、当該目標歩行者の目標外観特徴を生成し、検出した歩行者特徴をそれとマッチングさせてもよい。以下、歩行者識別ユニット１３０が特徴マッチングを行う際に基にする目標歩行者の目標外観特徴について説明する。

【0022】

本開示の一実施例によれば、予め設定された重みに基づいて、目標歩行者の初期外観特徴と最近外観特徴とを重み付け融合して、この目標歩行者の目標外観特徴とすることができる。本開示の実施例では、様々な方法で、予め設定された重みに基づいて、目標歩行者の初期外観特徴と最近外観特徴とを重み付けして融合することができるが、説明の完全性のために、２つの例示的な方法を以下で説明する。

【0023】

一例では、まず、予め設定された重みに基づいて、重み付け融合に用いられる目標歩行者の初期ビデオフレームの数及び最近ビデオフレームの数を決定してもよい。具体的には、目標歩行者の初期外観特徴と最近外観特徴の両方を、重み付け融合の際に占める比重を考慮事項として、この予め設定された重みによって、当該目標歩行者の初期ビデオフレームの数に対する最近ビデオフレームの相対数を決定してもよい。この予め設定された重みは、様々な方法で得ることができ、例えば経験値を用いても機械学習によって得てもよく、本開示では、これが限定されない。そして、決定された数の初期ビデオフレーム及び決定された数の最近ビデオフレームにおけるこの目標歩行者の各外観特徴の加重平均値を計算することができる。具体的には、上記した色特徴、テクスチャ特徴、形状特徴、顔特徴などといった特徴の抽出手法を用いて、決定された数のビデオフレームのうち、目標歩行者が含まれるサブ画像領域からその外観特徴を抽出し、抽出した各外観特徴の平均値をこの目標歩行者の目標外観特徴として算出するようにしてもよい。一例として、初期外観特徴と最近外観特徴の重みが０.３:０.７である場合、重み付け融合に必要な初期ビデオフレームの数と最近ビデオフレームの数をそれぞれ３フレームと７フレームであると決定し、さらに、合計１０枚のビデオフレームにおけるこの目標歩行者の外観特徴の平均値を目標歩行者の目標外観特徴としてもよい。

【0024】

別の例では、まず、所定数の当該目標歩行者の初期ビデオフレーム及び最近ビデオフレームを取得してもよく、例えば、当該目標歩行者の５フレームの初期ビデオフレーム及び５フレームの最近ビデオフレームを取得してもよい。そして、重み付け融合の際に、初期ビデオフレームと最近ビデオフレームから抽出された外観特徴に異なる重みを付与し、例えば、初期外観特徴と最近外観特徴の重みが０.８:０.２である場合、５フレームの初期ビデオフレームにおける目標歩行者の初期外観特徴の平均値の０.８倍と、５フレームの最近ビデオフレームにおける目標歩行者の最近外観特徴の平均値の０.２倍との和を、当該目標歩行者の目標外観特徴として算出してもよい。

【0025】

なお、上記の実施例における重み及びビデオフレーム数の例は、いずれも例示的なものであり、本開示では、予め設定された重みに基づいて、実際の演算速度及び正確度要求に応じて、任意の数の初期ビデオフレームにおける当該目標歩行者の初期外観特徴と、任意の数の最近ビデオフレームにおける最近外観特徴とを、重み付け融合してもよい。

【0026】

本開示の他の実施例によれば、この目標歩行者の初期外観特徴と最近外観特徴とをカスケード接続し、カスケード接続した外観特徴に対して畳み込み操作を行うことにより、当該初期外観特徴と最近外観特徴とをカスケード接続し融合してこの目標歩行者の目標外観特徴とすることができる。目標歩行者の初期外観特徴と最近外観特徴とをカスケード接続して融合するのは、様々な方法を用いることができるが、完全性を説明するために、以下に１つの例示的な方法を説明する。まず、初期外観特徴と最近外観特徴とをチャネル次元でカスケード接続する。そして、カスケード接続した特徴に対して畳み込み操作、例えば１×１畳み込み層を適用して、カスケード接続した特徴を融合するとともに、カスケード接続した特徴の次元を少なくともカスケード接続した前の次元と同一までに圧縮し、これにより、次元を縮小することによって計算量を低減しつつ、各チャネルの特徴を融合することができる。

【0027】

以上、本開示の実施例に係る歩行者識別ユニット１３０による歩行者の再識別の際に、基にする目標歩行者の目標外観特徴の一例について説明したが、以下、この歩行者識別ユニット１３０による歩行者識別動作について具体的に説明する。以上のように、歩行者識別ユニット１３０は、検出された各歩行者の外観特徴と目標歩行者の目標外観特徴とをマッチングし、両者の類似度に基づいてビデオフレームから目標歩行者を識別してもよい。具体的には、歩行者識別ユニット１３０は、検出された各歩行者の外観特徴と目標歩行者の目標外観特徴との間の特徴距離、例えば、マンハッタン距離（Manhattan distance）やユークリッド距離（Euclidean distance）、バッタチャリヤ距離（Bhattacharyya distance）などを算出し、予め設定された閾値と比較することにより、検出された歩行者が当該目標歩行者に該当するか否かを決定してもよい。選択的に、目標歩行者の数は複数であってもよく、この場合、歩行者識別ユニット１３０は、検出された歩行者について、各目標歩行者との夫々の特徴距離を算出し、夫々の特徴距離と予め設定された閾値とを比較し、当該予め設定された閾値よりも低い特徴距離の中から最も近い特徴距離を特定し、当該検出された歩行者を最も近い特徴距離に対応する目標歩行者として識別してもよい。歩行者識別ユニット１３０は、マッチング結果に基づいて歩行者の再識別結果を出力してもよく、例えば、検出された歩行者がある目標歩行者に該当する場合、検出された歩行者と当該目標歩行者のアイデンティティーとを関連付け、検出された歩行者と目標歩行者とがマッチングできない場合、検出された歩行者に新たなアイデンティティーを割り当てる。

【0028】

以下、図４を参照して、本開示の実施例に係る歩行者識別ユニット１３０が目標歩行者の目標外観特徴に基づいて歩行者を再識別する例について説明する。図４に示すように、左側にある１番目の画像が目標歩行者ＩＤ１の初期ビデオフレームであり、中央にある２番目の画像がこの目標歩行者ＩＤ１の最近ビデオフレームであり、初期ビデオフレーム及び最近ビデオフレームからこの目標歩行者ＩＤ１の初期外観特徴及び最近外観特徴をそれぞれ抽出し、その初期外観特徴と最近外観特徴とを融合してこの目標歩行者ＩＤ１の目標外観特徴とし、当該目標外観特徴は、この目標歩行者の最新の姿勢及び外観変化の追従に用いられるだけでなく、歩行者の初期外観特性を保持するようにしてもよい。その後、図４の右側にある３番目の画像に示すように、当該歩行者の姿勢や外観が大きく変化した場合であっても、当該目標外観特徴に基づいて、当該歩行者をＩＤ１として正確度良く識別することができる。

【0029】

選択的に、当該歩行者再識別デバイス１００は、特徴更新ユニット(図示せず)をさらに含んでもよい。当該特徴更新ユニットは、歩行者識別ユニット１３０による識別結果に基づいて、目標歩行者の目標外観特徴を更新してもよい。例えば、歩行者識別ユニット１３０がビデオフレームから検出された歩行者がある目標歩行者に該当すると決定し、検出された歩行者と当該目標歩行者のアイデンティティーとを関連付ける場合、当該特徴更新ユニットは、ビデオフレームにおける検出された歩行者の外観特徴を当該目標歩行者の最も新しい最近外観特徴とし、当該目標歩行者の初期外観特徴と当該最も新しい最近外観特徴とを融合して、当該目標歩行者の新たな目標外観特徴を生成し、又は、当該最も新しい最近外観特徴を目標歩行者の目標外観特徴を維持するサーバに送信することにより、サーバが受信した最も新しい最近外観特徴に基づいて目標歩行者の目標外観特徴を更新するようにすることで、更新した特徴が目標歩行者の最近の姿勢及び外観の変化にリアルタイムに追従できるようにしてもよい。また、歩行者識別ユニット１３０は、ビデオフレームから検出された歩行者が目標歩行者とマッチングできないと決定し、検出された歩行者に新たなアイデンティティーを割り当てる場合、特徴更新ユニットは、この歩行者を新たな目標歩行者とし、以降の特徴マッチングのためにその目標外観特徴を構築してもよい。

【0030】

以上説明したように、本開示の実施例に係る歩行者再識別デバイス１００は、目標歩行者の初期外観特徴及び最近外観特徴を用いて目標歩行者を識別することによって、目標歩行者の最近の姿勢及び外観の変化を効果的に追従し、目標歩行者の初期特徴に基づいてエラー訂正を効果的に行うことができ、歩行者の姿勢が大きく変化したシーン又は異なるカメラにより識別されたシーンにおいて歩行者の再識別の正確度を向上させることができる。

【0031】

なお、上記実施の形態の説明に用いたブロック図は、機能単位のブロックを示している。これらの機能ブロック（構成部）は、ハードウェア及び／又はソフトウェアの任意の組み合わせによって実現される。また、各機能ブロックの実現手段は特に限定されない。すなわち、各機能ブロックは、物理的及び／又は論理的に結合した１つの装置により実現されてもよいし、物理的及び／又は論理的に分離した２つ以上の装置を直接的及び／又は間接的に(例えば、有線及び／又は無線)で接続し、これら複数の装置により実現されてもよい。

【0032】

図５は、本開示の実施例に係る歩行者再識別デバイスのコンピュータ装置の一例を示すハードウェアのフロック図である。上記の歩行者再識別デバイス１００は、物理的には、プロセッサ５０１、メモリ５０２、ストレージ５０３、通信装置５０４、入力装置５０５、出力装置５０６、バス５０７などを含むコンピュータ装置として構成されてもよい。

【0033】

なお、以下の説明では、「装置」という文言は、回路、デバイス、ユニットなどに読み替えることができる。歩行者再識別デバイス１００のハードウェア構成は、図に示した各装置を１つ又は複数含むように構成されてもよいし、一部の装置を含まずに構成されてもよい。

【0034】

例えば、プロセッサ５０１は、１つのみ図示しているが、複数のプロセッサであってもよい。また、１つのプロセッサにより処理が実行されてもよいし、１つ以上のプロセッサにより同時、順次、又は他の方法で処理が実行されてもよい。また、プロセッサ５０１は、１以上のチップにより実装されてもよい。

【0035】

歩行者再識別デバイス１００における各機能は、プロセッサ５０１、メモリ５０２などのハードウェア上に所定のソフトウェア（プログラム）を読み込ませることで、プロセッサ５０１が演算を行い、通信装置５０４による通信や、メモリ５０２及びストレージ５０３におけるデータの読み出し及び／又は書き込みを制御することで実現される。

【0036】

プロセッサ５０１は、例えば、オペレーティングシステムを動作させてコンピュータ全体を制御する。プロセッサ５０１は、周辺装置とのインターフェース、制御装置、演算装置、レジスタなどを含む中央処理装置（ＣＰＵ：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）で構成されてもよい。例えば、上記歩行者検出ユニット１１０、特徴抽出ユニット１２０及び歩行者識別ユニットなどは、プロセッサ５０１で実現されてもよい。

【0037】

また、プロセッサ５０１は、プログラム（プログラムコード）、ソフトウェアモジュールやデータを、ストレージ５０３及び／又は通信装置５０４からメモリ５０２に読み出し、これらに従って各種の処理を実行する。プログラムとしては、上記の実施の形態で説明した動作の少なくとも一部をコンピュータに実行させるプログラムが用いられる。

【0038】

メモリ５０２は、コンピュータ読み取り可能な記録媒体であり、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、他の適切な記憶媒体の少なくとも１つで構成されてもよい。メモリ５０２は、レジスタ、キャッシュ、メインメモリ（主記憶装置）などと呼ばれてもよい。メモリ５０２は、本開示の一実施の形態に係る歩行者再識別方法を実施するために実行可能なプログラム（プログラムコード）、ソフトウェアモジュールなどを保存することができる。

【0039】

ストレージ５０３は、コンピュータ読み取り可能な記録媒体であり、例えば、フレキシブルディスク(ｆｌｅｘｉｂｌｅ ｄｉｓｋ)、フロッピー(登録商標)ディスク(ｆｌｏｐｐｙ ｄｉｓｋ)、光磁気ディスク(例えば、ＣＤ-ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ ＲＯＭ)等)、デジタル多用途ディスク、Ｂｌｕ-ｒａｙ (登録商標)ディスク)、リムーバブルディスク、ハードディスクドライブ、スマートカード、フラッシュメモリデバイス(例えば、カード、スティック、キードライバー(ｋｅｙ ｄｒｉｖｅｒ))、磁気ストリップ、データベース、サーバ、その他の適切な記憶媒体の少なくとも１つで構成されてよい。ストレージ５０３は、補助記憶装置と呼ばれてもよい。

【0040】

通信装置５０４は、有線及び/又は無線のネットワークを介してコンピュータ間の通信を行うためのハードウェア(送受信デバイス)であり、例えば、ネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュール等ともいう。通信装置５０４は、例えば、周波数分割複信(ＦＤＤ，Ｆｒｅｑｕｅｎｃｙ Ｄｉｖｉｓｉｏｎ Ｄｕｐｌｅｘ)及び/又は時分割複信(ＴＤＤ，Ｔｉｍｅ Ｄｉｖｉｓｉｏｎ Ｄｕｐｌｅｘ)を実現するために、高周波スイッチ、デュプレクサ、フィルタ、周波数シンセサイザ等を含み得る。例えば、解析すべきビデオシーケンスは、通信デバイス５０４を介して受信されてもよい。

【0041】

入力装置５０５は、外部からの入力を受け付ける入力デバイス（例えば、キーボード、マウス、マイクロフォン、スイッチ、ボタン、センサなど）である。出力装置５０６は、外部への出力を実施する出力デバイス（例えば、ディスプレイ、スピーカー、LEDランプなど）である。なお、入力装置５０５及び出力装置５０６は、一体となった構成（例えば、タッチパネル）であってもよい。

【0042】

また、プロセッサ５０１やメモリ５０２などの各装置は、情報を通信するためのバス５０７で接続される。バス５０７は、単一のバスで構成されてもよいし、装置間で異なるバスで構成されてもよい。

【0043】

また、歩行者再識別デバイス１００は、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ：Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）などのハードウェアを含んで構成されてもよく、当該ハードウェアにより、各機能ブロックの一部又は全てが実現されてもよい。例えば、プロセッサ５０１は、これらのハードウェアの少なくとも１つで実装されてもよい。

【0044】

以下、図６を参照して本開示の実施例に係る歩行者再識別方法のフローチャートを説明する。

【0045】

図６に示すように、ステップＳ６０１において、ビデオシーケンスの各ビデオフレームから歩行者を検出する。以上のように、本開示に係る歩行者再識別技術では、通常の歩行者追跡とは異なり、異なるカメラにより撮影された画像シーケンス又はビデオシーケンスから特定の目標歩行者を識別し、特定の目標歩行者に対する長期的な追跡及び監視を可能にする。当該ビデオシーケンスは、目標歩行者の存在の有無が識別されることを必要とする解析すべき目標ビデオシーケンスであり、当該ビデオシーケンスと、以前に目標歩行者が撮影されそこからその初期又は最近外観特徴が抽出されたビデオフレームとは、異なるカメラによって撮影されてもよく、又は異なる時刻に同一カメラによって撮影されてもよい。このビデオシーケンスは、１つ以上のビデオフレームを含んでもよく、各ビデオフレームは、単一のカメラや視野の重なっている又は重なっていない複数のカメラによって撮影された連続的又は非連続的なビデオフレームであってもよい。

【0046】

当該ステップにおいて、当該技術分野で任意の適切な画像検出技術を用いて、ビデオシーケンスの各ビデオフレームから歩行者を検出することができ、本開示では、これが限定されない。例えば、ビデオフレーム毎に、前景分割（Foreground Segmentation）、エッジ抽出、動き検出等の処理を行い、このビデオフレームに出現する各歩行者に対応する各サブ画像領域を特定してもよく、例えば、このビデオフレームのサブ画像領域を、検出された歩行者の身体の輪郭に外接する矩形枠で表してもよい。また、例えば、ニューラルネットワークやサポートベクターマシン等の機械学習手法を用いて、予め訓練された歩行者検出分類器により各ビデオフレームに対して歩行者の検出を行うことにより、当該ビデオフレームに出現する各歩行者の位置を特定してもよい。

【0047】

ステップＳ６０２において、ビデオフレームから検出された各歩行者について、外観特徴を抽出してもよい。外観特徴は、色特徴、テクスチャ特徴、形状特徴、及び顔特徴など、歩行者の外観形態を反映する特徴を含んでもよく、本開示ではこれが限定されない。当該ステップは、当該技術分野における周知の特徴抽出方法を採用して検出された各歩行者の外観特徴を抽出してもよく、ここでは説明を省略する。

【0048】

ステップＳ６０３において、検出された各歩行者の外観特徴と目標歩行者の目標外観特徴とをマッチングし、マッチング結果に基づいてビデオフレームから目標歩行者を識別する。このステップにおいて、検出された各歩行者の外観特徴と目標歩行者の外観特徴とをマッチングし、両者の類似度に基づいてビデオフレームから検出された歩行者が当該目標歩行者に該当するか否かを決定して、歩行者の再識別を行ってもよい。選択的に、目標歩行者の数は複数であってもよく、これに対応して、当該ステップにおいて、検出された各歩行者の外観特徴を、構築された各目標歩行者の外観特徴とそれぞれマッチングし、両者の類似度に基づいて、ビデオフレームから検出された歩行者が各目標歩行者のいずれに該当するか否かを決定して、歩行者の再識別を行うようにしてもよい。目標歩行者の目標外観特徴は、予め構築された歩行者外観特徴ライブラリに含まれ、この歩行者外観特徴ライブラリは、この歩行者再識別デバイスのローカルに、又は、歩行者再識別デバイスがアクセス可能なサーバに格納され得ることが理解できる。これに代わって、目標歩行者の目標外観特徴は、歩行者外観特徴ライブラリに予め記憶せず、必要に応じて写真から生成されて外部から入力されるものであってもよい。

【0049】

当該ステップにおいて、特徴マッチングを行う際に基にする目標歩行者の目標外観特徴は、この目標歩行者の初期外観特徴と最近外観特徴の両方に基づいて生成するので、生成された特徴は、目標歩行者の固有の外観特性と、その外観及び姿勢の変化を十分に反映することができ、歩行者の再識別の正確性を確保することができる。前記初期外観特徴は、この目標歩行者を含む初期ビデオフレームから予め抽出された外観特徴を含み、前記最近外観特徴は、この目標歩行者を含む最近ビデオフレームから予め抽出された外観特徴を含んでもよい。目標歩行者の初期外観特徴と最近外観特徴とを融合して、当該目標歩行者の目標外観特徴を生成し、検出された歩行者特徴をそれとマッチングさせてもよい。当該ステップにおいて特徴マッチングを行う際に基にする目標歩行者の目標外観特徴は、上記の歩行者再識別デバイス１００の歩行者識別ユニット１３０について記載の内容と類似するので、以下に簡単に説明する。

【0050】

本開示の一実施形態によれば、予め設定された重みに基づいて、目標歩行者の初期外観特徴と最近外観特徴とを重み付け融合して、この目標歩行者の目標外観特徴とすることができる。本開示の実施例では、様々な方法で、予め設定された重みに基づいて、目標歩行者の初期外観特徴と最近外観特徴とを重み付けして融合することができる。一例では、まず、予め設定された重みに基づいて、重み付け融合に用いられる当該目標歩行者の初期ビデオフレームの数及び最近ビデオフレームの数を決定してもよい。そして、決定された数の初期ビデオフレーム及び決定された数の最近ビデオフレームにおける当該目標歩行者の各外観特徴の加重平均値を計算してもよい。別の例では、まず、所定数の当該目標歩行者の初期ビデオフレーム及び最近ビデオフレームを取得してもよい。そして、重み付け融合の際に、初期ビデオフレームと最近ビデオフレームから抽出された外観特徴に異なる重みを付与し、加重平均により、当該目標歩行者の目標外観特徴を求めてもよい。

【0051】

本開示の他の実施例によれば、この目標歩行者の初期外観特徴と最近外観特徴とをカスケード接続し、カスケード接続した外観特徴に対して畳み込み操作を行うことにより、当該初期外観特徴と最近外観特徴とをカスケード接続し融合してこの目標歩行者の目標外観特徴とすることができる。

【0052】

ステップＳ６０３に戻り、上記の目標外観特徴に基づいて歩行者の再識別を行う具体的な動作について、以下に詳細に説明する。例えば、検出された各歩行者の外観特徴と目標歩行者の目標外観特徴との間の特徴距離、例えば、マンハッタン距離（Manhattan distance）やユークリッド距離（Euclidean distance）、バッタチャリヤ距離（Bhattacharyya distance）などを算出し、予め設定された閾値と比較することにより、検出された歩行者が当該目標歩行者に該当するか否かを決定してもよい。選択的に、目標歩行者の数は複数であってもよく、この場合、検出された歩行者について、各目標歩行者との夫々の特徴距離を算出し、夫々の特徴距離と予め設定された閾値とを比較し、当該予め設定された閾値よりも低い特徴距離の中から最も近い特徴距離を特定し、当該検出された歩行者を最も近い特徴距離に対応する目標歩行者として識別してもよい。次に、このマッチング結果に基づいて歩行者の再識別を出力してもよく、例えば、検出された歩行者がある目標歩行者に該当する場合、検出された歩行者と当該目標歩行者のアイデンティティーとを関連付け、検出された歩行者と目標歩行者とがマッチングできない場合、検出された歩行者に新たなアイデンティティーを割り当てる。

【0053】

選択的に、当該歩行者再識別方法は、識別結果に基づいて、目標歩行者の目標外観特徴を更新するステップをさらに含む。例えば、上述したようにビデオフレームから検出された歩行者がある目標歩行者に該当すると決定し、検出された歩行者と当該目標歩行者のアイデンティティーとを関連付ける場合、ビデオフレームにおける検出された歩行者の外観特徴を当該目標歩行者の最も新しい最近外観特徴とし、当該目標歩行者の初期外観特徴と当該最も新しい最近外観特徴とを融合して、当該目標歩行者の新たな目標外観特徴を生成することにより、更新した特徴が目標歩行者の最近の姿勢及び外観の変化にリアルタイムに追従できるようにしてもよい。また、以上のように、ビデオフレームから検出された歩行者が目標歩行者とマッチングできないと決定し、検出された歩行者に新たなアイデンティティーを割り当てる場合、以降の特徴マッチングのためにこの新たな目標歩行者の目標外観特徴を構築してもよい。

【0054】

以上説明したように、本開示の実施例に係る歩行者再識別方法では、目標歩行者の初期外観特徴及び最近外観特徴を用いて目標歩行者を識別することによって、目標歩行者の最近の姿勢及び外観の変化を効果的に追従し、目標歩行者の初期特徴に基づいてエラー訂正を効果的に行うことができ、歩行者の姿勢が大きく変化したシーン又は異なるカメラにより識別されたシーンにおいて歩行者の再識別の正確度を向上させることができる。

【0055】

本開示の実施例は、上記の方法及びデバイスに加えて、プロセッサに上記の歩行者再識別方法を実行させるためにプロセッサによって実行可能なコンピュータプログラム命令が記憶されたコンピュータで読み取り可能な記憶媒体も含んでもよい。

【0056】

結果検証
以下では、(１)目標歩行者の初期外観特徴に基づく歩行者の再識別、(２)目標歩行者の最近外観特徴に基づく歩行者の再識別、(３)目標歩行者の目標外観特徴に基づく歩行者の再識別の３種類の歩行者再識別方法を検証した結果を示す。具体的には、この例示的な検証では、複数の目標歩行者の外観特徴を含む目標歩行者ライブラリが予め構築され、解析すべきビデオシーケンス内の１つ以上のビデオフレームに対して歩行者を検出し、ビデオフレームから検出した各歩行者の外観特徴と構築された目標歩行者の外観特徴との特徴距離を算出することによって、ビデオフレームから目標歩行者を識別する。この検証では、上記３種類の歩行者再識別方法による歩行者の再識別の正確度を、以下の２つの指標で評価する。

【0057】

Ｒａｎｋ１：この指標は、検出された歩行者の外観特徴と各目標歩行者の外観特徴とをマッチングした後、各目標歩行者のうち、識別結果の最も良い目標歩行者(すなわち、特徴距離が最も近い目標歩行者)がちょうど正解結果である確率を示し、以下の式によって表される。

【0058】

（式１）

【0059】

正解率：この指標は、画像シーケンスにおいて同一の歩行者が同一のＩＤを保持する確率の平均値を示し、以下の式によって表される。

【0060】

（式２）

【0061】

上記の２つの指標に基づき、３種類の歩行者再識別方法を検証した結果が表１に示される。
（表１）

【0062】

表１に示すように、本開示に係る目標外観特徴に基づく歩行者再識別方法は、２つの指標において最優の結果を得る。

【0063】

また、図７(ａ)-７(ｃ)は、上記した３種類の歩行者再識別方法を用いて歩行者を再識別した結果を模式的に示している。具体的に、図７(ａ)は、目標歩行者の初期外観特徴に基づいて歩行者の再識別を行った結果を示しており、丸付ける同一の歩行者を例とし、撮像角度や姿勢の変化により、異なるビデオフレームにおいて、歩行者がＰ１２とＰ７としてそれぞれ識別されている。図７(ｂ)は、目標歩行者の最近外観特徴に基づいて歩行者の再識別を行った結果を示しており、丸付ける同一の歩行者を例とし、この歩行者がＰ１７からＰ１５と誤識別され、それ以降は、Ｐ１５の誤識別結果を保持したまま訂正不能となる。図７(ｃ)は、目標歩行者の対象外観特徴に基づく歩行者の再識別の結果を示しており、目標歩行者の目標外観特徴は、その初期外観特徴と最近外観特徴とに基づいて生成されたものであるため、異なる撮像角度や歩行者の姿勢のいずれにおいても正しい識別結果が得られている。

【0064】

本発明の目標外観特徴に基づく歩行者再識別方法では、目標歩行者の初期外観特徴又は最近外観特徴のみに基づいて歩行者の再識別を行う場合に比べて、歩行者の姿勢が大きく変化したシーン又は異なるカメラにより識別されたシーンにおいて、歩行者の再識別の正確度を向上させることが分かる。

【0065】

本開示の基本原理は、具体的な実施例に関連して説明されたが、本開示において言及される利点、優勢、効果などは、限定ではなく例示に過ぎず、本開示の各実施形態が備えなければならないと考えられるべきではない。また、上記に開示された具体的な細部は、例示的な作用と理解を容易にする作用に過ぎず、限定的なものではなく、上記の細部は、本開示が必ずしも上記具体的な細部を用いて実現されるように限定されるものではない。

【0066】

本明細書で使用する「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。

【0067】

本明細書で使用する「第１の」、「第２の」などの呼称を使用した要素へのいかなる参照も、それらの要素の量又は順序を全般的に限定するものではない。これらの呼称は、２つ以上の要素間を区別する便利な方法として本明細書で使用され得る。従って、第１及び第２の要素への参照は、２つの要素のみがそこで採用され得ること、又は何らかの形で第１の要素が第２の要素に先行しなければならないことを意味しない。

【0068】

本明細書で使用する「判断（決定）(ｄｅｔｅｒｍｉｎｉｎｇ)」という用語は、多種多様な動作を包含する場合がある。「判断（決定）」は、例えば、計算(ｃａｌｃｕｌａｔｉｎｇ)、算出(ｃｏｍｐｕｔｉｎｇ)、処理(ｐｒｏｃｅｓｓｉｎｇ)、導出(ｄｅｒｉｖｉｎｇ)、調査(ｉｎｖｅｓｔｉｇａｔｉｎｇ)、探索(ｌｏｏｋｉｎｇ ｕｐ)（例えば、テーブル、データベース又は別のデータ構造での探索）、確認(ａｓｃｅｒｔａｉｎｉｎｇ)したことなどを「判断（決定）」したとみなし得る。また、「判断（決定）」は、受信(ｒｅｃｅｉｖｉｎｇ)（例えば、情報を受信すること）、送信(ｔｒａｎｓｍｉｔｔｉｎｇ)(例えば、情報を送信すること)、入力(ｉｎｐｕｔ)、出力(ｏｕｔｐｕｔ)、アクセス(ａｃｃｅｓｓｉｎｇ)（例えば、メモリ中のデータにアクセスすること）したことなどを「判断（決定）」したとみなし得る。また、「判断（決定）」は、解決(ｒｅｓｏｌｖｉｎｇ)、選択(ｓｅｌｅｃｔｉｎｇ)、選定(ｃｈｏｏｓｉｎｇ)、確立(ｅｓｔａｂｌｉｓｈｉｎｇ)、比較(ｃｏｍｐａｒｉｎｇ)したことなどを「判断（決定）」したとみなし得る。つまり、「判断（決定）」は、何らかの動作を「判断（決定）」したとみなし得る。

【0069】

「接続された(ｃｏｎｎｅｃｔｅｄ)」、「結合された(ｃｏｕｐｌｅｄ)」という用語、又はこれらのあらゆる変形は、２又はそれ以上の要素間の直接的又は間接的なあらゆる接続又は結合を意味し、互いに「接続」又は「結合」された２つの要素間に１又はそれ以上の中間要素が存在することを含むことができる。要素間の結合又は接続は、物理的なものであっても、論理的なものであっても、或いは両方の組み合わせであってもよい。例えば、「接続」は「アクセス」に読み替えられてもよい。本明細書で使用する場合、２つの要素は、１又はそれ以上の電線、ケーブル及び／又はプリント電気接続を使用することにより、並びにいくつかの非限定的かつ非包括的な例として、無線周波数領域、マイクロ波領域及び／又は光（可視及び不可視の両方）領域の波長を有する電磁エネルギーなどの電磁エネルギーを使用することにより、互いに「接続」又は「結合」されると考えることができる。

【0070】

「含む(ｉｎｃｌｕｄｉｎｇ)」、「含んでいる（ｃｏｍｐｒｉｓｉｎｇ）」、及びそれらの変形が、本明細書或いは特許請求の範囲で使用されている限り、これら用語は、用語「備える」と同様に、包括的であることが意図される。さらに、本明細書或いは特許請求の範囲において使用されている用語「または（or）」は、排他的論理和ではないことが意図される。

【0071】

本明細書で説明する各形態/実施形態は、単独で用いてもよく、組み合わせて用いてもよく、実行中に切り替えて用いてもよい。また、本明細書で説明した各形態/実施形態の処理手順、シーケンス、フローチャート等は、矛盾の無い限り、順序を入れ替えてもよい。例えば、本明細書で説明した方法について、例示的な順序で様々なステップ要素を提示しており、提示した特定の順序に限定されない。

【0072】

なお、本開示のデバイス及び方法において、ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、又は他の名称で呼ばれるかにかかわらず、コマンド、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能などを意味するよう広く解釈されるべきである。

【0073】

また、ソフトウェア、命令、情報などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、有線技術（同軸ケーブル、光ファイバケーブル、ツイストペア及びデジタル加入者回線（ＤＳＬ、Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）など）の及び／又は無線技術（赤外線、マイクロ波など）を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び／又は無線技術は、伝送媒体の定義内に含まれる。

【0074】

以上、本発明について詳細に説明したが、当業者にとっては、本発明が本明細書中に説明した実施形態に限定されるものではないということは明らかである。本発明は、特許請求の範囲の記載により定まる本発明の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。従って、本明細書の記載は、例示説明を目的とするものであり、本発明に対して何ら制限的な意味を有するものではない。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】