知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-02-13
(45)【発行日】2024-02-21
(54)【発明の名称】歩行者物品検出装置及び方法、電子機器
(51)【国際特許分類】
G06T 7/00 20170101AFI20240214BHJP
【ＦＩ】
G06T7/00 660B
G06T7/00 350C
【請求項の数】
9
(21)【出願番号】P 2020005637
(22)【出願日】2020-01-17
(65)【公開番号】P2020173780
(43)【公開日】2020-10-22
【審査請求日】2022-09-08
(31)【優先権主張番号】201910287813.6
(32)【優先日】2019-04-11
(33)【優先権主張国・地域又は機関】CN
(73)【特許権者】
【識別番号】000005223
【氏名又は名称】富士通株式会社
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(72)【発明者】
【氏名】ディン・ラヌ
(72)【発明者】
【氏名】タヌ・ジミン
【審査官】長谷川 素直
(56)【参考文献】
【文献】特開２０１８－１５６５８６（ＪＰ，Ａ）
【文献】特開２００８－２０３９１６（ＪＰ，Ａ）
【文献】Hong Xiao（外6名），R-PCNN Method to Rapidly Detect Objects on THz Images in Human Body Security Checks，2018 IEEE SmartWorld,Ubiquitous Intelligence & Computing, Advanced & Trusted Computing,Scalable Computing & Communications, Cloud & Big Data Computing,Internet of People and Smart City Innovations，米国，IEEE，2018年10月08日，p.1777-1782
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００
(57)【特許請求の範囲】
【請求項1】
歩行者の物品を検出する装置であって、入力画像において歩行者の所在する歩行者領域を検出するための第一検出ユニット；及び
検出された前記歩行者領域内でディープラーニングモデルを直接使用してターゲット検出を行い、前記歩行者領域における前記歩行者に属する物品の検出枠及び前記物品の種類を出力するための第二検出ユニットを含み、
前記第二検出ユニットは、
検出された前記歩行者領域内でディープラーニングモデルを直接使用して、前記歩行者領域におけるすべての候補物品の検出枠、前記候補物品の種類及び信頼度を検出するための第三検出ユニット；及び
前記歩行者領域におけるすべての候補物品を選択し、選択した候補物品を前記歩行者に属する物品として出力するための選択ユニットを含む、装置。
【請求項2】
請求項１に記載の装置であって、前記選択ユニットは、
前記候補物品の種類；
前記候補物品の種類の信頼度；
少なくとも２つの候補物品の検出枠の重なり比率；及び
前記候補物品の検出枠の面積と、前記候補物品の所在する歩行者領域の面積との比
のうちの少なくとも１つに基づいて、前記候補物品を選択する、装置。
【請求項3】
請求項２に記載の装置であって、前記選択ユニットは、少なくとも２つの候補物品の検出枠の重なり比率が所定の条件を満たし、且つ前記少なくとも２つの候補物品の種類が同じであり又は近い場合、信頼度が最も高い候補物品のみを残し；及び／又は、
前記選択ユニットは、前記歩行者領域内に種類が相互排他である少なくとも２つの物品が存在するときに、信頼度が最も高い候補物品のみを残す、装置。
【請求項4】
請求項１に記載の装置であって、前記物品は、各種の服装、所持品及びアクセサリーを含む、装置。
【請求項5】
請求項１に記載の装置であって、前記第二検出ユニットは、さらに、前記歩行者領域における前記歩行者に属する物品の位置を出力する、装置。
【請求項6】
請求項１に記載の装置であって、検出された前記物品の種類に基づいて、前記歩行者の属性にラベルを付けるためのラベル付けユニットをさらに含む、装置。
【請求項7】
請求項１に記載の装置であって、前記ディープラーニングモデルがＹＯＬＯｖ３（You Only Look Once Version 3）である、装置。
【請求項8】
請求項１～７のうちの任意の１項に記載の装置を含む、電子機器。
【請求項9】
歩行者の物品を検出する方法であって、入力画像において歩行者の所在する歩行者領域を検出する第一検出ステップ；及び
検出された前記歩行者領域内でディープラーニングモデルを直接使用してターゲット検出を行い、前記歩行者領域における前記歩行者に属する物品の検出枠及び前記物品の種類を出力する第二検出ステップを含み、
前記第二検出ステップは、
検出された前記歩行者領域内でディープラーニングモデルを直接使用して、前記歩行者領域におけるすべての候補物品の検出枠、前記候補物品の種類及び信頼度を検出すること；及び
前記歩行者領域におけるすべての候補物品を選択し、選択した候補物品を前記歩行者に属する物品として出力することを含む、方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報技術分野に関し、特に、歩行者物品検出装置及び方法、電子機器に関する。
【背景技術】
【0002】
情報技術の進展に伴い、インテリジェント監視が社会の安全だけでなく、商業の分野にも幅広く用いられている。ディープラーニングモデルの陰で、歩行者検出が応用レベルのパフォーマンスに達している。検出された歩行者について如何に記述（describe）するかが次のステップでの仕事である。
【0003】
顔部が通常、人間を認識又は記述するためのキーとなる特徴であると見なされる。しかし、監視に当たって、対象の体積が小さく、遮蔽があり、背中を向ける姿勢などが原因で、顔部は、しばしば、使用することができない。近年、衣服、所持している物品、アクセサリーなどの、歩行者に属する物品を検出することにより、検出された歩行者を記述する方法が現れている。
【0004】
従来の方法では、既知の人体比率の知識を用いて、歩行者の所在する領域を分割することができ、例えば、歩行者の所在する領域から上衣（トップス）領域及び下衣（ボトムス）領域を確定し、そして、確定した上衣領域及び下衣領域内で分類モデルを用いて上衣及び下衣の認識を行うことができる。また、人体の輪郭に基づいて領域の分割を行い、そして、分割後の領域内で分類モデルを用いて検出することもできる。
【発明の概要】
【発明が解決しようとする課題】
【0005】
発明者が次のようなことを発見した。即ち、環境が比較的複雑であるときに、歩行者を完全に検出することができない場合があり、例えば、歩行者の一部が遮蔽された場合であり、このような場合、人体比率の知識に従って上衣領域及び下衣領域を正確に分割することができないため、衣服を正確に検出することができなくなり、また、該方法を用いて衣服以外の他の物品を検出することもできず；また、人体の輪郭に基づいて人体の各領域の分割を行うときに、その処理プロセスが比較的複雑であり、且つノイズの影響を受けやすいため、検出の結果が不正確になる恐れがある。
【0006】
本発明の実施例は、歩行者物品検出装置及び方法、電子機器を提供し、検出された歩行者領域内でディープラーニングモデルを直接使用してターゲット検出を行うことで、該歩行者領域内で該歩行者に属する物品の検出枠及び該物品の種類を直接出力することができるから、該歩行者に属する各種の物品を正確且つ迅速に検出することができ、且つロバストネスが比較的良い。
【課題を解決するための手段】
【0007】
本発明の実施例の第一側面によれば、歩行者物品検出装置が提供され、前記装置は、
入力画像中で歩行者の所在する歩行者領域を検出するための第一検出ユニット；及び
検出された前記歩行者領域内でディープラーニングモデルを直接使用してターゲット検出を行い、前記歩行者領域内で前記歩行者に属する物品の検出枠及び前記物品の種類を出力するための第二検出ユニットを含む。
入力画像中で歩行者の所在する歩行者領域を検出するための第一検出ユニット；及び
検出された前記歩行者領域内でディープラーニングモデルを直接使用してターゲット検出を行い、前記歩行者領域内で前記歩行者に属する物品の検出枠及び前記物品の種類を出力するための第二検出ユニットを含む。
【0008】
本発明の実施例の第二側面によれば、電子機器が提供され、前記電子機器は、本発明の実施例の第一側面に記載の装置を含む。
【0009】
本発明の実施例の第三側面によれば、歩行者物品検出方法が提供され、前記方法は、
入力画像中で歩行者の所在する歩行者領域を検出し；及び
検出された前記歩行者領域内でディープラーニングモデルを直接使用してターゲット検出を行い、前記歩行者領域内で前記歩行者に属する物品の検出枠及び前記物品の種類を出力することを含む。
入力画像中で歩行者の所在する歩行者領域を検出し；及び
検出された前記歩行者領域内でディープラーニングモデルを直接使用してターゲット検出を行い、前記歩行者領域内で前記歩行者に属する物品の検出枠及び前記物品の種類を出力することを含む。
【0010】
本発明の有益な効果は次の通りであり、即ち、検出された歩行者領域内でディープラーニングモデルを直接使用してターゲット検出を行うので、歩行者に属する各種の物品を正確に検出することができ、また、衣服領域の確定を行う必要がないので、検出のロバストネスが比較的良く；また、歩行者の輪郭に基づいて歩行者の各領域の分割を行う必要がないので、検出の速度が比較的速く、且つノイズの影響を受けにくいため、検出結果の正確性を保証することができる。
【図面の簡単な説明】
【0011】
【図1】本発明の実施例1における歩行者物品検出装置を示す図である。
【図2】本発明の実施例1における歩行者領域を示す図である。
【図3】本発明の実施例1における第二検出ユニット出力の検出結果を示す図である。
【図4】本発明の実施例1における第二検出ユニットを示す図である。
【図5】本発明の実施例2における電子機器を示す図である。
【図6】本発明の実施例2における電子機器のシステム構成図である。
【図7】本発明の実施例3における歩行者物品検出方法を示す図である。
【発明を実施するための形態】
【0012】
以下、添付した図面を参照しながら、本発明を実施するための好適な実施例を詳しく説明する。
【実施例1】
【0013】
【0014】
第一検出ユニット101：入力画像中で歩行者の所在する歩行者領域を検出し；及び
第二検出ユニット102：検出された該歩行者領域内でディープラーニングモデルを直接使用してターゲット検出を行い、該歩行者領域内で該歩行者に属する物品の検出枠及び該物品の種類を出力する。
第二検出ユニット102：検出された該歩行者領域内でディープラーニングモデルを直接使用してターゲット検出を行い、該歩行者領域内で該歩行者に属する物品の検出枠及び該物品の種類を出力する。
【0015】
上述の実施例から分かるように、検出された歩行者領域内でディープラーニングモデルを直接使用してターゲット検出を行うから、歩行者に属する各種の物品を正確に検出することができ、また、衣服領域の確定を行う必要がないので、検出のロバストネスが比較的良く；また、歩行者の輪郭に基づいて歩行者の各領域の分割を行う必要がないから、検出の速度が比較的速く、且つノイズの影響を受けにくいため、検出結果の正確性を保証することができる。
【0016】
本実施例では、該入力画像は、歩行者を含む各種の画像であっても良く、例えば、監視ビデオにおける画像である。
【0017】
本実施例では、第一検出ユニット101は、従来の方法により、入力画像中で歩行者の所在する領域を検出することができ、例えば、FPN（Feature Pyramid Networks）を用いて検出を行うことで、入力画像におけるすべての歩行者の所在する領域、即ち、各歩行者の検出枠により示される領域を得ることができる。
【0018】
第一検出ユニット101が入力画像におけるすべての歩行者の所在する歩行者領域を検出した後に、検出された歩行者領域が複数ある場合、第二検出ユニット102は、各歩行者領域についてそれぞれディープラーニングモデルを用いてターゲット検出を行い、該歩行者領域内で該歩行者に属する物品の検出枠及び該物品の種類を出力することができる。
【0019】
本実施例では、該ディープラーニングモデルは、各種のディープラーニングモデルであっても良く、例えば、該ディープラーニングモデルは、類型がYoloV3（You Only Look Once Version 3）の深層畳み込みニューラルネットワークであり、YoloV3深層畳み込みニューラルネットワークは、全図を1回読み取ることですべてのターゲットを検出することができ、比較的高い処理速度を維持し得ると同時に良好な物体検出のパフォーマンスも有するので、検出の速度及び精度をさらに向上させることができる。
【0020】
本実施例では、YoloV3深層畳み込みニューラルネットワークを例として説明を行う。
【0021】
本実施例では、該物品は、各種の服装、所持している物品（所持品）及びアクセサリーを含んでも良い。
【0022】
該YoloV3深層畳み込みニューラルネットワークを訓練するときに、予め、各種類の訓練画像を含む１つのデータ集合を訓練のために構築しても良い。
【0023】
本実施例では、該YoloV3深層畳み込みニューラルネットワークを訓練する具体的な方法が従来の方法を採用しても良いが、ここでは、その詳しい説明を省略する。
【0024】
【0025】
【0026】
また、第二検出ユニット102出力の検出結果は、さらに、各物品の種類の信頼度を含んでも良く、例えば、“短袖：0.96”、“鞄：0.88”、及び“スカート：0.90”である。
【0027】
また、第二検出ユニット102出力の検出結果は、さらに、各物品の位置、例えば、各物品の検出枠の中心点の座標、及び検出枠の幅と高さを含んでも良い。
【0028】
以下、第二検出ユニット102の構成及び検出方法について例示的に説明する。
【0029】
【0030】
第三検出ユニット401：検出された該歩行者領域内でディープラーニングモデルを直接使用して該歩行者領域におけるすべての候補物品の検出枠、該候補物品の種類及び信頼度を検出し；及び
選択ユニット402：該歩行者領域におけるすべての候補物品を選択し、選択後の候補物品を該歩行者に属する物品として出力する。
選択ユニット402：該歩行者領域におけるすべての候補物品を選択し、選択後の候補物品を該歩行者に属する物品として出力する。
【0031】
例えば、第三検出ユニット401は、歩行者領域内でYoloV3深層畳み込みニューラルネットワークを用いて候補物品としてのすべての物品の検出枠を検出するとともに、各物品の種類及び該種類の信頼度を出力することができる。
【0032】
本実施例では、選択ユニット402は、該歩行者領域におけるすべての候補物品を選択し、例えば、該選択ユニット402は、次のようなのものうちの少なくとも１つに基づいて該候補物品を選択しても良く、即ち、該候補物品の種類；該候補物品の種類の信頼度；少なくとも２つの候補物品の検出枠の重なり程度（重なり比率）；及び、該候補物品の検出枠の面積と、該候補物品の所在する歩行者領域との面積の面積比である。
【0033】
例えば、該選択ユニット402は、候補物品の種類、及び該候補物品の検出枠の面積と、該候補物品の所在する歩行者領域の面積との面積比に基づいて選択を行う。例えば、或る候補物品について、それが合理的なサイズの範囲を有するので、その検出枠の面積と、歩行者領域の面積との面積比も所定の範囲内にあり、該面積比が該所定の範囲内に無いときに、該候補物品を除去することができる。
【0034】
例えば、該選択ユニット402は、少なくとも２つの候補物品の検出枠の重なり比率及び信頼度に基づいて選択を行う。例えば、少なくとも２つの候補物品の検出枠の重なり比率が所定の条件を満たし、且つ該少なくとも２つの候補物品の種類が同じであり又は近い場合、信頼度最高の候補物品のみを残しても良い。例えば、種類がすべて“リュック”である２つの候補物品の検出枠の重なり比率が所定の条件を満足し、且つ２つの候補物品の信頼度がそれぞれ0.95及び0.80であれば、頼度が0.95であるリュックを残すことができる。
【0035】
例えば、該選択ユニット402は、候補物品の種類及び信頼度に基づいて選択を行う。例えば、該歩行者領域内に種類が相互排他である少なくとも２つの物品が存在するときに、信頼度最高の候補物品のみを残す。
【0036】
本実施例では、種類が相互排他である物品とは、通常の場合、同時に出現するはずのない少なくとも２つの種類の物品を指し、例えば、長袴及び短袴、ワンピース及びスカート、長袖及び短袖などである。
【0037】
本実施例では、該装置100は、さらに、以下のものを含んでも良い。
【0038】
ラベル付けユニット103：検出された該物品の種類に基づいて、該歩行者の属性にラベルを付ける。
【0039】
例えば、歩行者領域における物品が“スカート”又は“ワンピース”を含むと検出されたときに、該歩行者の属性に“女性”というラベルを付けても良く、該歩行者領域における物品が“ネクタイ”を含むと検出されたときに、該歩行者の属性に“男性”というラベルを付けても良い。このように、検出された物品を基づいて歩行者に対して正確な記述を行うことができる。
【0040】
本実施例では、ラベル付けユニット103は、オプションであり、図1において点線で表されている。
【0041】
上述の実施例から分かるように、検出された歩行者領域内でディープラーニングモデルを直接使用してターゲット検出を行うので、歩行者に属する各種の物品を正確に検出することができ、また、衣服領域の確定を行う必要がないから、検出のロバストネスが比較的良く；また、歩行者の輪郭に基づいて歩行者の各領域の分割を行う必要がないので、検出の速度が比較的速く、且つノイズの影響を受けにくいため、検出結果の正確性を保証することができる。
【実施例2】
【0042】
本発明の実施例は、さらに、電子機器を提供し、図5は、本発明の実施例2における電子機器を示す図である。図5に示すように、電子機器500は、歩行者物品検出装置501を含み、また、該歩行者物品検出装置501の構成及び機能が実施例1に記載のものと同じであるため、ここでは、その詳しい説明を省略する。
【0043】
図6は、本発明の実施例2における電子機器のシステム構成図である。図6に示すように、電子機器600は、中央処理器601及び記憶器602を含んでも良く、該記憶器602は、該中央処理器601に接続される。なお、該図は、例示に過ぎず、さらに該構造に対して他の類型の構造を以て補充又は代替を行うことで、電気通信機能や他の機能を実現しても良い。
【0044】
図6に示すように、該電子機器600は、さらに、入力ユニット603、表示器604、電源605などを含んでも良い。
【0045】
１つの実施方式では、実施例1に記載の歩行者物品検出装置の機能が該中央処理器601に集積されても良い。そのうち、該中央処理器601は、次のように構成されても良く、即ち、入力画像中で歩行者の所在する歩行者領域を検出し；及び、検出された該歩行者領域内でディープラーニングモデルを直接使用してターゲット検出を行い、該歩行者領域における該歩行者に属する物品の検出枠及び該物品の種類を出力する。
【0046】
例えば、検出された該歩行者領域内でディープラーニングモデルを直接使用してターゲット検出を行うことは、検出された該歩行者領域内でディープラーニングモデル直接使用して該歩行者領域におけるすべての候補物品の検出枠、該候補物品の種類及び信頼度を検出し；及び、該歩行者領域におけるすべての候補物品を選択し、選択した候補物品を該歩行者に属する物品として出力することを含む。
【0047】
例えば、該歩行者領域におけるすべての候補物品を選択することは、次のようなものうちの少なくとも１つに基づいて該候補物品を選択しても良く、即ち、該候補物品の種類；該候補物品の種類の信頼度；少なくとも２つの候補物品の検出枠の重なり比率；及び該候補物品の検出枠の面積と、該候補物品の所在する歩行者領域の面積との面積比である。
【0048】
例えば、少なくとも２つの候補物品の検出枠の重なり比率が所定の条件を満たし、且つ該少なくとも２つの候補物品の種類が同じであり又は近い場合、信頼度最高の候補物品のみを残し、及び／又は、前記歩行者領域内に種類が相互排他である少なくとも２つの物品が存在するときに、信頼度最高の候補物品のみを残す。
【0049】
例えば、該物品は、各種類の服装、所持品及びアクセサリーを含む。
【0050】
例えば、検出された該歩行者領域内でディープラーニングモデルを直接使用してターゲット検出を行うときに、さらに、該歩行者領域内の該歩行者に属する物品の位置を出力することができる。
【0051】
例えば、該中央処理器601は、さらに、次のように構成されても良く、即ち、検出された該物品の種類に基づいて、該歩行者の属性にラベルを付ける。
【0052】
もう１つの実施方式では、実施例1に記載の歩行者物品検出装置が中央処理器601と別々で配置されても良く、例えば、該歩行者物品検出装置は、該中央処理器601に接続されるチップ（Chip）として構成され、中央処理器601の制御により該歩行者物品検出装置の機能を実現しても良い。
【0053】
本実施例では、該電子機器600は、図6に記載のすべての部品を含む必要がない。
【0054】
図6に示すように、該中央処理器601は、制御器又は操作コントローラと称される場合があり、マイクロプロセッサ又は他の処理器装置及び／又は論理装置を含んでも良く、該中央処理器601は、入力を受信して該電子機器600の各部品の操作をコントロールすることができる。
【0055】
該記憶器602は、例えば、バッファ、フラッシュメモリ、ＨＤＤ、移動可能な媒体、揮発性記憶器、不揮発性記憶器又は他の適切な装置のうちの１つ又は複数であっても良い。該中央処理器601は、該記憶器602に記憶のプログラムを、情報の記憶又は処理などのために実行することができる。なお、他の部品の機能が従来と類似しているため、ここでは、その詳しい説明を省略する。また、該電子機器600の各部品は、専用ハードウェア、ファームウェア、ソフトウェア又はその組み合わせにより実現されても良いが、すべては、本発明の範囲に属する。
【0056】
上述の実施例から分かるように、検出された歩行者領域内でディープラーニングモデルを直接使用してターゲット検出を行うので、歩行者に属する各種の物品を正確に検出することができ、また、衣服領域の確定を行う必要がないので、検出のロバストネスが比較的良く；また、歩行者の輪郭に基づいて歩行者の各領域の分割を行う必要がないから、検出の速度が比較的速く、且つノイズの影響を受けにくいため、検出結果の正確性を保証することができる。
【実施例3】
【0057】
本発明の実施例は、さらに、歩行者物品検出方法を提供する。該方法は、実施例1における歩行者物品検出装置に対応する。図7は、本発明の実施例3における歩行者物品検出方法を示す図である。図7に示すように、該方法は、以下のステップを含む。
【0058】
ステップ701：入力画像中で歩行者の所在する歩行者領域を検出し；及び
ステップ702：検出された該歩行者領域内でディープラーニングモデルを直接使用してターゲット検出を行い、該歩行者領域内の該歩行者に属する物品の検出枠及び該物品の種類を出力する。
ステップ702：検出された該歩行者領域内でディープラーニングモデルを直接使用してターゲット検出を行い、該歩行者領域内の該歩行者に属する物品の検出枠及び該物品の種類を出力する。
【0059】
本実施例では、上述の各ステップの具体的な実現方法が実施例1における説明を参照することができるため、ここでは、重複記載を割愛する。
【0060】
上述の実施例から分かるように、検出された歩行者領域内でディープラーニングモデルを直接使用してターゲット検出を行うから、歩行者に属する各種の物品を正確に検出することができ、また、衣服領域の確定を行う必要がないので、検出のロバストネスが比較的良く；また、歩行者の輪郭に基づいて歩行者の各領域の分割を行う必要がないから、検出の速度が比較的速く、且つノイズの影響を受けにくいため、検出結果の正確性を保証することができる。
【0061】
本発明の実施例は、さらに、コンピュータ可読プログラムを提供し、そのうち、歩行者物品検出装置又は電子機器中で前記プログラムを実行するときに、前記プログラムは、コンピュータに前記歩行者物品検出装置又は電子機器中で実施例3に記載の歩行者物品検出方法を実行させる。
【0062】
本発明の実施例は、さらに、コンピュータ可読プログラムを記憶した記憶媒体を提供し、そのうち、前記コンピュータ可読プログラムは、コンピュータに、歩行者物品検出装置又は電子機器中で実施例3に記載の歩行者物品検出方法を実行させる。
【0063】
本発明の実施例で説明した前記方法、装置などは、ハードウェア、処理器により実行されるソフトウェアモジュール、又は両者の組み合わせにより実現することができる。例えば、図1に示す機能ブロック図における１つ又は複数の機能及び／又は機能ブロック図における１つ又は複数の機能の組み合わせは、コンピュータプログラムにおける各ソフトウェアモジュールに対応しても良く、各ハードウェアモジュールに対応しても良い。また、これらのソフトウェアモジュールは、それぞれ、図7に示す各ステップに対応することができる。これらのハードウェアモジュールは、例えば、FPGA（field-programmable gate array）を用いてこれらのソフトウェアモジュールを固化して実現することができる。
【0064】
また、本発明の実施例による装置、方法などは、ソフトウェアにより実現されても良く、ハードェアにより実現されてもよく、ハードェア及びソフトウェアの組み合わせにより実現されても良い。本発明は、このようなコンピュータ可読プログラムにも関し、即ち、前記プログラムは、ロジック部品により実行される時に、前記ロジック部品に、上述の装置又は構成要素を実現させることができ、又は、前記ロジック部品に、上述の方法又はそのステップを実現させることができる。さらに、本発明は、上述のプログラムを記憶した記憶媒体、例えば、ハードディスク、磁気ディスク、光ディスク、DVD、フレッシュメモリなどにも関する。
【0065】
また、以上の実施例などに関し、さらに以下のように付記を開示する。
【0066】
（付記1）
歩行者物品検出方法であって、
入力画像中で歩行者の所在する歩行者領域を検出し；及び
検出された前記歩行者領域内でディープラーニングモデルを直接使用してターゲット検出を行い、前記歩行者領域内で前記歩行者に属する物品の検出枠及び前記物品の種類を出力する、方法。
歩行者物品検出方法であって、
入力画像中で歩行者の所在する歩行者領域を検出し；及び
検出された前記歩行者領域内でディープラーニングモデルを直接使用してターゲット検出を行い、前記歩行者領域内で前記歩行者に属する物品の検出枠及び前記物品の種類を出力する、方法。
【0067】
（付記2）
付記1に記載の方法であって、
検出された前記歩行者領域内でディープラーニングモデルを直接使用してターゲット検出を行うことは、
検出された前記歩行者領域内でディープラーニングモデルを直接使用して前記歩行者領域におけるすべての候補物品の検出枠、前記候補物品の種類及び信頼度を検出し；及び
前記歩行者領域におけるすべての候補物品を選択し、選択した候補物品を前記歩行者に属する物品として出力することを含む、方法。
付記1に記載の方法であって、
検出された前記歩行者領域内でディープラーニングモデルを直接使用してターゲット検出を行うことは、
検出された前記歩行者領域内でディープラーニングモデルを直接使用して前記歩行者領域におけるすべての候補物品の検出枠、前記候補物品の種類及び信頼度を検出し；及び
前記歩行者領域におけるすべての候補物品を選択し、選択した候補物品を前記歩行者に属する物品として出力することを含む、方法。
【0068】
（付記3）
付記1に記載の方法であって、
前記歩行者領域におけるすべての候補物品を選択することは、
前記候補物品の種類；
前記候補物品の種類の信頼度；
少なくとも２つの候補物品の検出枠の重なり比率；及び
前記候補物品の検出枠の面積と、前記候補物品の所在する歩行者領域の面積との面積比
のうちの少なくとも１つに基づいて、前記候補物品を選択することを含む、方法。
付記1に記載の方法であって、
前記歩行者領域におけるすべての候補物品を選択することは、
前記候補物品の種類；
前記候補物品の種類の信頼度；
少なくとも２つの候補物品の検出枠の重なり比率；及び
前記候補物品の検出枠の面積と、前記候補物品の所在する歩行者領域の面積との面積比
のうちの少なくとも１つに基づいて、前記候補物品を選択することを含む、方法。
【0069】
（付記4）
付記3に記載の方法であって、
少なくとも２つの候補物品の検出枠の重なり比率が所定の条件を満足し、且つ前記少なくとも２つの候補物品の種類が同じであり又は近い場合、信頼度が最も高い候補物品のみを残し、及び／又は、
前記歩行者領域内に種類が相互排他である少なくとも２つの物品が存在するときに、信頼度が最も高い候補物品のみを残す、方法。
付記3に記載の方法であって、
少なくとも２つの候補物品の検出枠の重なり比率が所定の条件を満足し、且つ前記少なくとも２つの候補物品の種類が同じであり又は近い場合、信頼度が最も高い候補物品のみを残し、及び／又は、
前記歩行者領域内に種類が相互排他である少なくとも２つの物品が存在するときに、信頼度が最も高い候補物品のみを残す、方法。
【0070】
（付記5）
付記1に記載の方法であって、
前記物品は、各種類の服装、所持している物品及びアクセサリーを含む、方法。
付記1に記載の方法であって、
前記物品は、各種類の服装、所持している物品及びアクセサリーを含む、方法。
【0071】
（付記6）
付記1に記載の方法であって、
検出された前記歩行者領域内でディープラーニングモデルを直接使用してターゲット検出を行うときに、さらに、前記歩行者領域における前記歩行者に属する物品の位置を出力する、方法。
付記1に記載の方法であって、
検出された前記歩行者領域内でディープラーニングモデルを直接使用してターゲット検出を行うときに、さらに、前記歩行者領域における前記歩行者に属する物品の位置を出力する、方法。
【0072】
（付記7）
付記1に記載の方法であって、さらに、
検出された前記物品の種類に基づいて、前記歩行者の属性にラベルを付けることを含む、方法。
付記1に記載の方法であって、さらに、
検出された前記物品の種類に基づいて、前記歩行者の属性にラベルを付けることを含む、方法。
【0073】
（付記8）
付記1に記載の方法であって、
前記ディープラーニングモデルがYoloV3深層畳み込みニューラルネットワークである、方法。
付記1に記載の方法であって、
前記ディープラーニングモデルがYoloV3深層畳み込みニューラルネットワークである、方法。
【0074】
以上、本発明の好ましい実施形態を説明したが、本発明はこの実施形態に限定されず、本発明の趣旨を離脱しない限り、本発明に対するあらゆる変更は本発明の技術的範囲に属する。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】