特許 6871314 物体検出方法、装置及び記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6871314

(24)【登録日】2021年4月19日

(45)【発行日】2021年5月12日

(54)【発明の名称】物体検出方法、装置及び記憶媒体

(51)【国際特許分類】

   G06T 7/60 20170101AFI20210426BHJP

【ＦＩ】

   G06T7/60 200D

【請求項の数】13

【全頁数】14

(21)【出願番号】特願2019-124461(P2019-124461)

(22)【出願日】2019年7月3日

(65)【公開番号】特開2020-38619(P2020-38619A)

(43)【公開日】2020年3月12日

【審査請求日】2019年7月3日

(31)【優先権主張番号】201811018729.6

(32)【優先日】2018年9月3日

(33)【優先権主張国】CN

(73)【特許権者】

【識別番号】513224353

【氏名又は名称】バイドゥ オンライン ネットワーク テクノロジー （ベイジン） カンパニー リミテッド

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(74)【代理人】

【識別番号】100108213

【弁理士】

【氏名又は名称】阿部 豊隆

(72)【発明者】

【氏名】ワン，シュエフイ

(72)【発明者】

【氏名】リ，ミン

(72)【発明者】

【氏名】シア，ティアン

【審査官】 ▲広▼島 明芳

(56)【参考文献】

【文献】 特開２０１７−１９１５０１（ＪＰ，Ａ）

【文献】 Amir Ghodrati, et al.，DeepProposals: Hunting Objects and Actions by Cascading Deep Convolutional Layers，Int J Comput Vis 124，米国，２０１７年，pp.115-131，ＵＲＬ，https://doi.org/10.1007/s11263-017-1006-x

【文献】 Christian Eggert, et al.，A closer look: Small object detection in faster R-CNN，2017 IEEE International Conference on Multimedia and Expo (ICME)，米国，２０１７年 ７月１０日，pp.421-426，ＵＲＬ，https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=8019550

【文献】 Zhun Zhong, et al.，Re-ranking Object Proposals for Object Detection in Automatic Driving，eprint arXiv:1605.05904，米国，２０１６年，ＵＲＬ，https://arxiv.org/abs/1605.05904

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／００ − ７／９０

(57)【特許請求の範囲】

【請求項1】

物体検出方法であって、
入力画像における対象物体の囲み枠を取得することと、
取得された前記囲み枠を予め設定された予選枠の集合における複数の予選枠と比較させ、前記囲み枠の寸法特徴に近い予選枠を参照枠として選択することと、
前記参照枠と前記囲み枠との寸法に基づいて、寸法関連特徴を生成することと、
マシン学習モデルで前記寸法関連特徴を用いて前記入力画像に対する物体検出を行うことと、を含み、
前記参照枠と前記囲み枠との寸法に基づいて、寸法関連特徴を生成することは、前記囲み枠と前記参照枠との幅の比率、高さの比率を前記寸法関連特徴とし、或は、前記幅の比率の自然対数及び前記高さの比率の自然対数を前記寸法関連特徴とすることを含むことを特徴とする物体検出方法。

【請求項2】

前記囲み枠に基づいて予め設定された予選枠の集合から参照枠を決定することは、
対象物体の前記囲み枠と前記予選枠の集合における各予選枠との重畳度を算出することと、
前記重畳度に応じて前記予選枠から参照枠を選択することと、を含むことを特徴とする請求項１に記載の物体検出方法。

【請求項3】

前記囲み枠と前記予選枠とは、多辺形であり、対象物体の前記囲み枠と前記予選枠の集合における各予選枠との重畳度を算出することは、
前記囲み枠と前記予選枠とをその１つの対応する頂点及び前記頂点に連結される少なくとも一つの対応する辺によって、位置合わせることと、
前記囲み枠と前記予選枠との位置合わせられた後の共通集合面積と合併集合面積との比率を算出することと、
前記比率を前記囲み枠と前記予選枠との重畳度とすること、を含むことを特徴とする請求項２に記載の物体検出方法。

【請求項4】

前記重畳度に応じて前記予選枠から参照枠を選択することは、
前記囲み枠と前記予選枠との重畳度が重畳度閾値よりも大きいと、前記予選枠を参照枠として決定することを含むことを特徴とする請求項２に記載の物体検出方法。

【請求項5】

物体の種別にマッチングする予選枠の集合を予め設定しておくことと、
被検出体の所属する物体の種別を予断することと、
予断された前記物体の種別に応じて、前記物体の種別にマッチングする予選枠の集合を選択することと、をさらに含むことを特徴とする請求項１乃至４のいずれか１項に記載の物体検出方法。

【請求項6】

物体検出装置であって、
入力画像における対象物体の囲み枠を取得するための囲み枠取得ユニットと、
取得された前記囲み枠を予め設定された予選枠の集合における複数の予選枠と比較させ、前記囲み枠の寸法特徴に近い予選枠を参照枠として選択するための参照枠決定ユニットと、
前記参照枠と前記囲み枠との寸法に基づいて、寸法関連特徴を生成するための寸法特徴生成ユニットと、
マシン学習モデルで前記寸法関連特徴を用いて前記入力画像に対する物体検出を行うための物体検出ユニットと、を備え、
前記寸法特徴生成ユニットは、
前記囲み枠と前記参照枠との幅の比率、高さの比率を前記寸法関連特徴とし、或は、前記幅の比率の自然対数及び前記高さの比率の自然対数を前記寸法関連特徴とするためにさらに用いられることを特徴とする物体検出装置。

【請求項7】

前記参照枠決定ユニットは、
対象物体の前記囲み枠と前記予選枠の集合における各予選枠との重畳度を算出するための重畳度算出サブユニットと、
前記重畳度に応じて前記予選枠から参照枠を選択するための参照枠選択サブユニットと、を備えることを特徴とする請求項６に記載の物体検出装置。

【請求項8】

前記囲み枠と前記予選枠とは、多辺形であり、前記重畳度算出サブユニットは、
前記囲み枠と前記予選枠とをその１つの対応する頂点及び前記頂点に連結される少なくとも一つの対応する辺によって、位置合わせ、
前記囲み枠と前記予選枠との位置合わせられた後の共通集合面積と合併集合面積との比率を算出し、
前記比率を前記囲み枠と前記予選枠との重畳度とするためにさらに用いられることを特徴とする請求項７に記載の物体検出装置。

【請求項9】

前記参照枠選択サブユニットは、
前記囲み枠と前記予選枠との重畳度が重畳度閾値よりも大きいと、前記予選枠を参照枠として決定するためにさらに用いられることを特徴とする請求項７に記載の物体検出装置。

【請求項10】

物体の種別にマッチングする予選枠の集合を予め設定しておき、
被検出体の所属する物体の種別を予断し、
予断された前記物体の種別に応じて、前記物体の種別にマッチングする予選枠の集合を選択するための予選枠集合選択ユニットをさらに備えることを特徴とする請求項６乃至９のいずれか１項に記載の物体検出装置。

【請求項11】

物体検出装置であって、
一つ又は複数のプロセッサと、
一つ又は複数のプログラムを記憶するためのメモリと、を備え、
前記一つ又は複数のプログラムが前記一つ又は複数のプロセッサにより実行される時、前記一つ又は複数のプロセッサが請求項１乃至５のいずれか１項に記載の物体検出方法を実現するようにすることを特徴とする物体検出装置。

【請求項12】

コンピュータプログラムが記憶されたコンピュータ可読記憶媒体であって、前記プログラムがプロセッサにより実行されると、請求項１乃至５のいずれか１項に記載の物体検出方法を実現することを特徴とするコンピュータ可読記憶媒体。

【請求項13】

コンピュータにおいて、プロセッサにより実行される場合、請求項１乃至５のいずれか１項に記載の物体検出方法を実現することを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報技術分野に関し、特に、物体検出方法、装置及びコンピュータ可読記憶媒体に関する。

【背景技術】

【0002】

物体検出は、人間の目には難しいことではない。グラフィックスにおける異なる色や、テクスチャ、エッジモジュールを検知することで対象物体を特定することは容易であるが、コンピュータはＲＧＢ画素マトリックスに向かっているため、犬や猫のような抽象的な概念を画像から直接に取得し、その位置を特定することは困難であり、それに加えて、物体の姿勢、照明や複雑な背景が混在して、物体の検出がより困難になる。

【0003】

コンピュータビジョンの分野では、物体検出は代表的な問題の一つであり、画像中の物体の位置を枠で表示し、物体の種別を与えることが課題となる。従来の人工デザインによる特徴に浅層分類器を加える枠組みから、深層学習に基づくエンドツーエンドの検出枠組みまで、物体検出はますます成熟しつつある。

【0004】

通常、検出アルゴリズムには３つの部分が含まれており、１つ目は検出窓の選択、２つ目は特徴の設計、３つ目は分類器の設計である。そのうち、特徴の設計には、異なる特徴を組み合わせて最適化する必要がある。物体を異なる次元で記述することにより、検出精度をさらに向上させることができる。例えば、ヒストグラム統計を用いて物体のエッジを符号化することによって、特徴表現能力はより強くなり、物体の検出、追跡、認識等の場面で広く利用される。

【0005】

画像中の物体を検出する際に、候補となる物体領域毎に対して、深層学習ネットワークの特徴を抽出する場合、同じ長さの特徴しか得られなく、且つこの特徴は物体の大きさと関連性がなくて、物体の大きさの予測根拠が欠如してから、物体の大きさの予測は不正確になってしまう。例えば、画像において、遠い場所と近い場所との物体の大きさは異なるが、従来技術の手法では、このような大きさの異なる物体について抽出された特徴が同じであるため、物体の大きさの予測は不正確になる。

【発明の概要】

【発明が解決しようとする課題】

【0006】

本発明の実施例は、従来技術における少なくとも一つ又は複数の技術問題を解決するための物体検出方法、装置及びコンピュータ可読記憶媒体を提供する。

【課題を解決するための手段】

【0007】

第一態様によれば、本発明の実施例は、入力画像における対象物体の囲み枠を取得することと、前記囲み枠に基づいて予め設定された予選枠の集合から参照枠を決定することと、前記参照枠と前記囲み枠との寸法に基づいて、寸法関連特徴を生成することと、マシン学習モデルで前記寸法関連特徴を用いて、前記入力画像に対する物体検出を行うことと、を含む物体検出方法を提供する。

【0008】

第一態様に合わせて、本発明の実施例は、第一態様の第一実現形態において、前記囲み枠に基づいて予め設定された予選枠の集合から参照枠を決定することは、対象物体の前記囲み枠と前記予選枠の集合における各予選枠との重畳度を算出することと、前記重畳度に応じて前記予選枠から参照枠を選択することと、を含む。

【0009】

第一態様の第一実現形態に合わせて、本発明の実施例は、第一態様の第二実現形態において、前記囲み枠と前記予選枠とは、多辺形であり、対象物体の前記囲み枠と前記予選枠の集合における各予選枠との重畳度を算出することは、前記囲み枠と前記予選枠とをその１つの対応する頂点及び前記頂点に連結される少なくとも一つの対応する辺によって、位置合わせることと、前記囲み枠と前記予選枠とを位置合わせた後の共通集合面積と合併集合面積の比率を算出することと、前記比率を前記囲み枠と前記予選枠との重畳度とすることと、を含む。

【0010】

第一態様の第一実現形態に合わせて、本発明の実施例は、第一態様の第三実現形態において、前記重畳度に応じて前記予選枠から参照枠を選択することは、前記囲み枠と前記予選枠との重畳度が重畳度閾値よりも大きいと、当該予選枠を参照枠として決定することを含む。

【0011】

第一態様、第一態様の第一実現形態、第一態様の第二実現形態、第一態様の第三実現形態に合わせて、本発明の実施例は、第一態様の第四実現形態において、前記参照枠と前記囲み枠との寸法に基づいて、寸法関連特徴を生成することは、前記囲み枠と前記参照枠との幅の比率、高さの比率を前記寸法関連特徴とし、或は、前記幅の比率の自然対数及び前記高さの比率の自然対数を前記寸法関連特徴とすることを含む。

【0012】

第一態様、第一態様の第一実現形態、第一態様の第二実現形態、第一態様の第三実現形態に合わせて、本発明の実施例は、第一態様の第五実現形態において、物体の種別にマッチングする予選枠の集合を予め設定しておくことと、前記被検出体の所属する物体の種別を予断することと、予断された前記物体の種別に応じて、前記物体の種別にマッチングする予選枠の集合を選択することと、をさらに含む。

【0013】

第二態様によれば、本発明の実施例は、入力画像における対象物体の囲み枠を取得するための囲み枠取得ユニットと、前記囲み枠に基づいて予め設定された予選枠の集合から参照枠を決定するための参照枠決定ユニットと、前記参照枠と前記囲み枠との寸法に基づいて、寸法関連特徴を生成するための寸法特徴生成ユニットと、マシン学習モデルで前記寸法関連特徴を用いて、前記入力画像に対する物体検出を行うための物体検出ユニットと、を備える物体検出装置を提供する。

【0014】

第二態様に合わせて、本発明の実施例は、第二態様の第一実現形態において、前記参照枠決定ユニットは、対象物体の前記囲み枠と前記予選枠の集合における各予選枠との重畳度を算出するための重畳度算出サブユニットと、前記重畳度に応じて前記予選枠から参照枠を選択するための参照枠選択サブユニットと、を備える。

【0015】

第二態様の第一実現形態に合わせて、本発明の実施例は、第二態様の第二実現形態において、前記囲み枠と前記予選枠とは、多辺形であり、前記重畳度算出サブユニットは、前記囲み枠と前記予選枠とをその１つの対応する頂点及び前記頂点に連結される少なくとも一つの対応する辺によって、位置合わせ、前記囲み枠と前記予選枠とを位置合わせた後の共通集合面積と合併集合面積との比率を算出し、前記比率を前記囲み枠と前記予選枠との重畳度とするためにさらに用いられる。

【0016】

第二態様の第一実現形態に合わせて、本発明の実施例は、第二態様の第三実現形態において、前記参照枠選択サブユニットは、前記囲み枠と前記予選枠との重畳度が重畳度閾値よりも大きいと、当該予選枠を参照枠として決定するためにさらに用いられる。

【0017】

第二態様、第二態様の第一実現形態、第二態様の第二実現形態、第二態様の第三実現形態に合わせて、本発明の実施例は、第二態様の第四実現形態において、前記寸法特徴生成ユニットは、前記囲み枠と前記参照枠との幅の比率、高さの比率を前記寸法関連特徴とし、或は、前記幅の比率の自然対数及び前記高さの比率の自然対数を前記寸法関連特徴とするためにさらに用いられる。

【0018】

第二態様、第二態様の第一実現形態、第二態様の第二実現形態、第二態様の第三実現形態に合わせて、本発明の実施例は、第二態様の第五実現形態において、前記物体検出装置は、物体の種別にマッチングする予選枠の集合を予め設定しておくことと、前記被検出体の所属する物体の種別を予断することと、予断された前記物体の種別に応じて、前記物体の種別にマッチングする予選枠の集合を選択することに用いられる予選枠集合選択ユニットをさらに備える。

【0019】

好ましい一つの構想において、物体検出装置の構造には、プロセッサ及びメモリが含まれ、前記メモリは、物体検出装置による上記第一態様における物体検出方法の実行をサポートするプログラムを記憶するために用いられ、前記プロセッサは、前記メモリに記憶されたプログラムを実行するように配置される。前記物体検出装置は、物体検出装置と他の機器又は通信ネットワークとの通信に用いられる通信インターフェースをさらに備えてもよい。

【0020】

第三態様によれば、本発明の実施例は、一つ又は複数のプロセッサと、一つ又は複数のプログラムを記憶するためのメモリとを備え、前記一つ又は複数のプログラムが前記一つ又は複数のプロセッサにより実行される時、前記一つ又は複数のプロセッサが上記第一態様におけるいずれかの方法を実現するようにする物体検出装置を提供する。

【0021】

第四態様によれば、本発明の実施例は、プロセッサにより実行されると、上記第一態様におけるいずれかの方法を実現するコンピュータプログラムが記憶されたコンピュータ可読記憶媒体を提供する。

【発明の効果】

【0022】

上記技術案は、物体の大きさに関する特徴を用いて物体検出を行うことにより、即ち、マシン学習モデルにおける元の特徴に加えて物体の大きさの予測根拠を追加することにより、物体検出の正確度をさらに向上させるという利点又は有益な効果がある。

【0023】

上記概説は明細書のためのものであって、いかなる方式で制限するためのものではない。上記説明される模式的な態様、実施形態及び特徴を除き、本発明のさらなる態様、実施形態及び特徴は、図面及び以下の詳細な説明によって明らかになる。

【図面の簡単な説明】

【0024】

図面において、特に断りがない限り、複数の図面における同一記号は同様又は類似する部材又は要素を示す。これらの図面は比率で描かれるとは限らない。これらの図面は本発明の開示に係るいくつかの実施形態を描くものに過ぎず、本発明の範囲を制限するものと見なされるべきではないと理解すべきである。

【図1】本発明の一実施例が提供する物体検出方法のフローチャートである。

【図2】本発明の他の実施例が提供する物体検出方法における参照枠の決定のステップのフローチャートである。

【図3】本発明の他の実施例が提供する物体検出方法における重畳度の算出のステップのフローチャートである。

【図4a】本発明の他の実施例が提供する物体検出方法における重畳度算出に対する共通集合面積の模式図である。

【図4b】本発明の他の実施例が提供する物体検出方法における重畳度算出に対する合併集合面積の模式図である。

【図5】本発明の他の実施例が提供する物体検出方法における予選枠の集合の選択のステップのフローチャートである。

【図6】本発明の一実施例が提供する物体検出装置の構造ブロック図である。

【図7】本発明のまた一実施例が提供する物体検出装置の参照枠決定ユニットの構造ブロック図である。

【図8】本発明のまた一実施例が提供する物体検出装置の構造ブロック図である。

【図9】本発明のまた一実施例が提供する物体検出装置の構造ブロック図である。

【発明を実施するための形態】

【0025】

以下では、幾つかの例示的な実施例のみを簡単に説明する。当業者であれば、本発明の趣旨又は範囲を逸脱せずに、説明した実施例に様々な変更を施すことができると理解できる。従って、図面と説明は本質的に例示的であり、限定的ではないとみなされるべきである。

【0026】

図１は、本発明の一実施例が提供する物体検出方法のフローチャートである。図１に示すように、本発明の実施例の物体検出方法は、入力画像における対象物体の囲み枠を取得するステップＳ１１０と、前記囲み枠に基づいて予め設定された予選枠の集合から参照枠を決定するステップＳ１２０と、前記参照枠と前記囲み枠との寸法に基づいて、寸法関連特徴を生成するステップＳ１３０と、マシン学習モデルで前記寸法関連特徴を用いて前記入力画像に対する物体検出を行うステップＳ１４０と、を含む。

【0027】

本発明の実施例では、物体検出を行う前に予選枠の集合を予め設定しておく。予選枠の集合には、寸法の異なる複数の予選枠が含まれている。対象物体の囲み枠を予選枠の集合における複数の予選枠と比較させ、比較結果に応じて囲み枠の寸法特徴に比較的に近い幾つかの予選枠を参照枠として選択する。参照枠と囲み枠との大きさ関係に基づいて、大きさや、アスペクト比に関する特徴、即ち、寸法関連特徴を生成する。マシン学習モデルにおける元の特徴に加えて、寸法関連特徴を元の特徴に融合した後に、物体に対する予測を行うことにより、物体の大きさの検出の正確度を向上させる。

【0028】

一実現形態では、先ず、あるアルゴリズムを用いて物体の囲み枠を予測する。例えば、被処理グラフィックスをブロックに分割した後、各ブロックが囲み枠であるか否かについてそれぞれ判断する。また、被処理グラフィックスのカラーヒストグラムを算出する。カラーヒストグラム上に分布が平坦ではない領域は、物体のエッジ領域である可能性があることにより、物体の囲み枠を予測する。

【0029】

図２は、本発明の他の実施例が提供する物体検出方法における参照枠の決定のステップのフローチャートである。図２に示すように、好ましい一つの実現形態では、図１において、前記囲み枠に基づいて予め設定された予選枠の集合から参照枠を決定するステップＳ１２０は、対象物体の前記囲み枠と前記予選枠の集合における各予選枠との重畳度を算出するステップＳ２１０と、前記重畳度に応じて前記予選枠から参照枠を選択するステップＳ２２０と、を含む。

【0030】

予選枠は、予め設定された寸法の異なる幾つかの矩形枠を含んでもよい。これらの矩形枠の寸法同士間の関係には、次のような様々ものがあってもよい。例えば、幅は同じであるが高さが異なり、幅が異なるが高さが同じ、幅と高さとが異なるがアスペクトが同じ、或いは幅と高さとアスペクトとが全部異なる。そのうち、一例として、アスペクトが同じであるが幅と高さとが異なる一連の複数の矩形枠が設定される。アスペクトが１：１であると、１０＊１０画素、２０＊２０画素及び３０＊３０画素の３つの矩形枠を設定することができる。

【0031】

このような実現形態では、対象物体の囲み枠と予選枠の集合における寸法の異なる複数の予選枠との重畳領域を算出し、算出結果に応じて囲み枠の寸法特徴に比較的に近い幾つかの予選枠を選択する。

【0032】

図３は、本発明の他の実施例が提供する物体検出方法における重畳度の算出のステップのフローチャートである。図３に示すように、好ましい一つの実現形態では、図２において、対象物体の前記囲み枠と前記予選枠の集合における各予選枠との重畳度を算出するステップＳ２１０は、前記囲み枠と前記予選枠とをその１つの対応する頂点及び前記頂点に連結される少なくとも一つの対応する辺によって、位置合わせるステップＳ３１０と、前記囲み枠と前記予選枠とを位置合わせた後の共通集合面積と合併集合面積との比率を算出するステップＳ３２０と、前記比率を前記囲み枠と前記予選枠との重畳度とするステップＳ３３０と、を含む。

【0033】

このような実現形態では、ＩＯＵ（Ｉｎｔｅｒｓｅｃｔｉｏｎ ｏｖｅｒ Ｕｎｉｏｎ、重畳度）標準を用いて囲み枠と寸法の異なる複数の予選枠との重畳領域を算出する。ここで、ＩＯＵは、特定のデータ集合から対応する物体を検出する正確度を測定する標準の１つである。具体的に、囲み枠をある予選枠に位置合わせて、例えばこれら２つの矩形の左上隅の頂点及び当該頂点に連結される一辺を位置合わせて、その後、２つの矩形の共通集合面積と合併集合面積との比率を算出し、囲み枠とある予選枠とのＩＯＵ値とする。この比率（ＩＯＵ値）が大きいほど、２つの矩形の重畳度が大きくなることを意味する。

【0034】

図４ａは、本発明の他の実施例が提供する物体検出方法における重畳度算出に対する共通集合面積の模式図である。図４ｂは、本発明の他の実施例が提供する物体検出方法における重畳度算出に対する合併集合面積の模式図である。図４ａ及び図４ｂにおいて、Ａ１、Ｂ１、Ｃ１、Ｄ１の４つの頂点からなる矩形が囲み枠を表し、Ａ２、Ｂ２、Ｃ２、Ｄ２の４つの頂点からなる矩形が予選枠を表す。図４ａ及び図４ｂに示すように、囲み枠と予選枠とは左上隅の頂点及び当該頂点に連結される辺によって、位置合わせられ、即ち、図面において、Ａ１及びＡ２の２つの頂点及び当該頂点に連結される辺は重なっている。図４ａに示すハッチング部の面積は、囲み枠と予選枠との位置合わせられた後の共通集合面積を表し、図４ｂに示すハッチング部の面積は、囲み枠と予選枠との位置合わせられた後の合併集合面積を表す。共通集合面積と合併集合面積との比率が大きいほど、２つの矩形の重畳度が高くなり、寸法特徴が近くなることを意味する。

【0035】

また、好ましい一つの実現形態では、前記重畳度に応じて前記予選枠から参照枠を選択することは、前記囲み枠と前記予選枠との重畳度が重畳度閾値よりも大きいと、当該予選枠を参照枠として決定することを含む。

【0036】

このような実現形態において、重畳度閾値を予め設定しておき、算出された囲み枠とある予選枠とのＩＯＵ値が予め設定された重畳度閾値よりも大きいと、当該予選枠の大きさ特徴が囲み枠に比較的に近いと認定する。このようにして、囲み枠の寸法特徴と比較的に近いＴｏｐ Ｎ個（最上位のＮ個）の予選枠を選択して、Ｔｏｐ Ｎ個の予選枠を参照枠として決定する。後続に特徴を抽出する時、参照枠のみを考慮してもよい。例えば、囲み枠と参照枠との大きさ関係データのみを抽出して特徴とする。参照枠以外の他の予選枠の大きさ特徴は、囲み枠に比べて、相対的に寸法の差が大きく、他の予選枠に対応する関連特徴のデータはゼロで埋められても良い。

【0037】

また、好ましい一つの実現形態では、前記参照枠と前記囲み枠との寸法に基づいて、寸法関連特徴を生成することは、前記囲み枠と前記参照枠との幅の比率、高さの比率を前記寸法関連特徴とし、或は、前記幅の比率の自然対数及び前記高さの比率の自然対数を前記寸法関連特徴とすることを含む。

【0038】

このような実現形態において、参照枠と囲み枠との大きさ関係に基づいて、大きさや、アスペクト比に関する特徴を生成する。例えば、各予選枠に対して、２つの矩形の幅の比率、２つの矩形の高さの比率を抽出して寸法関連特徴とし、或は、２つの矩形の幅の比率の自然対数及び２つの矩形の高さの比率の自然対数を抽出して寸法関連特徴としてもよい。

【0039】

なお、囲み枠と予選枠とは、矩形に限りではなく、任意の多辺形であってもよい。

【0040】

上記方法で設計された特徴は物体の大きさに関し、元の特徴に加えて、物体の大きさの予測根拠が追加され、物体検出の正確程度をさらに向上させる。

【0041】

図５は、本発明の他の実施例が提供する物体検出方法における予選枠の集合の選択のステップのフローチャートである。図５に示すように、好ましい一つの実現形態では、物体の種別にマッチングする予選枠の集合を予め設定しておくステップＳ４１０と、前記被検出体の所属する物体の種別を予断するステップＳ４２０と、予断された前記物体の種別に応じて、前記物体の種別にマッチングする予選枠の集合を選択するステップＳ４３０と、をさらに含む。

【0042】

このような実現形態では、例えば乗り物種別や、家具種別のような物体の種別に基づいて、物体の種別に関する寸法関連特徴を生成する。種別の予断を加えることにより、物体検出の正確度をさらに向上させることができる。

【0043】

まず、ステップＳ４１０では、各種別にマッチングする予選枠の集合を予め設定しておく。例えば、乗り物種別において、列車は長尺状の矩形である場合があり、そのアスペクト比は非常に大きく、コンパクトカーは一般に幅が３〜４メートル、高さが１．６〜１．８メートル、アスペクト比が１．５〜２．５程度である場合がある。このことから分かるように、乗り物種別における予選枠の矩形のアスペクト比の取りうる値の範囲は比較的に大きい。また、家具種別では、予選枠の矩形のアスペクト比の取りうる値の範囲は相対的に頃合いであり、一般的に、家具のアスペクト比は列車よりもはるかに小さい。

【0044】

次に、ステップＳ４２０では、物体の種別を予断する。例えば、予断される種別は乗り物や、家具等である可能性がある。領域特徴、境界特徴又は深層学習ネットワーク特徴を用いて物体の種別を予断してもよい。

【0045】

その後に、ステップＳ４３０では、予断された物体の種別に応じて、種別にマッチングする予選枠の集合を用いて、物体の種別に関する寸法関連特徴を生成し、物体検出の正確度をさらに向上させる。

【0046】

上記技術案は、物体の大きさに関する特徴を用いて物体検出を行うことにより、即ち、マシン学習モデルにおける元の特徴に加えて物体の大きさの予測根拠を追加することにより、物体検出の正確程度をさらに向上させるという利点又は有益な効果がある。

【0047】

図６は、本発明の一実施例が提供する物体検出装置の構造ブロック図である。図６に示すように、本発明の実施例の物体検出装置は、入力画像における対象物体の囲み枠を取得するための囲み枠取得ユニット１００と、前記囲み枠に基づいて予め設定された予選枠の集合から参照枠を決定するための参照枠決定ユニット２００と、前記参照枠と前記囲み枠との寸法に基づいて、寸法関連特徴を生成するための寸法特徴生成ユニット３００と、マシン学習モデルで前記寸法関連特徴を用いて前記入力画像に対する物体検出を行うための物体検出ユニット４００と、を備える。

【0048】

図７は、本発明のまた一実施例が提供する物体検出装置の参照枠決定ユニットの構造ブロック図である。図７に示すように、好ましい一つの実現形態では、前記参照枠決定ユニット２００は、対象物体の前記囲み枠と前記予選枠の集合における各予選枠との重畳度を算出するための重畳度算出サブユニット２１０と、前記重畳度に応じて前記予選枠から参照枠を選択するための参照枠選択サブユニット２２０と、を備える。

【0049】

また、好ましい一つの実現形態では、前記重畳度算出サブユニット２１０は、前記囲み枠と前記予選枠とをその１つの対応する頂点及び前記頂点に連結される少なくとも一つの対応する辺によって、位置合わせ、前記囲み枠と前記予選枠との位置合わせられた後の共通集合面積と合併集合面積の比率を算出し、前記比率を前記囲み枠と前記予選枠との重畳度とするためにさらに用いられる。

【0050】

また、好ましい一つの実現形態では、前記参照枠選択サブユニット２２０は、前記囲み枠と前記予選枠との重畳度が重畳度閾値よりも大きいと、当該予選枠を参照枠として決定するためにさらに用いられる。

【0051】

また、好ましい一つの実現形態では、前記寸法特徴生成ユニット３００は、前記囲み枠と前記参照枠との幅の比率、高さの比率を前記寸法関連特徴とし、或は、前記幅の比率の自然対数及び前記高さの比率の自然対数を前記寸法関連特徴とするためにさらに用いられる。

【0052】

図８は、本発明のまた一実施例が提供する物体検出装置の構造ブロック図である。図８に示すように、好ましい一つの実現形態では、物体の種別にマッチングする予選枠の集合を予め設定しておき、前記被検出体の所属する物体の種別を予断し、予断された前記物体の種別に応じて、前記物体の種別にマッチングする予選枠の集合を選択するための予選枠集合選択ユニット５００をさらに備える。

【0053】

本発明の実施例の物体検出装置における各ユニットの機能は、上記方法の関連説明を参照すればよく、ここではさらに詳しく説明しない。

【0054】

好ましい一つの構想において、物体検出装置の構造には、プロセッサ及びメモリが含まれ、前記メモリは、物体検出装置による上記物体検出方法の実行をサポートするプログラムを記憶するために用いられ、前記プロセッサは、前記メモリに記憶されたプログラムを実行するように配置される。前記物体検出装置は、物体検出装置と他の機器又は通信ネットワークとを通信させるための通信インターフェースをさらに備えてもよい。

【0055】

図９は、本発明のまた一実施例が提供する物体検出装置の構造ブロック図である。図９に示すように、当該装置は、メモリ１０１とプロセッサ１０２とを備え、メモリ１０１にはプロセッサ１０２で稼働できるコンピュータプログラムが記憶されている。前記プロセッサ１０２は、前記コンピュータプログラムを実行すると、上記実施例における物体検出方法を実現する。前記メモリ１０１とプロセッサ１０２の数は、一つ又は複数であってもよい。

【0056】

当該装置は、周辺機器と通信し、データのインタラクティブ転送を行うための通信インターフェース１０３をさらに備える。

【0057】

メモリ１０１は、高速ＲＡＭメモリを含む可能性もあるし、更に不揮発性メモリ（ｎｏｎ−ｖｏｌａｔｉｌｅ ｍｅｍｏｒｙ）、例えば少なくとも一つの磁気ディスクメモリを備える可能性もある。

【0058】

メモリ１０１、プロセッサ１０２及び通信インターフェース１０３が独立して実現する場合、メモリ１０１、プロセッサ１０２及び通信インターフェース１０３はバスで互いに接続され、且つ相互間の通信を実現することができる。前記バスは業界標準アーキテクチャ（ＩＳＡ、Ｉｎｄｕｓｔｒｙ Ｓｔａｎｄａｒｄ Ａｒｃｈｉｔｅｃｔｕｒｅ）バス、ペリフェラルコンポーネント（ＰＣＩ、Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ）バス又は拡張業界標準アーキテクチャ（ＥＩＳＡ、Ｅｘｔｅｎｄｅｄ Ｉｎｄｕｓｔｒｙ Ｓｔａｎｄａｒｄ Ａｒｃｈｉｔｅｃｔｕｒｅ）バス等であってもよい。前記バスはアドレスバス、データバス、制御バス等に分けられてもよい。示しやすくするために、図９では１本のみの太線で示すが、１本のみのバス又は１つのタイプのみのバスを有すると示さない。

【0059】

選択的に、具体的に実現する時、メモリ１０１、プロセッサ１０２及び通信インターフェース１０３が１枚のチップに統合される場合、メモリ１０１、プロセッサ１０２及び通信インターフェース１０３は内部インターフェースによって相互間の通信を実現することができる。

【0060】

また一態様によれば、本発明の実施例は、プロセッサにより実行されると、上記物体検出方法のいずれか１項に記載の方法を実現するコンピュータプログラムが記憶されたコンピュータ可読記憶媒体を提供する。

【0061】

本明細書の説明において、用語「一実施例」、「いくつかの実施例」、「例」、「具体例」、又は「いくつかの例」等の説明とは、該実施例又は例を参照すると説明した具体的な特徴、構造、材料又は特性が本発明の少なくとも１つの実施例又は例に含まれることを意味する。且つ、説明される具体的な特徴、構造、材料又は特性はいずれか１つ又は複数の実施例又は例で適切な方式で結合してもよい。また、矛盾しない限り、当業者は本明細書に説明される様々な実施例又は例、及び様々な実施例又は例の特徴を結合及び組み合わせすることができる。

【0062】

また、用語の「第一」、「第二」は説明のためのものに過ぎず、相対重要性を指示又は示唆し、又は指示された技術的特徴の数を暗示すると理解すべきではない。従って、「第一」、「第二」で制限された特徴は少なくとも１つの該特徴を明示的又は暗示的に含んでもよい。本発明の説明において、特に明確且つ具体的に制限しない限り、「複数」の意味は２つ又は２つ以上である。

【0063】

当業者であれば、フローチャートにおける、又はここでほかの方式で説明されるいかなる過程又は方法についての説明は、確定の論理機能又は過程を実現するための１つ又は複数のステップの実行可能命令のコードを含むモジュール、セグメント又は部分を示すと理解されてもよく、且つ本発明の好適な実施形態の範囲はほかの実現を含み、指示又は検討される順序通りでなくてもよく、関わる機能に基づいて、ほぼ同時に、又は逆順序で機能を実行してもよいと理解すべきである。

【0064】

フローチャートに示す、又はここでほかの方式で説明される論理及び／又はステップは、例えば、論理機能を実現するための実行可能命令の順序付けリストであると見なされてもよく、具体的にいかなるコンピュータ可読媒体に実現されてもよく、命令実行システム、装置又はデバイス（例えばコンピュータに基づくシステム、プロセッサを含むシステム又は命令実行システム、装置又はデバイスから命令を受信し且つ命令を実行するシステム）の使用に備え、又はこれらの命令実行システム、装置又はデバイスと組み合わせて使用される。本明細書については、「コンピュータ可読媒体」はプログラムを包含、記憶、通信、伝播又は伝送することにより、命令実行システム、装置又はデバイス、又はこれらの命令実行システム、装置又はデバイスと組み合わせて使用されるいかなる装置であってもよい。コンピュータ可読媒体のさらなる具体例（非網羅的リスト）は、１つ又は複数の配線を有する電気接続部（電子装置）、ポータブルコンピュータケース（磁気装置）、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、電気的消去再書込み可能な読出し専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバー装置、及び携帯型読み出し専用メモリ（ＣＤＲＯＭ）を含む。また、コンピュータ可読媒体は更にその上に前記プログラムを印刷できる用紙又はほかの適切な媒体であってもよい理由は、例えば用紙又はほかの媒体を光学的に走査し、次に編集、解釈し、又は必要な時にほかの適切な方式で処理して、電子方式で前記プログラムを取得し、次にそれをコンピュータメモリに記憶することができるためである。

【0065】

本発明の各部分はハードウェア、ソフトウェア、ファームウェア又はそれらの組み合わせで実現されてもよいと理解すべきである。上記実施形態において、複数のステップ又は方法は、メモリに記憶される、且つ適切な命令実行システムで実行するソフトウェア又はファームウェアで実現されてもよい。例えば、ハードウェアで実現する場合は、別の実施形態と同様に、データ信号に対して論理機能を実現する論理ゲート回路を有する離散論理回路、適切な組み合わせ論理ゲート回路を有する確定用途向け集積回路、プログラマブルゲートアレイ（ＰＧＡ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）等の本分野での公知技術のうちのいずれか１つ又はそれらの組み合わせで実現してもよい。

【0066】

当業者であれば、上記実施例方法におけるステップの全部又は一部の実現がプログラムによって関連するハードウェアを命令して完了させてもよく、前記プログラムがコンピュータ可読記憶媒体に記憶されてもよく、実行時に、該プログラムは方法実施例のステップの１つ又はそれらの組み合わせを含むと理解される。

【0067】

また、本発明の各実施例における各機能ユニットが１つの処理モジュールに統合されてもよく、各ユニットが独立して物理的に存在してもよく、２つ又は２つ以上のユニットが１つのモジュールに統合されてもよい。上記統合モジュールはハードウェアのタイプで実現されてもよいし、ソフトウェア機能モジュールのタイプで実現されてもよい。前記統合モジュールはソフトウェア機能モジュールのタイプで実現され、且つ独立した製品として販売又は使用される時、１つのコンピュータ可読記憶媒体に記憶されてもよい。前記記憶媒体は読み出し専用メモリ、磁気ディスク又は光ディスク等であってもよい。

【0068】

以上の説明は、本発明の具体的な実施形態に過ぎず、本発明の保護範囲を制限するためのものではなく、当業者が本発明に開示される技術的範囲内に容易に想到し得る種々の変更又は置換は、いずれも本発明の保護範囲内に含まれるべきである。従って、本発明の保護範囲は特許請求の範囲に準じるべきである。

【図1】

【図2】

【図3】

【図4a】

【図4b】

【図5】

【図6】

【図7】

【図8】

【図9】