特許 7428075 物体検出装置、物体検出方法及び端末機器

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-01-29

(45)【発行日】2024-02-06

(54)【発明の名称】物体検出装置、物体検出方法及び端末機器

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240130BHJP

【ＦＩ】

G06T7/00 350C

【請求項の数】 8

(21)【出願番号】P 2020092988

(22)【出願日】2020-05-28

(65)【公開番号】P2021002333

(43)【公開日】2021-01-07

【審査請求日】2023-02-09

(31)【優先権主張番号】201910542145.7

(32)【優先日】2019-06-21

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(72)【発明者】

【氏名】康 昊

(72)【発明者】

【氏名】タヌ・ジミン

【審査官】伊知地 和之

(56)【参考文献】

【文献】中国特許出願公開第１０９２９９７２２（ＣＮ，Ａ）

【文献】中国特許出願公開第１０９６７０５１７（ＣＮ，Ａ）

【文献】中国特許出願公開第１０９２７１９４６（ＣＮ，Ａ）

【文献】国際公開第２０１９／０７９８９５（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ３／００ － ３／１２

Ｇ０６Ｎ ７／０８ － ９９／００

Ｇ０６Ｔ ７／００ － ７／９０

Ｇ０６Ｖ １０／００ － ２０／９０

Ｇ０６Ｖ ３０／４１８

Ｇ０６Ｖ ４０／１６

Ｇ０６Ｖ ４０／２０

(57)【特許請求の範囲】

【請求項1】

物体検出装置であって、
入力画像における特徴を抽出する特徴抽出部と、
前記特徴抽出部により抽出された特徴に基づいて、前記入力画像における物体を検出する検出部と、を含み、
前記特徴抽出部は、少なくとも１つのシャッフル部を含み、
前記シャッフル部は、複数の畳み込み層を含み、
前記複数の畳み込み層の各畳み込み層の入力チャネルの数と出力チャネルの数とは同一であり、
前記複数の畳み込み層は、少なくとも１つの深さ方向分離可能な畳み込み層を含み、
前記少なくとも１つのシャッフル部は、少なくとも１つの第１シャッフル部及び／又は少なくとも１つの第２シャッフル部を含み、
前記第１シャッフル部は、ストライドが１のシャッフル部であり、
前記第２シャッフル部は、ストライドが２のシャッフル部である、装置。

【請求項2】

前記特徴抽出部は、
前記入力画像を処理する第１畳み込み層と、
前記第１畳み込み層により出力された特徴に対してプーリング処理を行い、プーリング処理された特徴を前記第１シャッフル部又は前記第２シャッフル部に入力するプーリング層と、を含む、請求項１に記載の装置。

【請求項3】

前記第１シャッフル部は、
前記第１シャッフル部に入力された特徴を第１部分特徴と第２部分特徴とに分割する第１チャネル分割モジュールと、
前記第２部分特徴を処理する第２畳み込み層と、
前記第２畳み込み層により処理された第２部分特徴を処理する第１深さ方向分離可能な畳み込み層と、
前記第１深さ方向分離可能な畳み込み層により処理された第２部分特徴を処理する第３畳み込み層と、
前記第１部分特徴と前記第３畳み込み層により処理された第２部分特徴とを併合する第１併合モジュールと、
併合された前記第１部分特徴及び前記第２部分特徴に対してシャッフル処理を行う第１シャッフルモジュールと、を含む、請求項１又は２に記載の装置。

【請求項4】

前記第２シャッフル部に入力された特徴は、第３部分特徴及び第４部分特徴を含み、
前記第２シャッフル部は、
前記第３部分特徴を処理する第２深さ方向分離可能な畳み込み層と、
前記第２深さ方向分離可能な畳み込み層により処理された第３部分特徴を処理する第４畳み込み層と、
前記第４部分特徴を処理する第５畳み込み層と、
前記第５畳み込み層により処理された第４部分特徴を処理する第３深さ方向分離可能な畳み込み層と、
前記第３深さ方向分離可能な畳み込み層により処理された第４部分特徴を処理する第６畳み込み層と、
前記第４畳み込み層により処理された第３部分特徴と前記第６畳み込み層により処理された第４部分特徴とを併合する第２併合モジュールと、
併合された前記第３部分特徴及び前記第４部分特徴に対してシャッフル処理を行う第２シャッフルモジュールと、を含む、請求項１乃至３の何れかに記載の装置。

【請求項5】

前記少なくとも１つのシャッフル部は、複数の前記第１シャッフル部及び複数の前記第２シャッフル部を含み、
複数の前記第１シャッフル部及び複数の前記第２シャッフル部は、所定の規則に従って並び替えられる、請求項１乃至４の何れかに記載の装置。

【請求項6】

前記検出部は、ＹＯＬＯネットワークを含む、請求項１乃至５の何れかに記載の装置。

【請求項7】

請求項１乃至６の何れかに記載の装置を含む、端末機器。

【請求項8】

物体検出方法であって、
特徴抽出部が入力画像における特徴を抽出するステップと、
検出部が前記特徴抽出部により抽出された特徴に基づいて、前記入力画像における物体を検出するステップと、を含み、
前記特徴抽出部は、少なくとも１つのシャッフル部を含み、
前記シャッフル部は、複数の畳み込み層を含み、
前記複数の畳み込み層の各畳み込み層の入力チャネルの数と出力チャネルの数とは同一であり、
前記複数の畳み込み層は、少なくとも１つの深さ方向分離可能な畳み込み層を含み、
前記少なくとも１つのシャッフル部は、少なくとも１つの第１シャッフル部及び／又は少なくとも１つの第２シャッフル部を含み、
前記第１シャッフル部は、ストライドが１のシャッフル部であり、
前記第２シャッフル部は、ストライドが２のシャッフル部である、方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報技術分野に関する。

【背景技術】

【0002】

近年、深層学習（ディープラーニング）により、コンピュータービジョンの分野の研究は大きな進歩を遂げている。深層学習とは、階層型のニューラルネットワークに様々な機械学習アルゴリズムを適用して画像やテキストなどの様々な問題を解決するためのアルゴリズムの集合を意味する。特徴学習は、深層学習のコアとして、階層型のニューラルネットワークを通じて階層型の特徴情報を取得することで、特徴を手動で設計する必要があるという従来の重要な問題を解決することを目的とする。

【0003】

現在、普及している深層学習方法は幾つかがあり、例えばＹＯＬＯネットワークは、物体の認識と検出のための有望な深層学習方法である。例えば、ｄａｒｋｎｅｔ５３をバックボーンネットワーク構造として有するＹＯＬＯ－Ｄａｒｋｎｅｔ５３ネットワークは、マルチスケールの物体検出と優れた分類器を有するため、シングルステージ（ｓｉｎｇｌｅ ｓｔａｇｅ）に比べて、処理速度が速く、認識精度が高い。ここで、ｄａｒｋｎｅｔ５３構造は、特徴の抽出のために用いられる。

【0004】

なお、上述した技術背景の説明は、本発明の技術案を明確、完全に理解させるための説明であり、当業者を理解させるために記述されているものである。これらの技術案は、単なる本発明の背景技術部分として説明されたものであり、当業者により周知されたものではない。

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかし、例えばＹＯＬＯ－Ｄａｒｋｎｅｔ５３ネットワークなどの認識精度の高いニューラルネットワークは、広くて深い層を有するため、プロセッサへのメモリと処理速度の要件が高い。例えば、ＹＯＬＯ－Ｄａｒｋｎｅｔ５３ネットワークでは、１秒あたりに実行される演算の回数（ＦＬＯＰｓ：ＦＬｏａｔｉｎｇ ｐｏｉｎｔ Ｏｐｅｒａｔｉｏｎｓ Ｐｅｒ Ｓｅｃｏｎｄ）が７３９．８Ｍであり、中央処理装置（ＣＰＵ：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）での処理速度が１フレームあたり１３７５．８ｍｓであり、グラフィック処理装置（ＧＰＵ：Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）での処理速度が１フレームあたり３７．０ｍｓであることが要求されている。例えば車載デバイスなどの端末機器では、約１００ＭのＦＬＯＰｓにしか対応できない。このため、現在の認識精度の高いニューラルネットワークは、モバイルデバイスに適用できない場合がある。

【0006】

本発明の実施例は、物体検出装置、物体検出方法及び端末機器を提供する。特徴抽出のためのシャッフル部における全ての畳み込み層の入力チャネルと出力チャネルの数が同一であるため、特徴の拡張及び圧縮を行う必要がなく、プロセッサへのメモリと性能の要件を軽減し、処理速度を向上させることができる。また、該シャッフル部が少なくとも１つの深さ方向分離可能な畳み込み層を有するため、ＦＬＯＰｓなどのプロセッサへのメモリと性能の要件を大幅に軽減すると共に、ＹＯＬＯ－Ｄａｒｋｎｅｔ５３などのネットワークに比べて、認識精度を略維持しながらプロセッサへの要件を大幅に軽減することができる。従って、軽量であり、処理速度が速く、且つ認識精度が高い検出方法を提供できるため、メモリ及び性能が限られた端末機器に適用することができ、優れた認識効果を得ることができる。

【課題を解決するための手段】

【0007】

本発明の実施例の第１態様では、物体検出装置であって、入力画像における特徴を抽出する特徴抽出部と、前記特徴抽出部により抽出された特徴に基づいて、前記入力画像における物体を検出する検出部と、を含み、前記特徴抽出部は、少なくとも１つのシャッフル部を含み、前記シャッフル部は、複数の畳み込み層を含み、前記複数の畳み込み層の各畳み込み層の入力チャネルの数と出力チャネルの数とは同一であり、前記複数の畳み込み層は、少なくとも１つの深さ方向分離可能な畳み込み層を含む、装置を提供する。

【0008】

本発明の実施例の第２態様では、本発明の実施例の第１態様に記載の装置を含む、端末機器を提供する。

【0009】

本発明の実施例の第３態様では、物体検出方法であって、特徴抽出部が入力画像における特徴を抽出するステップ、検出部が前記特徴抽出部により抽出された特徴に基づいて、前記入力画像における物体を検出するステップと、を含み、前記特徴抽出部は、少なくとも１つのシャッフル部を含み、前記シャッフル部は、複数の畳み込み層を含み、前記複数の畳み込み層の各畳み込み層の入力チャネルの数と出力チャネルの数とは同一であり、前記複数の畳み込み層は、少なくとも１つの深さ方向分離可能な畳み込み層を含む、方法を提供する。

【0010】

本発明の有利な効果は以下の通りである。特徴抽出のためのシャッフル部における全ての畳み込み層の入力チャネルと出力チャネルの数が同一であるため、特徴の拡張及び圧縮を行う必要がなく、プロセッサへのメモリと性能の要件を軽減し、処理速度を向上させることができる。また、該シャッフル部が少なくとも１つの深さ方向分離可能な畳み込み層を有するため、ＦＬＯＰｓなどのプロセッサへのメモリと性能の要件を大幅に軽減すると共に、ＹＯＬＯ－Ｄａｒｋｎｅｔ５３などのネットワークに比べて、認識精度を略維持しながらプロセッサへの要件を大幅に軽減することができる。従って、軽量であり、処理速度が速く、且つ認識精度が高い検出方法を提供できるため、メモリ及び性能が限られた端末機器に適用することができ、優れた認識効果を得ることができる。

【0011】

本発明の特定の実施形態は、後述の説明及び図面に示すように、詳細に開示され、本発明の原理を採用されることが可能な方式を示している。なお、本発明の実施形態は、範囲上には限定されるものではない。本発明の実施形態は、添付されている特許請求の範囲の主旨及び内容の範囲内、各種の改変、修正、及び均等的なものが含まれる。

【0012】

ある一つの実施形態に説明及び又は示されている特徴は、同一又は類似の方式で一つ又は多くの他の実施形態に使用されてもよく、他の実施形態における特徴と組み合わせてもよく、他の実施形態における特徴を代替してもよい。

【0013】

なお、用語「含む／有する」は、本文に使用される際に、特徴、要素、ステップ又は構成要件の存在を意味し、一つ又は複数の他の特徴、要素、ステップ又は構成要件の存在又は追加を排除するものではない。

【図面の簡単な説明】

【0014】

ここで含まれる図面は、本発明の実施例を理解させるためのものであり、本明細書の一部を構成し、本発明の実施例を例示するためのものであり、文言の記載と合わせて本発明の原理を説明する。なお、ここに説明される図面は、単なる本発明の実施例を説明するためのものであり、当業者にとって、これらの図面に基づいて他の図面を容易に得ることができる。

【図1】本発明の実施例１に係る物体検出装置を示す図である。

【図2】本発明の実施例１に係る物体検出装置１０による入力画像の検出結果を示す図である。

【図3】本発明の実施例１に係る特徴抽出部１００を示す図である。

【図4】本発明の実施例１に係る第１シャッフル部１０３を示す図である。

【図5】本発明の実施例１に係る第２シャッフル部１０４を示す図である。

【図6】本発明の実施例２に係る端末機器を示す図である。

【図7】本発明の実施例２に係る端末機器のシステム構成を示すブロック図である。

【図8】本発明の実施例３に係る物体検出方法を示す図である。

【発明を実施するための形態】

【0015】

本発明の上記及びその他の特徴は、図面及び下記の説明により明確になる。明細書及び図面では、本発明の特定の実施形態、即ち本発明の原則に従う一部の実施形態を表すものを公開している。なお、本発明は説明される実施形態に限定されず、本発明は、特許請求の範囲内の全ての変更、変形及び均等なものを含む。

【0016】

＜実施例１＞
本発明の実施例は物体検出装置を提供する。図１は本発明の実施例１に係る物体検出装置を示す図である。

【0017】

図１に示すように、物体検出装置１０は、特徴抽出部１００及び検出部２００を含む。

【0018】

特徴抽出部１００は、入力画像における特徴を抽出する。

【0019】

検出部２００は、特徴抽出部１００により抽出された特徴に基づいて、該入力画像における物体を検出する。

【0020】

ここで、特徴抽出部１００は、少なくとも１つのシャッフル部（ｓｈｕｆｆｌｅ ｕｎｉｔ）を含み、シャッフル部は、複数の畳み込み層を含み、該複数の畳み込み層の各畳み込み層の入力チャネルの数と出力チャネルの数とは同一であり、該複数の畳み込み層は、少なくとも１つの深さ方向分離可能な畳み込み層を含む。

【0021】

図２は本発明の実施例１に係る物体検出装置１０による入力画像の検出結果を示す図である。図２に示すように、物体検出装置１０は、画像における各物体を正確に検出することができる。

【0022】

本実施例によれば、特徴抽出のためのシャッフル部における全ての畳み込み層の入力チャネルと出力チャネルの数が同一であるため、特徴の拡張及び圧縮を行う必要がなく、プロセッサへのメモリと性能の要件を軽減し、処理速度を向上させることができる。また、該シャッフル部が少なくとも１つの深さ方向分離可能な畳み込み層を有するため、ＦＬＯＰｓなどのプロセッサへのメモリと性能の要件を大幅に軽減すると共に、ＹＯＬＯ－Ｄａｒｋｎｅｔ５３などのネットワークに比べて、認識精度を略維持しながらプロセッサへの要件を大幅に軽減することができる。従って、軽量であり、処理速度が速く、且つ認識精度が高い検出方法を提供できるため、メモリ及び性能が限られた端末機器に適用することができ、優れた認識効果を得ることができる。

【0023】

本実施例では、該入力画像は、リアルタイムで取得された画像であってもよいし、予め取得された画像であってもよい。例えば、該入力画像は、車載デバイスにより撮影されたビデオ画像であり、各入力画像は該ビデオ画像の１つのフレームに対応する。

【0024】

本実施例では、特徴抽出部１００は入力画像における特徴を抽出する。特徴抽出部１００は、少なくとも１つのシャッフル部を含み、シャッフル部は、複数の畳み込み層を含み、該複数の畳み込み層の各畳み込み層の入力チャネルの数と出力チャネルの数とは同一であり、該複数の畳み込み層は、少なくとも１つの深さ方向分離可能な畳み込み（ｄｅｐｔｈ－ｗｉｓｅ ｓｅｐａｒａｂｌｅ ｃｏｎｖｏｌｕｔｉｏｎ）層を含む。

【0025】

本実施例では、該少なくとも１つのシャッフル部は、少なくとも１つの第１シャッフル部及び／又は少なくとも１つの第２シャッフル部を含んでもよい。ここで、第１シャッフル部は、ストライド（ｓｔｒｉｄｅ）が１のシャッフル部であり、第２シャッフル部は、ストライドが２のシャッフル部である。

【0026】

以下は、本実施例の特徴抽出部１００の構成を例示的に説明する。

【0027】

図３は本発明の実施例１に係る特徴抽出部１００を示す図である。図３に示すように、特徴抽出部１００は、第１畳み込み層１０１、プーリング層１０２、複数の第１シャッフル部１０３、及び複数の第２シャッフル部１０４を含む。

【0028】

第１畳み込み層１０１は、入力画像を処理する。

【0029】

プーリング層１０２は、第１畳み込み層１０１により出力された特徴に対してプーリング処理を行う。

【0030】

本実施例では、第１畳み込み装置及びプーリング層１０２は、従来の構造を用いてもよい。

【0031】

本実施例では、第１シャッフル部１０３及び第２シャッフル部１０４の数及び並び替えの順序は、実際の需要に応じて設定されてもよい。言い換えれば、実際の需要に応じて所定の規則を決定し、該所定の規則に従って第１シャッフル部１０３及び第２シャッフル部１０４の数及び並び替えの順序を決定してもよい。

【0032】

図３に示すように、「タイプ」（ｔｙｐｅ）は特徴抽出部の各層のタイプを表し、「チャネルパラメータ」（ｆｉｌｔｅｒｓ）はチャネルの大きさを表し、「サイズ」（ｓｉｚｅ）は各層により処理される特徴マップのサイズを表し、「ストライド」（ｓｔｒｉｄｅ）は各層のストライドを表し、「出力」（ｏｕｔｐｕｔ）は出力された特徴のサイズを表す。

【0033】

本実施例では、各層のチャネルパラメータ、サイズ、ストライド及び出力特徴のサイズは、実際の需要に応じて決定されてもよい。

【0034】

また、図３に示すように、数字と「×」の組み合わせは該層の繰り返し配置の数を表し、例えば、「７×」は対応する層が７個繰り返し配置されていることを表し、「３×」は対応する層が３個繰り返し配置されていることを表す。

【0035】

図３に示すように、第１畳み込み層１０１は入力画像に対して特徴抽出を行い、抽出された特徴はプーリング層１０２に入力されてプーリング処理が行われ、プーリング処理された特徴は、順序に従って並び替えられた複数の第１シャッフル部１０３及び複数の第２シャッフル部１０４に入力されてシャッフル処理が行われ、抽出された特徴は、検出を行うように検出部２００に出力される。

【0036】

以下は、第１シャッフル部１０３及び第２シャッフル部１０４の構成をそれぞれ例示的に説明する。

【0037】

図４は本発明の実施例１に係る第１シャッフル部１０３を示す図である。図４に示すように、第１シャッフル部１０３は、第１チャネル分割モジュール４０１、第２畳み込み層４０２、第１深さ方向分離可能な畳み込み層４０３、第３畳み込み層４０４、第１併合モジュール４０５、及び第１シャッフルモジュール４０６を含む。

【0038】

第１チャネル分割モジュール４０１は、第１シャッフル部１０３に入力された特徴を第１部分特徴と第２部分特徴とに分割する。

【0039】

第２畳み込み層４０２は、第２部分特徴を処理する。

【0040】

第１深さ方向分離可能な畳み込み層４０３は、第２畳み込み層４０２により処理された第２部分特徴を処理する。

【0041】

第３畳み込み層４０４は、第１深さ方向分離可能な畳み込み層４０３により処理された第２部分特徴を処理する。

【0042】

第１併合モジュール４０５は、第１部分特徴と第３畳み込み層４０４により処理された第２部分特徴とを併合する。

【0043】

第１シャッフルモジュール４０６は、併合された第１部分特徴及び第２部分特徴に対してシャッフル処理を行う。

【0044】

図４に示すように、入力された特徴は、第１チャネル分割モジュール４０１により２つの部分、即ち第１部分特徴と第２部分特徴に分割される。第１部分特徴は、処理が何れも行われず、左の分岐路を介して第１併合モジュール４０５に入力される。第２部分特徴は、右の分岐路に入り、まず１×１の第２畳み込み層４０２に入力される。第２畳み込み層４０２により出力された特徴は、正規化と活性化の処理が行われた後に、３×３の第１深さ方向分離可能な畳み込み層４０３に入力される。第１深さ方向分離可能な畳み込み層４０３により取得された特徴は、正規化が行われた後に、１×１の第３畳み込み層４０４に入力される。第３畳み込み層４０４により出力された特徴は、正規化と活性化の処理が行われた後に、第１併合モジュール４０５に出力される。第１併合モジュール４０５は、第１部分特徴と第２部分特徴とを併合し、併合された特徴を第１シャッフルモジュール４０６に入力する。第１シャッフルモジュール４０６は、併合された第１部分特徴及び第２部分特徴に対してシャッフル処理を行って出力する。

【0045】

図５は本発明の実施例１に係る第２シャッフル部１０４を示す図である。図５に示すように、入力特徴は、第３部分特徴及び第４部分特徴を含み、第２シャッフル部１０４は、第２深さ方向分離可能な畳み込み層５０１、第４畳み込み層５０２、第５畳み込み層５０３、第３深さ方向分離可能な畳み込み層５０４、第６畳み込み層５０５、第２併合モジュール５０６、及び第２シャッフルモジュール５０７を含む。

【0046】

第２深さ方向分離可能な畳み込み層５０１は、第３部分特徴を処理する。

【0047】

第４畳み込み層５０２は、第２深さ方向分離可能な畳み込み層５０１により処理された第３部分特徴を処理する。

【0048】

第５畳み込み層５０３は、第４部分特徴を処理する。

【0049】

第３深さ方向分離可能な畳み込み層５０４は、第５畳み込み層５０３により処理された第４部分特徴を処理する。

【0050】

第６畳み込み層５０５は、第３深さ方向分離可能な畳み込み層５０４により処理された第４部分特徴を処理する。

【0051】

第２併合モジュール５０６は、第４畳み込み層５０２により処理された第３部分特徴と第６畳み込み層５０５により処理された第４部分特徴とを併合する。

【0052】

第２シャッフルモジュール５０７は、併合された第３部分特徴及び第４部分特徴に対してシャッフル処理を行う。

【0053】

図５に示すように、入力された第３部分特徴は、左の分岐路に入り、まず３×３の第２深さ方向分離可能な畳み込み層５０１に入力される。第２深さ方向分離可能な畳み込み層５０１により出力された特徴は、正規化が行われた後に、１×１の第４畳み込み層５０２に入力される。第４畳み込み層５０２により出力された特徴は、正規化と活性化が行われた後に、第２併合モジュール５０６に出力される。入力された第４部分特徴は、右の分岐路に入り、まず１×１の第５畳み込み層５０３に入力される。第５畳み込み層５０３により出力された特徴は、正規化と活性化が行われた後に、３×３の第３深さ方向分離可能な畳み込み層５０４に入力される。第３深さ方向分離可能な畳み込み層５０４により出力された特徴は、正規化が行われた後に、１×１の第６畳み込み層５０５に入力される。第６畳み込み層５０５により出力された特徴は、正規化と活性化が行われた後に、第２併合モジュール５０６に出力される。第２併合モジュール５０６は、第３部分特徴と第４部分特徴とを併合し、併合された特徴を第２シャッフルモジュール５０７に入力する。第２シャッフルモジュール５０７は、併合された第３部分特徴及び第４部分特徴に対してシャッフル処理を行って出力する。

【0054】

本実施例では、第１畳み込み層１０１、第２畳み込み層４０２、第３畳み込み層４０４、第４畳み込み層５０２、第５畳み込み層５０３及び第６畳み込み層５０５は、通常の畳み込み層であってもよい。第１深さ方向分離可能な畳み込み層４０３、第２深さ方向分離可能な畳み込み層５０１及び第３深さ方向分離可能な畳み込み層５０４は、従来の深さ方向に分離可能な畳み込み層であってもよい。

【0055】

上記の各畳み込み層の入力チャネルと出力チャネルの数が同一であり、即ち各畳み込み層が特徴の拡張及び圧縮を行う必要がないため、プロセッサへのメモリと性能の要件を軽減し、処理速度を向上させることができる。

【0056】

以上は本実施例の特徴抽出部１００の構成を例示的に説明した。

【0057】

特徴抽出部１００により入力画像から特徴が抽出された後に、検出部２００は、特徴抽出部１００により抽出された特徴に基づいて、該入力画像における物体を検出する。

【0058】

本実施例では、検出部２００は従来のネットワーク構造を用いてもよく、例えば、検出部２００はＹＯＬＯ（Ｙｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ）ネットワークを含む。ＹＯＬＯネットワークは、抽出された特徴に基づいて、入力画像における物体を検出する。ＹＯＬＯネットワークによる物体検出の原理及びプロセスは、従来技術を参照してもよく、ここでその説明を省略する。

【0059】

表１は、本発明の実施例の物体検出装置と従来のネットワークとのパラメータの対比である。

【表1】

【0060】

表１に示すように、１列目は従来のＹＯＬＯ－Ｄａｒｋｎｅｔ５３のパラメータであり、２列目は本実施例の物体検出装置１０のパラメータであり、３列目は本実施例の物体検出装置１０’のパラメータである。ここで、物体検出装置１０と物体検出装置１０’とは、構造が同一であるが、パラメータが異なり、例えば、物体検出装置１０’のチャネルパラメータは物体検出装置１０より小さい。ＦＬＯＰｓは１秒あたりに実行される演算の回数を表し、ＣＰＵはＣＰＵでの処理速度を表し、ＧＰＵはＧＰＵでの処理速度を表し、ｍＡＰは平均認識正確度を表し、ＡＰｐｅｒｓｏｎは人物の認識正確度を表し、ＡＰｂｉｃｙｃｌｅは自転車の認識正確度を表し、ＡＰｃａｒは車の認識正確度を表し、ＡＰｂｕｓはバスの認識正確度を表し、ＡＰｖａｎは箱型のトラックの認識正確度を表し、ＡＰｔｒｕｃｋはフラット型のトラックの認識正確度を表す。表１から分かるように、本実施例の物体検出装置１０及び物体検出装置１０’は、ＹＯＬＯ－Ｄａｒｋｎｅｔ５３ネットワークと略同一の認識正確度を維持しながら、ＹＯＬＯ－Ｄａｒｋｎｅｔ５３ネットワークに比べてプロセッサへのメモリ及び性能の要件を大幅に軽減することができる。

【0061】

本実施例によれば、特徴抽出のためのシャッフル部における全ての畳み込み層の入力チャネルと出力チャネルの数が同一であるため、特徴の拡張及び圧縮を行う必要がなく、プロセッサへのメモリと性能の要件を軽減し、処理速度を向上させることができる。また、該シャッフル部が少なくとも１つの深さ方向分離可能な畳み込み層を有するため、ＦＬＯＰｓなどのプロセッサへのメモリと性能の要件を大幅に軽減すると共に、ＹＯＬＯ－Ｄａｒｋｎｅｔ５３などのネットワークに比べて、認識精度を略維持しながらプロセッサへの要件を大幅に軽減することができる。従って、軽量であり、処理速度が速く、且つ認識精度が高い検出方法を提供できるため、メモリ及び性能が限られた端末機器に適用することができ、優れた認識効果を得ることができる。

【0062】

＜実施例２＞
本発明の実施例は端末機器をさらに提供し、図６は本発明の実施例２に係る端末機器を示す図である。図６に示すように、端末機器６００は物体検出装置６０１を含み、該物体検出装置６０１は実施例１に記載されたものと同じであり、ここでその説明を省略する。

【0063】

図７は本発明の実施例２に係る端末機器のシステム構成を示すブロック図である。図７に示すように、端末機器７００は、中央処理装置（中央制御装置）７０１及び記憶装置７０２を含んでもよく、記憶装置７０２は中央処理装置７０１に接続される。該図は単なる例示的なものであり、電気通信機能又は他の機能を実現するように、他の種類の構成を用いて、該構成を補充又は代替してもよい。

【0064】

図７に示すように、端末機器７００は、入力部７０３、ディスプレイ７０４及び電源７０５をさらに含んでもよい。

【0065】

１つの態様では、実施例１の物体検出装置の機能は中央処理装置７０１に統合されてもよい。ここで、中央処理装置７０１は、特徴抽出部により入力画像における特徴を抽出し、検出部により該特徴抽出部により抽出された特徴に基づいて、該入力画像における物体を検出するように構成されてもよい。ここで、該特徴抽出部は、少なくとも１つのシャッフル部を含み、該シャッフル部は、複数の畳み込み層を含み、該複数の畳み込み層の各畳み込み層の入力チャネルの数と出力チャネルの数とは同一であり、該複数の畳み込み層は、少なくとも１つの深さ方向分離可能な畳み込み層を含む。

【0066】

例えば、該少なくとも１つのシャッフル部は、少なくとも１つの第１シャッフル部及び／又は少なくとも１つの第２シャッフル部を含み、該第１シャッフル部は、ストライドが１のシャッフル部であり、該第２シャッフル部は、ストライドが２のシャッフル部である、請求項９に記載の方法。

【0067】

もう１つの態様では、実施例１に記載された物体検出装置は中央処理装置７０１とそれぞれ構成されてもよく、例えば該物体検出装置は中央処理装置７０１に接続されたチップであり、中央処理装置７０１の制御により該物体検出装置の機能を実現してもよい。

【0068】

本実施例における端末機器７００は、図７に示されている全ての構成部を含まなくてもよい。

【0069】

図７に示すように、中央処理装置７０１は、コントローラ又は操作制御部とも称され、マイクロプロセッサ又は他の処理装置及び／又は論理装置を含んでもよく、中央処理装置７０１は入力を受信し、端末機器７００の各部の操作を制御する。

【0070】

記憶装置７０２は、例えばバッファ、フラッシュメモリ、ハードディスク、移動可能な媒体、発揮性メモリ、不発揮性メモリ、又は他の適切な装置の１つ又は複数であってもよい。また、中央処理装置７０１は、記憶装置７０２に記憶されたプログラムを実行し、情報の記憶又は処理などを実現してもよい。他の部材は従来技術に類似するため、ここでその説明が省略される。端末機器７００の各部は、本発明の範囲から逸脱することなく、特定のハードウェア、ファームウェア、ソフトウェア又はその組み合わせによって実現されてもよい。

【0071】

本実施例によれば、特徴抽出のためのシャッフル部における全ての畳み込み層の入力チャネルと出力チャネルの数が同一であるため、特徴の拡張及び圧縮を行う必要がなく、プロセッサへのメモリと性能の要件を軽減し、処理速度を向上させることができる。また、該シャッフル部が少なくとも１つの深さ方向分離可能な畳み込み層を有するため、ＦＬＯＰｓなどのプロセッサへのメモリと性能の要件を大幅に軽減すると共に、ＹＯＬＯ－Ｄａｒｋｎｅｔ５３などのネットワークに比べて、認識精度を略維持しながらプロセッサへの要件を大幅に軽減することができる。従って、軽量であり、処理速度が速く、且つ認識精度が高い検出方法を提供できるため、メモリ及び性能が限られた端末機器に適用することができ、優れた認識効果を得ることができる。

【0072】

＜実施例３＞
本発明の実施例は物体検出方法をさらに提供し、該物体検出方法は実施例１に記載された物体検出装置に対応する。図８は本発明の実施例３に係る物体検出方法を示す図である。図８に示すように、該方法は以下のステップを含む。

【0073】

ステップ８０１：特徴抽出部は入力画像における特徴を抽出する。

【0074】

ステップ８０２：検出部は該特徴抽出部により抽出された特徴に基づいて、該入力画像における物体を検出する。

【0075】

ここで、特徴抽出部は、少なくとも１つのシャッフル部を含み、シャッフル部は、複数の畳み込み層を含み、複数の畳み込み層の各畳み込み層の入力チャネルの数と出力チャネルの数とは同一であり、複数の畳み込み層は、少なくとも１つの深さ方向分離可能な畳み込み層を含む。

【0076】

本実施例では、上記の各ステップの具体的な実現方法は実施例１に記載されたものと同じであり、ここでその説明を省略する。

【0077】

本実施例によれば、特徴抽出のためのシャッフル部における全ての畳み込み層の入力チャネルと出力チャネルの数が同一であるため、特徴の拡張及び圧縮を行う必要がなく、プロセッサへのメモリと性能の要件を軽減し、処理速度を向上させることができる。また、該シャッフル部が少なくとも１つの深さ方向分離可能な畳み込み層を有するため、ＦＬＯＰｓなどのプロセッサへのメモリと性能の要件を大幅に軽減すると共に、ＹＯＬＯ－Ｄａｒｋｎｅｔ５３などのネットワークに比べて、認識精度を略維持しながらプロセッサへの要件を大幅に軽減することができる。従って、軽量であり、処理速度が速く、且つ認識精度が高い検出方法を提供できるため、メモリ及び性能が限られた端末機器に適用することができ、優れた認識効果を得ることができる。

【0078】

本発明の実施例は、物体検出装置又は端末機器においてプログラムを実行する際に、コンピュータに、該物体検出装置又は端末機器において上記実施例３に記載の物体検出方法を実行させる、コンピュータ読み取り可能なプログラムをさらに提供する。

【0079】

本発明の実施例は、コンピュータに、物体検出装置又は端末機器において上記実施例３に記載の物体検出方法を実行させるためのコンピュータ読み取り可能なプログラムを記憶する、記憶媒体をさらに提供する。

【0080】

本発明の実施例を参照しながら説明した物体検出装置又は端末機器において実行される物体検出方法は、ハードウェア、プロセッサにより実行されるソフトウェアモジュール、又は両者の組み合わせで実施されてもよい。例えば、図１に示す機能的ブロック図における１つ若しくは複数、又は機能的ブロック図の１つ若しくは複数の組み合わせは、コンピュータプログラムフローの各ソフトウェアモジュールに対応してもよいし、各ハードウェアモジュールに対応してもよい。これらのソフトウェアモジュールは、図８に示す各ステップにそれぞれ対応してもよい。これらのハードウェアモジュールは、例えばフィールド・プログラマブル・ゲートアレイ（ＦＰＧＡ）を用いてこれらのソフトウェアモジュールをハードウェア化して実現されてもよい。

【0081】

ソフトウェアモジュールは、ＲＡＭメモリ、フラッシュメモリ、ＲＯＭメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、レジスタ、ハードディスク、モバイルハードディスク、ＣＤ－ＲＯＭ又は当業者にとって既知の任意の他の形の記憶媒体に位置してもよい。プロセッサが記憶媒体から情報を読み取ったり、記憶媒体に情報を書き込むように該記憶媒体をプロセッサに接続してもよいし、記憶媒体がプロセッサの構成部であってもよい。プロセッサ及び記憶媒体はＡＳＩＣに位置する。該ソフトウェアモジュールは移動端末のメモリに記憶されてもよいし、移動端末に挿入されたメモリカードに記憶されてもよい。例えば、端末機器が比較的に大きい容量のＭＥＧＡ－ＳＩＭカード又は大容量のフラッシュメモリ装置を用いる場合、該ソフトウェアモジュールは該ＭＥＧＡ－ＳＩＭカード又は大容量のフラッシュメモリ装置に記憶されてもよい。

【0082】

図１に記載されている機能的ブロック図における一つ以上の機能ブロックおよび/または機能ブロックの一つ以上の組合せは、本願に記載されている機能を実行するための汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールド・プログラマブル・ゲートアレイ（ＦＰＧＡ）又は他のプログラマブル論理デバイス、ディスクリートゲートまたはトランジスタ論理装置、ディスクリートハードウェアコンポーネント、またはそれらの任意の適切な組み合わせで実現されてもよい。図１に記載されている機能的ブロック図における一つ以上の機能ブロックおよび/または機能ブロックの一つ以上の組合せは、例えば、コンピューティング機器の組み合わせ、例えばＤＳＰとマイクロプロセッサの組み合わせ、複数のマイクロプロセッサの組み合わせ、ＤＳＰ通信と組み合わせた１つ又は複数のマイクロプロセッサ又は他の任意の構成で実現されてもよい。

【0083】

以上、具体的な実施形態を参照しながら本発明を説明しているが、上記の説明は、例示的なものに過ぎず、本発明の保護の範囲を限定するものではない。本発明の趣旨及び原理を離脱しない限り、本発明に対して各種の変形及び変更を行ってもよく、これらの変形及び変更も本発明の範囲に属する。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】