特許 7546716 物体検出システム及び物体検出補助システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-29

(45)【発行日】2024-09-06

(54)【発明の名称】物体検出システム及び物体検出補助システム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240830BHJP

   G06V 10/82 20220101ALI20240830BHJP

【ＦＩ】

G06T7/00 350C

G06V10/82

【請求項の数】 8

(21)【出願番号】P 2023066790

(22)【出願日】2023-04-17

(65)【公開番号】P2024008828

(43)【公開日】2024-01-19

【審査請求日】2023-04-17

(31)【優先権主張番号】111125826

(32)【優先日】2022-07-08

(33)【優先権主張国・地域又は機関】TW

(73)【特許権者】

【識別番号】508226687

【氏名又は名称】和碩聯合科技股▲ふん▼有限公司

【氏名又は名称原語表記】ＰＥＧＡＴＲＯＮ ＣＯＲＰＯＲＡＴＩＯＮ

【住所又は居所原語表記】５Ｆ．，Ｎｏ．７６，Ｌｉｇｏｎｇ Ｓｔ．， Ｂｅｉｔｏｕ Ｄｉｓｔ．， Ｔａｉｐｅｉ Ｃｉｔｙ １１２， Ｔａｉｗａｎ

(74)【代理人】

【識別番号】100082418

【弁理士】

【氏名又は名称】山口 朔生

(74)【代理人】

【識別番号】100167601

【弁理士】

【氏名又は名称】大島 信之

(74)【代理人】

【識別番号】100201329

【弁理士】

【氏名又は名称】山口 真二郎

(74)【代理人】

【識別番号】100220917

【弁理士】

【氏名又は名称】松本 忠大

(72)【発明者】

【氏名】王文廷

(72)【発明者】

【氏名】曾羽鴻

【審査官】▲広▼島 明芳

(56)【参考文献】

【文献】特開２０１９－０１６２６８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００ ー ７／９０

Ｇ０６Ｖ １０／００ － ２０／９０

(57)【特許請求の範囲】

【請求項1】

１つ又は複数のコマンドが格納されているメモリと、
前記メモリに結合され、前記メモリの前記１つ又は複数のコマンドにアクセスして実行するプロセッサと、を備える物体検出補助システムであって、
前記１つ又は複数のコマンドは、
物体検出ニューラルネットワークが画像の物体検出を行って出力した検出結果パラメータを補助ニューラルネットワークに入力し、前記補助ニューラルネットワークにより処理した後に第１補正係数を出力するステップであって、前記検出結果パラメータが物体情報及び第１信頼値を含むステップと、
前記第１補正係数及び前記検出結果パラメータをベイズ分類器に入力し、第２補正係数を出力するステップと、
前記第２補正係数に基づいて前記第１信頼値を調整して第２信頼値を得、前記第２信頼値を調整後の前記検出結果パラメータの前記第１信頼値とするステップと、
を含み、
前記物体情報は、物体フレーム及び物体タイプを含み、前記画像は、複数のブロックに区画され、前記ベイズ分類器は、トレーニングにより、前記物体フレームの位置する前記ブロックで物体が検出された場合に前記物体が前記物体タイプ、前記第１信頼値及び前記第１補正係数と合わせる条件付き確率である確率値を持つようになり、前記確率値に基づいて前記第２補正係数を生成する、
物体検出補助システム。

【請求項2】

前記物体フレームは、物体座標、物体幅及び物体高さを含む請求項１に記載の物体検出補助システム。

【請求項3】

前記第２補正係数が閾値範囲内にある場合、現在の前記物体情報、前記第１信頼値及び前記第１補正係数をトレーニングデータとして前記確率値を更新する請求項１に記載の物体検出補助システム。

【請求項4】

前記第２信頼値は、前記第１信頼値と前記第２補正係数との積である請求項１に記載の物体検出補助システム。

【請求項5】

１つ又は複数のコマンドが格納されているメモリと、
前記メモリに結合され、前記メモリの前記１つ又は複数のコマンドにアクセスして実行するプロセッサと、を備える物体検出システムであって、
前記１つ又は複数のコマンドは、
物体検出ニューラルネットワークにより画像の物体検出を行い、検出結果パラメータを補助ニューラルネットワークに出力するステップであって、前記検出結果パラメータが物体情報及び第１信頼値を含むステップと、
前記補助ニューラルネットワークにより前記検出結果パラメータを処理し、第１補正係数を出力するステップと、
前記第１補正係数及び前記検出結果パラメータをベイズ分類器に入力し、第２補正係数を出力するステップと、
前記第２補正係数に基づいて前記第１信頼値を調整して第２信頼値を得、前記第２信頼値を調整後の前記検出結果パラメータの前記第１信頼値とするステップと、
を含み、
前記物体情報は、物体フレーム及び物体タイプを含み、前記画像は、複数のブロックに区画され、前記ベイズ分類器は、トレーニングにより、前記物体フレームの位置する前記ブロックで物体が検出された場合に前記物体が前記物体タイプ、前記第１信頼値及び前記第１補正係数と合わせる条件付き確率である確率値を持つようになり、前記確率値に基づいて前記第２補正係数を生成する、
物体検出システム。

【請求項6】

前記物体フレームは、物体座標、物体幅及び物体高さを含む請求項５に記載の物体検出システム。

【請求項7】

前記第２補正係数が閾値範囲内にある場合、現在の前記物体情報、前記第１信頼値及び前記第１補正係数をトレーニングデータとして前記確率値を更新する請求項５に記載の物体検出システム。

【請求項8】

前記第２信頼値は、前記第１信頼値と前記第２補正係数との積である請求項５に記載の物体検出システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、物体検出技術、特に、信頼値の補正に関する物体検出システム及び物体検出補助システムに関する。

【背景技術】

【0002】

物体検出結果における信頼値（ｃｏｎｆｉｄｅｎｃｅ）は、一般的に、物体検出モデルを調整することによって信頼値の精度を向上させることができる。例えば、物体検出モデルのトレーニングデータセットの追加又は調整、物体検出モデルのトレーニングのハイパーパラメータ（ｈｙｐｅｒｐａｒａｍｅｔｅｒｓ）の調整、及び物体検出モデルのバックボーン（ｂａｃｋｂｏｎｅ）の調整などによって、信頼値の精度を向上させる。

【発明の概要】

【発明が解決しようとする課題】

【0003】

しかしながら、物体検出モデルを調整するには、多くの時間を要することが多い。また、物体検出モデルの調整後にのみ、信頼値の精度が確実に向上したか否かを判断することができる。つまり、物体検出モデルの調整前は、物体検出モデルの調整後に信頼値の精度を確実に向上させることを確保できない。このため、ある程度の精度を持つ信頼値は、物体検出モデルの調整によってかえって低下する場合がある。

【課題を解決するための手段】

【0004】

上記事情に鑑み、本発明は、物体検出補助システム及び物体検出システムを提供する。物体検出補助システムは、メモリと、プロセッサとを備える。プロセッサは、メモリに結合されている。メモリには、１つ又は複数のコマンドが格納されている。プロセッサは、メモリの１つ又は複数のコマンドにアクセスして実行する。１つ又は複数のコマンドは、物体検出ニューラルネットワークが画像の物体検出を行って出力した検出結果パラメータを補助ニューラルネットワークに入力し、補助ニューラルネットワークにより処理した後に第１補正係数を出力するステップであって、検出結果パラメータが物体情報及び第１信頼値を含むステップと、第１補正係数及び検出結果パラメータをベイズ分類器に入力し、第２補正係数を出力するステップと、第２補正係数に基づいて第１信頼値を調整して最２信頼値を得、第２信頼値を調整後の検出結果パラメータの第１信頼値とするステップと、を含む。

【0005】

物体検出システムは、メモリと、プロセッサとを備える。プロセッサは、メモリに結合されている。メモリには、１つ又は複数のコマンドが格納されている。プロセッサは、メモリの１つ又は複数のコマンドにアクセスして実行する。１つ又は複数のコマンドは、物体検出ニューラルネットワークにより画像の物体検出を行い、検出結果パラメータを補助ニューラルネットワークに出力するステップであって、検出結果パラメータが物体情報及び第１信頼値を含むステップと、補助ニューラルネットワークにより検出結果パラメータを処理し、第１補正係数を出力するステップと、第１補正係数及び検出結果パラメータをベイズ分類器に入力し、第２補正係数を出力するステップと、第２補正係数に基づいて第１信頼値を調整して第２信頼値を得、第２信頼値を調整後の検出結果パラメータの第１信頼値とするステップと、を含む。

【発明の効果】

【0006】

以上をまとめると、本発明の実施例によれば、物体検出ニューラルネットワークを調整することなく、物体検出ニューラルネットワークによって出力された検出結果パラメータの第１信頼値を調整し、調整後の第１信頼値（即ち、第２信頼値）の精度を向上させることができる。また、所要時間を短縮できるとともに、第２信頼値の精度の維持又は向上を確保できる。

【図面の簡単な説明】

【0007】

【図1】本発明の若干の実施例による物体検出補助システム及び物体検出システムの模式図である。

【図2】本発明の若干の実施例によるプロセッサのモジュールの模式図である。

【図3】本発明の第１実施例に係る物体検出の信頼値の調整方法のフローチャートである。

【図4】本発明の第２実施例に係る物体検出の信頼値の調整方法のフローチャートである。

【発明を実施するための形態】

【0008】

図１を参照し、図１は、本発明の若干の実施例による物体検出補助システム及び物体検出システムの模式図である。物体検出補助システム及び物体検出システムは、メモリ１１と、プロセッサ１３とを備える。プロセッサ１３は、メモリ１１に結合されている。メモリ１１には、１つ又は複数のコマンドが格納されている。プロセッサ１３は、メモリ１１の１つ又は複数のコマンドにアクセスして実行することで本発明の物体検出の信頼値の調整方法を実行する。

【0009】

若干の実施例では、メモリ１１は、例えば、従来のハードディスク、ソリッドステートディスク、フラッシュメモリ、光ディスクなどであるが、これらに限定されない。プロセッサ１３は、例えば、中央処理装置、マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ，Ａｐｐｌｉｃａｔｉｏｎ－ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、又はシステムオンチップ（ＳＯＣ，Ｓｙｓｔｅｍ ｏｎ ａ Ｃｈｉｐ）などの演算回路であるが、これらに限定されない。

【0010】

図２を参照し、図２は、本発明の若干の実施例によるプロセッサ１３のモジュールの模式図である。プロセッサ１３は、幾つかのアルゴリズムで演算することによって様々な異なる機能モジュールを実現及び実行し、メモリ１１の１つ又は複数のコマンドを機能モジュールと組み合わせて動作させることによって本発明の物体検出の信頼値の調整方法を実行することができる。図２に示すように、一例では、物体検出ニューラルネットワーク１５の出力データ（即ち、後述する検出結果パラメータ）を物体検出補助システムのプロセッサ１３に出力するために、補助ニューラルネットワーク１７、ベイズ分類器（Ｂａｙｅｓｉａｎ ｃｌａｓｓｉｆｉｅｒ）１８及び乗算器１９などの機能モジュールは、物体検出補助システムのプロセッサ１３によって実施され、物体検出ニューラルネットワーク１５は、他の演算装置によって実施されてもよい。別の例では、物体検出ニューラルネットワーク１５、補助ニューラルネットワーク１７、ベイズ分類器１８及び乗算器１９などの機能モジュールは、いずれも物体検出システムのプロセッサ１３によって実施されてもよい。

【0011】

若干の実施例では、物体検出ニューラルネットワーク１５は、例えば、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ，ＣＮＮ）であるが、これに限定されない。補助ニューラルネットワーク１７は、例えば、全結合ニューラルネットワーク（Ｆｕｌｌｙ－ｃｏｎｎｅｃｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ，ＦＮＮ）であるが、これに限定されない。ベイズ分類器１８は、例えば、ガウシアンナイーブベイズ分類器（Ｇａｕｓｓｉａｎ Ｎａｉｖｅ Ｂａｙｅｓ Ｃｌａｓｓｉｆｉｅｒ）、多項ナイーブベイズ分類器（Ｍｕｌｔｉｎｏｍｉａｌ Ｎａｉｖｅ Ｂａｙｅｓ Ｃｌａｓｓｉｆｉｅｒ）、ベルヌーイナイーブベイズ分類器（Ｂｅｒｎｏｕｌｌｉ Ｎａｉｖｅ Ｂａｙｅｓ Ｃｌａｓｓｉｆｉｅｒ）であるが、これらに限定されない。

【0012】

図３を参照し、図３は、本発明の第１実施例に係る物体検出の信頼値の調整方法のフローチャートである。物体検出補助システムのプロセッサ１３によって実行される１つ又は複数のコマンドは、物体検出の信頼値の調整方法を実現するために、ステップ３０１～３０５を含む。先ず、物体検出補助システムのプロセッサ１３は、物体検出ニューラルネットワーク１５が画像の物体検出を行って出力した検出結果パラメータを補助ニューラルネットワーク１７に入力する。補助ニューラルネットワーク１７は、検出結果パラメータを処理した後に第１補正係数を出力する（ステップＳ３０１）。検出結果パラメータは、画像内で検出された物体の物体情報及び第１信頼値を含む。例えば、物体検出ニューラルネットワーク１５は、第１トレーニングデータセットに基づいてトレーニングされ、物体情報判断論理及び第１信頼値判断論理を決定することができる。物体検出ニューラルネットワーク１５は、物体情報判断論理に基づいて画像内で検出された物体の物体情報を生成し、第１信頼値判断論理に基づいて画像内で検出された物体の第１信頼値を生成する。補助ニューラルネットワーク１７は、第２トレーニングデータセットに基づいてトレーニングされ、第１補正判断論理を決定することができる。補助ニューラルネットワーク１７は、第１補正判断論理に基づいて第１信頼値の１回目の調整に供される第１補正係数を生成し、１回目の調整後の第１信頼値の精度を基本的に向上させる。

【0013】

若干の実施例では、物体情報は、物体フレーム及び物体タイプを含む。物体タイプは、例えば、車両、動物、歩行者などであるが、これらに限定されない。物体フレームは、画像内で検出された物体が画像に占める位置と面積を示す。第１信頼値は、物体検出ニューラルネットワーク１５によって予測された、画像内で検出された物体が物体タイプによって示されるタイプであるか否かの確率であってもよい。若干の実施例では、物体フレームは、物体座標、物体幅及び物体高さを含む。若干の実施例では、物体座標は、画像内で検出された物体の中心点の画像における座標であるが、本発明は、これに限定されず、物体の他の位置を物体座標としてもよく、例えば、物体の左上角の座標を物体座標としてもよい。物体幅は、画像内で検出された物体の横方向の幅である。物体高さは、画像内で検出された物体の縦方向の高さである。若干の実施例では、物体幅及び物体高さは、実際の値として示される以外、物体検出補助システムのプロセッサ１３の処理によってそれぞれ画像の幅に占める割合及び画像の高さに占める割合に変換されてもよい。

【0014】

次に、物体検出補助システムのプロセッサ１３は、第１補正係数及び検出結果パラメータをベイズ分類器１８に入力し、第２補正係数を出力する（ステップＳ３０３）。その後、物体検出補助システムのプロセッサ１３は、第２補正係数に基づいて第１信頼値を調整して第２信頼値２０を得、第２信頼値２０を調整後の検出結果パラメータの第１信頼値とする（ステップＳ３０５）。つまり、プロセッサ１３は、第２信頼値２０を検出結果パラメータにおける新たな第１信頼値とする。このように、画像内で検出された物体が確かに物体タイプによって示されるタイプである（即ち、予測が正しい）場合、第１信頼値を増加させ、画像内で検出された物体が物体タイプによって示されるタイプではない（即ち、フォールスポジティブ（Ｆａｌｓｅ Ｐｏｓｉｔｉｖｅ）の）場合、第１信頼値を低下させて第２信頼値２０を得る。つまり、第２補正係数により、第１信頼値に対して２回目の調整を行うことができ、２回目の調整後の第１信頼値（即ち、第２信頼値２０）の精度をさらに向上させる。

【0015】

若干の実施例では、画像は、複数のブロックに区画され、ベイズ分類器１８は、トレーニングにより確率値Ｐ（Ａ｜Ｂ）を持つようになる。具体的に、ベイズ分類器１８は、ベイズの定理（Ｂａｙｅｓ’ｓ ｔｈｅｏｒｅｍ）に基づいて実現できる。ベイズの定理は、式１に示すことができる。確率値Ｐ（Ａ｜Ｂ）（以下、第１事後確率という）は、物体フレームの位置するブロックで物体が検出された場合に物体が物体タイプ、第１信頼値及び第１補正係数と合わせる条件付き確率である。Ｐ（Ｂ｜Ａ）は、物体が物体タイプ、第１信頼値及び第１補正係数と合わせる場合に物体フレームの位置するブロックで物体が検出される条件付き確率（以下、第２事後確率という）である。Ｐ（Ａ）は、任意の場合に物体が物体タイプ、第１信頼値及び第１補正係数と合わせる確率（以下、第１事前確率という）である。Ｐ（Ｂ）は、任意の場合に物体フレームの位置するブロックで物体が検出される確率（以下、第２事前確率という）。例えば、異なる物体は、画像のブロックによって分布確率（検出される確率）が異なるので、ベイズ分類器１８は、第３トレーニングデータセットに基づいてトレーニングされ、第１事前確率判断論理、第２事前確率判断論理及び第２事後確率判断論理を決定することができる。ベイズ分類器１８は、第１事前確率判断論理、並びに、ベイズ分類器１８に入力された物体タイプ、第１信頼値及び第１補正係数に基づいて第１事前確率を算出する。ベイズ分類器１８は、第２事前確率判断論理及びベイズ分類器１８に入力された物体フレームに基づいて第２事前確率を算出する。ベイズ分類器１８は、第２事後確率判断論理、並びに、ベイズ分類器１８に入力された物体フレーム、物体タイプ、第１信頼値及び第１補正係数に基づいて第２事後確率を算出する。ベイズ分類器１８は、式１、並びに、算出された第１事前確率、第２事前確率及び第２事後確率に基づいて第１事後確率を算出することができる。

【0016】

【数1】

【0017】

ステップＳ３０３の若干の実施例では、ベイズ分類器１８は、確率値（即ち、第１事後確率）に基づいて第２補正係数を生成する。例えば、ベイズ分類器１８は、確率値（即ち、第１事後確率）を正規化した後に第２補正係数を生成する。

【0018】

ステップＳ３０５の若干の実施例では、プロセッサ１３は（具体的に、プロセッサ１３は乗算器１９により）、第２補正係数と第１信頼値とを乗算して第２信頼値２０を得る。つまり、第２信頼値２０は、第１信頼値と第２補正係数との積である。

【0019】

若干の実施例では、第２補正係数が閾値範囲内にある場合、ベイズ分類器１８は、現在の物体情報、現在の第１信頼値及び現在の第１補正係数を第３トレーニングデータセットのトレーニングデータとして確率値（即ち、第１事後確率）を更新する。例えば、閾値範囲が０．８～０．９であれば、第２補正係数に基づく第１信頼値の調整の幅が小さく、つまり、現在の物体情報、現在の第１信頼値及び現在の第１補正係数が良好な精度を有する。したがって、現在の物体情報、現在の第１信頼値及び現在の第１補正係数を第３トレーニングデータセットのトレーニングデータとすることによって、第２補正係数に基づいて第１信頼値を調整して得られる第２信頼値２０の精度をさらに向上させることができる。

【0020】

図４を参照し、図４は、本発明の第２実施例に係る物体検出の信頼値の調整方法のフローチャートである。物体検出システムのプロセッサ１３によって実行される１つ又は複数のコマンドは、物体検出の信頼値の調整方法を実現するために、ステップ４００～４０５を含む。ステップＳ４０３及びステップＳ４０５は、ステップＳ３０３及びステップＳ３０５と同じであるので、ここで重複して述べない。第２実施例では、物体検出システムのプロセッサ１３は、先ず物体検出ニューラルネットワーク１５により画像の物体検出を行い、検出結果パラメータを補助ニューラルネットワーク１７に出力し（ステップＳ４００）、次に、物体検出システムのプロセッサ１３は、補助ニューラルネットワーク１７により検出結果パラメータを処理し、第１補正係数を出力する（ステップＳ４０１）という点で第１実施例と異なる。つまり、第１実施例と比較して、第２実施例は、物体検出ニューラルネットワーク１５により、検出結果パラメータを生成するだけでなく、検出結果パラメータを補助ニューラルネットワーク１７に入力して第１補正係数を生成する。

【0021】

以上をまとめると、本発明の実施例によれば、物体検出ニューラルネットワークを調整することなく、物体検出ニューラルネットワークによって出力された検出結果パラメータの第１信頼値を調整し、調整後の第１信頼値（即ち、第２信頼値）の精度を向上させることができる。また、所要時間を短縮できるとともに、第２信頼値の精度の維持又は向上を確保できる。

【符号の説明】

【0022】

１１ メモリ
１３ プロセッサ
１５ 物体検出ニューラルネットワーク
１７ 補助ニューラルネットワーク
１８ ベイズ分類器
１９ 乗算器
２０ 第２信頼値
Ｓ３０１～Ｓ３０５ ステップ
Ｓ４００～Ｓ４０５ ステップ

【図1】

【図2】

【図3】

【図4】