特開2023-152231知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023152231
(43)【公開日】2023-10-16
(54)【発明の名称】知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法
(51)【国際特許分類】
G06T 7/00 20170101AFI20231005BHJP
G06V 10/82 20220101ALI20231005BHJP
G01V 8/10 20060101ALI20231005BHJP
【ＦＩ】
G06T7/00 350C
G06V10/82
G06T7/00 650B
G01V8/10 S
【審査請求】有
【請求項の数】9
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2022077903
(22)【出願日】2022-05-11
(11)【特許番号】
(45)【特許公報発行日】2023-08-03
(31)【優先権主張番号】202210337923.0
(32)【優先日】2022-03-31
(33)【優先権主張国・地域又は機関】CN
(71)【出願人】
【識別番号】518371489
【氏名又は名称】南京郵電大学
【氏名又は名称原語表記】ＮＡＮＪＩＮＧ ＵＮＩＶＥＲＳＩＴＹ ＯＦ ＰＯＳＴＳ ＡＮＤ ＴＥＬＥＣＯＭＭＵＮＩＣＡＴＩＯＮＳ
【住所又は居所原語表記】Ｎｏ．６６ Ｘｉｎ Ｍｏｆａｎ Ｒｏａｄ， Ｇｕｌｏｕ Ｎａｎｊｉｎｇ， Ｊｉａｎｇｓｕ ２１０００３ Ｃｈｉｎａ
(74)【代理人】
【識別番号】100095407
【弁理士】
【氏名又は名称】木村 満
(74)【代理人】
【識別番号】100132883
【弁理士】
【氏名又は名称】森川 泰司
(74)【代理人】
【識別番号】100148633
【弁理士】
【氏名又は名称】桜田 圭
(74)【代理人】
【識別番号】100147924
【弁理士】
【氏名又は名称】美恵 英樹
(72)【発明者】
【氏名】張 暉
(72)【発明者】
【氏名】滕 ▲ティン▼▲ティン▼
(72)【発明者】
【氏名】趙 海涛
(72)【発明者】
【氏名】朱 洪波
【テーマコード（参考）】
2G105
5L096
【Ｆターム（参考）】
2G105AA01
2G105BB17
2G105DD01
2G105EE06
2G105FF02
2G105GG03
2G105HH04
2G105JJ05
5L096AA02
5L096AA06
5L096BA04
5L096CA02
5L096GA30
5L096GA34
5L096GA41
5L096HA11
5L096KA04
(57)【要約】 （修正有）
【課題】知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法を提供する。
【解決手段】１次元シーン向けの３種類の目標検出モデルを構築し、現在の時間類、天気類に基づいて、対応する１次元時間検出モデル、１次元天気検出モデルを選択し、この２種類のモデルをｍ３個の１次元目標検出モデルと階層的な結合検出を行い、階層的結合の基準として階層的結合メカニズムを採用し、第１階層的結合に対して、次元、確率の２つの異なる等級に基づいて、どの目標種別に属するかを順次決定し、第２階層的結合検出に対して、適合度、確率の２つの異なる等級に基づいて、どの目標類別に属するかを順次決定する。
【効果】機器視覚分野における交通の複雑な多目標に向けた精密な階層的等級的結合検出に広く応用することができ、コストを保証すると同時に各種目標の終日時、全天候の精密な検出を実現することができ、非常に広い応用前景を有する。
【選択図】図５
【解決手段】１次元シーン向けの３種類の目標検出モデルを構築し、現在の時間類、天気類に基づいて、対応する１次元時間検出モデル、１次元天気検出モデルを選択し、この２種類のモデルをｍ３個の１次元目標検出モデルと階層的な結合検出を行い、階層的結合の基準として階層的結合メカニズムを採用し、第１階層的結合に対して、次元、確率の２つの異なる等級に基づいて、どの目標種別に属するかを順次決定し、第２階層的結合検出に対して、適合度、確率の２つの異なる等級に基づいて、どの目標類別に属するかを順次決定する。
【効果】機器視覚分野における交通の複雑な多目標に向けた精密な階層的等級的結合検出に広く応用することができ、コストを保証すると同時に各種目標の終日時、全天候の精密な検出を実現することができ、非常に広い応用前景を有する。
【選択図】図５
【特許請求の範囲】
【請求項1】
時間類、天気類、目標類のシーンを含む３次元シーン空間である知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法であって、具体的には、
時間類、天気類、目標類の３つの１次元シーンのそれぞれに対してＹＯＬＯｖ３を学習し、１次元シーン向けの３種類の目標検出モデルである１次元時間検出モデル、１次元天気検出モデル、１次元目標検出モデルを得るステップ１と、
１次元時間検出モデル、１次元天気検出モデルおよび１次元目標検出モデルに基づいて、それぞれ検出対象画像に対して目標検出を行うステップ２と、
ステップ２の目標検出結果を階層的に結合し、検出対象画像の最終検出結果を出力するステップ３とを含むことを特徴とする、
知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法。
時間類、天気類、目標類の３つの１次元シーンのそれぞれに対してＹＯＬＯｖ３を学習し、１次元シーン向けの３種類の目標検出モデルである１次元時間検出モデル、１次元天気検出モデル、１次元目標検出モデルを得るステップ１と、
１次元時間検出モデル、１次元天気検出モデルおよび１次元目標検出モデルに基づいて、それぞれ検出対象画像に対して目標検出を行うステップ２と、
ステップ２の目標検出結果を階層的に結合し、検出対象画像の最終検出結果を出力するステップ３とを含むことを特徴とする、
知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法。
【請求項2】
請求項１に記載の知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法であって、
前記ステップ１で、１次元シーン向けの３種類の目標検出モデルを構築し、具体的には、以下のとおりであることを特徴とする、
知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法。
（１）必要に応じて、時間類１次元シーンをｍ１種類、天気類１次元シーンをｍ２種類、目標類１次元シーンをｍ３＋１種類に分類する。
（２）時間類１次元シーンの各類別に対して、各類別の学習サンプルをラベリングし、ＹＯＬＯｖ３を学習し、ｍ１個の１次元時間検出モデルを得る。
天気類１次元シーンの各類別に対して、各類別の学習サンプルをラベリングし、ＹＯＬＯｖ３を学習し、ｍ２個の１次元天気検出モデルを得る。
目標類１次元シーンの各類別に対して、各類別の学習サンプルをラベリングし、ＹＯＬＯｖ３を学習し、ｍ３個の１次元目標検出モデルを得る。
ここで、１次元時間検出モデルおよび１次元天気検出モデルは、いずれもｍ３種類の目標および１種類のその他に対応するｍ３＋１個の出力を含み、１次元目標検出モデルは、１種類の目標および１種類のその他に対応する２個の出力を含む。
前記ステップ１で、１次元シーン向けの３種類の目標検出モデルを構築し、具体的には、以下のとおりであることを特徴とする、
知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法。
（１）必要に応じて、時間類１次元シーンをｍ１種類、天気類１次元シーンをｍ２種類、目標類１次元シーンをｍ３＋１種類に分類する。
（２）時間類１次元シーンの各類別に対して、各類別の学習サンプルをラベリングし、ＹＯＬＯｖ３を学習し、ｍ１個の１次元時間検出モデルを得る。
天気類１次元シーンの各類別に対して、各類別の学習サンプルをラベリングし、ＹＯＬＯｖ３を学習し、ｍ２個の１次元天気検出モデルを得る。
目標類１次元シーンの各類別に対して、各類別の学習サンプルをラベリングし、ＹＯＬＯｖ３を学習し、ｍ３個の１次元目標検出モデルを得る。
ここで、１次元時間検出モデルおよび１次元天気検出モデルは、いずれもｍ３種類の目標および１種類のその他に対応するｍ３＋１個の出力を含み、１次元目標検出モデルは、１種類の目標および１種類のその他に対応する２個の出力を含む。
【請求項3】
請求項２に記載の知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法であって、
前記ステップ２で、検出対象画像の時間類１次元シーンおよび天気類１次元シーンにおける類別に基づいて、対応する１次元時間検出モデル、１次元天気検出モデルを選択し、検出対象画像に対して目標検出を行うことを特徴とする、
知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法。
前記ステップ２で、検出対象画像の時間類１次元シーンおよび天気類１次元シーンにおける類別に基づいて、対応する１次元時間検出モデル、１次元天気検出モデルを選択し、検出対象画像に対して目標検出を行うことを特徴とする、
知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法。
【請求項4】
請求項３に記載の知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法であって、
前記ステップ３における階層的結合は、具体的には、以下のとおりであることを特徴とする、
知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法。
（１）第１階層的結合：ｍ３個の１次元目標検出モデルの出力結果をそれぞれ１次元時間検出モデルの出力結果と融合させるとともに、ｍ３個の１次元目標検出モデルを１次元天気検出モデルの出力結果と融合させる。
（２）第２階層的結合：第１階層的結合の２つの融合結果をさらに融合させる。
前記ステップ３における階層的結合は、具体的には、以下のとおりであることを特徴とする、
知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法。
（１）第１階層的結合：ｍ３個の１次元目標検出モデルの出力結果をそれぞれ１次元時間検出モデルの出力結果と融合させるとともに、ｍ３個の１次元目標検出モデルを１次元天気検出モデルの出力結果と融合させる。
（２）第２階層的結合：第１階層的結合の２つの融合結果をさらに融合させる。
【請求項5】
請求項４に記載の知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法であって、
前記第１階層的結合に際して、ｍ３個の１次元目標検出モデルと１次元時間検出モデル／１次元天気検出モデルの出力結果を重ね合わせ、重ね合わせた結果に対して以下の処理を行って融合結果を出力することを特徴とする、
知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法。
（ア）互いに重複している予測枠を１つの予測枠に合併し、重複していない他の予測枠をそのまま保持する。前記合併の原則は、以下のとおりである。
（１）互いに重複している予測枠のうち、１次元時間検出モデル／１次元天気検出モデルに対応する予測枠と、１次元目標検出モデルに対応するいずれかの予測枠とは、属する類別が同一であり、かつ、属する類別がその他でなければ、合併後の予測枠が属する類別は、その同一類別である。
（２）互いに重複している予測枠のうち、１次元時間検出モデル／１次元天気検出モデルに対応する予測枠と、１次元目標検出モデルに対応する全ての予測枠とは、属する類別がいずれもその他であれば、合併後の予測枠が属する類別は、その他である。
（３）互いに重複している予測枠のうち、１次元時間検出モデル／１次元天気検出モデルに対応する予測枠と、いずれかの１次元目標検出モデルに対応する予測枠とは、属する類別がいずれも一致しなければ、
、
、Ｐｕｏｔｈｅｒの三者のうち最大値に対応する類別を、合併後の予測枠が属する類別とし、かつ合併後の予測枠が属する類別の確率をその最大値とする。ここで、
は、１次元時間検出モデル／１次元天気検出モデルに対応する予測枠の属する類別がｊｌである確率を示し、ｊｌは、１次元時間検出モデル／１次元天気検出モデルのｍ３＋１個の出力のいずれかを示す。
は、１次元目標検出モデルに対応する予測枠の属する類別がｊｋである結合確率を示し、
ｊｋは、ｍ３種類の目標のいずれかを示し、Ｐｕｏｔｈｅｒは、１次元目標検出モデルに対応する予測枠の属する類別がその他である結合確率を示し、
は、出力にｊｋを含む１次元目標検出モデルの出力がｊｋである結合確率を示し、
は、出力にｊｋを含む１次元目標検出モデルの出力がその他である確率を示し、ｋ＝１，２，．．．，ｍ３。出力にｊｋを含む１次元目標検出モデルから予測枠が出力されなかった場合、
、
。
（４）互いに重複している予測枠のうち、１次元時間検出モデル／１次元天気検出モデルに対応する予測枠がなければ、（ａ）全ての予測枠の属する類別が同一であると、合併後の予測枠の属する類別は、その他である。（ｂ）所属類別が他の予測枠と異なる予測枠Ｂが１つ存在する場合、合併後の予測枠の属する類別は、その予測枠Ｂの所属類別である。
（イ）ほかと重ならない単一の予測枠について、その予測枠を一時的に保存し、その所属類別の確率をそのまま保持する。
前記第１階層的結合に際して、ｍ３個の１次元目標検出モデルと１次元時間検出モデル／１次元天気検出モデルの出力結果を重ね合わせ、重ね合わせた結果に対して以下の処理を行って融合結果を出力することを特徴とする、
知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法。
（ア）互いに重複している予測枠を１つの予測枠に合併し、重複していない他の予測枠をそのまま保持する。前記合併の原則は、以下のとおりである。
（１）互いに重複している予測枠のうち、１次元時間検出モデル／１次元天気検出モデルに対応する予測枠と、１次元目標検出モデルに対応するいずれかの予測枠とは、属する類別が同一であり、かつ、属する類別がその他でなければ、合併後の予測枠が属する類別は、その同一類別である。
（２）互いに重複している予測枠のうち、１次元時間検出モデル／１次元天気検出モデルに対応する予測枠と、１次元目標検出モデルに対応する全ての予測枠とは、属する類別がいずれもその他であれば、合併後の予測枠が属する類別は、その他である。
（３）互いに重複している予測枠のうち、１次元時間検出モデル／１次元天気検出モデルに対応する予測枠と、いずれかの１次元目標検出モデルに対応する予測枠とは、属する類別がいずれも一致しなければ、
【数1】
【数2】
【数3】
【数4】
【数5】
【数6】
【数7】
【数8】
【数9】
【数10】
（４）互いに重複している予測枠のうち、１次元時間検出モデル／１次元天気検出モデルに対応する予測枠がなければ、（ａ）全ての予測枠の属する類別が同一であると、合併後の予測枠の属する類別は、その他である。（ｂ）所属類別が他の予測枠と異なる予測枠Ｂが１つ存在する場合、合併後の予測枠の属する類別は、その予測枠Ｂの所属類別である。
（イ）ほかと重ならない単一の予測枠について、その予測枠を一時的に保存し、その所属類別の確率をそのまま保持する。
【請求項6】
請求項４に記載の知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法であって、
前記第２階層的結合は、具体的には、第１階層的結合の２つの融合結果を重ね合わせ、重ね合わせた結果を以下のように処理して最終検出結果を出力することを特徴とする、
知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法。
（ア）互いに重複している予測枠について、それらを１つの予測枠に合併し、次の規則にしたがって、合併後の予測枠の属する類別を判断する。
（１）互いに重複している予測枠の属する類別が同一であれば、合併後の予測枠の属する類別は、その同一類別である。
（２）互いに重複している予測枠の属する類別が異なるであれば、予測枠に対応する適合度を比較する。
（ａ）適合度が異なれば、合併後の予測枠の所属類別および確率は、対応適合度が小さい予測枠の所属類別および確率となる。
（ｂ）適合度が同じであれば、合併後の予測枠の所属類別および確率は、対応確率が大きい予測枠の所属類別および確率となる。
（イ）ほかと重ならない単一の予測枠について、その予測枠の属する類別の確率が誤検出閾値未満であればその予測枠を削除し、そうでなければその予測枠を保持し、確率をそのまま保持する。
前記第２階層的結合は、具体的には、第１階層的結合の２つの融合結果を重ね合わせ、重ね合わせた結果を以下のように処理して最終検出結果を出力することを特徴とする、
知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法。
（ア）互いに重複している予測枠について、それらを１つの予測枠に合併し、次の規則にしたがって、合併後の予測枠の属する類別を判断する。
（１）互いに重複している予測枠の属する類別が同一であれば、合併後の予測枠の属する類別は、その同一類別である。
（２）互いに重複している予測枠の属する類別が異なるであれば、予測枠に対応する適合度を比較する。
（ａ）適合度が異なれば、合併後の予測枠の所属類別および確率は、対応適合度が小さい予測枠の所属類別および確率となる。
（ｂ）適合度が同じであれば、合併後の予測枠の所属類別および確率は、対応確率が大きい予測枠の所属類別および確率となる。
（イ）ほかと重ならない単一の予測枠について、その予測枠の属する類別の確率が誤検出閾値未満であればその予測枠を削除し、そうでなければその予測枠を保持し、確率をそのまま保持する。
【請求項7】
請求項５または６に記載の知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法であって、
第１階層／第２階層的結合の際に、互いに重複している予測枠のうち、属する類別が同じものが存在する場合には、合併後の予測枠の属する類別の確率を更新し、更新後の確率は、
であり、
ここで、ｑは、互いに重複している予測枠のうち、属する類別が同じである予測枠の数を示し、
は、同じ類別に属するｏ番目の予測枠の前記類別の確率を示し、Δは、補償値を示すことを特徴とする、
知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法。
第１階層／第２階層的結合の際に、互いに重複している予測枠のうち、属する類別が同じものが存在する場合には、合併後の予測枠の属する類別の確率を更新し、更新後の確率は、
【数11】
ここで、ｑは、互いに重複している予測枠のうち、属する類別が同じである予測枠の数を示し、
【数12】
知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法。
【請求項8】
請求項７に記載の知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法であって、
前記誤検出閾値ｄ１の式は、以下のように定義されることを特徴とする、
知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法。
ｄ１＝ｄ＋δ×ＢＶ
ここで、ｄは、誤検出ベース閾値であり、δは、係数であり、ＢＶは、背景差分であり、
。
ＨＣｕｒｒｅｎｔｉ、ＳＣｕｒｒｅｎｔｉ、ＶＣｕｒｒｅｎｔｉは、それぞれ、検出対象画像の色相Ｈ、彩度Ｓ、明度Ｖの３つの成分がｉの値をとる個数を示し、ＨＢａｓｅｉ、ＳＢａｓｅｉ、ＶＢａｓｅｉは、基準画像のＨ、Ｓ、Ｖの３成分がｉの値をとる個数を示し、Ｈ＋Ｓ＋Ｖは、検出対象画像および基準画像におけるＨ、Ｓ、Ｖの３成分の合計個数を示す。
前記誤検出閾値ｄ１の式は、以下のように定義されることを特徴とする、
知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法。
ｄ１＝ｄ＋δ×ＢＶ
ここで、ｄは、誤検出ベース閾値であり、δは、係数であり、ＢＶは、背景差分であり、
【数13】
ＨＣｕｒｒｅｎｔｉ、ＳＣｕｒｒｅｎｔｉ、ＶＣｕｒｒｅｎｔｉは、それぞれ、検出対象画像の色相Ｈ、彩度Ｓ、明度Ｖの３つの成分がｉの値をとる個数を示し、ＨＢａｓｅｉ、ＳＢａｓｅｉ、ＶＢａｓｅｉは、基準画像のＨ、Ｓ、Ｖの３成分がｉの値をとる個数を示し、Ｈ＋Ｓ＋Ｖは、検出対象画像および基準画像におけるＨ、Ｓ、Ｖの３成分の合計個数を示す。
【請求項9】
請求項７に記載の知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法であって、
前記適合度は、時間類１次元シーン適合度と天気類１次元シーン適合度の２種類に分けられ、
検出対象画像の時間類１次元シーン適合度
検出対象画像の天気類１次元シーン適合度
ここで、ＡＤＥＲＴは、時間類１次元シーンの平均動的変化率であり、ＡＤＥＲＷは、天気類１次元シーンの平均動的変化率であり、ＤＥＲＣｕｒｒｅｎｔは、検出対象画像の動的変化率であり、
ＡＰＭＴＣｕｒｒｅｎｔ＞ＡＰＭＷＣｕｒｒｅｎｔであれば、合併後の予測枠の属する類別は、１次元天気検出モデルの出力結果に対応する類別であり、そうでなければ、合併後の予測枠の属する類別は、１次元時間検出モデルの出力結果に対応する類別であることを特徴とする、
知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法。
前記適合度は、時間類１次元シーン適合度と天気類１次元シーン適合度の２種類に分けられ、
検出対象画像の時間類１次元シーン適合度
【数14】
【数15】
ＡＰＭＴＣｕｒｒｅｎｔ＞ＡＰＭＷＣｕｒｒｅｎｔであれば、合併後の予測枠の属する類別は、１次元天気検出モデルの出力結果に対応する類別であり、そうでなければ、合併後の予測枠の属する類別は、１次元時間検出モデルの出力結果に対応する類別であることを特徴とする、
知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法。
【請求項10】
請求項９に記載の知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法であって、
前記動的変化率は、検出対象画像とその前後２フレーム画像との間の階調分布変化率の平均値であり、検出対象画像と前／後フレーム画像との間の階調分布変化率は、以下であり、
ここで、ＰＲｇｒａｙｒＣは、検出対象画像における階調値ｒの画素点が、検出対象画像の全画素点に占める割合を示し、
は、前／後フレーム画像の全画素点に占める、検出対象画像の前／後フレーム画像における階調値ｒの画素点の割合を示し、
前記時間類／天気類１次元シーンの平均動的変化率は、連続する３つのフレーム画像のいくつかのセットの間の動的変化率の平均値であることを特徴とする、
知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法。
前記動的変化率は、検出対象画像とその前後２フレーム画像との間の階調分布変化率の平均値であり、検出対象画像と前／後フレーム画像との間の階調分布変化率は、以下であり、
【数16】
【数17】
前記時間類／天気類１次元シーンの平均動的変化率は、連続する３つのフレーム画像のいくつかのセットの間の動的変化率の平均値であることを特徴とする、
知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法に関し、機器視覚分野に属する。
【背景技術】
【0002】
近年、ディープラーニングの急速な発展および高性能グラフィックスカードの出現に伴い、コンピュータ視覚技術の発展が大いに促進された。ディープラーニングに基づく目標検出は、目標の特徴を自動的に抽出することができ、多くの時間を無駄にせずに人工的な分析、設計、抽出を行うことができ、検出精度およびシーンの適用性を大幅に向上させ、そのため、ディープラーニングに基づく車両歩行者検出技術の研究ブームを巻き起こしている。
【0003】
車両歩行者検出アルゴリズムが解決しようとする問題は、画像または動画フレーム中のすべての車両、歩行者（位置と大きさを含む）を探し出すことであり、一般的には矩形枠で表される。既存の車両歩行者目標検出方法の大部分は、目標検出ネットワーク、特徴抽出方法などに対して革新を行うものである。これらの方法は、画像や動画中の目標行動そのものに重点を置いているが、画像や動画中の目標行動情報は、限られており、画像や動画内のシーン情報や、シーンと目標行動との関連性は、無視されがちである。しかし、画像や動画中のシーン情報や、シーンと目標行動との関連性は、車両歩行者検出アルゴリズムの正確性に直接的な影響を与える。
【発明の概要】
【発明が解決しようとする課題】
【0004】
従来技術の不足を克服するために、本発明は、知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法を提案し、コストを保証すると同時に各種目標の終日時、全天候の精密な検出を実現することができる。
【課題を解決するための手段】
【0005】
上述した技術課題を解決するために、本発明で採用される技術手段は、以下のとおりである。
【0006】
本発明は、時間類、天気類、目標類のシーンを含む３次元シーン空間である知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法を提案し、具体的には、
時間類、天気類、目標類の３つの１次元シーンのそれぞれに対してＹＯＬＯｖ３を学習し、１次元シーン向けの３種類の目標検出モデルである１次元時間検出モデル、１次元天気検出モデル、１次元目標検出モデルを得るステップ１と、
１次元時間検出モデル、１次元天気検出モデルおよび１次元目標検出モデルに基づいて、それぞれ検出対象画像に対して目標検出を行うステップ２と、
ステップ２の目標検出結果を階層的に結合し、検出対象画像の最終検出結果を出力するステップ３とを含む。
時間類、天気類、目標類の３つの１次元シーンのそれぞれに対してＹＯＬＯｖ３を学習し、１次元シーン向けの３種類の目標検出モデルである１次元時間検出モデル、１次元天気検出モデル、１次元目標検出モデルを得るステップ１と、
１次元時間検出モデル、１次元天気検出モデルおよび１次元目標検出モデルに基づいて、それぞれ検出対象画像に対して目標検出を行うステップ２と、
ステップ２の目標検出結果を階層的に結合し、検出対象画像の最終検出結果を出力するステップ３とを含む。
【0007】
さらに、前記ステップ１で、１次元シーン向けの３種類の目標検出モデルを構築し、具体的には、以下のとおりである。
（１）必要に応じて、時間類１次元シーンをｍ１種類、天気類１次元シーンをｍ２種類、目標類１次元シーンをｍ３＋１種類に分類する。
（２）時間類１次元シーンの各類別に対して、各類別の学習サンプルをラベリングし、ＹＯＬＯｖ３を学習し、ｍ１個の１次元時間検出モデルを得る。
天気類１次元シーンの各類別に対して、各類別の学習サンプルをラベリングし、ＹＯＬＯｖ３を学習し、ｍ２個の１次元天気検出モデルを得る。
目標類１次元シーンの各類別に対して、各類別の学習サンプルをラベリングし、ＹＯＬＯｖ３を学習し、ｍ３個の１次元目標検出モデルを得る。
ここで、１次元時間検出モデルおよび１次元天気検出モデルは、いずれもｍ３種類の目標および１種類のその他に対応するｍ３＋１個の出力を含み、１次元目標検出モデルは、１種類の目標および１種類のその他に対応する２個の出力を含む。
（１）必要に応じて、時間類１次元シーンをｍ１種類、天気類１次元シーンをｍ２種類、目標類１次元シーンをｍ３＋１種類に分類する。
（２）時間類１次元シーンの各類別に対して、各類別の学習サンプルをラベリングし、ＹＯＬＯｖ３を学習し、ｍ１個の１次元時間検出モデルを得る。
天気類１次元シーンの各類別に対して、各類別の学習サンプルをラベリングし、ＹＯＬＯｖ３を学習し、ｍ２個の１次元天気検出モデルを得る。
目標類１次元シーンの各類別に対して、各類別の学習サンプルをラベリングし、ＹＯＬＯｖ３を学習し、ｍ３個の１次元目標検出モデルを得る。
ここで、１次元時間検出モデルおよび１次元天気検出モデルは、いずれもｍ３種類の目標および１種類のその他に対応するｍ３＋１個の出力を含み、１次元目標検出モデルは、１種類の目標および１種類のその他に対応する２個の出力を含む。
【0008】
さらに、前記ステップ２で、検出対象画像の時間類１次元シーンおよび天気類１次元シーンにおける類別に基づいて、対応する１次元時間検出モデル、１次元天気検出モデルを選択し、検出対象画像に対して目標検出を行う。
【0009】
さらに、前記ステップ３における階層的結合は、具体的には、以下のとおりである。
（１）第１階層的結合：ｍ３個の１次元目標検出モデルの出力結果をそれぞれ１次元時間検出モデルの出力結果と融合させるとともに、ｍ３個の１次元目標検出モデルを１次元天気検出モデルの出力結果と融合させる。
（２）第２階層的結合：第１階層的結合の２つの融合結果をさらに融合させる。
（１）第１階層的結合：ｍ３個の１次元目標検出モデルの出力結果をそれぞれ１次元時間検出モデルの出力結果と融合させるとともに、ｍ３個の１次元目標検出モデルを１次元天気検出モデルの出力結果と融合させる。
（２）第２階層的結合：第１階層的結合の２つの融合結果をさらに融合させる。
【0010】
さらに、前記第１階層的結合に際して、ｍ３個の１次元目標検出モデルと１次元時間検出モデル／１次元天気検出モデルの出力結果を重ね合わせ、重ね合わせた結果に対して以下の処理を行って融合結果を出力する。
（ア）互いに重複している予測枠を１つの予測枠に合併し、重複していない他の予測枠をそのまま保持する。前記合併の原則は、以下のとおりである。
（１）互いに重複している予測枠のうち、１次元時間検出モデル／１次元天気検出モデルに対応する予測枠と、１次元目標検出モデルに対応するいずれかの予測枠とは、属する類別が同一であり、かつ、属する類別がその他でなければ、合併後の予測枠が属する類別は、その同一類別である。
（２）互いに重複している予測枠のうち、１次元時間検出モデル／１次元天気検出モデルに対応する予測枠と、１次元目標検出モデルに対応する全ての予測枠とは、属する類別がいずれもその他であれば、合併後の予測枠が属する類別は、その他である。
（３）互いに重複している予測枠のうち、１次元時間検出モデル／１次元天気検出モデルに対応する予測枠と、いずれかの１次元目標検出モデルに対応する予測枠とは、属する類別がいずれも一致しなければ、
、
、Ｐｕｏｔｈｅｒの三者のうち最大値に対応する類別を、合併後の予測枠が属する類別とし、かつ合併後の予測枠が属する類別の確率をその最大値とする。ここで、
は、１次元時間検出モデル／１次元天気検出モデルに対応する予測枠の属する類別がｊｌである確率を示し、ｊｌは、１次元時間検出モデル／１次元天気検出モデルのｍ３＋１個の出力のいずれかを示す。
は、１次元目標検出モデルに対応する予測枠の属する類別がｊｋである結合確率を示し、
ｊｋは、ｍ３種類の目標のいずれかを示し、Ｐｕｏｔｈｅｒは、１次元目標検出モデルに対応する予測枠の属する類別がその他である結合確率を示し、
は、出力にｊｋを含む１次元目標検出モデルの出力がｊｋである結合確率を示し、
は、出力にｊｋを含む１次元目標検出モデルの出力がその他である確率を示し、ｋ＝１，２，．．．，ｍ３であり、出力にｊｋを含む１次元目標検出モデルから予測枠が出力されなかった場合、
、
。
（４）互いに重複している予測枠のうち、１次元時間検出モデル／１次元天気検出モデルに対応する予測枠がなければ、（ａ）全ての予測枠の属する類別が同一であると、合併後の予測枠の属する類別は、その他であり、（ｂ）所属類別が他の予測枠と異なる予測枠Ｂが１つ存在する場合、合併後の予測枠の属する類別は、その予測枠Ｂの所属類別である。
（イ）ほかと重ならない単一の予測枠について、その予測枠を一時的に保存し、その所属類別の確率をそのまま保持する。
（ア）互いに重複している予測枠を１つの予測枠に合併し、重複していない他の予測枠をそのまま保持する。前記合併の原則は、以下のとおりである。
（１）互いに重複している予測枠のうち、１次元時間検出モデル／１次元天気検出モデルに対応する予測枠と、１次元目標検出モデルに対応するいずれかの予測枠とは、属する類別が同一であり、かつ、属する類別がその他でなければ、合併後の予測枠が属する類別は、その同一類別である。
（２）互いに重複している予測枠のうち、１次元時間検出モデル／１次元天気検出モデルに対応する予測枠と、１次元目標検出モデルに対応する全ての予測枠とは、属する類別がいずれもその他であれば、合併後の予測枠が属する類別は、その他である。
（３）互いに重複している予測枠のうち、１次元時間検出モデル／１次元天気検出モデルに対応する予測枠と、いずれかの１次元目標検出モデルに対応する予測枠とは、属する類別がいずれも一致しなければ、
【数1】
【数2】
【数3】
【数4】
【数5】
【数6】
【数7】
【数8】
【数9】
【数10】
（４）互いに重複している予測枠のうち、１次元時間検出モデル／１次元天気検出モデルに対応する予測枠がなければ、（ａ）全ての予測枠の属する類別が同一であると、合併後の予測枠の属する類別は、その他であり、（ｂ）所属類別が他の予測枠と異なる予測枠Ｂが１つ存在する場合、合併後の予測枠の属する類別は、その予測枠Ｂの所属類別である。
（イ）ほかと重ならない単一の予測枠について、その予測枠を一時的に保存し、その所属類別の確率をそのまま保持する。
【0011】
さらに、前記第２階層的結合は、具体的には、第１階層的結合の２つの融合結果を重ね合わせ、重ね合わせた結果を以下のように処理して最終検出結果を出力する。
（ア）互いに重複している予測枠について、それらを１つの予測枠に合併し、次の規則にしたがって、合併後の予測枠の属する類別を判断する。
（１）互いに重複している予測枠の属する類別が同一であれば、合併後の予測枠の属する類別は、その同一類別である。
（２）互いに重複している予測枠の属する類別が異なるであれば、予測枠に対応する適合度を比較する。
（ａ）適合度が異なれば、合併後の予測枠の所属類別および確率は、対応適合度が小さい予測枠の所属類別および確率となる。
（ｂ）適合度が同じであれば、合併後の予測枠の所属類別および確率は、対応確率が大きい予測枠の所属類別および確率となる。
（イ）ほかと重ならない単一の予測枠について、その予測枠の属する類別の確率が誤検出閾値未満であればその予測枠を削除し、そうでなければその予測枠を保持し、確率をそのまま保持する。
（ア）互いに重複している予測枠について、それらを１つの予測枠に合併し、次の規則にしたがって、合併後の予測枠の属する類別を判断する。
（１）互いに重複している予測枠の属する類別が同一であれば、合併後の予測枠の属する類別は、その同一類別である。
（２）互いに重複している予測枠の属する類別が異なるであれば、予測枠に対応する適合度を比較する。
（ａ）適合度が異なれば、合併後の予測枠の所属類別および確率は、対応適合度が小さい予測枠の所属類別および確率となる。
（ｂ）適合度が同じであれば、合併後の予測枠の所属類別および確率は、対応確率が大きい予測枠の所属類別および確率となる。
（イ）ほかと重ならない単一の予測枠について、その予測枠の属する類別の確率が誤検出閾値未満であればその予測枠を削除し、そうでなければその予測枠を保持し、確率をそのまま保持する。
【0012】
さらに、第１階層／第２階層的結合の際に、互いに重複している予測枠のうち、属する類別が同じものが存在する場合には、合併後の予測枠の属する類別の確率を更新し、更新後の確率は、
である。
ここで、ｑは、互いに重複している予測枠のうち、属する類別が同じである予測枠の数を示し、
は、同じ類別に属するｏ番目の予測枠の前記類別の確率を示し、Δは、補償値を示す。
【数11】
ここで、ｑは、互いに重複している予測枠のうち、属する類別が同じである予測枠の数を示し、
【数12】
【0013】
さらに、
前記誤検出閾値ｄ１の式は、以下のように定義される。
ｄ１＝ｄ＋δ×ＢＶ
ここで、ｄは、誤検出ベース閾値であり、δは、係数であり、ＢＶは、背景差分であり、
。ＨＣｕｒｒｅｎｔｉ、ＳＣｕｒｒｅｎｔｉ、ＶＣｕｒｒｅｎｔｉは、それぞれ、検出対象画像の色相Ｈ、彩度Ｓ、明度Ｖの３つの成分がｉの値をとる個数を示し、ＨＢａｓｅｉ、ＳＢａｓｅｉ、ＶＢａｓｅｉは、基準画像のＨ、Ｓ、Ｖの３成分がｉの値をとる個数を示し、Ｈ＋Ｓ＋Ｖは、検出対象画像および基準画像におけるＨ、Ｓ、Ｖの３成分の合計個数を示す。
前記誤検出閾値ｄ１の式は、以下のように定義される。
ｄ１＝ｄ＋δ×ＢＶ
ここで、ｄは、誤検出ベース閾値であり、δは、係数であり、ＢＶは、背景差分であり、
【数13】
【0014】
さらに、前記適合度は、時間類１次元シーン適合度と天気類１次元シーン適合度の２種類に分けられ、
検出対象画像の時間類１次元シーン適合度
検出対象画像の天気類１次元シーン適合度
ここで、ＡＤＥＲＴは、時間類１次元シーンの平均動的変化率であり、ＡＤＥＲＷは、天気類１次元シーンの平均動的変化率であり、ＤＥＲＣｕｒｒｅｎｔは、検出対象画像の動的変化率である。
ＡＰＭＴＣｕｒｒｅｎｔ＞ＡＰＭＷＣｕｒｒｅｎｔであれば、合併後の予測枠の属する類別は、１次元天気検出モデルの出力結果に対応する類別であり、そうでなければ、合併後の予測枠の属する類別は、１次元時間検出モデルの出力結果に対応する類別である。
検出対象画像の時間類１次元シーン適合度
【数14】
【数15】
ＡＰＭＴＣｕｒｒｅｎｔ＞ＡＰＭＷＣｕｒｒｅｎｔであれば、合併後の予測枠の属する類別は、１次元天気検出モデルの出力結果に対応する類別であり、そうでなければ、合併後の予測枠の属する類別は、１次元時間検出モデルの出力結果に対応する類別である。
【0015】
さらに、前記動的変化率は、検出対象画像とその前後２フレーム画像との間の階調分布変化率の平均値であり、検出対象画像と前／後フレーム画像との間の階調分布変化率は、以下であり、
ここで、ＰＲｇｒａｙｒＣは、検出対象画像における階調値ｒの画素点が、検出対象画像の全画素点に占める割合を示し、
は、前／後フレーム画像の全画素点に占める、検出対象画像の前／後フレーム画像における階調値ｒの画素点の割合を示す。
前記時間類／天気類１次元シーンの平均動的変化率は、連続する３つのフレーム画像のいくつかのセットの間の動的変化率の平均値である。
【数16】
【数17】
前記時間類／天気類１次元シーンの平均動的変化率は、連続する３つのフレーム画像のいくつかのセットの間の動的変化率の平均値である。
【発明の効果】
【0016】
本発明が提案する知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法は、コストを保証すると同時に各種目標の終日時、全天候の精密な検出を実現することができる。まず１次元シーン向けの３種類の目標検出モデルを構築し、次に時間類、天気類の２次元のシーンを事前知識として、現在の時間類、天気類に基づいて、対応する１次元時間検出モデル、１次元天気検出モデルを選択し、さらにこの２種類のモデルをｍ３個の１次元目標検出モデルと階層的な結合検出を行い、最後に階層的結合検出の基準として階層的結合検出メカニズムを提案し、第１階層的結合検出に対して、次元、確率の２つの異なる等級（優先度が順次低下する）に基づいて、どの目標種別に属するかを順次決定し、第２階層的結合検出に対して、適合度、確率の２つの異なる等級（優先度が順次低下する）に基づいて、どの目標類別に属するかを順次決定する。本発明は、機器視覚分野における交通の複雑な多目標に向けた精密な階層的等級的結合検出に広く応用することができ、コストを保証すると同時に各種目標の精密な検出を実現することができ、非常に広い応用前景を有する。
【図面の簡単な説明】
【0017】
【図1】１次元シーン向けの３種類の検出モデル構築の流れを示す図である。
【図2】階層的結合の流れを示す図である。
【図3】第１階層的結合の流れを示す図である。
【図4】第２階層的結合の流れを示す図である。
【図5】知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法の流れを示す図である。
【発明を実施するための形態】
【0018】
本発明によって提案された知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法をより詳細に説明するために、添付の図面および具体的な実施例を参照して以下にさらに説明する。
【0019】
一実施例では、図５に示すように、知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法が提供されている。該方法は、前記知的交通環境を時間類、天気類、目標類のシーンを含む３次元シーン空間とみなし、具体的なステップは、以下のとおりである。
ステップ１において、時間類、天気類、目標類の３つの１次元シーンのそれぞれに対してＹＯＬＯｖ３を学習し、１次元シーン向けの３種類の目標検出モデルである１次元時間検出モデル、１次元天気検出モデル、１次元目標検出モデルを得る。
ステップ２において、１次元時間検出モデル、１次元天気検出モデルおよび１次元目標検出モデルに基づいて、それぞれ検出対象画像に対して目標検出を行う。
ステップ３において、ステップ２の目標検出結果を階層的に結合し、検出対象画像の最終検出結果を出力する。
ステップ１において、時間類、天気類、目標類の３つの１次元シーンのそれぞれに対してＹＯＬＯｖ３を学習し、１次元シーン向けの３種類の目標検出モデルである１次元時間検出モデル、１次元天気検出モデル、１次元目標検出モデルを得る。
ステップ２において、１次元時間検出モデル、１次元天気検出モデルおよび１次元目標検出モデルに基づいて、それぞれ検出対象画像に対して目標検出を行う。
ステップ３において、ステップ２の目標検出結果を階層的に結合し、検出対象画像の最終検出結果を出力する。
【0020】
一実施例では、図１に示すように、ステップ１で１次元シーン向けの３種類の目標検出モデルを構築し、具体的には以下のとおりである。
（１）必要に応じて、時間類１次元シーンをｍ１種類、天気類１次元シーンをｍ２種類、目標類１次元シーンをｍ３＋１種類に分類する。
（２）時間類１次元シーンの各類別に対して、各類別の学習サンプルをラベリングし、ＹＯＬＯｖ３を学習し、ｍ１個の１次元時間検出モデルを得る。
天気類１次元シーンの各類別に対して、各類別の学習サンプルをラベリングし、ＹＯＬＯｖ３を学習し、ｍ２個の１次元天気検出モデルを得る。
目標類１次元シーンの各類別に対して、各類別の学習サンプルをラベリングし、ＹＯＬＯｖ３を学習し、ｍ３個の１次元目標検出モデルを得る。
ここで、１次元時間検出モデルおよび１次元天気検出モデルは、いずれもｍ３種類の目標および１種類のその他に対応するｍ３＋１個の出力を含み、１次元目標検出モデルは、１種類の目標および１種類のその他に対応する２個の出力を含む。
（１）必要に応じて、時間類１次元シーンをｍ１種類、天気類１次元シーンをｍ２種類、目標類１次元シーンをｍ３＋１種類に分類する。
（２）時間類１次元シーンの各類別に対して、各類別の学習サンプルをラベリングし、ＹＯＬＯｖ３を学習し、ｍ１個の１次元時間検出モデルを得る。
天気類１次元シーンの各類別に対して、各類別の学習サンプルをラベリングし、ＹＯＬＯｖ３を学習し、ｍ２個の１次元天気検出モデルを得る。
目標類１次元シーンの各類別に対して、各類別の学習サンプルをラベリングし、ＹＯＬＯｖ３を学習し、ｍ３個の１次元目標検出モデルを得る。
ここで、１次元時間検出モデルおよび１次元天気検出モデルは、いずれもｍ３種類の目標および１種類のその他に対応するｍ３＋１個の出力を含み、１次元目標検出モデルは、１種類の目標および１種類のその他に対応する２個の出力を含む。
【0021】
一実施例では、ステップ１は、以下のステップを含む。
【0022】
ステップＳ１０１において、３次元シーン空間を構築する。
昼／夜／未明／夕方などの異なる時間シーン、晴れ／曇り／雨／雪などの異なる天気シーンの交通の複雑な環境、および、自動車、非自動車、歩行者、その他などの目標タイプの交通多目標に対して、３次元シーン空間を構築する思想方法を提案する。この３つの次元のシーンは、それぞれ、時間、天気、目標類の１次元シーンであり、そのうち、時間類の１次元シーンは、未明／夕方／…の計ｍ１種類に分けられ、天気類の１次元シーンは、晴れ／曇り／…の計ｍ２種類に分けられ、目標類の１次元シーンは、自動車／非自動車／歩行者／…／その他の計ｍ３＋１種類に分けられる。
昼／夜／未明／夕方などの異なる時間シーン、晴れ／曇り／雨／雪などの異なる天気シーンの交通の複雑な環境、および、自動車、非自動車、歩行者、その他などの目標タイプの交通多目標に対して、３次元シーン空間を構築する思想方法を提案する。この３つの次元のシーンは、それぞれ、時間、天気、目標類の１次元シーンであり、そのうち、時間類の１次元シーンは、未明／夕方／…の計ｍ１種類に分けられ、天気類の１次元シーンは、晴れ／曇り／…の計ｍ２種類に分けられ、目標類の１次元シーンは、自動車／非自動車／歩行者／…／その他の計ｍ３＋１種類に分けられる。
【0023】
ステップＳ１０２において、サンプルデータを選択する。
時間類、天気類、目標類の１次元シーンに対して、それぞれ、対応するサンプルデータを選択する。
時間類、天気類、目標類の１次元シーンに対して、それぞれ、対応するサンプルデータを選択する。
【0024】
ステップＳ１０３において、サンプルラベリングを行う。
データラベリングツールｌａｂｅｌｉｍｇを用いて、Ｓ１０２で収集したサンプルデータに対してサンプルラベリングを行う。
データラベリングツールｌａｂｅｌｉｍｇを用いて、Ｓ１０２で収集したサンプルデータに対してサンプルラベリングを行う。
【0025】
ステップＳ１０４において、モデル学習を行う。
ラベリングしたデータセットをＹＯＬＯｖ３モデルの学習に用いると、全部でｍ１個の１次元時間検出モデル、ｍ２個の１次元天気検出モデル、ｍ３個の１次元目標検出モデルを得ることができる。そのうち、１次元時間検出モデル／１次元天気検出モデルの出力は、いずれも自動車／非自動車／歩行者／…／その他の計ｍ３＋１個の出力であり、１次元目標検出モデルの出力は「自動車／その他」、「非自動車／その他」、「歩行者／その他」・・・の１つである。
ラベリングしたデータセットをＹＯＬＯｖ３モデルの学習に用いると、全部でｍ１個の１次元時間検出モデル、ｍ２個の１次元天気検出モデル、ｍ３個の１次元目標検出モデルを得ることができる。そのうち、１次元時間検出モデル／１次元天気検出モデルの出力は、いずれも自動車／非自動車／歩行者／…／その他の計ｍ３＋１個の出力であり、１次元目標検出モデルの出力は「自動車／その他」、「非自動車／その他」、「歩行者／その他」・・・の１つである。
【0026】
一実施例では、前記ステップ２において、検出対象画像の時間類１次元シーンおよび天気類１次元シーンにおける類別に基づいて、対応する１次元時間検出モデル、１次元天気検出モデルを選択し、検出対象画像に対して目標検出を行う。
【0027】
一実施例では、図２に示すように、ステップ３における階層的結合は、主に以下のステップを含む。
【0028】
ステップＳ２０１において、第１階層的結合を行う。
ｍ３個の１次元目標検出モデルの出力結果を１次元時間検出モデルの出力結果と融合させるとともに、ｍ３個の１次元目標検出モデルの出力結果を１次元天気検出モデルの出力結果と融合させる。これは、第１階層的結合である。
ｍ３個の１次元目標検出モデルの出力結果を１次元時間検出モデルの出力結果と融合させるとともに、ｍ３個の１次元目標検出モデルの出力結果を１次元天気検出モデルの出力結果と融合させる。これは、第１階層的結合である。
【0029】
ステップＳ２０２において、第２階層的結合を行う。
第１階層的結合の２つの融合結果をさらに融合させて出力する。これは、第２階層的結合である。
第１階層的結合の２つの融合結果をさらに融合させて出力する。これは、第２階層的結合である。
【0030】
一実施例では、１次元時間検出モデル、１次元天気検出モデル、１次元目標検出モデルは、目標類１次元シーンの各類別に対してサンプルのラベリングおよび学習を行うため、１次元目標検出モデルは、１次元時間検出モデル／１次元天気検出モデルに比べて、検出対象画像中の目標認識精度が高い。検出目標ｊｋの１次元目標検出モデルは、目標をｊｋと認識した場合は、誤検出や検出漏れがなく、認識目標がｊｋでない場合は、誤検出がないが、検出漏れがある可能性がある（ここで注意しなければならないのは、ｊｋは、自動車、非自動車、歩行者…のうちのいずれか１つであり、その他ではない。
）。１次元時間検出モデル／１次元天気検出モデルは、ｍ３＋１個の目標類別に対して誤検出する可能性があるが、類別がその他である場合にのみ検出漏れとなる。第１階層的結合に際して、ｍ３個の１次元目標検出モデルと１次元時間検出モデル／１次元天気検出モデルの出力結果を重ね合わせ、重ね合わせ結果を図３に示すフローで処理した後、融合結果を出力する。
【数18】
【0031】
（ア）互いに重複している予測枠を１つの予測枠に合併し、重複していない他の予測枠をそのまま保持する。前記合併の原則は、次のとおりである。
【0032】
（１）互いに重複している予測枠のうち、１次元時間検出モデル／１次元天気検出モデルに対応する予測枠と、１次元目標検出モデルに対応するいずれかの予測枠とは、属する類別が同じくＡであると、合併後の予測枠が属する類別は、Ａである。ここで、Ａは、自動車、非自動車、歩行者…のうちのいずれか１つであり、その他ではない。
【0033】
（２）互いに重複している予測枠のうち、１次元時間検出モデル／１次元天気検出モデルに対応する予測枠と、１次元目標検出モデルに対応する全ての予測枠とは、属する類別は、いずれもその他であれば、合併後の予測枠が属する類別は、その他である。
【0034】
上記（１）と（２）の２つの場合において、合併後の予測枠の所属類別の確率は、以下のように更新される。
ここで、ｑは、互いに重複している予測枠のうち、属する類別が同じである予測枠の数を示し、
は、同じ類別に属するｏ番目の予測枠の前記類別の確率を示し、Δは、補償値を示す。
【数19】
【数20】
【0035】
（３）互いに重複している予測枠のうち、１次元時間検出モデル／１次元天気検出モデルに対応する予測枠と、いずれかの１次元目標検出モデルに対応する予測枠とは、属する類別は、いずれも一致しなければ、
、
、Ｐｕｏｔｈｅｒの三者のうち最大値に対応する類別を、合併後の予測枠が属する類別とし、かつ合併後の予測枠が属する類別の確率をその最大値とする。
【数21】
【数22】
【0036】
一般的に、検出目標ｊｋの１次元目標検出モデルから、目標類別ｊｋが出力される確率は、
で表され、目標類別のその他が出力される確率は、
で表される。ここで、ｏｔｈｅｒは、出力される目標類別がその他であることを表し、
具体的には、ある目標を検出する場合に予測枠が出力されず、すなわち検出漏れの場合、
、
。
【数23】
【数24】
【数25】
【数26】
【数27】
【0037】
一般に、１次元時間検出モデルから、目標類別ｊｌが出力される確率は、
で表される。ここで、Ｔは、時間を表し、ｊｌは、ｍ３＋１個の目標類別のいずれかを指す。具体的には、ある目標を検出する場合に予測枠が出力されず、すなわち検出漏れの場合、ｊｌは、その他であり、確率は、
である。
【数28】
【数29】
【0038】
一般に、１次元天気検出モデルから、目標類別
が出力される確率は、
で表される。ここで、Ｗは、時間を表し、
は、ｍ３＋１個の目標類別のうちのいずれかの類別を指す。ここで、注意しなければならないこととして、ｊｌと
は、同一であっても異なっていてもよい。具体的には、ある目標を検出する場合に予測枠が出力されず、すなわち検出漏れの場合、
は、その他であり、確率は、
である。
【数30】
【数31】
【数32】
【数33】
【数34】
【数35】
【0039】
したがって、１次元目標モデルから類別ｊｋが出力される結合確率は、次のように計算される。
１次元目標モデルから類別のその他が出力される結合確率は、次のように計算される。
【数36】
【数37】
【0040】
（４）互いに重複している予測枠のうち、１次元時間検出モデル／１次元天気検出モデルに対応する予測枠がなければ、（ａ）全ての予測枠の属する類別が同一であると、合併後の予測枠の所属類別は、その他である。（ｂ）所属類別が他の予測枠と異なる予測枠Ａが１つ存在する場合、合併後の予測枠の所属類別は、その予測枠Ａの所属類別である。
【0041】
（イ）ほかと重ならない単一の予測枠について、その予測枠を一時的に保存し、その所属類別の確率をそのまま保持する。
【0042】
一実施例では、第２階層的結合において、第１階層的結合の２つの融合結果を重ね合わせ、重ね合わせた結果を図４に示すフローに従って処理した後、最終検出結果を出力する。
【0043】
（ア）互いに重複している予測枠については、それらを１つの予測枠に合併し、次の規則にしたがって、合併後の予測枠の属する類別を判断する。
【0044】
（１）互いに重複している予測枠の属する類別が同一であれば、合併後の予測枠の属する類別は、その同一類別である。この場合、合併後の予測枠の所属類別の確率は、以下のように更新される。
ここで、ｑは、互いに重複している予測枠のうち、属する類別が同じである予測枠の数を示し、
は、同じ類別に属するｏ番目の予測枠の前記類別の確率を示し、Δは、補償値を示す。
【数38】
【数39】
【0045】
（２）互いに重複している予測枠の属する類別が異なるであれば、予測枠に対応する適合度を比較する。
（ａ）適合度が異なれば、合併後の予測枠の所属類別および確率は、対応適合度が小さい予測枠の所属類別および確率となる。
（ｂ）適合度が同じであれば、合併後の予測枠の所属類別および確率は、対応確率が大きい予測枠の所属類別および確率となる。
（ａ）適合度が異なれば、合併後の予測枠の所属類別および確率は、対応適合度が小さい予測枠の所属類別および確率となる。
（ｂ）適合度が同じであれば、合併後の予測枠の所属類別および確率は、対応確率が大きい予測枠の所属類別および確率となる。
【0046】
（イ）ほかと重ならない単一の予測枠について、その予測枠の属する類別の確率が誤検出閾値未満であればその予測枠を削除し、そうでなければその予測枠を保持し、確率をそのまま保持する。
【0047】
一実施例では、誤検出閾値ｄ１の式は、以下のように定義される。
ｄ１＝ｄ＋δ×ＢＶ
ここで、ｄは、誤検出ベース閾値であり、δは、係数であり、ＢＶは、背景差分であり、
。ＨＣｕｒｒｅｎｔｉ、ＳＣｕｒｒｅｎｔｉ、ＶＣｕｒｒｅｎｔｉは、それぞれ、検出対象画像の色相Ｈ、彩度Ｓ、明度Ｖの３つの成分がｉの値をとる個数を示し、ＨＢａｓｅｉ、ＳＢａｓｅｉ、ＶＢａｓｅｉは、基準画像のＨ、Ｓ、Ｖの３成分がｉの値をとる個数を示し、Ｈ＋Ｓ＋Ｖは、検出対象画像および基準画像におけるＨ、Ｓ、Ｖの３成分の合計個数を示し、正規化に用いられる。
ｄ１＝ｄ＋δ×ＢＶ
ここで、ｄは、誤検出ベース閾値であり、δは、係数であり、ＢＶは、背景差分であり、
【数40】
【0048】
一実施例では、適合度は、動的変化率から得られる。動的変化率は、検出対象画像とその前後２フレーム画像との間の階調分布変化率の平均値として定義される。ここで、検出対象画像と前／後フレーム画像との間の階調分布変化率は、以下である。
ここで、ＰＲｇｒａｙｒＣは、検出対象画像における階調値ｒの画素点が、検出対象画像の全画素点に占める割合を示し、
は、前／後フレーム画像の全画素点に占める、検出対象画像の前／後フレーム画像における階調値ｒの画素点の割合を示す。動的変化率は、連続する３フレーム画像相互間の階調分布変化率であることが分かる。
【数41】
【数42】
【0049】
検出対象画像の対応する時間シーンの平均動的変化率ＡＤＥＲＴ、対応する天気シーンの平均動的変化率ＡＤＥＲＷおよび検出対象画像の動的変化率ＤＥＲＣｕｒｒｅｎｔに基づいて、適合度を計算する。
ここで、ＡＰＭＷＣｕｒｒｅｎｔは、検出対象画像の天気類１次元シーン適合度であり、ＡＰＭＴＣｕｒｒｅｎｔは、検出対象画像の時間類１次元シーン適合度であり、ＡＤＥＲＴは、時間類１次元シーンの平均動的変化率であり、ＡＤＥＲＷは、天気類の１次元シーンの平均動的変化率であり、ＤＥＲＣｕｒｒｅｎｔは、検出対象画像の動的変化率である。前記時間類／天気類の１次元シーンの平均動的変化率は、連続する３つのフレーム画像のいくつかのセットの間の動的変化率の平均値である。
【数43】
【数44】
【0050】
現在シーンは、時間、天気の２次元が交差するシーンであるため、現在シーンの動的変化率を、それぞれ対応する時間シーン、対応する天気シーンの平均動的変化率と減算して絶対値を取ると、適合度を得ることができる。それから、検出対象画像が、対応する時間シーンにより近いか、対応する天気シーンにより近いかを判断する。より近いシーンは、検出対象画像をより正確に記述することができるので、より近いシーンで作成されたモデルは、より正確に目標を予測することができる。したがって、ＡＰＭＴｎｏｗ＞ＡＰＭＷｎｏｗであれば、天気シーン出力に準じ、そうでなければ、時間シーン出力に準ずる。
【0051】
以上の記載は、本発明の具体的な実施形態に過ぎず、本発明の範囲は、これに限定されるものではない。当業者であれば、本発明の開示された技術的範囲内において想定される変形や置換は、いずれも本発明の範囲内に包含されるべきである。したがって、本発明の保護範囲は、特許請求の範囲に基づくものである。
【0052】
（付記）
（付記１）
時間類、天気類、目標類のシーンを含む３次元シーン空間である知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法であって、具体的には、
時間類、天気類、目標類の３つの１次元シーンのそれぞれに対してＹＯＬＯｖ３を学習し、１次元シーン向けの３種類の目標検出モデルである１次元時間検出モデル、１次元天気検出モデル、１次元目標検出モデルを得るステップ１と、
１次元時間検出モデル、１次元天気検出モデルおよび１次元目標検出モデルに基づいて、それぞれ検出対象画像に対して目標検出を行うステップ２と、
ステップ２の目標検出結果を階層的に結合し、検出対象画像の最終検出結果を出力するステップ３とを含むことを特徴とする、
知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法。
（付記１）
時間類、天気類、目標類のシーンを含む３次元シーン空間である知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法であって、具体的には、
時間類、天気類、目標類の３つの１次元シーンのそれぞれに対してＹＯＬＯｖ３を学習し、１次元シーン向けの３種類の目標検出モデルである１次元時間検出モデル、１次元天気検出モデル、１次元目標検出モデルを得るステップ１と、
１次元時間検出モデル、１次元天気検出モデルおよび１次元目標検出モデルに基づいて、それぞれ検出対象画像に対して目標検出を行うステップ２と、
ステップ２の目標検出結果を階層的に結合し、検出対象画像の最終検出結果を出力するステップ３とを含むことを特徴とする、
知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法。
【0053】
（付記２）
付記１に記載の知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法であって、
前記ステップ１で、１次元シーン向けの３種類の目標検出モデルを構築し、具体的には、以下のとおりであることを特徴とする、
知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法。
（１）必要に応じて、時間類１次元シーンをｍ１種類、天気類１次元シーンをｍ２種類、目標類１次元シーンをｍ３＋１種類に分類する。
（２）時間類１次元シーンの各類別に対して、各類別の学習サンプルをラベリングし、ＹＯＬＯｖ３を学習し、ｍ１個の１次元時間検出モデルを得る。
天気類１次元シーンの各類別に対して、各類別の学習サンプルをラベリングし、ＹＯＬＯｖ３を学習し、ｍ２個の１次元天気検出モデルを得る。
目標類１次元シーンの各類別に対して、各類別の学習サンプルをラベリングし、ＹＯＬＯｖ３を学習し、ｍ３個の１次元目標検出モデルを得る。
ここで、１次元時間検出モデルおよび１次元天気検出モデルは、いずれもｍ３種類の目標および１種類のその他に対応するｍ３＋１個の出力を含み、１次元目標検出モデルは、１種類の目標および１種類のその他に対応する２個の出力を含む。
付記１に記載の知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法であって、
前記ステップ１で、１次元シーン向けの３種類の目標検出モデルを構築し、具体的には、以下のとおりであることを特徴とする、
知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法。
（１）必要に応じて、時間類１次元シーンをｍ１種類、天気類１次元シーンをｍ２種類、目標類１次元シーンをｍ３＋１種類に分類する。
（２）時間類１次元シーンの各類別に対して、各類別の学習サンプルをラベリングし、ＹＯＬＯｖ３を学習し、ｍ１個の１次元時間検出モデルを得る。
天気類１次元シーンの各類別に対して、各類別の学習サンプルをラベリングし、ＹＯＬＯｖ３を学習し、ｍ２個の１次元天気検出モデルを得る。
目標類１次元シーンの各類別に対して、各類別の学習サンプルをラベリングし、ＹＯＬＯｖ３を学習し、ｍ３個の１次元目標検出モデルを得る。
ここで、１次元時間検出モデルおよび１次元天気検出モデルは、いずれもｍ３種類の目標および１種類のその他に対応するｍ３＋１個の出力を含み、１次元目標検出モデルは、１種類の目標および１種類のその他に対応する２個の出力を含む。
【0054】
（付記３）
付記２に記載の知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法であって、
前記ステップ２で、検出対象画像の時間類１次元シーンおよび天気類１次元シーンにおける類別に基づいて、対応する１次元時間検出モデル、１次元天気検出モデルを選択し、検出対象画像に対して目標検出を行うことを特徴とする、
知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法。
付記２に記載の知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法であって、
前記ステップ２で、検出対象画像の時間類１次元シーンおよび天気類１次元シーンにおける類別に基づいて、対応する１次元時間検出モデル、１次元天気検出モデルを選択し、検出対象画像に対して目標検出を行うことを特徴とする、
知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法。
【0055】
（付記４）
付記３に記載の知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法であって、
前記ステップ３における階層的結合は、具体的には、以下のとおりであることを特徴とする、
知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法。
（１）第１階層的結合：ｍ３個の１次元目標検出モデルの出力結果をそれぞれ１次元時間検出モデルの出力結果と融合させるとともに、ｍ３個の１次元目標検出モデルを１次元天気検出モデルの出力結果と融合させる。
（２）第２階層的結合：第１階層的結合の２つの融合結果をさらに融合させる。
付記３に記載の知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法であって、
前記ステップ３における階層的結合は、具体的には、以下のとおりであることを特徴とする、
知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法。
（１）第１階層的結合：ｍ３個の１次元目標検出モデルの出力結果をそれぞれ１次元時間検出モデルの出力結果と融合させるとともに、ｍ３個の１次元目標検出モデルを１次元天気検出モデルの出力結果と融合させる。
（２）第２階層的結合：第１階層的結合の２つの融合結果をさらに融合させる。
【0056】
（付記５）
付記４に記載の知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法であって、
前記第１階層的結合に際して、ｍ３個の１次元目標検出モデルと１次元時間検出モデル／１次元天気検出モデルの出力結果を重ね合わせ、重ね合わせた結果に対して以下の処理を行って融合結果を出力することを特徴とする、
知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法。
（ア）互いに重複している予測枠を１つの予測枠に合併し、重複していない他の予測枠をそのまま保持する。前記合併の原則は、以下のとおりである。
（１）互いに重複している予測枠のうち、１次元時間検出モデル／１次元天気検出モデルに対応する予測枠と、１次元目標検出モデルに対応するいずれかの予測枠とは、属する類別が同一であり、かつ、属する類別がその他でなければ、合併後の予測枠が属する類別は、その同一類別である。
（２）互いに重複している予測枠のうち、１次元時間検出モデル／１次元天気検出モデルに対応する予測枠と、１次元目標検出モデルに対応する全ての予測枠とは、属する類別がいずれもその他であれば、合併後の予測枠が属する類別は、その他である。
（３）互いに重複している予測枠のうち、１次元時間検出モデル／１次元天気検出モデルに対応する予測枠と、いずれかの１次元目標検出モデルに対応する予測枠とは、属する類別がいずれも一致しなければ、
、
、Ｐｕｏｔｈｅｒの三者のうち最大値に対応する類別を、合併後の予測枠が属する類別とし、かつ合併後の予測枠が属する類別の確率をその最大値とする。ここで、
は、１次元時間検出モデル／１次元天気検出モデルに対応する予測枠の属する類別がｊｌである確率を示し、ｊｌは、１次元時間検出モデル／１次元天気検出モデルのｍ３＋１個の出力のいずれかを示す。
は、１次元目標検出モデルに対応する予測枠の属する類別がｊｋである結合確率を示し、
ｊｋは、ｍ３種類の目標のいずれかを示し、Ｐｕｏｔｈｅｒは、１次元目標検出モデルに対応する予測枠の属する類別がその他である結合確率を示し、
は、出力にｊｋを含む１次元目標検出モデルの出力がｊｋである結合確率を示し、
は、出力にｊｋを含む１次元目標検出モデルの出力がその他である確率を示し、ｋ＝１，２，．．．，ｍ３。出力にｊｋを含む１次元目標検出モデルから予測枠が出力されなかった場合、
、
。
（４）互いに重複している予測枠のうち、１次元時間検出モデル／１次元天気検出モデルに対応する予測枠がなければ、（ａ）全ての予測枠の属する類別が同一であると、合併後の予測枠の属する類別は、その他である。（ｂ）所属類別が他の予測枠と異なる予測枠Ｂが１つ存在する場合、合併後の予測枠の属する類別は、その予測枠Ｂの所属類別である。
（イ）ほかと重ならない単一の予測枠について、その予測枠を一時的に保存し、その所属類別の確率をそのまま保持する。
付記４に記載の知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法であって、
前記第１階層的結合に際して、ｍ３個の１次元目標検出モデルと１次元時間検出モデル／１次元天気検出モデルの出力結果を重ね合わせ、重ね合わせた結果に対して以下の処理を行って融合結果を出力することを特徴とする、
知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法。
（ア）互いに重複している予測枠を１つの予測枠に合併し、重複していない他の予測枠をそのまま保持する。前記合併の原則は、以下のとおりである。
（１）互いに重複している予測枠のうち、１次元時間検出モデル／１次元天気検出モデルに対応する予測枠と、１次元目標検出モデルに対応するいずれかの予測枠とは、属する類別が同一であり、かつ、属する類別がその他でなければ、合併後の予測枠が属する類別は、その同一類別である。
（２）互いに重複している予測枠のうち、１次元時間検出モデル／１次元天気検出モデルに対応する予測枠と、１次元目標検出モデルに対応する全ての予測枠とは、属する類別がいずれもその他であれば、合併後の予測枠が属する類別は、その他である。
（３）互いに重複している予測枠のうち、１次元時間検出モデル／１次元天気検出モデルに対応する予測枠と、いずれかの１次元目標検出モデルに対応する予測枠とは、属する類別がいずれも一致しなければ、
【数45】
【数46】
【数47】
【数48】
【数49】
【数50】
【数51】
【数52】
【数53】
【数54】
（４）互いに重複している予測枠のうち、１次元時間検出モデル／１次元天気検出モデルに対応する予測枠がなければ、（ａ）全ての予測枠の属する類別が同一であると、合併後の予測枠の属する類別は、その他である。（ｂ）所属類別が他の予測枠と異なる予測枠Ｂが１つ存在する場合、合併後の予測枠の属する類別は、その予測枠Ｂの所属類別である。
（イ）ほかと重ならない単一の予測枠について、その予測枠を一時的に保存し、その所属類別の確率をそのまま保持する。
【0057】
（付記６）
付記４に記載の知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法であって、
前記第２階層的結合は、具体的には、第１階層的結合の２つの融合結果を重ね合わせ、重ね合わせた結果を以下のように処理して最終検出結果を出力することを特徴とする、
知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法。
（ア）互いに重複している予測枠について、それらを１つの予測枠に合併し、次の規則にしたがって、合併後の予測枠の属する類別を判断する。
（１）互いに重複している予測枠の属する類別が同一であれば、合併後の予測枠の属する類別は、その同一類別である。
（２）互いに重複している予測枠の属する類別が異なるであれば、予測枠に対応する適合度を比較する。
（ａ）適合度が異なれば、合併後の予測枠の所属類別および確率は、対応適合度が小さい予測枠の所属類別および確率となる。
（ｂ）適合度が同じであれば、合併後の予測枠の所属類別および確率は、対応確率が大きい予測枠の所属類別および確率となる。
（イ）ほかと重ならない単一の予測枠について、その予測枠の属する類別の確率が誤検出閾値未満であればその予測枠を削除し、そうでなければその予測枠を保持し、確率をそのまま保持する。
付記４に記載の知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法であって、
前記第２階層的結合は、具体的には、第１階層的結合の２つの融合結果を重ね合わせ、重ね合わせた結果を以下のように処理して最終検出結果を出力することを特徴とする、
知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法。
（ア）互いに重複している予測枠について、それらを１つの予測枠に合併し、次の規則にしたがって、合併後の予測枠の属する類別を判断する。
（１）互いに重複している予測枠の属する類別が同一であれば、合併後の予測枠の属する類別は、その同一類別である。
（２）互いに重複している予測枠の属する類別が異なるであれば、予測枠に対応する適合度を比較する。
（ａ）適合度が異なれば、合併後の予測枠の所属類別および確率は、対応適合度が小さい予測枠の所属類別および確率となる。
（ｂ）適合度が同じであれば、合併後の予測枠の所属類別および確率は、対応確率が大きい予測枠の所属類別および確率となる。
（イ）ほかと重ならない単一の予測枠について、その予測枠の属する類別の確率が誤検出閾値未満であればその予測枠を削除し、そうでなければその予測枠を保持し、確率をそのまま保持する。
【0058】
（付記７）
付記５または６に記載の知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法であって、
第１階層／第２階層的結合の際に、互いに重複している予測枠のうち、属する類別が同じものが存在する場合には、合併後の予測枠の属する類別の確率を更新し、更新後の確率は、
であり、
ここで、ｑは、互いに重複している予測枠のうち、属する類別が同じである予測枠の数を示し、
は、同じ類別に属するｏ番目の予測枠の前記類別の確率を示し、Δは、補償値を示すことを特徴とする、
知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法。
付記５または６に記載の知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法であって、
第１階層／第２階層的結合の際に、互いに重複している予測枠のうち、属する類別が同じものが存在する場合には、合併後の予測枠の属する類別の確率を更新し、更新後の確率は、
【数55】
ここで、ｑは、互いに重複している予測枠のうち、属する類別が同じである予測枠の数を示し、
【数56】
知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法。
【0059】
（付記８）
付記７に記載の知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法であって、
前記誤検出閾値ｄ１の式は、以下のように定義されることを特徴とする、
知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法。
ｄ１＝ｄ＋δ×ＢＶ
ここで、ｄは、誤検出ベース閾値であり、δは、係数であり、ＢＶは、背景差分であり、
。
ＨＣｕｒｒｅｎｔｉ、ＳＣｕｒｒｅｎｔｉ、ＶＣｕｒｒｅｎｔｉは、それぞれ、検出対象画像の色相Ｈ、彩度Ｓ、明度Ｖの３つの成分がｉの値をとる個数を示し、ＨＢａｓｅｉ、ＳＢａｓｅｉ、ＶＢａｓｅｉは、基準画像のＨ、Ｓ、Ｖの３成分がｉの値をとる個数を示し、Ｈ＋Ｓ＋Ｖは、検出対象画像および基準画像におけるＨ、Ｓ、Ｖの３成分の合計個数を示す。
付記７に記載の知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法であって、
前記誤検出閾値ｄ１の式は、以下のように定義されることを特徴とする、
知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法。
ｄ１＝ｄ＋δ×ＢＶ
ここで、ｄは、誤検出ベース閾値であり、δは、係数であり、ＢＶは、背景差分であり、
【数57】
ＨＣｕｒｒｅｎｔｉ、ＳＣｕｒｒｅｎｔｉ、ＶＣｕｒｒｅｎｔｉは、それぞれ、検出対象画像の色相Ｈ、彩度Ｓ、明度Ｖの３つの成分がｉの値をとる個数を示し、ＨＢａｓｅｉ、ＳＢａｓｅｉ、ＶＢａｓｅｉは、基準画像のＨ、Ｓ、Ｖの３成分がｉの値をとる個数を示し、Ｈ＋Ｓ＋Ｖは、検出対象画像および基準画像におけるＨ、Ｓ、Ｖの３成分の合計個数を示す。
【0060】
（付記９）
付記７に記載の知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法であって、
前記適合度は、時間類１次元シーン適合度と天気類１次元シーン適合度の２種類に分けられ、
検出対象画像の時間類１次元シーン適合度
検出対象画像の天気類１次元シーン適合度
ここで、ＡＤＥＲＴは、時間類１次元シーンの平均動的変化率であり、ＡＤＥＲＷは、天気類１次元シーンの平均動的変化率であり、ＤＥＲＣｕｒｒｅｎｔは、検出対象画像の動的変化率であり、
ＡＰＭＴＣｕｒｒｅｎｔ＞ＡＰＭＷＣｕｒｒｅｎｔであれば、合併後の予測枠の属する類別は、１次元天気検出モデルの出力結果に対応する類別であり、そうでなければ、合併後の予測枠の属する類別は、１次元時間検出モデルの出力結果に対応する類別であることを特徴とする、
知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法。
付記７に記載の知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法であって、
前記適合度は、時間類１次元シーン適合度と天気類１次元シーン適合度の２種類に分けられ、
検出対象画像の時間類１次元シーン適合度
【数58】
【数59】
ＡＰＭＴＣｕｒｒｅｎｔ＞ＡＰＭＷＣｕｒｒｅｎｔであれば、合併後の予測枠の属する類別は、１次元天気検出モデルの出力結果に対応する類別であり、そうでなければ、合併後の予測枠の属する類別は、１次元時間検出モデルの出力結果に対応する類別であることを特徴とする、
知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法。
【0061】
（付記１０）
付記９に記載の知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法であって、
前記動的変化率は、検出対象画像とその前後２フレーム画像との間の階調分布変化率の平均値であり、検出対象画像と前／後フレーム画像との間の階調分布変化率は、以下であり、
ここで、ＰＲｇｒａｙｒＣは、検出対象画像における階調値ｒの画素点が、検出対象画像の全画素点に占める割合を示し、
は、前／後フレーム画像の全画素点に占める、検出対象画像の前／後フレーム画像における階調値ｒの画素点の割合を示し、
前記時間類／天気類１次元シーンの平均動的変化率は、連続する３つのフレーム画像のいくつかのセットの間の動的変化率の平均値であることを特徴とする、
知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法。
付記９に記載の知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法であって、
前記動的変化率は、検出対象画像とその前後２フレーム画像との間の階調分布変化率の平均値であり、検出対象画像と前／後フレーム画像との間の階調分布変化率は、以下であり、
【数60】
【数61】
前記時間類／天気類１次元シーンの平均動的変化率は、連続する３つのフレーム画像のいくつかのセットの間の動的変化率の平均値であることを特徴とする、
知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【手続補正書】
【提出日】2023-06-23
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
時間類、天気類、目標類のシーンを含む３次元シーン空間である知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法であって、具体的には、
時間類、天気類、目標類の３つの１次元シーンのそれぞれに対してＹＯＬＯｖ３を学習し、１次元シーン向けの３種類の目標検出モデルである１次元時間検出モデル、１次元天気検出モデル、１次元目標検出モデルを得るステップ１と、
１次元時間検出モデル、１次元天気検出モデルおよび１次元目標検出モデルに基づいて、それぞれ検出対象画像に対して目標検出を行うステップ２と、
ステップ２の目標検出結果を階層的に結合し、検出対象画像の最終検出結果を出力するステップ３とを含み、
前記ステップ１で、１次元シーン向けの３種類の目標検出モデルを構築し、具体的には、以下のとおりであることを特徴とする、
知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法。
（１）必要に応じて、時間類１次元シーンをｍ１種類、天気類１次元シーンをｍ２種類、目標類１次元シーンをｍ３＋１種類に分類する。
（２）時間類１次元シーンの各類別に対して、各類別の学習サンプルをラベリングし、ＹＯＬＯｖ３を学習し、ｍ１個の１次元時間検出モデルを得る。
天気類１次元シーンの各類別に対して、各類別の学習サンプルをラベリングし、ＹＯＬＯｖ３を学習し、ｍ２個の１次元天気検出モデルを得る。
目標類１次元シーンの各類別に対して、各類別の学習サンプルをラベリングし、ＹＯＬＯｖ３を学習し、ｍ３個の１次元目標検出モデルを得る。
ここで、１次元時間検出モデルおよび１次元天気検出モデルは、いずれもｍ３種類の目標および１種類のその他に対応するｍ３＋１個の出力を含み、１次元目標検出モデルは、１種類の目標および１種類のその他に対応する２個の出力を含む。
時間類、天気類、目標類の３つの１次元シーンのそれぞれに対してＹＯＬＯｖ３を学習し、１次元シーン向けの３種類の目標検出モデルである１次元時間検出モデル、１次元天気検出モデル、１次元目標検出モデルを得るステップ１と、
１次元時間検出モデル、１次元天気検出モデルおよび１次元目標検出モデルに基づいて、それぞれ検出対象画像に対して目標検出を行うステップ２と、
ステップ２の目標検出結果を階層的に結合し、検出対象画像の最終検出結果を出力するステップ３とを含み、
前記ステップ１で、１次元シーン向けの３種類の目標検出モデルを構築し、具体的には、以下のとおりであることを特徴とする、
知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法。
（１）必要に応じて、時間類１次元シーンをｍ１種類、天気類１次元シーンをｍ２種類、目標類１次元シーンをｍ３＋１種類に分類する。
（２）時間類１次元シーンの各類別に対して、各類別の学習サンプルをラベリングし、ＹＯＬＯｖ３を学習し、ｍ１個の１次元時間検出モデルを得る。
天気類１次元シーンの各類別に対して、各類別の学習サンプルをラベリングし、ＹＯＬＯｖ３を学習し、ｍ２個の１次元天気検出モデルを得る。
目標類１次元シーンの各類別に対して、各類別の学習サンプルをラベリングし、ＹＯＬＯｖ３を学習し、ｍ３個の１次元目標検出モデルを得る。
ここで、１次元時間検出モデルおよび１次元天気検出モデルは、いずれもｍ３種類の目標および１種類のその他に対応するｍ３＋１個の出力を含み、１次元目標検出モデルは、１種類の目標および１種類のその他に対応する２個の出力を含む。
【請求項2】
請求項１に記載の知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法であって、
前記ステップ２で、検出対象画像の時間類１次元シーンおよび天気類１次元シーンにおける類別に基づいて、対応する１次元時間検出モデル、１次元天気検出モデルを選択し、検出対象画像に対して目標検出を行うことを特徴とする、
知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法。
前記ステップ２で、検出対象画像の時間類１次元シーンおよび天気類１次元シーンにおける類別に基づいて、対応する１次元時間検出モデル、１次元天気検出モデルを選択し、検出対象画像に対して目標検出を行うことを特徴とする、
知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法。
【請求項3】
請求項２に記載の知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法であって、
前記ステップ３における階層的結合は、具体的には、以下のとおりであることを特徴とする、
知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法。
（１）第１階層的結合：ｍ３個の１次元目標検出モデルの出力結果をそれぞれ１次元時間検出モデルの出力結果と融合させるとともに、ｍ３個の１次元目標検出モデルを１次元天気検出モデルの出力結果と融合させる。
（２）第２階層的結合：第１階層的結合の２つの融合結果をさらに融合させる。
前記ステップ３における階層的結合は、具体的には、以下のとおりであることを特徴とする、
知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法。
（１）第１階層的結合：ｍ３個の１次元目標検出モデルの出力結果をそれぞれ１次元時間検出モデルの出力結果と融合させるとともに、ｍ３個の１次元目標検出モデルを１次元天気検出モデルの出力結果と融合させる。
（２）第２階層的結合：第１階層的結合の２つの融合結果をさらに融合させる。
【請求項4】
請求項３に記載の知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法であって、
前記第１階層的結合に際して、ｍ３個の１次元目標検出モデルと１次元時間検出モデル／１次元天気検出モデルの出力結果を重ね合わせ、重ね合わせた結果に対して以下の処理を行って融合結果を出力することを特徴とする、
知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法。
（ア）互いに重複している予測枠を１つの予測枠に合併し、重複していない他の予測枠をそのまま保持する。前記合併の原則は、以下のとおりである。
（１）互いに重複している予測枠のうち、１次元時間検出モデル／１次元天気検出モデルに対応する予測枠と、１次元目標検出モデルに対応するいずれかの予測枠とは、属する類別が同一であり、かつ、属する類別がその他でなければ、合併後の予測枠が属する類別は、その同一類別である。
（２）互いに重複している予測枠のうち、１次元時間検出モデル／１次元天気検出モデルに対応する予測枠と、１次元目標検出モデルに対応する全ての予測枠とは、属する類別がいずれもその他であれば、合併後の予測枠が属する類別は、その他である。
（３）互いに重複している予測枠のうち、１次元時間検出モデル／１次元天気検出モデルに対応する予測枠と、いずれかの１次元目標検出モデルに対応する予測枠とは、属する類別がいずれも一致しなければ、
、
、Ｐｕｏｔｈｅｒの三者のうち最大値に対応する類別を、合併後の予測枠が属する類別とし、かつ合併後の予測枠が属する類別の確率をその最大値とする。ここで、
は、１次元時間検出モデル／１次元天気検出モデルに対応する予測枠の属する類別がｊｌである確率を示し、ｊｌは、１次元時間検出モデル／１次元天気検出モデルのｍ３＋１個の出力のいずれかを示す。
は、１次元目標検出モデルに対応する予測枠の属する類別がｊｋである結合確率を示し、
ｊｋは、ｍ３種類の目標のいずれかを示し、Ｐｕｏｔｈｅｒは、１次元目標検出モデルに対応する予測枠の属する類別がその他である結合確率を示し、
は、出力にｊｋを含む１次元目標検出モデルの出力がｊｋである結合確率を示し、
は、出力にｊｋを含む１次元目標検出モデルの出力がその他である確率を示し、ｋ＝１，２，．．．，ｍ３。出力にｊｋを含む１次元目標検出モデルから予測枠が出力されなかった場合、
、
。
（４）互いに重複している予測枠のうち、１次元時間検出モデル／１次元天気検出モデルに対応する予測枠がなければ、（ａ）全ての予測枠の属する類別が同一であると、合併後の予測枠の属する類別は、その他である。（ｂ）所属類別が他の予測枠と異なる予測枠Ｂが１つ存在する場合、合併後の予測枠の属する類別は、その予測枠Ｂの所属類別である。
（イ）ほかと重ならない単一の予測枠について、その予測枠を一時的に保存し、その所属類別の確率をそのまま保持する。
前記第１階層的結合に際して、ｍ３個の１次元目標検出モデルと１次元時間検出モデル／１次元天気検出モデルの出力結果を重ね合わせ、重ね合わせた結果に対して以下の処理を行って融合結果を出力することを特徴とする、
知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法。
（ア）互いに重複している予測枠を１つの予測枠に合併し、重複していない他の予測枠をそのまま保持する。前記合併の原則は、以下のとおりである。
（１）互いに重複している予測枠のうち、１次元時間検出モデル／１次元天気検出モデルに対応する予測枠と、１次元目標検出モデルに対応するいずれかの予測枠とは、属する類別が同一であり、かつ、属する類別がその他でなければ、合併後の予測枠が属する類別は、その同一類別である。
（２）互いに重複している予測枠のうち、１次元時間検出モデル／１次元天気検出モデルに対応する予測枠と、１次元目標検出モデルに対応する全ての予測枠とは、属する類別がいずれもその他であれば、合併後の予測枠が属する類別は、その他である。
（３）互いに重複している予測枠のうち、１次元時間検出モデル／１次元天気検出モデルに対応する予測枠と、いずれかの１次元目標検出モデルに対応する予測枠とは、属する類別がいずれも一致しなければ、
【数1】
【数2】
【数3】
【数4】
【数5】
【数6】
【数7】
【数8】
【数9】
【数10】
（４）互いに重複している予測枠のうち、１次元時間検出モデル／１次元天気検出モデルに対応する予測枠がなければ、（ａ）全ての予測枠の属する類別が同一であると、合併後の予測枠の属する類別は、その他である。（ｂ）所属類別が他の予測枠と異なる予測枠Ｂが１つ存在する場合、合併後の予測枠の属する類別は、その予測枠Ｂの所属類別である。
（イ）ほかと重ならない単一の予測枠について、その予測枠を一時的に保存し、その所属類別の確率をそのまま保持する。
【請求項5】
請求項３に記載の知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法であって、
前記第２階層的結合は、具体的には、第１階層的結合の２つの融合結果を重ね合わせ、重ね合わせた結果を以下のように処理して最終検出結果を出力することを特徴とする、
知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法。
（ア）互いに重複している予測枠について、それらを１つの予測枠に合併し、次の規則にしたがって、合併後の予測枠の属する類別を判断する。
（１）互いに重複している予測枠の属する類別が同一であれば、合併後の予測枠の属する類別は、その同一類別である。
（２）互いに重複している予測枠の属する類別が異なるであれば、予測枠に対応する適合度を比較する。
（ａ）適合度が異なれば、合併後の予測枠の所属類別および確率は、対応適合度が小さい予測枠の所属類別および確率となる。
（ｂ）適合度が同じであれば、合併後の予測枠の所属類別および確率は、対応確率が大きい予測枠の所属類別および確率となる。
（イ）ほかと重ならない単一の予測枠について、その予測枠の属する類別の確率が誤検出閾値未満であればその予測枠を削除し、そうでなければその予測枠を保持し、確率をそのまま保持する。
前記第２階層的結合は、具体的には、第１階層的結合の２つの融合結果を重ね合わせ、重ね合わせた結果を以下のように処理して最終検出結果を出力することを特徴とする、
知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法。
（ア）互いに重複している予測枠について、それらを１つの予測枠に合併し、次の規則にしたがって、合併後の予測枠の属する類別を判断する。
（１）互いに重複している予測枠の属する類別が同一であれば、合併後の予測枠の属する類別は、その同一類別である。
（２）互いに重複している予測枠の属する類別が異なるであれば、予測枠に対応する適合度を比較する。
（ａ）適合度が異なれば、合併後の予測枠の所属類別および確率は、対応適合度が小さい予測枠の所属類別および確率となる。
（ｂ）適合度が同じであれば、合併後の予測枠の所属類別および確率は、対応確率が大きい予測枠の所属類別および確率となる。
（イ）ほかと重ならない単一の予測枠について、その予測枠の属する類別の確率が誤検出閾値未満であればその予測枠を削除し、そうでなければその予測枠を保持し、確率をそのまま保持する。
【請求項6】
請求項５に記載の知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法であって、
前記誤検出閾値の式は、以下のように定義されることを特徴とする、
知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法。
ｄ１＝ｄ＋δ×ＢＶ
ここで、ｄは、誤検出ベース閾値であり、δは、係数であり、ＢＶは、背景差分であり、
。
ＨＣｕｒｒｅｎｔｉ、ＳＣｕｒｒｅｎｔｉ、ＶＣｕｒｒｅｎｔｉは、それぞれ、検出対象画像の色相Ｈ、彩度Ｓ、明度Ｖの３つの成分がｉの値をとる個数を示し、ＨＢａｓｅｉ、ＳＢａｓｅｉ、ＶＢａｓｅｉは、基準画像のＨ、Ｓ、Ｖの３成分がｉの値をとる個数を示し、Ｈ＋Ｓ＋Ｖは、検出対象画像および基準画像におけるＨ、Ｓ、Ｖの３成分の合計個数を示す。
前記誤検出閾値の式は、以下のように定義されることを特徴とする、
知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法。
ｄ１＝ｄ＋δ×ＢＶ
ここで、ｄは、誤検出ベース閾値であり、δは、係数であり、ＢＶは、背景差分であり、
【数11】
ＨＣｕｒｒｅｎｔｉ、ＳＣｕｒｒｅｎｔｉ、ＶＣｕｒｒｅｎｔｉは、それぞれ、検出対象画像の色相Ｈ、彩度Ｓ、明度Ｖの３つの成分がｉの値をとる個数を示し、ＨＢａｓｅｉ、ＳＢａｓｅｉ、ＶＢａｓｅｉは、基準画像のＨ、Ｓ、Ｖの３成分がｉの値をとる個数を示し、Ｈ＋Ｓ＋Ｖは、検出対象画像および基準画像におけるＨ、Ｓ、Ｖの３成分の合計個数を示す。
【請求項7】
請求項４から６のいずれか１項に記載の知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法であって、
第１階層／第２階層的結合の際に、互いに重複している予測枠のうち、属する類別が同じものが存在する場合には、合併後の予測枠の属する類別の確率を更新し、更新後の確率は、
であり、
ここで、ｑは、互いに重複している予測枠のうち、属する類別が同じである予測枠の数を示し、
は、同じ類別に属するｏ番目の予測枠の前記類別の確率を示し、Δは、補償値を示すことを特徴とする、
知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法。
第１階層／第２階層的結合の際に、互いに重複している予測枠のうち、属する類別が同じものが存在する場合には、合併後の予測枠の属する類別の確率を更新し、更新後の確率は、
【数12】
ここで、ｑは、互いに重複している予測枠のうち、属する類別が同じである予測枠の数を示し、
【数13】
知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法。
【請求項8】
請求項５に記載の知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法であって、
前記適合度は、時間類１次元シーン適合度と天気類１次元シーン適合度の２種類に分けられ、
検出対象画像の時間類１次元シーン適合度
検出対象画像の天気類１次元シーン適合度
ここで、ＡＤＥＲＴは、時間類１次元シーンの平均動的変化率であり、ＡＤＥＲＷは、天気類１次元シーンの平均動的変化率であり、ＤＥＲＣｕｒｒｅｎｔは、検出対象画像の動的変化率であり、
ＡＰＭＴＣｕｒｒｅｎｔ＞ＡＰＭＷＣｕｒｒｅｎｔであれば、合併後の予測枠の属する類別は、１次元天気検出モデルの出力結果に対応する類別であり、そうでなければ、合併後の予測枠の属する類別は、１次元時間検出モデルの出力結果に対応する類別であることを特徴とする、
知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法。
前記適合度は、時間類１次元シーン適合度と天気類１次元シーン適合度の２種類に分けられ、
検出対象画像の時間類１次元シーン適合度
【数14】
【数15】
ＡＰＭＴＣｕｒｒｅｎｔ＞ＡＰＭＷＣｕｒｒｅｎｔであれば、合併後の予測枠の属する類別は、１次元天気検出モデルの出力結果に対応する類別であり、そうでなければ、合併後の予測枠の属する類別は、１次元時間検出モデルの出力結果に対応する類別であることを特徴とする、
知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法。
【請求項9】
請求項８に記載の知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法であって、
前記検出対象画像の動的変化率は、検出対象画像とその前後２フレーム画像との間の階調分布変化率の平均値であり、検出対象画像と前／後フレーム画像との間の階調分布変化率は、以下であり、
ここで、ＰＲｇｒａｙｒＣは、検出対象画像における階調値ｒの画素点が、検出対象画像の全画素点に占める割合を示し、
は、前／後フレーム画像の全画素点に占める、検出対象画像の前／後フレーム画像における階調値ｒの画素点の割合を示し、
前記時間類／天気類１次元シーンの平均動的変化率は、連続する３つのフレーム画像のいくつかのセットの間の動的変化率の平均値であることを特徴とする、
知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法。
前記検出対象画像の動的変化率は、検出対象画像とその前後２フレーム画像との間の階調分布変化率の平均値であり、検出対象画像と前／後フレーム画像との間の階調分布変化率は、以下であり、
【数16】
【数17】
前記時間類／天気類１次元シーンの平均動的変化率は、連続する３つのフレーム画像のいくつかのセットの間の動的変化率の平均値であることを特徴とする、
知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法。
【外国語明細書】