知財求人 - 知財ポータルサイト「IP Force」
特開2023-133087マルチモーダルアテンション駆動に基づく三次元点群特徴抽出方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023133087
(43)【公開日】2023-09-22
(54)【発明の名称】マルチモーダルアテンション駆動に基づく三次元点群特徴抽出方法
(51)【国際特許分類】
G06V 10/82 20220101AFI20230914BHJP
G06T 7/00 20170101ALI20230914BHJP
【ＦＩ】
G06V10/82
G06T7/00 350C
【審査請求】有
【請求項の数】7
【出願形態】ＯＬ
(21)【出願番号】P 2022150747
(22)【出願日】2022-09-21
(31)【優先権主張番号】202210231429.6
(32)【優先日】2022-03-09
(33)【優先権主張国・地域又は機関】CN
(71)【出願人】
【識別番号】519291342
【氏名又は名称】南京航空航天大学
(74)【代理人】
【識別番号】100177220
【弁理士】
【氏名又は名称】小木 智彦
(72)【発明者】
【氏名】汪 俊
(72)【発明者】
【氏名】王 洲濤
(72)【発明者】
【氏名】陳 紅華
(72)【発明者】
【氏名】張 ▲源▼
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096AA06
5L096AA09
5L096CA02
5L096DA02
5L096FA16
5L096HA11
5L096KA04
(57)【要約】
【課題】マルチモーダルアテンション駆動に基づく三次元点群特徴抽出方法を提供する。
【解決手段】本発明は、マルチモーダルアテンション駆動に基づく三次元点群特徴抽出方法を開示し、検出対象オブジェクトの３Ｄ空間で対応する２Ｄ画像データと３Ｄ点群データを収集し、３Ｄ点群データで検出対象オブジェクトの３Ｄバウンディングボックスと検出対象オブジェクトのカテゴリをマークすることと、特徴抽出ネットワークを構築することと、２Ｄ画像データと３Ｄ点群データを特徴抽出ネットワークに入力し、ＶｏｔｅＮｅｔ損失関数が収束するまでトレーニングすることと、収集した検出対象オブジェクトの３Ｄ空間で対応する２Ｄ画像データと３Ｄ点群データをトレーニングされた特徴抽出ネットワークに入力し、検出対象オブジェクトの３Ｄバウンディングボックスと検出対象オブジェクトのカテゴリ情報を出力することと、を含む。
【選択図】図１
【解決手段】本発明は、マルチモーダルアテンション駆動に基づく三次元点群特徴抽出方法を開示し、検出対象オブジェクトの３Ｄ空間で対応する２Ｄ画像データと３Ｄ点群データを収集し、３Ｄ点群データで検出対象オブジェクトの３Ｄバウンディングボックスと検出対象オブジェクトのカテゴリをマークすることと、特徴抽出ネットワークを構築することと、２Ｄ画像データと３Ｄ点群データを特徴抽出ネットワークに入力し、ＶｏｔｅＮｅｔ損失関数が収束するまでトレーニングすることと、収集した検出対象オブジェクトの３Ｄ空間で対応する２Ｄ画像データと３Ｄ点群データをトレーニングされた特徴抽出ネットワークに入力し、検出対象オブジェクトの３Ｄバウンディングボックスと検出対象オブジェクトのカテゴリ情報を出力することと、を含む。
【選択図】図１
【特許請求の範囲】
【請求項1】
マルチモーダルアテンション駆動に基づく三次元点群特徴抽出方法であって、
検出対象オブジェクトの３Ｄ空間で対応する２Ｄ画像データと３Ｄ点群データを収集し、３Ｄ点群データで検出対象オブジェクトの３Ｄバウンディングボックスと検出対象オブジェクトのカテゴリをマークするステップ（１）と、
特徴抽出ネットワークは、２Ｄ画像特徴抽出モジュール、特徴変換モジュール、アテンションモジュール、３Ｄ点群特徴抽出モジュール、および３Ｄオブジェクト検出タスクモジュールを含み、前記２Ｄ画像特徴抽出モジュールの出力端は、特徴変換モジュールの入力端に接続され、前記特徴変換モジュールの出力端と３Ｄ点群特徴抽出モジュールの出力端はいずれもアテンションモジュールの入力端に接続され、前記アテンションモジュールの出力端と３Ｄ点群特徴抽出モジュールの出力端は、いずれも３Ｄオブジェクト検出タスクモジュールの入力端に接続され、前記３Ｄ点群特徴抽出モジュールは、３Ｄ点群の深度特徴を抽出するために使用され、前記２Ｄ画像特徴抽出モジュールは、２Ｄ画像の深度特徴を抽出するために使用され、前記特徴変換モジュールは、２Ｄ画像の深度特徴の形状を３Ｄ点群特徴の形状と同じサイズに変換するために使用され、前記アテンションモジュールはアテンションの重みのマトリックスを生成するために使用され、前記３Ｄオブジェクト検出タスクモジュールは、検出対象オブジェクトの３Ｄバウンディングボックスと検出対象オブジェクトのカテゴリ情報を出力するために使用される、特徴抽出ネットワークを構築するステップ（２）と、
ステップ（１）で収集した２Ｄ画像データを２Ｄ画像特徴抽出モジュールに入力し、３Ｄ点群データを３Ｄ点群特徴抽出モジュールに入力し、ＶｏｔｅＮｅｔ損失関数が収束するまで特徴抽出ネットワークをトレーニングし、特徴抽出ネットワークのトレーニングを完了するステップ（３）と、
収集した検出対象オブジェクトの３Ｄ空間で対応する２Ｄ画像データと３Ｄ 点群データをトレーニングされた特徴抽出ネットワークに入力し、検出対象オブジェクトの３Ｄバウンディングボックスと検出対象オブジェクトのカテゴリ情報を出力するステップ（４）と、を含むことを特徴とするマルチモーダルアテンション駆動に基づく三次元点群特徴抽出方法。
検出対象オブジェクトの３Ｄ空間で対応する２Ｄ画像データと３Ｄ点群データを収集し、３Ｄ点群データで検出対象オブジェクトの３Ｄバウンディングボックスと検出対象オブジェクトのカテゴリをマークするステップ（１）と、
特徴抽出ネットワークは、２Ｄ画像特徴抽出モジュール、特徴変換モジュール、アテンションモジュール、３Ｄ点群特徴抽出モジュール、および３Ｄオブジェクト検出タスクモジュールを含み、前記２Ｄ画像特徴抽出モジュールの出力端は、特徴変換モジュールの入力端に接続され、前記特徴変換モジュールの出力端と３Ｄ点群特徴抽出モジュールの出力端はいずれもアテンションモジュールの入力端に接続され、前記アテンションモジュールの出力端と３Ｄ点群特徴抽出モジュールの出力端は、いずれも３Ｄオブジェクト検出タスクモジュールの入力端に接続され、前記３Ｄ点群特徴抽出モジュールは、３Ｄ点群の深度特徴を抽出するために使用され、前記２Ｄ画像特徴抽出モジュールは、２Ｄ画像の深度特徴を抽出するために使用され、前記特徴変換モジュールは、２Ｄ画像の深度特徴の形状を３Ｄ点群特徴の形状と同じサイズに変換するために使用され、前記アテンションモジュールはアテンションの重みのマトリックスを生成するために使用され、前記３Ｄオブジェクト検出タスクモジュールは、検出対象オブジェクトの３Ｄバウンディングボックスと検出対象オブジェクトのカテゴリ情報を出力するために使用される、特徴抽出ネットワークを構築するステップ（２）と、
ステップ（１）で収集した２Ｄ画像データを２Ｄ画像特徴抽出モジュールに入力し、３Ｄ点群データを３Ｄ点群特徴抽出モジュールに入力し、ＶｏｔｅＮｅｔ損失関数が収束するまで特徴抽出ネットワークをトレーニングし、特徴抽出ネットワークのトレーニングを完了するステップ（３）と、
収集した検出対象オブジェクトの３Ｄ空間で対応する２Ｄ画像データと３Ｄ 点群データをトレーニングされた特徴抽出ネットワークに入力し、検出対象オブジェクトの３Ｄバウンディングボックスと検出対象オブジェクトのカテゴリ情報を出力するステップ（４）と、を含むことを特徴とするマルチモーダルアテンション駆動に基づく三次元点群特徴抽出方法。
【請求項2】
前記３Ｄ点群特徴抽出モジュールは、４つの点集合抽象化層ＳＡが直列に接続されて構成され、３Ｄ点群データを最初の点集合抽象化層ＳＡに入力し、４つの点集合抽象化層ＳＡは解像度が逓減する点群特徴を抽出することを特徴とする請求項１に記載のマルチモーダルアテンション駆動に基づく三次元点群特徴抽出方法。
【請求項3】
前記２Ｄ画像特徴抽出モジュールは、１つの２Ｄ畳み込み層と４つの２Ｄ畳み込み残差モジュールが順番に接続されて構成され、２Ｄ画像データを２Ｄ畳み込み層に入力し、２Ｄ深度画像特徴を出力し、２Ｄ深度画像特徴を最初の２Ｄ畳み込み残差モジュールに入力した後、４つの２Ｄ畳み込み残差モジュールは、解像度が逓減する深度画像特徴を順次出力することを特徴とする請求項１に記載のマルチモーダルアテンション駆動に基づく三次元点群特徴抽出方法。
【請求項4】
前記特徴変換モジュールは、４つの特徴変換ユニットで構成され、各特徴変換ユニットは、それぞれ１つの２Ｄ畳み込み残差モジュールに接続され、解像度が逓減する深度画像特徴を対応する特徴変換ユニットに入力し、形状変更関数を介して３Ｄ点群特徴形状と同じサイズの画像特徴を出力し、前記特徴変換ユニットは、２つの畳み込み層と１つの全結合層で直列接続されて構成されていることを特徴とする請求項１に記載のマルチモーダルアテンション駆動に基づく三次元点群特徴抽出方法。
【請求項5】
前記アテンションモジュールを使用してアテンションの重みのマトリックスを生成するプロセスは具体的には、前記アテンションモジュールが４つのアテンションユニットで構成され、各アテンションユニットは２層の多層パーセプトロンＭＬＰを使用して深度画像特徴Ｑを処理し、更新された画像特徴を取得し、２層の多層パーセプトロンＭＬＰを使用して点群特徴Ｖを処理し、更新された点群特徴を取得し、前記更新された画像特徴と更新された点群特徴のベクトルの掛け算をして、ｓｏｆｔｍａｘマトリックスで処理した後、調整項ｄで除して、アテンションの重みのマトリックスＦを得ることであり、
ここで、ＭＬＰ（）は２層の多層パーセプトロン ＭＬＰの処理プロセスを表すことを特徴とする請求項１に記載のマルチモーダルアテンション駆動に基づく三次元点群特徴抽出方法。
【請求項6】
各アテンションユニットのアテンションの重みのマトリックスＦと、対応する点集合抽象層ＳＡによって出力された点群特徴に対してポイントツーポイント乗算演算を実行し、強化された点群特徴を得て、強化された点群特徴を３Ｄオブジェクト検出タスクモジュールに入力し、検出対象オブジェクトの３Ｄバウンディング ボックスと検出対象オブジェクトのカテゴリ情報を出力することを特徴とする請求項５に記載のマルチモーダルアテンション駆動に基づく三次元点群特徴抽出方法。
【請求項7】
前記ＶｏｔｅＮｅｔ損失関数LVoteNetは
であり、
ここで、LVote-regは投票損失関数、
であり、Mposは検出対象オブジェクトの前景点群データの総和、Δxiは投票オフセット、Δxi
*は投票オフセット真値、Γ[si on object]は点群オブジェクトの表面上の点のみを投票し計算することを示し、λ1はオブジェクト分類損失重みを表し、Lobj-clsはオブジェクト分類損失関数、λ2は３Ｄバウンディングボックスの回帰損失の重みを表し、Lboxは３Ｄバウンディングボックスの回帰損失関数、λ3はセマンティックカテゴリの損失の重みを表し、Lsem-clsはセマンティック カテゴリ損失関数であることを特徴とする請求項１に記載のマルチモーダルアテンション駆動に基づく三次元点群特徴抽出方法。
ここで、LVote-regは投票損失関数、
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、３Ｄ点群データ処理の技術分野に関し、具体的に、マルチモーダルアテンション駆動に基づく三次元点群特徴抽出方法に関する。
【背景技術】
【0002】
３Ｄスキャン機器の急速な発展に伴い、３Ｄ点群データはコンピューター ビジョンやコンピューターグラフィックスのさまざまな分野で広く使用されている。しかし、データ取得の過程で、オクルージョンや照明などの理由により、取得した３Ｄ点群データに欠陥があることが多く、そのようなデータを使用してビジョンアルゴリズムの計算を行うと、得られた結果の精度が低く、効果が低いという問題がよくある。従って、テキストや２Ｄ画像などのマルチモーダル情報を３Ｄビジョンアルゴリズムに統合することを検討し始めて、点群に基づく３Ｄビジョンアルゴリズムの効果をさらに改善する多くの研究を行っている。
【0003】
現在、点群に基づく３Ｄビジョンアルゴリズムの効果を高めるために、２Ｄ画像を補助情報と見なすことが現在の主流の方法である。２Ｄ画像は構造化されたグリッドデータである。３Ｄ点群の離散化されたデータ形式とは異なり、２Ｄ画像は２Ｄ畳み込みニューラルネットワークを使用して、特徴情報を階層的に簡単に抽出できる。３Ｄ点群の特徴情報特区については、現在、主にｐｏｉｎｔＮｅｔやＰｏｉｎｔＮｅｔ＋＋などの対称関数に基づく方法を用いて特徴を抽出している。２つの間で抽出された特徴は、対応関係を定義するのが難しく、２つの特徴情報を効果的に融合してアルゴリズムの効果を向上させることはできない。
【0004】
現在、２Ｄ画像特徴と３Ｄ点群特徴を融合するための主流の方法が２つある。１つ目は、単純に２Ｄ画像の深度特徴をベクトルに圧縮し、そのベクトルを３Ｄ点群特徴と同じサイズのマトリックスにコピーしてから、点群特徴の後に合成することであり、この方法は操作が簡単であるが、点群特徴と画像特徴の間の直接リンクを確立できず、アルゴリズムの改善効果は明らかではない。２つ目は、２Ｄ画像特徴と３Ｄ点群特徴との関係を確立し、この関係に基づいて特徴の融合を実現することであり、この方法の欠点は、２Ｄ画像特徴と３Ｄ点群特徴との関係を判断するのが難しく、通常は多くの繊細な操作が必要であり、この方法の普及と適用も制限されることである。２Ｄ画像特徴と３Ｄ点群特徴の融合、及び点群に基づく３Ｄビジョンアルゴリズムの効果をさらに改善することは困難である問題に対して、シンプルで効果的な解決策はまだ提案されていない。
【発明の概要】
【発明が解決しようとする課題】
【0005】
従来技術に存在する問題を考慮して、本発明は、マルチモーダルアテンション駆動に基づく三次元点群特徴抽出方法を提供する。
【課題を解決するための手段】
【0006】
上記の技術的目的を達成するために、本発明は以下の技術的解決手段を採用する。
【0007】
マルチモーダルアテンション駆動に基づく三次元点群特徴抽出方法は、以下のステップを含む。
（１）検出対象オブジェクトの３Ｄ空間で対応する２Ｄ画像データと３Ｄ点群データを収集し、３Ｄ点群データで検出対象オブジェクトの３Ｄバウンディングボックスと検出対象オブジェクトのカテゴリをマークする。
（２）特徴抽出ネットワークを構築し、前記特徴抽出ネットワークは、２Ｄ画像特徴抽出モジュール、特徴変換モジュール、アテンションモジュール、３Ｄ点群特徴抽出モジュール、および３Ｄオブジェクト検出タスク モジュールを含み、前記２Ｄ画像特徴抽出モジュールの出力端は、特徴変換モジュールの入力端に接続され、前記特徴変換モジュールの出力端と３Ｄ点群特徴抽出モジュールの出力端は、いずれもアテンションモジュールの入力端に接続され、前記アテンションモジュールの出力端と３Ｄ点群特徴抽出モジュールの出力端は、いずれも３Ｄオブジェクト検出タスクモジュールの入力端に接続され、前記３Ｄ点群特徴抽出モジュールは、３Ｄ点群の深度特徴を抽出するために使用され、前記２Ｄ画像特徴抽出モジュールは、２Ｄ画像の深度特徴を抽出するために使用され、前記特徴変換モジュールは、２Ｄ画像の深度特徴の形状を３Ｄ点群特徴の形状と同じサイズに変換するために使用され、前記アテンションモジュールはアテンションの重みのマトリックスを生成するために使用され、前記３Ｄオブジェクト検出タスクモジュールは、検出対象オブジェクトの３Ｄバウンディング ボックスと検出対象オブジェクトのカテゴリ情報を出力するために使用される。
（３）ステップ（１）で収集した２Ｄ画像データを２Ｄ画像特徴抽出モジュールに入力し、３Ｄ点群データを３Ｄ点群特徴抽出モジュールに入力し、ＶｏｔｅＮｅｔ 損失関数が収束するまで特徴抽出ネットワークをトレーニングし、特徴抽出ネットワークのトレーニングを完了する。
（４）収集した検出対象オブジェクトの３Ｄ空間で対応する２Ｄ画像データと３Ｄ点群データをトレーニングされた特徴抽出ネットワークに入力し、検出対象オブジェクトの３Ｄバウンディングボックスと検出対象オブジェクトのカテゴリ情報を出力する。
（１）検出対象オブジェクトの３Ｄ空間で対応する２Ｄ画像データと３Ｄ点群データを収集し、３Ｄ点群データで検出対象オブジェクトの３Ｄバウンディングボックスと検出対象オブジェクトのカテゴリをマークする。
（２）特徴抽出ネットワークを構築し、前記特徴抽出ネットワークは、２Ｄ画像特徴抽出モジュール、特徴変換モジュール、アテンションモジュール、３Ｄ点群特徴抽出モジュール、および３Ｄオブジェクト検出タスク モジュールを含み、前記２Ｄ画像特徴抽出モジュールの出力端は、特徴変換モジュールの入力端に接続され、前記特徴変換モジュールの出力端と３Ｄ点群特徴抽出モジュールの出力端は、いずれもアテンションモジュールの入力端に接続され、前記アテンションモジュールの出力端と３Ｄ点群特徴抽出モジュールの出力端は、いずれも３Ｄオブジェクト検出タスクモジュールの入力端に接続され、前記３Ｄ点群特徴抽出モジュールは、３Ｄ点群の深度特徴を抽出するために使用され、前記２Ｄ画像特徴抽出モジュールは、２Ｄ画像の深度特徴を抽出するために使用され、前記特徴変換モジュールは、２Ｄ画像の深度特徴の形状を３Ｄ点群特徴の形状と同じサイズに変換するために使用され、前記アテンションモジュールはアテンションの重みのマトリックスを生成するために使用され、前記３Ｄオブジェクト検出タスクモジュールは、検出対象オブジェクトの３Ｄバウンディング ボックスと検出対象オブジェクトのカテゴリ情報を出力するために使用される。
（３）ステップ（１）で収集した２Ｄ画像データを２Ｄ画像特徴抽出モジュールに入力し、３Ｄ点群データを３Ｄ点群特徴抽出モジュールに入力し、ＶｏｔｅＮｅｔ 損失関数が収束するまで特徴抽出ネットワークをトレーニングし、特徴抽出ネットワークのトレーニングを完了する。
（４）収集した検出対象オブジェクトの３Ｄ空間で対応する２Ｄ画像データと３Ｄ点群データをトレーニングされた特徴抽出ネットワークに入力し、検出対象オブジェクトの３Ｄバウンディングボックスと検出対象オブジェクトのカテゴリ情報を出力する。
【0008】
さらに、前記３Ｄ点群特徴抽出モジュールは、４つの点集合抽象化層ＳＡが直列に接続されて構成され、３Ｄ点群データを最初の点集合抽象化層ＳＡに入力し、４つの点集合抽象化層ＳＡは解像度が逓減する点群特徴を抽出する。
【0009】
さらに、前記２Ｄ画像特徴抽出モジュールは、１つの２Ｄ畳み込み層と４つの ２Ｄ畳み込み残差モジュールが順番に接続されて構成され、２Ｄ画像データを２Ｄ畳み込み層に入力し、２Ｄ深度画像特徴を出力し、２Ｄ深度画像特徴を最初の２Ｄ畳み込み残差モジュールに入力した後、４つの２Ｄ畳み込み残差モジュールは、解像度が逓減する深度画像特徴を順次出力する。
【0010】
さらに、前記特徴変換モジュールは、４つの特徴変換ユニットで構成され、各特徴変換ユニットは、それぞれ１つの２Ｄ畳み込み残差モジュールに接続され、解像度が逓減する深度画像特徴を対応する特徴変換ユニットに入力し、形状変化関数により、三次元点群特徴形状と同じサイズの画像特徴を出力し、前記特徴変換ユニットは、２つの畳み込み層と１つの全結合層で直列接続されて構成されている。
【0011】
さらに、前記アテンションモジュールを使用してアテンションの重みのマトリックスを生成するプロセスは具体的には、前記アテンションモジュールが４つのアテンションユニットで構成され、各アテンションユニットは２層の多層パーセプトロンＭＬＰを使用して深度画像特徴Ｑを処理し、更新された画像特徴を取得し、２層の多層パーセプトロンＭＬＰを使用して点群特徴Ｖを処理し、更新された点群特徴を取得し、前記更新された画像特徴と更新された点群特徴で点乗積を実行し、ｓｏｆｔｍａｘマトリックスで処理した後、調整項ｄで除して、アテンションの重みのマトリックスＦを得ることであり、
【0012】
ここで、ＭＬＰ（）は２層の多層パーセプトロンＭＬＰの処理プロセスを表す。
【0013】
さらに、各アテンションユニットのアテンションの重みのマトリックスＦと、対応する点集合抽象層ＳＡによって出力された点群特徴に対してポイントツーポイント乗算演算を実行し、強化された点群特徴を得て、強化された点群特徴を３Ｄオブジェクト検出タスクモジュールに入力し、検出対象オブジェクトの３Ｄバウンディング ボックスと検出対象オブジェクトのカテゴリ情報を出力する。
【0014】
さらに、前記ＶｏｔｅＮｅｔ損失関数LVoteNetは
であり、
ここで、LVote-regは投票損失関数、
であり、Mposは検出対象オブジェクトの前景点群データの総和、Δxiは投票オフセット、Δxi
*は投票オフセット真値、Γ[si on object]は点群オブジェクトの表面上の点のみを投票し計算することを示し、λ1はオブジェクト分類損失重みを表し、Lobj-clsはオブジェクト分類損失関数、λ2は３Ｄバウンディングボックスの回帰損失の重みを表し、Lboxは３Ｄ バウンディングボックスの回帰損失関数、λ3はセマンティックカテゴリの損失の重みを表し、Lsem-clsはセマンティック カテゴリ損失関数である。
ここで、LVote-regは投票損失関数、
【発明の効果】
【0015】
従来技術と比較して、本発明は以下の有利な効果を有する。本発明のマルチモーダルアテンション駆動に基づく三次元点群特徴抽出方法では、２Ｄ画像の深度特徴を、アテンションモジュールを通じて重みマトリックスを生成する方式で３Ｄ点群特徴抽出プロセスに融合し、マルチモーダルデータの相互統合が難しく、対応関係のマイニングが難しいという問題を解決する。本発明のマルチモーダルアテンション駆動に基づく３Ｄ点群特徴抽出方法は、３Ｄ点群データの深度特徴学習をより良く改善し、３Ｄ点群特徴抽出の効果をさらに改善することができる。
【図面の簡単な説明】
【0016】
【発明を実施するための形態】
【0017】
本発明の技術的解決手段は、添付の図面と併せて以下でさらに説明される。
【0018】
図１は、本発明によるマルチモーダルアテンション駆動に基づく３Ｄ点群特徴抽出方法のフローチャートであり、該三次元点群特徴抽出方法は以下のステップを含む。
（１）検出対象オブジェクトの３Ｄ空間で対応する２Ｄ画像データと３Ｄ点群データを収集し、３Ｄ点群データで検出対象オブジェクトの３Ｄバウンディングボックスと検出対象オブジェクトのカテゴリをマークする。
（２）特徴抽出ネットワークを構築し、本発明における特徴抽出ネットワークは、２Ｄ画像特徴抽出モジュール、特徴変換モジュール、アテンションモジュール、３Ｄ点群特徴抽出モジュール、および３Ｄオブジェクト検出タスクモジュールを含み、２Ｄ画像特徴抽出モジュールの出力端は、特徴変換モジュールの入力端に接続され、特徴変換モジュールの出力端と３Ｄ点群特徴抽出モジュールの出力端はいずれももアテンションモジュールの入力端に接続され、アテンションモジュールの出力端と３Ｄ点群特徴抽出モジュールの出力端は、いずれも３Ｄオブジェクト検出タスクモジュールの入力端に接続され、３Ｄ点群特徴抽出モジュールは、３Ｄ点群の深度特徴を抽出するために使用され、２Ｄ画像特徴抽出モジュールは、２Ｄ画像の深度特徴を抽出するために使用され、特徴変換モジュールは、２Ｄ画像の深度特徴の形状を３Ｄ点群特徴の形状と同じなサイズに変換し、２Ｄ画像特徴の形状が３Ｄ点群特徴の形状と一致するようにするために使用される。アテンションモジュールはアテンションの重みのマトリックスを生成するために使用され、マルチモーダルなデータの相互統合が難しく、対応関係のマイニングが難しいという問題を解決し、３Ｄオブジェクト検出タスクモジュールは、検出対象オブジェクトの３Ｄバウンディング ボックスと検出対象オブジェクトのカテゴリ情報を出力するために使用される。
（３）ステップ（１）で収集した２Ｄ画像データを２Ｄ画像特徴抽出モジュールに入力し、３Ｄ点群データを３Ｄ点群特徴抽出モジュールに入力し、ＶｏｔｅＮｅｔ 損失関数が収束するまで特徴抽出ネットワークをトレーニングし、特徴抽出ネットワークのトレーニングを完了する。
本発明におけるＶｏｔｅＮｅｔ損失関数LVoteNetは
であり、
ここで、LVote-regは投票損失関数、
、Mposは検出対象オブジェクトの前景点群データの総和、Δxiは投票オフセット、Δxi
*は投票オフセット真値、Γ[si on object]は点群オブジェクトの表面上の点のみを投票し計算することを示し、λ1はオブジェクト分類損失重みを表し、Lobj-clsはオブジェクト分類損失関数、λ2は３Ｄバウンディングボックスの回帰損失の重みを表し、Lboxは３Ｄバウンディングボックスの回帰損失関数、λ3はセマンティックカテゴリの損失の重みを表し、Lsem-clsはセマンティックカテゴリ損失関数である。ＶｏｔｅＮｅｔ損失関数は、３Ｄ点群のオフセット、オブジェクトカテゴリ、３Ｄバウンディングボックスサイズ、セマンティックカテゴリをそれぞれ監視し、３Ｄオブジェクト検出タスクのインスタンス オブジェクト特徴抽出を改善する。
（１）検出対象オブジェクトの３Ｄ空間で対応する２Ｄ画像データと３Ｄ点群データを収集し、３Ｄ点群データで検出対象オブジェクトの３Ｄバウンディングボックスと検出対象オブジェクトのカテゴリをマークする。
（２）特徴抽出ネットワークを構築し、本発明における特徴抽出ネットワークは、２Ｄ画像特徴抽出モジュール、特徴変換モジュール、アテンションモジュール、３Ｄ点群特徴抽出モジュール、および３Ｄオブジェクト検出タスクモジュールを含み、２Ｄ画像特徴抽出モジュールの出力端は、特徴変換モジュールの入力端に接続され、特徴変換モジュールの出力端と３Ｄ点群特徴抽出モジュールの出力端はいずれももアテンションモジュールの入力端に接続され、アテンションモジュールの出力端と３Ｄ点群特徴抽出モジュールの出力端は、いずれも３Ｄオブジェクト検出タスクモジュールの入力端に接続され、３Ｄ点群特徴抽出モジュールは、３Ｄ点群の深度特徴を抽出するために使用され、２Ｄ画像特徴抽出モジュールは、２Ｄ画像の深度特徴を抽出するために使用され、特徴変換モジュールは、２Ｄ画像の深度特徴の形状を３Ｄ点群特徴の形状と同じなサイズに変換し、２Ｄ画像特徴の形状が３Ｄ点群特徴の形状と一致するようにするために使用される。アテンションモジュールはアテンションの重みのマトリックスを生成するために使用され、マルチモーダルなデータの相互統合が難しく、対応関係のマイニングが難しいという問題を解決し、３Ｄオブジェクト検出タスクモジュールは、検出対象オブジェクトの３Ｄバウンディング ボックスと検出対象オブジェクトのカテゴリ情報を出力するために使用される。
（３）ステップ（１）で収集した２Ｄ画像データを２Ｄ画像特徴抽出モジュールに入力し、３Ｄ点群データを３Ｄ点群特徴抽出モジュールに入力し、ＶｏｔｅＮｅｔ 損失関数が収束するまで特徴抽出ネットワークをトレーニングし、特徴抽出ネットワークのトレーニングを完了する。
本発明におけるＶｏｔｅＮｅｔ損失関数LVoteNetは
ここで、LVote-regは投票損失関数、
【0019】
（４）収集した検出対象オブジェクトの３Ｄ空間で対応する２Ｄ画像データと３Ｄ点群データをトレーニングされた特徴抽出ネットワークに入力し、検出対象オブジェクトの３Ｄバウンディングボックスと検出対象オブジェクトのカテゴリ情報を出力し、出力された検出対象オブジェクトのカテゴリ情報は、検出対象オブジェクトが属する特定のカテゴリを定義し、出力された３Ｄバウンディング ボックスは、検出対象オブジェクトの三次元サイズを定義する。本発明の三次元点群特徴抽出方法は、三次元点群データにおける検出対象オブジェクトの抽出を実現し、実際の工業生産ニーズを満たすことができる。
【0020】
図２に示すように、本発明における３Ｄ点群特徴抽出モジュールは、４つの点集合抽象化層ＳＡ（Ｓｅｔ Ａｂｓｔｒａｃｔｉｏｎ）が直列に接続されて構成され、３Ｄ点群データを最初の点集合抽象化層ＳＡに入力し、４つの点集合抽象化層ＳＡは解像度が逓減する点群特徴を抽出し、３Ｄ点群特徴抽出モジュールの受容野を拡大し、３Ｄ点群特徴抽出モジュールがさまざまな層から特徴情報を取得できるようにし、深い特徴抽出によりネットワークの計算負荷を軽減できる。
【0021】
図２に示すように、本発明における２Ｄ画像特徴抽出モジュールは、１つの２Ｄ 畳み込み層と４つの２Ｄ畳み込み残差モジュールが順番に接続されてＲｅｓＮｅｔ－１８ネットワーク抽出画像特徴を構成し、２Ｄ画像データを２Ｄ畳み込み層に入力し、２Ｄ深度画像特徴を出力し、２Ｄ深度画像特徴を最初の２Ｄ畳み込み残差モジュールに入力した後、４つの２Ｄ畳み込み残差モジュールは、解像度が逓減する深度画像特徴を順次出力し、２Ｄ画像特徴抽出モジュールの受容野を拡大し、２Ｄ画像特徴抽出モジュールがさまざまな層から特徴情報を取得できるようにし、深い特徴抽出によりネットワークの計算負荷を軽減できる。
【0022】
図２に示すように、本発明における特徴変換モジュールは、４つの特徴変換ユニットで構成され、各特徴変換ユニットは、それぞれ１つの２Ｄ畳み込み残差モジュールに接続され、解像度が逓減する深度画像特徴を対応する特徴変換ユニットに入力し、形状変化関数により、三次元点群特徴形状と同じサイズの画像特徴を出力し、同じ形状の画像特徴と点群特徴は、その後のアテンションモジュールの計算に便利である。本発明における特徴変換ユニットは、２つの畳み込み層と１つの全結合層で直列接続されて構成されている。
【0023】
本発明におけるアテンションモジュールを使用してアテンションの重みのマトリックスを生成するプロセスは具体的には、アテンションモジュールが４つのアテンションユニットで構成され、各アテンションユニットは２層の多層パーセプトロンＭＬＰを使用して深度画像特徴Ｑを処理し、更新された画像特徴を取得し、２層の多層パーセプトロンＭＬＰを使用して点群特徴Ｖを処理し、更新された点群特徴を取得し、前記更新された画像特徴と更新された点群特徴で点乗積を実行し、ｓｏｆｔｍａｘマトリックスで処理した後、調整項ｄで除して、調整項ｄにより、アテンション後のマトリックス値が大きすぎるのを防ぐことができ、それによりアテンションの重みのマトリックスＦを得る。
ここで、ＭＬＰ（）は２層多層パーセプトロンＭＬＰの処理プロセスを表す。
【0024】
以上のアテンションの重みのマトリックス生成プロセスにより、簡単かつ迅速にアテンションの重みのマトリックスを得ることができる。
【0025】
各アテンションユニットのアテンションの重みのマトリックスＦと、対応する点集合抽象層ＳＡによって出力された点群特徴に対してポイントツーポイント乗算演算を実行し、強化された点群特徴を得て、強化された点群特徴を３Ｄオブジェクト検出タスクモジュールに入力し、検出対象オブジェクトの３Ｄバウンディング ボックスと検出対象オブジェクトのカテゴリ情報を出力する。
【0026】
本発明の技術的解決手段では、３Ｄオブジェクト検出タスクモジュールを、オブジェクトセグメンテーションタスクモジュール、オブジェクト分類モジュールなどの他のタスクモジュールに置き換えることができ、また、対応する損失関数と組み合わせて、該特徴抽出ネットワークを他のタスクの３Ｄ点群特徴抽出プロセスに適用できる。
【0027】
当業者は、明細書および本明細書に開示された発明の実施を考慮すれば、本発明の他の実施形態を、容易に想起できる。本出願は、本発明の一般原則に従い、本発明が発明されていない技術分野における共通の一般知識または従来の技術的手段を含む、本発明のあらゆる変形、使用、または適応性変化をカバーすることを意図している。明細書および実施形態は、単なる例示と見なされるべきであり、本発明の真の範囲および精神は、以下の特許請求の範囲によって示される。本発明は、上で説明し、添付の図面に示した正確な構造に限定されず、本発明の範囲から逸脱することなく、さまざまな修正および変更を行うことができることを理解されたい。本発明の範囲は添付の請求項のみによって限定される。
【図1】
【図2】
