特表 2022-552663 三次元エッジ検出方法、装置、コンピュータプログラム及びコンピュータ機器

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-12-19

(54)【発明の名称】三次元エッジ検出方法、装置、コンピュータプログラム及びコンピュータ機器

(51)【国際特許分類】

   G06T 7/13 20170101AFI20221212BHJP

   G06V 10/82 20220101ALI20221212BHJP

【ＦＩ】

G06T7/13

G06V10/82

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2022522367

(86)(22)【出願日】2020-10-15

(85)【翻訳文提出日】2022-04-13

(86)【国際出願番号】 CN2020121120

(87)【国際公開番号】W WO2021164280

(87)【国際公開日】2021-08-26

(31)【優先権主張番号】202010104850.1

(32)【優先日】2020-02-20

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

(71)【出願人】

【識別番号】517392436

【氏名又は名称】▲騰▼▲訊▼科技（深▲セン▼）有限公司

(74)【代理人】

【識別番号】100110364

【弁理士】

【氏名又は名称】実広 信哉

(74)【代理人】

【識別番号】100150197

【弁理士】

【氏名又は名称】松尾 直樹

(72)【発明者】

【氏名】柳 露▲艷▼

(72)【発明者】

【氏名】▲馬▼ ▲カイ▼

(72)【発明者】

【氏名】▲鄭▼ 冶▲楓▼

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA09

5L096FA06

5L096GA04

5L096HA11

5L096JA11

5L096KA04

(57)【要約】

三次元エッジ検出方法、装置、コンピュータ可読記憶媒体及びコンピュータ機器であって、前記方法は、三次元画像の各二次元スライスの二次元オブジェクト検出結果及び二次元エッジ検出結果を取得する、ステップと、各前記二次元オブジェクト検出結果を三次元オブジェクト検出結果に積み重ね、各前記二次元エッジ検出結果を三次元エッジ検出結果に積み重ねる、ステップと、前記三次元画像の特徴マップ、前記三次元オブジェクト検出結果及び前記三次元エッジ検出結果に従って符号化を実行して、符号化結果を取得する、ステップと、前記符号化結果、前記三次元オブジェクト検出結果及び前記三次元エッジ検出結果に従って復号化を実行して、前記三次元画像の最適化された三次元エッジ検出結果を取得する、ステップと、を含む。

【特許請求の範囲】

【請求項1】

コンピュータ機器が実行する、三次元エッジ検出方法であって、
三次元画像の各二次元スライスの二次元オブジェクト検出結果及び二次元エッジ検出結果を取得する、ステップと、
各前記二次元オブジェクト検出結果を三次元オブジェクト検出結果に積み重ね、各前記二次元エッジ検出結果を三次元エッジ検出結果に積み重ねる、ステップと、
前記三次元画像の特徴マップ、前記三次元オブジェクト検出結果及び前記三次元エッジ検出結果に従って符号化を実行して、符号化結果を取得する、ステップと、
前記符号化結果、前記三次元オブジェクト検出結果及び前記三次元エッジ検出結果に従って復号化を実行して、前記三次元画像の最適化された三次元エッジ検出結果を取得する、ステップと、
を含む、三次元エッジ検出方法。

【請求項2】

前記三次元画像の特徴マップ、前記三次元オブジェクト検出結果及び前記三次元エッジ検出結果に従って符号化を実行して、符号化結果を取得する、前記ステップは、
前記三次元画像の特徴マップ、前記三次元オブジェクト検出結果及び前記三次元エッジ検出結果に従って、一回以上の符号化を実行する、ステップであって、毎回の符号化の入力は、前記三次元オブジェクト検出結果及び前記三次元エッジ検出結果を使用して前回の符号化の出力に対して演算を実行した演算結果であり、毎回の符号化の出力は異なり、且つすべて前記三次元画像の特徴マップである、ステップと、
最後の符号化によって出力された特徴マップを取得して、符号化結果を取得する、ステップと、
を含む、請求項１に記載の三次元エッジ検出方法。

【請求項3】

前記三次元画像の特徴マップ、前記三次元オブジェクト検出結果及び前記三次元エッジ検出結果に従って、一回以上の符号化を実行する、前記ステップは、
前記三次元画像の色特徴マップと、前記三次元オブジェクト検出結果に対してドット積（ｄｏｔ ｐｒｏｄｕｃｔ）演算を実行し、次に前記三次元エッジ検出結果を加算した後、現在の符号化を実行する、ステップと、
現在の符号化の出力と前記三次元オブジェクト検出結果に対してドット積演算を実行し、次に前記三次元エッジ検出結果を加算した後、最後の符号化まで次回の符号化を実行する、ステップと、
を含む、請求項２に記載の三次元エッジ検出方法。

【請求項4】

前記符号化結果、前記三次元オブジェクト検出結果及び前記三次元エッジ検出結果に従って復号化を実行して、前記三次元画像の最適化された三次元エッジ検出結果を取得する、前記ステップは、
前記符号化結果、前記三次元オブジェクト検出結果及び前記三次元エッジ検出結果に従って、一回以上の復号化を実行する、ステップであって、毎回の復号化の入力は、前記三次元オブジェクト検出結果及び前記三次元エッジ検出結果を使用して前回の復号化の出力に対して演算を実行した演算結果を含む、ステップと、
最後の復号化の出力を取得して、前記三次元画像の最適化された三次元エッジ検出結果を取得する、ステップと、
を含む、請求項１に記載の三次元エッジ検出方法。

【請求項5】

前記三次元エッジ検出方法は、
サンプリング率が異なる１つ以上の拡張畳み込み（ｄｉｌａｔｅｄ ｃｏｎｖｏｌｕｔｉｏｎ）を介して前記符号化結果を処理して、１つ以上の特徴マップを取得する、ステップであって、前記１つ以上の特徴マップのサイズは異なる、ステップと、
前記１つ以上の特徴マップを接続した後に畳み込み動作を実行して、マルチスケール学習結果を取得する、ステップと、を更に含み、
前記符号化結果、前記三次元オブジェクト検出結果及び前記三次元エッジ検出結果に従って、一回以上の復号化を実行する、前記ステップは、
前記マルチスケール学習結果、前記三次元オブジェクト検出結果及び前記三次元エッジ検出結果に従って、１回以上の復号化を実行する、ステップを含む、
請求項４に記載の三次元エッジ検出方法。

【請求項6】

前記マルチスケール学習結果、前記三次元オブジェクト検出結果及び前記三次元エッジ検出結果に従って、１回以上の復号化を実行する、前記ステップは、
前記マルチスケール学習結果と前記三次元オブジェクト検出結果に対してドット積演算を実行し、次に前記三次元エッジ検出結果を加算した後、中間の符号化（ｉｎｔｅｒｍｅｄｉａｔｅ ｅｎｃｏｄｉｎｇ）の出力と共に現在の復号化を実行する、ステップと、
現在の復号化の出力と前記三次元オブジェクト検出結果に対してドット積演算を実行し、次に前記三次元エッジ検出結果を加算した後、最後の復号化まで前記中間の符号化の前回の符号化の出力と共に、次回の符号化を実行する、ステップと、
を含む、請求項５に記載の三次元エッジ検出方法。

【請求項7】

三次元画像の各二次元スライスの二次元オブジェクト検出結果及び二次元エッジ検出結果を取得する、前記ステップは、
三次元画像の各二次元スライスの二次元初期オブジェクト検出結果及び二次元初期エッジ検出結果を取得する、ステップと、
前記三次元画像の各二次元スライスの場合、前記二次元スライスの色特徴マップと、前記二次元スライスの二次元初期オブジェクト検出結果に対してドット積演算を実行し、次に前記二次元スライスの二次元初期オブジェクト検出結果を加算した後、オブジェクト検出を実行して、前記二次元スライスの二次元ターゲットオブジェクト検出結果を取得する、ステップと、
前記三次元画像の各二次元スライスに対して畳み込み動作を実行する場合、畳み込み動作の出力及び対応する二次元スライスの二次元オブジェクト検出結果に従って、各二次元スライスの二次元ターゲットエッジ検出結果を取得する、ステップと、
を含む、請求項１に記載の三次元エッジ検出方法。

【請求項8】

前記三次元画像の各二次元スライスの場合、前記二次元スライスの色特徴マップと、前記二次元スライスの二次元初期オブジェクト検出結果に対してドット積演算を実行し、次に前記二次元スライスの二次元初期オブジェクト検出結果を加算した後、オブジェクト検出を実行して、前記二次元スライスの二次元ターゲットオブジェクト検出結果を取得する、前記ステップは、
前記三次元画像の各フレームの二次元スライスに対して、
前記二次元スライスの色特徴マップと、前記二次元スライスの二次元初期オブジェクト検出結果に対してドット積演算を実行し、次に前記二次元スライスの二次元初期オブジェクト検出結果を加算して、処理対象となるデータとして使用する、ステップと、
前記処理対象となるデータに対して１回以上の符号化及び一回以上の復号化を実行して、最後の復号化によって出力された前記二次元スライスの二次元ターゲットオブジェクト検出結果を取得する、ステップと、をそれぞれ実行する、ステップ
を含む、請求項７に記載の三次元エッジ検出方法。

【請求項9】

前記処理対象となるデータに対して１回以上の符号化及び一回以上の復号化を実行して、最後の復号化によって出力された前記二次元スライスの二次元ターゲットオブジェクト検出結果を取得する、前記ステップは、
前記処理対象となるデータに対して１回以上の符号化を実行して、最後の復号化によって出力されたオブジェクト検出結果を取得する、ステップと、
サンプリング率が異なる１つ以上の拡張畳み込みを介して前記オブジェクト検出結果を処理して、１つ以上の特徴マップを取得する、ステップであって、前記１つ以上の特徴マップのサイズは異なる、ステップと、
前記１つ以上の特徴マップを接続した後に畳み込み動作を実行して、マルチスケール学習結果を取得する、ステップと、
前記マルチスケール学習結果に対して一回以上の復号化を実行して、最後の復号化によって出力された前記二次元スライスの二次元ターゲットオブジェクト検出結果を取得する、ステップと、
を含む、請求項８に記載の三次元エッジ検出方法。

【請求項10】

前記三次元画像の各二次元スライスに対して畳み込み動作を実行する場合、畳み込み動作の出力及び対応する二次元スライスの二次元オブジェクト検出結果に従って、各二次元スライスの二次元ターゲットエッジ検出結果を取得する、前記ステップは、
前記三次元画像の各フレームの二次元スライスに対して、
前記二次元スライスに対して１段階以上の畳み込み動作を実行する、ステップと、
各段階の出力と、前記二次元スライスの二次元初期オブジェクト検出結果に対してドット積演算を実行し、次に現在の段階の出力を加算して、段階検出結果を取得する、ステップと、
各前記段階検出結果を組み合わせて、前記二次元スライスの二次元ターゲットエッジ検出結果を取得する、ステップと、をそれぞれ実行する、ステップ
を含む、請求項７に記載の三次元エッジ検出方法。

【請求項11】

三次元エッジ検出装置であって、
三次元画像の各二次元スライスの二次元オブジェクト検出結果及び二次元エッジ検出結果を取得し、各前記二次元オブジェクト検出結果を三次元オブジェクト検出結果に積み重ね、各前記二次元エッジ検出結果を三次元エッジ検出結果に積み重ねるように構成される、取得モジュールと、
前記三次元画像の特徴マップ、前記三次元オブジェクト検出結果及び前記三次元エッジ検出結果に従って符号化を実行して、符号化結果を取得するように構成される、符号化モジュールと、
前記符号化結果、前記三次元オブジェクト検出結果及び前記三次元エッジ検出結果に従って復号化を実行して、前記三次元画像の最適化された三次元エッジ検出結果を取得するように構成される、復号化モジュールと、
を備える、三次元エッジ検出装置。

【請求項12】

前記符号化モジュールはさらに、
前記三次元画像の特徴マップ、前記三次元オブジェクト検出結果及び前記三次元エッジ検出結果に従って、一回以上の符号化を実行し、毎回の符号化の入力は、前記三次元オブジェクト検出結果及び前記三次元エッジ検出結果を使用して前回の符号化の出力に対して演算を実行した演算結果であり、毎回の符号化の出力は異なり、且つすべて前記三次元画像の特徴マップであり、最後の符号化によって出力された特徴マップを取得して、符号化結果を取得するように構成される、
請求項１１に記載の三次元エッジ検出装置。

【請求項13】

前記符号化モジュールはさらに、
前記三次元画像の色特徴マップと、前記三次元オブジェクト検出結果に対してドット積（ｄｏｔ ｐｒｏｄｕｃｔ）演算を実行し、次に前記三次元エッジ検出結果を加算した後、現在の符号化を実行し、現在の符号化の出力と前記三次元オブジェクト検出結果に対してドット積演算を実行し、次に前記三次元エッジ検出結果を加算した後、最後の符号化まで次回の符号化を実行するように構成される、
請求項１２に記載の三次元エッジ検出装置。

【請求項14】

前記復号化モジュールはさらに、
前記符号化結果、前記三次元オブジェクト検出結果及び前記三次元エッジ検出結果に従って、一回以上の復号化を実行し、毎回の復号化の入力は、前記三次元オブジェクト検出結果及び前記三次元エッジ検出結果を使用して前回の復号化の出力に対して演算を実行した演算結果を含み、最後の復号化の出力を取得して、前記三次元画像の最適化された三次元エッジ検出結果を取得するように構成される、
請求項１１に記載の三次元エッジ検出装置。

【請求項15】

前記三次元エッジ検出装置はさらに、
サンプリング率が異なる１つ以上の拡張畳み込み（ｄｉｌａｔｅｄ ｃｏｎｖｏｌｕｔｉｏｎ）を介して前記符号化結果を処理して、１つ以上の特徴マップを取得し、前記１つ以上の特徴マップのサイズは異なり、前記１つ以上の特徴マップを接続した後に畳み込み動作を実行して、マルチスケール学習結果を取得するように構成される、マルチスケール処理モジュールを備え、
前記復号化モジュールはさらに、前記マルチスケール学習結果、前記三次元オブジェクト検出結果及び前記三次元エッジ検出結果に従って、１回以上の復号化を実行するように構成される、
請求項１４に記載の三次元エッジ検出装置。

【請求項16】

前記復号化モジュールはさらに、
前記マルチスケール学習結果と前記三次元オブジェクト検出結果に対してドット積演算を実行し、次に前記三次元エッジ検出結果を加算した後、中間の符号化（ｉｎｔｅｒｍｅｄｉａｔｅ ｅｎｃｏｄｉｎｇ）の出力と共に現在の復号化を実行し、現在の復号化の出力と前記三次元オブジェクト検出結果に対してドット積演算を実行し、次に前記三次元エッジ検出結果を加算した後、最後の復号化まで前記中間の符号化の前回の符号化の出力と共に、次回の符号化を実行するように構成される、
請求項１５に記載の三次元エッジ検出装置。

【請求項17】

前記取得モジュールはさらに、
三次元画像の各二次元スライスの二次元初期オブジェクト検出結果及び二次元初期エッジ検出結果を取得し、前記三次元画像の各二次元スライスの場合、前記二次元スライスの色特徴マップと、前記二次元スライスの二次元初期オブジェクト検出結果に対してドット積演算を実行し、次に前記二次元スライスの二次元初期オブジェクト検出結果を加算した後、オブジェクト検出を実行して、前記二次元スライスの二次元ターゲットオブジェクト検出結果を取得し、前記三次元画像の各二次元スライスに対して畳み込み動作を実行する場合、畳み込み動作の出力及び対応する二次元スライスの二次元オブジェクト検出結果に従って、各二次元スライスの二次元ターゲットエッジ検出結果を取得するように構成される、
請求項１１に記載の三次元エッジ検出装置。

【請求項18】

前記取得モジュールはさらに、
前記三次元画像の各フレームの二次元スライスに対して、
前記二次元スライスの色特徴マップと、前記二次元スライスの二次元初期オブジェクト検出結果に対してドット積演算を実行し、次に前記二次元スライスの二次元初期オブジェクト検出結果を加算して、処理対象となるデータとして使用する、ステップと、前記処理対象となるデータに対して１回以上の符号化及び一回以上の復号化を実行して、最後の復号化によって出力された前記二次元スライスの二次元ターゲットオブジェクト検出結果を取得する、ステップをそれぞれ実行するように構成される、
請求項１７に記載の三次元エッジ検出装置。

【請求項19】

前記取得モジュールはさらに、
前記処理対象となるデータに対して１回以上の符号化を実行して、最後の復号化によって出力されたオブジェクト検出結果を取得し、サンプリング率が異なる１つ以上の拡張畳み込みを介して前記オブジェクト検出結果を処理して、１つ以上の特徴マップを取得し、前記１つ以上の特徴マップのサイズは異なり、前記１つ以上の特徴マップを接続した後に畳み込み動作を実行して、マルチスケール学習結果を取得し、前記マルチスケール学習結果に対して一回以上の復号化を実行して、最後の復号化によって出力された前記二次元スライスの二次元ターゲットオブジェクト検出結果を取得するように構成される、
請求項１８に記載の三次元エッジ検出装置。

【請求項20】

前記取得モジュールはさらに、
前記三次元画像の各フレームの二次元スライスに対して、
前記二次元スライスに対して１段階以上の畳み込み動作を実行する、ステップと、各段階の出力と、前記二次元スライスの二次元初期オブジェクト検出結果に対してドット積演算を実行し、次に現在の段階の出力を加算して、段階検出結果を取得する、ステップと、各前記段階検出結果を組み合わせて、前記二次元スライスの二次元ターゲットエッジ検出結果を取得する、ステップと、をそれぞれ実行するように構成される、
請求項１７に記載の三次元エッジ検出装置。

【請求項21】

メモリと、プロセッサとを備える、コンピュータ機器であって、
前記メモリには、コンピュータ可読命令が記憶され、前記コンピュータ可読命令が前記プロセッサによって実行されるときに、前記プロセッサに、請求項１ないし１０のいずれか一項に記載の三次元エッジ検出方法を実行させる、コンピュータ機器。

【請求項22】

コンピュータプログラムであって、
コンピュータに、請求項１ないし１０のいずれか一項に記載の三次元エッジ検出方法を実行させる、コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願への相互参照
本願は、２０２０年２月２０日に中国特許局に提出された、出願番号が２０２０１０１０４８５０．１であり、出願名称が「三次元エッジ検出方法、装置、記憶媒体及びコンピュータ機器」である中国特許出願の優先権を主張し、その全ての内容が参照により本願に組み込まれる。

【0002】

本願は、コンピュータ技術分野に関し、特に、三次元エッジ検出方法、装置、記憶媒体及びコンピュータ機器に関する。

【背景技術】

【0003】

コンピュータ技術の発展に伴い、画像処理はますます一般化になっている。エッジ検出は、画像処理及びコンピュータビジョンの基本的な問題であり、セマンティックセグメンテーション、インスタンスセグメンテーション、オブジェクトトラッキングなど、他のコンピュータビジョンタスクに重要な情報を提供できる。しかしながら、現在のエッジ検出のほとんどは二次元画像のエッジ検出であり、三次元画像のエッジ検出の問題を解決する技術はほとんどなく、且つまれな三次元画像のエッジ検出の正確さも低い。このような問題に対する効果的な解決策はまだ提案されていない。

【発明の概要】

【課題を解決するための手段】

【0004】

本願により提供される各実施例によれば、三次元エッジ検出方法、装置、記憶媒体及びコンピュータ機器を提供する。

【0005】

コンピュータ機器が実行する、三次元エッジ検出方法であって、
三次元画像の各二次元スライスの二次元オブジェクト検出結果及び二次元エッジ検出結果を取得する、ステップと、
各前記二次元オブジェクト検出結果を三次元オブジェクト検出結果に積み重ね、各前記二次元エッジ検出結果を三次元エッジ検出結果に積み重ねる、ステップと、
前記三次元画像の特徴マップ、前記三次元オブジェクト検出結果及び前記三次元エッジ検出結果に従って符号化を実行して、符号化結果を取得する、ステップと、
前記符号化結果、前記三次元オブジェクト検出結果及び前記三次元エッジ検出結果に従って復号化を実行して、前記三次元画像の最適化された三次元エッジ検出結果を取得する、ステップと、を含む。

【0006】

三次元エッジ検出装置であって、
三次元画像の各二次元スライスの二次元オブジェクト検出結果及び二次元エッジ検出結果を取得し、各前記二次元オブジェクト検出結果を三次元オブジェクト検出結果に積み重ね、各前記二次元エッジ検出結果を三次元エッジ検出結果に積み重ねるように構成される、取得モジュールと、
前記三次元画像の特徴マップ、前記三次元オブジェクト検出結果及び前記三次元エッジ検出結果に従って符号化を実行して、符号化結果を取得するように構成される、符号化モジュールと、
前記符号化結果、前記三次元オブジェクト検出結果及び前記三次元エッジ検出結果に従って復号化を実行して、前記三次元画像の最適化された三次元エッジ検出結果を取得するように構成される、復号化モジュールと、を備える。

【0007】

コンピュータ可読命令が記憶された不揮発性記憶媒体であって、前記コンピュータ可読命令が１つ又は複数のプロセッサによって実行されるときに、前記１つ又は複数のプロセッサに、三次元エッジ検出方法を実行させる。

【0008】

メモリと、プロセッサとを備える、コンピュータ機器であって、前記メモリには、コンピュータ可読命令が記憶され、前記コンピュータ可読命令が前記プロセッサによって実行されるときに、前記プロセッサに、三次元エッジ検出方法を実行させる。

【0009】

本願の１つ又は複数の実施例の詳細は、以下の図面及び説明に記載されている。本願の他の特徴、目的及び利点は、明細書、添付の図面及び特許請求の範囲からより明らかになる。

【0010】

本願実施例における技術的解決策をより明確にするために、下記において、説明に必要な図面を簡単に説明する。勿論、下記の図面は本願の一部の実施例に過ぎず、当業者は、創造的な労力を要することなく、これらの図面に基づいて他の図面を得ることもできる。

【図面の簡単な説明】

【0011】

【図1】一実施例における三次元エッジ検出方法の適用環境図である。

【図2】一実施例における三次元エッジ微細検出ネットワークの概略構造図である。

【図3】別の実施例における三次元エッジ微細検出ネットワークの概略構造図である。

【図4】一実施例における三次元エッジ検出方法が適用されるネットワークの概略構造図である。

【図5】一実施例におけるオブジェクト検出モデルの概略構造図である。

【図6】一実施例におけるエッジ検出モデルの概略構造図である。

【図7】一実施例における様々なエッジ検出方法の検出結果の比較図である。

【図8】一実施例における２つのエッジ検出方法の検出結果の連続性の比較図である。

【図9】一実施例における三次元エッジ検出装置の構造ブロック図である。

【図10】別の実施例における三次元エッジ検出装置の構造ブロック図である。

【図11】一実施例におけるコンピュータ機器の構造ブロック図である。

【発明を実施するための形態】

【0012】

本願の目的、技術的解決策及び利点をより明確に説明するために、以下では、添付の図面を参照して、本願を更に詳細に説明する。本明細書に記載の具体的な実施例は、本願を説明するためにのみ使用され、本願を限定するものではないことを理解されたい。

【0013】

人工知能（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ、ＡＩ）は、デジタルコンピュータ又はデジタルコンピュータによって制御される機械を使用して、人間の知能をシミュレート、拡張及び拡大し、環境を知覚し、知識を取得し、知識を使用して最良の結果を得る理論、方法、技術、及びアプリケーションシステムである。言い換えれば、人工知能は、知能の本質を理解しようとし、人間の知能に類似した方法で応答できる新型のインテリジェントマシン（ｉｎｔｅｌｌｉｇｅｎｔ ｍａｃｈｉｎｅ）を生産しようとするコンピュータ科学の包括的な技術である。人工知能は、様々なインテリジェントマシンの設計原理及び実現方法を研究して、機械が知覚、推論及び意思決定の機能を有するようにすることである。

【0014】

人工知能技術は、ハードウェアレベルの技術とソフトウェアレベルの技術の両方を含む幅広い分野に関する包括的な学科である。人工知能の基本技術には、通常、センサ、専用の人工知能チップ、クラウドコンピューティング、分散ストレージ、ビッグデータ処理技術、動作／相互作用システム、メカトロニクスなどの技術が含まれる。人工知能ソフトウェア技術には、主に、コンピュータビジョン技術、音声処理技術、自然言語処理技術及び機械学習／深層学習などが含まれる。

【0015】

ここで、コンピュータビジョン（Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ、 ＣＶ）は、機械が「見る」ようにする方法を研究する科学であり、さらに、人間の目の代わりに、カメラ及びコンピュータを使用して、ターゲットを認識、追跡、測定などを実行する機械ビジョンであり、グラフィックス処理をさらに実行して、コンピュータ処理を、人間の目で観察すること又は検出のための画像を械器に伝送することよりも適したものにすることである。コンピュータビジョンは、科学学科として、関連する理論と技術を研究し、画像又は多次元データから情報を取得できる人工知能システムを構築しようとする。コンピュータビジョン技術には、通常、画像処理、画像認識、画像セマンティック理解、画像検索、ＯＣＲ（ｏｐｔｉｃａｌ ｃｈａｒａｃｔｅｒ ｒｅｃｏｇｎｉｔｉｏｎ）、ビデオ処理、ビデオセマンティック理解、ビデオコンテンツ／行動認識、三次元オブジェクト再構築、３Ｄ技術、仮想現実、拡張現実、同期測位及びマップの構築が含まれ、さらに、顔認識や指紋認識などの一般的な生物学的特徴認識技術も含まれる。

【0016】

機械学習（Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ、ＭＬ）は、確率論、統計学、近似理論、凸解析、アルゴリズム複雑性理論などの様々な分野に関連するマルチフィールド学際である。機械学習は、コンピュータが人間の学習行動をシミュレート又は実現して、新しい知識やスキルを取得し、既存の知識構造を再編成して性能を継続的に向上させる方法を専門的に研究する。機械学習は人工知能のコアであり、コンピュータが知能を有するようにするための基本的な方法であり、人工知能の様々な分野に適用される。機械学習及び深層学習には、通常、人工ニューラルネットワーク、信念ネットワーク、強化学習、転移学習、帰納的学習（ｉｎｄｕｃｔｉｖｅ ｌｅａｒｎｉｎｇ）、実演学習（Ｌｅａｒｎｉｎｇ ｆｒｏｍ Ｄｅｍｏｎｓｔｒａｔｉｏｎ）などの技術が含まれる。

【0017】

人工知能技術の研究と進歩に伴い、人工知能技術は、一般的なスマートホーム、スマートウェアラブル機器、仮想アシスタント、スマートスピーカ、スマートマーケティング、無人運転、自動運転、ドローン、ロボット、スマート医療、スマートカスタマーサービスなどの様々な分野で研究及び適用され、技術の発展に伴い、人工知能技術は、より多くの分野に適用され、ますます重要な価値を発揮すると考えられる。

【0018】

本願実施例で提供される解決策は、人工知能コンピュータビジョン、機械学習／深層学習などの技術に関連し、具体的には、以下の実施例を使用して説明する。

【0019】

本願実施例における三次元エッジ検出は、画像処理及びコンピュータビジョンの基礎であり、三次元画像に対して三次元エッジ検出を実行して、三次元エッジ検出結果を取得することにより、他のコンピュータビジョンに、セマンティックセグメンテーション、オブジェクト検出、インスタンスセグメンテーション又はオブジェクトトラッキングなどの重要な情報を提供でき、非常に基本的であるが、非常に重要なコンピュータビジョンタスクでもある。実際の応用では、三次元エッジ検出結果は、多くの医療画像のセグメンテーション又は検出タスクに役立つ。

【0020】

図１に示されるように、一実施例では、三次元エッジ検出方法を提供する。本実施例は、主に、当該方法がコンピュータ機器に適用される場合を例として説明する。当該コンピュータ機器は、具体的には、端末又はサーバなどであり得る。図１を参照すると、当該三次元エッジ検出方法は、具体的には、以下のステップを含む。

【0021】

ステップＳ１０２において、三次元画像の各二次元スライスの二次元オブジェクト検出結果及び二次元エッジ検出結果を取得する。

【0022】

ここで、三次元画像は、３つの次元で情報を有する画像である。三次元画像を、その１つの次元で分割を実行して、三次元画像の各二次元スライスを取得する。通常、三次元画像の三次元は、高さ、幅、及び深さの３つの次元と見なすことができ、三次元画像の二次元スライスは、深さの次元で三次元画像に対して分割を実行することであり、異なる二次元スライスは異なる深さの位置に対応する。もちろん、他の実施例では、三次元画像に対して他の次元で分割を実行でき、ここでは限定しない。

【0023】

具体的には、コンピュータ機器は、二次元画像に対してオブジェクト検出を実行する方法を使用して、三次元画像の各二次元スライスを処理して、三次元画像の各二次元スライスの二次元オブジェクト検出結果を取得し、二次元画像に対してエッジ検出を実行するアルゴリズムを使用して、三次元画像の各二次元スライスを処理して、三次元画像の各二次元スライスの二次元エッジ検出結果を取得することができる。ここで、オブジェクト検出を具体的に実行する方法及びエッジ検出を具体的に実行する方法については、後続の実施例の詳細な説明を参照できる。

【0024】

ここで、オブジェクト検出の目的は、画像内のオブジェクトが配置された画素点領域を認識することであり、エッジ検出の目的は、画像内の、画素のグレースケールが大幅に変化する画素点を認識することである。エッジは、通常、オブジェクトと背景との間に存在する。オブジェクト検出及びエッジ検出は両方、画素レベルの検出であり得、即ち、検出タスクに従って、各画素点が属するカテゴリを決定する。本願実施例では、オブジェクト検出は、オブジェクトを検出するだけでよく、オブジェクトを分類、即ち、異なるオブジェクトを区別する必要がなく、どんなオブジェクトであるか決定しなくてもよい。

【0025】

ステップＳ１０４において、各二次元オブジェクト検出結果を三次元オブジェクト検出結果に積み重ね、各二次元エッジ検出結果を三次元エッジ検出結果に積み重ねる。

【0026】

具体的には、三次元画像を、その１つの次元で１つ以上のフレームの二次元スライスに分割し、これらの二次元スライスの間には一定の順序関係が存在し、即ち、各フレームの二次元スライスは、当該分割された次元での１つの位置（深さ値など）に対応し、これらの二次元スライスの二次元オブジェクト検出結果を、対応する二次元スライスの間の順序関係に従って積み重ねて、三次元オブジェクト検出結果を取得でき、これらの二次元スライスの二次元エッジ検出結果を、対応する二次元スライスの間の順序関係に従って積み重ねて、三次元エッジ検出結果を取得することができる。

【0027】

ステップＳ１０６において、三次元画像の特徴マップ、三次元オブジェクト検出結果及び三次元エッジ検出結果に従って符号化を実行して、符号化結果を取得する。

【0028】

ここで、特徴マップは、画像の特徴を反映するために使用され、画像の特徴の存在の一形態である。特徴マップは、画像の元のＲＧＢの３チャネルマップ、又は画像に対して畳み込み動作を実行して出力されたＦｅａｔｕｒｅ Ｍａｐなどである。

【0029】

画像に対して符号化を実行する場合、一般的な方法は、画像の特徴マップに対して直接符号化を実行することであることに留意されたい。しかしながら、本願実施例では、特徴マップ、三次元オブジェクト検出結果及び三次元エッジ検出結果の３種類の異なるデータに従って、符号化を実行する。さらに、この３種類のデータに対して特定の演算を実行した後、演算結果に対して符号化を実行することもできる。このようにして、符号化のプロセスで、三次元オブジェクト検出結果及び三次元エッジ検出結果を参照して、より有用な情報を取得することができる。

【0030】

具体的には、コンピュータ機器は、エンコーダを使用して、三次元画像の特徴マップ、三次元オブジェクト検出結果及び三次元エッジ検出結果に従って符号化を実行して、符号化結果を取得することができる。さらに、コンピュータ機器は、三次元画像の色特徴マップと、三次元オブジェクト検出結果に対してドット積演算を実行し、次に三次元エッジ検出結果を加算して、次にエンコーダを使用して前記演算結果に対して符号化を実行して、符号化結果を取得する。

【0031】

一実施例では、ステップＳ１０６は、三次元画像の特徴マップ、三次元オブジェクト検出結果及び三次元エッジ検出結果に従って、一回以上の符号化を実行する、ステップであって、毎回の符号化の入力は、三次元オブジェクト検出結果及び三次元エッジ検出結果を使用して、前回の符号化の出力に対して演算を実行した演算結果であり、毎回の符号化の出力は異なり、且つすべて三次元画像の特徴マップである、ステップと、最後の符号化によって出力された特徴マップを取得して、符号化結果を取得する、ステップと、を含む。

【0032】

具体的には、コンピュータ機器は、エンコーダを使用して符号化を実行でき、当該エンコーダは、１つ以上の符号化段階を含み得、それにより、三次元画像の特徴マップ、三次元オブジェクト検出結果及び三次元エッジ検出結果に従って、一回以上の符号化動作を実行することができる。このようにして、エンコーダの入力に対して、１つ以上のレベルの符号化動作を実行することにより、取得された符号化結果は、より正確に特徴を表示することができる。ここで、エンコーダの各符号化段階の入力はすべて、三次元オブジェクト検出結果及び三次元エッジ検出結果を使用して、前の符号化段階の出力に対して演算を実行した後の演算結果である。このようにして、各符号化段階で、三次元オブジェクト検出結果及び三次元エッジ検出結果を参照でき、符号化の有効性を向上させることができる。エンコーダの各符号化段階の出力はすべて、三次元画像の特徴マップであり、且つエンコーダの各符号化段階で出力された特徴マップは異なる。コンピュータ機器は、最後の符号化段階で出力された特徴マップを符号化結果として使用する。

【0033】

１つの特定の実施例では、コンピュータ機器は、三次元エッジ微細検出ネットワーク（Ｊｏｉｎｔ Ｅｄｇｅ Ｒｅｆｉｎｅｍｅｎｔ Ｎｅｔｗｏｒｋ）を介して符号化プロセスを実現することができる。図２を参照すると、三次元エッジ微細検出ネットワークは、エンコーダを含み、当該エンコーダは、４つの符号化段階を含み得、各符号化段階は、２つの畳み込みモジュールを含み得、各畳み込みモジュールは、畳み込み層、活性化関数層及び正規化層を含み得る。ここで、活性化関数は、具体的には、ＲｅＬＵ関数等であり得、正規化は、グループ正規化（Ｇｒｏｕｐ Ｎｏｒｍａｌｉｚａｔｉｏｎ）などであり得る。

【0034】

図２に示されるモジュールの構造は例示のみであり、三次元エッジ微細検出ネットワークの構造を限定するものではなく、実際の三次元エッジ微細検出ネットワークは、図２に示されるものより多い又は少ないコンポーネントを含み得、図２に含まれる構造のパラメータも異なることができることに留意されたい。

【0035】

一実施例では、三次元画像の特徴マップ、三次元オブジェクト検出結果及び三次元エッジ検出結果に従って、一回以上の符号化を実行する、ステップは、三次元画像の色特徴マップと、三次元オブジェクト検出結果に対してドット積演算を実行し、次に三次元エッジ検出結果を加算した後、現在の符号化を実行する、ステップと、現在の符号化の出力と、三次元オブジェクト検出結果に対してドット積演算を実行し、次に三次元エッジ検出結果を加算した後、最後の符号化まで次回の符号化を実行する、ステップと、を含む。

【0036】

オブジェクト検出は、画像内のオブジェクトが配置された画素点領域を認識することであり、エッジ検出は、画像内の、画素のグレースケールが大幅に変化する画素点を認識することであることが理解できる。エッジは、通常、オブジェクトと背景との間に存在するため、オブジェクト検出と、エッジ検出とには一定の類似性があると考えられる。オブジェクト検出の結果がD_objであり、エッジ検出の結果がD_edgであると仮定すると、この２つの結果の間には次のような論理関係が存在する。

【数1】

そうすると、

【数2】

であり得、ここで、F(・)、g(・)は、異なるエッジ検出演算子であり、Iは、入力された画像特徴であり、

【数3】

は、D_edgより正確なエッジ検出の結果である。一般に、オブジェクト検出とエッジ検出の交点（即ち、ドット積演算）はエッジ検出であり、オブジェクト検出とエッジ検出の和集合（即ち、加算演算）は、オブジェクト検出であることが理解できる。そうすると、g(I)・D_obj+D_edgを使用してエッジ検出結果を取得し、当該エッジ検出結果に対してエッジ検出演算子も使用して、より正確なエッジ検出結果を取得することができる。

【0037】

具体的には、コンピュータ機器は、三次元画像の色特徴マップと、三次元オブジェクト検出結果に対してドット積演算を実行し、次に三次元エッジ検出結果を加算し、次に演算結果を最初の符号化段階の入力として使用し、続いて、当該符号化段階で出力された特徴マップと、三次元検出結果に対してドット積演算を実行し、次に三次元エッジ検出結果を加算し、最後の符号化段階で符号化結果が出力されるまで、演算結果を、次回の符号化段階の入力として使用する。

【0038】

三次元画像の特徴マップ、三次元オブジェクト検出結果及び三次元エッジ検出結果に従って、初回の符号化を実行するとき、符号化出力がない場合、三次元画像の特徴マップは、三次元画像の元のＲＧＢ色チャネル特徴マップであり得、後続の符号化を実行する場合、前回の符号化で出力された特徴マップを使用することができる。

【0039】

１つの特定の実施例では、図３を参照すると、コンピュータ機器は、相互学習モジュール（Ｍｕｔｕａｌ、Ｍ）を介して、三次元画像の特徴マップと、三次元オブジェクト検出結果のドット積演算し、次に三次元エッジ検出結果を加算する演算を実現することができる。即ち、相互学習モジュール（Ｍ）の入力は、三次元画像の特徴マップ（Ｆ）、三次元オブジェクト検出結果（Ｏ）及び三次元エッジ検出結果（Ｅ）であり、出力は、新しい三次元画像の特徴マップ（Ｆ）である。具体的には、相互学習モジュール（Ｍ）は、三次元画像の特徴マップ（Ｆ）と、三次元オブジェクト検出結果（Ｏ）に対してドット積演算

【数4】

を実行し、次に三次元エッジ検出結果（Ｅ）を加算

【数5】

して、新しい三次元画像の特徴マップ（Ｆ）を出力する。ここで、最初の相互学習モジュール（Ｍ）の場合、三次元画像の特徴マップ（Ｆ）は、三次元画像の色特徴マップであり、後続の相互学習モジュール（Ｍ）の場合、三次元画像の特徴マップ（Ｆ）は、符号化して出力された特徴マップである。

【0040】

引き続き図３を参照すると、コンピュータ機器は、三次元画像の色特徴マップ、三次元オブジェクト検出結果及び三次元エッジ検出結果を、相互学習モジュール（Ｍ）に入力することができ、相互学習モジュール（Ｍ）は、新しい特徴マップをエンコーダの第１符号化段階に出力し、第１符号化段階で符号化された出力は、三次元オブジェクト検出結果及び三次元エッジ検出結果と一緒に相互学習モジュール（Ｍ）に入力され、相互学習モジュール（Ｍ）は、新しい特徴マップをエンコーダの第２符号化段階に出力し、第２符号化段階で符号化された出力は、三次元オブジェクト検出結果及び三次元エッジ検出結果と一緒に相互学習モジュール（Ｍ）に入力され、相互学習モジュール（Ｍ）は、新しい特徴マップをエンコーダの第３符号化段階に出力し、第３符号化段階で符号化された出力は、三次元オブジェクト検出結果及び三次元エッジ検出結果と一緒に相互学習モジュール（Ｍ）に入力され、相互学習モジュール（Ｍ）は、新しい特徴マップをエンコーダの第４符号化段階に出力し、第４符号化段階で符号化された出力は、符号化結果である。図３に示されるモジュールの構造は例示のみであり、三次元エッジ微細検出ネットワークの構造を限定するものではなく、実際の三次元エッジ微細検出ネットワークは、図３に示されるものより多い又は少ないコンポーネントを含み得、図３に含まれる構造のパラメータも異なることができることに留意されたい。

【0041】

第１符号化段階前の相互学習モジュール（Ｍ）の場合、符号化がまだ実行されていないため、g(I)・D_obj+D_edgのg(I)は、画像の元の色特徴マップであり、符号化は、１つのエッジ検出演算子と見なすことができ、そうすると、第１符号化段階の動作は、F(g(I)・D_obj+D_edg)を実行する演算と見なすことができることが理解できる。後続の符号化段階前の相互学習モジュール（Ｍ）は、すでに符号化されたため、g(I)・D_obj+D_edgのIは、前の符号化段階で入力された画像特徴であり、符号化は、１つのエッジ検出演算子と見なすことができ、g(I)は、前の符号化段階で出力された画像特徴である。

【0042】

本実施例では、各符号化において、三次元画像の色特徴マップと、三次元オブジェクト検出結果に対してドット積演算を実行し、次に三次元エッジ検出結果を加算した後に符号化を実行し、それにより、符号化するとき、対象のオブジェクトが配置された領域に焦点を当てて、既存の潜在的なエッジ検出結果も入力特徴マップで強化されるため、符号化出力は、より正確に特徴を表示することができる。

【0043】

上記の実施例では、データに対して１回以上の符号化、即ち、１つ以上のレベルの符号化動作を実行することによって、取得された符号化出力は、より正確に特徴を表示することができる。

【0044】

ステップＳ１０８において、符号化結果、三次元オブジェクト検出結果及び三次元エッジ検出結果に従って復号化を実行して、三次元画像の最適化された三次元エッジ検出結果を取得する。

【0045】

ステップＳ１０４において、二次元エッジ検出結果を積み重ねることによって取得された三次元エッジ検出結果は、比較的に正確な検出結果であることに留意されたい。最適化された三次元エッジ検出結果は、二次元エッジ検出結果を積み重ねて取得された三次元エッジ検出結果より正確さが高く、オブジェクトの実際のエッジにより適合する。最適化された三次元エッジ検出結果は、最適化アルゴリズムを使用して、二次元エッジ検出結果を積み重ねて取得された三次元エッジ検出結果を最適化した結果に限らず、二次元エッジ検出結果を積み重ねて取得された三次元エッジ検出結果を、三次元画像のエッジ検出を実行する具体的なプロセスに適用して、取得された三次元エッジ検出結果でもあり得る。

【0046】

さらに、符号化結果に対して復号化を実行する場合、一般的な方法は、符号化結果に対して直接復号化することであることに留意されたい。しかしながら、本願実施例では、符号化結果、三次元オブジェクト検出結果及び三次元エッジ検出結果の３種類の異なるデータに従って、復号化を実行する。さらに、この３種類のデータに対して特定の演算を実行した後、演算結果に対して復号化を実行することもできる。このようにして、復号化のプロセスで、三次元オブジェクト検出結果及び三次元エッジ検出結果を参照して、より有用な情報を取得することができる。

【0047】

具体的には、コンピュータ機器は、デコーダを使用して、符号化結果、三次元オブジェクト検出結果及び三次元エッジ検出結果に従って復号化を実行して、復号化結果、即ち、三次元画像の最適化された三次元エッジ検出結果を取得することができる。さらに、コンピュータ機器は、符号化結果と、三次元オブジェクト検出結果に対してドット積演算を実行し、次に三次元エッジ検出結果を加算し、次にデコーダを使用して、前記演算された演算結果に対して復号化を実行して、復号化結果、即ち、三次元画像の最適化された三次元エッジ検出結果を取得することができる。

【0048】

１つの特定の実施例では、三次元画像の最適化された三次元エッジ検出結果は、２種類の画素値を含む三次元画像であり得る。ここで、１種類の画素値は、対応する画素点がエッジ上の画素点であることを表し、もう１種類の画素値は、対応する画素点が非エッジ上の画素点であることを表す。

【0049】

１つの特定の実施例では、三次元画像の最適化された三次元エッジ検出結果は、三次元確率行列であり得る。ここで、各行列位置の確率値は、三次元画像に対応する画素点が、エッジ上に属する画素点である確率であり、確率が事前に設定された閾値より大きい場合、エッジ上の画素点であると見なす。

【0050】

一実施例では、ステップＳ１０８は、符号化結果、三次元オブジェクト検出結果及び三次元エッジ検出結果に従って、一回以上の復号化を実行する、ステップであって、毎回の復号化の入力は、三次元オブジェクト検出結果及び三次元エッジ検出結果を使用して、前回の復号化の出力に対して演算を実行した演算結果を含む、ステップと、最後の復号化の出力を取得して、三次元画像の最適化された三次元エッジ検出結果を取得する、ステップと、を含む。

【0051】

具体的には、コンピュータ機器は、デコーダを使用して復号化を実行でき、当該デコーダは、１つ以上の復号化段階を含み得、それにより、符号化結果、三次元オブジェクト検出結果及び三次元エッジ検出結果に従って、一回以上の復号化動作を実行することができる。デコーダの入力に対して、１つ以上のレベルの復号化動作を実行するため、符号化を実行して取得された特徴を、正確に出力空間にマッピングすることができる。ここで、デコーダの各復号化段階の入力はすべて、三次元オブジェクト検出結果及び三次元エッジ検出結果を使用して、前の復号化段階の出力に対して演算を実行した後の演算結果を含む。このようにして、各復号化段階において、三次元オブジェクト検出結果及び三次元エッジ検出結果を参照して、復号化の有効性を向上させることができる。デコーダの各復号化段階の出力はすべて、三次元画像の特徴マップであり、且つデコーダの各復号化段階で出力された特徴マップは異なる。出力空間は、三次元境界であるか否かの検出結果であり得る。

【0052】

最後の復号化段階で出力された特徴マップは、三次元画像の最適化された三次元エッジ検出結果であり得ることが理解できる。当該最適化された三次元エッジ検出結果は、具体的には、三次元画像の各画素点の分類マップであり得る。当該分類マップ上の画素点の画素値は、三次元画像に対応する画素点が属するカテゴリを表す。ここでのカテゴリは、２種類を含み、１種類は、エッジに属するカテゴリで、もう１種類は、エッジに属さないカテゴリである。例えば、分類マップ上の画素点の画素値は、０と１を含み、０は、三次元画像に対応する画素点が、エッジ画素点ではないことを表し、１は、三次元画像に対応する画素点が、エッジ画素点であることを表す。つまり、三次元画像に対して符号化及び復号化を実行する２つのプロセス、即ち、三次元画像に対して三次元エッジ検出を実行するプロセスでは、三次元画像内の各画素点が、三次元エッジの画素点であるか否かを決定する。

【0053】

別の実施例では、当該最適化された三次元エッジ検出結果は、具体的には、三次元画像の各画素点が、エッジ画素点である確率分布マップであり得る。当該確率分布マップ上の画素点の画素値は、三次元画像に対応する画素点が、エッジ画素点である確率を表す。

【0054】

１つの特定の実施例では、引き続き図２を参照すると、三次元エッジ微細検出ネットワークは、デコーダを含み得、当該デコーダは、３つの復号化段階を含み得、各復号化段階は、２つの畳み込みモジュールを含み得、各畳み込みモジュールは、畳み込み層、活性化関数層及び正規化層を含み得る。ここで、活性化関数は、具体的には、ＲｅＬＵ関数等であり得、正規化は、グループ正規化（Ｇｒｏｕｐ Ｎｏｒｍａｌｉｚａｔｉｏｎ）などであり得る。

【0055】

別の実施例では、毎回の復号化の入力はまた、現在の復号化段階にスキップ接続（Ｓｋｉｐ Ｃｏｎｎｅｃｔｉｏｎ）された符号化段階の出力を含み得る。このようにして、復号化するとき、前の符号化によって抽出された画像の特徴と組み合わせ、それにより、復号化の正確さを向上させることができる。例えば、エンコーダが４つの段階を含み、デコーダが３つの段階を含むと仮定すると、最初の符号化段階と第３復号化段階をスキップ接続し、２番目の符号化段階と２番目の復号化段階をスキップ接続し、３番目の符号化段階と最初の復号化段階をスキップ接続することができる。

【0056】

他の実施例では、データに対して１回以上の復号化、即ち、１つ以上のレベルの復号化動作を実行することによって、取得された復号化の出力が画素点に対する分類結果は、より正確になる。

【0057】

一実施例では、符号化結果、三次元オブジェクト検出結果及び三次元エッジ検出結果に従って、一回以上の復号化を実行する、ステップは、符号化結果と、三次元オブジェクト検出結果に対してドット積演算を実行し、次に三次元エッジ検出結果を加算した後、現在の復号化を実行する、ステップと、現在の復号化の出力と、三次元オブジェクト検出結果に対してドット積演算を実行し、次に三次元エッジ検出結果を加算した後、最後の復号化まで次の復号化を実行する、ステップと、を含む。

【0058】

具体的には、コンピュータ機器は、符号化結果と、三次元オブジェクト検出結果に対してドット積演算を実行し、次に三次元エッジ検出結果を加算し、次に演算結果を最初の復号化段階の入力として使用し、続いて、当該復号化段階で出力された特徴マップと、三次元オブジェクト検出結果に対してドット積演算を実行し、次に三次元エッジ検出結果を加算し、最後の復号化段階が三次元画像の最適化された三次元エッジ検出結果が出力されるまで、演算結果を、次の復号化段階の入力として使用する。

【0059】

別の実施例では、コンピュータ機器は、符号化結果と、三次元オブジェクト検出結果に対してドット積演算を実行し、次に三次元エッジ検出結果を加算し、次に演算結果と、最初の復号化段階にスキップ接続された符号化段階の出力を一緒に、最初の復号化段階の入力として使用し、続いて、当該復号化段階で出力された特徴マップと、三次元オブジェクト検出結果に対してドット積演算を実行し、次に三次元エッジ検出結果を加算し、最後の復号化段階の出力まで、演算結果と、現在の復号化段階にスキップ接続された符号化段階の出力を一緒に、次の復号化段階の入力として使用する。

【0060】

上記の実施例では、各復号化において、三次元画像の特徴マップと、三次元オブジェクト検出結果に対してドット積演算を実行し、次に三次元エッジ検出結果を加算した後に復号化を実行し、それにより、復号化するとき、対象のオブジェクトが配置された領域に焦点を当てて、既存の潜在的なエッジ検出結果も入力特徴マップで強化されるため、復号化の正確さを向上させることができる。

【0061】

一実施例では、当該三次元エッジ検出方法はさらに、サンプリング率が異なる１つ以上の拡張畳み込みを介して復号化結果を処理して、１つ以上の特徴マップを取得する、ステップであって、１つ以上の特徴マップのサイズは異なる、ステップと、１つ以上の特徴マップを接続した後に畳み込み動作を実行して、マルチスケール学習結果を取得する、ステップと、を含む。符号化結果、三次元オブジェクト検出結果及び三次元エッジ検出結果に従って、一回以上の復号化を実行する、ステップは、マルチスケール学習結果、三次元オブジェクト検出結果及び三次元エッジ検出結果に従って、１回以上の復号化を実行する、ステップを含む。

【0062】

ここで、拡張畳み込み（Ａｔｒｏｕｓ Ｃｏｎｖｏｌｕｔｉｏｎｓ）は、拡張畳み込み（Ｄｉｌａｔｅｄ Ｃｏｎｖｏｌｕｔｉｏｎｓ）とも呼ばれ、標準の畳み込み層に「拡張率（Ｄｉｌａｔｉｏｎ Ｒａｔｅ）」と呼ばれるパラメータを導入したものであり、当該パラメータは、畳み込みカーネルがデータを処理するときの各値の間隔を定義する。拡張畳み込みの目的は、プーリング（ｐｏｏｌｉｎｇ）（ｐｏｏｌｉｎｇ層は情報の損失を引き起こす）なしで同じ計算量である場合、より大きな受容野を提供することである。

【0063】

具体的には、コンピュータ機器は、サンプリング率が異なる１つ以上の拡張畳み込みを介して復号化結果を処理して、１つ以上の特徴マップを取得することができる。異なるサンプリング率は、異なる畳み込みカーネルサイズ及び／又は異なる拡張率であり得るため、このようにして取得された１つ以上の特徴マップのサイズも異なる。コンピュータ機器はまた、１つ以上の特徴マップを接続した後に畳み込み動作を実行して、マルチスケール学習結果を取得する。当該マルチスケール学習結果は、三次元画像の特徴マップでもあり得る。

【0064】

１つの特定の実施例では、コンピュータ機器は、マルチスケール学習モジュールを介して、「サンプリング率が異なる１つ以上の拡張畳み込みを介して復号化結果を処理して、１つ以上の特徴マップを取得する、ステップであって、１つ以上の特徴マップのサイズは異なり、１つ以上の特徴マップを接続した後に畳み込み動作を実行して、マルチスケール学習結果を取得する」、ステップを実現でき、当該マルチスケール学習モジュールは、具体的には、空間ピラミッド構造（Ａｔｒｏｕｓ Ｓｐａｔｉａｌ Ｐｙｒａｍｉｄ Ｐｏｏｌｉｎｇ、ＡＳＰＰ）であり得る。引き続き図２を参照すると、三次元エッジ微細検出ネットワークはさらに、エンコーダとデコーダとの間に位置するＡＳＰＰモジュールを含む。ＡＳＰＰモジュールの入力は、第４符号化段階で出力された符号化結果であり、ＡＳＰＰモジュールは、入力に対して１つ以上のスケールの特徴抽出を実行した後、マルチスケールの学習結果を出力する。

【0065】

上記の実施例では、マルチスケールの拡張畳み込みを介して符号化結果に対して動作を実行することにより、より豊富なマルチスケール及びマルチビューの画像特徴を抽出でき、後続の復号化動作に役立つ。

【0066】

一実施例では、マルチスケール学習結果、三次元オブジェクト検出結果及び三次元エッジ検出結果に従って、１回以上の復号化を実行する、ステップは、マルチスケール学習結果と、三次元オブジェクト検出結果に対してドット積演算を実行し、次に三次元エッジ検出結果を加算した後、現在の復号化を実行する、ステップと、現在の復号化の出力と、三次元オブジェクト検出結果に対してドット積演算を実行し、次に三次元エッジ検出結果を加算した後、最後の復号化まで次の復号化を実行する、ステップと、を含む。

【0067】

一実施例では、マルチスケール学習結果、三次元オブジェクト検出結果及び三次元エッジ検出結果に従って、１回以上の復号化を実行する、ステップは、マルチスケール学習結果と、三次元オブジェクト検出結果に対してドット積演算を実行し、次に三次元エッジ検出結果を加算した後、中間の符号化の出力と共に現在の復号化を実行する、ステップと、現在の復号化の出力と、三次元オブジェクト検出結果に対してドット積演算を実行し、次に三次元エッジ検出結果を加算した後、最後の復号化まで中間の符号化の前回の符号化の出力と共に、次回の符号化を実行する、ステップと、を含む。

【0068】

具体的には、コンピュータ機器は、マルチスケール学習結果と、三次元オブジェクト検出結果に対してドット積演算を実行し、次に三次元エッジ検出結果を加算し、次に演算結果と、最初の復号化段階にスキップ接続された符号化段階の出力を一緒に、最初の復号化段階の入力として使用し、続いて、当該復号化段階で出力された特徴マップと、三次元オブジェクト検出結果に対してドット積演算を実行し、次に三次元エッジ検出結果を加算し、最後の復号化段階の出力まで、演算結果と、現在の復号化段階にスキップ接続された符号化段階の出力を一緒に、次の復号化段階の入力として使用する。

【0069】

引き続き図３を参照すると、コンピュータ機器は、マルチスケール学習結果、三次元オブジェクト検出結果及び三次元エッジ検出結果を相互学習モジュール（Ｍ）に入力し、相互学習モジュール（Ｍ）の出力と、第３符号化段階の出力を一緒に、デコーダの第１復号化段階に入力し、第１復号化段階で復号化された出力と、三次元オブジェクト検出結果及び三次元エッジ検出結果を一緒に、相互学習モジュール（Ｍ）に入力し、相互学習モジュール（Ｍ）の出力と、第２符号化段階の出力を一緒に、デコーダの第２復号化段階に入力し、第２復号化段階で復号化された出力と、三次元オブジェクト検出結果及び三次元エッジ検出結果を一緒に、相互学習モジュール（Ｍ）に入力し、相互学習モジュール（Ｍ）の出力と、第１符号化段階の出力を一緒に、デコーダの第３復号化段階に入力することができ、第３復号化段階で復号化された出力は、三次元画像の最適化された三次元エッジ検出結果（Ｓｕｂｔｌｅ ３Ｄ Ｅｄｇｅ）である。

【0070】

上記の実施例では、復号化動作を実行するとき、スキップ接続された符号化段階で出力された特徴マップを一緒に復号化するため、後続の復号化の入力により、画像特徴が明確になるだけでなく、前の符号化によって抽出された画像特徴と組み合わせることができ、それにより、復号化の正確さを向上させることができる。

【0071】

このようにして、二次元エッジ検出結果を積み重ねて取得された三次元エッジ検出結果に基づいて、三次元画像の特徴マップに対して符号化及び復号化を実行した後、最適化された三次元エッジ検出結果を取得し、それにより、微細な三次元エッジ（Ｓｕｂｔｌｅ ３Ｄ Ｅｄｇｅ）を取得することができる。当該微細な三次元エッジは、セグメンテーション、検出、追跡などの様々な医用画像タスクのために、より多くて、より豊富な特徴、及び他の観点からの補助的な結果を提供でき、より正確な医用画像支援診断を実現するのに役立つ。

【0072】

上記の三次元エッジ検出方法において、三次元画像の各二次元スライスの二次元オブジェクト検出結果及び二次元エッジ検出結果を取得した後、三次元オブジェクト検出結果及び三次元エッジ検出結果を積み重ね、次に三次元画像の特徴マップ、三次元オブジェクト検出結果及び三次元エッジ検出結果に従って符号化を実行し、次に三次元オブジェクト検出結果及び三次元エッジ検出結果を組み合わせて復号化を実行して、三次元画像の最適化された三次元エッジ検出結果を取得する。このようにして、三次元画像に対して三次元エッジ検出を実行するとき、三次元画像の各二次元スライスの二次元検出結果を三次元エッジ検出に使用することにより、二次元検出結果の特徴と三次元データの空間構造の連続性を巧みに相互に補完でき、さらに、三次元エッジ検出の正確さを向上させることができ、そして、二次元検出結果は、オブジェクト検出及びエッジ検出の２種類の検出結果を含み、この２種類の検出結果は、相互に学習し、相互に促進することもできるため、三次元エッジ検出の正確さを更に向上させることができる。

【0073】

一実施例では、上記実施例におけるステップＳ１０６及びステップＳ１０８は、三次元エッジ微細検出ネットワーク（Ｊｏｉｎｔ Ｅｄｇｅ Ｒｅｆｉｎｅｍｅｎｔ Ｎｅｔｗｏｒｋ）を介して実現することができる。当該三次元エッジ微細検出ネットワークは、エンコーダ及びデコーダを含み得る。当該エンコーダは、複数の符号化段階を含み得、当該デコーダは、複数の復号化段階を含み得る。

【0074】

ここで、最初の符号化段階の入力は、三次元画像の色特徴マップ、三次元オブジェクト検出結果及び三次元エッジ検出結果に対して演算を実行した演算結果であり得、非最初の符号化段階の入力は、前の符号化段階の出力、三次元オブジェクト検出結果及び三次元エッジ検出結果に対して演算を実行した演算結果であり得る。最初の復号化段階の入力は、符号化結果、三次元オブジェクト検出結果及び三次元エッジ検出結果に対して演算を実行した演算結果であり得、非最初の復号化段階の入力は、前の復号化段階の出力、三次元オブジェクト検出結果及び三次元エッジ検出結果に対して演算を実行した演算結果であり得る。

【0075】

別の実施例では、符号化（復号化）段階の入力に含まれる３種類のデータの演算結果において、相互学習モジュールを介して、この３種類のデータの間の演算を実現することができる。

【0076】

別の実施例では、毎回の復号化の入力はさらに、現在の復号化段階にスキップ接続された符号化段階の出力を含み得る。

【0077】

別の実施例では、当該三次元エッジ微細検出ネットワークはさらに、エンコーダとデコーダとの間に位置するマルチスケール学習モジュール（ＡＳＰＰなど）を含み得る。マルチスケール学習モジュールの入力は、最後の符号化段階の出力である。この場合、最初の復号化段階の入力は、マルチスケール学習モジュールの出力、三次元オブジェクト検出結果及び三次元エッジ検出結果に対して演算を実行した演算結果であり得る。

【0078】

上記の実施例は、本願の三次元エッジ微細検出ネットワークのいくつかの実施形態を説明するのみであり、その説明は、具体的かつ詳細であるが、本願の三次元エッジ微細検出ネットワークを限定するものとして解釈されるべきではない。当業者にとって、本願の三次元エッジ微細検出ネットワークの構想から逸脱することなく、いくつかの改善又は修正を加えることもでき、これらの改善及び修正も本願によって保護される三次元エッジ微細検出ネットワークに属するべきであることに留意されたい。

【0079】

上記の実施例によって提供される三次元エッジ微細検出ネットワークは、トレーニングラベルを備えたトレーニングサンプルに対して深層監視（Ｄｅｅｐ Ｓｕｐｅｒｖｉｓｉｏｎ）学習を実行することによって取得することができる。引き続き図２を参照すると、当該ネットワークに含まれる構造は、深層監視（Ｄｅｅｐ Ｓｕｐｅｒｖｉｓｉｏｎ）学習を介して取得することができる。

【0080】

具体的には、三次元エッジ微細検出ネットワークに入力されるトレーニングサンプルは、三次元画像サンプル、三次元画像サンプルの各二次元スライスの二次元オブジェクト検出結果を積み重ねて取得された三次元オブジェクト検出結果、及び三次元画像サンプルの各二次元スライスの二次元エッジ検出結果を積み重ねて取得された三次元エッジ検出結果である。トレーニングサンプルのトレーニングラベルは、三次元画像サンプルの三次元エッジラベルである。コンピュータ機器は、トレーニングサンプル及びトレーニングラベルに従って、損失関数を構築し、監視ありで三次元エッジ微細検出ネットワークをトレーニングすることができる。

【0081】

１つの特定の実施例では、上記の監視ありトレーニングの損失関数は、Ｄｉｃｅ Ｌｏｓｓ損失関数であり得、当該損失関数は、以下の式２に示される通りである。

【数6】

ここで、Ｎは、三次元画像内の画素点の数であり、p_iは、ｉ番目の画素点がエッジ画素点である確率であり、y_iは、ｉ番目の画素点のトレーニングラベルである。

【0082】

一実施例では、三次元画像の各二次元スライスの二次元オブジェクト検出結果及び二次元エッジ検出結果を取得する、ステップは、三次元画像の各二次元スライスの二次元初期オブジェクト検出結果及び二次元初期エッジ検出結果を取得する、ステップと、三次元画像の各二次元スライスの場合、二次元スライスの色特徴マップと、二次元スライスの二次元初期エッジ検出検出結果に対してドット積演算を実行し、次に二次元スライスの二次元初期オブジェクト検出結果を加算した後、オブジェクト検出を実行して、二次元スライスの二次元ターゲットオブジェクト検出結果を取得する、ステップと、三次元画像の各二次元スライスに対して畳み込み動作を実行する場合、畳み込み動作の出力及び対応する二次元スライスの二次元オブジェクト検出結果に従って、各二次元スライスの二次元ターゲットエッジ検出結果を取得する、ステップと、を含む。

【0083】

コンピュータ機器は、異なるネットワークを使用して、オブジェクト検出及びエッジ検出を独立して実行することができることに留意されたい。例えば、オブジェクト検出モデル（Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ Ｍｏｄｕｌｅ）を使用してオブジェクト検出を実行し、エッジ検出モデル（Ｅｄｇｅ Ｄｅｔｅｃｔｉｏｎ Ｍｏｄｕｌｅ）を使用してエッジ検出を実行する。ただし、オブジェクト検出及びエッジ検出には、相互に学習し、相互に影響を与え、相互に促進できる多くの特徴があるため、オブジェクト検出及びエッジ検出から抽出された特徴は、ネットワークトレーニング及びネットワーク使用のプロセスで相互に転送することができる。

【0084】

前述の実施例で説明した式１、及び関連する論理原理の説明と組み合わせると、コンピュータ機器は、相互学習モジュールを介して、オブジェクト検出及びエッジ検出から抽出された特徴の相互伝送を実現することができる。相互学習モジュールは、具体的には、g(I)・D_obj+D_edgのような演算、即ち、画像特徴及びオブジェクト検出結果に対してドット積演算を実行し、次にエッジ検出結果を加算する演算を実行することができる。

【0085】

具体的には、コンピュータ機器は、監視ありで事前に、オブジェクト検出モデル及びエッジ検出モデルをそれぞれトレーニングすることができる。事前トレーニングした後、次に相互学習モジュールを介して、この２つのモデルと接続して、相互オブジェクト及びエッジ検出ネットワーク（Ｍｕｔｕａｌ Ｏｂｊｅｃｔ ａｎｄ Ｅｄｇｅ Ｄｅｔｅｃｔｉｏｎ Ｎｅｔｗｏｒｋ）を取得し、相互オブジェクト及びエッジ検出ネットワークを更にトレーニングする。例えば、図４を参照すると、相互オブジェクト及びエッジ検出ネットワークは、オブジェクト検出モデルの前に、相互学習モジュールを追加し、及び／又はエッジ検出モデル後に相互学習モジュールを追加することができる。

【0086】

ここで、事前トレーニングして取得されたオブジェクト検出モデル及びエッジ検出モデルは、二次元画像に従って、当該二次元画像の初期二次元検出結果を取得するために使用される。更にトレーニングして取得された相互オブジェクト及びエッジ検出ネットワークは、二次元画像に従って、当該二次元画像のターゲットの二次元オブジェクト検出結果を取得するために使用される。当該ターゲットの二次元オブジェクト検出結果は、ステップＳ１０６及びステップＳ１０８などの三次元検出結果に積み重ねるために使用される。

【0087】

このようにして、コンピュータ機器は、三次元画像の各二次元スライスを、事前トレーニングして取得されたオブジェクト検出モデルにそれぞれ入力して、各二次元スライスの二次元初期オブジェクト検出結果を取得し、三次元画像の各二次元スライスを、事前トレーニングして取得されたエッジ検出モデルに入力して、各二次元スライスの二次元初期エッジ検出結果を取得することができる。その後、コンピュータ機器は、三次元画像の各二次元スライスを、相互オブジェクト及びエッジ検出ネットワークに入力し、相互オブジェクト及びエッジ検出ネットワークにおけるオブジェクト検出モデルの前の相互学習モジュールは、二次元スライスの色特徴マップと、二次元スライスの二次元初期エッジ検出検出結果に対してドット積演算を実行し、次に二次元スライスの二次元初期オブジェクト検出結果を加算した後、相互オブジェクト及びエッジ検出ネットワークにおけるオブジェクト検出モデルに入力して、二次元スライスの二次元ターゲットオブジェクト検出結果を出力する。相互オブジェクト及びエッジ検出ネットワークにおけるエッジ検出モデルは、二次元スライスに対して畳み込み動作を実行し、相互オブジェクト及びエッジ検出ネットワークにおけるエッジ検出モデルの後の相互学習モジュールは、畳み込み動作の出力及び二次元オブジェクト検出結果に対してドット積演算を実行し、次に畳み込み動作の出力を加算した後、二次元スライスの二次元ターゲットエッジ検出結果を取得する。

【0088】

上記の実施例では、オブジェクト検出及びエッジ検出は、相互に学習し、相互に促進するため、取得された二次元検出結果がより正確になり、それにより、後続の三次元検出における参照データがより正確になることができる。

【0089】

一実施例では、三次元画像の各二次元スライスの場合、二次元スライスの色特徴マップと、二次元スライスの二次元初期オブジェクト検出検出結果に対してドット積演算を実行し、次に二次元スライスの二次元初期オブジェクト検出結果を加算した後、オブジェクト検出を実行して、二次元スライスの二次元ターゲットオブジェクト検出結果を取得する、ステップは、三次元画像の各フレームの二次元スライスの場合、二次元スライスの色特徴マップと、二次元スライスの二次元初期オブジェクト検出結果に対してドット積演算を実行し、次に二次元スライスの二次元初期オブジェクト検出結果を加算して、処理対象となるデータとして使用する、ステップと、処理対象となるデータに対して１回以上の符号化及び一回以上の復号化を実行して、最後の復号化によって出力された、二次元スライスの二次元ターゲットオブジェクト検出結果を取得する、ステップと、をそれぞれ実行する、ステップを含む。

【0090】

具体的には、コンピュータ機器は、エンコーダを使用して符号化を実行し、デコーダを使用して復号化を実行でき、当該エンコーダは、１つ以上の符号化段階を含み得、当該デコーダは、１つ以上の復号化段階を含み得る。このようにして、コンピュータ機器は、二次元スライスの色特徴マップと、二次元スライスの二次元初期オブジェクト検出結果に対してドット積演算を実行し、次に二次元スライスの二次元初期オブジェクト検出結果を加算して、処理対象となるデータとして使用し、次に処理対象となるデータを最初の符号化段階の入力として使用し、続いて、最後の符号化段階で符号化結果が出力されるまで、当該符号化段階で出力された特徴マップを、次回の符号化段階の入力として使用する。次に、当該符号化結果を最初の復号化段階の入力として使用し、続いて、最後の復号化段階で二次元ターゲットオブジェクト検出結果を出力されるまで、当該復号化段階で出力された特徴マップを、次の復号化段階の入力として使用する。

【0091】

本願実施例におけるエンコーダと、ステップＳ１０６におけるエンコーダは、異なるエンコーダであり、それらの構造は異なり、符号化されたデータの次元も異なることに留意されたい。本願実施例におけるデコーダと、ステップＳ１０６におけるデコーダは、異なるデコーダであり、それらの構造は異なり、復号化されたデータの次元も異なる。

【0092】

別の実施例では、符号化段階はさらに、復号化段階にスキップ接続することができる。この場合、デコーダの最初の復号化段階の入力は、最後の符号化段階の出力及びスキップ接続された符号化段階の出力であり得、後続の復号化段階の入力は、前の復号化段階の出力及びスキップ接続された符号化段階の出力であり得る。

【0093】

上記の実施例では、二次元画像に対して符号化を実行する場合、初期検出結果と演算を実行した後、更に符号化対象として使用し、符号化するとき、初期検出結果を参照し、特定の領域に焦点を当てて、より有用な情報を抽出することができ、そして、１回以上の符号化により、特徴がより正確に表示でき、一回以上の復号化により、取得された復号化の出力が画素点に対する分類結果は、より正確になることができる。

【0094】

一実施例では、処理対象となるデータに対して１回以上の符号化及び一回以上の復号化を実行して、最後の復号化によって出力された、二次元スライスの二次元ターゲットオブジェクト検出結果を取得する、ステップは、処理対象となるデータに対して一回以上の符号化を実行して、最後の復号化によって出力されたオブジェクト検出結果を取得する、ステップと、サンプリング率が異なる１つ以上の拡張畳み込みを介してオブジェクト検出結果を処理して、１つ以上の特徴マップを取得する、ステップであって、１つ以上の特徴マップのサイズは異なる、ステップと、１つ以上の特徴マップを接続した後に畳み込み動作を実行して、マルチスケール学習結果を取得する、ステップと、マルチスケール学習結果に対して一回以上の復号化を実行して、最後の復号化によって出力された、二次元スライスの二次元ターゲットオブジェクト検出結果を取得する、ステップと、を含む。

【0095】

具体的には、コンピュータ機器は、エンコーダを使用して符号化を実行し、デコーダを使用して復号化を実行でき、当該エンコーダは、１つ以上の符号化段階を含み得、当該デコーダは、１つ以上の復号化段階を含み得る。このようにして、コンピュータ機器は、二次元スライスの色特徴マップと、二次元スライスの二次元初期オブジェクト検出結果に対してドット積演算を実行し、次に二次元スライスの二次元初期オブジェクト検出結果を加算して、処理対象となるデータとして使用し、次に処理対象となるデータを最初の符号化段階の入力として使用し、続いて、最後の符号化段階で符号化結果が出力されるまで、当該符号化段階で出力された特徴マップを、次回の符号化段階の入力として使用することができる。

【0096】

次に、サンプリング率が異なる１つ以上の拡張畳み込みを介してオブジェクト検出結果を処理して、１つ以上の特徴マップを取得し、１つ以上の特徴マップのサイズは異なり、１つ以上の特徴マップを接続した後に畳み込み動作を実行して、マルチスケール学習結果を取得する。当該プロセスは、具体的には、マルチスケール学習モジュールを介して実現することができる。マルチスケール学習モジュールの構造は、具体的には、ＡＳＰＰの構造である。

【0097】

その後、当該マルチスケール学習結果を最初の復号化段階の入力として使用し、続いて、最後の復号化段階で二次元ターゲットオブジェクト検出結果を出力されるまで、当該復号化段階で出力された特徴マップを、次の復号化段階の入力として使用する。もちろん、別の実施例では、符号化段階はさらに、復号化段階にスキップ接続することができる。この場合、デコーダの最初の復号化段階の入力は、マルチスケール学習モジュールの出力及びスキップ接続された符号化段階の出力であり得、後続の復号化段階の入力は、前の復号化段階の出力及びスキップ接続された符号化段階の出力であり得る。

【0098】

上記の実施例では、マルチスケールの拡張畳み込みを介して符号化結果に対して動作を実行することにより、より豊富なマルチスケール及びマルチビューの画像特徴を抽出でき、後続の復号化動作に役立つ。

【0099】

１つの特定の実施例では、図５を参照すると、オブジェクト検出モデルの入力（Ｉｎｐｕｔ）は、三次元画像の二次元スライスであり、出力（Ｏｕｔｐｕｔ）は、二次元スライスのオブジェクト検出結果である。オブジェクト検出モデルは、エンコーダ、デコーダ及びエンコーダとデコーダとの間に位置するＡＳＰＰモジュールを含む。エンコーダは、１つの入力層及び４つの符号化段階を含む。入力層は、１つの残差モジュールを含み、４つの符号化段階は、それぞれ、４つ、６つ、６つ、４つの残差モジュールを含む。各符号化段階の入力と出力は加算演算で接続され、各符号化段階の後はすべて１つの畳み込み動作（３×３などのカーネルサイズ）及び平均プーリング演算動作（２×２などのカーネルサイズ）に接続し、特徴マップをダウンサンプリング（特徴マップを半分のサイズにダウンサンプリングするなど）する。デコーダは、４つの復号化段階及び１つの出力畳み込み層を含む。各復号化段階は、２つの残差モジュールを含み、各復号化段階の前に、１つのアップサンプリング（ダブルアップサンプリングなど）及び畳み込み動作（１×１などのカーネルサイズ）が実行される。符号化段階と復号化段階は、スキップ接続することができ、入力層と出力層もスキップ接続することができる。ここで、各残差モジュールは、２つの畳み込みモジュールを含み、各畳み込みモジュールは、畳み込み層、正規化層及び活性化関数層を含む。正規化は、バッチ正規化（Ｂａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎ）であり得る。活性化関数は、ＲｅＬＵ関数であり得る。オブジェクト検出モデルをトレーニングする場合、損失関数をL_segと記録して、監視ありのトレーニングを実行することができる。

【0100】

図５に示されるモデルの構造は例示のみであり、オブジェクト検出モデルの構造を限定するものではなく、実際のオブジェクト検出モデルは、図５に示されるものより多い又は少ないコンポーネントを含み得、図５に含まれる構造のパラメータも異なることができることに留意されたい。

【0101】

具体的には、コンピュータ機器は、トレーニングサンプル（二次元画像）及びトレーニングサンプルのトレーニングラベル（オブジェクト検出ラベル）に従って、損失関数を構築し、監視ありでオブジェクト検出モデルをトレーニングすることができる。

【0102】

１つの特定の実施例では、上記の監視ありトレーニングの損失関数は、二項分類のクロスエントロピー（ｃｒｏｓｓ－ｅｎｔｒｏｐｙ）損失関数であり得、当該損失関数は、以下の式３に示される通りである。

【数7】

ここで、yは、画像の画素レベルラベルであり、pは、モデルによって予測された、ラベルが１である画素がこのカテゴリに属する確率値である。ラベルが１であることは、具体的には、画素点がオブジェクトの画素点であることを表すことができる。

【0103】

一実施例では、三次元画像の各二次元スライスに対して畳み込み動作を実行する場合、畳み込み動作の出力及び対応する二次元スライスの二次元オブジェクト検出結果に従って、各二次元スライスの二次元ターゲットエッジ検出結果を取得する、ステップは、三次元画像の各フレームの二次元スライスの場合、二次元スライスに対して１段階以上の畳み込み動作を実行する、ステップと、各段階の出力と、二次元スライスの二次元初期オブジェクト検出結果に対してドット積演算を実行し、次に現在の段階の出力を加算して、段階検出結果を取得する、ステップと、各段階検出結果を組み合わせて、二次元スライスの二次元ターゲットエッジ検出結果を取得する、ステップと、をそれぞれ実行する、ステップを含む。

【0104】

具体的には、コンピュータ機器は、各フレームの二次元スライスに対して、１段階以上の畳み込み動作を実行し、次に各段階の出力と、二次元スライスの二次元初期オブジェクト検出結果に対してドット積演算を実行し、次に現在の段階の出力を加算して、段階検出結果を取得し、各段階検出結果と組み合わせて、二次元スライスの二次元ターゲットエッジ検出結果を取得ことができる。

【0105】

ここで、各段階は、１つ以上の畳み込み層を含む。各段階の検出結果は、二次元スライスの二次元ターゲットエッジ検出結果としても使用され得る。各段階の検出結果と組み合わせることは、各段階の検出結果を要素ごとで加算（Ｅｌｅｍｅｎｔ－ｗｉｓｅ Ａｄｄｉｔｉｏｎ）することであり得る。

【0106】

別の実施例では、各段階の出力は、当該段階に含まれる各畳み込み層の出力を、要素ごとで加算した結果であり得る。各畳み込み層の出力は、まず、畳み込み動作を実行した後、次に、要素ごとで加算することができる。各段階の出力と、二次元スライスの二次元初期オブジェクト検出結果に対してドット積演算を実行する前に、ダウンサンプリング動作、畳み込み動作、及びアップサンプリング動作を実行することができる。

【0107】

上記の実施例では、データに対して１段階以上の畳み込み動作を実行し、各段階で出力とオブジェクト検出結果に対して演算を実行して、当該段階のエッジ検出結果を取得することにより、オブジェクト検出結果と組み合わせて、エッジ検出の正確さを向上させることができ、そして、各段階での検出結果と組み合わせて、二次元スライスの二次元ターゲットエッジ検出結果を取得することにより、各段階で抽出された情報を統合して、エッジ検出の正確さを向上させることができる。

【0108】

１つの特定の実施例では、エッジ検出モデルの入力（Ｉｎｐｕｔ）は、三次元画像の二次元スライスであり、出力（Ｏｕｔｐｕｔ）は、二次元スライスのエッジ検出結果である。エッジ検出モデルは、１つ以上の畳み込み層を含み、これらの畳み込み層は、１つ以上の段階に分割される。例えば、図６を参照すると、エッジ検出モデルは、カーネルサイズが３×３である１６個の畳み込み層を含み、これらの畳み込み層は、５つの段階に分割され、最初の段階は、２つの畳み込み層を含み、２番目、３番目の段階は、３つの畳み込み層を含み、４番目、５番目の段階は、４つの畳み込み層を含む。各段階における各畳み込み層はすべて、１つのカーネルサイズが１×１である畳み込み動作に接続した後に加算され、各段階の特徴マップを取得し、当該特徴マップは、１×１の畳み込み動作及びダブルアップサンプリングを実行した後、オブジェクト検出結果と一緒に、前述の相互学習モジュールＭに入力され、取得された５つの出力を接続して、二次元スライスのエッジ検出結果を取得する。ここで、各段階では、当該段階の特徴マップを取得した後、特徴マップに対してダブルダウンサンプリングを実行するために、１つのプーリング動作を実行することができる。図６に示されるモデルの構造は例示のみであり、オブジェクト検出モデルの構造を限定するものではなく、実際のオブジェクト検出モデルは、図６に示されるものより多い又は少ないコンポーネントを含み得、図６に含まれる構造のパラメータも異なることができることに留意されたい。

【0109】

ここで、相互学習モジュールＭ(g(I)・D_obj+D_edg)の各変数の値は、具体的には、以下の通りである。g(I)とD_edgは両方、現在の段階で出力された特徴マップが畳み込み動作及びアップサンプリングを実行した後の結果であり、D_objは、事前トレーニングされたオブジェクト検出モデルによって出力されたオブジェクト検出結果である。オブジェクト検出モデルをトレーニングする場合、損失関数をL_edgeと記録して、監視ありのトレーニングを実行することができ、損失関数を構築する場合、各段階ごとに１つの損失関数を構築でき、当該各段階の損失関数は、現在の段階及び現在の段階の前の各段階のモデルパラメータをトレーニング及び更新するために使用されるか、又は、現在の段階のモデルパラメータのみをトレーニング及び更新するために使用される。

【0110】

具体的には、コンピュータ機器は、トレーニングサンプル（二次元画像）及びトレーニングサンプルのトレーニングラベル（エッジ検出ラベル）に従って、監視トレーニング損失関数を構築し、監視ありでオブジェクト検出モデルをトレーニングすることができる。

【0111】

１つの特定の実施例では、上記の監視ありトレーニングの損失関数は、Ｆｏｃａｌ ｌｏｓｓ損失関数であり得、当該損失関数は、以下の数式８に示される通りである。

【数8】

ここで、pは、モデルによって予測された、ラベルが１である画素がこのカテゴリに属する確率値であり、αは、ラベルが１である重み因子であり、γは、調節制御因子(1-p)^γを調節するための調節制御可能なフォーカス因子である。ラベルが１であることは、具体的には、画素点がエッジの画素点であることを表すことができる。Ｍを経過した後の各段階の出力は、前の段階の出力、及び要素ごとで加算されたすべての段階の出力を含む、合計６つの出力に対して、L_edgeのバックプロパゲーション及び勾配更新を実行する。

【0112】

例えば、図６に示されるように、この６つの出力は、最初の相互学習モジュールの出力、最初、２番目の相互学習モジュールの出力の要素ごとで加算（Ｅｌｅｍｅｎｔ－ｗｉｓｅ Ａｄｄｉｔｉｏｎ）された結果、最初、２番目、３番目の相互学習モジュールの出力の要素ごとで加算された結果、最初、２番目、３番目、４番目の相互学習モジュールの出力の要素ごとで加算された結果、最初、２番目、３番目、４番目、５番目の相互学習モジュールの出力の要素ごとで加算された結果、及び最初、２番目、３番目、４番目、５番目の相互学習モジュールの出力が接続（Ｃｏｎｃａｔｅｎｔｉｏｎ）された結果を含む。

【0113】

ここで、事前トレーニングされたエッジ検出モデルは、相互学習モジュールを含まなくてもよい。即ち、各段階の特徴マップに対して畳み込み動作及びアップサンプリングを実行した後に、要素ごとで加算して、二次元画像のエッジ検出結果を取得する。

【0114】

１つの特定の実施例では、引き続き図４を参照すると、相互オブジェクト及びエッジ検出ネットワークの入力（Ｉｎｐｕｔ）は、三次元画像の二次元スライスである。二次元スライスは、相互オブジェクト及びエッジ検出ネットワークにおけるオブジェクト検出モデルに入力される前に、まず、相互学習モジュールによって処理される。相互学習モジュールは、３つの入力を含み、それぞれ、三次元画像の二次元スライス、二次元スライスの二次元初期オブジェクト検出結果及び二次元スライスの二次元初期エッジ検出結果である。二次元スライスの二次元初期オブジェクト検出結果は、事前トレーニングして取得したオブジェクト検出モデルを介して取得され、二次元スライスの二次元初期エッジ検出結果は、事前トレーニングして取得されたエッジ検出モデルを介して取得される。ここで、相互学習モジュールに含まれる３つの入力はさらに、それぞれ、三次元画像の二次元スライス、二次元スライスの二次元初期オブジェクト検出結果、及び相互オブジェクト及びエッジ検出ネットワークにおけるエッジ検出モデルの出力であり得る。相互オブジェクト及びエッジ検出ネットワークにおけるオブジェクト検出モデルの出力は、二次元スライスの二次元ターゲットオブジェクト検出結果である。

【0115】

さらに、二次元スライスが、相互オブジェクト及びエッジ検出ネットワークにおけるエッジ検出モデルに入力された後、エッジ検出モデルの各段階の出力は、相互学習モジュールによって処理された後に積み重ねられて、二次元スライスの二次元ターゲットオブジェクト検出結果を取得する。各段階の後に接続される相互学習モジュールは、２つの入力を含み、それぞれ、当該段階の出力及び二次元スライスの二次元初期オブジェクト検出結果である。ここで、相互学習モジュールg(I)・D_obj+D_edgのg(I)とD_edgは両方、当該段階の出力であるため、入力は２つのみである。

【0116】

事前トレーニングして取得されたオブジェクト検出モデルは、相互オブジェクト及びエッジ検出ネットワークにおけるオブジェクト検出モデルのモデル構造と同じであるが、モデルパラメータは異なり、相互オブジェクト及びエッジ検出ネットワークにおけるオブジェクト検出モデルは、事前トレーニングして取得されたオブジェクト検出モデルに基づいて更にトレーニングして取得されることに留意されたい。事前トレーニングして取得されたエッジ検出モデルは、相互オブジェクト及びエッジ検出ネットワークにおけるエッジ検出モデルのモデル構造と同じであるが、モデルパラメータは異なり、相互オブジェクト及びエッジ検出ネットワークにおけるエッジ検出モデルは、事前トレーニングして取得されたエッジ検出モデルに基づいて更にトレーニングして取得される。オブジェクト検出モデルのモデル構造は、図５に示されるモデル構造を参照でき、エッジ検出モデルのモデル構造は、図６に示されるモデル構造を参照できる。

【0117】

ここで、事前トレーニングして取得されたオブジェクト検出モデル及びエッジ検出モデルが相互学習モジュールに関連付けられた後、更にトレーニングされる場合、オブジェクト検出モデルに接続される相互学習モジュールの入力は、三次元画像の二次元スライス、事前トレーニングされたオブジェクト検出モデルの出力、及び事前トレーニングされたエッジ検出モデルの出力であるか、又は、三次元画像の二次元スライス、事前トレーニングされたオブジェクト検出モデルの出力、及び現在のエッジ検出モデルリアルタイム出力である。つまり、g(I)・D_obj+D_edgのD_objは、メロディで取得されたモデルの固定出力であり、g(I)・D_obj+D_edgのD_edgは、トレーニング中のモデルのリアルタイム出力であるか、又は、事前トレーニングして取得されたモデルの固定出力であり得る。エッジ検出モデルの各段階に接続される相互学習モジュールの入力は、各段階のリアルタイム出力及び現在のオブジェクト検出モデルのリアルタイム出力であるか、又は、各段階のリアルタイム出力及び事前トレーニングされたオブジェクト検出モデルの出力であり得る。つまり、g(I)・D_obj+D_edgのg(I)とD_edgは両方、エッジ検出モデルの各段階のリアルタイム出力であり、g(I)・D_obj+D_edgのD_objは、トレーニング中のモデルのリアルタイム出力であるか、又は、事前トレーニングして取得されたモデルの固定出力であり得る。

【0118】

三次元画像の各二次元スライスの二次元ターゲットオブジェクト検出結果及び二次元ターゲットエッジ検出結果を取得した後、各二次元ターゲットオブジェクト検出結果を三次元オブジェクト検出結果に積み重ね、各二次元ターゲットエッジ検出結果を三次元エッジ検出結果に積み重ねることができる。三次元画像、三次元オブジェクト検出結果及び三次元エッジ検出結果を三次元エッジ微細検出ネットワークに入力して、出力の最適化された三次元エッジ検出結果、微細な三次元エッジ画像を取得する。三次元エッジ微細検出ネットワークのモデル構造は、図２に示されるモデル構造を参照できる。

【0119】

二次元畳み込みニューラルネットワークは、二次元データから画像の豊富なテクスチャ、構造などの特徴を学習でき、三次元畳み込みニューラルネットワークは、三次元データから空間構造の連続性に関連する情報を学習でき、この２つの部分は、相互に補完できることが理解できる。また、エッジ検出タスクとオブジェクト検出タスクには、いくつかの類似点があり、この２つのタスクは相互に学習し、相互に促進することもできる。上記の考慮事項に基づいて、本願によって提供される実施例は、二次元及び三次元データにおけるマルチレベル及びマルチスケールの特徴の共同学習を実現することにより、三次元オブジェクトエッジを正確に検出する。本願によって提供される実施例に関連するネットワーク構造は、２つの段階を含み、第１段階は、相互オブジェクト及びエッジ検出ネットワークであり、当該段階では、単一の二次元画像内のオブジェクトの豊富な構造、テクスチャ、エッジ、及びセマンティック機能の学習に焦点を当てる。第２段階は、三次元エッジ微細検出ネットワークであり、当該段階では、前の段階で学習したオブジェクトとエッジの検出結果を組み合わせて、連続的で微細な三次元オブジェクトエッジをさらに学習する。このようにして、本願で提供される実施例は、三次元オブジェクトの実際のエッジに適合する三次元エッジを正確に検出することができる。

【0120】

さらに、コンピュータ機器はさらに、本願実施例の三次元エッジ検出方法及び既存の複数のエッジ検出アルゴリズムに基づいて、テストの比較を実行する。既存のエッジ検出アルゴリズムは、例えば、以下の通りである。
（１）Ｈｏｌｉｓｔｉｃａｌｌｙ－Ｎｅｓｔｅｄ Ｅｄｇｅ Ｄｅｔｅｃｔｉｏｎ、ＨＥＤ
（２）Ｒｉｃｈｅｒ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｆｅａｔｕｒｅｓ ｆｏｒ Ｅｄｇｅ Ｄｅｔｅｃｔｉｏｎ、ＲＣＦ
（３）Ｂｉ－Ｄｉｒｅｃｔｉｏｎａｌ Ｃａｓｃａｄｅ Ｎｅｔｗｏｒｋ ｆｏｒ Ｐｅｒｃｅｐｔｕａｌ Ｅｄｇｅ Ｄｅｔｅｃｔｉｏｎ、ＢＤＣＮ

【0121】

１つの特定の実施例では、図７に示されるように、図７は、本願実施例で提供される三次元エッジ検出方法によって取得された検出結果と、他のエッジ検出アルゴリズムによって取得された検出結果の比較図である。これには、三次元画像内の１つの二次元スライス（Ｏｒｉｇｉｎａｌ）、境界検出ラベル（Ｌａｂｅｌ）、最初の既存のエッジ検出アルゴリズム（ＨＥＤ）の検出結果、２番目の既存のエッジ検出アルゴリズム（ＲＣＦ）の検出結果、３番目の既存のエッジ検出アルゴリズム（ＢＤＣＮ）の検出結果及び本願の三次元エッジ検出方法（Ｐｒｏｐｏｓｅｄ）の検出結果が含まれる。図７から分かるように、本願実施例で提供される三次元エッジ検出方法の検出結果は、より正確であり、オブジェクトの実際のエッジにより適合する。既存のＨＥＤ、ＲＣＦ及びＢＤＣＮアルゴリズムは、様々な程度でオブジェクトのエッジを正確に検出できるが、そのエッジ検出結果は粗く、実際のエッジに適合できない。

【0122】

１つの特定の実施例では、図８に示されるように、図８は、本願実施例で提供される三次元エッジ検出方法による、エッジ検出における連続する５つのフレームの二次元スライスのエッジ検出結果と、二次元エッジ検出アルゴリズムＲＣＦによる、同じ５つのフレームの二次元スライスのエッジ検出結果の比較図である。図８から分かるように、本願実施例で提供される三次元エッジ検出方法の検出結果は、良好な連続性を有する。これは、本願実施例で提供される三次元エッジ検出方法において、異なる画像の直接的な空間連続性を学習することにより、二次元エッジ検出アルゴリズムで見逃しやすい情報を完成させることができるためである。

【0123】

さらに、コンピュータ機器はさらに、本願実施例の三次元エッジ検出方法及び既存のエッジ検出アルゴリズム（ＨＥＤ和ＲＣＦ）に基づいて、エッジ検出指標における実験結果の比較を実行する。

【0124】

【表1】

【0125】

上記の表１には、本願実施例によって提供される三次元エッジ検出方法と、既存の二次元エッジ検出アルゴリズムＨＥＤと、ＲＣＦとのエッジ検出指標ＯＤＳ

【数9】

及びＯＩＳ

【数10】

における実験結果の比較が示される。表１から分かるように、本願実施例で提供される三次元エッジ検出方法は、各エッジ検出測定指標において、既存の二次元エッジ検出アルゴリズムよりも優れている。

【0126】

上記の各実施例のフローチャートにおける各ステップが、矢印で示されるように順番に表示されているが、これらのステップは、必ずしも矢印で示される順序で実行されるわけではないことを理解されたい。本明細書で明記されていない限り、これらのステップの実行は厳密な順序に限定されず、これらのステップは他の順序で実行できる。そして、各実施例のステップの少なくとも一部は、複数のサブステップ又は複数の段階を含むことができる。これらのサブステップ又は段階は、必ずしも同時に実行される必要はなく、異なる時間に実行されてもよい。これらのサブステップ又は段階の実行順序も、必ずしも順次に実行される必要はなく、他のステップ、又は他のステップのサブステップ又は段階の少なくとも一部と、順番に又は交互に実行できる。

【0127】

図９に示されるように、一実施例では、三次元エッジ検出装置９００を提供する。図９を参照すると、当該三次元エッジ検出装置９００は、取得モジュール９０１、符号化モジュール９０２及び復号化モジュール９０３を備える。三次元エッジ検出装置における各モジュールは、全体的又は部分的に、ソフトウェア、ハードウェア、又はそれらの組み合わせによって実現できる。

【0128】

取得モジュール９０１は、三次元画像の各二次元スライスの二次元オブジェクト検出結果及び二次元エッジ検出結果を取得し、各前記二次元オブジェクト検出結果を三次元オブジェクト検出結果に積み重ね、各二次元エッジ検出結果を三次元エッジ検出結果に積み重ねるように構成される。

【0129】

符号化モジュール９０２は、三次元画像の特徴マップ、三次元オブジェクト検出結果及び三次元エッジ検出結果に従って符号化を実行して、符号化結果を取得するように構成される。

【0130】

復号化モジュール９０３は、符号化結果、三次元オブジェクト検出結果及び三次元エッジ検出結果に従って復号化を実行して、三次元画像の最適化された三次元エッジ検出結果を取得するように構成される。

【0131】

一実施例では、符号化モジュール９０２はさらに、三次元画像の特徴マップ、三次元オブジェクト検出結果及び三次元エッジ検出結果に従って、一回以上の符号化を実行し、毎回の符号化の入力は、三次元オブジェクト検出結果及び三次元エッジ検出結果を使用して、前回の符号化の出力に対して演算を実行した演算結果であり、毎回の符号化の出力は異なり、且つすべて三次元画像の特徴マップであり、及び最後の符号化によって出力された特徴マップを取得して、符号化結果を取得するように構成される。

【0132】

一実施例では、符号化モジュール９０２はさらに、三次元画像の色特徴マップと、三次元オブジェクト検出結果に対してドット積演算を実行し、次に三次元エッジ検出結果を加算した後、現在の符号化を実行し、及び現在の符号化の出力と、三次元オブジェクト検出結果に対してドット積演算を実行し、次に三次元エッジ検出結果を加算した後、最後の符号化まで次回の符号化を実行するように構成される。

【0133】

一実施例では、復号化モジュール９０３はさらに、符号化結果、三次元オブジェクト検出結果及び三次元エッジ検出結果に従って、一回以上の復号化を実行し、毎回の復号化の入力は、三次元オブジェクト検出結果及び三次元エッジ検出結果を使用して前回の復号化の出力に対して演算を実行した演算結果を含み、及び最後の復号化の出力を取得して、三次元画像の最適化された三次元エッジ検出結果を取得するように構成される。

【0134】

図１０に示されるように、一実施例では、三次元エッジ検出装置９００はさらに、サンプリング率が異なる１つ以上の拡張畳み込みを介して復号化結果を処理して、１つ以上の特徴マップを取得し、１つ以上の特徴マップのサイズは異なり、及び１つ以上の特徴マップを接続した後に畳み込み動作を実行して、マルチスケール学習結果を取得するように構成される、マルチスケール処理モジュール９０４を備える。復号化モジュール９０３はさらに、マルチスケール学習結果、三次元オブジェクト検出結果及び三次元エッジ検出結果に従って、１回以上の復号化を実行するように構成される。

【0135】

一実施例では、復号化モジュール９０３はさらに、マルチスケール学習結果と、三次元オブジェクト検出結果に対してドット積演算を実行し、次に三次元エッジ検出結果を加算した後、中間の符号化の出力と共に現在の復号化を実行し、及び現在の復号化の出力と、三次元オブジェクト検出結果に対してドット積演算を実行し、次に三次元エッジ検出結果を加算した後、最後の復号化まで中間の符号化の前回の符号化の出力と共に、次回の符号化を実行するように構成される。

【0136】

一実施例では、取得モジュール９０１はさらに、三次元画像の各二次元スライスの二次元初期オブジェクト検出結果及び二次元初期エッジ検出結果を取得し、三次元画像の各二次元スライスの場合、二次元スライスの色特徴マップと、二次元スライスの二次元初期オブジェクト検出結果に対してドット積演算を実行し、次に二次元スライスの二次元初期オブジェクト検出結果を加算した後、オブジェクト検出を実行して、二次元スライスの二次元ターゲットオブジェクト検出結果を取得し、及び三次元画像の各二次元スライスに対して畳み込み動作を実行する場合、畳み込み動作の出力及び対応する二次元スライスの二次元オブジェクト検出結果に従って、各二次元スライスの二次元ターゲットエッジ検出結果を取得するように構成される。

【0137】

一実施例では、取得モジュール９０１はさらに、三次元画像の各フレームの二次元スライスの場合、二次元スライスの色特徴マップと、二次元スライスの二次元初期オブジェクト検出結果に対してドット積演算を実行し、次に二次元スライスの二次元初期オブジェクト検出結果を加算して、処理対象となるデータとして使用する、ステップと、処理対象となるデータに対して１回以上の符号化及び一回以上の復号化を実行して、最後の復号化によって出力された、二次元スライスの二次元ターゲットオブジェクト検出結果を取得する、ステップと、をそれぞれ実行するように構成される。

【0138】

一実施例では、取得モジュール９０１はさらに、処理対象となるデータに対して一回以上の符号化を実行して、最後の復号化によって出力されたオブジェクト検出結果を取得し、サンプリング率が異なる１つ以上の拡張畳み込みを介してオブジェクト検出結果を処理して、１つ以上の特徴マップを取得し、１つ以上の特徴マップのサイズは異なり、１つ以上の特徴マップを接続した後に畳み込み動作を実行して、マルチスケール学習結果を取得し、及びマルチスケール学習結果に対して一回以上の復号化を実行して、最後の復号化によって出力された、二次元スライスの二次元ターゲットオブジェクト検出結果を取得するように構成される。

【0139】

一実施例では、取得モジュール９０１はさらに、三次元画像の各フレームの二次元スライスの場合、二次元スライスに対して１段階以上の畳み込み動作を実行する、ステップと、各段階の出力と、二次元スライスの二次元初期オブジェクト検出結果に対してドット積演算を実行し、次に現在の段階の出力を加算して、段階検出結果を取得する、ステップと、各段階検出結果を組み合わせて、二次元スライスの二次元ターゲットエッジ検出結果を取得する、ステップと、をそれぞれ実行するように構成される。

【0140】

上記の三次元エッジ検出装置は、三次元画像の各二次元スライスの二次元オブジェクト検出結果及び二次元エッジ検出結果を取得した後、三次元オブジェクト検出結果及び三次元エッジ検出結果を積み重ね、次に三次元画像の特徴マップ、三次元オブジェクト検出結果及び三次元エッジ検出結果に従って符号化を実行し、次に三次元オブジェクト検出結果及び三次元エッジ検出結果を組み合わせて復号化を実行して、三次元画像の最適化された三次元エッジ検出結果を取得するように構成される。このようにして、三次元画像に対して三次元エッジ検出を実行するとき、三次元画像の各二次元スライスの二次元検出結果を三次元エッジ検出に使用することにより、二次元検出結果の特徴と三次元データの空間構造の連続性を巧みに補完しあうことができ、それにより、三次元エッジ検出の正確さを向上させることができ、そして、二次元検出結果は、オブジェクト検出及びエッジ検出の２種類の検出結果を含み、この２種類の検出結果は、相互に学習し、相互に促進することもできるため、三次元エッジ検出の正確さを更に向上させることができる。

【0141】

図１１には、一実施例におけるコンピュータ機器の内部構造図が示されている。図１１に示されるように、当該コンピュータ機器は、システムバスを介して接続されるプロセッサ、メモリ及びネットワークインターフェースを備える。ここで、メモリは、不揮発性記憶媒体及び内部メモリを備える。当該コンピュータ機器の不揮発性記憶媒体には、オペレーティングシステムが記憶され、さらに、コンピュータプログラムも記憶され得、当該コンピュータプログラムがプロセッサによって実行されるときに、前記プロセッサに、三次元エッジ検出方法を実現させる。当該内部メモリには、コンピュータプログラムも記憶され得、当該コンピュータプログラムがプロセッサによって実行されるときに、前記プロセッサに、三次元エッジ検出方法を実行させる。当業者なら自明であるが、図１１に示される構造は、本願の解決策に関連する構造の一部のブロック図にすぎず、本願の解決策が適用されるコンピュータ機器に対する限定を構成しない。具体的には、コンピュータ機器は、図に示されるよりも多い又は少ないコンポーネントを含んでもよいか、又は特定のコンポーネントを組み合わせてもよいか、又は異なるコンポーネント配置を有してもよい。

【0142】

一実施例では、本願で提供される三次元エッジ検出装置は、コンピュータプログラムの形で実現され得、コンピュータプログラムは、図１１に示されるコンピュータ機器で実行することができる。コンピュータ機器のメモリには、当該三次元エッジ検出装置を構成する各プログラムモジュール、例えば、図９に示される取得モジュール９０１、符号化モジュール９０２及び復号化モジュール９０３を記憶することができる。各プログラムモジュールで構成されるコンピュータプログラムは、プロセッサに、本明細書で説明される本願の各実施例の三次元エッジ検出方法を実行させる。

【0143】

例えば、図１１に示されるコンピュータ機器は、図９に示される三次元エッジ検出装置における取得モジュール９０１を介して、三次元画像の各二次元スライスの二次元オブジェクト検出結果及び二次元エッジ検出結果を取得する、ステップと、各二次元オブジェクト検出結果を三次元オブジェクト検出結果に積み重ね、各二次元エッジ検出結果を三次元エッジ検出結果に積み重ねる、ステップと、を実行することができる。符号化モジュール９０２を介して、三次元画像の特徴マップ、三次元オブジェクト検出結果及び三次元エッジ検出結果に従って符号化を実行して、符号化結果を取得する、ステップを実行する。復号化モジュール９０３を介して、符号化結果、三次元オブジェクト検出結果及び三次元エッジ検出結果に従って復号化を実行して、三次元画像の最適化された三次元エッジ検出結果を取得する、ステップを実行する。

【0144】

一実施例では、メモリと、プロセッサとを備える、コンピュータ機器を提供し、前記メモリには、コンピュータプログラムが記憶され、前記コンピュータプログラムが前記プロセッサによって実行されるときに、前記プロセッサに、上記の三次元エッジ検出方法を実行させる。ここで、三次元エッジ検出方法のステップは、上記の各実施例の三次元エッジ検出方法におけるステップであり得る。

【0145】

一実施例では、コンピュータプログラムが記憶されたコンピュータ可読記憶媒体を提供し、前記コンピュータプログラムが前記プロセッサによって実行されるときに、前記プロセッサに、上記の三次元エッジ検出方法を実行させる。ここで、三次元エッジ検出方法のステップは、上記の各実施例の三次元エッジ検出方法におけるステップであり得る。

【0146】

一実施例では、コンピュータプログラム製品又はコンピュータプログラムを提供し、当該コンピュータプログラム製品又はコンピュータプログラムにはコンピュータ命令が含まれ、当該コンピュータ命令は、コンピュータ可読記憶媒体に記憶される。コンピュータ機器のプロセッサは、コンピュータ可読記憶媒体から当該コンピュータ命令を読み取り、前記プロセッサは当該コンピュータ命令を実行することにより、当該コンピュータ機器に、上記の各方法の実施例におけるステップを実行させる。

【0147】

当業者なら自明であるが、上記の実施例における各方法において、その全部又は一部のプロセスが、関連のハードウェアに、コンピュータプログラムによる命令で、実行されることができる。前記プログラムは、コンピュータ可読記憶媒体に記憶されてもよく、当該プログラムが実行されるときに、上記の各方法の実施例におけるプロセスを実行することができる。ここで、本願の各実施例で任意引用するメモリ、ストレージ、データベース又は他の媒体はすべて、不揮発性及び／又は揮発性メモリを含み得る。不揮発性メモリは、読み取り専用メモリ（ＲＯＭ）、プログラム可能な読み取り専用メモリ（ＰＲＯＭ）、電気的なプログラムが可能なＲＯＭ（ＥＰＲＯＭ）、電気的な消去／プログラムが可能なＲＯＭ（ＥＥＰＲＯＭ）又はフラッシュメモリを含み得る。揮発性メモリは、ランダムアクセスメモリ（ＲＡＭ）又は外部キャッシュメモリを含み得る。限定的ではない例として、スタティックＲＡＭ（ＳＲＡＭ）、ダイナミックＲＡＭ（ＤＲＡＭ）、同期ＤＲＡＭ（ＳＤＲＡＭ）、ダブルデータレートＳＤＲＡＭ（ＤＤＲＳＤＲＡＭ）、拡張型ＳＤＲＡＭ（ＥＳＤＲＡＭ）、同期接続（Ｓｙｎｃｈｌｉｎｋ）ＤＲＡＭ（ＳＬＤＲＡＭ）、メモリバス（Ｒａｍｂｕｓ）ダイレクトＲＡＭ（ＲＤＲＡＭ）、ダイレクトメモリバスダイナミックＲＡＭ（ＤＲＤＲＡＭ）、及びメモリバス（Ｒａｍｂｕｓ）ダイナミックＲＡＭ（ＲＤＲＡＭ）など、様々な形のＲＡＭが利用可能であり得る。

【0148】

上記の実施例の各技術的特徴は、任意に組み合わせることができ、説明を簡潔にするために、上記の実施例における各技術的特徴の、すべての可能な組み合わせについては説明されていないが、これらの技術的特徴の組み合わせに矛盾がない限り、すべて本明細書の範囲に含まれると見なすべきである。

【0149】

上記の実施例は、本願のいくつかの実施形態のみを表し、それらの説明は、より具体的かつ詳細であるが、本願の保護範囲を限定するものとして解釈されるべきではない。当業者にとって、本願の原理から逸脱することなく、いくつかの改善又は修正を加えることもでき、これらの改善及び修正も本願の保護範囲と見なされるべきであることに留意されたい。したがって、本願の保護範囲は、添付の特許請求の範囲を基準とすべきである。

【符号の説明】

【0150】

９００ 三次元エッジ検出装置
９０１ 取得モジュール
９０２ 符号化モジュール
９０３ 復号化モジュール
９０４ マルチスケール処理モジュール

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【手続補正書】

【提出日】2022-04-13

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

コンピュータ機器が実行する、三次元エッジ検出方法であって、
三次元画像の各二次元スライスの二次元オブジェクト検出結果及び二次元エッジ検出結果を取得する、ステップと、
各前記二次元オブジェクト検出結果を三次元オブジェクト検出結果に積み重ね、各前記二次元エッジ検出結果を三次元エッジ検出結果に積み重ねる、ステップと、
前記三次元画像の特徴マップ、前記三次元オブジェクト検出結果及び前記三次元エッジ検出結果に従って符号化を実行して、符号化結果を取得する、ステップと、
前記符号化結果、前記三次元オブジェクト検出結果及び前記三次元エッジ検出結果に従って復号化を実行して、前記三次元画像の最適化された三次元エッジ検出結果を取得する、ステップと、
を含む、三次元エッジ検出方法。

【請求項2】

前記三次元画像の特徴マップ、前記三次元オブジェクト検出結果及び前記三次元エッジ検出結果に従って符号化を実行して、符号化結果を取得する、前記ステップは、
前記三次元画像の特徴マップ、前記三次元オブジェクト検出結果及び前記三次元エッジ検出結果に従って、一回以上の符号化を実行する、ステップであって、毎回の符号化の入力は、前記三次元オブジェクト検出結果及び前記三次元エッジ検出結果を使用して前回の符号化の出力に対して演算を実行した演算結果であり、毎回の符号化の出力は異なり、且つすべて前記三次元画像の特徴マップである、ステップと、
最後の符号化によって出力された特徴マップを取得して、符号化結果を取得する、ステップと、
を含む、請求項１に記載の三次元エッジ検出方法。

【請求項3】

前記三次元画像の特徴マップ、前記三次元オブジェクト検出結果及び前記三次元エッジ検出結果に従って、一回以上の符号化を実行する、前記ステップは、
前記三次元画像の色特徴マップと、前記三次元オブジェクト検出結果に対してドット積（ｄｏｔ ｐｒｏｄｕｃｔ）演算を実行し、次に前記三次元エッジ検出結果を加算した後、現在の符号化を実行する、ステップと、
現在の符号化の出力と前記三次元オブジェクト検出結果に対してドット積演算を実行し、次に前記三次元エッジ検出結果を加算した後、最後の符号化まで次回の符号化を実行する、ステップと、
を含む、請求項２に記載の三次元エッジ検出方法。

【請求項4】

前記符号化結果、前記三次元オブジェクト検出結果及び前記三次元エッジ検出結果に従って復号化を実行して、前記三次元画像の最適化された三次元エッジ検出結果を取得する、前記ステップは、
前記符号化結果、前記三次元オブジェクト検出結果及び前記三次元エッジ検出結果に従って、一回以上の復号化を実行する、ステップであって、毎回の復号化の入力は、前記三次元オブジェクト検出結果及び前記三次元エッジ検出結果を使用して前回の復号化の出力に対して演算を実行した演算結果を含む、ステップと、
最後の復号化の出力を取得して、前記三次元画像の最適化された三次元エッジ検出結果を取得する、ステップと、
を含む、請求項１に記載の三次元エッジ検出方法。

【請求項5】

前記三次元エッジ検出方法は、
サンプリング率が異なる１つ以上の拡張畳み込み（ｄｉｌａｔｅｄ ｃｏｎｖｏｌｕｔｉｏｎ）を介して前記符号化結果を処理して、１つ以上の特徴マップを取得する、ステップであって、前記１つ以上の特徴マップのサイズは異なる、ステップと、
前記１つ以上の特徴マップを接続した後に畳み込み動作を実行して、マルチスケール学習結果を取得する、ステップと、を更に含み、
前記符号化結果、前記三次元オブジェクト検出結果及び前記三次元エッジ検出結果に従って、一回以上の復号化を実行する、前記ステップは、
前記マルチスケール学習結果、前記三次元オブジェクト検出結果及び前記三次元エッジ検出結果に従って、１回以上の復号化を実行する、ステップを含む、
請求項４に記載の三次元エッジ検出方法。

【請求項6】

前記マルチスケール学習結果、前記三次元オブジェクト検出結果及び前記三次元エッジ検出結果に従って、１回以上の復号化を実行する、前記ステップは、
前記マルチスケール学習結果と前記三次元オブジェクト検出結果に対してドット積演算を実行し、次に前記三次元エッジ検出結果を加算した後、中間の符号化（ｉｎｔｅｒｍｅｄｉａｔｅ ｅｎｃｏｄｉｎｇ）の出力と共に現在の復号化を実行する、ステップと、
現在の復号化の出力と前記三次元オブジェクト検出結果に対してドット積演算を実行し、次に前記三次元エッジ検出結果を加算した後、最後の復号化まで前記中間の符号化の前回の符号化の出力と共に、次回の符号化を実行する、ステップと、
を含む、請求項５に記載の三次元エッジ検出方法。

【請求項7】

三次元画像の各二次元スライスの二次元オブジェクト検出結果及び二次元エッジ検出結果を取得する、前記ステップは、
三次元画像の各二次元スライスの二次元初期オブジェクト検出結果及び二次元初期エッジ検出結果を取得する、ステップと、
前記三次元画像の各二次元スライスの場合、前記二次元スライスの色特徴マップと、前記二次元スライスの二次元初期オブジェクト検出結果に対してドット積演算を実行し、次に前記二次元スライスの二次元初期オブジェクト検出結果を加算した後、オブジェクト検出を実行して、前記二次元スライスの二次元ターゲットオブジェクト検出結果を取得する、ステップと、
前記三次元画像の各二次元スライスに対して畳み込み動作を実行する場合、畳み込み動作の出力及び対応する二次元スライスの二次元オブジェクト検出結果に従って、各二次元スライスの二次元ターゲットエッジ検出結果を取得する、ステップと、
を含む、請求項１に記載の三次元エッジ検出方法。

【請求項8】

前記三次元画像の各二次元スライスの場合、前記二次元スライスの色特徴マップと、前記二次元スライスの二次元初期オブジェクト検出結果に対してドット積演算を実行し、次に前記二次元スライスの二次元初期オブジェクト検出結果を加算した後、オブジェクト検出を実行して、前記二次元スライスの二次元ターゲットオブジェクト検出結果を取得する、前記ステップは、
前記三次元画像の各フレームの二次元スライスに対して、
前記二次元スライスの色特徴マップと、前記二次元スライスの二次元初期オブジェクト検出結果に対してドット積演算を実行し、次に前記二次元スライスの二次元初期オブジェクト検出結果を加算して、処理対象となるデータとして使用する、ステップと、
前記処理対象となるデータに対して１回以上の符号化及び一回以上の復号化を実行して、最後の復号化によって出力された前記二次元スライスの二次元ターゲットオブジェクト検出結果を取得する、ステップと、をそれぞれ実行する、ステップ
を含む、請求項７に記載の三次元エッジ検出方法。

【請求項9】

前記処理対象となるデータに対して１回以上の符号化及び一回以上の復号化を実行して、最後の復号化によって出力された前記二次元スライスの二次元ターゲットオブジェクト検出結果を取得する、前記ステップは、
前記処理対象となるデータに対して１回以上の符号化を実行して、最後の復号化によって出力されたオブジェクト検出結果を取得する、ステップと、
サンプリング率が異なる１つ以上の拡張畳み込みを介して前記オブジェクト検出結果を処理して、１つ以上の特徴マップを取得する、ステップであって、前記１つ以上の特徴マップのサイズは異なる、ステップと、
前記１つ以上の特徴マップを接続した後に畳み込み動作を実行して、マルチスケール学習結果を取得する、ステップと、
前記マルチスケール学習結果に対して一回以上の復号化を実行して、最後の復号化によって出力された前記二次元スライスの二次元ターゲットオブジェクト検出結果を取得する、ステップと、
を含む、請求項８に記載の三次元エッジ検出方法。

【請求項10】

前記三次元画像の各二次元スライスに対して畳み込み動作を実行する場合、畳み込み動作の出力及び対応する二次元スライスの二次元オブジェクト検出結果に従って、各二次元スライスの二次元ターゲットエッジ検出結果を取得する、前記ステップは、
前記三次元画像の各フレームの二次元スライスに対して、
前記二次元スライスに対して１段階以上の畳み込み動作を実行する、ステップと、
各段階の出力と、前記二次元スライスの二次元初期オブジェクト検出結果に対してドット積演算を実行し、次に現在の段階の出力を加算して、段階検出結果を取得する、ステップと、
各前記段階検出結果を組み合わせて、前記二次元スライスの二次元ターゲットエッジ検出結果を取得する、ステップと、をそれぞれ実行する、ステップ
を含む、請求項７に記載の三次元エッジ検出方法。

【請求項11】

三次元エッジ検出装置であって、
三次元画像の各二次元スライスの二次元オブジェクト検出結果及び二次元エッジ検出結果を取得し、各前記二次元オブジェクト検出結果を三次元オブジェクト検出結果に積み重ね、各前記二次元エッジ検出結果を三次元エッジ検出結果に積み重ねるように構成される、取得モジュールと、
前記三次元画像の特徴マップ、前記三次元オブジェクト検出結果及び前記三次元エッジ検出結果に従って符号化を実行して、符号化結果を取得するように構成される、符号化モジュールと、
前記符号化結果、前記三次元オブジェクト検出結果及び前記三次元エッジ検出結果に従って復号化を実行して、前記三次元画像の最適化された三次元エッジ検出結果を取得するように構成される、復号化モジュールと、
を備える、三次元エッジ検出装置。

【請求項12】

メモリと、プロセッサとを備える、コンピュータ機器であって、
前記メモリには、コンピュータ可読命令が記憶され、前記コンピュータ可読命令が前記プロセッサによって実行されるときに、前記プロセッサに、請求項１ないし１０のいずれか一項に記載の三次元エッジ検出方法を実行させる、コンピュータ機器。

【請求項13】

コンピュータプログラムであって、
コンピュータに、請求項１ないし１０のいずれか一項に記載の三次元エッジ検出方法を実行させる、コンピュータプログラム。

【国際調査報告】