特表2024-541554３次元医用画像の認識方法、装置、機器及びコンピュータプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-11-08
(54)【発明の名称】３次元医用画像の認識方法、装置、機器及びコンピュータプログラム
(51)【国際特許分類】
G06V 10/82 20220101AFI20241031BHJP
G06T 7/00 20170101ALI20241031BHJP
【ＦＩ】
G06V10/82
G06T7/00 612
G06T7/00 350C
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2024531536
(86)(22)【出願日】2022-12-16
(85)【翻訳文提出日】2024-05-27
(86)【国際出願番号】 CN2022139576
(87)【国際公開番号】W WO2023160157
(87)【国際公開日】2023-08-31
(31)【優先権主張番号】202210191770.3
(32)【優先日】2022-02-28
(33)【優先権主張国・地域又は機関】CN
(81)【指定国・地域】
(71)【出願人】
【識別番号】517392436
【氏名又は名称】▲騰▼▲訊▼科技（深▲セン▼）有限公司
【氏名又は名称原語表記】ＴＥＮＣＥＮＴ ＴＥＣＨＮＯＬＯＧＹ （ＳＨＥＮＺＨＥＮ） ＣＯＭＰＡＮＹ ＬＩＭＩＴＥＤ
【住所又は居所原語表記】３５／Ｆ，Ｔｅｎｃｅｎｔ Ｂｕｉｌｄｉｎｇ，Ｋｅｊｉｚｈｏｎｇｙｉ Ｒｏａｄ，Ｍｉｄｗｅｓｔ Ｄｉｓｔｒｉｃｔ ｏｆ Ｈｉ－ｔｅｃｈ Ｐａｒｋ，Ｎａｎｓｈａｎ Ｄｉｓｔｒｉｃｔ， Ｓｈｅｎｚｈｅｎ，Ｇｕａｎｇｄｏｎｇ ５１８０５７，ＣＨＩＮＡ
(74)【代理人】
【識別番号】100110364
【弁理士】
【氏名又は名称】実広 信哉
(74)【代理人】
【識別番号】100150197
【弁理士】
【氏名又は名称】松尾 直樹
(72)【発明者】
【氏名】江 ▲チェン▼
(72)【発明者】
【氏名】▲パン▼ 建▲業▼
(72)【発明者】
【氏名】姚 建▲華▼
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096AA09
5L096BA06
5L096BA13
5L096GA17
5L096HA11
5L096JA11
5L096KA04
5L096KA15
(57)【要約】
３Ｄ医用画像の認識方法、装置、機器及びコンピュータプログラムであって、人工知能分野に関する。前記方法は、ｉ回目の特徴抽出プロセスにおいて、ｉ－１回目の３Ｄ医用画像特徴に対してビュー再配置処理を行い、２Ｄ画像特徴を得るステップであって、ｉ－１回目の３Ｄ医用画像特徴は、３Ｄ医用画像に対してｉ－１回目の特徴抽出を行って得られる特徴であり、異なる２Ｄ画像特徴は、ｉ－１回目の３Ｄ医用画像特徴の異なるビューにおける特徴である、ステップと、各２Ｄ画像特徴に対してセマンティック特徴抽出処理を行い、異なるビューにおける画像セマンティック特徴を得るステップと、異なるビューにおける画像セマンティック特徴に対して特徴融合処理を行い、ｉ回目の３Ｄ医用画像特徴を得るステップと、Ｉ回目の特徴抽出により得られたＩ回目の３Ｄ医用画像特徴に基づいて画像認識処理を行い、３Ｄ医用画像の画像認識結果を得るステップであって、ｉは、順次増加する正の整数であり、１＜ｉ≦Ｉであり、Ｉは正の整数である、ステップと、を含む。
【特許請求の範囲】
【請求項1】
コンピュータ機器が実行する３次元（３Ｄ）医用画像の認識方法であって、ｉ回目の特徴抽出プロセスにおいて、ｉ－１回目の３Ｄ医用画像特徴に対してビュー再配置処理を行い、２次元（２Ｄ）画像特徴を得るステップであって、前記ｉ－１回目の３Ｄ医用画像特徴は、３Ｄ医用画像に対してｉ－１回目の特徴抽出を行って得られる特徴であり、異なる２Ｄ画像特徴は、前記ｉ－１回目の３Ｄ医用画像特徴の異なるビューにおける特徴である、ステップと、
各前記２Ｄ画像特徴に対してセマンティック特徴抽出処理を行い、異なるビューにおける画像セマンティック特徴を得るステップと、
異なるビューにおける前記画像セマンティック特徴に対して特徴融合処理を行い、ｉ回目の３Ｄ医用画像特徴を得るステップと、
Ｉ回目の特徴抽出により得られたＩ回目の３Ｄ医用画像特徴に基づいて画像認識処理を行い、前記３Ｄ医用画像の画像認識結果を得るステップであって、ｉは、順次増加する正の整数であり、１＜ｉ≦Ｉであり、Ｉは正の整数である、ステップと、を含む、３Ｄ医用画像の認識方法。
【請求項2】
前記各前記２Ｄ画像特徴に対してセマンティック特徴抽出を行い、異なるビューにおける画像セマンティック特徴を得るステップは、前記２Ｄ画像特徴に対して空間特徴抽出処理を行い、２Ｄ画像空間特徴を得るステップと、
メインビュー及び補助ビューに基づいて、前記２Ｄ画像空間特徴に対してセマンティック特徴抽出処理を行い、前記画像セマンティック特徴を得るステップであって、前記メインビューは、前記２Ｄ画像特徴に対応するビューであり、前記補助ビューは、３Ｄビューのうち前記メインビューとは異なるビューである、ステップと、を含む、
請求項１に記載の３Ｄ医用画像の認識方法。
【請求項3】
前記２Ｄ画像特徴に対して空間特徴抽出処理を行い、２Ｄ画像空間特徴を得るステップは、前記２Ｄ画像特徴に対してウィンドウ分割処理を行い、Ｎ個のウィンドウのそれぞれに対応する局所２Ｄ画像特徴を得るステップであって、前記Ｎ個のウィンドウは互いに重ならず、Ｎは１より大きい正の整数である、ステップと、
Ｎ個の前記局所２Ｄ画像特徴に対して特徴抽出処理を行い、２Ｄ画像ウィンドウ特徴を得るステップと、
前記Ｎ個のウィンドウに対してウィンドウ再配置処理を行い、ウィンドウ再配置後のＮ個のウィンドウのそれぞれに対応する前記２Ｄ画像ウィンドウ特徴に対して特徴抽出処理を行い、２Ｄ画像空間特徴を得るステップであって、前記ウィンドウ再配置は、Ｎ個のウィンドウの空間位置を変更するために使用される、ステップと、を含む、
請求項２に記載の３Ｄ医用画像の認識方法。
【請求項4】
前記ウィンドウ再配置後のＮ個のウィンドウのそれぞれに対応する前記２Ｄ画像ウィンドウ特徴に対して特徴抽出処理を行い、２Ｄ画像空間特徴を得るステップは、ウィンドウ再配置後のＮ個のウィンドウのそれぞれに対応する前記２Ｄ画像ウィンドウ特徴に対してセルフアテンション処理を行い、Ｎ個のウィンドウのそれぞれに対応するセルフアテンション特徴を得るステップと、
Ｎ個の前記セルフアテンション特徴に対して特徴融合処理を行い、第２画像ウィンドウ内部特徴を得るステップと、
前記第２画像ウィンドウ内部特徴に対して位置反転処理を行い、位置反転後の前記第２画像ウィンドウ内部特徴に対して畳み込み処理を行い、第２画像ウィンドウ相互作用特徴を得るステップと、
多層パーセプトロン（ＭＬＰ）によって、前記第２画像ウィンドウ相互作用特徴に対して特徴抽出処理を行い、前記２Ｄ画像空間特徴を得るステップと、を含む、
請求項３に記載の３Ｄ医用画像の認識方法。
【請求項5】
前記Ｎ個の前記局所２Ｄ画像特徴に対して特徴抽出処理を行い、２Ｄ画像ウィンドウ特徴を得るステップは、Ｎ個の前記局所２Ｄ画像特徴に対してセルフアテンション処理を行い、Ｎ個の前記局所２Ｄ画像特徴のそれぞれに対応するセルフアテンション特徴を得るステップと、
Ｎ個の前記セルフアテンション特徴に対して特徴融合処理を行い、第１画像ウィンドウ内部特徴を得るステップと、
前記第１画像ウィンドウ内部特徴に対して畳み込み処理を行い、第１画像ウィンドウ相互作用特徴を得るステップと、
多層パーセプトロン（ＭＬＰ）によって、前記第１画像ウィンドウ相互作用特徴に対して特徴抽出処理を行い、前記２Ｄ画像ウィンドウ特徴を得るステップと、を含む、
請求項３に記載の３Ｄ医用画像の認識方法。
【請求項6】
前記Ｎ個の前記局所２Ｄ画像特徴に対してセルフアテンション処理を行い、Ｎ個の前記局所２Ｄ画像特徴のそれぞれに対応するセルフアテンション特徴を得るステップは、前記局所２Ｄ画像特徴に対応するクエリ項目Ｑ、キー項目Ｋ、及び値項目Ｖに基づいてセルフアテンション処理を行い、Ｎ個の前記局所２Ｄ画像特徴のセルフアテンション特徴を得るステップを含む、
請求項５に記載の３Ｄ医用画像の認識方法。
【請求項7】
前記特徴抽出プロセスは、特徴符号化プロセス又は特徴復号化プロセスを含み、ｔ回目の特徴復号化プロセスにおける前記Ｋ値は、ｔ－１回目の特徴復号化におけるＫ値と、対応する特徴符号化プロセスにおけるＫ値とに基づいて、融合によって得られ、ｔ回目の特徴復号化プロセスにおける前記Ｖ値は、ｔ－１回目の特徴復号化におけるＶ値と、対応する特徴符号化プロセスにおけるＶ値とに基づいて、融合によって得られ、前記ｔ回目の復号化プロセスにおける前記Ｑ値は、前記ｔ－１回目の特徴復号化における前記Ｑ値である、請求項６に記載の３Ｄ医用画像の認識方法。
【請求項8】
前記メインビュー及び補助ビューに基づいて、前記２Ｄ画像空間特徴に対してセマンティック特徴抽出処理を行い、前記画像セマンティック特徴を得るステップは、前記２Ｄ画像空間特徴と位置符号化特徴に対して特徴融合処理を行い、第１画像セマンティック特徴を得るステップであって、前記位置符号化特徴は、前記２Ｄ画像特徴に対応する位置情報を指示するために使用される、ステップと、
前記メインビューにおいて、ＭＬＰによって前記第１画像セマンティック特徴に対してセマンティック特徴抽出処理を行い、メイン画像セマンティック特徴を得るステップと、
前記補助ビューにおいて、前記ＭＬＰによって前記第１画像セマンティック特徴に対してセマンティック特徴抽出処理を行い、補助画像セマンティック特徴を得るステップと、
前記メイン画像セマンティック特徴と前記補助画像セマンティック特徴に対して特徴融合処理を行い、前記画像セマンティック特徴を得るステップと、を含む、
請求項２に記載の３Ｄ医用画像の認識方法。
【請求項9】
前記異なるビューにおける前記画像セマンティック特徴に対して特徴融合処理を行い、ｉ回目の３Ｄ医用画像特徴を得るステップは、前記画像セマンティック特徴とビュー特徴に対して融合処理を行い、ビュー画像セマンティック特徴を得るステップと、
各前記ビュー画像セマンティック特徴に対して特徴融合処理を行い、前記ｉ回目の３Ｄ医用画像特徴を得るステップと、を含む、
請求項１～８のいずれか一項に記載の３Ｄ医用画像の認識方法。
【請求項10】
前記各前記２Ｄ画像特徴に対してセマンティック特徴抽出処理を行い、異なるビューにおける画像セマンティック特徴を得るステップは、同じネットワークパラメータに対応する特徴抽出ネットワークをそれぞれ利用して、各ビューにおける前記２Ｄ画像特徴に対してセマンティック特徴抽出処理を行い、異なるビューにおける前記画像セマンティック特徴を得るステップを含む、
請求項１～８のいずれか一項に記載の３Ｄ医用画像の認識方法。
【請求項11】
前記特徴抽出プロセスは、特徴符号化プロセス又は特徴復号化プロセスを含み、前記特徴符号化プロセスは、３Ｄ医用画像特徴に対するダウンサンプリングプロセスを含み、前記特徴復号化プロセスは、３Ｄ医用画像特徴に対するアップサンプリングプロセスを含み、前記Ｉ回目の特徴抽出により得られたＩ回目の３Ｄ医用画像特徴に基づいて画像認識処理を行い、前記３Ｄ医用画像の画像認識結果を得る前に、前記３Ｄ医用画像の認識方法は、
アップサンプリング結果がオリジナルサイズに達した場合、抽出により得られる前記３Ｄ医用画像特徴を、前記Ｉ回目の特徴抽出により得られるＩ回目の３Ｄ医用画像特徴として決定するステップをさらに含む、
請求項１～８のいずれか一項に記載の３Ｄ医用画像の認識方法。
【請求項12】
前記３Ｄ医用画像は、コンピュータ断層撮影（ＣＴ）画像、磁気共鳴映像（ＭＲＩ）又は陽電子放射断層撮影（ＰＥＴ）画像である、請求項１～８のいずれか一項に記載の３Ｄ医用画像の認識方法。
【請求項13】
３次元（３Ｄ）医用画像の認識装置であって、ｉ回目の特徴抽出プロセスにおいて、ｉ－１回目の３Ｄ医用画像特徴に対してビュー再配置処理を行い、２Ｄ画像特徴を得るように構成され、前記ｉ－１回目の３Ｄ医用画像特徴は、３Ｄ医用画像に対してｉ－１回目の特徴抽出を行って得られる特徴であり、異なる２Ｄ画像特徴は、前記ｉ－１回目の３Ｄ医用画像特徴の異なるビューにおける特徴である、ビュー再配置モジュールと、
各前記２Ｄ画像特徴に対してセマンティック特徴抽出処理を行い、異なるビューにおける画像セマンティック特徴を得るように構成される特徴抽出モジュールと、
異なるビューにおける前記画像セマンティック特徴に対して特徴融合処理を行い、ｉ回目の３Ｄ医用画像特徴を得るように構成される特徴融合モジュールと、
Ｉ回目の特徴抽出により得られたＩ回目の３Ｄ医用画像特徴に基づいて画像認識処理を行い、前記３Ｄ医用画像の画像認識結果を得るように構成され、ｉは、順次増加する正の整数であり、１＜ｉ≦Ｉであり、Ｉは正の整数である、画像認識モジュールと、を備える、３Ｄ医用画像の認識装置。
【請求項14】
コンピュータ機器であって、プロセッサとメモリとを備え、前記メモリには、少なくとも１つの命令、少なくとも１つのプログラム、コードセット又は命令セットが記憶され、前記少なくとも１つの命令、前記少なくとも１つのプログラム、前記コードセット又は命令セットは、前記プロセッサによってロード及び実行されて、請求項１～１２のいずれか一項に記載の３Ｄ医用画像の認識方法を実現する、コンピュータ機器。
【請求項15】
コンピュータ可読記憶媒体であって、少なくとも１つの命令、少なくとも１つのプログラム、コードセット又は命令セットが記憶され、前記少なくとも１つの命令、前記少なくとも１つのプログラム、前記コードセット又は命令セットは、前記プロセッサによってロード及び実行されて、請求項１～１２のいずれか一項に記載の３Ｄ医用画像の認識方法を実現する、コンピュータ可読記憶媒体。
【請求項16】
コンピュータプログラム製品であって、コンピュータ命令を含み、前記コンピュータ命令は、コンピュータ可読記憶媒体に記憶され、コンピュータ機器のプロセッサは、前記コンピュータ可読記憶媒体から前記コンピュータ命令を読み取り、前記プロセッサは、前記コンピュータ命令を実行することにより、請求項１～１２のいずれか一項に記載の３Ｄ医用画像の認識方法を実現する、コンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【0001】
（関連出願への相互参照）
本願は、２０２２年０２月２８日に中国特許局に提出された、出願番号が．２０２２１０１９１７７０．３である中国特許出願の優先権を主張し、その内容の全てが引用により本願に組み込まれる。
本願は、２０２２年０２月２８日に中国特許局に提出された、出願番号が．２０２２１０１９１７７０．３である中国特許出願の優先権を主張し、その内容の全てが引用により本願に組み込まれる。
【0002】
本願は、人工知能分野に関し、特に、３次元（３Ｄ）医用画像の認識方法、装置、機器、コンピュータ可読記憶媒体及びコンピュータプログラム製品に関する。
【背景技術】
【0003】
医療分野では、コンピュータビジョン技術を利用した３Ｄ医用画像の認識が病状予測に役立っている。
【0004】
現在、３Ｄ医用画像の認識プロセスでは、画像密集予測方法を利用して、３Ｄ医用画像に対して画像分析を行うことができ、ここで、密集予測方法とは、画像内の各画素を予測する方法である。関連技術では、３Ｄ医用画像に対して密集予測を行う場合、３Ｄ医用画像全体に基づいて画像認識を行い、画像認識結果を得る。
【0005】
しかしながら、３Ｄ医用画像に基づいて直接画像認識を行う方法は、計算量が多く、認識効率が低く、また、事前訓練に大量のデータが必要となり、複雑である。
【発明の概要】
【0006】
本願の実施例は、３Ｄ医用画像の認識効率を向上させ、計算複雑度を低減することができる３Ｄ医用画像の認識方法、装置、機器、コンピュータ可読記憶媒体及びコンピュータプログラム製品を提供する。前記技術的解決策は下記の通りである。
【0007】
本願の実施例は、コンピュータ機器が実行する３Ｄ医用画像の認識方法を提供し、前記方法は、
ｉ回目の特徴抽出プロセスにおいて、ｉ－１回目の３Ｄ医用画像特徴に対してビュー再配置処理を行い、２Ｄ画像特徴を得るステップであって、前記ｉ－１回目の３Ｄ医用画像特徴は、３Ｄ医用画像に対してｉ－１回目の特徴抽出を行って得られる特徴であり、異なる２Ｄ画像特徴は、前記ｉ－１回目の３Ｄ医用画像特徴の異なるビューにおける特徴である、ステップと、
各前記２Ｄ画像特徴に対してセマンティック特徴抽出処理を行い、異なるビューにおける画像セマンティック特徴を得るステップと、
異なるビューにおける前記画像セマンティック特徴に対して特徴融合処理を行い、ｉ回目の３Ｄ医用画像特徴を得るステップと、
Ｉ回目の特徴抽出により得られたＩ回目の３Ｄ医用画像特徴に基づいて画像認識処理を行い、前記３Ｄ医用画像の画像認識結果を得るステップであって、ｉは、順次増加する正の整数であり、１＜ｉ≦Ｉであり、Ｉは正の整数である、ステップと、を含む。
ｉ回目の特徴抽出プロセスにおいて、ｉ－１回目の３Ｄ医用画像特徴に対してビュー再配置処理を行い、２Ｄ画像特徴を得るステップであって、前記ｉ－１回目の３Ｄ医用画像特徴は、３Ｄ医用画像に対してｉ－１回目の特徴抽出を行って得られる特徴であり、異なる２Ｄ画像特徴は、前記ｉ－１回目の３Ｄ医用画像特徴の異なるビューにおける特徴である、ステップと、
各前記２Ｄ画像特徴に対してセマンティック特徴抽出処理を行い、異なるビューにおける画像セマンティック特徴を得るステップと、
異なるビューにおける前記画像セマンティック特徴に対して特徴融合処理を行い、ｉ回目の３Ｄ医用画像特徴を得るステップと、
Ｉ回目の特徴抽出により得られたＩ回目の３Ｄ医用画像特徴に基づいて画像認識処理を行い、前記３Ｄ医用画像の画像認識結果を得るステップであって、ｉは、順次増加する正の整数であり、１＜ｉ≦Ｉであり、Ｉは正の整数である、ステップと、を含む。
【0008】
本願の実施例は、３Ｄ医用画像の認識装置を提供し、前記装置は、
ｉ回目の特徴抽出プロセスにおいて、ｉ－１回目の３Ｄ医用画像特徴に対してビュー再配置処理を行い、２Ｄ画像特徴を得るように構成され、前記ｉ－１回目の３Ｄ医用画像特徴は、３Ｄ医用画像に対してｉ－１回目の特徴抽出を行って得られる特徴であり、異なる２Ｄ画像特徴は、前記ｉ－１回目の３Ｄ医用画像特徴の異なるビューにおける特徴である、ビュー再配置モジュールと、
各前記２Ｄ画像特徴に対してセマンティック特徴抽出処理を行い、異なるビューにおける画像セマンティック特徴を得るように構成される特徴抽出モジュールと、
異なるビューにおける前記画像セマンティック特徴に対して特徴融合処理を行い、ｉ回目の３Ｄ医用画像特徴を得るように構成される特徴融合モジュールと、
Ｉ回目の特徴抽出により得られたＩ回目の３Ｄ医用画像特徴に基づいて画像認識処理を行い、前記３Ｄ医用画像の画像認識結果を得るように構成され、ｉは、順次増加する正の整数であり、１＜ｉ≦Ｉであり、Ｉは正の整数である、画像認識モジュールと、を備える。
ｉ回目の特徴抽出プロセスにおいて、ｉ－１回目の３Ｄ医用画像特徴に対してビュー再配置処理を行い、２Ｄ画像特徴を得るように構成され、前記ｉ－１回目の３Ｄ医用画像特徴は、３Ｄ医用画像に対してｉ－１回目の特徴抽出を行って得られる特徴であり、異なる２Ｄ画像特徴は、前記ｉ－１回目の３Ｄ医用画像特徴の異なるビューにおける特徴である、ビュー再配置モジュールと、
各前記２Ｄ画像特徴に対してセマンティック特徴抽出処理を行い、異なるビューにおける画像セマンティック特徴を得るように構成される特徴抽出モジュールと、
異なるビューにおける前記画像セマンティック特徴に対して特徴融合処理を行い、ｉ回目の３Ｄ医用画像特徴を得るように構成される特徴融合モジュールと、
Ｉ回目の特徴抽出により得られたＩ回目の３Ｄ医用画像特徴に基づいて画像認識処理を行い、前記３Ｄ医用画像の画像認識結果を得るように構成され、ｉは、順次増加する正の整数であり、１＜ｉ≦Ｉであり、Ｉは正の整数である、画像認識モジュールと、を備える。
【0009】
本願の実施例は、コンピュータ機器を提供し、前記コンピュータ機器は、プロセッサとメモリとを備え、前記メモリには、少なくとも１つの命令、少なくとも１つのプログラム、コードセット又は命令セットが記憶され、前記少なくとも１つの命令、前記少なくとも１つのプログラム、前記コードセット又は命令セットは、前記プロセッサによってロード及び実行されて、上記の態様に記載の３Ｄ医用画像の認識方法を実現する。
【0010】
本願の実施例は、コンピュータ可読記憶媒体を提供し、前記コンピュータ可読記憶媒体には、少なくとも１つの命令、少なくとも１つのプログラム、コードセット又は命令セットが記憶され、前記少なくとも１つの命令、前記少なくとも１つのプログラム、前記コードセット又は命令セットは、前記プロセッサによってロード及び実行されて、上記の態様に記載の３Ｄ医用画像の認識方法を実現する。
【0011】
本願の実施例は、コンピュータプログラム製品又はコンピュータプログラムを提供し、前記コンピュータプログラム製品又はコンピュータプログラムは、コンピュータ命令を含み、前記コンピュータ命令は、コンピュータ可読記憶媒体に記憶される。コンピュータ機器のプロセッサは、コンピュータ可読記憶媒体から前記コンピュータ命令を読み取り、プロセッサは、前記コンピュータ命令を実行することにより、上記の態様に記載の３Ｄ医用画像の認識方法を実現する。
【0012】
本願の実施例によって提供される技術的解決策は、少なくとも以下の有益な効果を有する。
【0013】
本願の実施例では、各特徴抽出段階において、まず、３Ｄ医用画像特徴に対してビュー再配置を行うことにより、異なるビューにおける２Ｄ画像特徴に分割し、２Ｄ画像特徴に対してそれぞれ特徴抽出を行い、異なるビューにおける画像セマンティック特徴を得、それにより、異なるビューにおける画像セマンティック特徴を融合して、特徴抽出後の３Ｄ医用画像特徴を得る。このプロセスでは、異なるビューにおける２Ｄ画像特徴に対して特徴抽出を行うため、関連技術における画像認識のために３Ｄ画像特徴を直接抽出する方法と比較して、本願の実施例は、簡素化された局所計算ユニットによって、異なるビューにおける特徴抽出を行うことにより、計算複雑度を低減し、３Ｄ医用画像の認識效率を向上させることができる。
【図面の簡単な説明】
【0014】
【図1】本願の実施例による３Ｄ医用画像の認識方法の原理を示す模式図である。
【図2】本願の実施例による実施環境の模式図である。
【図3】本願の実施例による３Ｄ医用画像の認識方法のフローチャートである。
【図4】本願の実施例による３Ｄ医用画像の認識方法のフローチャートである。
【図5】本願の実施例による画像認識構造全体の構造を示す模式図である。
【図6】本願の実施例による空間特徴抽出プロセスの構造を示す模式図である。
【図7】本願の実施例によるセマンティック特徴抽出プロセスの構造を示す模式図である。
【図8】本願の実施例による特徴融合プロセスの構造を示す模式図である。
【図9】本願の実施例によるＴＲ－ＭＬＰネットワークの構造を示す模式図である。
【図10】本願の実施例によるスキップ接続融合ネットワークの構造を示す模式図である。
【図11】本願の実施例による３Ｄ医用画像の認識装置の構造を示すブロック図である。
【図12】本願の実施例によるコンピュータ機器の構造を示す模式図である。
【発明を実施するための形態】
【0015】
本願の実施例の技術的解決策をより明確に説明するために、上記で、実施例の説明で使用される図面について簡単に紹介している。明らかに、上記の図面は、本願のいくつかの実施例に過ぎず、当業者にとっては、創造的な労力を払わなくても、これらの図面に基づいて他の関連図面を得ることもできる。
【0016】
本願の目的、技術方案及び利点をより明確に説明するために、以下では、図面を参照して本願の実施形態についてさらに詳細に説明する。
【0017】
人工知能（ＡＩ：Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）は、デジタルコンピュータ又はデジタルコンピュータによって制御される機械を使用して、人間の知性をシミュレート、拡張及び拡大し、環境を知覚し、知識を取得し、知識を使用して最良の結果を得る理論、方法、技術、及びアプリケーションシステムである。言い換えれば、人工知能は、知能の本質を理解しようとし、人間の知能と類似した反応ができる新しい知能機械を生産しようとする、コンピュータ科学の包括的な技術である。人工知能は、機械に知覚、推論、意思決定の機能を有させるように、様々な知能機械の設計原理及び実現方法を研究することである。
【0018】
人工知能技術は、ハードウェア技術とソフトウェア技術の両方を含む幅広い分野を含む総合的な分野である。人工知能の基本技術に、一般的に、センサ、専用の人工知能チップ、クラウドコンピューティング、分散ストレージ、医用画像処理技術、操作／相互作用システム、メカトロニクスなどの技術が含まれる。人工知能ソフトウェア技術に、主に、コンピュータビジョン技術、音声処理技術、自然言語処理技術及び機械学習／深層学習などが含まれる。
【0019】
コンピュータビジョン技術（ＣＶ：Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ）は、機械が「見る」方法を研究する科学であり、さらに、人間の目の代わりにカメラ及びコンピュータを使用して、目標に対して識別、測定などを実行する機械ビジョンであり、さらに、グラフィックス処理を実行して、コンピュータ処理を、人間の目で観察すること又は検出のための画像を器械に伝送することにより適したものにすることである。科学分野として、コンピュータビジョンは、関連する理論と技術を研究し、画像又は多次元データから情報を取得できる人工知能システムの構築を試みる。コンピュータビジョン技術に、通常、画像処理、画像認識、画像分割、画像セマンティック理解、画像検索、ビデオ処理、ビデオセマンティック理解、ビデオコンテンツ／動作認識、三次元（３Ｄ：３ Ｄｉｍｅｎｓｉｏｎ）オブジェクト再構築、３Ｄ技術、仮想現実、拡張現実、位置推定と地図生成の同時実行（ＳＬＡＭ）が含まれ、顔認識や指紋認識などの一般的な生物学的特徴認識技術も含まれる。
【0020】
本願の実施例に係る３Ｄ医用画像の認識方法、即ち、画像認識分野におけるコンピュータビジョン技術の応用では、異なるビューにおける３Ｄ医用画像特徴に対応する２Ｄ画像特徴に対してそれぞれ特徴抽出を行い、計算複雑度を低減し、３Ｄ医用画像の認識效率を向上させることができる。
【0021】
例示的に、図１に示すように、ｉ回目の特徴抽出プロセスにおいて、まず、ｉ－１回目の特徴抽出により得られるｉ－１回目の３Ｄ医用画像特徴１０１に対してビュー再配置を行い、第１ビューにおける第１の２Ｄ画像特徴１０２、第２ビューにおける第２の２Ｄ画像特徴１０３、及び第３ビューにおける第３の２Ｄ画像特徴１０４をそれぞれ得、異なるビューにおける第１の２Ｄ画像特徴１０２、第２の２Ｄ画像特徴１０３、及び第３の２Ｄ画像特徴１０４に対してそれぞれセマンティック特徴抽出を行い、第１画像セマンティック特徴１０５、第２画像セマンティック特徴１０６、及び第３画像セマンティック特徴１０７を得、これにより、これら３つを融合して、ｉ回目の３Ｄ画像セマンティック特徴１０８を得る。
【0022】
３Ｄ医用画像特徴を異なるビューにおける２Ｄ画像特徴に分解するため、２Ｄ画像特徴に対して特徴抽出を行う。したがって、計算量を削減し、３Ｄ医用画像の認識効率を向上させるのに有利である。
【0023】
本願の実施例による方法は、任意の３Ｄ医用画像の画像認識プロセスに適用することができる。例示的に、３Ｄ医用画像の各部位が属するカテゴリを認識し、病変や臓器の分析を支援することができる。
【0024】
本願の実施例による３Ｄ医用画像認識のためのコンピュータ機器は、様々なタイプの端末機器又はサーバであり得、ここで、サーバは、独立した物理サーバであってもよいし、複数の物理サーバで構成されたサーバクラスタ又は分散システムであってもよいし、クラウドコンピューティングサービスを提供するクラウドサーバであってもよいし、端末は、スマートフォン、タブレットコンピュータ、ノートブックコンピュータ、デスクトップコンピュータ、スマートスピーカ、スマートウォッチなどであり得るが、これらに限定されない。
【0025】
サーバを例にとると、例えば、クラウドに配置されたサーバクラスタであり得、人工知能クラウドサーバ（ＡｉａａＳ：ＡＩ ａｓ ａ Ｓｅｒｖｉｃｅ）をユーザに開放することができ、ＡＩａａＳプラットフォームは、いくつかの一般的なＡＩサービスを分割し、それらを独立したサービス又はパッケージサービスとしてクラウド上で提供し、このサービスモデルは、ＡＩテーマモールに似ており、すべてのユーザは、ＡＩａａＳプラットフォームを使用して提供される１つ又は複数の人工知能サービスに、アプリケーションプログラミングインターフェースを介してアクセスすることができる。
【0026】
例えば、人工知能クラウドサービスの１つは、３Ｄ医用画像認識サービス、即ち、クラウド内のサーバが、本願の実施例によって提供される３Ｄ医用画像認識ためのプログラムをカプセル化するものであってもよい。ユーザは、端末（病変分析クライアントなどのクライアントが実行される）を介してクラウドサービス内の３Ｄ医用画像認識サービスを呼び出すことにより、クラウド上に配置されたサーバがカプセル化された３Ｄ医用画像認識プログラムを呼び出し、３Ｄ医用画像特徴を異なるビューにおける２Ｄ画像特徴に分解し、２Ｄ画像特徴に対して特徴抽出を行うことで、３Ｄ医用画像の認識を行い、画像認識結果を得る。その後、画像認識結果に基づいて、医師や研究者が病気の診断、再診及び治療方法の研究を行うように支援する。例えば、画像認識結果に含まれる浮腫指数に基づいて補助診断を行い、目標オブジェクトに炎症や外傷、アレルギーがあるか、水を飲み過ぎていないかなどを判断する。
【0027】
なお、本願の実施例による３Ｄ医用画像の認識方法は、病気診断結果や健康状態を得ることを直接的な目的とするものではなく、画像認識結果に基づいて病気診断結果や健康状態を直接的に得ることはできない。即ち、画像認識結果は、直接的に疾病診断に利用されるものではなく、患者の病気を予測し、医師や研究者が病気の診断、再診及び治療方法の研究を行うように支援するための中間データとしてのみ利用されるものである。
【0028】
図２は、本願の実施例による実施環境の模式図である。前記実施環境は、端末２１０及びサーバ２２０を含む。ここで、端末２１０とサーバ２２０との間のデータ通信は、通信ネットワークを介して行われ、いくつかの実施例では、通信ネットワークは、有線ネットワークであっても無線ネットワークであってもよいし、また、ローカルエリアネットワーク（ＬＡＮ）、メトロポリタンエリアネットワーク（ＭＡＮ）、及びワイドエリアネットワーク（ＷＡＮ）のうちの少なくとも１つであってもよい。
【0029】
端末２１０は、３Ｄ医用画像認識プログラムを実行する電子機器であり、前記電子機器は、スマートフォン、タブレットコンピュータ、パーソナルコンピュータなどであってもよいし、本願の実施例はこれに限定されるものではない。３Ｄ医用画像を認識する必要がある場合、３Ｄ医用画像を端末２１０のプログラムに入力することができ、端末２１０は、３Ｄ医用画像をサーバ２２０にアップロードし、サーバ２２０は、本願の実施例による３Ｄ医用画像の認識方法を実行して画像認識を行い、画像認識結果を端末２１０にフィードバックする。
【0030】
サーバ２２０は、独立した物理サーバであってもよいし、複数の物理サーバで構成されたサーバクラスタ又は分散システムでもあってもよいし、クラウドサービス、クラウドデータベース、クラウドコンピューティング、クラウド関数、クラウドストレージ、ネットワークサービス、クラウド通信、ミドルウェアサービス、ドメインネームサービス、セキュリティサービス、コンテンツ配信ネットワーク（ＣＤＮ：Ｃｏｎｔｅｎｔ Ｄｅｌｉｖｅｒｙ Ｎｅｔｗｏｒｋ）、ビッグデータ及び人工知能プラットフォームなどの基本的なクラウドコンピューティングサービスを提供するクラウドサーバであってもよい。
【0031】
いくつかの実施例では、サーバ２２０は、端末２１０にインストールされたアプリケーションに画像認識サービスを提供するように構成される。いくつかの実施例では、サーバ２２０には、端末２１０によって送信される３Ｄ医用画像を分類するための画像認識ネットワークが設けられている。
【0032】
もちろん、いくつかの実施例では、画像認識ネットワークは、端末２１０側に配置されてもよいし、端末２１０は、サーバ２２０を介さずに、本願の実施例による３Ｄ医用画像認識方法（即ち、画像認識ネットワーク）をローカルに実装する。これに対応して、画像認識ネットワークは、端末２１０側で訓練を完了することができ、本願の実施例はこれを限定しない。説明の便宜上、下記の各実施例は、３Ｄ医用画像の認識方法がコンピュータ機器によって実行される場合を例として説明する。
【0033】
【0034】
ステップ３０１において、ｉ回目の特徴抽出プロセスにおいて、ｉ－１回目の３Ｄ医用画像特徴に対してビュー再配置処理を行い、２Ｄ画像特徴を得、ｉ－１回目の３Ｄ医用画像特徴は、３Ｄ医用画像に対してｉ－１回目の特徴抽出を行って得られる特徴であり、異なる２Ｄ画像特徴は、ｉ－１回目の３Ｄ医用画像特徴の異なるビューにおける特徴である。
【0035】
ここで、３Ｄ医用画像特徴は、認識すべき３Ｄ医用画像に対する抽出により得られる特徴である。認識すべき３Ｄ医用画像は、コンピュータ断層撮影（ＣＴ：Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）画像、磁気共鳴映像（ＭＲＩ：Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ Ｉｍａｇｉｎｇ）又は陽電子放射断層撮影（ＰＥＴ：Ｐｏｓｉｔｒｏｎ Ｅｍｉｓｓｉｏｎ Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）画像などの３Ｄ医用画像であり得る。
【0036】
ここで、１回目の３Ｄ医用画像特徴は、初期３Ｄ医用画像特徴に対して特徴抽出を行って得られる特徴であり、初期３Ｄ医用画像特徴は、３Ｄ医用画像に対して初期埋め込み処理を行って得られる特徴である。ここで、初期埋め込み処理は、３Ｄ医用画像という高次元データを低次元空間にマッピングすることにより、低次元の初期３Ｄ医用画像特徴を得るためのものである。
【0037】
本願の実施例では、複数回の特徴抽出プロセスによって、３Ｄ医用画像の認識を行う。ここで、毎回の特徴抽出プロセスは、同じ特徴抽出ネットワークを採用して特徴抽出を行い、毎回の特徴抽出プロセスにおいて、特徴抽出ネットワークの入力は、前回の特徴抽出ネットワークの出力結果に基づいて決定され、即ち、ｉ回目の特徴抽出プロセスにおいて、ｉ－１回目の３Ｄ医用画像特徴に基づいて特徴抽出が行われるものである。
【0038】
３Ｄ医用画像特徴は３Ｄデータであるため、３Ｄ医用画像特徴全体に対して直接特徴抽出を行うと、計算量が多くなり、プロセスも複雑になる。したがって、本願の実施例では、毎回の特徴抽出プロセスにおいて、まず、３Ｄ医用画像特徴を分割する。即ち、ｉ回目の特徴抽出プロセスにおいて、ｉ－１回目の特徴抽出により得られる特徴に対してビュー再配置を行う。ここで、ビュー再配置は、３Ｄ医用画像特徴を異なるビューにおける２Ｄ画像特徴に分割することにより、異なるビューにおける２Ｄ画像特徴に基づいて特徴抽出を行い、計算複雑度を低減する。
【0039】
いくつかの実施例では、ビュー再配置の処理過程は、ｉ－１回目の３Ｄ医用画像特徴の複数の次元に対してビュー再配置処理を行い、複数のビューにおける２Ｄ画像特徴を得る方法、即ち、ｉ－１回目の３Ｄ医用画像特徴の複数の次元に対して配列・組み合わせ処理を行い、複数のビューを得、各ビューにおける２Ｄ画像特徴をそれぞれ抽出する方法によって実現される。
【0040】
一実施形態では、ｉ－１回目の３Ｄ医用画像特徴の（Ｈ，Ｗ，Ｄ）次元に対してビュー再配置を行い、（Ｈ，Ｗ）、（Ｈ，Ｄ）、及び（Ｗ，Ｄ）の３つのビューにおける２Ｄ画像特徴を得、各ビューは、３Ｄ医用画像特徴における１つの２Ｄ方向に対応する。異なる２Ｄ画像特徴は、即ち、異なる２Ｄ画像スライスに対応する画像特徴であり、ここで、２Ｄ画像スライスは、３Ｄ医用画像に対してビュー再配置を行った後、２Ｄ空間上の２Ｄ画像である。
【0041】
なお、ｉ回目の特徴抽出プロセスにおいて、ｉ－１回目の３Ｄ医用画像特徴に基づいて特徴抽出を行う際に、ｉ－１回目の３Ｄ医用画像特徴に対してアップサンプリング又はダウンサンプリングが行われる場合があり、このとき、アップサンプリング又はダウンサンプリング後のｉ－１回目の３Ｄ医用画像特徴に対してビュー再配置を行い、２Ｄ画像特徴を得る。
【0042】
ステップ３０２において、各２Ｄ画像特徴に対してセマンティック特徴抽出処理を行い、異なるビューにおける画像セマンティック特徴を得る。
【0043】
例えば、各２Ｄ画像特徴を得た後、２Ｄ画像特徴に対してセマンティック特徴抽出を行うことにより、対応する２Ｄ画像スライス内の画像情報を学習する。ここで、２Ｄ画像特徴に対してセマンティック特徴抽出を行うプロセスは、２Ｄ画像スライス空間情報の学習と、対応するビューに基づく画像セマンティック学習とを含む。
【0044】
各２Ｄ画像特徴に対してセマンティック特徴抽出を行った後、異なるビューにそれぞれ対応する画像セマンティック特徴を得ることができる。即ち、（Ｈ，Ｗ）、（Ｈ，Ｄ）、及び（Ｗ，Ｄ）の３つのビューにそれぞれ対応する画像セマンティック特徴を得る。
【0045】
ステップ３０３において、異なるビューにおける画像セマンティック特徴に対して特徴融合処理を行い、ｉ回目の３Ｄ医用画像特徴を得る。
【0046】
一実施形態では、異なるビューにおける画像セマンティック特徴を得た後、異なるビューにおける画像セマンティック特徴を融合することにより、今回の特徴抽出プロセスを完了して、ｉ回目の３Ｄ医用画像特徴を得、次に、ｉ回目の３Ｄ医用画像特徴に基づいて、ｉ＋１回目の３Ｄ医用画像特徴の特徴抽出プロセスを行うことができる。
【0047】
本願の実施例では、異なるビューにおける画像セマンティック特徴に対して特徴融合を行うことにより、フルビュー学習の豊富なセマンティックの集約を実現し、３Ｄ医用画像特徴の特徴学習プロセスを完了する。
【0048】
ステップ３０４において、Ｉ回目の特徴抽出により得られたＩ回目の３Ｄ医用画像特徴に基づいて画像認識処理を行い、３Ｄ医用画像の画像認識結果を得、ｉは、順次増加する正の整数であり、１＜ｉ≦Ｉであり、Ｉは正の整数である。
【0049】
複数回の特徴抽出プロセスを経過して、特徴抽出プロセスが終了され、ｉ回目の特徴抽出プロセスが終了された後、ｉ回目の３Ｄ医用画像特徴に基づいて画像認識を行う。
【0050】
上記に記載されたように、本願の実施例では、各特徴抽出段階において、まず、３Ｄ医用画像特徴に対してビュー再配置を行うことにより、異なるビューにおける２Ｄ画像特徴に分割し、２Ｄ画像特徴に対してそれぞれ特徴抽出を行い、異なるビューにおける画像セマンティック特徴を得、それにより、異なるビューにおける画像セマンティック特徴を融合して、特徴抽出後の３Ｄ画像セマンティック特徴を得る。このプロセスでは、異なるビューにおける２Ｄ画像特徴に対して特徴抽出を行うため、関連技術における３Ｄ画像特徴を直接抽出する方法と比較して、本願の実施例は、簡素化された局所計算ユニットによって、異なるビューにおける特徴抽出を行うことにより、計算複雑度を低減し、３Ｄ医用画像の認識效率を向上させることができる。
【0051】
いくつかの実施例では、異なるビューにおける２Ｄ画像特徴に対して特徴抽出を行うプロセスにおいて、各２Ｄ画像特徴を分割して、局所ウィンドウに対応する特徴を学習し、各２Ｄ画像特徴に対応するスライスのコンテキスト特徴を学習することにより、異なるビューにおける画像セマンティック特徴を得る。以下では、例示的な実施例について説明する。
【0052】
【0053】
ステップ４０１において、ｉ回目の特徴抽出プロセスにおいて、ｉ－１回目の３Ｄ医用画像特徴に対してビュー再配置処理を行い、２Ｄ画像特徴を得る。
【0054】
３Ｄ医用画像を取得した後、まず、３Ｄ医用画像に対して初期埋め込み処理（Ｐａｔｃｈ Ｅｍｂｅｄｄｉｎｇ）を行い、例えば、畳み込みステム（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｓｔｅｍ）構造を利用して、初歩的な埋め込み処理を行い、初期３Ｄ医用画像特徴を得、その後、初期３Ｄ医用画像特徴を起点として、複数回の特徴抽出プロセスを行うことができる。ここで、Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｓｔｅｍは、畳み込みニューラルネットワークの初期畳み込み層である。ここで、初期埋め込み処理は、３Ｄ医用画像という高次元データを低次元空間にマッピングすることにより、低次元の初期３Ｄ医用画像特徴を得るためのものである。
【0055】
本願の実施例では、特徴抽出プロセスは、特徴符号化プロセス及び特徴復号化プロセスを含む。ここで、特徴符号化プロセスは、３Ｄ医用画像特徴に対するダウンサンプリングプロセス、即ち、３Ｄ医用画像特徴の次元を減少させるプロセスを含み、特徴復号化プロセスは、３Ｄ医用画像特徴に対するアップサンプリングプロセス、即ち、３Ｄ医用画像特徴の次元を増加するプロセスを含む。ここで、ダウンサンプリングプロセスは、カーネルサイズ（Ｋｅｒｎｅｌ Ｓｉｚｅ）が３で、ストライド（Ｓｔｒｉｄｅ）が２である３Ｄ畳み込みを使用して、毎回２倍ダウンサンプリングする。アップサンプリングプロセスは、Ｋｅｒｎｅｌ Ｓｉｚｅが２で、Ｓｔｒｉｄｅが２である３Ｄ転置畳み込みを使用して、毎回２倍アップサンプリングする。複数回の特徴符号化及び特徴復号化を行った後、得られた３Ｄ医用画像特徴を利用して医学画像の認識を行う。ここで、毎回の特徴抽出プロセスは、同じ変圧多層パーセプトロン（ＴＲ－ＭＬＰ：Ｔｒａｎｓｆｏｒｍｅｒ－Ｍｕｌｔｉｌａｙｅｒ Ｐｅｒｃｅｐｔｒｏｎ）構造を採用して実現する。
【0056】
例示的に、図５に示すように、サイズがＣｉ×Ｈ×Ｗ×Ｄの３Ｄ医用画像が入力され、まず、初期埋め込み処理（Ｐａｔｃｈ Ｅｍｂｅｄｄｉｎｇ）５０１を行い、ここで、画像ブロック（Ｐａｔｃｈ）のサイズは２×２であり、Ｃ×Ｈ/４×Ｗ/４×Ｄ/４の３Ｄ医用画像特徴を得る。Ｃ×Ｈ/４×Ｗ/４×Ｄ/４の３Ｄ医用画像特徴を第１のＴＲ－ＭＬＰブロック（Ｂｌｏｃｋ）に入力して、１回目の特徴抽出を行い、１回目の特徴抽出終了後、得られた１回目の３Ｄ医用画像特徴をダウンサンプリングして、２Ｃ×Ｈ/８×Ｗ/８×Ｄ/８の３Ｄ医用画像特徴を得、２Ｃ×Ｈ/８×Ｗ/８×Ｄ/８の３Ｄ医用画像特徴を第２のＴＲ－ＭＬＰ Ｂｌｏｃｋに入力して２回目の特徴抽出を行い、２回目の３Ｄ医用画像特徴を得る。その後、２回目の３Ｄ医用画像特徴を第３のＴＲ－ＭＬＰ Ｂｌｏｃｋに入力して３回目の特徴抽出を行い、３回目が終了した後、３回目で得られた３Ｄ医用画像特徴を８Ｃ×Ｈ/３２×Ｗ/３２×Ｄ/３２になるまでダウンサンプリングし、次にアップサンプリングプロセスを行う。ここで、ＴＲ－ＭＬＰ Ｂｌｏｃｋ ５０２で行われる特徴抽出プロセス、及び直前のＴＲ－ＭＬＰ Ｂｌｏｃｋにおける特徴抽出プロセスは、特徴符号化プロセスであり、その後は特徴復号化プロセスが行われる。
【0057】
なお、毎回の特徴符号化プロセス又は特徴復号化プロセスは、ビュー再配置処理、セマンティック特徴処理、特徴融合処理によって実現される。
【0058】
【0059】
ステップ４０２において、２Ｄ画像特徴に対して空間特徴抽出処理を行い、２Ｄ画像空間特徴を得る。
【0060】
各ビューに対応する２Ｄ画像特徴を得た後、まず、２Ｄ画像特徴に対して空間特徴抽出を行う。ここで、空間特徴抽出プロセスは、各対応する２Ｄ画像スライスの特徴を学習するプロセスである。ここで、３つのビューに基づいて空間特徴抽出を行うプロセスにおいて、ネットワークパラメータが共有され、即ち、ネットワークパラメータが同じである。このプロセスは、ステップ４０２ａ～ステップ４０２ｃ（図示せず）を含み得る。
【0061】
ステップ４０２ａにおいて、２Ｄ画像特徴に対してウィンドウ分割処理を行い、Ｎ個のウィンドウのそれぞれに対応する局所２Ｄ画像特徴を得、Ｎ個のウィンドウは互いに重ならず、Ｎは１より大きい正の整数である。
【0062】
このプロセスでは、主に、ウィンドウベースのマルチヘッドセルフアテンション（Ｗ－ＭＳＡ：Ｗｉｎｄｏｗ－Ｍｕｌｔｉ－ｈｅａｄ Ｓｅｌｆ－Ａｔｔｅｎｔｉｏｎ）ネットワーク構造を利用して、２Ｄ画像スライスにおける遠距離及び局所空間セマンティック情報をモデリングする。ここで、Ｗ－ＭＳＡネットワーク構造を利用して２Ｄ画像特徴を処理する際に、まず、２Ｄ画像特徴Ｚに対してウィンドウ分割処理を行い、Ｎ個の互いに重ならないウィンドウに対応する局所２Ｄ画像特徴Ｚｉに分割する。分割プロセスは式１に示す通りである。
【0063】
【数1】
【0064】
ここで、Ｍは、Ｗ－ＭＳＡで設定されたウィンドウサイズであり、ＨＷとは、２Ｄ画像特徴のサイズ、即ち、（Ｈ，Ｗ）ビューで切り分けて得られる２Ｄ画像サイズである。
【0065】
次に、ウィンドウに基づいてアテンション計算を行い、出力結果、即ち、局所２Ｄ画像空間特徴を得る。
【0066】
なお、アテンション処理はアテンションメカニズムによって実現される。認知科学では、アテンションメカニズム（Ａｔｔｅｎｔｉｏｎ Ｍｅｃｈａｎｉｓｍ）は、すべての情報のうちのいくつかに選択的に注意を向け、他の情報を無視するために使用される。アテンションメカニズムは、ニューラルネットワークがいくつかの入力に注意を払うこと、即ち、特定の入力を選択することを可能にする。計算能力が限られている場合、アテンションメカニズムは、情報過多問題を解決する主な手段として使用されるリソース割り当て方案であり、計算リソースをより重要なタスクに割り当てる。ここで、本願の実施例は、アテンションメカニズムの形態に限定されない。例えば、アテンションメカニズムは、マルチヘッドアテンション、キー値ペア（ｋｅｙ－ｖａｌｕｅ ｐａｉｒ）アテンション、構造化アテンションなどであり得る。
【0067】
ステップ４０２ｂにおいて、Ｎ個の局所２Ｄ画像特徴に対して特徴抽出処理を行い、２Ｄ画像ウィンドウ特徴を得る。
【0068】
Ｎ個の互いに重ならないウィンドウにそれぞれ対応する局所２Ｄ画像特徴Ｚｉを得た後、各局所２Ｄ画像特徴に対して特徴抽出を行い、Ｎ個の２Ｄ画像ウィンドウ特徴を得る。ここで、前記特徴抽出処理の方式は、以下のステップを含む。
【0069】
ステップ１：Ｎ個の局所２Ｄ画像特徴に対してセルフアテンション処理を行い、Ｎ個の局所２Ｄ画像特徴のセルフアテンション特徴を得る。
【0070】
なお、まず、各局所２Ｄ画像特徴に対してセルフアテンション処理を行う。ここで、セルフアテンション処理プロセスは、マルチヘッドセルフアテンション処理である。各局所２Ｄ画像特徴は、複数のセルフアテンションヘッドに対応する。
【0071】
例えば、局所２Ｄ画像特徴に対応するクエリ項目Ｑ、キー項目Ｋ、及び値項目Ｖに基づいてセルフアテンション処理を行い、Ｎ個の前記局所２Ｄ画像特徴のセルフアテンション特徴を得る。
【0072】
ここで、ｋ番目のセルフアテンションヘッドに対応するクエリ項目（Ｑ，Ｑｕｅｒｙ）、キー項目（Ｋ，Ｋｅｙ）、及び値項目（Ｖ，Ｖａｌｕｅ）がそれぞれ、
であり、ｋが１より大きい正の整数である場合、ｉ番目のウィンドウに対応する局所２Ｄ画像特徴Ｚｉのｋ番目のセルフアテンション特徴の計算方法は、式２に示す通りである。
【数2】
【0073】
【数3】
【0074】
ここで、ＲＰＥは、相対位置符号化情報、即ち、ウィンドウ位置符号化であり、ウィンドウ感知可能な空間位置情報を表す。
【0075】
この場合、式３に示すように、ｋ番目のセルフアテンションヘッドに対応するセルフアテンション特徴は、Ｎ個のウィンドウに対応する特徴を含む。
【0076】
【数4】
【0077】
ステップ２：Ｎ個の局所２Ｄ画像特徴的セルフアテンション特徴に対して特徴融合処理を行い、第１画像ウィンドウ内部特徴を得る。
【0078】
各ウィンドウに対応する各セルフアテンションヘッドに対応するセルフアテンション特徴を得た後、すべてのセルフアテンションヘッドに対応するセルフアテンション特徴をマージし、パラメータ行列によって線形マッピングを行うことで、特徴融合処理を実現し、対応する第１画像ウィンドウ内部特徴を得る。この処理は式４に示す通りである。
【0079】
【数5】
【0080】
ここで、ＷＨは、パラメータ行列であり、Concatは、マージ動作を表す。
【0081】
いくつかの実施例では、Ｗ－ＭＳＡ構造に基づいてセルフアテンション処理を行う前に、まず、ビューｖからのｌ番目の局所２Ｄ画像特徴
に対して正規化処理を行う必要がある。例えば、正規化処理は、バッチ正規化（ＢＮ：Ｂａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎ）を採用して行うことができる。ここで、ビューｖは、ビュー（Ｈ，Ｗ），（Ｈ，Ｄ）、及び（Ｗ，Ｄ）のうちのいずれかである。正規化処理後、正規化された局所２Ｄ画像特徴
をＷ－ＭＳＡ構造に入力してセルフアテンション処理を行う。
【数6】
【数7】
【0082】
例示的に、図６に示すように、まず、
に対してＢＮ処理を行い、次に、Ｗ－ＭＳＡに入力してセルフアテンション処理を行い、且つＷ－ＭＳＡは残差構造を含む。即ち、Ｗ－ＭＳＡ出力結果とオリジナル入力特徴
とを融合して、特徴融合処理を実現して、第１画像ウィンドウ内部特徴を得る
（即ち、畳み込み処理後の特徴）を得る。この処理は式５に示す通りである。
【数8】
【数9】
【数10】
【0083】
【数11】
【0084】
ステップ３：第１画像ウィンドウ内部特徴に対して畳み込み処理を行い、第１画像ウィンドウ相互作用特徴を得る。
【0085】
ここで、Ｗ－ＭＳＡ構造の利用は、分割された各局所２Ｄ画像特徴の特徴学習であり、２Ｄ画像特徴の学習をさらに強化するために、Ｋｅｒｎｅｌ Ｓｉｚｅが５の深度分離可能な畳み込みブロック（ＤＷＣｏｎｖ２Ｄ）の構造を利用して畳み込み処理を行うことにより、空間的に隣接するウィンドウ間の局所的な学習を増加する。例えば、第１画像ウィンドウ内部特徴をＤＷＣｏｎｖ２Ｄネットワークに入力して畳み込み処理を行い、第１画像ウィンドウ相互作用特徴を得る。
【0086】
いくつかの実施例では、ＤＷＣｏｎｖ２Ｄも同様に残差構造を含み得る。即ち、式６に示すように、畳み込み処理後の第１画像ウィンドウ内部特徴と、第１画像ウィンドウ内部特徴とを融合して、第１画像ウィンドウ相互作用特徴
を得る。
【数12】
【0087】
【数13】
【0088】
例示的に、図６に示すように、第１画像ウィンドウ内部特徴
をＤＷＣｏｎｖ２Ｄに入力して畳み込み処理を行い、畳み込み処理後の特徴と
とを融合して、第１画像ウィンドウ相互作用特徴
を得る。
【数14】
【数15】
【数16】
【0089】
ステップ４：多層パーセプトロン（ＭＬＰ）によって、第１画像ウィンドウ相互作用特徴に対して特徴抽出処理を行い、２Ｄ画像ウィンドウ特徴を得る。
【0090】
対応するビューにおける２Ｄ画像スライスの学習をさらに強化するために、畳み込み処理後の第１画像ウィンドウ相互作用特徴に対してＢＮを利用して正規化処理を行い、多層パーセプトロン（ＭＬＰ：Ｍｕｌｔｉｌａｙｅｒ Ｐｅｒｃｅｐｔｒｏｎ）を使用してチャネル特徴、即ち、対応するビューにおける２Ｄ画像スライスの特徴を学習して、２Ｄ画像ウィンドウ特徴
を得る。この処理は式７に示す通りである。
【数17】
【0091】
【数18】
【0092】
ここで、MLPは、多層パーセプトロン構造を表す。
【0093】
ステップ４０２ｃにおいて、Ｎ個のウィンドウに対してウィンドウ再配置処理を行い、ウィンドウ再配置後のＮ個のウィンドウのそれぞれに対応する２Ｄ画像ウィンドウ特徴特徴抽出処理を行い、２Ｄ画像空間特徴を得、ウィンドウ再配置は、Ｎ個のウィンドウの空間位置を変更するために使用される。
【0094】
Ｗ－ＭＳＡ構造を利用してウィンドウセルフアテンション学習を行った後、さらに、クロスウィンドウ間の画像特徴情報を学習する必要がある。したがって、一可能な実施形態では、Ｎ個のウィンドウに対してウィンドウ再配置を行うことにより、ウィンドウ再配置後の２Ｄ画像ウィンドウ特徴を再び学習する。
【0095】
例えば、シャッフル動作（Ｓｈｕｆｆｌｅ）を利用してウィンドウ再配置を行うことにより、空間情報を混乱させ、クロスウィンドウ情報間の相互作用を強化することができる。ウィンドウ再配置後、Ｎ個のウィンドウに対応する２Ｄ画像ウィンドウ特徴を学習して、最終的な２Ｄ画像空間特徴を得る。ここで、この方法は、以下のステップを含み得る。
【0096】
ステップ一：ウィンドウ再配置後のＮ個のウィンドウのそれぞれに対応する２Ｄ画像ウィンドウ特徴に対してセルフアテンション処理を行い、Ｎ個のウィンドウのそれぞれに対応するセルフアテンション特徴を得る。
【0097】
まず、ウィンドウ再配置後のＮ個のウィンドウ各自に対応する２Ｄ画像ウィンドウ特徴に対してセルフアテンション処理を行い、セルフアテンション特徴を得る。ここで、方法は上記のステップを参照することができ、ここでは繰り返して説明しない。
【0098】
ステップ二：Ｎ個のセルフアテンション特徴に対して特徴融合処理を行い、第２画像ウィンドウ内部特徴を得る。
【0099】
ここで、特徴融合によって第２画像ウィンドウ内部特徴を得るプロセスは、融合によって第１画像ウィンドウ内部特徴を得るプロセスを参照することができ、ここでは繰り返して説明しない。
【0100】
ステップ三：第２画像ウィンドウ内部特徴に対して位置反転処理を行い、位置反転後の第２画像ウィンドウ内部特徴に対して畳み込み処理を行い、第２画像ウィンドウ相互作用特徴を得る。
【0101】
例えば、ウィンドウの位置を再び混乱させることにより、Ｗ－ＭＳＡ構造を利用してウィンドウセルフアテンション学習をもう一回行って、クロスウィンドウ間の情報学習を強化し、その後、第２画像ウィンドウ内部特徴に対して位置反転を行る。即ち、各ウィンドウに対応する位置情報をオリジナル位置に復元して、第２画像ウィンドウ相互作用特徴を得る。
【0102】
例示的に、図６に示すように、まず、２Ｄ画像ウィンドウ特徴に対してＢＮ正規化処理を行った後、ウィンドウ再配置動作（Ｔｒａｎｓｐｏｓｅ）を行い、Ｗ－ＭＳＡ構造に基づいてウィンドウ再配置後のＮ個のウィンドウのそれぞれに対応する２Ｄ画像ウィンドウ特徴に対して特徴学習（セルフアテンション処理、特徴融合処理を含む）を行い、第２画像ウィンドウ相互作用特徴を得、再びＮ個のウィンドウを位置反転し、各ウィンドウに対応する位置情報を復元する。この処理は式８に示す通りである。
【0103】
【数19】
【0104】
ここで、
は、第２画像ウィンドウ相互作用特徴の位置反転後の特徴、即ち、位置反転後の第２画像ウィンドウ内部特徴を表し、Tは、ウィンドウ再配置動作を表し、Rは、位置反転操作を表し、
は、２Ｄ画像ウィンドウ特徴を表す。
【数20】
【数21】
【0105】
そして、位置反転が行われた後、再びＤＷＣｏｎｖ２Ｄを利用して畳み込み処理を行い、第２画像ウィンドウ相互作用特徴を得る。このプロセスは、上記のステップで畳み込み処理によって第１画像ウィンドウ相互作用特徴を得るプロセスを参照することができ、ここでは繰り返して説明しない。
【0106】
【0107】
【数24】
【0108】
ステップ四：ＭＬＰによって第２画像ウィンドウ相互作用特徴に対して特徴抽出処理を行い、２Ｄ画像空間特徴を得る。
【0109】
例えば、畳み込み処理後、再びＭＬＰを利用してチャネル学習を行い、最終的な２Ｄ画像空間特徴を得る。
【0110】
例示的に、図６に示すように、まず、第２画像ウィンドウ相互作用特徴
に対して正規化処理を行い、正規化された
をＭＬＰに入力して特徴抽出を行い、最終的な２Ｄ画像空間特徴
を得る。この処理は式１０に示す通りである。
【数25】
【数26】
【数27】
【0111】
【数28】
【0112】
２Ｄ画像特徴に対して空間特徴抽出を行い、２Ｄ画像空間特徴を得ることは、フルビュースライス空間シャッフルブロック（ＦＶＳＳＳＢ：Ｆｕｌｌ－Ｖｉｅｗ Ｓｌｉｃｅ Ｓｐａｔｉａｌ Ｓｈｕｆｆｌｅ Ｂｌｏｃｋ）プロセスであり、そのプロセス全体は図６に示すようになる。それにより、２Ｄ画像特徴を十分に学習して、正確な２Ｄ画像空間特徴を抽出し、後続の正確な画像認識を容易にする。
【0113】
ステップ４０３において、メインビュー及び補助ビューに基づいて、２Ｄ画像空間特徴に対してセマンティック特徴抽出処理を行い、画像セマンティック特徴を得、メインビューは、２Ｄ画像特徴に対応するビューであり、補助ビューは、３Ｄビューのうちメインビューとは異なるビューである。
【0114】
２Ｄ画像空間特徴は、２Ｄビュー（即ち、メインビュー）に対応する特徴のみを表すため、各２Ｄ画像特徴に対して空間特徴抽出を行い、２Ｄ画像空間特徴を得た後、残りの第３ビュー（即ち、補助ビュー）の残りのセマンティック情報をキャプチャして、情報の補足学習を行う。ここで、２Ｄ画像空間特徴に対してセマンティック特徴抽出を行い、画像セマンティック特徴を得るプロセスは、スライス感知可能なコンテキスト混合（ＳＡＶＣＭ：Ｓｌｉｃｅ－Ａｗａｒｅ Ｖｏｌｕｍｅ Ｃｏｎｔｅｘｔ Ｍｉｘｉｎｇ）プロセスであり、ここで、各ビューにおいて、ＳＡＶＣＭネットワークのネットワークパラメータは共有され、即ち、ネットワークパラメータは同じである。このプロセスは、以下のステップを含み得る。
【0115】
ステップ４０３ａにおいて、２Ｄ画像空間特徴と位置符号化特徴に対して特徴融合処理を行い、第１画像セマンティック特徴を得、位置符号化特徴は、２Ｄ画像特徴に対応する位置情報を指示するために使用される。
【0116】
一可能な実施形態では、まず、各２Ｄ画像空間特徴
に絶対位置符号化（ＡＰＥ：Ａｂｓｏｌｕｔｅ Ｐｏｓｉｔｉｏｎ Ｅｎｃｏｄｉｎｇ）特徴（即ち、位置符号化特徴）を追加する。この絶対位置符号化特徴は、２Ｄ画像特徴に対応する空間位置情報、即ち、２Ｄ画像スライスに対応する空間位置情報を表し、つまり、２Ｄ画像特徴に対応する位置情報を指示するために使用され、位置符号化特徴は、自動学習できるパラメータである。それにより、２Ｄ画像スライスの位置情報を２Ｄ画像空間特徴
内に注入して、スライス位置感知学習を実現する。
【数29】
【数30】
【0117】
【0118】
【数32】
【0119】
ここで、APEsは、
に対応する空間位置符号化を表す。
【数33】
【0120】
ステップ４０３ｂにおいて、メインビューにおいて、ＭＬＰによって第１画像セマンティック特徴に対してセマンティック特徴抽出を行い、メイン画像セマンティック特徴を得る。
【0121】
一可能な実施形態では、メインビューと補助ビューでそれぞれセマンティック特徴抽出を行う。ここで、メインビューとは、２Ｄ画像特徴に対応するビューを指し、補助ビューは、３Ｄビューのうちメインビューとは異なるビューである。例えば、
を（Ｈ，Ｗ）ビューにおける２Ｄ画像特徴抽出により得られた２Ｄ画像空間特徴とすると、メインビューは（Ｈ，Ｗ）であり、補助ビューは残りのＤビューである。
【数34】
【0122】
例えば、残差軸多層パーセプトロン（ａｘｉａｌ－ＭＬＰ）を利用して、メインビューで第１画像セマンティック特徴に対してセマンティック特徴抽出を行い、メイン画像セマンティック特徴
を得る。図７に示すように、まず、第１画像セマンティック特徴
に対して位置再配置を行い、（Ｂ，ＳＰ，ＴＨ，Ｃ）を得、その後、ＭＬＰを利用してチャネルＣ方向に沿って抽出を行う。ここで、まず、次元を４Ｃにアップし、抽出後に再びオリジナルチャネル数Ｃに復元し、次に、抽出により得られるメイン画像セマンティック特徴に対して位置復元を行い、（Ｂ，ＳＰ，Ｃ，ＴＨ）に復元し、ここで、ＳＰは、メインビューにおける空間次元を表す。
【数35】
【数36】
【0123】
ステップ４０３ｃにおいて、補助ビューにおいて、ＭＬＰによって第１画像セマンティック特徴に対してセマンティック特徴抽出を行い、補助画像セマンティック特徴を得る。
【0124】
メインビューに基づいてセマンティック特徴抽出を行うと同時に、補助ビューに基づいて、ＭＬＰを利用して第１画像セマンティック特徴に対してセマンティック特徴抽出を行い、補助画像セマンティック特徴
を得る。図７に示すように、第１画像セマンティック特徴に対して補助ビューに沿ってセマンティック特徴抽出を行い、即ち、まず、次元を４ＴＨにアップして、第１画像セマンティック特徴を抽出した後、次に、オリジナル次元ＴＨに復元し、ここで、ＴＨは、補助ビューにおける空間次元を表す。
【数37】
【0125】
ステップ４０３ｄにおいて、メイン画像セマンティック特徴と補助画像セマンティック特徴に対して特徴融合処理を行い、画像セマンティック特徴を得る。
【0126】
例えば、メイン画像セマンティック特徴と補助画像セマンティック特徴を得た後、両者に対して特徴融合を行うことにより、画像セマンティック特徴を得る。一可能な実施形態では、図７に示すように、
をチャネル上でマージして、マージ後にマージ特徴を得、次に、ＭＬＰを利用してマージ特徴をマッピングして、オリジナルチャネル数に復元して、画像セマンティック特徴
を得る。このプロセスは、第３ビューにおける画像特徴情報を融合することにより、２Ｄ画像スライスのコンテキスト情報を感知し、特徴学習精度を向上させることができる。この処理は式１２に示す通りである。
【数38】
【数39】
【0127】
【数40】
【0128】
ここで、Axial-MLPは、軸方向多層パーセプトロン操作を表し、Concatは、マージ動作を表し、MLPcpは、特徴融合動作を表す。
【0129】
【0130】
ステップ４０４において、画像セマンティック特徴とビュー特徴に対して融合処理を行い、ビュー画像セマンティック特徴を得る。
【0131】
特徴融合プロセスでは、まず、各ビューの画像セマンティック特徴
にＡＰＥを追加して、画像セマンティック特徴とビュー特徴に対して融合処理を行い、ビュー画像セマンティック特徴
を得る。フルビュー学習における豊富なセマンティックに対する集約処理は、チャネル上で処理されるため、ＡＰＥをフルビュー特徴のチャネルに追加することで、集約時のビュー感知可能を実現する。この処理は式１３に示す通りである。ここで、ＡＰＥは、チャネルに対応する符号化であり、対応するビュー、即ち、（Ｈ，Ｗ）ビューなどのビュー特徴を指示するために使用される。
【数41】
【数42】
【0132】
【数43】
【0133】
ステップ４０５において、各ビュー画像セマンティック特徴に対して特徴融合処理を行い、ｉ回目の３Ｄ医用画像特徴を得る。
【0134】
次に、３つのチャネルのフルビュー特徴
（即ち、ビュー画像セマンティック特徴）をマージして、チャネル数×３のマージ特徴を得、次に、マージ特徴に対して自然対数（ＬＮ）を使用して正規化し、最後に、ＭＬＰビューアグリゲータMLPvaを使用して、正規化された特徴をオリジナルチャネル数にマピングして、ＭＬＰ－Ｔｒａｎｓｆｏｒｍｅｒの現在のブロックの医療体特徴出力
、即ち、ｉ回目の３Ｄ医用画像特徴を得る。即ち、
【数44】
【数45】
【数46】
【0135】
ここで、Concatは、マージ動作を表し、ＬＮは、正規化動作を表し、MLPvaは、マッピング動作を表す。
【0136】
図８に示すように、まず、各画像セマンティック特徴とＡＰＥ符号化とを融合し、次に、３つのビューを繋ぎ合わせて、最終的な３Ｄ医用画像特徴を得る。
【0137】
なお、図３におけるステップ３０４は、図４におけるステップ４０６～ステップ４０７によって実現され得る。ここで、特徴抽出プロセスは、特徴符号化プロセス又は特徴復号化プロセスを含み、ここで、特徴符号化プロセスは、３Ｄ医用画像特徴に対するダウンサンプリングプロセス、即ち、３Ｄ医用画像特徴の次元を減少させるプロセスを含み、特徴復号化プロセスは、３Ｄ医用画像特徴に対するアップサンプリングプロセス、即ち、３Ｄ医用画像特徴の次元を増加するプロセスを含む。
【0138】
ステップ４０６において、アップサンプリング結果がオリジナルサイズに達した場合、抽出により得られる３Ｄ医用画像特徴を、Ｉ回目の特徴抽出により得られるＩ回目の３Ｄ医用画像特徴として決定する。
【0139】
一可能な実施形態では、アップサンプリング結果が３Ｄ医用画像のオリジナルサイズに達した場合、Ｉ回目の特徴抽出プロセスであると決定する。例示的に、図５に示すように、
に達した場合、対応する結果をＩ回目の３Ｄ医用画像特徴として決定し、Ｉ回目の３Ｄ医用画像特徴を利用して目標予測５０３（即ち、画像認識）を行い、画像認識結果を得る。そして、画像認識精度をさらに高めるために、目標予測結果と初期入力された３Ｄ医用画像に対応する特徴とを融合することにより、融合された特徴に基づいて画像認識を行う。図５に示すように、まず、入力された３Ｄ医用画像Ｃｉ×Ｈ×Ｗ×Ｄに対して畳み込みを行い、初期画像の初期３Ｄ医用画像特徴
を得、
とを融合して畳み込みを行い、最後の出力結果を得る。
【数47】
【数48】
【数49】
【0140】
ステップ４０７において、Ｉ回目の３Ｄ医用画像特徴に基づいて画像認識処理を行い、画像認識結果を得る。
【0141】
最後に、Ｉ回目の３Ｄ医用画像特徴に基づいて画像認識を行うことにより、その後、３Ｄ医用画像に対して画像登録、分類などを行うことができる。
【0142】
一可能な実施形態では、ＴＲ－ＭＬＰネットワーク構造は、図９に示すように、まず、現在のブロックに入力された３Ｄ医用画像特徴Ｚｉの（Ｈ，Ｗ，Ｄ）次元に対して、ビュー再配置を行い、（Ｈ，Ｗ），（Ｈ，Ｄ），（Ｗ，Ｄ）の３つのビューの２Ｄ画像スライスに再配置し、各ビューに対応する３Ｄのうちの１つの２Ｄスライス方向に対応する。再配置後のフルビュー２Ｄ画像スライスに対してＦＶＳＳＢを使用して２Ｄスライス情報を十分に学習して、２Ｄ画像特徴を得る。次に、スライス感知可能なコンテキスト混合（ＳＡＶＣＭ）を使用して、第３ビューに沿った残りの画像セマンティック情報をキャプチャし、最後に、ビュー感知可能なアグリゲータを使用して、フルビュー学習の豊富なセマンティックを集約して、最終的に、Ｔｒａｎｓｆｏｒｍｅｒ－ＭＬＰブロックの３Ｄ医用画像特徴
出力を得、次のＴｒａｎｓｆｏｒｍｅｒ－ＭＬＰブロックの入力特徴とする。ここで、３つのビューを並列に計算し、フルビュースライス空間シャッフルブロックネットワークと、スライス感知可能なコンテキスト混合ブロックネットワークのパラメータは各ビューで共有される。即ち、同じネットワークパラメータに対応する特徴抽出ネットワークをそれぞれ利用して、各ビューにおける２Ｄ画像特徴に対してセマンティック特徴抽出処理を行い、異なるビューにおける画像セマンティック特徴を得る。
【数50】
【0143】
本願の実施例では、まず、フルビュー２Ｄ空間情報を学習し、次に第３ビュー上の残りの画像セマンティックを学習し、その後、フルビューセマンティックを融合して、３Ｄ医用画像特徴のコンテキスト感知可能能力を実現し、帰納的バイアス能力を大幅に強化し、それにより、３Ｄ医用画像認識の精度を向上させ、計算量が大きい３畳み込みニューラルネットワーク（３Ｄ ＣＮＮ）及び純粋視覚変換（Ｔｒａｎｓｆｏｒｍｅｒ）を、簡素化された局所視覚Ｔｒａｎｓｆｏｒｍｅｒ－ＭＬＰ計算ユニットに置き換えることにより、計算複雑度を低減し、認識效率を向上させる。
【0144】
ここで、特徴抽出プロセスは、特徴符号化プロセス又は特徴復号化プロセスを含み、抽出プロセスは、セルフアテンション処理プロセスを含み、ここで、セルフアテンション処理プロセスは、Ｑ、Ｋ、Ｖに基づいてセルフアテンションの計算を行う。一可能な実施形態では、マルチスケールの視覚的特徴を融合するために、特徴符号化プロセス（符号化装置によって実現される）の特徴と、特徴復号化プロセス（復号化装置によって実現される）の特徴とを融合して、特徴復号化プロセスにおけるＱ、Ｋ、Ｖ値を得る。
【0145】
いくつかの実施例では、ｔ回目の特徴復号化プロセスにおけるＫ値は、ｔ－１回目の特徴復号化におけるＫ値と、対応する特徴符号化プロセスにおけるＫ値とに基づいて、融合によって得られ、ｔ回目の特徴復号化プロセスにおけるＶ値は、ｔ－１回目の特徴復号化におけるＶ値と、対応する特徴符号化プロセスにおけるＶ値とに基づいて、融合によって得られ、ｔ回目の復号化プロセスにおけるＱ値は、ｔ－１回目の特徴復号化におけるＱ値である。
【0146】
一可能な実施形態では、ｔ回目の特徴復号化の入力特徴と、対応する符号化処理の出力特徴との解像度は同じである。即ち、解像度が同じ画像特徴に対してスキップ接続融合を行う。例示的に、図５に示すように、２回目の特徴復号化プロセスに対応する解像度は４Ｃ×Ｈ／１６×Ｗ／１６×Ｄ／１６であり、スキップ接続融合に対応する特徴符号化プロセスは、解像度が同じく４Ｃ×Ｈ／１６×Ｗ／１６×Ｄ／１６である最終回の符号化プロセスである。スキップ接続融合を行う際に、２回目の特徴復号化で入力された特徴（即ち、１回目の特徴復号化出力特徴をアップサンプリングした後の特徴）と、最終回の特徴符号化プロセスの出力特徴とに対してスキップ接続融合を行う。
【0147】
ｔ回目の特徴復号化に対応する特徴符号化プロセスの出力特徴をＥｖとし、ｔ回目の特徴復号化プロセスの入力特徴をＤｖとする場合を例として説明する。ここで、ｖは、あるビューを指す。即ち、異なるビューにおいてそれぞれスキップ接続融合が行われる。まず、Ｅｖ、Ｄｖに対してＫｅｒｎｅｌ Ｓｉｚｅが１の標準的な畳み込み（ＰＷＣｏｎｖ２Ｄ）を用いて畳み込みを行う。ここで、特徴復号化プロセスでは、Ｑ値は、前回の特徴復号化プロセスからのみ得られ、符号化装置と復号化装置のスキップ接続融合では、Ｋ値、Ｖ値に対してのみ融合が行われる。したがって、図１０に示すように、ＰＷＣｏｎｖ２Ｄを利用して、符号化装置特徴Ｅｖのオリジナルチャネル数を２分割して、
を得る。この処理は式１４に示す通りである。
【数51】
【0148】
【数52】
【0149】
【0150】
【数54】
【0151】
その後、
とを融合する。この処理は式１６に示す通りである。
【数55】
【0152】
【数56】
【0153】
ここで、
ここで、この３つの値は、ｔ回目の特徴復号化プロセスにおけるＷ－ＭＳＡの学習に使用される。この処理は式１７に示す通りである。
【数57】
【0154】
【数58】
【0155】
ここで、CrossMergeは、スキップ接続融合動作を表す。
【0156】
本願の実施例では、スキップ接続融合ネットワークを導入して、符号化装置と復号化装置に対応する特徴に対してスキップ接続融合を行うことで、マルチスケール情報を融合して、画像特徴のセマンティック学習を豊かにする。
【0157】
図１１は、本願の実施例による３Ｄ医用画像の認識装置の構造を示すブロック図であり、図１１に示すように、前記装置は、ビュー再配置モジュール１１０１と、特徴抽出モジュール１１０２と、特徴融合モジュール１１０３と、画像認識モジュール１１０４と、を備え、
ビュー再配置モジュール１１０１は、ｉ回目の特徴抽出プロセスにおいて、ｉ－１回目の３Ｄ医用画像特徴に対してビュー再配置処理を行い、２Ｄ画像特徴を得るように構成され、前記ｉ－１回目の３Ｄ医用画像特徴は、３Ｄ医用画像に対してｉ－１回目の特徴抽出を行って得られる特徴であり、異なる２Ｄ画像特徴は、前記ｉ－１回目の３Ｄ医用画像特徴の異なるビューにおける特徴であり、特徴抽出モジュール１１０２は、各前記２Ｄ画像特徴に対してセマンティック特徴抽出処理を行い、異なるビューにおける画像セマンティック特徴を得るように構成され、特徴融合モジュール１１０３は、異なるビューにおける前記画像セマンティック特徴に対して特徴融合処理を行い、ｉ回目の３Ｄ医用画像特徴を得るように構成され、画像認識モジュール１１０４は、Ｉ回目の特徴抽出により得られたＩ回目の３Ｄ医用画像特徴に基づいて画像認識処理を行い、前記３Ｄ医用画像の画像認識結果を得るように構成され、ｉは、順次増加する正の整数であり、１＜ｉ≦Ｉであり、Ｉは正の整数である。
ビュー再配置モジュール１１０１は、ｉ回目の特徴抽出プロセスにおいて、ｉ－１回目の３Ｄ医用画像特徴に対してビュー再配置処理を行い、２Ｄ画像特徴を得るように構成され、前記ｉ－１回目の３Ｄ医用画像特徴は、３Ｄ医用画像に対してｉ－１回目の特徴抽出を行って得られる特徴であり、異なる２Ｄ画像特徴は、前記ｉ－１回目の３Ｄ医用画像特徴の異なるビューにおける特徴であり、特徴抽出モジュール１１０２は、各前記２Ｄ画像特徴に対してセマンティック特徴抽出処理を行い、異なるビューにおける画像セマンティック特徴を得るように構成され、特徴融合モジュール１１０３は、異なるビューにおける前記画像セマンティック特徴に対して特徴融合処理を行い、ｉ回目の３Ｄ医用画像特徴を得るように構成され、画像認識モジュール１１０４は、Ｉ回目の特徴抽出により得られたＩ回目の３Ｄ医用画像特徴に基づいて画像認識処理を行い、前記３Ｄ医用画像の画像認識結果を得るように構成され、ｉは、順次増加する正の整数であり、１＜ｉ≦Ｉであり、Ｉは正の整数である。
【0158】
いくつかの実施例では、前記特徴抽出モジュール１１０２は、
前記２Ｄ画像特徴に対して空間特徴抽出処理を行い、２Ｄ画像空間特徴を得るように構成される第１抽出ユニットと、
メインビュー及び補助ビューに基づいて、前記２Ｄ画像空間特徴に対してセマンティック特徴抽出処理を行い、前記画像セマンティック特徴を得る第２抽出ユニットであって、前記メインビューは、前記２Ｄ画像特徴に対応するビューであり、前記補助ビューは、３Ｄビューのうち前記メインビューとは異なるビューである、第２抽出ユニットと、を備える。
前記２Ｄ画像特徴に対して空間特徴抽出処理を行い、２Ｄ画像空間特徴を得るように構成される第１抽出ユニットと、
メインビュー及び補助ビューに基づいて、前記２Ｄ画像空間特徴に対してセマンティック特徴抽出処理を行い、前記画像セマンティック特徴を得る第２抽出ユニットであって、前記メインビューは、前記２Ｄ画像特徴に対応するビューであり、前記補助ビューは、３Ｄビューのうち前記メインビューとは異なるビューである、第２抽出ユニットと、を備える。
【0159】
いくつかの実施例では、前記第１抽出ユニットはさらに、前記２Ｄ画像特徴に対してウィンドウ分割処理を行い、Ｎ個のウィンドウのそれぞれに対応する局所２Ｄ画像特徴を得るステップであって、前記Ｎ個のウィンドウは互いに重ならず、Ｎは１より大きい正の整数である、ステップと、Ｎ個の前記局所２Ｄ画像特徴に対して特徴抽出処理を行い、２Ｄ画像ウィンドウ特徴を得るステップと、前記Ｎ個のウィンドウに対してウィンドウ再配置処理を行い、ウィンドウ再配置後のＮ個のウィンドウのそれぞれに対応する前記２Ｄ画像ウィンドウ特徴に対して特徴抽出処理を行い、２Ｄ画像空間特徴を得るステップであって、前記ウィンドウ再配置は、Ｎ個のウィンドウの空間位置を変更するために使用される、ステップと、を実行するように構成される。
【0160】
いくつかの実施例では、前記第１抽出ユニットはさらに、
Ｎ個の前記局所２Ｄ画像特徴に対してセルフアテンション処理を行い、Ｎ個の前記局所２Ｄ画像特徴のそれぞれに対応するセルフアテンション特徴を得るステップと、Ｎ個の前記セルフアテンション特徴に対して特徴融合処理を行い、第１画像ウィンドウ内部特徴を得るステップと、前記第１画像ウィンドウ内部特徴に対して畳み込み処理を行い、第１画像ウィンドウ相互作用特徴を得るステップと、多層パーセプトロン（ＭＬＰ）によって、前記第１画像ウィンドウ相互作用特徴に対して特徴抽出処理を行い、前記２Ｄ画像ウィンドウ特徴を得るステップと、を実行するように構成される。
Ｎ個の前記局所２Ｄ画像特徴に対してセルフアテンション処理を行い、Ｎ個の前記局所２Ｄ画像特徴のそれぞれに対応するセルフアテンション特徴を得るステップと、Ｎ個の前記セルフアテンション特徴に対して特徴融合処理を行い、第１画像ウィンドウ内部特徴を得るステップと、前記第１画像ウィンドウ内部特徴に対して畳み込み処理を行い、第１画像ウィンドウ相互作用特徴を得るステップと、多層パーセプトロン（ＭＬＰ）によって、前記第１画像ウィンドウ相互作用特徴に対して特徴抽出処理を行い、前記２Ｄ画像ウィンドウ特徴を得るステップと、を実行するように構成される。
【0161】
いくつかの実施例では、前記第１抽出ユニットはさらに、
ウィンドウ再配置後のＮ個のウィンドウのそれぞれに対応する前記２Ｄ画像ウィンドウ特徴に対してセルフアテンション処理を行い、Ｎ個のウィンドウのそれぞれに対応するセルフアテンション特徴を得るステップと、Ｎ個の前記セルフアテンション特徴に対して特徴融合処理を行い、第２画像ウィンドウ内部特徴を得るステップと、前記第２画像ウィンドウ内部特徴に対して位置反転処理を行い、位置反転後の前記第２画像ウィンドウ内部特徴に対して畳み込み処理を行い、第２画像ウィンドウ相互作用特徴を得るステップと、多層パーセプトロン（ＭＬＰ）によって、前記第２画像ウィンドウ相互作用特徴に対して特徴抽出処理を行い、前記２Ｄ画像空間特徴を得るステップと、を実行するように構成される。
ウィンドウ再配置後のＮ個のウィンドウのそれぞれに対応する前記２Ｄ画像ウィンドウ特徴に対してセルフアテンション処理を行い、Ｎ個のウィンドウのそれぞれに対応するセルフアテンション特徴を得るステップと、Ｎ個の前記セルフアテンション特徴に対して特徴融合処理を行い、第２画像ウィンドウ内部特徴を得るステップと、前記第２画像ウィンドウ内部特徴に対して位置反転処理を行い、位置反転後の前記第２画像ウィンドウ内部特徴に対して畳み込み処理を行い、第２画像ウィンドウ相互作用特徴を得るステップと、多層パーセプトロン（ＭＬＰ）によって、前記第２画像ウィンドウ相互作用特徴に対して特徴抽出処理を行い、前記２Ｄ画像空間特徴を得るステップと、を実行するように構成される。
【0162】
いくつかの実施例では、前記第１抽出ユニットはさらに、
前記局所２Ｄ画像特徴に対応するクエリ項目Ｑ、キー項目Ｋ、及び値項目Ｖに基づいてセルフアテンション処理を行い、Ｎ個の前記局所２Ｄ画像特徴のセルフアテンション特徴を得るように構成される。
前記局所２Ｄ画像特徴に対応するクエリ項目Ｑ、キー項目Ｋ、及び値項目Ｖに基づいてセルフアテンション処理を行い、Ｎ個の前記局所２Ｄ画像特徴のセルフアテンション特徴を得るように構成される。
【0163】
いくつかの実施例では、前記特徴抽出プロセスは、特徴符号化プロセス又は特徴復号化プロセスを含み、ｔ回目の特徴復号化プロセスにおける前記Ｋ値は、ｔ－１回目の特徴復号化におけるＫ値と、対応する特徴符号化プロセスにおけるＫ値とに基づいて、融合によって得られ、ｔ回目の特徴復号化プロセスにおける前記Ｖ値は、ｔ－１回目の特徴復号化におけるＶ値と、対応する特徴符号化プロセスにおけるＶ値とに基づいて、融合によって得られ、前記ｔ回目の復号化プロセスにおける前記Ｑ値は、前記ｔ－１回目の特徴復号化における前記Ｑ値である。
【0164】
いくつかの実施例では、前記第２抽出ユニットはさらに、
前記２Ｄ画像空間特徴と位置符号化特徴に対して特徴融合処理を行い、第１画像セマンティック特徴を得るステップであって、前記位置符号化特徴は、前記２Ｄ画像特徴に対応する位置情報を指示するために使用される、ステップと、前記メインビューにおいて、ＭＬＰによって前記第１画像セマンティック特徴に対してセマンティック特徴抽出処理を行い、メイン画像セマンティック特徴を得るステップと、前記補助ビューにおいて、前記ＭＬＰによって前記第１画像セマンティック特徴に対してセマンティック特徴抽出処理を行い、補助画像セマンティック特徴を得るステップと、前記メイン画像セマンティック特徴と前記補助画像セマンティック特徴に対して特徴融合処理を行い、前記画像セマンティック特徴を得るステップと、を実行するように構成される。
前記２Ｄ画像空間特徴と位置符号化特徴に対して特徴融合処理を行い、第１画像セマンティック特徴を得るステップであって、前記位置符号化特徴は、前記２Ｄ画像特徴に対応する位置情報を指示するために使用される、ステップと、前記メインビューにおいて、ＭＬＰによって前記第１画像セマンティック特徴に対してセマンティック特徴抽出処理を行い、メイン画像セマンティック特徴を得るステップと、前記補助ビューにおいて、前記ＭＬＰによって前記第１画像セマンティック特徴に対してセマンティック特徴抽出処理を行い、補助画像セマンティック特徴を得るステップと、前記メイン画像セマンティック特徴と前記補助画像セマンティック特徴に対して特徴融合処理を行い、前記画像セマンティック特徴を得るステップと、を実行するように構成される。
【0165】
いくつかの実施例では、前記特徴融合モジュール１１０３は、
前記画像セマンティック特徴とビュー特徴に対して融合処理を行い、ビュー画像セマンティック特徴を得るように構成される第１融合ユニットと、
各前記ビュー画像セマンティック特徴に対して特徴融合処理を行い、前記ｉ回目の３Ｄ医用画像特徴を得るように構成される第２融合ユニットと、をさらに備える。
前記画像セマンティック特徴とビュー特徴に対して融合処理を行い、ビュー画像セマンティック特徴を得るように構成される第１融合ユニットと、
各前記ビュー画像セマンティック特徴に対して特徴融合処理を行い、前記ｉ回目の３Ｄ医用画像特徴を得るように構成される第２融合ユニットと、をさらに備える。
【0166】
いくつかの実施例では、前記特徴抽出モジュール１１０２はさらに、
同じネットワークパラメータに対応する特徴抽出ネットワークをそれぞれ利用して、各ビューにおける前記２Ｄ画像特徴に対してセマンティック特徴抽出処理を行い、異なるビューにおける前記画像セマンティック特徴を得るように構成される。
同じネットワークパラメータに対応する特徴抽出ネットワークをそれぞれ利用して、各ビューにおける前記２Ｄ画像特徴に対してセマンティック特徴抽出処理を行い、異なるビューにおける前記画像セマンティック特徴を得るように構成される。
【0167】
いくつかの実施例では、前記特徴抽出プロセスは、特徴符号化プロセス又は特徴復号化プロセスを含み、前記特徴符号化プロセスは、３Ｄ医用画像特徴に対するダウンサンプリングプロセスを含み、前記特徴復号化プロセスは、３Ｄ医用画像特徴に対するアップサンプリングプロセスを含む。
【0168】
前記画像認識モジュール１１０４は、
アップサンプリング結果がオリジナルサイズに達した場合、抽出により得られる前記３Ｄ医用画像特徴を、前記Ｉ回目の特徴抽出により得られるＩ回目の３Ｄ医用画像特徴として決定するように構成される決定ユニットと、
前記Ｉ回目の３Ｄ医用画像特徴に基づいて画像認識処理を行い、前記画像認識結果を得るように構成される認識ユニットと、をさらに備える。
アップサンプリング結果がオリジナルサイズに達した場合、抽出により得られる前記３Ｄ医用画像特徴を、前記Ｉ回目の特徴抽出により得られるＩ回目の３Ｄ医用画像特徴として決定するように構成される決定ユニットと、
前記Ｉ回目の３Ｄ医用画像特徴に基づいて画像認識処理を行い、前記画像認識結果を得るように構成される認識ユニットと、をさらに備える。
【0169】
いくつかの実施例では、３Ｄ医用画像是ＣＴ画像、ＭＲＩ画像又はＰＥＴ画像である。
【0170】
上記に記載されたように、本願の実施例では、各特徴抽出段階において、まず、３Ｄ医用画像特徴に対してビュー再配置を行うことにより、異なるビューにおける２Ｄ画像特徴に分割し、２Ｄ画像特徴に対してそれぞれ特徴抽出を行い、異なるビューにおける画像セマンティック特徴を得、それにより、異なるビューにおける画像セマンティック特徴を融合して、特徴抽出後の３Ｄ医用画像特徴を得る。このプロセスでは、異なるビューにおける２Ｄ画像特徴に対して特徴抽出を行うため、関連技術における３Ｄ画像特徴を直接抽出する方法と比較して、本願の実施例は、簡素化された局所計算ユニットによって、異なるビューにおける特徴抽出を行うことにより、計算複雑度を低減し、３Ｄ医用画像の認識效率を向上させることができる。
【0171】
なお、上記の実施例で提供される装置は、上記の各機能モジュールの分割のみを例として説明しており、実際の応用では、必要に応じて、上記の機能を異なる機能モジュールに割り当てて完了させることができ、つまり、コンピュータ機器の内部構造を異なる機能モジュールに分割することにより、以上で説明された機能の全部又は一部を完了することができる。また、上記の実施例によって提供される装置は、端末機器の方法の実施例と同じ構想に属し、その実現プロセスについては方法の実施例を参照することができ、ここでは繰り返して説明しない。
【0172】
図１２を参照すると、図１２は、本願の実施例によるコンピュータ機器の構造を示す模式図である。具体的に、前記コンピュータ機器１２００は、中央処理装置（ＣＰＵ：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１２０１と、ランダムアクセスメモリ１２０２及び読み取り専用メモリ１２０３を含むシステムメモリ１２０４と、システムメモリ１２０４と中央処理装置１２０１とを接続するシステムバス１２０５と、を含む。前記コンピュータ機器１２００は、コンピュータ機器内の各デバイス間の情報伝送を支援する基本入力／出力システム（Ｉ／Ｏシステム：Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）１２０６と、オペレーティングシステム１２１３、アプリケーション１２１４、及びその他のプログラムモジュール１２１５を記憶する大容量記憶装置１２０７と、をさらに含む。
【0173】
前記基本入力／出力システム１２０６は、情報を表示するディスプレイ１２０８と、ユーザが情報を入力するためのマウス、キーボードなどの入力機器１２０９とを含む。ここで、前記ディスプレイ１２０８及び入力機器１２０９は、いずれもシステムバス１２０５に接続された入出力コントローラ１２１０を介して中央処理装置１２０１に接続される。前記基本入力／出力システム１２０６は、キーボード、マウス、又は電子スタイラスなどの複数の他のデバイスからの入力を受信して処理するための入出力コントローラ１２１０をさらに含み得る。同様に、入出力コントローラ１２１０は、ディスプレイ、プリンタ、又は他のタイプの出力デバイスに出力を提供する。
【0174】
前記大容量記憶装置１２０７は、システムバス１２０５に接続された大容量記憶コントローラ（図示せず）を介して中央処理装置１２０１に接続される。前記大容量記憶装置１２０７及びそれに関連するコンピュータ機器可読媒体は、コンピュータ機器１２００に不揮発性記憶を提供する。つまり、前記大容量記憶装置１２０７は、ハードディスク又は読み取り専用コンパクトディスクドライブなどのコンピュータ可読媒体（図示せず）を含み得る。
【0175】
汎用性を失うことなく、前記コンピュータ機器可読媒体は、コンピュータ機器記憶媒体及び通信媒体を含み得る。コンピュータ記憶媒体は、コンピュータ可読命令、データ構造、プログラムモジュール、又は他のデータなどの情報を記憶するための任意の方法又は技術的実装の揮発性及び不揮発性、リムーバブル及び非リムーバブル媒体を含む。コンピュータ記憶媒体は、ランダムアクセスメモリ（ＲＡＭ：Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、読み取り専用メモリ（ＲＯＭ：Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ又は他のソリッドステート記憶デバイス技術、コンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ：Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、デジタルバーサタイルディスク（ＤＶＤ：Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）、又はその他の光ストレージ、テープカートリッジ、テープ、ディスクストレージ、又はその他の磁気ストレージデバイスを含む。もちろん、当業者であれば、前記コンピュータ機器は、上記したものに限定されるものではないことが分かる。上記のシステムメモリ１２０４及び大容量記憶装置１２０７を総称してメモリと呼ぶことができる。
【0176】
メモリには、１つ又は複数のプログラムが記憶され、１つ又は複数のプログラムは、１つ又は複数の中央処理装置１２０１によって実行されるように構成され、１つ又は複数のプログラムは、上記の方法を実現するための命令を含み、中央処理装置１２０１は、前記１つ又は複数のプログラムを実行することにより、上記の各方法の実施例で提供される方法を実現する。
【0177】
本願の様々な実施例によれば、前記コンピュータ機器１２００は、インターネットなどのネットワークを介して、ネットワークに接続されたリモートコンピュータ機器に接続して実行されることもできる。即ち、コンピュータ機器１２００は、前記システムバス１２０５に接続されたネットワークインターフェースユニット１２１１を介して、ネットワーク１２１２に接続されてもよいし、又は、ネットワークインターフェースユニット１２１１を使用して他のタイプのネットワーク又はリモートコンピュータシステム（図示せず）に接続されてもよい。
【0178】
前記メモリはさらに、１つ又は複数のプログラムを含み、前記１つ又は複数のプログラムはメモリに記憶され、前記１つ又は複数のプログラムは、本願の実施例で提供される方法において、コンピュータ機器によって実行されるステップを含む。
【0179】
本願の実施例は、コンピュータ可読記憶媒体を提供し、前記コンピュータ可読記憶媒体には、少なくとも１つの命令、少なくとも１つのプログラム、コードセット又は命令セットが記憶され、前記少なくとも１つの命令、前記少なくとも１つのプログラム、前記コードセット又は命令セットは、前記プロセッサによってロード及び実行されて、上記の態様に記載の３Ｄ医用画像の認識方法を実現する。
【0180】
本願の実施例は、コンピュータプログラム製品又はコンピュータプログラムを提供し、前記コンピュータプログラム製品又はコンピュータプログラムは、コンピュータ命令を含み、前記コンピュータ命令は、コンピュータ可読記憶媒体に記憶される。コンピュータ機器のプロセッサは、コンピュータ可読記憶媒体から前記コンピュータ命令を読み取り、プロセッサは、前記コンピュータ命令を実行することにより、上記の態様に記載の３Ｄ医用画像の認識方法を実現する。
【0181】
当業者であれば、上記の実施例の全て又は一部のステップは、プログラムを介して関連するハードウェアを命令することによって完了でき、前記プログラムは、コンピュータ可読記憶媒体に記憶され得、前記コンピュータ可読記憶媒体は、上記の実施例におけるメモリに含まれるコンピュータ可読記憶媒体であってもよいし、端末に組み込まれていない、個別で存在するコンピュータ可読記憶媒体であり得ることを理解することができる。本願の実施例は、コンピュータ可読記憶媒体を提供し、前記コンピュータ可読記憶媒体には、少なくとも１つの命令、少なくとも１つのプログラム、コードセット又は命令セットが記憶され、前記少なくとも１つの命令、前記少なくとも１つのプログラム、前記コードセット又は命令セットは、前記プロセッサによってロード及び実行されて、上記の態様に記載の３Ｄ医用画像の認識方法を実現する。
【0182】
いくつかの実施例では、前記コンピュータ可読記憶媒体は、ＲＯＭ、ＲＡＭ、ソリッドステートハードディスク（ＳＳＤ：Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅｓ）又は光ディスクなどを含み得る。ここで、ＲＡＭは、抵抗式ランダムアクセスメモリ（ＲｅＲＡＭ：Ｒｅｓｉｓｔａｎｃｅ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、及びダイナミックランダムアクセスメモリ（ＤＲＡＭ：Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）を含み得る。上記の本願の実施例の番号は、説明のためのものに過ぎず、実施例の優劣を表すものではない。
【0183】
当業者であれば、上記の実施例の全て又は一部のステップはハードウェアにより実行されてもよいし、プログラムを介して関連するハードウェアを命令することによって完了してもよいし、前記プログラムは、コンピュータ可読記憶媒体に記憶されてもよいし、前述の記憶媒体は、読み取り専用メモリ、磁気ディスク又は光ディスクなどであってもよいことを理解することができる。
【0184】
上記は、本願のいくつかの実施例に過ぎず、本願を限定することを意図するものではなく、本願の精神及び原則内で行われるあらゆる修正、同等の置換、改善などは、本願の保護範囲に含まれるべきである。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【手続補正書】
【提出日】2024-05-27
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】０００２
【補正方法】変更
【補正の内容】
【0002】
本願は、人工知能分野に関し、特に、３次元（３Ｄ）医用画像の認識方法、装置、機器及びコンピュータプログラムに関する。
【手続補正3】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
コンピュータ機器が実行する３次元（３Ｄ）医用画像の認識方法であって、ｉ回目の特徴抽出プロセスにおいて、ｉ－１回目の３Ｄ医用画像特徴に対してビュー再配置処理を行い、２次元（２Ｄ）画像特徴を得るステップであって、前記ｉ－１回目の３Ｄ医用画像特徴は、３Ｄ医用画像に対してｉ－１回目の特徴抽出を行って得られる特徴であり、異なる２Ｄ画像特徴は、前記ｉ－１回目の３Ｄ医用画像特徴の異なるビューにおける特徴である、ステップと、
各前記２Ｄ画像特徴に対してセマンティック特徴抽出処理を行い、異なるビューにおける画像セマンティック特徴を得るステップと、
異なるビューにおける前記画像セマンティック特徴に対して特徴融合処理を行い、ｉ回目の３Ｄ医用画像特徴を得るステップと、
Ｉ回目の特徴抽出により得られたＩ回目の３Ｄ医用画像特徴に基づいて画像認識処理を行い、前記３Ｄ医用画像の画像認識結果を得るステップであって、ｉは、順次増加する正の整数であり、１＜ｉ≦Ｉであり、Ｉは正の整数である、ステップと、を含む、３Ｄ医用画像の認識方法。
【請求項2】
前記各前記２Ｄ画像特徴に対してセマンティック特徴抽出を行い、異なるビューにおける画像セマンティック特徴を得るステップは、前記２Ｄ画像特徴に対して空間特徴抽出処理を行い、２Ｄ画像空間特徴を得るステップと、
メインビュー及び補助ビューに基づいて、前記２Ｄ画像空間特徴に対してセマンティック特徴抽出処理を行い、前記画像セマンティック特徴を得るステップであって、前記メインビューは、前記２Ｄ画像特徴に対応するビューであり、前記補助ビューは、３Ｄビューのうち前記メインビューとは異なるビューである、ステップと、を含む、
請求項１に記載の３Ｄ医用画像の認識方法。
【請求項3】
前記２Ｄ画像特徴に対して空間特徴抽出処理を行い、２Ｄ画像空間特徴を得るステップは、前記２Ｄ画像特徴に対してウィンドウ分割処理を行い、Ｎ個のウィンドウのそれぞれに対応する局所２Ｄ画像特徴を得るステップであって、前記Ｎ個のウィンドウは互いに重ならず、Ｎは１より大きい正の整数である、ステップと、
Ｎ個の前記局所２Ｄ画像特徴に対して特徴抽出処理を行い、２Ｄ画像ウィンドウ特徴を得るステップと、
前記Ｎ個のウィンドウに対してウィンドウ再配置処理を行い、ウィンドウ再配置後のＮ個のウィンドウのそれぞれに対応する前記２Ｄ画像ウィンドウ特徴に対して特徴抽出処理を行い、２Ｄ画像空間特徴を得るステップであって、前記ウィンドウ再配置は、Ｎ個のウィンドウの空間位置を変更するために使用される、ステップと、を含む、
請求項２に記載の３Ｄ医用画像の認識方法。
【請求項4】
前記ウィンドウ再配置後のＮ個のウィンドウのそれぞれに対応する前記２Ｄ画像ウィンドウ特徴に対して特徴抽出処理を行い、２Ｄ画像空間特徴を得るステップは、ウィンドウ再配置後のＮ個のウィンドウのそれぞれに対応する前記２Ｄ画像ウィンドウ特徴に対してセルフアテンション処理を行い、Ｎ個のウィンドウのそれぞれに対応するセルフアテンション特徴を得るステップと、
Ｎ個の前記セルフアテンション特徴に対して特徴融合処理を行い、第２画像ウィンドウ内部特徴を得るステップと、
前記第２画像ウィンドウ内部特徴に対して位置反転処理を行い、位置反転後の前記第２画像ウィンドウ内部特徴に対して畳み込み処理を行い、第２画像ウィンドウ相互作用特徴を得るステップと、
多層パーセプトロン（ＭＬＰ）によって、前記第２画像ウィンドウ相互作用特徴に対して特徴抽出処理を行い、前記２Ｄ画像空間特徴を得るステップと、を含む、
請求項３に記載の３Ｄ医用画像の認識方法。
【請求項5】
前記Ｎ個の前記局所２Ｄ画像特徴に対して特徴抽出処理を行い、２Ｄ画像ウィンドウ特徴を得るステップは、Ｎ個の前記局所２Ｄ画像特徴に対してセルフアテンション処理を行い、Ｎ個の前記局所２Ｄ画像特徴のそれぞれに対応するセルフアテンション特徴を得るステップと、
Ｎ個の前記セルフアテンション特徴に対して特徴融合処理を行い、第１画像ウィンドウ内部特徴を得るステップと、
前記第１画像ウィンドウ内部特徴に対して畳み込み処理を行い、第１画像ウィンドウ相互作用特徴を得るステップと、
多層パーセプトロン（ＭＬＰ）によって、前記第１画像ウィンドウ相互作用特徴に対して特徴抽出処理を行い、前記２Ｄ画像ウィンドウ特徴を得るステップと、を含む、
請求項３に記載の３Ｄ医用画像の認識方法。
【請求項6】
前記Ｎ個の前記局所２Ｄ画像特徴に対してセルフアテンション処理を行い、Ｎ個の前記局所２Ｄ画像特徴のそれぞれに対応するセルフアテンション特徴を得るステップは、前記局所２Ｄ画像特徴に対応するクエリ項目Ｑ、キー項目Ｋ、及び値項目Ｖに基づいてセルフアテンション処理を行い、Ｎ個の前記局所２Ｄ画像特徴のセルフアテンション特徴を得るステップを含む、
請求項５に記載の３Ｄ医用画像の認識方法。
【請求項7】
前記特徴抽出プロセスは、特徴符号化プロセス又は特徴復号化プロセスを含み、ｔ回目の特徴復号化プロセスにおける前記Ｋ値は、ｔ－１回目の特徴復号化におけるＫ値と、対応する特徴符号化プロセスにおけるＫ値とに基づいて、融合によって得られ、ｔ回目の特徴復号化プロセスにおける前記Ｖ値は、ｔ－１回目の特徴復号化におけるＶ値と、対応する特徴符号化プロセスにおけるＶ値とに基づいて、融合によって得られ、前記ｔ回目の復号化プロセスにおける前記Ｑ値は、前記ｔ－１回目の特徴復号化における前記Ｑ値である、請求項６に記載の３Ｄ医用画像の認識方法。
【請求項8】
前記メインビュー及び補助ビューに基づいて、前記２Ｄ画像空間特徴に対してセマンティック特徴抽出処理を行い、前記画像セマンティック特徴を得るステップは、前記２Ｄ画像空間特徴と位置符号化特徴に対して特徴融合処理を行い、第１画像セマンティック特徴を得るステップであって、前記位置符号化特徴は、前記２Ｄ画像特徴に対応する位置情報を指示するために使用される、ステップと、
前記メインビューにおいて、ＭＬＰによって前記第１画像セマンティック特徴に対してセマンティック特徴抽出処理を行い、メイン画像セマンティック特徴を得るステップと、
前記補助ビューにおいて、前記ＭＬＰによって前記第１画像セマンティック特徴に対してセマンティック特徴抽出処理を行い、補助画像セマンティック特徴を得るステップと、
前記メイン画像セマンティック特徴と前記補助画像セマンティック特徴に対して特徴融合処理を行い、前記画像セマンティック特徴を得るステップと、を含む、
請求項２に記載の３Ｄ医用画像の認識方法。
【請求項9】
前記異なるビューにおける前記画像セマンティック特徴に対して特徴融合処理を行い、ｉ回目の３Ｄ医用画像特徴を得るステップは、前記画像セマンティック特徴とビュー特徴に対して融合処理を行い、ビュー画像セマンティック特徴を得るステップと、
各前記ビュー画像セマンティック特徴に対して特徴融合処理を行い、前記ｉ回目の３Ｄ医用画像特徴を得るステップと、を含む、
請求項１～８のいずれか一項に記載の３Ｄ医用画像の認識方法。
【請求項10】
前記各前記２Ｄ画像特徴に対してセマンティック特徴抽出処理を行い、異なるビューにおける画像セマンティック特徴を得るステップは、同じネットワークパラメータに対応する特徴抽出ネットワークをそれぞれ利用して、各ビューにおける前記２Ｄ画像特徴に対してセマンティック特徴抽出処理を行い、異なるビューにおける前記画像セマンティック特徴を得るステップを含む、
請求項１～８のいずれか一項に記載の３Ｄ医用画像の認識方法。
【請求項11】
前記特徴抽出プロセスは、特徴符号化プロセス又は特徴復号化プロセスを含み、前記特徴符号化プロセスは、３Ｄ医用画像特徴に対するダウンサンプリングプロセスを含み、前記特徴復号化プロセスは、３Ｄ医用画像特徴に対するアップサンプリングプロセスを含み、前記Ｉ回目の特徴抽出により得られたＩ回目の３Ｄ医用画像特徴に基づいて画像認識処理を行い、前記３Ｄ医用画像の画像認識結果を得る前に、前記３Ｄ医用画像の認識方法は、
アップサンプリング結果がオリジナルサイズに達した場合、抽出により得られる前記３Ｄ医用画像特徴を、前記Ｉ回目の特徴抽出により得られるＩ回目の３Ｄ医用画像特徴として決定するステップをさらに含む、
請求項１～８のいずれか一項に記載の３Ｄ医用画像の認識方法。
【請求項12】
前記３Ｄ医用画像は、コンピュータ断層撮影（ＣＴ）画像、磁気共鳴映像（ＭＲＩ）又は陽電子放射断層撮影（ＰＥＴ）画像である、請求項１～８のいずれか一項に記載の３Ｄ医用画像の認識方法。
【請求項13】
３次元（３Ｄ）医用画像の認識装置であって、ｉ回目の特徴抽出プロセスにおいて、ｉ－１回目の３Ｄ医用画像特徴に対してビュー再配置処理を行い、２Ｄ画像特徴を得るように構成され、前記ｉ－１回目の３Ｄ医用画像特徴は、３Ｄ医用画像に対してｉ－１回目の特徴抽出を行って得られる特徴であり、異なる２Ｄ画像特徴は、前記ｉ－１回目の３Ｄ医用画像特徴の異なるビューにおける特徴である、ビュー再配置モジュールと、
各前記２Ｄ画像特徴に対してセマンティック特徴抽出処理を行い、異なるビューにおける画像セマンティック特徴を得るように構成される特徴抽出モジュールと、
異なるビューにおける前記画像セマンティック特徴に対して特徴融合処理を行い、ｉ回目の３Ｄ医用画像特徴を得るように構成される特徴融合モジュールと、
Ｉ回目の特徴抽出により得られたＩ回目の３Ｄ医用画像特徴に基づいて画像認識処理を行い、前記３Ｄ医用画像の画像認識結果を得るように構成され、ｉは、順次増加する正の整数であり、１＜ｉ≦Ｉであり、Ｉは正の整数である、画像認識モジュールと、を備える、３Ｄ医用画像の認識装置。
【請求項14】
コンピュータ機器であって、プロセッサとメモリとを備え、前記メモリには、少なくとも１つの命令、少なくとも１つのプログラム、コードセット又は命令セットが記憶され、前記少なくとも１つの命令、前記少なくとも１つのプログラム、前記コードセット又は命令セットは、前記プロセッサによってロード及び実行されて、請求項１～１２のいずれか一項に記載の３Ｄ医用画像の認識方法を実現する、コンピュータ機器。
【請求項15】
コンピュータプログラムであって、コンピュータ命令を含み、前記コンピュータ命令は、コンピュータ可読記憶媒体に記憶され、コンピュータ機器のプロセッサは、前記コンピュータ可読記憶媒体から前記コンピュータ命令を読み取り、前記プロセッサは、前記コンピュータ命令を実行することにより、請求項１～１２のいずれか一項に記載の３Ｄ医用画像の認識方法を実現する、コンピュータプログラム。
【国際調査報告】