▶ アリババ・グループ・ホールディング・リミテッドの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-12-01
(45)【発行日】2023-12-11
(54)【発明の名称】データ処理方法、装置及び記憶媒体
(51)【国際特許分類】
G06V 10/82 20220101AFI20231204BHJP
G06T 7/00 20170101ALI20231204BHJP
【ＦＩ】
G06V10/82
G06T7/00 350C
G06T7/00 612
【請求項の数】
15
(21)【出願番号】P 2022539274
(86)(22)【出願日】2020-12-21
(65)【公表番号】
(43)【公表日】2023-03-02
(86)【国際出願番号】 US2020066286
(87)【国際公開番号】W WO2021133700
(87)【国際公開日】2021-07-01
【審査請求日】2022-08-03
(31)【優先権主張番号】201911357874.1
(32)【優先日】2019-12-25
(33)【優先権主張国・地域又は機関】CN
(73)【特許権者】
【識別番号】510330264
【氏名又は名称】アリババ・グループ・ホールディング・リミテッド
【氏名又は名称原語表記】ＡＬＩＢＡＢＡ ＧＲＯＵＰ ＨＯＬＤＩＮＧ ＬＩＭＩＴＥＤ
(74)【代理人】
【識別番号】100099759
【弁理士】
【氏名又は名称】青木 篤
(74)【代理人】
【識別番号】100123582
【弁理士】
【氏名又は名称】三橋 真二
(74)【代理人】
【識別番号】100153729
【弁理士】
【氏名又は名称】森本 有一
(74)【代理人】
【識別番号】100211177
【弁理士】
【氏名又は名称】赤木 啓二
(72)【発明者】
【氏名】ヤン ハン
【審査官】▲徳▼田 賢二
(56)【参考文献】
【文献】米国特許出願公開第２０１１／００２６７９３（ＵＳ，Ａ１）
【文献】特表２０１６－５１１６４９（ＪＰ，Ａ）
【文献】特表２０１６－５０９５０１（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｖ １０／８２
Ｇ０６Ｔ ７／００
(57)【特許請求の範囲】
【請求項1】
データ処理のためのコンピュータ実施方法であって、標的画像を獲得することであって、前記標的画像が少なくとも一つの管状画像を含む、獲得すること、
前記少なくとも一つの管状画像の各々の空間分布特徴及び画像特徴を決定すること、
管状構造認識モデルに基づいて、前記少なくとも一つの管状画像の各々の前記空間分布特徴及び前記画像特徴を融合することにより、前記少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの融合特徴を獲得すること、並びに
前記管状構造認識モデル及び前記少なくとも一つの管状画像にそれぞれ対応する前記少なくとも一つの融合特徴に基づいて、前記少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの管状構造を認識することを含む、コンピュータ実施方法。
【請求項2】
前記少なくとも一つの管状画像の各々の空間分布特徴及び画像特徴を決定することは、前記標的画像から、前記少なくとも一つの管状画像の少なくとも一つのそれぞれの中心線を獲得すること、及び
前記少なくとも一つの管状画像の前記少なくとも一つのそれぞれの中心線に従って前記少なくとも一つの管状画像の各々の前記空間分布特徴及び画像特徴を抽出することを含む、請求項１に記載の方法。
【請求項3】
前記少なくとも一つの管状画像の前記少なくとも一つのそれぞれの中心線に従って前記少なくとも一つの管状画像の各々の前記空間分布特徴及び画像特徴を抽出することは、以下のうちの少なくとも一つ：前記少なくとも一つの管状画像のいずれかについて、前記管状画像の前記中心線上の始点、終点、及び少なくとも一つの中点の位置座標に従って前記管状画像の位置特徴ベクトルを生成すること、
前記管状画像について、前記始点の接線ベクトル及び前記始点から前記終点までのベクトルに従って前記管状画像の方向特徴ベクトルを獲得すること、並びに
前記少なくとも一つの管状画像の前記少なくとも一つのそれぞれの中心線上の点の位置座標同士の対応付け関係に従って前記少なくとも一つの管状画像同士の接続関係を獲得することを含む、請求項２に記載の方法。
【請求項4】
前記少なくとも一つの管状画像の前記少なくとも一つのそれぞれの中心線に従って前記少なくとも一つの管状画像の各々の前記空間分布特徴及び画像特徴を抽出することは、前記標的画像から、前記少なくとも一つの管状画像の前記少なくとも一つのそれぞれの中心線に従って前記少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの画像領域を抽出すること、並びに
畳み込みニューラル・ネットワーク（ＣＮＮ）及び長・短期記憶（ＬＳＴＭ）アルゴリズムを使用することにより、前記少なくとも一つの管状画像にそれぞれ対応する前記少なくとも一つの画像領域に対して特徴抽出を実施して、前記少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの画像特徴ベクトルを獲得することを含む、請求項２に記載の方法。
【請求項5】
管状構造認識モデルに基づいて、前記少なくとも一つの管状画像の各々の前記空間分布特徴及び前記画像特徴を融合することにより、前記少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの融合特徴を獲得することは、前記少なくとも一つの管状画像のいずれかについて、前記管状画像の空間分布特徴に対応するベクトル、及び前記管状画像の画像特徴に対応するベクトルを接合して、前記管状画像の特徴接合ベクトルを獲得すること、並びに
前記少なくとも一つの管状画像にそれぞれ対応する前記少なくとも一つの融合特徴として、前記少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの特徴接合ベクトルを獲得することを含む、請求項１に記載の方法。
【請求項6】
前記管状構造認識モデル及び前記融合特徴に基づいて、前記少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの管状構造を認識することは、前記少なくとも一つの管状画像にそれぞれ対応する前記少なくとも一つの融合特徴を入力データとして前記管状構造認識モデル内の特徴計算モジュールに入力すること、
前記特徴計算モジュールにおいて、前記入力データ及び設定されたモデル・パラメータに従って決定して、前記特徴計算モジュールの出力データを獲得すること、並びに
前記管状構造認識モデルの全結合層に基づいて、前記特徴計算モジュールの前記出力データに従って前記少なくとも一つの管状画像にそれぞれ対応する前記少なくとも一つの管状構造を認識することを含む、請求項１に記載の方法。
【請求項7】
前記管状構造認識モデルは、グラフ畳み込みネットワーク（ＧＣＮ）を含み、前記少なくとも一つの管状画像にそれぞれ対応する前記少なくとも一つの融合特徴を入力データとして前記管状構造認識モデル内の特徴計算モジュールに入力することは、
前記少なくとも一つの管状画像の少なくとも一つの空間分布特徴から前記少なくとも一つの管状画像同士の接続関係を獲得すること、
前記少なくとも一つの管状画像にそれぞれ対応する前記少なくとも一つの融合特徴をノードとして見ることにより、前記少なくとも一つの管状画像同士の前記接続関係に従って構造グラフを生成すること、及び
前記構造グラフを前記特徴計算モジュールの前記入力データとして入力することを含む、請求項６に記載の方法。
【請求項8】
前記標的画像は、血管造影画像、及び少なくとも一つの血管画像を含む前記少なくとも一つの管状画像を含み、前記少なくとも一つの管状画像にそれぞれ対応する前記少なくとも一つの管状構造を認識した後、前記方法は、前記血管造影画像上に、前記少なくとも一つの血管画像にそれぞれ対応する少なくとも一つの血管名を表示することをさらに含む、請求項１に記載の方法。
【請求項9】
前記少なくとも一つの血管画像のいずれかについての名前修正動作に応答して、修正された血管名を獲得すること、及び前記修正された血管名を表示し、前記修正された血管名に従って前記管状構造認識モデルを最適化することをさらに含む、請求項８に記載の方法。
【請求項10】
前記少なくとも一つの血管名が属する少なくとも一つの健康な血管の血管造影図から参照画像を獲得すること、並びに前記参照画像及び前記少なくとも一つの血管画像を比較及び表示することをさらに含む、請求項８に記載の方法。
【請求項11】
前記少なくとも一つの血管名のうちの一つが属する健康な血管の形状特徴を獲得すること、前記少なくとも一つの血管画像の形状特徴を前記健康な血管の前記形状特徴と比較すること、
前記比較の結果に従って、前記少なくとも一つの血管画像内の異常状態にある標的血管画像を決定すること、及び
前記標的血管画像を表示することをさらに含む、請求項８に記載の方法。
【請求項12】
前記管状構造認識モデルは、特徴計算層を含み、前記管状構造認識モデル内の前記特徴計算層の出力データは、前記特徴計算層の入力データの一部分、及び前記入力データに基づいた前記特徴計算層の計算結果を含み、前記特徴計算層は、初期特徴計算層であり、前記特徴計算層の入力データの一部分は、前記少なくとも一つの管状画像の少なくとも一つの空間分布特徴である、請求項１に記載の方法。
【請求項13】
前記管状構造認識モデルは、特徴計算層を含み、前記管状構造認識モデル内の前記特徴計算層の出力データは、前記特徴計算層の入力データの一部分、及び前記入力データに基づいた前記特徴計算層の計算結果を含み、前記特徴計算層は、初期特徴計算層ではなく、前記特徴計算層の入力データの一部分は、前の特徴計算層の出力データであり、前記特徴計算層の前記入力データは、前記前の特徴計算層の前記出力データを融合することにより獲得される少なくとも一つの融合特徴、及び前記少なくとも一つの管状画像の少なくとも一つの画像特徴を含む、請求項１に記載の方法。
【請求項14】
データ処理のための装置であって、一つ又は複数のプロセッサと、前記一つ又は複数のプロセッサに結合され、命令により構成される一つ又は複数の非一時的なコンピュータ可読メモリとを備え、前記命令は、標的画像を獲得することであって、前記標的画像が少なくとも一つの管状画像を含む、獲得すること、
前記少なくとも一つの管状画像の各々の空間分布特徴及び画像特徴を決定すること、
管状構造認識モデルに基づいて、前記少なくとも一つの管状画像の各々の前記空間分布特徴及び前記画像特徴を融合することにより、前記少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの融合特徴を獲得すること、並びに
前記管状構造認識モデル及び前記少なくとも一つの管状画像にそれぞれ対応する前記少なくとも一つの融合特徴に基づいて、前記少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの管状構造を認識すること
を含む動作を前記装置に実施させるために前記一つ又は複数のプロセッサによって実行可能である、装置。
【請求項15】
命令により構成される非一時的なコンピュータ可読記憶媒体であって、前記命令は、標的画像を獲得することであって、前記標的画像が少なくとも一つの管状画像を含む、獲得すること、
前記少なくとも一つの管状画像の各々の空間分布特徴及び画像特徴を決定すること、
管状構造認識モデルに基づいて、前記少なくとも一つの管状画像の各々の前記空間分布特徴及び前記画像特徴を融合することにより、前記少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの融合特徴を獲得すること、並びに
前記管状構造認識モデル及び前記少なくとも一つの管状画像にそれぞれ対応する前記少なくとも一つの融合特徴に基づいて、前記少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの管状構造を認識すること
を含む動作を一つ又は複数のプロセッサに実施させるために前記一つ又は複数のプロセッサによって実行可能である、非一時的なコンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本出願は、２０１９年１２月２５日に中国国家知識産権局に提出され、また「ＤＡＴＡ ＰＲＯＣＥＳＳＩＮＧ ＭＥＴＨＯＤ， ＥＱＵＩＰＭＥＮＴ ＡＮＤ ＳＴＯＲＡＧＥ ＭＥＤＩＵＭ」という表題のついた、中国特許出願第２０１９１１３５７８７４．１号に基づき、これに対する優先権及びこの利益を主張するものである。上に特定された出願のすべての内容は、その全体が参照により本明細書に組み込まれる。
本出願は、２０１９年１２月２５日に中国国家知識産権局に提出され、また「ＤＡＴＡ ＰＲＯＣＥＳＳＩＮＧ ＭＥＴＨＯＤ， ＥＱＵＩＰＭＥＮＴ ＡＮＤ ＳＴＯＲＡＧＥ ＭＥＤＩＵＭ」という表題のついた、中国特許出願第２０１９１１３５７８７４．１号に基づき、これに対する優先権及びこの利益を主張するものである。上に特定された出願のすべての内容は、その全体が参照により本明細書に組み込まれる。
【0002】
本出願は、コンピュータ技術の分野、特に、データ処理方法及びデバイス並びに記憶媒体に関する。
【背景技術】
【0003】
コンピュータ支援診断（ＣＡＤ）技術は、イメージング、医用画像処理技術、並びに他の可能な生理学的及び生化学的手段と組み合わせて、分析及び計算におけるコンピュータの強力な能力に基づいて、医師が病変を見つけるのを助けることができる。
【0004】
例えば、血管疾患の処置においては、血管造影が、コンピュータ断層撮影技術に基づいて実施されて、血管造影画像を獲得することができ、次いで、血管造影画像上の血管（ｖｅｓｓｅｌ）（又はｂｌｏｏｄ ｖｅｓｓｅｌと称される）の分布が、病変分析効率を向上させるためにコンピュータ技術に基づいて認識される。
【0005】
しかしながら、既存の技術は、血管造影画像の認識中に血管造影画像に含まれる特徴を十分に活用せず、結果として比較的低い正確性の認識結果をもたらす。したがって、新規な解決策が必要とされる。
【発明の概要】
【0006】
本出願の複数の態様において、データ処理方法及びデバイス並びに記憶媒体は、画像内に含まれる管状画像のための認識結果を強化するために提供される。
【0007】
本出願の実施形態は、処理されるべき画像を獲得することであって、処理されるべき画像が、少なくとも一つの管状画像を含む、獲得すること、少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの空間分布特徴及び画像特徴を計算すること、並びに少なくとも一つの管状画像の少なくとも一つのそれぞれの空間分布特徴及び画像特徴に従って、少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの管状構造を認識することを含むデータ処理方法を提供する。
【0008】
本出願の実施形態は、処理されるべき画像を獲得することであって、処理されるべき画像が少なくとも一つの管状画像を含む、獲得すること、並びに処理されるべき画像を管状構造認識モデルに入力して、少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの認識結果を獲得することであって、管状構造認識モデル内の特徴計算層の出力データが、特徴計算層の入力データの一部分、及び入力データに基づいた特徴計算層の計算結果を含む、獲得することを含むデータ処理方法をさらに提供する。
【0009】
本出願の実施形態は、処理されるべき画像を獲得することであって、処理されるべき画像が少なくとも一つの管状画像を含む、獲得すること、並びに処理されるべき画像を管状構造認識モデルに入力して、少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの認識結果を獲得することであって、管状構造認識モデル内の第１の特徴計算層の出力データが、第１の特徴計算層により、第１の特徴計算層の入力データに基づいた第１の特徴計算層の計算結果及び少なくとも一つの管状画像の少なくとも一つの空間分布特徴を重ね合わせることによって獲得され、第１の特徴計算層の後に位置する第２の特徴計算層の入力データが、第１の特徴計算層の出力データ及び少なくとも一つの管状画像のそれぞれの画像特徴を融合することにより獲得される融合特徴を含む、獲得することを含むデータ処理方法をさらに提供する。
【0010】
本出願の実施形態は、処理されるべき画像を獲得することであって、処理されるべき画像が少なくとも一つの管状画像を含む、獲得すること、並びに処理されるべき画像を管状構造認識モデルに入力して、少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの認識結果を獲得することであって、管状構造認識モデルが、グラフ畳み込みネットワーク（ＧＣＮ）を含み、ＧＣＮの入力データが、ノードとして少なくとも一つの管状画像のそれぞれの特徴を有する構造グラフを含む、獲得することを含むデータ処理方法をさらに提供する。
【0011】
本出願の実施形態は、メモリ及びプロセッサを含むデータ処理デバイスをさらに提供し、メモリは、一つ又は複数のコンピュータ命令を記憶するように構成され、プロセッサは、本出願の実施形態に提供されるデータ処理方法内のステップを実施するために一つ又は複数のコンピュータ命令を実行するように構成される。
【0012】
本出願の実施形態は、コンピュータ・プログラムを記憶するコンピュータ可読記憶媒体をさらに提供し、コンピュータ・プログラムは、実行されると、本出願の実施形態に提供されるデータ処理方法内のステップを実施する。
【0013】
本出願の実施形態は、データ処理のためのコンピュータ実施方法をさらに提供する。本方法は、標的画像を獲得することであって、標的画像が少なくとも一つの管状画像を含む、獲得すること、少なくとも一つの管状画像の各々の空間分布特徴及び画像特徴を決定すること、管状構造認識モデルに基づいて、少なくとも一つの管状画像の各々の空間分布特徴及び画像特徴を融合することにより、少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの融合特徴を獲得すること、並びに管状構造認識モデル及び少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの融合特徴に基づいて、少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの管状構造を認識することを含む。
【0014】
本出願の実施形態は、データ処理のための装置をさらに提供する。本装置は、一つ又は複数のプロセッサと、一つ又は複数のプロセッサに結合され、命令により構成される一つ又は複数の非一時的なコンピュータ可読メモリとを備え、命令は、標的画像を獲得することであって、標的画像が少なくとも一つの管状画像を含む、獲得すること、少なくとも一つの管状画像の各々の空間分布特徴及び画像特徴を決定すること、管状構造認識モデルに基づいて、少なくとも一つの管状画像の各々の空間分布特徴及び画像特徴を融合することにより、少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの融合特徴を獲得すること、並びに管状構造認識モデル及び少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの融合特徴に基づいて、少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの管状構造を認識することを含む動作を本装置に実施させるために一つ又は複数のプロセッサによって実行可能である。
【0015】
本出願の実施形態は、命令により構成される非一時的なコンピュータ可読記憶媒体をさらに提供し、命令は、標的画像を獲得することであって、標的画像が少なくとも一つの管状画像を含む、獲得すること、少なくとも一つの管状画像の各々の空間分布特徴及び画像特徴を決定すること、管状構造認識モデルに基づいて、少なくとも一つの管状画像の各々の空間分布特徴及び画像特徴を融合することにより、少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの融合特徴を獲得すること、並びに管状構造認識モデル及び少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの融合特徴に基づいて、少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの管状構造を認識することを含む動作を一つ又は複数のプロセッサに実施させるために一つ又は複数のプロセッサによって実行可能である。
【0016】
本出願の実施形態に提供されるデータ処理方法において、管状構造は、処理されるべき画像に含まれる管状画像の空間分布特徴及び画像特徴に従って認識され、管状構造の複数の複雑な特徴は、認識根拠として見ることができ、処理されるべき画像によって提供される管状構造の様々な異なる情報は、完全に使用されることができ、これが管状画像の認識結果を向上させることにつながる。
【0017】
本明細書に説明される添付の図面は、本出願のさらなる理解を提供するために使用され、本出願の一部を形成する。本出願の実施形態及び実施形態の説明は、本出願を説明するために使用されるものであり、本出願に対する過度の制限を構成するものではない。
【図面の簡単な説明】
【0018】
【図1】本出願の実施形態によるデータ処理方法の概略的なフローチャートである。
【図2a】本出願の別の実施形態によるデータ処理方法の概略的なフローチャートである。
【図2b】本出願の実施形態による管状構造認識モデルの概略構造図である。
【図2c】本出願の実施形態による構造グラフの概略構造図である。
【図2d】本出願の実施形態によるＧＣＮ層のデータ伝送プロセスの概略図である。
【図3】本出願の別の実施形態によるデータ処理方法の概略的なフローチャートである。
【図4】本出願の依然として別の実施形態によるデータ処理方法の概略的なフローチャートである。
【図5】本出願のさらに別の実施形態によるデータ処理方法の概略的なフローチャートである。
【図6】本出願の実施形態によるアプリケーション・シナリオの図である。
【図7】本出願の実施形態によるデータ処理デバイスの概略構造図である。
【発明を実施するための形態】
【0019】
本出願の目的及び利点をより明白にするため、本出願は、本出願の実施形態及び対応する添付の図面と組み合わせて明白に説明されるものとする。明白には、説明された実施形態は、本出願の実施形態のすべてではなく、単に一部にすぎない。創造的な努力なしに本出願における実施形態に基づいて当業者により得られるすべての他の実施形態が、本出願の保護の範囲内にある。
【0020】
既存の技術では、血管造影画像の認識の間、血管造影画像によって表される部分的な情報のみが考慮され、処理されるべき画像に含まれる様々な複雑な情報は、完全には使用されず、以て、比較的低い正確性の血管認識をもたたらす。以下は、既存の技術において提供される冠動脈枝のための命名方法と組み合わせた既存の技術の欠陥の簡単な説明である。既存の技術では、冠動脈枝のための共通命名方法は、登録ベースの方法、並びに樹構造及び長・短期記憶（ＬＳＴＭ）ネットワークに基づいた方法である。
【0021】
登録ベースの方法では、冠動脈樹の主枝、具体的には、左冠動脈（ＬＣＡ）、左主冠動脈（ＬＭ）、左前下行枝（ＬＡＤ）、及び左回旋枝（ＬＣＸ）が、登録アルゴリズムを使用してまず認識され、次いで残りの枝が、規則及び予備知識（例えば、冠動脈樹のトポロジ）を使用して分類される。
【0022】
樹構造及びＬＳＴＭに基づいたスキームでは、冠動脈樹は、２分木へと構築され、各血管は、２分木のノードと見なされる。次いで、親ノードと子ノードとの相関が、ＬＳＴＭモデルを使用して学習され、最後に、各ノードのカテゴリが、各血管の名前を獲得するように予測される。
【0023】
先述の２つのスキームでは、血管樹内の主血管及び枝血管の位置依存性のみが考慮され、血管樹内の血管の他の情報は完全には考慮されない。したがって、かなり大きな誤差が、血管を命名する結果において存在する。誤差は、主血管が誤って命名されるときに特により深刻な結果をもたらす。
【0024】
既存に技術における先述の技術的問題に関して、本出願の実施形態は、技術的問題を解決するために提供される。本出願の様々な実施形態は、添付の図面を参照して以下に詳細に説明される。
【0025】
【0026】
ステップ１０１。処理されるべき画像を獲得することであって、処理されるべき画像が少なくとも一つの管状画像を含む、獲得すること。
【0027】
ステップ１０２。少なくとも一つの管状画像の少なくとも一つのそれぞれの空間分布特徴及び画像特徴を計算すること。
【0028】
ステップ１０３。少なくとも一つの管状画像の少なくとも一つのそれぞれの空間分布特徴及び画像特徴に従って、少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの管状構造を認識すること。
【0029】
処理されるべき画像は、少なくとも一つの管状構造に対してイメージングを行うことにより獲得される画像を含むことができる。
【0030】
いくつかの実施形態において、処理されるべき画像は、医用デバイスの助けを借りて生命体の管状構造に対して血管造影を実施することにより獲得される血管造影画像を含むことができる。例えば、画像は、ＣＴ技術に基づいて生命体の冠動脈に対して血管造影を実施することにより獲得される冠動脈のＣＴ血管造影（ＣＴＡ）画像であってもよい。
【0031】
いくつかの他の実施形態において、処理されるべき画像は、都市に敷かれる温水パイプに対する熱イメージングにより獲得される画像を含むことができる。
【0032】
いくつかの他の実施形態において、処理されるべき画像は、地理的環境に分布される河道、鉄道線路、高速道路、及び同様のものに対するリモート・センシング技術ベースのイメージングにより獲得されるリモート・センシング画像を含むことができる。処理されるべき画像は、少なくとも一つの管状画像を含む。管状画像とは、管状構造の血管造影後の処理されるべき画像上の対応する画像部分を指す。良好なイメージング結果の状況では、一つの管状画像は、血管造影のための一つの管状構造に対応することができる。例えば、生命体に対する血管造影を通じて獲得される血管造影画像は、血管画像を含むことができる。都市に敷かれる温水パイプに対する熱イメージングにより獲得される画像は、温水パイプ画像を含むことができる。地理的環境に分布される河道に対するリモート・センシング・イメージングにより獲得される画像は、河道画像を含むことができる。
【0033】
管状構造のイメージングの後、管状構造の特徴は、対応する管状画像に反映されてもよい。したがって、対応する管状構造は、管状画像に示される特徴に基づいて認識されてもよい。一般的に、管状構造は、比較的複雑な空間分布特徴及び個体差を有する。血管（ｂｌｏｏｄ ｖｅｓｓｅｌ）（又はｖｅｓｓｅｌと称される）を例とすると、血管は、生命体において比較的複雑である。生命体の各部分における血管は、主血管、及び主血管の側面から派生される枝血管を含む。血管造影後、主血管及び枝血管は、おおむね樹様である。概して、血管樹内の異なる血管は、いくつかの空間分布特徴を有する。例えば、一部の枝血管は、主血管の左側に位置し、一部の枝血管は、主血管の右側に位置する。局所的に、異なる血管の形状、サイズ、及び方向は、血管樹内で様々である。
【0034】
先述に基づいて、この実施形態では、処理されるべき画像上の管状画像を認識することにおいて、管状画像の少なくとも一つのそれぞれの空間分布特徴及び画像特徴は、処理されるべき画像から獲得されてもよい。空間分布特徴及び画像特徴に基づいて、管状構造の複雑な特徴は、管状画像を認識するための基礎としてより包括的に捉えられてもよく、これが、処理されるべき画像上の管状構造のより正確な認識につながる。
【0035】
管状画像の空間分布特徴は、限定されるものではないが、処理されるべき画像上の管状画像の位置特徴及び方向特徴、管状画像同士の接続関係、並びに同様のものを含むことができる。管状画像の画像特徴は、限定されるものではないが、管状画像の形状特徴及びサイズ特徴並びに同様のものを含むことができ、これはここでは詳細に説明されない。
【0036】
この実施形態において、管状構造は、処理されるべき画像に含まれる管状画像の空間分布特徴及び画像特徴に従って認識され、管状構造の複数の複雑な特徴は、認識根拠として見ることができ、処理されるべき画像によって提供される管状構造の様々な異なる情報は、完全に使用されることができ、これが管状画像の認識結果を向上させることにつながる。
【0037】
本出願の先述及び以下の実施形態において、管状画像を認識するプロセスは、ニューラル・ネットワーク（ＮＮ）ベースの機械学習モデルを使用して実施されてもよい。ＮＮは、畳み込みニューラル・ネットワーク（ＣＮＮ）、深層ニューラル・ネットワーク（ＤＮＮ）、グラフ畳み込みネットワーク（ＧＣＮ）、リカレント・ニューラル・ネットワーク（ＲＮＮ）、及びＬＳＴＭのうちの一つ又は複数を含むことができ、これはこの実施形態に限定されない。
【0038】
説明を容易にするため、管状画像を認識するためのモデルは、本出願の以下の実施形態では管状構造認識モデルとして説明される。いくつかの実施形態において、処理されるべき画像上の管状画像の複数の特徴を十分に活用するために、管状構造認識モデルは、ＣＮＮ、ＬＳＴＭ、及びＧＣＮによって形成されてもよく、図２ａ、図２ｂ、及び図２ｃを参照して以下に例証される。
【0039】
【0040】
ステップ２０１。処理されるべき画像を獲得することであって、処理されるべき画像が少なくとも一つの管状画像を含む、獲得すること。
【0041】
ステップ２０２。処理されるべき画像から、少なくとも一つの管状画像の少なくとも一つのそれぞれの中心線を獲得すること。
【0042】
ステップ２０３。少なくとも一つの管状画像の少なくとも一つのそれぞれの中心線及び処理されるべき画像を管状構造認識モデルに入力すること。
【0043】
ステップ２０４。管状構造認識モデルにおいて、少なくとも一つの管状画像の少なくとも一つのそれぞれの中心線に従って少なくとも一つの管状画像の少なくとも一つのそれぞれの空間分布特徴及び画像特徴を抽出すること。
【0044】
ステップ２０５。管状構造認識モデルにおいて、少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの空間分布特徴及び画像特徴の少なくとも一つの融合特徴を獲得すること。
【0045】
ステップ２０６。少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの融合特徴を管状構造認識モデル内の特徴計算モジュールの入力データとして入力すること。
【0046】
ステップ２０７。特徴計算モジュールにおいて、入力データ及び設定されたモデル・パラメータに従って計算して、特徴計算モジュールの出力データを獲得すること。
【0047】
ステップ２０８。管状構造認識モデルの全結合層に基づいて、特徴計算モジュールの出力データに従って、少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの管状構造を認識すること。
【0048】
ステップ２０９。少なくとも一つの管状画像にそれぞれ対応する管状構造（複数可）の名前（複数可）を出力すること。
【0049】
ステップ２０１において、処理されるべき画像は、少なくとも一つの管状画像を含む。例えば、いくつかのシナリオにおいて、処理されるべき画像が、冠動脈のＣＴ血管造影画像として実装されるとき、処理されるべき画像は、複数の血管画像を含むことができ、複数の血管画像は、樹状分布にある。
【0050】
ステップ２０２において、血管を例とすると、血管画像の中心線を獲得する動作は、血管追跡に基づいて実施されてもよい。
【0051】
血管追跡の間、血管追跡装置が、各位置における血管の方向及び半径を認識し、反復的計算を実施して完全な血管を探すために使用されてもよい。このプロセスでは、血管弁別装置が、血管追跡装置の探索動作を終了するかどうかを決定するために使用されてもよい。血管の中心線は、血管追跡装置及び血管弁別装置によって認識される血管の方向及び半径に基づいて描写されてもよい。血管追跡装置及び血管弁別装置は、マルチタスク３次元（３Ｄ）ＣＮＮに基づいて実装されてもよく、これはここでは詳細に説明されない。
【0052】
次に、ステップ２０３において、処理されるべき画像から抽出される少なくとも一つの管状画像の少なくとも一つのそれぞれの中心線が、管状構造認識モデルに入力されてもよい。
【0053】
この実施形態において、管状構造認識モデルの入力は、処理されるべき画像、及び処理されるべき画像上の管状画像の少なくとも一つのそれぞれの中心線を含む。管状構造認識モデルの出力は、処理されるべき画像上の管状構造の名前を含む。先述の入力及び出力に基づいて、管状構造認識モデルは、「端から端までの」管状画像認識動作を実施する。「端から端までの」認識の間、管状構造認識モデルは、まず中間結果を生成し、次いで中間結果に従って最終認識結果を獲得するという計算方式を採用せず、以て、最終認識結果の正確性に対する中間結果の正確性の影響を効果的に回避する。
【0054】
【0055】
いくつかの実施形態において、管状構造認識モデルは、特徴抽出モジュールを含んでもよい。特徴抽出モジュールは、各管状画像の中心線に従って、各管状画像の空間分布特徴及び画像特徴を処理されるべき画像から抽出するように構成される。
【0056】
いくつかの実施形態において、管状構造認識モデルに含まれる特徴抽出モジュールは、空間特徴抽出モジュール及び画像特徴抽出モジュールを含むことができる。
【0057】
空間特徴抽出モジュールは、各管状画像の空間分布画像を抽出するように構成される。画像特徴抽出モジュールは、各管状画像の画像特徴を抽出するように構成される。図２ｂに示されるように、いくつかの実施形態において、空間特徴抽出モジュールは、球座標変換（ＳＣＴＳ＾２）モジュールに基づいて実施されてもよい。画像特徴抽出モジュールは、３ＤＣＮＮ及びＬＳＴＭネットワークに基づいて実施される。他の実施形態において、空間特徴抽出モジュール及び画像特徴抽出モジュールはまた、他のアルゴリズム・モジュールによって実施されてもよく、これはこの実施形態において限定されない。
【0058】
空間特徴抽出モジュールの実行論理及び画像特徴抽出モジュールの実行論理は、少なくとも一つの管状画像内の第１の管状画像を例とすることにより以下にそれぞれ例証される。第１の管状画像は、少なくとも一つの管状画像のいずれかである。
【0059】
空間特徴抽出モジュールが空間分布特徴を抽出する方式は、管状画像の中心線に主に基づいて実施される。管状画像の中心線は、空間直交座標系（デカルト座標系とも称される）内の一連の３Ｄ座標点によって形成される。いくつかの実施形態において、空間特徴抽出モジュールは、第１の管状画像の中心線上の始点、終点、及び少なくとも一つの中点の位置座標を獲得し、点の位置座標に従って第１の管状画像の位置特徴ベクトルを生成することができる。
【0060】
位置座標の生成の間、空間特徴抽出モジュールは、点の獲得された位置座標に従って座標変換を実施し、空間直交座標系からの点の位置座標を球座標系にマッピングすることができる。
【0061】
説明は、第１の管状画像の中心線上の点Ｐ（ｘ，ｙ，ｚ）と組み合わせて以下に提供され、（ｘ，ｙ，ｚ）は、空間直交座標系ＸＹＺ内の点Ｐの３Ｄ座標である。
【0062】
球座標変換は、式（１）に従ってＰ（ｘ，ｙ，ｚ）について実施されてもよい。
【0063】
【数1】
【0064】
球座標系内の点Ｐの座標は、式１に基づいて獲得されてもよい。行列により説明される場合、点Ｐは、２×２の行列Ｍとして表現されてもよい。
【0065】
【数2】
【0066】
いくつかの実施形態において、依然として第１の管状画像を例とすると、空間特徴抽出モジュールは、第１の管状画像上の始点の位置座標及び終点の位置座標に基づいて、始点の接線ベクトル及び始点から終点までのベクトルをさらに計算することができる。空間特徴抽出モジュールは、始点の接線ベクトル及び始点から終点までのベクトルに基づいて、第１の管状画像の方向特徴ベクトルを獲得することができる。
【0067】
いくつかの実施形態において、空間特徴抽出モジュールは、少なくとも一つの管状画像の少なくとも一つのそれぞれの中心線上の点の位置座標同士の対応付け関係に従って少なくとも一つの管状画像同士の接続関係を獲得することができる。第１の管状画像を例とすると、空間特徴抽出モジュールは、第１の管状画像の始点の位置座標を抽出し、次いで、始点の位置座標が別の管状画像の中心線上の点の位置座標と一致するかどうかを決定することができる。始点の位置座標が別の管状画像の中心線上の点の位置座標と一致する場合、第１の管状画像は別の管状画像に接続されるものと見なされてもよい。
【0068】
空間特徴抽出モジュールは、位置特徴ベクトル、方向特徴ベクトル、及び接続関係のうちの一つ又は複数の組み合わせを、管状画像の空間分布特徴として見ることができ、これはこの実施形態において限定されない。
【0069】
いくつかの実施形態において、画像特徴抽出モジュールは、処理されるべき画像から、少なくとも一つの管状画像の少なくとも一つのそれぞれの中心線に従って少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの画像領域を抽出することができる。例えば、第１の管状画像を例とすると、処理されるべき画像において、画像特徴抽出モジュールは、第１の管状画像の中心線に沿って、一連の境界ボリュームを第１の管状画像に対応する画像領域として抽出することができる。境界ボリュームは、立方体又は円柱であってもよく、境界ボリュームの断面サイズは、第１の管状画像の直径を収容する。例えば、境界ボリュームの断面サイズは、第１の管状画像の直径よりもわずかに大きいか、又は管状画像の直径に等しくてもよく、これはここでは詳細に説明されない。
【0070】
少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの画像領域が獲得された後、画像特徴抽出モジュールは、ＣＮＮ及びＬＳＴＭネットワークを使用することによって、少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの画像領域に対して特徴抽出を実施して、少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの画像特徴ベクトルを獲得することができる。管状画像が３Ｄ画像であるとき、ＣＮＮは、３Ｄ管状画像に対して特徴抽出を実施するために、３ＤＣＮＮ、例えば、図２ｂに示される３ＤＣＮＮとして実装される。
【0071】
ステップ２０５において、各管状画像の空間分布特徴及び画像特徴が獲得された後、管状構造認識モデルは、各管状画像の空間分布特徴及び画像特徴を融合して、各管状画像の融合特徴を獲得することができる。融合特徴を獲得するプロセスは、依然として第１の管状画像を例とすることにより以下に例証される。
【0072】
いくつかの実施形態において、第１の管状画像の空間分布特徴及び画像特徴がベクトル形式で表されるとき、管状構造認識モデルは、第１の管状画像の空間分布特徴に対応するベクトル、及び第１の管状画像の画像特徴に対応するベクトルを接合して、第１の管状画像の特徴接合ベクトルを獲得することができる。特徴接合ベクトルは、第１の管状画像の融合特徴を表すために使用されてもよい。
【0073】
例えば、ステップ２０４の後、第１の管状画像の空間分布特徴は、位置特徴ベクトル及び方向特徴ベクトルを含み、画像特徴は、画像特徴ベクトルによって表される。次いで、管状構造認識モデルは、第１の管状画像の位置特徴ベクトル、方向特徴ベクトル、及び画像特徴ベクトルを接合して、第１の管状画像の特徴接合ベクトルを獲得することができる。
【0074】
ベクトル接合による特徴融合は、特徴融合の例示的な方式である。本出願は、この方式を含むが、これに限定されない。例えば、いくつかの他の実施形態において、第１の管状画像の空間分布特徴及び画像特徴が融合されるとき、第１の管状画像の空間分布特徴に対応するベクトル及び画像特徴に対応するベクトルは、重ね合わされてもよく、これはここでは詳細に説明されない。
【0075】
次に、ステップ２０６において、少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの融合特徴は、管状構造認識モデル内の特徴計算モジュールに入力される。特徴計算モジュールとは、設定されたモデル・パラメータに従って入力データから特徴を抽出するように構成される、管状構造認識モデル内のモジュール、例えば、ＣＮＮ内の畳み込みモジュールを指す。いくつかの実施形態において、管状構造認識モデルが図２ｂに示される構造として実施されるとき、特徴計算モジュールは、ＧＣＮ内のグラフ畳み込みモジュールとして実施されてもよい。
【0076】
ＧＣＮは、グラフ構造データについて優れた学習性能を有し、空間構造特徴を有する管状画像の特徴を処理するのに好適である。したがって、ＧＣＮの利点を十分に活用するため、管状構造認識モデルは、少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの融合特徴をグラフ畳み込みモジュールに入力する前に、以下の動作、すなわち、少なくとも一つの管状画像の空間構造特徴に従って、少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの融合特徴を構造化して、グラフ構造データをグラフ畳み込みモジュールの入力データとして獲得することをさらに実施することができる。これに基づいて、グラフ畳み込みモジュールは、管状画像に反映される構造特徴をさらに十分に活用することができ、これが、グラフ畳み込みモジュールによって抽出される特徴の信頼性及び可用性をさらに向上させることにつながる。
【0077】
先述のステップの説明に基づいて、管状構造認識モデルによって獲得される少なくとも一つの管状画像の少なくとも一つの空間分布特徴は、少なくとも一つの管状画像同士の接続関係を含むことができる。これに基づいて、管状構造認識モデルは、少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの融合特徴をノードとして見ることにより、少なくとも一つの管状画像同士の接続関係に従って構造グラフを生成（描写など）し、構造グラフをグラフ畳み込みモジュールの入力データとして見ることができる。構造グラフは、グラフ構造データであり、これは少なくとも一つの管状画像の融合特徴の接続関係を反映するだけでなく、少なくとも一つの管状画像の融合特徴も含むことができる。構造グラフを獲得するための実施形態は、管状画像が血管画像として実装されている例を見ることにより、添付の図面を参照して以下に例証される。
【0078】
図２ｃは、血管樹内の血管画像同士の接続関係に従って描写することにより獲得される構造グラフを例証する。図２ｃにおいて、ノードは、血管樹内の各血管画像の融合特徴である。接続関係が２つの血管画像の間に存在する場合、２つの血管画像に対応する融合特徴は、線分を使用して接続されてもよい。例えば、血管樹内では、主血管１は、枝血管３及び枝血管７に接続される。構造グラフ内では、相応して、線分が、主血管１の融合特徴と枝血管３の融合特徴との間に追加されてもよく、及び線分が、主血管１の融合特徴と枝血管７の融合特徴との間に追加されてもよい。ステップ２０７において、グラフ畳み込みモジュールは、図２ｂに示されるように、複数のＧＣＮ層を含むことができる。ＧＣＮ層の量は、実際の要件に従って設定されてもよく、これは、例えば、３、４、５、又は同様のものに設定されてもよく、この実施形態において限定されない。
【0079】
ＧＣＮ層の処理論理は、複数のＧＣＮ層内の第１のＧＣＮ層を例とすることにより以下に例証される。第１のＧＣＮ層は、グラフ畳み込みモジュール内の任意のＧＣＮ層である。限定のためにここで使用される「第１の」は、説明及び区別の簡便性のためにすぎず、配置順序又はランクを制限しない。
【0080】
グラフ畳み込みモジュールにおいて、各ＧＣＮ層の入力は、グラフ構造データであり、出力もまたグラフ構造データである。すなわち、各ＧＣＮ層は、入力された構造グラフに対して特徴抽出を実施し、この動作後に獲得される構造グラフを出力して、構造グラフを次の層へ伝送することができる。説明を容易にするため、第１のＧＣＮ層に入力されるグラフ構造データは、第１の構造グラフとして説明される。
【0081】
いくつかの実施形態において、第１のＧＣＮ層がグラフ畳み込みモジュール内の初期ＧＣＮ層である場合、第１の構造グラフは、グラフ畳み込みモジュールの入力データに含まれる構造グラフ、すなわち、少なくとも一つの管状画像の融合特徴及び少なくとも一つの管状画像同士の接続関係に従って前のステップにおいて描写される構造グラフである。いくつかの実施形態において、第１のＧＣＮ層がグラフ畳み込みモジュール内の初期ＧＣＮ層ではない場合、第１の構造グラフは、第１のＧＣＮ層の前のＧＣＮ層によって出力される構造グラフに従って獲得されてもよい。
【0082】
第１のＧＣＮ層において、第１の構造グラフは、第２の構造グラフを獲得するために、第１のＧＣＮ層に入力される第１の構造グラフ内のノードと第１のＧＣＮ層のモデル・パラメータとの接続関係に従って更新されてもよい。
【0083】
第１の構造グラフを更新するプロセスは、第１の構造グラフ上の各ノードの融合特徴を更新するプロセスとして実施されてもよい。例証は、第１の構造グラフ内の第１のノードを例とすることにより以下に提供される。第１のノードは、第１の構造グラフ上の任意のノードである。
【0084】
いくつかの実施形態において、第１のノードについて、第１のノードに接続される第２のノードは、第１の構造グラフから獲得されてもよい。第２のノードの量は、異なる接続に応じて、一つ又はそれ以上であってもよい。次に、特徴融合動作が、第１のノードに対応する融合特徴及び一つ又は複数の第２のノードに対応する一つ又は複数の融合特徴に対して実施され、第１のノードに対応する融合特徴は、特徴融合動作により獲得される特徴に従って更新される。
【0085】
例えば、図２ｃを例とすると、ノード１に接続されるノードは、ノード２、ノード６、及びノード７である。次に、ノード１に対応する融合特徴、ノード２に対応する融合特徴、ノード６に対応する融合特徴、及びノード７に対応する融合特徴の平均値が計算されてもよく、計算により獲得される平均値は、ノード１の新規の融合特徴として見られる。
【0086】
いくつかの実施形態において、特徴融合動作が第１のノードに対応する融合特徴及び一つ又は複数の第２のノードに対応する一つ又は複数の融合特徴に対して実施される方式は、第１のノードに対応する融合特徴及び一つもしくは複数の第２のノードに対応する一つもしくは複数の融合特徴の平均を計算すること、又は、設定された重みに従って、第１のノードに対応する融合特徴及び一つもしくは複数の第２のノードに対応する一つもしくは複数の融合特徴の重み付けされた合計値を計算することを含むことができる。この実施形態は、この方式を含むが、これに限定されない。
【0087】
先述の方式に基づいて、第１の構造グラフ上の各ノードに対応する融合特徴が更新されてもよい。第１の構造グラフに対する更新動作が完了した後、第１のＧＣＮ層は、第１のＧＣＮ層のモデル・パラメータ及び第２の構造グラフに従って第１のＧＣＮ層の出力データを獲得することができる。
【0088】
いくつかの実施形態において、ＧＣＮ層間での管状画像の特徴の伝送の効果をさらに向上させ、管状構造の認識の正確性を向上させるために、残差アルゴリズムがＧＣＮ層に導入される。残差アルゴリズムにおいては、ＧＣＮ層のデータ処理動作を実施した後、各ＧＣＮ層は、ＧＣＮ層の処理結果及びＧＣＮ層の入力データをＧＣＮ層の出力データとして見ることができる。例証は、依然として第１のＧＣＮ層と併せて以下に提供される。
【0089】
いくつかの実施形態において、第１のＧＣＮ層のモデル・パラメータ及び第２の構造グラフに従って第１のＧＣＮ層の出力データを獲得するとき、第１のＧＣＮ層は、以下のステップを実施することができる。
【0090】
まず、特徴抽出が、第１のＧＣＮ層のモデル・パラメータに従って第２の構造グラフに対して実施されて、第３の構造グラフを獲得する。次に、第１のＧＣＮ層がグラフ畳み込みモジュール内の初期グラフ畳み込み層である場合、少なくとも一つの管状画像の少なくとも一つの空間分布特徴及び第３の構造グラフが重ね合わされて、第１のＧＣＮ層の出力データとしての役割を果たし、第１のＧＣＮ層が初期グラフ畳み込み層ではない場合、第１のＧＣＮ層の前のグラフ畳み込み層の出力データ及び第３の構造グラフが重ね合わせられて、第１のＧＣＮ層の出力データとしての役割を果たすことができる。
【0091】
先述に基づいて、管状画像の空間分布特徴は、モデルの深化に伴ってＧＣＮ層間でより良好に伝送されることができる。
【0092】
残差アルゴリズムの導入に基づいて、以下のステップがさらに実施されてもよい。
【0093】
いくつかの実施形態において、次のＧＣＮ層の入力データは、ＧＣＮ層間での管状画像の画像特徴の伝送の効果をさらに強化し、管状構造認識プロセスへの画像特徴の貢献を強化するために、前のＧＣＮ層の出力データ及び少なくとも一つの管状画像の画像特徴によって形成されてもよい。
【0094】
依然として第１のＧＣＮ層を例として、いくつかの実施形態において、第１のＧＣＮ層の出力データが獲得された後、特徴融合が、第２のＧＣＮ層の入力データとしての役割を果たすように、第１のＧＣＮ層の出力データ及び画像特徴の少なくとも一つの管状画像に対して実施されてもよい。第２のＧＣＮ層は、第１のＧＣＮ層の次のＧＣＮ層である。いくつかの実施形態において、特徴融合動作は、ベクトル接合動作であり、これはここでは詳細に説明されない。
【0095】
ＧＣＮ層間でのデータ伝送のプロセスは、図２ｄを例とすることにより以下に例証される。
【0096】
図２ｄでは、円は、ベクトル接合動作を示すことができ、Ｘ及びＹは、管状画像の空間分布特徴及び画像特徴をそれぞれ示す。グラフ畳み込みモジュールは、３つのＧＣＮ層：ＧＣＮ層１、ＧＣＮ層２、及びＧＣＮ層３を含む。
【0097】
Ｘ及びＹの接合後に獲得される接合ベクトル（Ｘ，Ｙ）は、グラフ畳み込みモジュールへ入力され、すなわち、ＧＣＮ層１への入力は、（Ｘ，Ｙ）である。（Ｘ，Ｙ）に基づいたＧＣＮ層１の計算結果がＧ１（Ｘ，Ｙ）によって表される場合、ＧＣＮ層１の出力データは、Ｘ’＝Ｇ１（Ｘ，Ｙ）＋Ｘである。
【0098】
次に、ＧＣＮ層１の出力データＸ’がＹと接合されて、ＧＣＮ層２に入力される接合ベクトル（Ｘ’，Ｙ）を獲得する。（Ｘ’，Ｙ）に基づいたＧＣＮ層２の計算結果がＧ２（Ｘ’，Ｙ）によって表される場合、ＧＣＮ層２の出力データは、Ｘ’’＝Ｇ１（Ｘ’，Ｙ）＋Ｘ’である。
【0099】
次に、ＧＣＮ層２の出力データＸ’’がＹと接合されて、ＧＣＮ層３に入力される接合ベクトル（Ｘ’’，Ｙ）を獲得する。（Ｘ’’，Ｙ）に基づいたＧＣＮ層３の計算結果がＧ３（Ｘ’’，Ｙ）によって表される場合、ＧＣＮ層３の出力データは、Ｘ’’’＝Ｇ１（Ｘ’’，Ｙ）＋Ｘ’’である。
【0100】
ステップ２０７において、グラフ畳み込みモジュールの計算結果は、管状構造認識モデル内の全結合層に伝送される。全結合層では、少なくとも一つの管状画像が既知の管状構造に属する可能性が、グラフ畳み込みモジュールの出力に従って計算されてもよく、少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの管状構造は、この可能性に従って出力される。
【0101】
この実施形態において、管状構造は、処理されるべき画像に含まれる管状画像の空間分布特徴及び画像特徴に従って認識され、管状構造の複数の複雑な特徴は、認識根拠として見ることができ、処理されるべき画像により提供される管状構造の様々な異なる情報は、完全に使用されることができ、これは管状画像の認識結果を向上させることにつながる。
【0102】
例えば、管状構造が血管であるとき、血管造影画像上の血管は、提供される実施形態に基づいてより正確に認識されることができ、これは病変分析の効率を向上させることにつながる。
【0103】
さらには、この実施形態において、ＧＣＮは、血管認識中に血管の空間的構造を十分に活用することができる血管画像の特徴を処理するための管状構造認識モデルにおいて使用され、主血管に対する枝血管の依存性を減少させ、枝血管の認識結果に対する主血管の認識結果の影響をある程度まで減少させる。加えて、各ＧＣＮ層の出力データがＧＣＮ層の入力データ及びこの入力データに基づいたＧＣＮ層の計算結果を含むように、残差計算方式がこの実施形態においては導入され、これはＧＣＮ層内の特徴の効果的な伝送及び血管認識の正確性の向上につながる。
【0104】
いくつかの実施形態において、血管造影画像上の少なくとも一つの血管画像にそれぞれ対応する少なくとも一つの血管が認識された後、少なくとも一つの血管画像にそれぞれ対応する少なくとも一つの血管名は、ユーザが血管認識結果を見るために、血管造影画像上にさらに表示されてもよい。
【0105】
いくつかの実施形態において、ユーザは、実際の状況に従って血管認識結果を修正することができる。例えば、ユーザは、少なくとも一つの血管画像のいずれか又は血管名のいずれかをダブル・クリックして、名前修正動作を開始することができる。少なくとも一つの血管画像のいずれかに対する名前修正動作に応答して、修正された血管名が獲得されてもよく、また修正された血管名が表示されてもよい。いくつかの実施形態において、修正された血管名は、管状構造認識モデルを繰り返し再訓練して管状構造認識モデルをさらに最適化するために、管状構造認識モデルの真値として見られてもよい。
【0106】
いくつかの実施形態において、各血管名が属する一つ又は複数の健康な血管の血管造影図から獲得される画像がさらに獲得されて、参照画像としての役割を果たすことができる。例えば、血管造影画像に含まれる３つの血管造影図の血管名は、ＬＣＡ、ＬＣＸ、及びＬＡＤである。次いで、健康な状態にあるＬＣＡ、ＬＣＸ、及びＬＡＤの血管造影画像が獲得され、参照画像としての役割を果たすことができる。
【0107】
次に、参照画像及び少なくとも一つの血管画像は、比較及び表示されてもよい。そのような比較及び表示方式は、少なくとも一つの血管造影画像内に例外があるかどうかをユーザが素早く見るのを促進することができる。
【0108】
いくつかの実施形態において、血管名が属する健康な血管の形状特徴は、各血管名が属する一つ又は複数の健康な血管の血管造影図から獲得される画像に基づいて獲得されてもよい。形状特徴は、方向特徴、直径特徴、壁厚特徴、及び同様のものを含むことができ、これはこの実施形態において限定されない。次に、少なくとも一つの血管画像の形状特徴は、健康な血管の形状特徴と比較されてもよく、少なくとも一つの血管画像内の異常状態にある血管画像は、比較の結果に従って決定されて、標的血管画像としての役割を果たすことができる。
【0109】
次いで、標的血管画像は、目立って表示されてもよい。いくつかの実施形態において、標的血管画像が目立って表示される方式は、標的血管を強調表示すること、標的血管にスター記号を追加すること、標的血管を部分的に拡大すること、及び表示用に標的血管を選択することを含むことができるが、これはこの実施形態において限定されない。そのような方式に基づいて、ユーザは、能動的に例外を求められる場合があり、以て、血管造影画像に対する分析についてのユーザの効率を向上させる。
【0110】
本出願の先述及び以下の実施形態に使用される管状構造認識モデルが血管認識のために構成されるとき、大量の血管造影画像が、図２ｂに例証されるモデル構造に基づいたモデル訓練のための訓練サンプルとして扱われてもよい。訓練中、使用される損失関数は、交差エントロピー損失関数であってもよく、これはここでは詳細に説明されない。
【0111】
【0112】
ステップ３０１。処理されるべき画像を獲得することであって、処理されるべき画像が少なくとも一つの管状画像を含む、獲得すること。
【0113】
ステップ３０２。処理されるべき画像を管状構造認識モデルに入力して、少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの認識結果を獲得することであって、管状構造認識モデル内の特徴計算層の出力データが、特徴計算層の入力データの一部分、及び入力データに基づいた特徴計算層の計算結果を含む、獲得すること。
【0114】
いくつかの実施形態において、管状構造認識モデルは、ＣＮＮ、ＤＮＮ、ＧＣＮ、ＲＮＮ、及びＬＳＴＭのうちの一つ又は複数を含むことができ、これはこの実施形態において限定されない。
【0115】
いくつかの実施形態において、処理されるべき画像上の管状構造の画像特徴及び空間分布特徴を十分に活用するため、管状構造認識モデルは、図２ｂに示される構造として実装されてもよい。相応して、特徴計算層は、図２ｂに示されるＧＣＮ層として実装されてもよい。
【0116】
この実施形態において、特徴計算層の出力データは、特徴計算層の入力データの一部分、及び入力データに基づいた特徴計算層の計算結果を含む。
【0117】
いくつかの実施形態において、特徴計算層が初期特徴計算層である場合、特徴計算層の入力データの一部分は、少なくとも一つの管状画像の少なくとも一つの空間分布特徴であり、このとき特徴計算層の出力データは、少なくとも一つの管状画像の少なくとも一つの空間分布特徴、及び特徴計算層の入力データに基づいた特徴計算層の計算結果を含むことができる。
【0118】
特徴計算層が初期特徴計算層ではない場合、特徴計算層の入力データの一部分は、前の特徴計算層の出力データである。このとき、特徴計算層の出力データは、前の特徴計算層の出力データ、及び特徴計算層の入力データに基づいた特徴計算層の計算結果を含むことができる。
【0119】
いくつかの実施形態において、特徴計算層が初期特徴計算層ではない場合、特徴計算層の入力データは、前の特徴計算層の出力データ及び少なくとも一つの管状画像のそれぞれの画像特徴を融合することにより獲得される融合特徴を含む。詳細は、図２ｄ及び先述の実施形態の説明を参照して得ることができ、これはここでは詳細に説明されない。
【0120】
先述に基づいて、モデルの漸進的深化に伴って、特徴計算層に入力されるデータ及び特徴計算層の計算結果データは、特徴計算層間で効果的に伝送されることができ、これは管状構造認識の正確性を向上させることにつながる。
【0121】
【0122】
ステップ４０１。処理されるべき画像を獲得することであって、処理されるべき画像が少なくとも一つの管状画像を含む、獲得すること。
【0123】
ステップ４０２。処理されるべき画像を管状構造認識モデルに入力して、少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの認識結果を獲得することであって、管状構造認識モデル内の第１の特徴計算層の出力データが、第１の特徴計算層により、第１の特徴計算層の入力データに基づいた第１の特徴計算層の計算結果及び少なくとも一つの管状画像の少なくとも一つの空間分布特徴を重ね合わせることによって獲得され、第１の特徴計算層の後に位置する第２の特徴計算層の入力データが、第１の特徴計算層の出力データ及び少なくとも一つの管状画像の少なくとも一つのそれぞれの画像特徴を融合することにより獲得される融合特徴を含む、獲得すること。
【0124】
いくつかの実施形態において、管状構造認識モデルは、ＧＣＮを含み、第２の特徴計算層の入力データは、ノードとして融合特徴を有する構造グラフを含む。詳細は、先述の実施形態の説明を参照して得ることができ、これはここでは詳細に説明されない。
【0125】
この実施形態において、前の特徴計算層の出力データが次の特徴計算層へ入力されるとき、少なくとも一つの管状画像のそれぞれの特徴が、まとめて入力データとしての役割を果たすために導入されてもよく、これは、ＧＣＮ層間での少なくとも一つの管状画像の画像特徴の伝送の効果をさらに強化し、管状構造認識のプロセスへの画像特徴の貢献を強化することができる。
【0126】
【0127】
ステップ５０１。処理されるべき画像を獲得することであって、処理されるべき画像が少なくとも一つの管状画像を含む、獲得すること。
【0128】
ステップ５０２。処理されるべき画像を管状構造認識モデルに入力して、少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの認識結果を獲得することであって、管状構造認識モデルがＧＣＮを含み、ＧＣＮの入力データが、ノードとして少なくとも一つの管状画像のそれぞれの特徴を有する構造グラフを含む、獲得すること。
【0129】
いくつかの実施形態において、少なくとも一つの管状画像の特徴は、少なくとも一つの管状画像の少なくとも一つのそれぞれの少なくとも一つの空間分布特徴、又は少なくとも一つの管状画像の少なくとも一つのそれぞれの画像特徴、又は少なくとも一つの管状画像の少なくとも一つのそれぞれの空間分布特徴及び画像特徴の少なくとも一つの融合特徴を含む。
【0130】
この実施形態において、ＧＣＮに基づいた管状構造認識モデルの構築は、グラフ構造データのためのＧＣＮの処理能力を存分に発揮し、管状構造認識の間、管状画像の空間構造特徴を十分に活用することができ、以て、管状構造認識結果の正確性をさらに向上させる。
【0131】
先述の実施形態に提供される各方法のステップはすべて、同じデバイスによって実施されてもよく、又は各方法は、異なるデバイスによって実施されてもよい。例えば、ステップ２０１～ステップ２０４は、デバイスＡによって実施されてもよい。別の例では、ステップ２０１及びステップ２０２は、デバイスＡによって実施されてもよく、ステップ２０３は、デバイスＢによって実施されてもよい、などである。
【0132】
さらには、先述の実施形態及び添付の図面に説明されるプロセスのうちのいくつかは、何らかの順序で発生する複数の動作を含む。しかしながら、この動作は、動作が本明細書において発生する順序で実施されなくてもよいこと、又は並行して実施されてもよいことを明白に理解されたい。２０１及び２０２などの動作の通し番号は、異なる動作を区別するために使用されるにすぎず、この通し番号は、実行の任意の順序を表すものではない。加えて、プロセスは、より多く又はより少ない動作を含むことができ、動作は、順に実施されるか、又は並行して実施されてもよい。
【0133】
「第１」、「第２」、及び本明細書内の他の説明は、異なるメッセージ、デバイス、モジュール、及び同様のものを区別するために使用され、順番を表すものでも、「第１」及び「第２」を異なるタイプとするものでもないということに留意されたい。
【0134】
本出願の実施形態によるデータ処理方法の典型的なアプリケーション・シナリオは、図６を参照して以下に例証される。
【0135】
本出願の実施形態によるデータ処理方法は、冠動脈性心疾患の診断に適用されてもよい。患者の冠動脈血管造影画像が獲得された後、冠動脈血管造影画像及び冠動脈樹の中心線が、データ処理デバイスに入力されてもよい。データ処理デバイスは、冠動脈血管造影画像上の血管を認識し、血管認識結果を含む画像を出力するために、先述の実施形態に提供される方法を実施することができる。血管認識結果は、図６に示されるＡ～Ｇなど、冠動脈枝の命名結果を含む。冠動脈枝の命名結果に基づいて、ＣＡＤシステムは、冠動脈樹を再構築し、狭窄／プラークを検出及び診断し、最後に診断レポートを生成することができる。診断レポートは、医師に疾病の診断についての追加情報を提供することができ、以て、医師の作業効率を向上させる。
【0136】
【0137】
メモリ７０１は、コンピュータ命令を記憶するように構成され、また、データ処理デバイス上での動作をサポートするために様々な他のデータを記憶するように構成されてもよい。例えば、データは、任意のアプリケーション又は方法がデータ処理デバイス上で動作するための命令、コンタクト・データ、電話帳データ、メッセージ、画像、動画、及び同様のものを含む。
【0138】
メモリ７０１は、スタティック・ランダム・アクセス・メモリ（ＳＲＡＭ）、電気的消去可能プログラマブル・リードオンリ・メモリ（ＥＥＰＲＯＭ）、消去可能プログラマブル・リードオンリ・メモリ（ＥＰＲＯＭ）、プログラマブル・リードオンリ・メモリ（ＰＲＯＭ）、リードオンリ・メモリ（ＲＯＭ）、磁気メモリ、フラッシュ・メモリ、磁気ディスク、又は光学ディスクなど、任意のタイプの揮発性もしくは不揮発性ストレージ・デバイス又はそれらの組み合わせによって実装されてもよい。
【0139】
プロセッサ７０２は、メモリ７０１に結合され、処理されるべき画像を獲得することであって、処理されるべき画像が、少なくとも一つの管状画像を含む、獲得すること、少なくとも一つの管状画像の少なくとも一つのそれぞれの空間分布特徴及び画像特徴を計算すること、及び少なくとも一つの管状画像の少なくとも一つのそれぞれの空間分布特徴及び画像特徴に従って、少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの管状構造を認識することを行うために、メモリ７０１内のコンピュータ・プログラムを実行するように構成される。
【0140】
いくつかの実施形態において、少なくとも一つの管状画像の少なくとも一つのそれぞれの空間分布特徴及び画像特徴を計算するとき、プロセッサ７０２は、処理されるべき画像から、少なくとも一つの管状画像の少なくとも一つのそれぞれの中心線を獲得し、少なくとも一つの管状画像の少なくとも一つのそれぞれの中心線に従って少なくとも一つの管状画像の少なくとも一つのそれぞれの空間分布特徴及び画像特徴を抽出するように構成される。
【0141】
いくつかの実施形態において、少なくとも一つの管状画像のいずれかについて、少なくとも一つの管状画像の少なくとも一つのそれぞれの中心線に従って少なくとも一つの管状画像の少なくとも一つのそれぞれの空間分布特徴及び画像特徴を抽出するとき、プロセッサ７０２は、少なくとも一つの管状画像のいずれかについて、管状画像の中心線上の始点、終点、及び少なくとも一つの中点の位置座標に従って管状画像の位置特徴ベクトルを生成し、その管状画像について、始点の接線ベクトル及び終点を指す始点のベクトルに従って管状画像の方向特徴ベクトルを獲得し、少なくとも一つの管状画像の少なくとも一つのそれぞれの中心線上の点の位置座標同士の対応付け関係に従って少なくとも一つの管状画像同士の接続関係を獲得するように構成される。
【0142】
いくつかの実施形態において、少なくとも一つの管状画像の少なくとも一つのそれぞれの中心線に従って少なくとも一つの管状画像の少なくとも一つのそれぞれの空間分布特徴及び画像特徴を抽出するとき、プロセッサ７０２は、処理されるべき画像から、少なくとも一つの管状画像の少なくとも一つのそれぞれの中心線に従って少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの画像領域を抽出し、ＣＮＮ及びＬＳＴＭアルゴリズムを使用することによって、少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの画像領域に対して特徴抽出を実施して、少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの画像特徴ベクトルを獲得するように構成される。
【0143】
いくつかの実施形態において、少なくとも一つの管状画像の少なくとも一つのそれぞれの空間分布特徴及び画像特徴に従って少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの管状構造を認識するとき、プロセッサ７０２は、管状構造認識モデルに基づいて、少なくとも一つの管状画像にそれぞれ対応する空間分布特徴及び画像特徴の融合特徴を獲得し、少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの融合特徴を、管状構造認識モデル内の特徴計算モジュールの入力データとして見て、特徴計算モジュールにおいて、入力データ及び設定されたモデル・パラメータに従って計算して、特徴計算モジュールの出力データを獲得し、管状構造認識モデルの全結合層に基づいて、特徴計算モジュールの出力データに従って少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの管状構造を認識するように構成される。
【0144】
いくつかの実施形態において、少なくとも一つの管状画像にそれぞれ対応する空間分布特徴及び画像特徴の融合特徴を獲得するとき、プロセッサ７０２は、少なくとも一つの管状画像のいずれかについて、管状画像の空間分布特徴に対応するベクトル、及び管状画像の画像特徴に対応するベクトルを接合して、管状画像の特徴接合ベクトルを獲得し、少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの融合特徴として、少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの特徴接合ベクトルを獲得するように構成される。
【0145】
いくつかの実施形態において、管状構造認識モデルはＧＣＮを含み、少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの融合特徴を、管状構造認識モデル内の特徴計算モジュールの入力データとして見るとき、プロセッサ７０２は、少なくとも一つの管状画像の少なくとも一つの空間分布特徴から少なくとも一つの管状画像同士の接続関係を獲得し、少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの融合特徴をノードとして見ることによって少なくとも一つの管状画像同士の接続関係に従って構造グラフを描写し、構造グラフを特徴計算モジュールの入力データとして見るように構成される。
【0146】
いくつかの実施形態において、特徴計算モジュールは複数のグラフ畳み込み層を含み、特徴計算モジュールにおいて、入力データ及び設定されたモデル・パラメータに従って計算して、特徴計算モジュールの出力データを獲得するとき、プロセッサ７０２は、複数のグラフ畳み込み層内の第１のグラフ畳み込み層に基づいて、第１の構造グラフ内のノード同士の入力接続関係に従って第１の構造グラフを更新して第２の構造グラフを獲得し、第１のグラフ畳み込み層のモデル・パラメータ及び第２の構造グラフに従って第１のグラフ畳み込み層の出力データを獲得するように構成され、第１のグラフ畳み込み層が初期グラフ畳み込み層である場合、第１の構造グラフは入力データに含まれる構造グラフであり、第１のグラフ畳み込み層が初期グラフ畳み込み層ではない場合、第１の構造グラフは、第１のグラフ畳み込み層の前のグラフ畳み込み層によって出力される構造グラフに従って獲得される。
【0147】
いくつかの実施形態において、第１の構造グラフ内のノード同士の入力接続関係に従って第１の構造グラフを更新して第２の構造グラフを獲得するとき、プロセッサ７０２は、第１の構造グラフ内の第１のノードについて、第１の構造グラフから第１のノードに接続される第２のノードを獲得し、第１のノードに対応する融合特徴及び第２のノードに対応する融合特徴に対して特徴融合動作を実施し、特徴融合動作後に獲得される特徴に従って、第１のノードに対応する融合特徴を更新するように構成される。
【0148】
いくつかの実施形態において、第１のグラフ畳み込み層のモデル・パラメータ及び第２の構造グラフに従って第１のグラフ畳み込み層の出力データを獲得するとき、プロセッサ７０２は、第１のグラフ畳み込み層のモデル・パラメータに従って第２の構造グラフに対して特徴抽出を実施して、第３の構造グラフを獲得し、第１のグラフ畳み込み層が初期グラフ畳み込み層である場合、第１のグラフ畳み込み層の出力データとしての役割を果たすように少なくとも一つの管状画像の少なくとも一つの空間分布特徴及び第３の構造グラフを重ね合わせ、第１のグラフ畳み込み層が初期グラフ畳み込み層ではない場合、第１のグラフ畳み込み層の出力データとしての役割を果たすように前のグラフ畳み込み層の出力データ及び第３の構造グラフを重ね合わせるように構成される。
【0149】
いくつかの実施形態において、少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの管状構造を認識した後、プロセッサ７０２は、血管造影画像上に、少なくとも一つの血管画像にそれぞれ対応する少なくとも一つの血管名を表示するようにさらに構成される。
【0150】
いくつかの実施形態において、プロセッサ７０２は、少なくとも一つの血管画像のいずれかについての名前修正動作に応答して、修正された血管名を獲得し、修正された血管名を表示し、修正された血管名に従って管状構造認識モデルを最適化するようにさらに構成される。
【0151】
いくつかの実施形態において、プロセッサ７０２は、少なくとも一つの血管名が属する少なくとも一つの健康な血管の血管造影図から獲得される参照画像を獲得し、この参照画像及び少なくとも一つの血管画像を比較及び表示するようにさらに構成される。
【0152】
いくつかの実施形態において、プロセッサ７０２は、少なくとも一つの血管名のうちの一つが属する健康な血管の形状特徴を獲得し、少なくとも一つの血管画像の形状特徴を健康な血管の形状特徴と比較し、比較の結果に従って、少なくとも一つの血管画像内の異常状態にある標的血管画像を決定し、標的血管画像を目立って表示するようにさらに構成される。
【0153】
いくつかの実施形態において、プロセッサ７０２は、第２のグラフ畳み込み層の入力データとしての役割を果たすように、第１のグラフ畳み込み層の出力データ及び少なくとも一つの管状画像の画像特徴に対して特徴融合を実施するようにさらに構成される。第２のグラフ畳み込み層は、第１のグラフ畳み込み層の次のグラフ畳み込み層である。
【0154】
さらに、図７に示されるように、データ処理デバイスは、通信構成要素７０３、ディスプレイ７０４、電力構成要素７０５、及び他の構成要素をさらに含む。図７は、いくつかの構成要素のみを例証し、これは、データ処理デバイスが図７に示される構成要素だけを含むことを意味するものではない。
【0155】
通信構成要素７０３は、通信構成要素が配置されるデバイスと他のデバイスとの間の有線又はワイヤレス通信を促進するように構成される。通信構成要素が配置されるデバイスは、Ｗｉ－Ｆｉ、２Ｇ、３Ｇ、４Ｇ、又は５Ｇ、又はそれらの組み合わせなどの通信規格に基づいてワイヤレス・ネットワークに接続されてもよい。一実施形態において、通信構成要素は、ブロードキャスト・チャネルを介して外部ブロードキャスト管理システムからブロードキャスト信号又はブロードキャスト関連情報を受信する。一実施形態において、通信構成要素は、近距離無線通信（ＮＦＣ）技術、無線周波数認識（ＲＦＩＤ）技術、赤外線データ協会（ＩｒＤＡ）技術、超広帯域（ＵＷＢ）技術、ブルートゥース（ＢＴ）技術、及び他の技術に基づいて実装されてもよい。
【0156】
ディスプレイ７０４は、スクリーンを含む。ディスプレイのスクリーンは、液晶ディスプレイ（ＬＣＤ）及びタッチ・パネル（ＴＰ）を含むことができる。スクリーンがＴＰを含む場合、スクリーンは、ユーザからの入力信号を受信するためのタッチ・パネルとして実装されてもよい。ＴＰは、ＴＰ上のタッチ、スライド、及びジェスチャを感知するための一つ又は複数のタッチ・センサを含む。タッチセンサ（複数可）は、タッチ又はスライド動作の境界を感知するだけでなく、タッチ又はスライド動作と関連付けられた持続時間及び圧力を検出することができる。
【0157】
電力構成要素７０５は、電力構成要素が配置されるデバイスの様々な構成要素のための電力を提供する。電力構成要素は、電力構成要素が配置されるデバイスのための電力生成、管理、及び分配と関連付けられた、電力管理システム、一つ又は複数の電源、並びに他の構成要素を含むことができる。
【0158】
この実施形態において、データ処理デバイスは、処理されるべき画像に含まれる管状画像の空間分布特徴及び画像特徴に従って管状構造を認識し、管状構造の複数の複雑な特徴を認識根拠として見ることができ、また処理されるべき画像によって提供される管状構造の様々な異なる情報を十分に活用することができ、これは、管状画像の認識結果を向上させること、及び病変分析の効率を向上させることにつながる。
【0159】
図７に例証されるデータ処理デバイスは、先述の実施形態において説明されるデータ処理論理に従うデータ処理動作に加えて、以下に説明されるデータ処理論理に従うデータ処理動作をさらに実施することができる。
【0160】
実行論理１：プロセッサ７０２は、処理されるべき画像を獲得することであって、処理されるべき画像が少なくとも一つの管状画像を含む、獲得すること、及び処理されるべき画像を管状構造認識モデルに入力して、少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの認識結果を獲得することであって、管状構造認識モデル内の特徴計算層の出力データが、特徴計算層の入力データの一部分、及び入力データに基づいた特徴計算層の計算結果を含む、獲得することを行うように構成される。
【0161】
いくつかの実施形態において、特徴計算層が初期特徴計算層である場合、特徴計算層の入力データの一部分は、少なくとも一つの管状画像の少なくとも一つの空間分布特徴である。
【0162】
特徴計算層が初期特徴計算層ではない場合、特徴計算層の入力データの一部分は、前の特徴計算層の出力データである。
【0163】
いくつかの実施形態において、特徴計算層が初期特徴計算層ではない場合、特徴計算層の入力データは、前の特徴計算層の出力データ及び少なくとも一つの管状画像のそれぞれの画像特徴を融合することにより獲得される融合特徴を含む。
【0164】
実行論理２：プロセッサ７０２は、処理されるべき画像を獲得することであって、処理されるべき画像が少なくとも一つの管状画像を含む、獲得すること、並びに処理されるべき画像を管状構造認識モデルに入力して、少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの認識結果を獲得することであって、管状構造認識モデル内の第１の特徴計算層の出力データが、第１の特徴計算層により、第１の特徴計算層の入力データに基づいた第１の特徴計算層の計算結果及び少なくとも一つの管状画像の少なくとも一つの空間分布特徴を重ね合わせることによって獲得され、第１の特徴計算層の後に位置する第２の特徴計算層の入力データが、第１の特徴計算層の出力データ及び少なくとも一つの管状画像のそれぞれの画像特徴を融合することにより獲得される融合特徴を含む、獲得することを行うように構成される。
【0165】
いくつかの実施形態において、管状構造認識モデルは、ＧＣＮを含み、第２の特徴計算層の入力データは、ノードとして融合特徴を有する構造グラフを含む。
【0166】
実行論理３：プロセッサ７０２は、処理されるべき画像を獲得することであって、処理されるべき画像が少なくとも一つの管状画像を含む、獲得すること、及び処理されるべき画像を管状構造認識モデルに入力して、少なくとも一つの管状画像にそれぞれ対応する少なくとも一つの認識結果を獲得することであって、管状構造認識モデルがＧＣＮを含み、ＧＣＮの入力データが、ノードとして少なくとも一つの管状画像のそれぞれの特徴を有する構造グラフを含む、獲得することを行うように構成される。
【0167】
いくつかの実施形態において、少なくとも一つの管状画像の特徴は、少なくとも一つの管状画像の少なくとも一つのそれぞれの少なくとも一つの空間分布特徴、又は少なくとも一つの管状画像の少なくとも一つのそれぞれの画像特徴、又は少なくとも一つの管状画像の少なくとも一つのそれぞれの空間分布特徴及び画像特徴の少なくとも一つの融合特徴を含む。
【0168】
相応して、本出願の実施形態は、コンピュータ・プログラムを記憶するコンピュータ可読記憶媒体をさらに提供する。コンピュータ・プログラムは、実行されると、先述の方法実施形態における、データ処理デバイスによって実行されてもよい様々なステップを実施することができる。
【0169】
相応して、本出願の実施形態は、コンピュータ・プログラムを記憶するコンピュータ可読記憶媒体をさらに提供する。コンピュータ・プログラムは、実行されると、先述の方法実施形態における、サーバによって実行されてもよい様々なステップを実施することができる。
【0170】
当業者は、本出願の実施形態が、方法、システム、又はコンピュータ・プログラム製品として提供されてもよいことを理解するものとする。したがって、本出願は、完全ハードウェア実施形態、完全ソフトウェア実施形態、又はソフトウェア及びハードウェア態様を組み合わせた実施形態の形態をとってもよい。さらには、本出願は、コンピュータ利用可能プログラム・コードを含む一つ又は複数のコンピュータ利用可能記憶媒体（ディスク・メモリ、コンパクト・ディスク・リードオンリ・メモリ（ＣＤ－ＲＯＭ）、光学メモリ、及び同様のものを含むが、これらに限定されない）に実装されるコンピュータ・プログラム製品の形態をとってもよい。
【0171】
本出願は、本出願の実施形態による方法、デバイス（システム）、及びコンピュータ・プログラム製品のフローチャート及び／又はブロック図を参照して説明される。フローチャート及び／又はブロック図内の各プロセス及び／又はブロック、並びにフローチャート及び／又はブロック図内のプロセス及び／又はブロックの組み合わせは、コンピュータ・プログラム命令によって実施されてもよい。コンピュータ・プログラム命令は、マシンを生成するために、汎用コンピュータ、特殊目的コンピュータ、埋め込み型コンピュータ、又は他のプログラム可能なデータ処理デバイスのプロセッサに提供されてもよく、その結果として、コンピュータ又は他のプログラム可能なデータ処理デバイスのプロセッサによって実行される命令は、フローチャート及び／又はブロック図内の一つもしくは複数のブロックにおける一つ又は複数のプロセス内で指定される関数を実施するように構成される装置を生成する。
【0172】
コンピュータ・プログラム命令はまた、コンピュータ又は他のプログラム可能なデータ処理デバイスが何らかの方式で動作するように誘導することができるコンピュータ可読メモリに記憶されてもよく、その結果として、コンピュータ可読メモリに記憶される命令は、命令装置を含む製造物品を生成する。命令装置は、フローチャート及び／又はブロック図内の一つもしくは複数のブロックにおける一つ又は複数のプロセス内で指定される関数を実施する。
【0173】
コンピュータ・プログラム命令はまた、コンピュータ又は他のプログラム可能なデータ処理デバイス上にインストールされてもよく、その結果として、一連の動作ステップは、コンピュータ実施処理をもたらすためにコンピュータ又は他のプログラム可能なデータ処理デバイス上で実施され、及びしたがって、コンピュータ又は他のプログラム可能なデータ処理デバイス上で実行される命令は、フローチャート及び／又はブロック図内の一つもしくは複数のブロックにおける一つ又は複数のプロセス内で指定される関数を実施するためのステップを提供する。
【0174】
典型的な構成において、コンピューティング・デバイスは、一つ又は複数の中央処理装置（ＣＰＵ）、入力／出力インターフェース、ネットワーク・インターフェース、及びメモリを含む。
【0175】
メモリは、揮発性メモリ、ランダム・アクセス・メモリ（ＲＡＭ）、及び／又は不揮発性メモリ、並びに、ＲＯＭ又はフラッシュ・メモリ（フラッシュＲＡＭ）など、コンピュータ可読媒体内の他の形態を含むことができる。メモリは、コンピュータ可読媒体の例である。
【0176】
コンピュータ可読媒体は、不揮発性及び揮発性媒体、並びに取り外し可能及び非取り外し可能媒体を含む。情報ストレージは、任意の方法又は技術を用いて実装されてもよい。情報は、コンピュータ可読命令、データ構造、プログラムのモジュール、又は他のデータであってもよい。例えば、コンピュータ・ストレージ媒体は、相変化ランダム・アクセス・メモリ（ＰＲＡＭ）、ＳＲＡＭ、ダイナミック・ランダム・アクセス・メモリ（ＤＲＡＭ）、他のタイプのＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュ・メモリもしくは他のメモリ技術、ＣＤ－ＲＯＭ、デジタル多用途ディスク（ＤＶＤ）もしくは他の光学ストレージ、カセット・テープ、磁気テープ／磁気ディスク・ストレージ、もしくは他の磁気ストレージ・デバイス、又は任意の他の非伝送媒体を含むが、これらに限定されず、コンピューティング・デバイスがアクセス可能な情報を記憶するために使用されてもよい。本明細書内の説明によると、コンピュータ可読媒体は、変調データ信号及び搬送波などの一時的なコンピュータ可読媒体（一時的なデータ）を含まない。
【0177】
用語「含む」、「備える」、又はそれらの任意の他の変異形は、非排他的な包含を網羅することが意図され、そのため、一連の要素を含むプロセス、方法、商品、もしくはデバイスは、その要素を含むだけでなく、明白に列挙されない他の要素も含むか、又はそのようなプロセス、方法、商品、もしくはデバイスに固有の要素をさらに含む、ということにさらに留意されたい。さらなる制限がない限り、「～を含む」という記述によって規定される要素は、その要素を含むプロセス、方法、商品、又はデバイス内に他の同一の要素がさらに存在することを除外しない。
【0178】
先述の説明は、本出願の実施形態を含み、本出願を限定することを意図しない。当業者のために、本出願は、様々な修正及び変更の対象となってもよい。本出願の趣旨及び原理内でなされる任意の修正、等価の交換、改善、及び同様のものは、本出願の特許請求項の範囲に包含されるものとする。
【図1】
【図2a】
【図2b】
【図2c】
【図2d】
【図3】
【図4】
【図5】
【図6】
【図7】
