特表 2022-543531 画像処理方法及び装置、電子機器、記憶媒体並びにプログラム製品

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-10-13

(54)【発明の名称】画像処理方法及び装置、電子機器、記憶媒体並びにプログラム製品

(51)【国際特許分類】

   A61B 6/03 20060101AFI20221005BHJP

   A61B 6/00 20060101ALI20221005BHJP

   G06T 7/00 20170101ALI20221005BHJP

   G06V 10/82 20220101ALI20221005BHJP

   G06T 7/30 20170101ALI20221005BHJP

【ＦＩ】

A61B6/03 360Q

A61B6/00 350P

G06T7/00 350C

G06V10/82

G06T7/30

A61B6/00 360Z

A61B6/00 350D

A61B6/03 360J

A61B6/03 360T

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2021578004

(86)(22)【出願日】2020-12-28

(85)【翻訳文提出日】2021-12-28

(86)【国際出願番号】 CN2020140330

(87)【国際公開番号】W WO2022011984

(87)【国際公開日】2022-01-20

(31)【優先権主張番号】202010686919.6

(32)【優先日】2020-07-16

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＳＭＡＬＬＴＡＬＫ

(71)【出願人】

【識別番号】520180323

【氏名又は名称】上▲海▼商▲湯▼智能科技有限公司

【氏名又は名称原語表記】ＳＨＡＮＧＨＡＩ ＳＥＮＳＥＴＩＭＥ ＩＮＴＥＬＬＩＧＥＮＴ ＴＥＣＨＮＯＬＯＧＹ ＣＯ．， ＬＴＤ．

【住所又は居所原語表記】Ｒｏｏｍ １６０５Ａ， Ｂｕｉｌｄｉｎｇ ３， ３９１ Ｇｕｉｐｉｎｇ Ｒｏａｄ， Ｘｕｈｕｉ Ｄｉｓｔｒｉｃｔ， Ｓｈａｎｇｈａｉ ２００２３３ Ｃｈｉｎａ

(74)【代理人】

【識別番号】100078282

【弁理士】

【氏名又は名称】山本 秀策

(74)【代理人】

【識別番号】100113413

【弁理士】

【氏名又は名称】森下 夏樹

(74)【代理人】

【識別番号】100181674

【弁理士】

【氏名又は名称】飯田 貴敏

(74)【代理人】

【識別番号】100181641

【弁理士】

【氏名又は名称】石川 大輔

(74)【代理人】

【識別番号】230113332

【弁護士】

【氏名又は名称】山本 健策

(72)【発明者】

【氏名】▲張▼宏

(72)【発明者】

【氏名】▲張▼靖▲陽▼

(72)【発明者】

【氏名】夏清

【テーマコード（参考）】

4C093

5L096

【Ｆターム（参考）】

4C093AA22

4C093AA24

4C093FF16

4C093FF33

4C093FF37

5L096AA06

5L096AA09

5L096EA13

5L096FA34

5L096FA69

5L096HA11

5L096KA04

(57)【要約】

本願の実施例は、画像処理方法及び装置、電子機器、記憶媒体並びにプログラム製品に関する。前記方法は、第１画像におけるターゲット対象の第１分割結果を取得することと、第２画像におけるターゲット対象の第２分割結果を取得することと、前記第１分割結果及び前記第２分割結果に基づいて、前記第１画像と前記第２画像との変形場を得ることであって、前記変形場は、前記第１画像と前記第２画像との、前記ターゲット対象の各画素点の位置変換関係を含む、ことと、を含む。
【選択図】図１

【特許請求の範囲】

【請求項1】

画像処理方法であって、
第１画像におけるターゲット対象の第１分割結果を取得することと、
第２画像におけるターゲット対象の第２分割結果を取得することと、
前記第１分割結果及び前記第２分割結果に基づいて、前記第１画像と前記第２画像との変形場を得ることであって、前記変形場は、前記第１画像と前記第２画像との、前記ターゲット対象の各画素点の位置変換関係を含む、ことと、を含む、画像処理方法。

【請求項2】

前記第１分割結果及び前記第２分割結果に基づいて、前記第１画像と前記第２画像との変形場を得ることは、
前記第１分割結果及び前記第２分割結果を第１ニューラルネットワークに入力し、前記第１画像と前記第２画像との変形場を得ることを含むことを特徴とする
請求項１に記載の方法。

【請求項3】

前記第１画像は、三次元画像を含み、前記第２画像は、二次元画像を含み、
前記第１分割結果及び前記第２分割結果に基づいて、前記第１画像と前記第２画像との変形場を得ることは、
前記第２画像の収集情報に基づいて、前記第１分割結果を二次元である第３分割結果に変換することと、
前記第３分割結果及び前記第２分割結果を第１ニューラルネットワークに入力し、前記第１画像と前記第２画像との変形場を得ることと、を含むことを特徴とする
請求項１に記載の方法。

【請求項4】

前記方法は、
前記変形場に基づいて、前記第１画像と前記第２画像に対してレジストレーションを行い、レジストレーション結果を得ることを更に含むことを特徴とする
請求項２又は３に記載の方法。

【請求項5】

前記方法は、
前記変形場に基づいて、前記第１ニューラルネットワークの誤差損失を取得することと、
前記誤差損失に基づいて、前記第１ニューラルネットワークに対して訓練を行うことと、を更に含むことを特徴とする
請求項２又は３に記載の方法。

【請求項6】

前記変形場に基づいて、前記第１ニューラルネットワークの誤差損失を取得することは、
前記変形場に基づいて、前記第１分割結果に対してレジストレーションを行い、レジストレーション後の第１分割結果を得て、前記レジストレーション後の第１分割結果と前記第２分割結果との誤差を前記第１ニューラルネットワークの誤差損失とすること、又は、
前記変形場に基づいて、前記第２分割結果に対してレジストレーションを行い、レジストレーション後の第２分割結果を得て、前記レジストレーション後の第２分割結果と前記第１分割結果との誤差を前記第１ニューラルネットワークの誤差損失とすること、又は、
前記変形場に基づいて、前記第１分割結果に対してレジストレーションを行い、レジストレーション後の第１分割結果を得て、前記レジストレーション後の第１分割結果と前記第２画像との誤差を前記第１ニューラルネットワークの誤差損失とすること、又は、
前記変形場に基づいて、前記第２分割結果に対してレジストレーションを行い、レジストレーション後の第２分割結果を得て、前記レジストレーション後の第２分割結果と前記第１画像との誤差を前記第１ニューラルネットワークの誤差損失とすることを含むことを特徴とする
請求項５に記載の方法。

【請求項7】

第１画像におけるターゲット対象の第１分割結果を取得することは、
前記第１画像を第２ニューラルネットワークに入力し、前記第１画像における前記ターゲット対象の第１分割結果を得ることであって、前記第２ニューラルネットワークは、ターゲット対象のアノテーションを含む第１訓練画像により訓練される、こと、又は、
前記第１画像を第１ニューラルネットワークに入力し、前記第１画像における前記ターゲット対象の第１分割結果を得ることであって、前記第１ニューラルネットワークは更に、前記第１分割結果及び前記第２分割結果に基づいて、前記第１画像と前記第２画像との変形場を得るために用いられる、ことを含むことを特徴とする
請求項２から６のうちいずれか一項に記載の方法。

【請求項8】

第２画像におけるターゲット対象の第２分割結果を取得することは、
前記第２画像を第３ニューラルネットワークに入力し、前記第２画像における前記ターゲット対象の第２分割結果を得ることであって、前記第３ニューラルネットワークは、ターゲット対象のアノテーションを含む第２訓練画像により訓練される、こと、又は、
前記第２画像を第１ニューラルネットワークに入力し、前記第２画像における前記ターゲット対象の第２分割結果を得ることであって、前記第１ニューラルネットワークは更に、前記第１分割結果及び前記第２分割結果に基づいて、前記第１画像と前記第２画像との変形場を得るために用いられる、ことを含むことを特徴とする
請求項２から７のうちいずれか一項に記載の方法。

【請求項9】

前記第１画像は、ＣＴＡ画像を含み、前記第２画像は、Ｘ線画像を含み、前記ターゲット対象は、冠動脈対象を含むことを特徴とする
請求項１から８のうちいずれか一項に記載の方法。

【請求項10】

画像処理装置であって、
第１画像におけるターゲット対象の第１分割結果を取得するように構成される第１分割モジュールと、
第２画像におけるターゲット対象の第２分割結果を取得するように構成される第２分割モジュールと、
前記第１分割結果及び前記第２分割結果に基づいて、前記第１画像と前記第２画像との変形場を得るために用いられる変形場取得モジュールであって、前記変形場は、前記第１画像と前記第２画像との、前記ターゲット対象の各画素点の位置変換関係を含む、変形場取得モジュールと、を備える、画像処理装置。

【請求項11】

前記変形場取得モジュールは更に、
前記第１分割結果及び前記第２分割結果を第１ニューラルネットワークに入力し、前記第１画像と前記第２画像との変形場を得るために用いられることを特徴とする
請求項１０に記載の装置。

【請求項12】

前記第１画像は、三次元画像を含み、前記第２画像は、二次元画像を含み、前記変形場取得モジュールは更に、
前記第２画像の収集情報に基づいて、前記第１分割結果を二次元である第３分割結果に変換し、第３分割結果及び第２分割結果を第１ニューラルネットワークに入力し、第１画像と第２画像との変形場を得るように構成されることを特徴とする
請求項１０に記載の装置。

【請求項13】

前記装置は、
前記変形場に基づいて、前記第１画像と前記第２画像に対してレジストレーションを行い、レジストレーション結果を得るように構成されるレジストレーションモジュールを更に備えることを特徴とする
請求項１１又は１２に記載の装置。

【請求項14】

前記装置は、
前記変形場に基づいて、前記第１ニューラルネットワークの誤差損失を取得するように構成される誤差取得モジュールと、
前記誤差損失に基づいて、前記第１ニューラルネットワークに対して訓練を行うように構成される訓練モジュールと、を更に備えることを特徴とする
請求項１１又は１２に記載の装置。

【請求項15】

前記誤差取得モジュールは更に、、
前記変形場に基づいて、前記第１分割結果に対してレジストレーションを行い、レジストレーション後の第１分割結果を得て、前記レジストレーション後の第１分割結果と前記第２分割結果との誤差を前記第１ニューラルネットワークの誤差損失とし、又は、
前記変形場に基づいて、前記第２分割結果に対してレジストレーションを行い、レジストレーション後の第２分割結果を得て、前記レジストレーション後の第２分割結果と前記第１分割結果との誤差を前記第１ニューラルネットワークの誤差損失とし、又は、
前記変形場に基づいて、前記第１分割結果に対してレジストレーションを行い、レジストレーション後の第１分割結果を得て、前記レジストレーション後の第１分割結果と前記第２画像との誤差を前記第１ニューラルネットワークの誤差損失とし、又は、
前記変形場に基づいて、前記第２分割結果に対してレジストレーションを行い、レジストレーション後の第２分割結果を得て、前記レジストレーション後の第２分割結果と前記第１画像との誤差を前記第１ニューラルネットワークの誤差損失とするように構成されることを特徴とする
請求項１１に記載の装置。

【請求項16】

前記第１分割モジュールは更に、
前記第１画像を第２ニューラルネットワークに入力し、前記第１画像における前記ターゲット対象の第１分割結果を得ることであって、前記第２ニューラルネットワークは、ターゲット対象のアノテーションを含む第１訓練画像により訓練される、こと、又は、
前記第１画像を第１ニューラルネットワークに入力し、前記第１画像における前記ターゲット対象の第１分割結果を得ることであって、前記第１ニューラルネットワークは更に、前記第１分割結果及び前記第２分割結果に基づいて、前記第１画像と前記第２画像との変形場を得るために用いられる、ことを実行するように構成されることを特徴とする
請求項１１から１５のうちいずれか一項に記載の装置。

【請求項17】

前記第２分割モジュールは、
前記第２画像を第３ニューラルネットワークに入力し、前記第２画像における前記ターゲット対象の第２分割結果を得ることであって、前記第３ニューラルネットワークは、ターゲット対象のアノテーションを含む第２訓練画像により訓練される、こと、又は、
前記第２画像を第１ニューラルネットワークに入力し、前記第２画像における前記ターゲット対象の第２分割結果を得ることであって、前記第１ニューラルネットワークは更に、前記第１分割結果及び前記第２分割結果に基づいて、前記第１画像と前記第２画像との変形場を得るために用いられる、ことを実行するように構成されることを特徴とする
請求項１１から１６のうちいずれか一項に記載の装置。

【請求項18】

前記第１画像は、ＣＴＡ画像を含み、前記第２画像は、Ｘ線画像を含み、前記ターゲット対象は、冠動脈対象を含むことを特徴とする
請求項１０から１７のうちいずれか一項に記載の装置。

【請求項19】

電子機器であって、
プロセッサと、
前記プロセッサによる実行可能な命令を記憶するように構成されるメモリと、を備え、
前記プロセッサは、前記メモリに記憶されている命令を呼び出し、請求項１から９のうちいずれか一項に記載の方法を実行するように構成される、電子機器。

【請求項20】

コンピュータ可読記憶媒体であって、前記コンピュータ可読記憶媒体には、コンピュータプログラム命令が記憶されており、前記コンピュータプログラム命令がプロセッサにより実行される時、請求項１から９のうちいずれか一項に記載の方法を実現する、コンピュータ可読記憶媒体。

【請求項21】

コンピュータプログラム製品であって、前記コンピュータプログラムにコンピュータ可読命令が記憶されており、前記コンピュータ可読命令が実行される時、請求項１から９のうちいずれか一項に記載の方法を実現する、コンピュータプログラム製品。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願の相互参照）
本願は、２０２０年０７月１６日に提出された、出願番号が２０２０１０６８６９１９．６である中国特許出願に基づく優先権を主張し、該中国特許出願の全内容が参照として本願に組み込まれる。

【0002】

本願は、画像処理技術分野に関し、特に画像処理方法及び装置、電子機器、記憶媒体並びにプログラム製品に関する。

【背景技術】

【0003】

冠動脈性心疾患は、世界中で死亡率が最も高い疾患の１つとなっていた。一般的な治療方法は、経皮的冠動脈インターベンション手術である。経皮的冠動脈インターベンション手術は、術中、Ｘ線によってカテーテルを用いて、血管の狭くなった部分を拡張し、治療の目的を達成することである。しかしながら、手術過程において、冠状動脈のＸ線画像に表示される血管は、造影剤の消散に伴い、見えなくなってしまう。これは、医者にとって大きなチャレンジとなる。また、手術の成功率は、医者の実際の経験に依存する。

【0004】

手術前に撮られるコンピュータ断層撮影血管造影（ＣＴ Ａｎｇｉｏｇｒａｐｈｙ：ＣＴＡ）画像は、血管構造を良好に示すことができるが、術中、リアルタイムで撮影できないため、手術過程において医者をガイドすることができない。

【発明の概要】

【課題を解決するための手段】

【0005】

本願の実施例は、画像処理方法及び装置、電子機器、記憶媒体及びプログラム製品を提供する。

【0006】

本願の実施例の一態様によれば、画像処理方法を提供する。前記方法は、
第１画像におけるターゲット対象の第１分割結果を取得することと、第２画像におけるターゲット対象の第２分割結果を取得することと、前記第１分割結果及び前記第２分割結果に基づいて、前記第１画像と前記第２画像との変形場を得ることであって、前記変形場は、前記第１画像と前記第２画像との、前記ターゲット対象の各画素点の位置変換関係を含む、ことと、を含む。

【0007】

上記プロセスにより、前記第１画像と前記第２画像との、前記ターゲット対象の各画素点の位置変換関係を決定することができる。該位置変換関係により、第１画像と第２画像とのターゲット対象の画像情報を同一の座標系に融合することができる。これにより、第１画像と第２画像に含まれるターゲット対象の画像情報を同時に利用して、ターゲット対象に対する後続の操作を全体的にガイドすることができる。また、該位置変換関係は、ターゲット対象の各画素点に対応する変換関係であるため、第１画像と第２画像とのターゲット対象の情報融合は、より高い精度を有することができる。

【0008】

可能な実現形態において、前記第１分割結果及び前記第２分割結果に基づいて、前記第１画像と前記第２画像との変形場を得ることは、前記第１分割結果及び前記第２分割結果を第１ニューラルネットワークに入力し、前記第１画像と前記第２画像との変形場を得ることを含む。

【0009】

上記プロセスにより、ニューラルネットワークを利用して、端から端までの変形場予測を実現することができ、位置変換関係を画素ずつ決定することに比べて、変形場の取得時間を大幅に短縮し、変形場の取得効率を向上させ、更に、画像処理プロセス全体及び後続の画像レジストレーションプロセスの効率を効果的に向上させることができる。一方で、ニューラルネットワークにより取得される変形場に、第１画像と第２画像との各画素点の位置変換関係が含まれ、変形場の自由度を最大化することができ、変形場の精度及び正確率を向上させ、画像処理プロセス全体及び後続の画像レジストレーションプロセスの精度を向上させることができる。

【0010】

可能な実現形態において、前記第１画像は、三次元画像を含み、前記第２画像は、二次元画像を含み、前記第１分割結果及び前記第２分割結果に基づいて、前記第１画像と前記第２画像との変形場を得ることは、前記第２画像の収集情報に基づいて、前記第１分割結果を二次元である第３分割結果に変換することと、前記第３分割結果及び前記第２分割結果を第１ニューラルネットワークに入力し、前記第１画像と前記第２画像との変形場を得ることと、を含む。

【0011】

上記プロセスにより、二次元の第２画像の収集情報を利用して、第１画像の第１分割結果を二次元平面に投影し、２つの二次元の分割結果に基づいて、第１画像と第２画像との変形場を取得することができる。これにより、得られた変形場は、第１画像と第２画像とのターゲット対象の変換関係を正確に表すことができ、画像処理の精度及び効果を向上させる。

【0012】

可能な実現形態において、前記方法は、前記変形場に基づいて、前記第１画像と前記第２画像に対してレジストレーションを行い、レジストレーション結果を得ることを更に含む。

【0013】

上記プロセスにより、得られた変形場を利用して、第１画像に含まれるターゲット対象情報と第２画像に含まれるターゲット対象情報を統合的に１つの座標系に融合することができ、ターゲット対象に基づく実行されるべき操作を全体的かつ効果的にガイドすることができる。

【0014】

可能な実現形態において、前記方法は、前記変形場に基づいて、前記第１ニューラルネットワークの誤差損失を取得することと、前記誤差損失に基づいて、前記第１ニューラルネットワークに対して訓練を行うことと、を更に含む。

【0015】

本願の実施例において、変形場に基づいて、第１ニューラルネットワークの誤差損失を取得し、さらに、誤差損失に基づいて第１ニューラルネットワークに対して訓練を行うことで、余分の訓練画像又はアノテーションデータなどを必要とせず、第１ニューラルネットワークの２つの入力画像の間の変換関係を直接利用して第１ニューラルネットワークに対して訓練を行うことができ、第１ニューラルネットワークの訓練精度を確保すると同時に、訓練の難度及びコストを低減させる。

【0016】

可能な実現形態において、前記変形場に基づいて、前記第１ニューラルネットワークの誤差損失を取得することは、前記変形場に基づいて、前記第１分割結果に対してレジストレーションを行い、レジストレーション後の第１分割結果を得て、前記レジストレーション後の第１分割結果と前記第２分割結果との誤差を前記第１ニューラルネットワークの誤差損失とすること、又は、前記変形場に基づいて、前記第２分割結果に対してレジストレーションを行い、レジストレーション後の第２分割結果を得て、前記レジストレーション後の第２分割結果と前記第１分割結果との誤差を前記第１ニューラルネットワークの誤差損失とすること、又は、前記変形場に基づいて、前記第１分割結果に対してレジストレーションを行い、レジストレーション後の第１分割結果を得て、前記レジストレーション後の第１分割結果と前記第２画像との誤差を前記第１ニューラルネットワークの誤差損失とすること、又は、前記変形場に基づいて、前記第２分割結果に対してレジストレーションを行い、レジストレーション後の第２分割結果を得て、前記レジストレーション後の第２分割結果と前記第１画像との誤差を前記第１ニューラルネットワークの誤差損失とすることを含む。

【0017】

上記第１ニューラルネットワークの誤差損失の取得プロセスにより、実際の状況に基づいて、適切な方式を柔軟に選択して第１ニューラルネットワークの誤差損失を決定し、第１ニューラルネットワークの訓練の柔軟性及び利便性を向上させることができる。

【0018】

可能な実現形態において、第１画像におけるターゲット対象の第１分割結果を取得することは、前記第１画像を第２ニューラルネットワークに入力し、前記第１画像における前記ターゲット対象の第１分割結果を得ることであって、前記第２ニューラルネットワークは、ターゲット対象のアノテーションを含む第１訓練画像により訓練される、こと、又は、前記第１画像を第１ニューラルネットワークに入力し、前記第１画像における前記ターゲット対象の第１分割結果を得ることであって、前記第１ニューラルネットワークは更に、前記第１分割結果及び前記第２分割結果に基づいて、前記第１画像と前記第２画像との変形場を得るために用いられる、ことを含む。

【0019】

第２ニューラルネットワーク又は第１ニューラルネットワークにより、第１画像におけるターゲット対象に対して分割を行い、第１分割結果を得ることで、第１分割結果の取得効率を効果的に向上させることができる。それと同時に、第１ニューラルネットワーク又は第１ニューラルネットワークは、ターゲット対象のアノテーションを含む第１訓練画像により訓練を行うことで得られるため、第２ニューラルネットワーク又は第１ニューラルネットワークに基づいて得られた第１分割結果は、精度が高い分割結果を有する。第１ニューラルネットワークにより、第１画像におけるターゲット対象に対して分割を行い、第１分割結果を得て、更に、第１ニューラルネットワークにより、第１画像と第２画像との変形場を得る。上記プロセスにより、第１分割結果の分割効果を向上させる上で、取得された変形場の精度を更に向上させることができ、また、第１ニューラルネットワークにより、第１画像から変形場への端から端までの取得プロセスを直接実現することができる。

【0020】

可能な実現形態において、第２画像におけるターゲット対象の第２分割結果を取得することは、前記第２画像を第３ニューラルネットワークに入力し、前記第２画像における前記ターゲット対象の第２分割結果を得ることであって、前記第３ニューラルネットワークは、ターゲット対象のアノテーションを含む第２訓練画像により訓練される、こと、又は、前記第２画像を第１ニューラルネットワークに入力し、前記第２画像における前記ターゲット対象の第２分割結果を得ることであって、前記第１ニューラルネットワークは更に、前記第１分割結果及び前記第２分割結果に基づいて、前記第１画像と前記第２画像との変形場を得るために用いられる、ことを含む。

【0021】

第３ニューラルネットワーク又は第１ニューラルネットワークにより、第２画像におけるターゲット対象に対して分割を行い、第２分割結果を得ることで、第２分割結果の取得効率を効果的に向上させることができる。それと同時に、第３ニューラルネットワーク又は第１ニューラルネットワークは、ターゲット対象のアノテーションを含む第２訓練画像により訓練を行うことで得られるため、第３ニューラルネットワーク又は第１ニューラルネットワークに基づいて得られた第２分割結果は、精度が高い分割結果を有する。第１ニューラルネットワークにより、第２画像におけるターゲット対象に対して分割を行い、第２分割結果を得て、更に、第１ニューラルネットワークにより、第１画像と第２画像との変形場を得る。上記プロセスにより、第２分割結果の分割効果を向上させる上で、取得された変形場の精度を更に向上させることができ、また、第１ニューラルネットワークにより、第２画像から変形場への端から端までの取得プロセスを直接実現することができ、第１ニューラルネットワークにより、第１画像及び第２画像という２つの画像から変形場への端から端までの取得プロセスを直接実現することもできる。

【0022】

可能な実現形態において、前記第１画像は、コンピュータ断層撮影血管造影ＣＴＡ画像を含み、前記第２画像は、Ｘ線画像を含み、前記ターゲット対象は、冠動脈対象を含む。

【0023】

第１画像がＣＴＡ画像を含み、第２画像がＸ線画像を含み、ターゲット対象が冠動脈対象を含む場合、本願の実施例で提供される画像処理方法を利用することで、ＣＴＡ画像とＸ線画像との変形場を効果的に予測し、冠動脈手術の２つのモーダルのデータを同一の座標系に統合し、冠動脈手術中のＸ線画像から見えない冠動脈血管を補償し、冠動脈手術をより好適にガイドし、医者により実行される手術の複雑さを低下させ、手術の成功率を向上させることができる。

【0024】

本願の実施例の一態様によれば、画像処理装置を提供する。前記装置は、
第１画像におけるターゲット対象の第１分割結果を取得するように構成される第１分割モジュールと、第２画像におけるターゲット対象の第２分割結果を取得するように構成される第２分割モジュールと、前記第１分割結果及び前記第２分割結果に基づいて、前記第１画像と前記第２画像との変形場を得るために用いられる変形場取得モジュールであって、前記変形場は、前記第１画像と前記第２画像との、前記ターゲット対象の各画素点の位置変換関係を含む、変形場取得モジュールと、を備える。

【0025】

本願の実施例の一態様によれば、電子機器を提供する。前記電子機器は、プロセッサと、前記プロセッサによる実行可能な命令を記憶するように構成されるメモリと、を備え、前記プロセッサは、前記メモリに記憶されている命令を呼び出し、上記画像処理方法を実行するように構成される。

【0026】

本願の実施例の一態様によれば、コンピュータ可読記憶媒体を更に提供する。前記コンピュータ可読記憶媒体には、コンピュータプログラム命令が記憶されており、前記コンピュータプログラム命令がプロセッサにより実行される時、上記画像処理方法を実現する。

【0027】

本願の実施例の一態様によれば、コンピュータプログラム製品を提供する。該コンピュータプログラム製品に１つ又は複数のプログラム命令が記憶されており、前記プログラム命令がプロセッサによりロードされて実行され、上記画像処理方法を実現する。

【0028】

本願の実施例において、第１画像と第２画像におけるターゲット対象の第１分割結果と第２分割結果をそれぞれ取得することで、第１分割結果及び第２分割結果に基づいて、第１画像と第２画像との変形場を得る。上記プロセスにより、第１画像と第２画像との、ターゲット対象の各画素点の位置変換関係を決定することができる。該位置変換関係により、第１画像と第２画像とのターゲット対象の画像情報を同一の座標系に統合し、第１画像及び第２画像に含まれるターゲット対象の画像情報を同時に利用して、ターゲット対象に対する後続の操作を全体的にガイドすることができる。また、該位置変換関係は、ターゲット対象の各画素点に対応する変換関係であるため、第１画像と第２画像とのターゲット対象の情報融合は、より高い精度を有することができる。

【0029】

上記の一般的な説明及び後述する細部に関する説明は、例示及び説明のためのものに過ぎず、本願を限定するものではないことが理解されるべきである。

【0030】

本願の他の特徴及び態様は、下記の図面に基づく例示的な実施例の詳細な説明を参照すれば明らかになる。

【図面の簡単な説明】

【0031】

【図1】本願の一実施例による画像処理方法を示すフローチャートである。

【図2】本願の一適用例によるレジストレーションニューラルネットワークの訓練プロセスを示す概略図である。

【図3】本願の一実施例による画像処理装置を示すブロック図である。

【図4】本願の実施例による電子機器を示すブロック図である。

【図5】本願の実施例による電子機器を示すブロック図である。

【発明を実施するための形態】

【0032】

ここで添付した図面は、明細書に引き入れて本明細書の一部分を構成し、本願に適合する実施例を示し、かつ、明細書とともに本願の実施例の技術的解決手段を解釈することに用いられる。

【0033】

以下、図面を参照しながら本願の実施例の種々の例示的な実施例、特徴及び態様を詳しく説明する。図面における同一の符号は、同一または類似する機能を有する要素を示す。図面は、実施例の種々の態様を示しているが、特別な説明がない限り、必ずしも比率どおりの図面ではない。

【0034】

ここで使用した「例示的」という用語は、「例、実施例として用いられるか、または説明のためのものである」ことを意味する。ここで、「例示的なもの」として説明される如何なる実施例は、他の実施例より好適または有利であると必ずしも解釈されるべきではない。

【0035】

本明細書において、用語「及び／又は」は、関連対象の関連関係を説明するためのものであり、３通りの関係が存在することを表す。例えば、Ａ及び／又はＢは、Ａのみが存在すること、ＡとＢが同時に存在すること、Ｂのみが存在するという３つの場合を表す。また、本明細書において、用語「少なくとも１つ」は、複数のうちのいずれか１つ又は複数のうちの少なくとも２つの任意の組み合わせを表す。例えば、Ａ、Ｂ、Ｃのうちの少なくとも１つを含むことは、Ａ、Ｂ及びＣからなる集合から選ばれるいずれか１つ又は複数の要素を含むことを表す。

【0036】

なお、本願の実施例をより良く説明するために、以下の具体的な実施形態において具体的な細部を多く記載した。当業者は、これら具体的な詳細に関わらず、本開示は同様に実施可能であると理解すべきである。本願の実施例の主旨を明確にするために、一部の実例において、当業者に熟知されている方法、手段、素子及び回路については詳しく説明しないことにする。

【0037】

図１は、本願の一実施例による画像処理方法を示すフローチャートである。該方法は、画像処理装置に適用可能である。画像処理装置は、端末機器、サーバ又は他の処理機器であってもよい。ここで、端末機器は、ユーザ装置（Ｕｓｅｒ Ｅｑｕｉｐｍｅｎｔ：ＵＥ）、携帯機器、ユーザ端末、端末、セルラ電話、コードレス電話、パーソナルデジタルアシスタント（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ：ＰＤＡ）、ハンドヘルドデバイス、コンピューティングデバイス、車載機器、ウェアブル機器などであってもよい。

【0038】

幾つかの可能な実現形態において、該画像処理方法は、プロセッサによりメモリに記憶されているコンピュータ可読命令を呼び出すことで実現することができる。

【0039】

図１に示すように、前記画像処理方法は、以下を含んでもよい。

【0040】

ステップＳ１１において、第１画像におけるターゲット対象の第１分割結果を取得する。

【0041】

ステップＳ１２において、第２画像におけるターゲット対象の第２分割結果を取得する。

【0042】

ステップＳ１３において、第１分割結果及び第２分割結果に基づいて、第１画像と第２画像との変形場を得、変形場は、第１画像と第２画像との、ターゲット対象の各画素点の位置変換関係を含む。

【0043】

ここで、ターゲット対象は、２つの画像の間でレジストレーションする必要がある任意対象であってもよい。その実現形態は、本願の実施例で提供される画像処理方法の実際の適用シーンに応じて柔軟に決定してもよい。

【0044】

本願の実施例で提供される画像処理方法は、実際の需要に応じて種々のシーンに柔軟に適用可能である。例を挙げると、可能な実現形態において、本願の実施例で提供される方法は、手術プロセスに適用可能である。例えば、手術前に撮られた画像と手術中に撮られた画像に対してレジストレーションを行うために用いられ、又は、手術前に撮られた画像と手術後に撮られた画像に対してレジストレーションを行うために用いられる。この場合、ターゲット対象の実現形式は、手術対象によって柔軟に変わってもよい。一例において、本願の実施例で提供される方法は、例えば、経皮的冠動脈インターベンション手術などのような心臓冠動脈手術に適用可能である。この場合、ターゲット対象は、冠動脈対象などであってもよい。

【0045】

可能な実現形態において、本願の実施例で提供される方法は、他のシーンにも適用可能である。例えば、患者の疾患の診断プロセスに適用可能である。例えば、患者に対して一定の期間内で撮られた複数の病巣画像のレジストレーション等に適用可能である。この場合、ターゲット画像の実現形式は、監視する病巣の位置に応じて柔軟に変わってもよい。一例において、本願の実施例で提供される方法は、患者の心臓状況に対して監視を行うために用いられる。この場合、ターゲット対象は、心臓対象などであってもよい。

【0046】

説明しやすくするために、後続の各実施例において画像処理方法を心臓の冠動脈手術に適用し、ターゲット対象が冠動脈対象であることを例として説明する。画像処理方法を他のシーンに適用し、ターゲット対象が他の対象である場合について、後続の各実施例によって柔軟に拡張することができ、ここで、詳細な説明を省略する。

【0047】

第１画像及び第２画像の実現形式は、画像処理方法の適用シーンに応じて柔軟に決定してもよい。可能な実現形態において、画像処理方法が心臓の冠動脈手術に適用される場合、第１画像及び第２画像は、心臓の冠動脈手術前、手術中又は手術後などの異なる時間帯で撮られた画像であってもよい。実際に如何に選択するかは、下記実施例で限定せず、例えば、第１画像は、手術前に撮られた画像であってもよく、第２画像は、手術中で撮られた画像であってもよい。可能な実現形態において、第１画像と第２画像は、異なる属性又はタイプを有する画像であってもよい。例えば、第１画像は、三次元画像であってもよく、第２画像は、二次元画像などであってもよい。

【0048】

上記第１画像及び第２画像の種々の異なる可能な実現形態は、柔軟に相互組み合わせられてもよい。例を挙げると、可能な実現形態において、第１画像は、手術前に撮られた三次元ＣＴＡ画像を含んでもよく、第２画像は、手術中で撮られたＸ線画像を含んでもよく、ターゲット対象は、冠動脈対象を含んでもよい。第１画像がＣＴＡ画像を含み、第２画像がＸ線画像を含み、ターゲット対象が冠動脈を含む場合、本願の実施例で提供される画像処理方法を利用して、ＣＴＡ画像とＸ線画像との変形場を効果的に予測し、冠動脈手術の２つのモーダルのデータを同一の座標系に統合し、冠動脈手術中のＸ線画像で見えない冠動脈血管を補償し、冠動脈手術をより好適にガイドし、医者により実行される手術の複雑さを低下させ、手術の成功率を向上させることができる。

【0049】

第１画像及び第２画像の実現形式が限定されていないため、これに対応して、第１画像及び第２画像の数を、本願の実施例で限定せず、実際の状況に応じて柔軟に選択されてもよく、下記実施例に限定されない。可能な実現形態において、第２画像は、複数のＸ線画像を含んでもよい。つまり、ＣＴＡ画像と複数のＸ線画像とのレジストレーションを実現することができる。一例において、該複数のＸ線画像は、冠動脈手術過程において冠動脈対象に対してリアルタイムで撮られた複数のＸ線画像であってもよい。ＣＴＡ画像と手術中で撮られた複数のＸ線画像に対してレジストレーションを行うことで、冠動脈手術中のリアルタイムな画像レジストレーションを実現することができる。これにより、手術中で、血管の位置をより好適にリアルタイムで表示することができ、医者による手術プロセスに対してリアルタイムで正確なガイド及び支援を提供することができる。

【0050】

第１画像、第２画像及びターゲット対象を決定した後、それぞれステップＳ１１及びステップＳ１２により、第１画像からターゲット対象の第１分割結果を取得し、第２画像からターゲット対象の第２分割結果を取得する。ここで、第１分割結果及び第２分割結果における「第１」と「第２」などの番号は、異なる画像から得られた分割結果を区分するために用いられるものだけであり、分割結果の実現形式を限定しない。実際に、第１分割結果及び第２分割結果の実現形式は、対応する分割された画像及びターゲット対象の実現形式に応じて柔軟に決定できる。ステップＳ１１及びステップＳ１２の実現形式を限定せず、その詳細は、下記各実施例を参照し、ここで、詳細な説明を省略する。本願の実施例において、ステップＳ１１及びステップＳ１２の実行順を限定せず、ステップＳ１１及びＳ１２は、必要に応じて所定の順番に応じて順次実行されてもよく、同時に実行されてもよいことに留意されたい。

【0051】

第１分割結果及び第２分割結果を得た後、ステップＳ１３により、第１分割結果及び第２分割結果に基づいて、第１画像と第２画像との変形場を決定することができる。ここで、変形場は、第１画像と第２画像との、各画素点の位置変換関係を表すことができる。ステップＳ１３の実現形式は、実際の状況に応じて柔軟に選択されてもよく、その詳細は、後続の各実施例を参照し、ここで、詳細な説明を省略する。

【0052】

本願の実施例において、第１画像におけるターゲット対象の第１分割結果及び第２画像におけるターゲット対象の第２分割結果をそれぞれ取得することで、第１分割結果及び第２分割結果に基づいて、第１画像と第２画像との変形場を得る。上記プロセスにより、第１画像と第２画像との、ターゲット対象の各画素点の位置変換関係を決定することができる。該位置変換関係により、第１画像と第２画像とのターゲット対象の画像情報を同一の座標系に統合し、第１画像及び第２画像に含まれるターゲット対象の画像情報を同時に利用して、ターゲット対象に対する後続の操作を全体的にガイドすることができる。また、該位置変換関係は、ターゲット対象の各画素点に対応する変換関係であるため、第１画像と第２画像とのターゲット対象の情報融合は、より高い精度を有することができる。

【0053】

上記実施例に記載したように、第１画像からターゲット対象の第１分割結果を取得するための方式を限定しない。可能な実現形態において、画像に適用される任意の血管分割アルゴリズムにより、第１画像から第１分割結果を得ることができる。可能な実現形態において、ステップＳ１１は、以下を含んでもよい。

【0054】

第１画像を第２ニューラルネットワークに入力し、第１画像におけるターゲット対象の第１分割結果を得て、第２ニューラルネットワークは、ターゲット対象のアノテーションを含む第１訓練画像により訓練され、又は、
第１画像を第１ニューラルネットワークに入力し、第１画像におけるターゲット対象の第１分割結果を得て、第１ニューラルネットワークは更に、第１分割結果及び第２分割結果に基づいて、第１画像と第２画像との変形場を得るために用いられる。

【0055】

上記実施例から分かるように、可能な実現形態において、分割機能を有する第２ニューラルネットワークにより、第１画像におけるターゲット対象に対して分割を行い、第１分割結果を得ることができる。ここで、第２ニューラルネットワークの実現形式は、実際の状況に応じて柔軟に決定してもよく、下記実施例に限定されない。可能な実現形態において、畳み込みニューラルネットワーク（Ｕ－Ｎｅｔ）を第２ニューラルネットワークとして用いることができる。該第２ニューラルネットワークを訓練するための第１訓練画像は、第１画像の実際の状況に応じて柔軟に選択されてもよい。可能な実現形態において、第１画像がＣＴＡ画像を含む場合、第１訓練画像は、画素ずつ血管アノテーションを行ったＣＴＡ画像を含むことができる。

【0056】

上記実施例から更に分かるように、可能な実現形態において、分割機能を有する第１ニューラルネットワークにより、第１画像におけるターゲット対象に対して分割を行い、第１分割結果を得ることもできる。ここで、上記実施例から分かるように、第１ニューラルネットワークは、第１画像におけるターゲットに対して分割するために用いられることが可能である以外に、変形場の取得機能を更に有してもよい。つまり、第１分割結果及び第２分割結果に基づいて、第１画像と第２画像との変形場を得るために用いられることが可能である。この場合、第１ニューラルネットワークは、第１画像及び第２分割結果を入力することで、第１画像の第１分割結果を取得し、第１分割結果及び第２分割結果に基づいて、第１画像と第２画像との変形場を得ることができる。

【0057】

第１ニューラルネットワークは、第１画像におけるターゲット対象に対して分割を行い、第１画像と第２画像との変形場を取得するために用いられる場合、第１ニューラルネットワークは、上記第２ニューラルネットワークのように、ターゲット対象のアノテーションを含む第１訓練画像により訓練されてもよく、第１分割結果及び第２分割結果に基づいて訓練されてもよい。ここで、第１分割結果は、第１訓練画像におけるターゲット対象のアノテーションであってもよい。従って、可能な実現形態において、第１ニューラルネットワークは、ターゲット対象のアノテーションを含む第１訓練画像及び第２分割結果により訓練されてもよい。

【0058】

他の幾つかの実施例において、第１ニューラルネットワークの実現形式及び訓練プロセスは、実際の状況に応じて柔軟に選択されてもよく、詳細は、後続の各実施例を参照し、ここで、詳細な説明を省略する。

【0059】

第２ニューラルネットワーク又は第１ニューラルネットワークにより、第１画像におけるターゲット対象に対して分割を行い、第１分割結果を得ることで、第１分割結果の取得効率を効果的に向上させることができる。それと同時に、第２ニューラルネットワーク又は第１ニューラルネットワークは、ターゲット対象のアノテーションを含む第１訓練画像により訓練を行うことで得られるため、第２ニューラルネットワーク又は第１ニューラルネットワークに基づいて得られた第１分割結果は、精度が高い分割結果を有する。

【0060】

他の幾つかの実施例において、第１ニューラルネットワークにより、第１画像におけるターゲット対象に対して分割を行い、第１分割結果を得て、更に、第１ニューラルネットワークにより、第１画像と第２画像との変形場を得る。上記プロセスにより、第１分割結果の分割効果を向上させる上で、取得された変形場の精度を更に向上させることができ、また、第１ニューラルネットワークにより、第１画像から変形場への端から端までの取得プロセスを直接実現することができる。

【0061】

同様に、第２画像からターゲット対象の第２分割結果を得るための方式も限定しない。可能な実現形態において、画像に適用される任意の血管分割アルゴリズムにより、第２画像から第２分割結果を得ることができる。可能な実現形態において、ステップＳ１２は、以下を含んでもよい。

【0062】

第２画像を第３ニューラルネットワークに入力し、第２画像におけるターゲット対象の第２分割結果を得て、第３ニューラルネットワークは、ターゲット対象のアノテーションを含む第２訓練画像により訓練される。又は、
第２画像を第１ニューラルネットワークに入力し、第２画像におけるターゲット対象の第２分割結果を得て、第１ニューラルネットワークは更に、第１分割結果及び前記第２分割結果に基づいて、第１画像と第２画像との変形場を得るために用いられる。

【0063】

上記実施例から分かるように、可能な実現形態において、分割機能を有する第３ニューラルネットワークにより、第２画像におけるターゲット対象に対して分割を行い、第２分割結果を得ることができる。ここで、第３ニューラルネットワークの実現形式は、実際の状況に応じて柔軟に決定してもよく、下記実施例に限定されない。可能な実現形態において、Ｕ－Ｎｅｔネットワークを第３ニューラルネットワークとして用いることができる。該第３ニューラルネットワークを訓練するための第２訓練画像は、第２画像の実際の状況に応じて柔軟に選択されてもよい。可能な実現形態において、第２画像がＸ線画像を含む場合、第１訓練画像は、画素ずつ血管アノテーションを行ったＸ線画像を含むことができる。

【0064】

上記実施例から更に分かるように、可能な実現形態において、分割機能を有する第１ニューラルネットワークにより、第２画像におけるターゲット対象に対して分割を行い、第２分割結果を得ることもできる。ここで、上記実施例から分かるように、第１ニューラルネットワークは、第２画像におけるターゲットに対して分割するために用いられることが可能である以外に、変形場の取得機能を更に有してもよい。つまり、第１分割結果及び第２分割結果に基づいて、第１画像と第２画像との変形場を得るために用いられることが可能である。この場合、第１ニューラルネットワークは、第２画像及び第２分割結果を入力することで、第２画像の第２分割結果を取得し、第２分割結果及び第１分割結果に基づいて、第１画像と第２画像との変形場を得ることができる。

【0065】

上記実施例に記載したように、第１ニューラルネットワークは、第１画像におけるターゲット対象に対して分割を行うために用いられてもよく、従って、可能な実現形態において、第１ニューラルネットワークは、第１画像に対する分割機能、第２画像に対する分割機能及び変形場取得機能という３つの機能を同時に含んでもよい。この場合、第１ニューラルネットワークは、第１画像及び第２画像を入力することで、第１画像の第１分割結果及び第２画像の第２分割結果をそれぞれ取得し、第１分割結果及び第２分割結果に基づいて、第１画像と第２画像との変形場を得ることができる。

【0066】

第１ニューラルネットワークは、第２画像におけるターゲット対象に対して分割を行い、第１画像と第２画像との変形場を得るために用いられる場合、第１ニューラルネットワークは、上記第３ニューラルネットワークのように、ターゲット対象のアノテーションを含む第２訓練画像により訓練されてもよく、第１分割結果及び第２分割結果に基づいて訓練されてもよい。ここで、第２分割結果は、第２訓練画像におけるターゲット対象のアノテーションであってもよい。従って、可能な実現形態において、第１ニューラルネットワークは、ターゲット対象のアノテーションを含む第２訓練画像及び第１分割結果により訓練されてもよい。他の幾つかの実施例において、第１ニューラルネットワークは、第１画像に対して分割を行うことができるだけでなく、第２画像に対して分割を行い、変形場を取得することもできる場合、第１ニューラルネットワークは、ターゲット対象のアノテーションを含む第１訓練画像及びターゲット対象のアノテーションを含む第２訓練画像により同時に訓練されてもよい。

【0067】

他の幾つかの実施例において、第１ニューラルネットワークの実現形式及び訓練プロセスも実際の状況に応じて柔軟に選択されてもよく、詳細は、後続の各実施例を参照し、ここで、詳細な説明を省略する。

【0068】

本願の実施例における第１ニューラルネットワーク、第２ニューラルネットワーク及び第３ニューラルネットワークにおける「第１」、「第２」及び「第３」などの番号は、異なる機能を有するニューラルネットワークを区分するために用いられるものだけであり、ニューラルネットワークの実現形式を限定しないことに留意されたい。本願の実施例において、第１ニューラルネットワーク、第２ニューラルネットワーク及び第３ニューラルネットワークの実現形式は、同じであっても異なってもよい。

【0069】

第３ニューラルネットワーク又は第１ニューラルネットワークにより、第２画像におけるターゲット対象に対して分割を行い、第２分割結果を得ることで、第２分割結果の取得効率を効果的に向上させることができる。それと同時に、第３ニューラルネットワーク又は第１ニューラルネットワークは、ターゲット対象のアノテーションを含む第２訓練画像により訓練を行うことで得られるため、第３ニューラルネットワーク又は第１ニューラルネットワークに基づいて得られた第２分割結果は、精度が高い分割結果を有する。

【0070】

他の幾つかの実施例において、第１ニューラルネットワークにより、第２画像におけるターゲット対象に対して分割を行い、第２分割結果を得て、更に、第１ニューラルネットワークにより、第１画像と第２画像との変形場を得る。上記プロセスにより、第２分割結果の分割効果を向上させる上で、取得された変形場の精度を更に向上させることができ、また、第１ニューラルネットワークにより、第２画像から変形場への端から端までの取得プロセスを直接実現することができ、第１ニューラルネットワークにより、第１画像及び第２画像という２つの画像から変形場への端から端までの取得プロセスを直接実現することもできる。

【0071】

第１分割結果及び第２分割結果を得た後、ステップＳ１３により、第１画像と第２画像との変形場を取得することができる。可能な実現形態において、ステップＳ１３は、
第１分割結果及び第２分割結果を第１ニューラルネットワークに入力し、第１画像と第２画像との変形場を得ることを含んでもよい。

【0072】

上記実施例から分かるように、可能な実現形態において、変形場取得機能を有する第１ニューラルネットワークにより、第１分割結果と第２分割結果との画素点位置変換関係を抽出することで、第１分割結果と第２分割結果との変形場を得ることができる。可能な実現形態において、該第１分割結果と第２分割結果との変形場を直接的に第１画像と第２画像との変形場とすることができる。可能な実現形態において、第１画像と第２分割結果との関係、及び第２画像と第２分割結果との関係に基づいて、該変形場を２つの画像間の変換関係に変換することで、第１画像と第２画像との変形場を得ることもできる。

【0073】

ここで、第１ニューラルネットワークの実現形式は、実際の状況に応じて柔軟に決定してもよく、下記実施例に限定されない。可能な実現形態において、Ｕ－Ｎｅｔネットワークを第１ニューラルネットワークとして用いることができる。入力された第１分割結果と第２分割結果に基づいて変形場を決定することができるように、第１ニューラルネットワークを如何に訓練するかに関する訓練プロセスは、下記各実施例を参照することができ、ここで、詳細な説明を省略する。

【0074】

第１ニューラルネットワークにより、第１分割結果及び第２分割結果を処理することで、第１画像と第２画像との変形場を得る。上記プロセスにより、一方で、ニューラルネットワークを利用して、端から端までの変形場予測を実現することができ、位置変換関係を画素ずつ決定する方式に比べて、変形場の取得時間を大幅に短縮し、変形場の取得効率を向上させ、それによって画像処理プロセス全体及び後続の画像レジストレーションプロセスの効率を効果的に向上させることができる。もう一方で、ニューラルネットワークにより取得される変形場が、第１画像と第２画像との各画素点の位置変換関係を含み、変形場の自由度を最大化することができ、変形場の精度及び正確率を向上させ、画像処理プロセス全体及び後続の画像レジストレーションプロセスの精度を向上させることができる。

【0075】

上記各実施例に記載したように、第１画像と第２画像は、異なる属性を有する可能性がある。可能な実現形態において、第１画像は、三次元画像を含んでもよく、第２画像は、二次元画像を含んでもよい。この場合、第１分割結果及び第２分割結果に基づいて第１画像と第２画像との変形場を取得するプロセスは、柔軟に変わってもよい。従って、可能な実現形態において、ステップＳ１３は、以下を含んでもよい。

【0076】

ステップＳ１３１において、第２画像の収集情報に基づいて、第１分割結果を二次元である第３分割結果に変換する。

【0077】

ステップＳ１３２において、第３分割結果及び第２分割結果を第１ニューラルネットワークに入力し、第１画像と第２画像との変形場を得る。

【0078】

上記実施例に記載したように、第１画像が三次元画像を含み、第２画像が二次元画像を含むため、対応的に、第１画像から取得された第１分割結果は、三次元の分割結果であり得、第２画像から取得された第２分割結果は、二次元の分割結果であり得る。第１分割結果を二次元の分割結果を変換することで、後続で三次元の第１画像と二次元の第２画像との変形場の取得に役立つ。従って、可能な実現形態において、ステップＳ１３１により、第２画像の収集情報に基づいて、第１分割結果を二次元である第３分割結果に変換することができる。

【0079】

ここで、第２画像の収集情報は、第２画像収集プロセスにおいて、第２画像の収集角度又は収集方式に関わる任意の情報であってもよく、その実現形式は、実際の状況に応じて柔軟に決定してもよく、下記実施例に限定されない。可能な実現形態において、第２画像がＸ線画像である場合、収集情報は、第２画像の医療用デジタル映像及び通信（Ｄｉｇｉｔａｌ Ｉｍａｇｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｉｎ Ｍｅｄｉｃｉｎｅ：ＤＩＣＯＭ）ヘッダファイル情報を含んでもよい。ＤＩＣＯＭヘッダファイル情報を読み取ることで、Ｘ線画像の撮影角度を決定することができる。

【0080】

収集情報に基づいて第１分割結果を二次元である第３分割結果に変換するための方式を限定せず、収集情報の実際の状況に応じて柔軟に決定してもよい。可能な実現形態において、収集情報がＤＩＣＯＭヘッダファイル情報を含む場合、ＤＩＣＯＭヘッダファイル情報に基づいて、第２画像の撮影角度を決定し、該撮影角度に基づいて、第１分割結果を投影し、第３分割結果を得ることができる。ここで、第１分割結果を投影するための方式を限定しない。一例において、光線投影アルゴリズムにより、投影後の第３分割結果を得ることができる。

【0081】

二次元である第３分割結果を得た後、ステップＳ１３２により、第３分割結果及び第２分割結果を第１ニューラルネットワークに入力し、第１画像と第２画像との変形場を得ることができる。ここで、第１ニューラルネットワーク及び第１ニューラルネットワークが第３分割結果及び第２分割結果を処理するための方式は、上記実施例における第１ニューラルネットワークが第１分割結果及び第２分割結果を処理するための方式を参照することができ、ここで、詳細な説明を省略する。

【0082】

本願の実施例において、第１分割結果を処理することで第３分割結果を得た後、第３分割結果及び第２分割結果に基づいて第１ニューラルネットワークにより得られた変形場は、第３分割結果と第２分割結果との変形場であることに留意されたい。可能な実現形態において、該変形場をそのまま第１画像と第２画像との変形場とすることができる。可能な実現形態において、第１画像に基づいて変換された第３分割結果と第２画像に基づいて変換された第２分割結果との対応関係に基づいて、該変形場を更に処理し、第１画像と第２画像との直接的な変形場を得ることができる。変形場の実現形式によって、後続で該変形場を利用して第１画像及び第２画像に対して実行される操作も対応的に変わってもよい。

【0083】

可能な実現形態において、第１分割結果を第３分割結果に変換するプロセスは、第１ニューラルネットワークにより実現してもよい。この場合、第１ニューラルネットワークは、第１分割結果及び第２分割結果を直接的に入力とし、ニューラルネットワークの内部において、第１分割結果から第３分割結果への変換を行い、第３分割結果及び第２分割結果に基づいて、第１画像と第２画像との変形場を得ることができる。

【0084】

第１画像が三次元画像を含み、第２画像が二次元画像を含む場合、第２画像の収集情報に基づいて、第１分割結果を二次元である第３分割結果に変換することで、第３分割結果及び第２分割結果を第１ニューラルネットワークに入力し、第１画像と第２画像との変形場を得る。上記プロセスにより、二次元の第２画像の収集情報を利用して、第１画像の第１分割結果を二次元平面に投影し、２つの二次元の分割結果に基づいて、第１画像と第２画像との変形場を取得することができる。これにより、得られた変形場は、第１画像と第２画像とのターゲット対象の変換関係を正確に表すことができ、画像処理の精度及び効果を向上させる。

【0085】

第１画像と第２画像との変形場を取得した後、該変形場を利用して、第１画像及び第２画像に対して、上記実施例に記載したレジストレーション等のような処理を行うことができる。従って、可能な実現形態において、本願の実施例で提供される方法は、
変形場に基づいて、第１画像と第２画像に対してレジストレーションを行い、レジストレーション結果を得ることを更に含んでもよい。

【0086】

上記各実施例に記載したように、変形場は、第１画像と第２画像との、ターゲット対象の各画素の位置変換関係を表すことができるため、変形場により、第１画像におけるターゲット対象及び第２画像におけるターゲット対象を同一の座標系に変換することで、第１画像と第２画像とのレジストレーションを実現し、レジストレーション結果を得ることができる。

【0087】

レジストレーションプロセスの実現形態は、変形場の実際の状況に応じて柔軟に決定してもよい。上記実施例に記載したように、可能な実現形態において、変形場は、分割結果間の変形場であってもよい。例えば、第１分割結果と第２分割結果との変形場、又は第３結果と第２結果との変形場などであってもよい。この場合、第１画像と第２画像に対してレジストレーションを行うプロセスは、対応する分割結果に対して、変形場に基づいて変形を行うプロセスであってもよい。つまり、変形場を利用して、第１分割結果を第２分割結果の座標系に変換し、変形場を利用して、第３分割結果を第２分割結果の座標系に変換し、変形場を利用して、第２分割結果を第１分割結果の座標系に変換し、又は、変形場を利用して、第２分割結果を第３分割結果の座標系に変換する。

【0088】

可能な実現形態において、変形場は、分割結果の変形場を基に処理を更に行うことで得られた画像間の変形場であってもよく、即ち、第１画像と第２画像との直接的な変形場であってもよい。この場合、第１画像と第２画像に対してレジストレーションを行うプロセスは、第１画像又は第２画像を直接処理して変形を行うプロセスであってもよい。つまり、変形場を利用して、第１画像を第２画像の座標系に変換し、又は、変形場を利用して、第２画像を第１画像の座標系に変換する。

【0089】

可能な実現形態において、レジストレーションプロセスは、画像又は分割結果が位置する座標系に限定されなくてもよい。例えば、変形場を利用して、第１画像及び第２画像を１つの所定の座標系にレジストレーションし、又は、第１分割結果及び第２分割結果を１つの所定の座標系にレジストレーションする。

【0090】

実際のレジストレーション方式を本願の実施例において限定せず、下記実施例に限定されない。一例において、空間変換ネットワーク（Ｓｐａｔｉａｌ Ｔｒａｎｓｆｏｒｍｅｒ Ｎｅｔｗｏｒｋｓ：ＳＴＮ）により、レジストレーションしようとする画像を比較し、レジストレーション結果を得ることができる。

【0091】

変形場に基づいて、第１画像と第２画像に対してレジストレーションを行い、レジストレーション結果を得る。得られた変形場を利用して、第１画像に含まれるターゲット対象情報と第２画像に含まれるターゲット対象情報を１つの座標系に統合して融合することで、実行するターゲット対象に基づく操作を全体的かつ効果的にガイドすることができる。

【0092】

上記各実施例に記載したように、可能な実現形態において、第１ニューラルネットワークを利用して変形場を取得することができる。取得される変形場をより正確にするために、第１ニューラルネットワークに対して訓練を行い、より高い精度を持たせることができる。つまり、本願の実施例で提供される画像処理方法は、第１ニューラルネットワークの訓練プロセスにも適用可能である。この場合、可能な実現形態において、本願の実施例で提供される画像処理方法は、以下を含んでもよい。

【0093】

ステップＳ１１において、第１画像におけるターゲット対象の第１分割結果を取得する。

【0094】

ステップＳ１２において、第２画像におけるターゲット対象の第２分割結果を取得する。

【0095】

ステップＳ１３において、第１分割結果及び第２分割結果に基づいて、第１画像と第２画像との変形場を得る。

【0096】

ステップＳ１４において、変形場に基づいて、第１ニューラルネットワークの誤差損失を取得する。

【0097】

ステップＳ１５において、誤差損失に基づいて、第１ニューラルネットワークに対して訓練を行う。

【0098】

ここで、ステップＳ１１からステップＳ１３の実現プロセスは、上記各実施例を参照することができ、ここで、詳細な説明を省略する。第１ニューラルネットワークは、未訓練のニューラルネットワークであってもよく、訓練中であるが、訓練済みではないニューラルネットワークであってもよい。

【0099】

変形場を得た後、変形場に基づいて、第１ニューラルネットワークの誤差損失を取得することができる。該誤差損失の取得方式は、実際の状況に応じて柔軟に選択されてもよい。可能な実現形態において、ステップＳ１４は、以下を含んでもよい。

【0100】

ステップＳ１４１において、変形場に基づいて、第１分割結果に対してレジストレーションを行い、レジストレーション後の第１分割結果を得て、レジストレーション後の第１分割結果と第２分割結果との誤差を第１ニューラルネットワークの誤差損失とする。又は、
ステップＳ１４２において、変形場に基づいて、第２分割結果に対してレジストレーションを行い、レジストレーション後の第２分割結果を得て、レジストレーション後の第２分割結果と第１分割結果との誤差を前記第１ニューラルネットワークの誤差損失とする。又は、
ステップＳ１４３において、変形場に基づいて、第１分割結果に対してレジストレーションを行い、レジストレーション後の第１分割結果を得て、レジストレーション後の第１分割結果と第２画像との誤差を第１ニューラルネットワークの誤差損失とする。又は、
ステップＳ１４４において、変形場に基づいて、第２分割結果に対してレジストレーションを行い、レジストレーション後の第２分割結果を得て、レジストレーション後の第２分割結果と第１画像との誤差を前記第１ニューラルネットワークの誤差損失とする。

【0101】

変形場は、第１分割結果と第２分割結果との変換関係を表すことができるため、第１ニューラルネットワークから出力された変形場を利用して、第１分割結果に対してレジストレーションを行い、レジストレーション後の第１分割結果を得ることができる。変形場が完全に正確である場合、レジストレーション後の第１分割結果は、第２分割結果と一致するはずであり、従って、レジストレーション後の第１分割結果と第２分割結果との誤差により、第１ニューラルネットワークから出力された変形場の誤差を決定し、該誤差を第１ニューラルネットワークの誤差損失として第１ニューラルネットワークに対して訓練を行うことで、訓練された第１ニューラルネットワークの精度を向上させることができる。

【0102】

同様に、変形場を利用して第２分割結果に対してレジストレーションを行い、レジストレーション後の第２分割結果と第１分割結果との誤差を利用して、第１ニューラルネットワークから出力された変形場の誤差を決定し、更に、第１ニューラルネットワークの誤差損失を決定することができる。

【0103】

可能な実現形態において、第１ニューラルネットワークの誤差損失の取得は、第１ニューラルネットワークの訓練プロセスで実行されてもよく、しかも、訓練プロセスにおいて、第１ニューラルネットワークに入力された第１分割結果が、アノテーションの形式で第１画像に位置し得、同様に、第２分割結果も、アノテーションの形式で第２画像に位置し得るため、この場合、レジストレーション後の第１分割結果と第２分割結果の所在する第２画像との誤差、又は、レジストレーション後の第２分割結果と第１分割結果の所在する第１画像との誤差を、第１ニューラルネットワークの誤差としてもよい。

【0104】

上記実施例に記載したように、変形場は、第１分割結果と第２分割結果との変形場であってもよく、第３分割結果と第２分割結果との変形場であってもよく、又は、第１画像と第２画像との変形場などであってもよい。従って、変形場の指す対象に応じて、決定された誤差は柔軟に変わってもよい。例えば、変形場が第３分割結果と第２分割結果との変形場である場合、変形場を利用して第３分割結果に対してレジストレーションを行い、レジストレーションされた第３分割結果を得て、更に、レジストレーションされた第３分割結果と第２分割結果との誤差に基づいて、第１ニューラルネットワークの誤差損失などを決定することができる。他の実現形態は、上記各実施例に基づいて柔軟に拡張することができ、ここで、詳細な説明を省略する。レジストレーション方式は、上記各実施例を参照することができ、ここで、詳細な説明を省略する。

【0105】

異なる対象間の誤差を算出するための方式は、実際の状況に応じて柔軟に選択されてもよく、下記実施例に限定されない。一例において、平均二乗誤差（Ｍｅａｎ Ｓｑｕａｒｅｄ Ｅｒｒｏｒ：ＭＳＥ）又は正規化相互相関（Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ Ｃｏｒｒｅｌａｔｉｏｎ：ＮＣＣ）などの損失関数の演算方式を利用して、異なる対象間の誤差を決定することができる。

【0106】

上記第１ニューラルネットワークの誤差損失の取得プロセスにより、実際の状況に応じて、適切な方式を柔軟に選択して第１ニューラルネットワークの誤差損失を決定し、第１ニューラルネットワークの訓練の柔軟性及び利便性を向上させることができる。

【0107】

第１ニューラルネットワークの誤差損失を取得した後、ステップＳ１５により、第１ニューラルネットワークを訓練することができる。訓練方式は、状況に応じて柔軟に決定してもよく、下記実施例に限定されない。可能な実現形態において、第１ニューラルネットワークの誤差損失に基づいて、逆伝播の方法で、第１ニューラルネットワークにおける各ネットワークパラメータなどを更新することができる。

【0108】

本願の実施例において、変形場に基づいて、第１ニューラルネットワークの誤差損失を取得し、続いて、誤差損失に基づいて第１ニューラルネットワークに対して訓練を行うことで、余分の訓練画像又はアノテーションデータなどを必要とせず、第１ニューラルネットワークの２つの入力画像の間の変換関係を直接利用して第１ニューラルネットワークに対して訓練を行うことができ、第１ニューラルネットワークの訓練精度を確保すると同時に、訓練の難度及びコストを低減させる。

【0109】

冠状動脈性心疾患は、世界中で死亡率が最も高い疾患の１つとなっていた。一般的な治療方法は、経皮的冠動脈インターベンション手術である。経皮的冠動脈インターベンション手術は、術中、Ｘ線によってカテーテルを用いて、血管の狭くなった部分を拡張し、治療の目的を達成することである。しかしながら、手術過程において、冠状動脈のＸ線画像に表示される血管は、造影剤の消散に伴い、見えなくなってしまう。これは、医者にとって大きなチャレンジとなる。また、手術の成功率は、医者の実際の経験に依存する。

【0110】

手術前のＣＴＡ画像は、三次元血管構造を良好に示すことができるが、術中でＣＴＡ画像をリアルタイムで撮ることができないため、手術前のＣＴＡ画像と手術中のＸ線画像をレジストレーションして同一の座標系に融合し、医者をより好適にガイドする必要がある。これにより、医者により実行される手術の複雑さを低減させ、手術の成功率を向上させる。

【0111】

関連技術における冠動脈レジストレーション方法は、レジストレーション課題を最適化課題とみなし、類似度を定義することで２つの血管の間の距離を評価し、該距離を反復最適化して最適な変換行列を探すことである。もう１つの方策において、反復最近接点方法を点集合から曲線に拡張し、曲線構造のレジストレーションに用いられる反復最近接曲線アルゴリズムを提出する。２つの点集合のレジストレーションを確率密度推定と定義する、相関点シフトに関わる確率統計レジストレーション方策もある。上記方策において、反復最近接点又は相関点シフトはいずれも反復最適化を行う必要があり、手術中に求められるリアルタイム性を満たすことができないことが多い。また、方策において、Ｂスプライン又は薄板スプラインなどの変形を用いるため、複雑な血管変形を満たすことができず、レジストレーションの正確率が低い。

【0112】

深層学習技術は、コンピュータビジョン技術において大きな成果を得て、医用画像レジストレーションに新たな解決手段を提供する。１つの方策において、完全畳み込みニューラルネットワークを訓練し、「自己監視」を利用して３Ｄ脳ＭＲ画像に対して非剛体レジストレーションを行う。もう１つの方策において、正規化相互相関を利用して完全畳み込みニューラルネットワークを訓練し、変形場を予測し、４Ｄ心臓ＭＲ画像をレジストレーションする。また１つの方策において、畳み込みニューラルネットワーク及び空間変換ネットワークを利用して、Ｔ１強調脳ＭＲ画像に対してレジストレーションを行う。もう１つの方策において、畳み込みニューラルネットワーク及び空間変換ネットワークを利用して、Ｔ１強調脳ＭＲ画像に対してレジストレーションを行う。別の方策において、転移学習に基づいた方法を利用してＸ－ｒａｙ及び心臓シーケンス画像に対してレジストレーションを行う。上記レジストレーション方法は、大きな成果を得たが、マルチモーダル多次元のジストレーション課題を満たしにくい。

【0113】

本願の実施例は、端から端までの冠動脈レジストレーション方法を提供する。本願の実施例において、まず、手術前のＣＴＡ画像の血管束及び手術中のＸ線画像の血管束に対して分割を行い、光線投影法を利用して２つの異なるモーダル及び次元のデータを１つの座標に統合し、続いて、１つのＵ－Ｎｅｔネットワークに入力して変形場を直接的に予測する。本願の実施例の方法は、端から端までの方式で変形場を予測することができ、レジストレーションを確保すると同時に、手術中に求められるリアルタイム性を満たすことができる。

【0114】

本願の実施例は、画像処理方法を提供する。該処理方法は、冠動脈の手術前のＣＴＡ画像及び手術中のＸ線画像に対してリアルタイムでレジストレーションを行うことができる。該画像処理方法のプロセスは以下のとおりであってもよい。

【0115】

三次元畳み込みニューラルネットワーク３Ｄ Ｕ－Ｎｅｔネットワーク（即ち、上記実施例における第２ニューラルネットワーク）を利用して手術前のＣＴＡ画像（即ち、上記実施例における第１画像）に対して分割を行い、ＣＴＡ画像における血管束（即ち、上記実施例における第１分割結果）を抽出する。

【0116】

Ｕ－Ｎｅｔネットワーク（即ち、上記実施例における第３ニューラルネットワーク）を利用して手術中のＸ線画像（即ち、上記実施例における第２画像）に対して分割を行い、手術中のＸ線画像における血管束（即ち、上記実施例における第２分割結果）を抽出する。

【0117】

Ｘ線画像におけるＤＩＣＯＭヘッダファイル情報（即ち、上記実施例における収集情報）を読み取り、光線投影アルゴリズムを利用して、ＣＴＡ画像における血管束に対してデジタル再構成放射線画像を生成し、二次元の血管投影画像（即ち、上記実施例における第３分割結果）を得る。

【0118】

二次元の血管投影画像及びＸ線画像における血管束をレジストレーションニューラルネットワーク（即ち、上記実施例における第１ニューラルネットワーク）に入力し、対応する変形場を出力する。該プロセスで用いられるレジストレーションニューラルネットワークは、深層学習ニューラルネットワークである。これは、変形場を端から端までの方式で直接的に予測することができ、リアルタイム性を大幅に向上させる。それと同時に、該プロセスにおいて、各画素点の変位を予測し、変形場の自由度を最大化し、レジストレーション精度を向上させる。

【0119】

出力された変形場を利用して、二次元の血管投影図又はＸ線画像における血管束に対して変換を行い、レジストレーションプロセスを完了する。

【0120】

幾つかの実施例において、上記レジストレーションプロセスにおいて、３Ｄ Ｕ－Ｎｅｔネットワーク、Ｕ－Ｎｅｔネットワーク及びレジストレーションニューラルネットワークを用いる必要があるため、本願の適用例は、上記各ニューラルネットワークを訓練できる画像処理方法を更に提供する。

【0121】

手術前のＣＴＡ画像に対して画素ずつ血管のアノテーションを行い、対応するアノテーションを得る。手術前のＣＴＡ画像の元画像及び対応するアノテーション（即ち、上記実施例におけるターゲット対象のアノテーションを含む第１訓練画像）を利用して、ＣＴＡ血管分割に用いられる３Ｄ Ｕ－Ｎｅｔネットワークを訓練する。

【0122】

手術中のＸ線画像に対して画素ずつ血管のアノテーションを行い、対応するアノテーションを得る。手術中のＸ線画像の元画像及び対応するアノテーション（即ち、上記実施例におけるターゲット対象のアノテーションを含む第２訓練画像）を利用して、Ｘ線血管分割に用いられるＵ－Ｎｅｔネットワークを訓練する。

【0123】

図２は、本願の一適用例によるレジストレーションニューラルネットワークの訓練プロセスを示す概略図である。図２に示すように、該訓練プロセスは以下のとおりであってもよい。

【0124】

訓練された３Ｄ Ｕ－Ｎｅｔネットワーク及びＵ－Ｎｅｔネットワークを利用して手術前のＣＴＡ画像２０１及び手術中のＸ線画像２０２に対して分割を行い、ＣＴＡ画像における血管束２０３及びＸ線画像における血管束２０４を得る。

【0125】

Ｘ線画像におけるＤＩＣＯＭヘッダファイル情報を読み取り、手術中のＸ線画像の撮影角度を決定し、光線投影アルゴリズムを利用してＣＴＡ画像における血管束２０３に対して投影を行い、投影血管束２０５を得る。

【0126】

投影血管束２０５及びＸ線画像における血管束２０４を訓練されていない初期レジストレーションニューラルネットワーク２０６（Ｕ－Ｎｅｔネットワークであってもよい）に入力し、サイズが入力画像（投影血管束又はＸ線画像における血管束）のサイズと同じである予測変形場２０７を出力する。該予測変形場は、各画素の変位を含む。

【0127】

空間変換ネットワーク２０８を利用して、投影血管束に対して、予測変形場に基づいて変形を行い、変形された血管束２０９を得る。

【0128】

変形された血管束２０９とＸ線画像における血管束２０５との損失関数２１０を算出する。算出方式として、平均二乗誤差又は正規化相互相関などを用いてもよい。更に、逆伝播アルゴリズムを利用してレジストレーションニューラルネットワークのパラメータを更新し、レジストレーションニューラルネットワークの訓練プロセスを完了する。

【0129】

上記プロセスにより、本願の実施例において、端から端までの冠動脈レジストレーションネットワークを得ることができる。手術前のＣＴＡ画像及び手術中のＸ線画像を入力することで、ネットワークは、変形場を直接的に予測し、レジストレーションタスクを完了することができる。手術前のＣＴＡ画像及び手術中のＸ線画像に対して、訓練されたＵ－Ｎｅｔにより分割を行い、Ｘ線画像の血管束を得る。ＤＩＣＯＭヘッダファイル情報を読み取り、手術前のＣＴＡ血管束を利用して投影血管束を生成する。投影血管束及び投影血管束をレジストレーションネットワークに入力し、変形場を得る。

【0130】

本願の実施例において、類似性評価関数を反復最適化して手術前のＣＴＡ画像と手術中のＸ線画像との最適な変換関係を探す必要がなく、深層学習ネットワークであるレジストレーションニューラルネットワークを利用して、端から端までの変形場予測を直接的に実現する。実験により検証したように、中央演算処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：ＣＰＵ）で上記レジストレーションプロセスを実行する場合、１秒間内で変形場を得ることができ、レジストレーションプロセスのリアルタイム性を大幅に向上させる。それと同時に、予測された変形場に血管束における各画素点の変位が含まれるため、変形の自由度を最大化することができる。Ｂスプライン又は薄板スプラインなどに基づいた変換方式に比べて、本願の適用例で提供されるレジストレーション方法は、レジストレーション精度を大幅に向上させることができる。

【0131】

実際の適用プロセスにおいて、放射線科医は、手術前のＣＴＡ画像及び手術中のＸ線画像を得た後、本願の適用例で提供される方法で、レジストレーションを迅速かつ正確に行い、２つのモーダルのデータを同一の座標系に統合し、手術中のＸ線画像から見えない冠動脈血管を補償することができる。また、本願の適用例において、手術前のＣＴＡ画像及び手術中のＸ線画像に含まれる冠動脈に対してリアルタイムでレジストレーションを行うことができるため、手術中のＸ線画像は、カテーテルの位置を良好に表示することができる。医者は、手術過程において、カテーテルの進行方向をより良好に判断することができる。

【0132】

本願の実施例の画像処理方法は、上記心臓の冠動脈画像の処理への適用を限定せず、任意の画像処理に適用可能である。本願の実施例は、これを限定しない。

【0133】

本願の実施例で言及した上記各方法の実施例は、原理や論理から逸脱しない限り、互いに組み合わせることで組み合わせた実施例を構成することができ、紙数に限りがあるため、本願において逐一説明しないことが理解されるべきである。具体的な実施形態の上記方法において、各ステップの実行順番はその機能及び可能な内在的論理により決まることは、当業者であれば理解すべきである。

【0134】

なお、本願の実施例は、画像処理装置、電子機器、コンピュータ可読記憶媒体、プログラムを更に提供する。上記はいずれも、本願の実施例で提供されるいずれか１つの画像処理方法を実現するためのものである。対応する技術的解決手段及び説明は、方法に関連する記述を参照されたい。ここで、詳細な説明を省略する。

【0135】

図３は、本願の実施例による画像処理装置を示すブロック図である。該画像処理装置は、端末機器、サーバ又は他の処理機器などであってもよい。ここで、端末機器は、ユーザ装置（Ｕｓｅｒ Ｅｑｕｉｐｍｅｎｔ：ＵＥ）、携帯機器、ユーザ端末、端末、セルラ電話、コードレス電話、パーソナルデジタルアシスタント（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ：ＰＤＡ）、ハンドヘルドデバイス、コンピューティングデバイス、車載機器、ウェアブル機器などであってもよい。

【0136】

幾つかの可能な実現形態において、該画像処理装置は、プロセッサによりメモリに記憶されているコンピュータ可読命令を呼び出すことで実現することができる。

【0137】

図３に示すように、前記画像処理装置３０は、
第１画像におけるターゲット対象の第１分割結果を取得するように構成される第１分割モジュール３１と、
第２画像におけるターゲット対象の第２分割結果を取得するように構成される第２分割モジュール３２と、
第１分割結果及び第２分割結果に基づいて、第１画像と第２画像との変形場を得るように構成される変形場取得モジュール３３であって、変形場は、第１画像と前記第２画像との、ターゲット対象の各画素点の位置変換関係を含む、変形場取得モジュール３３と、を備えてもよい。

【0138】

可能な実現形態において、変形場取得モジュールは、第１分割結果及び第２分割結果を第１ニューラルネットワークに入力し、第１画像と第２画像との変形場を得るように構成される。

【0139】

可能な実現形態において、第１画像は、三次元画像を含み、第２画像は、二次元画像を含み、変形場取得モジュールは、第２画像の収集情報に基づいて、第１分割結果を二次元である第３分割結果に変換し、第３分割結果及び第２分割結果を第１ニューラルネットワークに入力し、第１画像と第２画像との変形場を得るように構成される。

【0140】

可能な実現形態において、画像処理装置３０は、変形場に基づいて、第１画像と第２画像に対してレジストレーションを行い、レジストレーション結果を得るように構成されるレジストレーションモジュールを更に備える。

【0141】

可能な実現形態において、画像処理装置３０は、変形場に基づいて、第１ニューラルネットワークの誤差損失を取得するように構成される誤差取得モジュールと、誤差損失に基づいて、第１ニューラルネットワークに対して訓練を行うように構成される訓練モジュールと、を更に備える。

【0142】

可能な実現形態において、誤差取得モジュールは、変形場に基づいて、第１分割結果に対してレジストレーションを行い、レジストレーション後の第１分割結果を得て、レジストレーション後の第１分割結果と第２分割結果との誤差を第１ニューラルネットワークの誤差損失とし、又は、変形場に基づいて、第２分割結果に対してレジストレーションを行い、レジストレーション後の第２分割結果を得て、レジストレーション後の第２分割結果と第１分割結果との誤差を第１ニューラルネットワークの誤差損失とし、又は、変形場に基づいて、第１分割結果に対してレジストレーションを行い、レジストレーション後の第１分割結果を得て、レジストレーション後の第１分割結果と第２画像との誤差を第１ニューラルネットワークの誤差損失とし、又は、変形場に基づいて、第２分割結果に対してレジストレーションを行い、レジストレーション後の第２分割結果を得て、レジストレーション後の第２分割結果と第１画像との誤差を第１ニューラルネットワークの誤差損失とするように構成される。

【0143】

可能な実現形態において、第１分割モジュールは、第１画像を第２ニューラルネットワークに入力し、第１画像における前記ターゲット対象の第１分割結果を得ることであって、第２ニューラルネットワークは、ターゲット対象のアノテーションを含む第１訓練画像により訓練される、こと、又は、第１画像を第１ニューラルネットワークに入力し、第１画像におけるターゲット対象の第１分割結果を得ることであって、第１ニューラルネットワークは更に、第１分割結果及び第２分割結果に基づいて、第１画像と第２画像との変形場を得るために用いられる、ことを実行するように構成される。

【0144】

可能な実現形態において、第２分割モジュールは、第２画像を第３ニューラルネットワークに入力し、第２画像におけるターゲット対象の第２分割結果を得ることであって、第３ニューラルネットワークは、ターゲット対象のアノテーションを含む第２訓練画像により訓練される、こと、又は、第２画像を第１ニューラルネットワークに入力し、第２画像におけるターゲット対象の第２分割結果を得ることであって、第１ニューラルネットワークは更に、第１分割結果及び第２分割結果に基づいて、第１画像と第２画像との変形場を得るために用いられる、ことを実行するように構成される。

【0145】

可能な実現形態において、第１画像は、コンピュータ断層撮影血管造影ＣＴＡ画像を含み、第２画像は、Ｘ線画像を含み、ターゲット対象は、冠動脈対象を含む。

【0146】

本願の実施例はコンピュータ可読記憶媒体を更に提供する。該コンピュータ可読記憶媒体にはコンピュータプログラム命令が記憶されており、前記コンピュータプログラム命令がプロセッサにより実行される時、上記画像処理方法を実現する。コンピュータ可読記憶媒体は不揮発性コンピュータ可読記憶媒体であってもよい。

【0147】

本願の実施例は電子機器を更に提供する。該電子機器は、プロセッサと、プロセッサによる実行可能な命令を記憶するように構成されるメモリと、を備え、前記プロセッサは、前記メモリに記憶されている命令を呼び出し、上記方法を実行するように構成される。

【0148】

本願の実施例は、コンピュータプログラム製品を更に提供する。前記コンピュータプログラム製品は、コンピュータ可読コードを含み、コンピュータ可読コードが機器で実行される時、機器におけるプロセッサは、上記いずれか１つの実施例で提供される画像処理方法を実現するための命令を実行する。

【0149】

本願の実施例は、もう１つのコンピュータプログラム製品を更に提供する。該コンピュータプログラム製品は、コンピュータ可読命令を記憶するように構成され、命令が実行される時、コンピュータに、上記いずれか１つの実施例で提供される画像処理方法の操作を実行させる。

【0150】

電子機器は、端末、サーバ又は他の形態の機器として提供されてもよい。

【0151】

図４は、本願の実施例による電子機器８００を示すブロック図である。例えば、電子機器８００は、携帯電話、コンピュータ、デジタル放送端末、メッセージング装置、ゲームコンソール、タブレットデバイス、医療機器、フィットネス機器、パーソナルデジタルアシスタントなどの端末であってもよい。

【0152】

図４を参照すると、電子機器８００は、処理ユニット８０２、メモリ８０４、電源ユニット８０６、マルチメディアユニット８０８、オーディオユニット８１０、入力／出力（Ｉｎｐｕｔ Ｏｕｔｐｕｔ：Ｉ／Ｏ）インタフェース８１２、センサユニット８１４及び通信ユニット８１６のうちの１つ又は複数を備えてもよい。

【0153】

処理ユニット８０２は一般的には、電子機器８００の全体操作を制御する。例えば、表示、通話呼、データ通信、カメラ操作及び記録操作に関連する操作を制御する。処理ユニット８０２は、指令を実行するための１つ又は複数のプロセッサ８２０を備えてもよい。それにより上記方法の全て又は一部のステップを実行する。なお、処理ユニット８０２は、他のユニットとのインタラクションのために、１つ又は複数のモジュールを備えてもよい。例えば、処理ユニット８０２はマルチメディアモジュールを備えることで、マルチメディアユニット８０８と処理ユニット８０２とのインタラクションに寄与する。

【0154】

メモリ８０４は、各種のデータを記憶することで電子機器８００における操作をサポートするように構成される。これらのデータの例として、電子機器８００上で操作れる如何なるアプリケーション又は方法の命令、連絡先データ、電話帳データ、メッセージ、イメージ、ビデオ等を含む。メモリ８０４は任意のタイプの揮発性または不揮発性記憶装置、あるいはこれらの組み合わせにより実現される。例えば、スタティックランダムアクセスメモリ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ：ＳＲＡＭ）、電気的消去可能なプログラマブル読み出し専用メモリ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ：ＥＥＰＲＯＭ）、電気的に消去可能なプログラマブル読出し専用メモリ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ：ＥＰＲＯＭ）、プログラマブル読出し専用メモリ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ：ＰＲＯＭ）、読出し専用メモリ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ：ＲＯＭ）、磁気メモリ、フラッシュメモリ、磁気もしくは光ディスクを含む。

【0155】

電源ユニット８０６は電子機器８００の様々なユニットに電力を提供する。電源ユニット８０６は、電源管理システム、１つ又は複数の電源、及び電子機器８００のための電力生成、管理、分配に関連する他のユニットを備えてもよい。

【0156】

マルチメディアユニット８０８は、上記電子機器８００とユーザとの間に出力インタフェースを提供するためのスクリーンを備える。幾つかの実施例において、スクリーンは、液晶ディスプレイ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ：ＬＣＤ）及びタッチパネル（ＴｏｕｃｈＰａｎｅｌ：ＴＰ）を含む。スクリーンは、タッチパネルを含むと、タッチパネルとして実現され、ユーザからの入力信号を受信する。タッチパネルは、タッチ、スライド及びパネル上のジェスチャを感知する１つ又は複数のタッチセンサを備える。上記タッチセンサは、タッチ又はスライド動作の境界を感知するだけでなく、上記タッチ又はスライド操作に関連する持続時間及び圧力を検出することもできる。幾つかの実施例において、マルチメディアユニット８０８は、フロントカメラ及び／又はリアカメラを備える。電子機器８００が、撮影モード又はビデオモードのような操作モードであれば、フロントカメラ及び／又はリアカメラは外部からのマルチメディアデータを受信することができる。各フロントカメラ及びリアカメラは固定した光学レンズシステム又は焦点及び光学ズーム能力を持つものであってもよい。

【0157】

オーディオユニット８１０は、オーディオ信号を出力及び／又は入力するように構成される。例えば、オーディオユニット８１０は、マイクロホン（Ｍｉｃｒｏｐｈｏｎｅ：ＭＩＣ）を備える。電子機器８００が、通話モード、記録モード及び音声識別モードのような操作モードであれば、マイクロホンは、外部からのオーディオ信号を受信するように構成される。受信したオーディオ信号を更にメモリ８０４に記憶するか、又は通信ユニット８１６を経由して送信することができる。幾つかの実施例において、オーディオユニット８１０は、オーディオ信号を出力するように構成されるスピーカーを更に備える。

【0158】

Ｉ／Ｏインタフェース８１２は、処理ユニット８０２と周辺インタフェースモジュールとの間のインタフェースを提供する。上記周辺インタフェースモジュールは、キーボード、クリックホイール、ボタン等であってもよい。これらのボタンは、ホームボダン、ボリュームボタン、スタートボタン及びロックボタンを含むが、これらに限定されない。

【0159】

センサユニット８１４は、１つ又は複数のセンサを備え、電子機器８００のために様々な状態の評価を行うように構成される。例えば、センサユニット８１４は、電子機器８００のオン／オフ状態、ユニットの相対的な位置決めを検出することができる。例えば、上記ユニットが電子機器８００のディスプレイ及びキーパッドである。センサユニット８１４は電子機器８００又は電子機器８００における１つのユニットの位置の変化、ユーザと電子機器８００との接触の有無、電子機器８００の方位又は加速／減速及び電子機器８００の温度の変動を検出することもできる。センサユニット８１４は近接センサを備えてもよく、いかなる物理的接触もない場合に周囲の物体の存在を検出するように構成される。センサユニット８１４は、相補型金属酸化膜半導体（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ：ＣＭＯＳ）又は電荷結合素子（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ：ＣＣＤ）画像センサのような光センサを備えてもよく、結像に適用されるように構成される。幾つかの実施例において、該センサユニット８１４は、加速度センサ、ジャイロセンサ、磁気センサ、圧力センサ又は温度センサを備えてもよい。

【0160】

通信ユニット８１６は、電子機器８００と他の機器との有線又は無線方式の通信に寄与するように構成される。電子機器８００は、ワイヤレスフィデリティ（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ：ＷｉＦｉ）、第２世代移動通信技術（Ｔｈｅ ２ｎｄ Ｇｅｎｅｒａｔｉｏｎ：２Ｇ）、第３世代移動通信技術（Ｔｈｅ ３ｎｄ Ｇｅｎｅｒａｔｉｏｎ：３Ｇ）、又はそれらの組み合わせのような通信規格に基づいた無線ネットワークにアクセスできる。一例示的な実施例において、通信ユニット８１６は放送チャネルを経由して外部放送チャネル管理システムからの放送信号又は放送関連する情報を受信する。一例示的な実施例において、上記通信ユニット８１６は、近接場通信（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ：ＮＦＣ）モジュールを更に備えることで近距離通信を促進する。例えば、ＮＦＣモジュールは、無線周波数識別（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ：ＲＦＩＤ）技術、赤外線データ協会（Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ：ＩｒＤＡ）技術、超広帯域（Ｕｌｔｒａ Ｗｉｄｅ Ｂａｎｄ：ＵＷＢ）技術、ブルートゥース（登録商標）（Ｂｌｕｅｔｏｏｔｈ（登録商標）：ＢＴ）技術及び他の技術に基づいて実現される。

【0161】

例示的な実施例において、電子機器８００は、１つ又は複数の特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）、デジタル信号プロセッサ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓ：ＤＳＰ）、デジタル信号処理機器（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓ Ｄｅｖｉｃｅ：ＤＳＰＤ）、プログラマブルロジックデバイス（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＰＬＤ）、フィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ：ＦＰＧＡ）、コントローラ、マイクロコントローラ、マイクロプロセッサ又は他の電子素子により実現され、上記方法を実行するように構成されてもよい。

【0162】

例示的な実施例において、コンピュータプログラム命令を記憶したメモリ８０４のような不揮発性コンピュータ可読記憶媒体を更に提供する。上記コンピュータプログラム命令は、電子機器８００のプロセッサ８２０により実行され、上記方法を完了する。

【0163】

図５は、本願の実施例による電子機器１９００を示すブロック図である。例えば、電子機器１９００は、サーバとして提供されてもよい。図５を参照すると、電子機器１９００は、処理ユニット１９２２を備える。それは、１つ又は複数のプロセッサ、及びメモリ１９３２で表されるメモリリソースを更に備える。該メモリリースは、アプリケーションプログラムのような、処理ユニット１９２２により実行される命令を記憶するためのものである。メモリ１９３２に記憶されているアプリケーションプログラムは、それぞれ一組の命令に対応する１つ又は１つ以上のモジュールを含んでもよい。なお、処理ユニット１９２２は、命令を実行して、上記方法を実行するように構成される。

【0164】

電子機器１９００は、電子機器１９００の電源管理を実行するように構成される電源ユニット１９２６と、電子機器１９００をネットワークに接続するように構成される有線又は無線ネットワークインタフェース１９５０と、Ｉ／Ｏインタフェース１９５８と、を更に備えてもよい。電子機器１９００は、Ｗｉｎｄｏｗｓ（登録商標） ＳｅｒｖｅｒＴＭ、Ｍａｃ ＯＳ ＸＴＭ、Ｕｎｉｘ（登録商標）、Ｌｉｎｕｘ（登録商標）、ＦｒｅｅＢＳＤＴＭ又は類似したものような、メモリ１９３２に記憶されているオペレーティングシステムを実行することができる。

【0165】

例示的な実施例において、例えば、コンピュータプログラム命令を含むメモリ１９３２のような不揮発性コンピュータ可読記憶媒体を更に提供する。上記コンピュータプログラム命令は、電子機器１９００の処理ユニット１９２２により実行されて上記方法を完了する。

【0166】

本願の実施例は、システム、方法及び／又はコンピュータプログラム製品であってもよい。コンピュータプログラム製品は、コンピュータ可読記憶媒体を備えてもよく、プロセッサに本願の各態様を実現するためのコンピュータ可読プログラム命令がそれに記憶されている。

【0167】

コンピュータ可読記憶媒体は、命令実行装置に用いられる命令を保持又は記憶することができる有形装置であってもよい。コンピュータ可読記憶媒体は、例えば、電気記憶装置、磁気記憶装置、光記憶装置、電磁記憶装置、半導体記憶装置又は上記の任意の組み合わせであってもよいが、これらに限定されない。コンピュータ可読記憶媒体は、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ：ＲＡＭ）、読出し専用メモリ、消去可能なプログラマブル読み出し専用メモリ（ＥＰＲＯＭ又はフラッシュ）、スタティックランダムアクセスメモリ、ポータブルコンパクトディスク読出し専用メモリ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ：ＣＤ－ＲＯＭ）、デジタル多目的ディスク（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｄｉｓｃ：ＤＶＤ）、メモリスティック、フレキシブルディスク、命令が記憶されているパンチカード又は凹溝内における突起構造のような機械的符号化装置、及び上記任意の適切な組み合わせを含んでもよい。ここで用いられるコンピュータ可読記憶媒体は、電波もしくは他の自由に伝搬する電磁波、導波路もしくは他の伝送媒体を通って伝搬する電磁波（例えば、光ファイバケーブルを通過する光パルス）、または、電線を通して伝送される電気信号などの、一時的な信号それ自体であると解釈されるべきではない。

【0168】

ここで説明されるコンピュータ可読プログラム命令を、コンピュータ可読記憶媒体から各コンピューティング／処理装置にダウンロードすることができるか、又は、インターネット、ローカルエリアネットワーク、ワイドエリアネットワーク及び／又は無線ネットワークのようなネットワークを経由して外部コンピュータ又は外部記憶装置にダウンロードすることができる。ネットワークは、伝送用銅線ケーブル、光ファイバー伝送、無線伝送、ルータ、ファイアウォール、交換機、ゲートウェイコンピュータ及び／又はエッジサーバを含んでもよい。各コンピューティング／処理装置におけるネットワークインタフェースカード又はネットワークインタフェースは、ネットワークからコンピュータ可読プログラム命令を受信し、該コンピュータ可読プログラム命令を転送し、各コンピューティング／処理装置におけるコンピュータ可読記憶媒体に記憶する。

【0169】

本願の操作を実行するように構成されるコンピュータプログラム命令は、アセンブラ命令、命令セットアーキテクチャ（Ｉｎｄｕｓｔｒｙ Ｓｔａｎｄａｒｄ Ａｒｃｈｉｔｅｃｔｕｒｅ：ＩＳＡ）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、又は１つ又は複数のプログラミング言語で記述されたソースコード又はターゲットコードであってもよい。前記プログラミング言語は、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などのようなオブジェクト指向プログラミング言語と、Ｃプログラミング言語又は類似したプログラミング言語などの従来の手続型プログラミング言語とを含む。コンピュータ可読プログラム命令は、ユーザコンピュータ上で完全に実行してもよいし、ユーザコンピュータ上で部分的に実行してもよいし、独立したソフトウェアパッケージとして実行してもよいし、ユーザコンピュータ上で部分的に実行してリモートコンピュータ上で部分的に実行してもよいし、又はリモートコンピュータ又はサーバ上で完全に実行してもよい。リモートコンピュータの場合に、リモートコンピュータは、任意の種類のネットワーク（ローカルエリアネットワーク（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ：ＬＡＮ）又はワイドエリアネットワーク（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ：ＷＡＮ）を含む）を通じてユーザのコンピュータに接続するか、または、外部のコンピュータに接続することができる（例えばインターネットサービスプロバイダを用いてインターネットを通じて接続する）。幾つかの実施例において、コンピュータ可読プログラム命令の状態情報を利用して、プログラマブル論理回路、フィールドプログラマブルゲートアレイ又はプログラマブル論理アレイのような電子回路をカスタマイズする。該電子回路は、コンピュータ可読プログラム命令を実行することで、本願の各態様を実現することができる。

【0170】

ここで、本願の実施例の方法、装置（システム）及びコンピュータプログラム製品のフローチャート及び／又はブロック図を参照しながら、本願の各態様を説明する。フローチャート及び／又はブロック図の各ブロック及びフローチャート及び／又はブロック図における各ブロックの組み合わせは、いずれもコンピュータ可読プログラム命令により実現できることは、理解されるべきである。

【0171】

これらのコンピュータ可読プログラム命令は、汎用コンピュータ、専用コンピュータまたはその他プログラマブルデータ処理装置のプロセッサに提供でき、それによって機器を生み出し、これら命令はコンピュータまたはその他プログラマブルデータ処理装置のプロセッサにより実行される時、フローチャート及び／又はブロック図における１つ又は複数のブロック中で規定している機能／操作を実現する装置を生み出した。これらのコンピュータ可読プログラム命令をコンピュータ可読記憶媒体に記憶してもよい。これらの命令によれば、コンピュータ、プログラマブルデータ処理装置及び／又は他の装置は特定の方式で動作する。従って、命令が記憶されているコンピュータ可読記憶媒体は、フローチャート及び／又はブロック図おける１つ又は複数のブロック中で規定している機能／操作を実現する各態様の命令を含む製品を備える。

【0172】

コンピュータ可読プログラム命令をコンピュータ、他のプログラマブルデータ処理装置又は他の装置にロードしてもよい。これにより、コンピュータ、他のプログラマブルデータ処理装置又は他の装置で一連の操作の工程を実行して、コンピュータで実施されるプロセスを生成する。従って、コンピュータ、他のプログラマブルデータ処理装置又は他の装置で実行される命令により、フローチャート及び／又はブロック図における１つ又は複数のブロック中で規定している機能／操作を実現する。

【0173】

図面におけるフローチャート及びブロック図は、本願の複数の実施例によるシステム、方法及びコンピュータプログラム製品の実現可能なアーキテクチャ、機能および操作を例示するものである。この点で、フローチャート又はブロック図における各ブロックは、１つのモジュール、プログラムセグメント又は命令の一部を表すことができる。前記モジュール、プログラムセグメント又は命令の一部は、１つまたは複数の所定のロジック機能を実現するための実行可能な命令を含む。いくつかの取り替えとしての実現中に、ブロックに表記される機能は図面中に表記される順序と異なる順序で発生することができる。例えば、２つの連続するブロックは実際には基本的に並行して実行でき、場合によっては反対の順序で実行することもでき、これは関係する機能から確定する。ブロック図及び／又はフローチャートにおける各ブロック、及びブロック図及び／又はフローチャートにおけるブロックの組み合わせは、所定の機能又は操作を実行するための専用ハードウェアベースシステムにより実現するか、又は専用ハードウェアとコンピュータ命令の組み合わせにより実現することができることに留意されたい。

【0174】

該コンピュータプログラム製品は、ハードウェア、ソフトウェア又はその組み合わせにより実現してもよい。選択可能な実施例において、前記コンピュータプログラム製品は、コンピュータ記憶媒体として具現化されてもよい。別の選択可能な実施例において、コンピュータプログラム製品は具体的には、例えば、ソフトウェア開発キット（Ｓｏｆｔｗａｒｅ Ｄｅｖｅｌｏｐｍｅｎｔ Ｋｉｔ：ＳＤＫ）などのようなソフトウェア製品として具現化される。

【0175】

以上は本願の各実施例を説明したが、前記説明は例示的なものであり、網羅するものではなく、且つ開示した各実施例に限定されない。説明した各実施例の範囲と趣旨から脱逸しない場合、当業者にとって、多くの修正及び変更は容易に想到し得るものである。本明細書に用いられる用語の選択は、各実施例の原理、実際の応用、或いは市場における技術の改善を最もよく解釈すること、或いは他の当業者が本明細書に開示された各実施例を理解できることを目的とする。

【産業上の利用可能性】

【0176】

本願の実施例は、画像処理方法及び装置、電子機器、記憶媒体並びにプログラム製品に関する。前記方法は、第１画像におけるターゲット対象の第１分割結果を取得することと、第２画像におけるターゲット対象の第２分割結果を取得することと、前記第１分割結果及び前記第２分割結果に基づいて、前記第１画像と前記第２画像との変形場を得ることであって、前記変形場は、前記第１画像と前記第２画像との、前記ターゲット対象の各画素点の位置変換関係を含む、ことと、を含む。上記プロセスにより、第１画像と第２画像とのターゲット画像の情報融合に、より高い精度を持たせることができる。

【図1】

【図2】

【図3】

【図4】

【図5】

【手続補正書】

【提出日】2021-12-28

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

画像処理方法であって、
第１画像におけるターゲット対象の第１分割結果を取得することと、
第２画像におけるターゲット対象の第２分割結果を取得することと、
前記第１分割結果及び前記第２分割結果に基づいて、前記第１画像と前記第２画像との変形場を得ることであって、前記変形場は、前記第１画像と前記第２画像との、前記ターゲット対象の各画素点の位置変換関係を含む、ことと、を含む、画像処理方法。

【請求項2】

前記第１分割結果及び前記第２分割結果に基づいて、前記第１画像と前記第２画像との変形場を得ることは、
前記第１分割結果及び前記第２分割結果を第１ニューラルネットワークに入力し、前記第１画像と前記第２画像との変形場を得ることを含むことを特徴とする
請求項１に記載の方法。

【請求項3】

前記第１画像は、三次元画像を含み、前記第２画像は、二次元画像を含み、
前記第１分割結果及び前記第２分割結果に基づいて、前記第１画像と前記第２画像との変形場を得ることは、
前記第２画像の収集情報に基づいて、前記第１分割結果を二次元である第３分割結果に変換することと、
前記第３分割結果及び前記第２分割結果を第１ニューラルネットワークに入力し、前記第１画像と前記第２画像との変形場を得ることと、を含むことを特徴とする
請求項１に記載の方法。

【請求項4】

前記方法は、
前記変形場に基づいて、前記第１画像と前記第２画像に対してレジストレーションを行い、レジストレーション結果を得ることを更に含むことを特徴とする
請求項２又は３に記載の方法。

【請求項5】

前記方法は、
前記変形場に基づいて、前記第１ニューラルネットワークの誤差損失を取得することと、
前記誤差損失に基づいて、前記第１ニューラルネットワークに対して訓練を行うことと、を更に含むことを特徴とする
請求項２又は３に記載の方法。

【請求項6】

前記変形場に基づいて、前記第１ニューラルネットワークの誤差損失を取得することは、
前記変形場に基づいて、前記第１分割結果に対してレジストレーションを行い、レジストレーション後の第１分割結果を得て、前記レジストレーション後の第１分割結果と前記第２分割結果との誤差を前記第１ニューラルネットワークの誤差損失とすること、又は、
前記変形場に基づいて、前記第２分割結果に対してレジストレーションを行い、レジストレーション後の第２分割結果を得て、前記レジストレーション後の第２分割結果と前記第１分割結果との誤差を前記第１ニューラルネットワークの誤差損失とすること、又は、
前記変形場に基づいて、前記第１分割結果に対してレジストレーションを行い、レジストレーション後の第１分割結果を得て、前記レジストレーション後の第１分割結果と前記第２画像との誤差を前記第１ニューラルネットワークの誤差損失とすること、又は、
前記変形場に基づいて、前記第２分割結果に対してレジストレーションを行い、レジストレーション後の第２分割結果を得て、前記レジストレーション後の第２分割結果と前記第１画像との誤差を前記第１ニューラルネットワークの誤差損失とすることを含むことを特徴とする
請求項５に記載の方法。

【請求項7】

第１画像におけるターゲット対象の第１分割結果を取得することは、
前記第１画像を第２ニューラルネットワークに入力し、前記第１画像における前記ターゲット対象の第１分割結果を得ることであって、前記第２ニューラルネットワークは、ターゲット対象のアノテーションを含む第１訓練画像により訓練される、こと、又は、
前記第１画像を第１ニューラルネットワークに入力し、前記第１画像における前記ターゲット対象の第１分割結果を得ることであって、前記第１ニューラルネットワークは更に、前記第１分割結果及び前記第２分割結果に基づいて、前記第１画像と前記第２画像との変形場を得るために用いられる、ことを含むことを特徴とする
請求項２から６のうちいずれか一項に記載の方法。

【請求項8】

第２画像におけるターゲット対象の第２分割結果を取得することは、
前記第２画像を第３ニューラルネットワークに入力し、前記第２画像における前記ターゲット対象の第２分割結果を得ることであって、前記第３ニューラルネットワークは、ターゲット対象のアノテーションを含む第２訓練画像により訓練される、こと、又は、
前記第２画像を第１ニューラルネットワークに入力し、前記第２画像における前記ターゲット対象の第２分割結果を得ることであって、前記第１ニューラルネットワークは更に、前記第１分割結果及び前記第２分割結果に基づいて、前記第１画像と前記第２画像との変形場を得るために用いられる、ことを含むことを特徴とする
請求項２から７のうちいずれか一項に記載の方法。

【請求項9】

前記第１画像は、ＣＴＡ画像を含み、前記第２画像は、Ｘ線画像を含み、前記ターゲット対象は、冠動脈対象を含むことを特徴とする
請求項１から８のうちいずれか一項に記載の方法。

【請求項10】

画像処理装置であって、
第１画像におけるターゲット対象の第１分割結果を取得するように構成される第１分割モジュールと、
第２画像におけるターゲット対象の第２分割結果を取得するように構成される第２分割モジュールと、
前記第１分割結果及び前記第２分割結果に基づいて、前記第１画像と前記第２画像との変形場を得るために用いられる変形場取得モジュールであって、前記変形場は、前記第１画像と前記第２画像との、前記ターゲット対象の各画素点の位置変換関係を含む、変形場取得モジュールと、を備える、画像処理装置。

【請求項11】

電子機器であって、
プロセッサと、
前記プロセッサによる実行可能な命令を記憶するように構成されるメモリと、を備え、
前記プロセッサは、前記メモリに記憶されている命令を呼び出し、請求項１から９のうちいずれか一項に記載の方法を実行するように構成される、電子機器。

【請求項12】

コンピュータ可読記憶媒体であって、前記コンピュータ可読記憶媒体には、コンピュータプログラム命令が記憶されており、前記コンピュータプログラム命令がプロセッサにより実行される時、前記プロセッサに、請求項１から９のうちいずれか一項に記載の方法を実行させる、コンピュータ可読記憶媒体。

【請求項13】

コンピュータプログラムであって、コンピュータに、請求項１から９のうちいずれか一項に記載の方法を実行させる、コンピュータプログラム。

【手続補正2】

【補正対象書類名】明細書

【補正対象項目名】００２９

【補正方法】変更

【補正の内容】

【0029】

上記の一般的な説明及び後述する細部に関する説明は、例示及び説明のためのものに過ぎず、本願を限定するものではないことが理解されるべきである。
例えば、本願は以下の項目を提供する。
（項目１）
画像処理方法であって、
第１画像におけるターゲット対象の第１分割結果を取得することと、
第２画像におけるターゲット対象の第２分割結果を取得することと、
前記第１分割結果及び前記第２分割結果に基づいて、前記第１画像と前記第２画像との変形場を得ることであって、前記変形場は、前記第１画像と前記第２画像との、前記ターゲット対象の各画素点の位置変換関係を含む、ことと、を含む、画像処理方法。
（項目２）
前記第１分割結果及び前記第２分割結果に基づいて、前記第１画像と前記第２画像との変形場を得ることは、
前記第１分割結果及び前記第２分割結果を第１ニューラルネットワークに入力し、前記第１画像と前記第２画像との変形場を得ることを含むことを特徴とする
項目１に記載の方法。
（項目３）
前記第１画像は、三次元画像を含み、前記第２画像は、二次元画像を含み、
前記第１分割結果及び前記第２分割結果に基づいて、前記第１画像と前記第２画像との変形場を得ることは、
前記第２画像の収集情報に基づいて、前記第１分割結果を二次元である第３分割結果に変換することと、
前記第３分割結果及び前記第２分割結果を第１ニューラルネットワークに入力し、前記第１画像と前記第２画像との変形場を得ることと、を含むことを特徴とする
項目１に記載の方法。
（項目４）
前記方法は、
前記変形場に基づいて、前記第１画像と前記第２画像に対してレジストレーションを行い、レジストレーション結果を得ることを更に含むことを特徴とする
項目２又は３に記載の方法。
（項目５）
前記方法は、
前記変形場に基づいて、前記第１ニューラルネットワークの誤差損失を取得することと、
前記誤差損失に基づいて、前記第１ニューラルネットワークに対して訓練を行うことと、を更に含むことを特徴とする
項目２又は３に記載の方法。
（項目６）
前記変形場に基づいて、前記第１ニューラルネットワークの誤差損失を取得することは、
前記変形場に基づいて、前記第１分割結果に対してレジストレーションを行い、レジストレーション後の第１分割結果を得て、前記レジストレーション後の第１分割結果と前記第２分割結果との誤差を前記第１ニューラルネットワークの誤差損失とすること、又は、
前記変形場に基づいて、前記第２分割結果に対してレジストレーションを行い、レジストレーション後の第２分割結果を得て、前記レジストレーション後の第２分割結果と前記第１分割結果との誤差を前記第１ニューラルネットワークの誤差損失とすること、又は、
前記変形場に基づいて、前記第１分割結果に対してレジストレーションを行い、レジストレーション後の第１分割結果を得て、前記レジストレーション後の第１分割結果と前記第２画像との誤差を前記第１ニューラルネットワークの誤差損失とすること、又は、
前記変形場に基づいて、前記第２分割結果に対してレジストレーションを行い、レジストレーション後の第２分割結果を得て、前記レジストレーション後の第２分割結果と前記第１画像との誤差を前記第１ニューラルネットワークの誤差損失とすることを含むことを特徴とする
項目５に記載の方法。
（項目７）
第１画像におけるターゲット対象の第１分割結果を取得することは、
前記第１画像を第２ニューラルネットワークに入力し、前記第１画像における前記ターゲット対象の第１分割結果を得ることであって、前記第２ニューラルネットワークは、ターゲット対象のアノテーションを含む第１訓練画像により訓練される、こと、又は、
前記第１画像を第１ニューラルネットワークに入力し、前記第１画像における前記ターゲット対象の第１分割結果を得ることであって、前記第１ニューラルネットワークは更に、前記第１分割結果及び前記第２分割結果に基づいて、前記第１画像と前記第２画像との変形場を得るために用いられる、ことを含むことを特徴とする
項目２から６のうちいずれか一項に記載の方法。
（項目８）
第２画像におけるターゲット対象の第２分割結果を取得することは、
前記第２画像を第３ニューラルネットワークに入力し、前記第２画像における前記ターゲット対象の第２分割結果を得ることであって、前記第３ニューラルネットワークは、ターゲット対象のアノテーションを含む第２訓練画像により訓練される、こと、又は、
前記第２画像を第１ニューラルネットワークに入力し、前記第２画像における前記ターゲット対象の第２分割結果を得ることであって、前記第１ニューラルネットワークは更に、前記第１分割結果及び前記第２分割結果に基づいて、前記第１画像と前記第２画像との変形場を得るために用いられる、ことを含むことを特徴とする
項目２から７のうちいずれか一項に記載の方法。
（項目９）
前記第１画像は、ＣＴＡ画像を含み、前記第２画像は、Ｘ線画像を含み、前記ターゲット対象は、冠動脈対象を含むことを特徴とする
項目１から８のうちいずれか一項に記載の方法。
（項目１０）
画像処理装置であって、
第１画像におけるターゲット対象の第１分割結果を取得するように構成される第１分割モジュールと、
第２画像におけるターゲット対象の第２分割結果を取得するように構成される第２分割モジュールと、
前記第１分割結果及び前記第２分割結果に基づいて、前記第１画像と前記第２画像との変形場を得るために用いられる変形場取得モジュールであって、前記変形場は、前記第１画像と前記第２画像との、前記ターゲット対象の各画素点の位置変換関係を含む、変形場取得モジュールと、を備える、画像処理装置。
（項目１１）
前記変形場取得モジュールは更に、
前記第１分割結果及び前記第２分割結果を第１ニューラルネットワークに入力し、前記第１画像と前記第２画像との変形場を得るために用いられることを特徴とする
項目１０に記載の装置。
（項目１２）
前記第１画像は、三次元画像を含み、前記第２画像は、二次元画像を含み、前記変形場取得モジュールは更に、
前記第２画像の収集情報に基づいて、前記第１分割結果を二次元である第３分割結果に変換し、第３分割結果及び第２分割結果を第１ニューラルネットワークに入力し、第１画像と第２画像との変形場を得るように構成されることを特徴とする
項目１０に記載の装置。
（項目１３）
前記装置は、
前記変形場に基づいて、前記第１画像と前記第２画像に対してレジストレーションを行い、レジストレーション結果を得るように構成されるレジストレーションモジュールを更に備えることを特徴とする
項目１１又は１２に記載の装置。
（項目１４）
前記装置は、
前記変形場に基づいて、前記第１ニューラルネットワークの誤差損失を取得するように構成される誤差取得モジュールと、
前記誤差損失に基づいて、前記第１ニューラルネットワークに対して訓練を行うように構成される訓練モジュールと、を更に備えることを特徴とする
項目１１又は１２に記載の装置。
（項目１５）
前記誤差取得モジュールは更に、、
前記変形場に基づいて、前記第１分割結果に対してレジストレーションを行い、レジストレーション後の第１分割結果を得て、前記レジストレーション後の第１分割結果と前記第２分割結果との誤差を前記第１ニューラルネットワークの誤差損失とし、又は、
前記変形場に基づいて、前記第２分割結果に対してレジストレーションを行い、レジストレーション後の第２分割結果を得て、前記レジストレーション後の第２分割結果と前記第１分割結果との誤差を前記第１ニューラルネットワークの誤差損失とし、又は、
前記変形場に基づいて、前記第１分割結果に対してレジストレーションを行い、レジストレーション後の第１分割結果を得て、前記レジストレーション後の第１分割結果と前記第２画像との誤差を前記第１ニューラルネットワークの誤差損失とし、又は、
前記変形場に基づいて、前記第２分割結果に対してレジストレーションを行い、レジストレーション後の第２分割結果を得て、前記レジストレーション後の第２分割結果と前記第１画像との誤差を前記第１ニューラルネットワークの誤差損失とするように構成されることを特徴とする
項目１１に記載の装置。
（項目１６）
前記第１分割モジュールは更に、
前記第１画像を第２ニューラルネットワークに入力し、前記第１画像における前記ターゲット対象の第１分割結果を得ることであって、前記第２ニューラルネットワークは、ターゲット対象のアノテーションを含む第１訓練画像により訓練される、こと、又は、
前記第１画像を第１ニューラルネットワークに入力し、前記第１画像における前記ターゲット対象の第１分割結果を得ることであって、前記第１ニューラルネットワークは更に、前記第１分割結果及び前記第２分割結果に基づいて、前記第１画像と前記第２画像との変形場を得るために用いられる、ことを実行するように構成されることを特徴とする
項目１１から１５のうちいずれか一項に記載の装置。
（項目１７）
前記第２分割モジュールは、
前記第２画像を第３ニューラルネットワークに入力し、前記第２画像における前記ターゲット対象の第２分割結果を得ることであって、前記第３ニューラルネットワークは、ターゲット対象のアノテーションを含む第２訓練画像により訓練される、こと、又は、
前記第２画像を第１ニューラルネットワークに入力し、前記第２画像における前記ターゲット対象の第２分割結果を得ることであって、前記第１ニューラルネットワークは更に、前記第１分割結果及び前記第２分割結果に基づいて、前記第１画像と前記第２画像との変形場を得るために用いられる、ことを実行するように構成されることを特徴とする
項目１１から１６のうちいずれか一項に記載の装置。
（項目１８）
前記第１画像は、ＣＴＡ画像を含み、前記第２画像は、Ｘ線画像を含み、前記ターゲット対象は、冠動脈対象を含むことを特徴とする
項目１０から１７のうちいずれか一項に記載の装置。
（項目１９）
電子機器であって、
プロセッサと、
前記プロセッサによる実行可能な命令を記憶するように構成されるメモリと、を備え、
前記プロセッサは、前記メモリに記憶されている命令を呼び出し、項目１から９のうちいずれか一項に記載の方法を実行するように構成される、電子機器。
（項目２０）
コンピュータ可読記憶媒体であって、前記コンピュータ可読記憶媒体には、コンピュータプログラム命令が記憶されており、前記コンピュータプログラム命令がプロセッサにより実行される時、項目１から９のうちいずれか一項に記載の方法を実現する、コンピュータ可読記憶媒体。
（項目２１）
コンピュータプログラム製品であって、前記コンピュータプログラムにコンピュータ可読命令が記憶されており、前記コンピュータ可読命令が実行される時、項目１から９のうちいずれか一項に記載の方法を実現する、コンピュータプログラム製品。

【国際調査報告】