特表2022-505587ＣＴ画像生成方法及びその装置、コンピュータ機器並びにコンピュータプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-01-14
(54)【発明の名称】ＣＴ画像生成方法及びその装置、コンピュータ機器並びにコンピュータプログラム
(51)【国際特許分類】
A61B 6/02 20060101AFI20220106BHJP
A61B 6/03 20060101ALI20220106BHJP
G06T 19/00 20110101ALI20220106BHJP
【ＦＩ】
A61B6/02 351Z
A61B6/03 350P
G06T19/00 A
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2021521978
(86)(22)【出願日】2020-01-16
(85)【翻訳文提出日】2021-04-22
(86)【国際出願番号】 CN2020072393
(87)【国際公開番号】W WO2020156195
(87)【国際公開日】2020-08-06
(31)【優先権主張番号】201910093446.6
(32)【優先日】2019-01-30
(33)【優先権主張国・地域又は機関】CN
(81)【指定国・地域】
(71)【出願人】
【識別番号】517392436
【氏名又は名称】▲騰▼▲訊▼科技（深▲セン▼）有限公司
(74)【代理人】
【識別番号】100110364
【弁理士】
【氏名又は名称】実広 信哉
(74)【代理人】
【識別番号】100150197
【弁理士】
【氏名又は名称】松尾 直樹
(72)【発明者】
【氏名】郭 恒
(72)【発明者】
【氏名】▲應▼ ▲興▼▲徳▼
(72)【発明者】
【氏名】▲馬▼ ▲カイ▼
(72)【発明者】
【氏名】▲鄭▼ 冶▲楓▼
【テーマコード（参考）】
4C093
5B050
【Ｆターム（参考）】
4C093AA09
4C093AA22
4C093CA32
4C093CA34
4C093EB04
4C093FE01
5B050AA02
5B050BA03
5B050BA09
5B050BA12
5B050BA15
5B050DA07
5B050EA19
5B050EA28
(57)【要約】
本願は、ＣＴ画像生成方法及びその装置、コンピュータ機器並びにコンピュータ可読記憶媒体を開示する。前記方法は、第１Ｘ線フィルム及び第２Ｘ線フィルムを取得するステップであって、前記第１Ｘ線フィルム及び前記第２Ｘ線フィルムは、直交した２つの視角を用いてターゲット対象に対して収集したＸ線フィルムである、ステップと、生成器を呼び出して前記第１Ｘ線フィルム及び前記第２Ｘ線フィルムに対して三次元再構成を行い、前記ターゲット対象の三次元モデルを得るステップと、前記ターゲット対象の三次元モデルに基づいて、前記ターゲット対象の前記ＣＴ画像を得るステップと、を含む。
【特許請求の範囲】
【請求項1】
コンピュータ機器が実行するＣＴ画像生成方法であって、第１Ｘ線フィルム及び第２Ｘ線フィルムを取得するステップであって、前記第１Ｘ線フィルム及び前記第２Ｘ線フィルムは、直交した２つの視角を用いてターゲット対象に対して収集したＸ線フィルムである、ステップと、
生成器を呼び出して前記第１Ｘ線フィルム及び前記第２Ｘ線フィルムに対して三次元再構成を行い、前記ターゲット対象の三次元モデルを得るステップと、
前記ターゲット対象の三次元モデルに基づいて、前記ターゲット対象のＣＴ画像を得るステップと、を含む、ＣＴ画像生成方法。
【請求項2】
前記生成器は、エンコーダと、デコーダと、を備え、前記生成器を呼び出して前記第１Ｘ線フィルム及び前記第２Ｘ線フィルムに対して三次元再構成を行い、前記ターゲット対象の三次元モデルを得るステップは、
前記エンコーダを呼び出して前記第１Ｘ線フィルム及び前記第２Ｘ線フィルムに対してそれぞれ符号化を行い、第１符号化情報及び第２符号化情報を得るステップと、
前記デコーダを呼び出して前記第１符号化情報及び前記第２符号化情報に対して三次元再構成復号化を行い、前記ターゲット対象の三次元モデルを得るステップと、を含むことを特徴とする
請求項１に記載のＣＴ画像生成方法。
【請求項3】
前記エンコーダは、第１符号化部と、第２符号化部と、を含み、前記デコーダは、第１復号化部、第２復号化部及び融合復号化部を含み、前記エンコーダを呼び出して前記第１Ｘ線フィルム及び前記第２Ｘ線フィルムに対してそれぞれ符号化を行い、第１符号化情報及び第２符号化情報を得るステップは、
前記第１符号化部を呼び出して、前記第１Ｘ線フィルムに対して二次元符号化を行い、前記第１符号化情報を得るステップと、前記第２符号化部を呼び出して、前記第２Ｘ線フィルムに対して二次元符号化を行い、前記第２符号化情報を得るステップと、を含み、
前記デコーダを呼び出して前記第１符号化情報及び前記第２符号化情報に対して三次元再構成復号化を行い、前記ターゲット対象の三次元モデルを得るステップは、
前記第１復号化部を呼び出して、前記第１符号化情報に対して復号化を行い、第１復号化情報を得るステップと、
前記第２復号化部を呼び出して、前記第２符号化情報に対して復号化を行い、第２復号化情報を得るステップと、
前記融合復号化部を呼び出して、前記第１復号化情報と前記第２復号化情報を三次元空間における異なる視角のデータとして使用して三次元融合し、前記ターゲット対象の三次元モデルを得るステップと、を含むことを特徴とする
請求項２に記載のＣＴ画像生成方法。
【請求項4】
前記第１符号化部及び前記第２符号化部のうちの少なくとも１つの符号化部は、ｎ＋２個の符号化層を含み、前記ｎ＋２個の符号化層は、二次元畳み込み層、カスケードのｎ個の密集接続層及びプーリング層を含み、前記二次元畳み込み層は、１つ目の密集接続層に接続され、ｎ番目の密集接続層は、前記プーリング層に接続され、ｎは正整数であることを特徴とする
請求項３に記載のＣＴ画像生成方法。
【請求項5】
前記ＣＴ画像生成方法は、前記第１符号化部と前記第１復号化部とは、Ａ接続により接続されることと、
前記第２符号化部と前記第２復号化部とは、前記Ａ接続により接続され、前記Ａ接続は、二次元形態の符号化情報を三次元形態の符号化情報に変換するために用いられることと、のうちの少なくとも１つの条件を含むことを特徴とする
請求項３に記載のＣＴ画像生成方法。
【請求項6】
前記Ａ接続は、前記二次元形態の符号化情報を第１一次元ベクトルとなるように展開し、前記第１一次元ベクトルを第２一次元ベクトルとなるように引っ張り、前記第２一次元ベクトルを再構成して三次元形態の符号化情報を得るために用いられることを特徴とする請求項５に記載のＣＴ画像生成方法。
【請求項7】
前記第１復号化部及び前記第２復号化部のうちの少なくとも１つの復号化部は、ｎ＋２個の復号化層を含み、前記ｎ＋２個の復号化層は、アップサンプリング層、カスケードのｎ個のアップ畳み込み層及び三次元畳み込み層を含み、前記アップサンプリング層は、１つ目のアップ畳み込み層に接続され、ｎ番目のアップ畳み込み層は、前記三次元畳み込み層に接続され、ｎは正整数であることを特徴とする
請求項３に記載のＣＴ画像生成方法。
【請求項8】
前記復号化部は、ｎ個のＣ接続を更に含み、ｉ番目のＣ接続の第１入力端は、前記復号化部におけるｉ番目の復号化層の出力端に接続され、前記ｉ番目のＣ接続の第２入力端は、対応する符号化部におけるｉ＋１番目の符号化層の出力端に接続され、前記ｉ番目のＣ接続の出力端は、前記復号化部におけるｉ＋１番目の復号化層の入力端に接続され、ここで、前記Ｃ接続は、前記第１入力端に入力された三次元復号化情報と前記第２入力端に入力された三次元符号化情報に対して加重加算を行い、加算結果を次の復号化層の入力とするために用いられることを特徴とする
請求項７に記載のＣＴ画像生成方法。
【請求項9】
前記Ｃ接続は更に、前記第１入力端に入力された三次元復号化情報及び前記第２入力端に入力された三次元符号化情報を同一の三次元空間に変換した後、前記三次元空間における前記三次元復号化情報と前記三次元復号化情報に加重加算を行い、加算結果を次の復号化層の入力とするために用いられることを特徴とする請求項８に記載のＣＴ画像生成方法。
【請求項10】
前記ｉ番目のＣ接続の第２入力端は更に、ｉ番目のＢ接続を介して対応する符号化部におけるｉ番目の符号化層の出力端に接続され、前記ｉ番目のＢ接続は、前記ｉ番目の符号化層から出力された二次元符号化情報を三次元符号化情報に変換するために用いられることを特徴とする
請求項８に記載のＣＴ画像生成方法。
【請求項11】
前記ｉ番目のＢ接続は更に、前記ｉ番目の符号化層から出力された二次元符号化情報を垂直次元でｍ層に拡張し、拡張したｍ層の二次元符号化情報を前記三次元符号化情報として決定するために用いられ、ｍは、正整数であることを特徴とする請求項１０に記載のＣＴ画像生成方法。
【請求項12】
前記融合復号化部は、ｎ＋２個の融合復号化層を含み、前記ｎ＋２個の融合復号化層は、アップサンプリング層、カスケードのｎ個のアップ畳み込み層及び三次元畳み込み層を含み、前記アップサンプリング層の出力端は、１つ目のアップ畳み込み層に接続され、ｎ番目のアップ畳み込み層は、前記三次元畳み込み層に接続されることを特徴とする
請求項３に記載のＣＴ画像生成方法。
【請求項13】
前記融合復号化部は、Ｃ接続を更に含み、前記Ｃ接続の第１入力端は、前記第１復号化部の入力端に接続され、前記Ｃ接続の第２入力端は、前記第２復号化部の入力端に接続され、前記Ｃ接続の出力端は、前記アップサンプリング層の入力端に接続され、前記Ｃ接続は、前記第１入力端に入力された三次元符号化情報と前記第２入力端に入力された三次元符号化情報に対して加重加算を行い、加算結果を次の融合復号化層の入力とするために用いられることを特徴とする
請求項１２に記載のＣＴ画像生成方法。
【請求項14】
前記融合復号化部は、ｎ個の複合Ｃ接続を更に含み、各前記複合Ｃ接続は、第１Ｃ接続及び第２Ｃ接続を含み、ｉ番目の第１Ｃ接続の第１入力端は、第１復号化部におけるｉ＋１番目の復号化層の出力端に接続され、前記ｉ番目の第１Ｃ接続の第２入力端は、第２復号化部におけるｉ＋１番目の復号化層の出力端に接続され、前記ｉ番目の第１Ｃ接続の出力端は、ｉ番目の第２Ｃ接続の第１入力端に接続され、前記ｉ番目の第２Ｃ接続の第２入力端は、前記融合復号化部におけるｉ番目の融合復号化層の出力端に接続され、前記ｉ番目の第２Ｃ接続の出力端は、前記融合復号化部におけるｉ＋１番目の融合復号化層の入力端に接続されることを特徴とする
請求項１２に記載のＣＴ画像生成方法。
【請求項15】
前記生成器は、敵対的生成ネットワークに基づいて訓練されたものであり、前記生成器の損失関数は、敵対的損失、
又は、前記敵対的損失及び再構成損失、
又は、前記敵対的損失及び投影損失、
又は、前記敵対的損失、前記再構成損失及び前記投影損失を含み、
ここで、前記敵対的損失は、前記生成器により再構成された前記三次元モデルとサンプルＣＴ画像とのセマンティック損失を表すためのものであり、前記再構成損失は、前記生成器により再構成された前記三次元モデルと前記サンプルＣＴ画像との画素レベルの差異損失を表すためのものであり、前記投影損失は、前記生成器により再構成された前記三次元モデルと少なくとも１つの投影平面上の前記サンプルＣＴ画像との差異損失を表すためのものであることを特徴とする
請求項１から１４のうちいずれか一項に記載のＣＴ画像生成方法。
【請求項16】
前記ＣＴ画像生成方法は、訓練データ集合を取得するステップであって、前記訓練データ集合は少なくとも２つの訓練サンプルを含む、ステップと、
前記生成器に対応する判別器を設定するステップと、
第ｉ訓練段階で、前記生成器における第１ニューラルネットワークパラメータを一定にし、前記訓練データ集合における１つの訓練サンプルを用いて判別器における第２ニューラルネットワークパラメータを最適化するステップと、
第ｉ＋１訓練段階で、前記判別器における第２ニューラルネットワークパラメータを一定にし、前記訓練データ集合におけるもう１つの訓練サンプルを用いて生成器における第１ニューラルネットワークパラメータを最適化するステップと、
上記２つの訓練段階を交互に実行し、前記第１ニューラルネットワークパラメータ及び前記第２ニューラルネットワークパラメータが安定して収束するまで継続するステップと、を更に含むことを特徴とする
請求項１５に記載のＣＴ画像生成方法。
【請求項17】
前記訓練データ集合を取得するステップは、少なくとも２つの真実ＣＴ画像を前記サンプルＣＴ画像として取得するステップと、
前記少なくとも２つの真実ＣＴ画像のうちの各真実ＣＴ画像に対して、対応する第１仮想Ｘ線フィルム及び第２仮想Ｘ線フィルムを生成するステップと、
互いに対応する前記第１仮想Ｘ線フィルム、前記第２仮想Ｘ線フィルム及び前記真実ＣＴ画像を前記少なくとも２つの訓練サンプルと決定するステップと、を含むことを特徴とする
請求項１６に記載のＣＴ画像生成方法。
【請求項18】
コンピュータ機器が実行する三次元画像合成方法であって、第１断面画像及び第２断面画像を取得するステップであって、前記第１断面画像及び前記第２断面画像は、直交した２つの断面を利用してターゲット対象に対して切断を行うことで得られた画像である、ステップと、
エンコーダ及びデコーダを取得するステップであって、前記エンコーダは、第１符号化部及び第２符号化部を含み、前記デコーダは、第１復号化部、第２復号化部及び融合復号化部を含む、ステップと、
前記第１符号化部を呼び出して前記第１断面画像に対して二次元符号化を行い、第１符号化情報を得て、前記第１復号化部を呼び出して前記第１符号化情報に対して復号化を行い、第１復号化情報を得るステップと、
前記第２符号化部を呼び出して前記第２断面画像に対して二次元符号化を行い、第２符号化情報を得て、前記第２復号化部を呼び出して前記第２符号化情報に対して復号化を行い、第２復号化情報を得るステップと、
前記融合復号化部を呼び出して前記第１復号化情報と前記第２復号化情報を三次元空間における異なる視角のデータとして使用して三次元融合し、前記ターゲット対象の三次元画像を得るステップと、を含む、三次元画像合成方法。
【請求項19】
ＣＴ画像生成装置であって、第１Ｘ線フィルム及び第２Ｘ線フィルムを取得するように構成される取得モジュールであって、前記第１Ｘ線フィルム及び前記第２Ｘ線フィルムは、直交した２つの視角を用いてターゲット対象に対して収集したＸ線フィルムである、取得モジュールと、
前記第１Ｘ線フィルム及び前記第２Ｘ線フィルムに対して三次元再構成を行い、前記ターゲット対象の三次元モデルを得るように構成される生成モジュールと、
前記ターゲット対象の三次元モデルに基づいて、前記ターゲット対象のＣＴ画像を得るように構成される出力モジュールと、を備える、ＣＴ画像生成装置。
【請求項20】
三次元画像合成装置であって、第１断面画像及び第２断面画像を取得するように構成される取得モジュールであって、前記第１断面画像及び前記第２断面画像は、直交した２つの断面を利用してターゲット対象に対して切断を行うことで得られた画像である、取得モジュールを備え、
前記取得モジュールは更に、エンコーダ及びデコーダを取得するように構成され、前記エンコーダは、第１符号化部及び第２符号化部を含み、前記デコーダは、第１復号化部、第２復号化部及び融合復号化部を含み、
前記第１符号化部は、前記第１断面画像に対して二次元符号化を行い、第１符号化情報を得るように構成され、
前記第１復号化部は、前記第１符号化情報に対して復号化を行い、第１復号化情報を得るように構成され、
前記第２符号化部は、前記第２断面画像に対して二次元符号化を行い、第２符号化情報を得るように構成され、
前記第２復号化部は、前記第２符号化情報に対して復号化を行い、第２復号化情報を得るように構成され、
前記融合復号化部は、前記第１復号化情報と前記第２復号化情報を三次元空間における異なる視角のデータとして使用して三次元融合し、前記ターゲット対象の三次元画像を得るように構成される、三次元画像合成装置。
【請求項21】
コンピュータ機器であって、前記コンピュータ機器は、メモリと、プロセッサと、を備え、前記メモリに、少なくとも１つの命令、少なくとも１つのプログラム、コードセット又は命令セットが記憶されており、前記プロセッサは、前記少なくとも１つの命令、前記少なくとも１つのプログラム、前記コードセット又は命令セットを実行して、請求項１から１７のうちいずれか一項に記載のＣＴ画像生成方法、又は請求項１８に記載の三次元画像合成方法を実行するように構成される、コンピュータ機器。
【請求項22】
コンピュータプログラムであって、前記コンピュータプログラムはコンピュータに請求項１から１７のうちいずれか一項に記載のＣＴ画像生成方法、又は請求項１８に記載の三次元画像合成方法を実行させる、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
（関連出願の相互参照）
本願は、２０１９年０１月３０日に中国特許局に提出された、出願番号が２０１９１００９３４４６．６であり、発明名称が「ＣＴ画像生成方法及びその装置、コンピュータ機器並びにコンピュータ可読記憶媒体」である中国特許出願に基づく優先権を主張し、該中国特許出願の全内容が参照として本願に組み込まれる。
本願は、２０１９年０１月３０日に中国特許局に提出された、出願番号が２０１９１００９３４４６．６であり、発明名称が「ＣＴ画像生成方法及びその装置、コンピュータ機器並びにコンピュータ可読記憶媒体」である中国特許出願に基づく優先権を主張し、該中国特許出願の全内容が参照として本願に組み込まれる。
【0002】
本願の実施例は、コンピュータプログラム分野に関し、特にＣＴ画像生成方法及びその装置、コンピュータ機器並びにコンピュータプログラムに関する。
【背景技術】
【0003】
コンピュータ断層撮影（Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ：ＣＴ）は、患者体内の三次元構造情報を提供し、医者がより正確な診断を行うのを補助することができる。
【0004】
関連技術において、ＣＴ走査装置は、Ｘ線ビーム（又は超音波、γ線）を利用して人体のある部位の一定の厚さの層面を走査する。プローブにより、該層面を通過したＸ線を受信し、可視光に変換した後、光電変換により、電気信号に変換し、更に、アナログ／デジタル変換器（ａｎａｌｏｇ／ｄｉｇｉｔａｌ Ｃｏｎｖｅｒｔｅｒ）により、デジタル信号に変換し、デジタル信号をコンピュータに入力して処理し、多層ＣＴ画像を得る。
Ｘ線フィルムに比べて、ＣＴ走査装置は、より多くの放射線障害を患者に与えてしまう。
Ｘ線フィルムに比べて、ＣＴ走査装置は、より多くの放射線障害を患者に与えてしまう。
【発明の概要】
【発明が解決しようとする課題】
【0005】
本願の種々の実施例によれば、ＣＴ画像生成方法及びその装置、コンピュータ機器並びにコンピュータプログラムを提供する。
【課題を解決するための手段】
【0006】
コンピュータ機器が実行するＣＴ画像生成方法であって、
第１Ｘ線フィルム及び第２Ｘ線フィルムを取得するステップであって、前記第１Ｘ線フィルム及び前記第２Ｘ線フィルムは、直交した２つの視角を用いてターゲット対象に対して収集したＸ線フィルムである、ステップと、
生成器を呼び出して前記第１Ｘ線フィルム及び前記第２Ｘ線フィルムに対して三次元再構成を行い、前記ターゲット対象の三次元モデルを得るステップと、
前記ターゲット対象の三次元モデルに基づいて、前記ターゲット対象の前記ＣＴ画像を得るステップと、を含む。
第１Ｘ線フィルム及び第２Ｘ線フィルムを取得するステップであって、前記第１Ｘ線フィルム及び前記第２Ｘ線フィルムは、直交した２つの視角を用いてターゲット対象に対して収集したＸ線フィルムである、ステップと、
生成器を呼び出して前記第１Ｘ線フィルム及び前記第２Ｘ線フィルムに対して三次元再構成を行い、前記ターゲット対象の三次元モデルを得るステップと、
前記ターゲット対象の三次元モデルに基づいて、前記ターゲット対象の前記ＣＴ画像を得るステップと、を含む。
【0007】
ＣＴ画像生成装置であって、
第１Ｘ線フィルム及び第２Ｘ線フィルムを取得するように構成される取得モジュールであって、前記第１Ｘ線フィルム及び前記第２Ｘ線フィルムは、直交した２つの視角を用いてターゲット対象に対して収集したＸ線フィルムである、取得モジュールと、
前記第１Ｘ線フィルム及び前記第２Ｘ線フィルムに対して三次元再構成を行い、前記ターゲット対象の三次元モデルを得るように構成される生成モジュールと、
前記ターゲット対象の三次元モデルに基づいて、前記ターゲット対象の前記ＣＴ画像を得るように構成される出力モジュールと、を備える。
第１Ｘ線フィルム及び第２Ｘ線フィルムを取得するように構成される取得モジュールであって、前記第１Ｘ線フィルム及び前記第２Ｘ線フィルムは、直交した２つの視角を用いてターゲット対象に対して収集したＸ線フィルムである、取得モジュールと、
前記第１Ｘ線フィルム及び前記第２Ｘ線フィルムに対して三次元再構成を行い、前記ターゲット対象の三次元モデルを得るように構成される生成モジュールと、
前記ターゲット対象の三次元モデルに基づいて、前記ターゲット対象の前記ＣＴ画像を得るように構成される出力モジュールと、を備える。
【0008】
コンピュータ機器が実行する三次元画像合成方法であって、
第１断面画像及び第２断面画像を取得するステップであって、前記第１断面画像及び前記第２断面画像は、直交した２つの断面を利用してターゲット対象に対して切断を行うことで得られた画像である、ステップと、
エンコーダ及びデコーダを取得するステップであって、前記エンコーダは、第１符号化部及び第２符号化部を含み、前記デコーダは、第１復号化部、第２復号化部及び融合復号化部を含む、ステップと、
前記第１符号化部を呼び出して前記第１断面画像に対して二次元符号化を行い、前記第１符号化情報を得て、前記第１復号化部を呼び出して前記第１符号化情報に対して復号化を行い、第１復号化情報を得るステップと、
前記第２符号化部を呼び出して前記第２断面画像に対して二次元符号化を行い、前記第２符号化情報を得て、前記第２復号化部を呼び出して前記第２符号化情報に対して復号化を行い、第２復号化情報を得るステップと、
前記融合復号化部を呼び出して前記第１復号化情報と前記第２復号化情報を三次元空間における異なる視角のデータとして使用して三次元融合し、前記ターゲット対象の三次元画像を得るステップと、を含む。
第１断面画像及び第２断面画像を取得するステップであって、前記第１断面画像及び前記第２断面画像は、直交した２つの断面を利用してターゲット対象に対して切断を行うことで得られた画像である、ステップと、
エンコーダ及びデコーダを取得するステップであって、前記エンコーダは、第１符号化部及び第２符号化部を含み、前記デコーダは、第１復号化部、第２復号化部及び融合復号化部を含む、ステップと、
前記第１符号化部を呼び出して前記第１断面画像に対して二次元符号化を行い、前記第１符号化情報を得て、前記第１復号化部を呼び出して前記第１符号化情報に対して復号化を行い、第１復号化情報を得るステップと、
前記第２符号化部を呼び出して前記第２断面画像に対して二次元符号化を行い、前記第２符号化情報を得て、前記第２復号化部を呼び出して前記第２符号化情報に対して復号化を行い、第２復号化情報を得るステップと、
前記融合復号化部を呼び出して前記第１復号化情報と前記第２復号化情報を三次元空間における異なる視角のデータとして使用して三次元融合し、前記ターゲット対象の三次元画像を得るステップと、を含む。
【0009】
三次元画像合成装置であって、
第１断面画像及び第２断面画像を取得するように構成される取得モジュールであって、前記第１断面画像及び前記第２断面画像は、直交した２つの断面を利用してターゲット対象に対して切断を行うことで得られた画像である、取得モジュールを備え、
前記取得モジュールは更に、エンコーダ及びデコーダを取得するように構成され、前記エンコーダは、第１符号化部及び第２符号化部を含み、前記デコーダは、第１復号化部、第２復号化部及び融合復号化部を含み、
前記第１符号化部は、前記第１断面画像に対して二次元符号化を行い、前記第１符号化情報を得るように構成され、
前記第１復号化部は、前記第１符号化情報に対して復号化を行い、第１復号化情報を得るように構成され、
前記第２符号化部は、前記第２断面画像に対して二次元符号化を行い、前記第２符号化情報を得るように構成され、
前記第２復号化部は、前記第２符号化情報に対して復号化を行い、第２復号化情報を得るように構成され、
前記融合復号化部は、前記第１復号化情報と前記第２復号化情報を三次元空間における異なる視角のデータとして使用して三次元融合し、前記ターゲット対象の三次元画像を得るように構成される。
第１断面画像及び第２断面画像を取得するように構成される取得モジュールであって、前記第１断面画像及び前記第２断面画像は、直交した２つの断面を利用してターゲット対象に対して切断を行うことで得られた画像である、取得モジュールを備え、
前記取得モジュールは更に、エンコーダ及びデコーダを取得するように構成され、前記エンコーダは、第１符号化部及び第２符号化部を含み、前記デコーダは、第１復号化部、第２復号化部及び融合復号化部を含み、
前記第１符号化部は、前記第１断面画像に対して二次元符号化を行い、前記第１符号化情報を得るように構成され、
前記第１復号化部は、前記第１符号化情報に対して復号化を行い、第１復号化情報を得るように構成され、
前記第２符号化部は、前記第２断面画像に対して二次元符号化を行い、前記第２符号化情報を得るように構成され、
前記第２復号化部は、前記第２符号化情報に対して復号化を行い、第２復号化情報を得るように構成され、
前記融合復号化部は、前記第１復号化情報と前記第２復号化情報を三次元空間における異なる視角のデータとして使用して三次元融合し、前記ターゲット対象の三次元画像を得るように構成される。
【0010】
コンピュータ機器であって、前記コンピュータ機器は、メモリと、プロセッサと、を備え、前記プロセッサは、前記メモリに、少なくとも１つのプログラムが記憶されており、前記少なくとも１つのプログラムを実行して、上記ＣＴ画像生成方法又は上記三次元画像合成方法を実現させる。
【0011】
コンピュータプログラムであって、前記コンピュータプログラムはコンピュータに上記ＣＴ画像生成方法又は上記三次元画像合成方法を実現させる。
【0012】
コンピュータ可読記憶媒体であって、前記記憶媒体に少なくとも１つのプログラムが記憶されており、前記少なくとも１つのプログラムは、プロセッサによりロードされて実行されるときに、前記プロセッサに上記ＣＴ画像生成方法又は上記三次元画像合成方法を実現させる。
【図面の簡単な説明】
【0013】
【図1】本願の一概略的な実施例によるＣＴ画像生成方法を示すフローチャートである。
【図2】本願のもう１つの概略的な実施例によるＣＴ画像生成方法の原理を示す概略図である。
【図3】本願の一概略的な実施例による生成器の構造を示すブロック図である。
【図4】本願のもう１つの概略的な実施例による生成器の構造を示すブロック図である。
【図5】本願の一概略的な実施例によるＡ接続、Ｂ接続及びＣ接続の構造を示す概略図である。
【図6】本願の一概略的な実施例による複合Ｃ接続の構造を示す概略図である。
【図7】本願の一概略的な実施例によるニューラルネットワークモジュールを示すブロック図である。
【図8】本願の一概略的な実施例による敵対的生成ネットワークを示すブロック図である。
【図9】本願の一概略的な実施例による生成器の訓練方法を示すフローチャートである。
【図10】本願の一概略的な実施例による異なるニューラルネットワークモデルがＣＴ画像を再構成する場合の効果の比較図である。
【図11】本願の一概略的な実施例による単一症例の再構成ＣＴ画像と真実ＣＴ画像との一枚ずつのスライスの比較を示す概略図である。
【図12】本願の一概略的な実施例による真実Ｘ線フィルム及び仮想Ｘ線フィルムのマッピングを示す概略図である。
【図13】本願の一概略的な実施例によるＣｙｃｌｅＧＡＮモデルの変換原理を示す図である。
【図14】本願の一概略的な実施例による生成器の適用シーンを示す図である。
【図15】本願の一概略的な実施例による生成器の適用シーンを示す図である。
【図16】本願の一概略的な実施例による生成器の適用シーンを示す図である。
【図17】本願の一概略的な実施例による三次元画像合成方法を示すフローチャートである。
【図18】本願の一概略的な実施例によるＣＴ画像生成装置を示すブロック図である。
【図19】本願の一概略的な実施例による三次元画像合成装置を示すブロック図である。
【図20】本願の一概略的な実施例によるコンピュータ機器を示すブロック図である。
【発明を実施するための形態】
【0014】
本願の実施例における技術的解決手段をより明確に説明するために、以下、実施例の説明に必要な図面を簡単に説明する。勿論、以下の図面は本願の一部の実施例に過ぎず、当業者は創造的な労力を要することなく、これらの図面に基づいて他の図面を得ることもできる。
【0015】
本願の目的、技術的解決手段及びメリットをより明確にするために、以下、図面を参照しながら、本願の実施形態を更に詳しく説明する。
【0016】
以下、第１、第２などの用語を用いて様々な要素を説明するが、これらの要素は、これらの用語に限定されるべきではない。これらの用語は、１つの要素をもう１つの要素と区別するためのものに過ぎない。例えば、種々の前記例の範囲から逸脱することなく、第１ユーザ状態項目は、第２ユーザ状態項目と呼ばれてもよい。また同様に、第２ユーザ状態項目は、第１ユーザ状態項目と呼ばれてもよい。第１ユーザ状態項目及び第２ユーザ状態項目はいずれもユーザ状態項目であってもよい。また、幾つかの場合、単独した異なるユーザ状態項目であってもよい。
【0017】
本明細書において、種々の前記例に関する説明に用いられる用語は、特定の例を説明するためのものに過ぎず、限定するためのものではない。例えば、種々の前記例に関する説明及び添付した特許請求の範囲に記載したように、文脈によって別途明確に示されない限り、単数形式の「１つ（「ａ」、「ａｎ」）」及び「該」も複数形式を含むことを意図している。本明細書で用いられる用語「及び／又は」は、示された項目のうちの１つ又は複数の項目の如何なる組み合わせ及び全ての可能な組み合わせを包含することを指すことを理解すべきである。用語「含む」（「ｉｎＣｌｕｄｅｓ」「ｉｎＣｌｕｄｉｎｇ」「Ｃｏｍｐｒｉｓｅｓ」及び／又は「Ｃｏｍｐｒｉｓｉｎｇ」）が明細書に使用される時、記述した特徴、整数、ステップ、操作、要素及び／又は部材が存在することを指定するが、１つ又は複数の他の特徴、整数、ステップ、操作、要素、部材及び／又はその群が存在することを排除しないことを指す。
【0018】
文脈により、用語「すれば」は、「…の場合」（「ｗｈｅｎ」又は「ｕｐｏｎ」）又は「と判定したことに応答して」又は「検出したことに応答して」と解釈されてもよい。同様に、文脈により、語句「…と判定すれば」又は「［記述された条件又はイベント］を検出した場合」は、「…と判定した場合」又は「…と判定したことに応答して」又は「［記述された条件又はイベント］を検出した場合」又は「［記述された条件又はイベント］を検出したことに応答して」と解釈されてもよい。
【0019】
まず、本願の実施例に係わる複数の用語を説明する。
Ｘ－ｒａｙ：Ｘ線フィルムは、二次元形態の医用画像モダリティである。Ｘ線フィルムによる骨領域のイメージングは、鮮明であり、常に整形外科医による診断の根拠とする。
ＣＴ画像は、三次元形態の医用画像モダリティである。ＣＴ画像に含まれる情報はより豊かいであるが、照射線量がより大きい。
Ｘ－ｒａｙ：Ｘ線フィルムは、二次元形態の医用画像モダリティである。Ｘ線フィルムによる骨領域のイメージングは、鮮明であり、常に整形外科医による診断の根拠とする。
ＣＴ画像は、三次元形態の医用画像モダリティである。ＣＴ画像に含まれる情報はより豊かいであるが、照射線量がより大きい。
【0020】
敵対的生成ネットワーク（Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ：ＧＡＮ）は、近年来、広く検討されている生成モデルであり、真実のデータ分布を捕捉する能力を持つ。
生成器（Ｇｅｎｅｒａｔｏｒ）は、ＧＡＮにおける重要な構成部であり、十分に真実なデータを生成するために用いられる。
判別器（Ｄｉｓｃｒｉｍｉｎａｔｏｒ）は、ＧＡＮにおける、生成器と競合する構成部であり、生成器により生成されたデータが真実のデータに近づくかどうかを判定するために用いられる。
生成器（Ｇｅｎｅｒａｔｏｒ）は、ＧＡＮにおける重要な構成部であり、十分に真実なデータを生成するために用いられる。
判別器（Ｄｉｓｃｒｉｍｉｎａｔｏｒ）は、ＧＡＮにおける、生成器と競合する構成部であり、生成器により生成されたデータが真実のデータに近づくかどうかを判定するために用いられる。
【0021】
ＤＲＲ（Ｄｉｇｉｔａｌｌｙ Ｒｅｃｏｎｓｔｒｕｃｔｕｒｅｄ Ｒａｄｉｏｇｒａｐｈｓ：デジタル再構成放射画像）は、デジタル再構成画像であり、本明細書において、ＤＲＲ技術により、仮想Ｘ線フィルムをＧＡＮの訓練データ集合として生成する。
ＣｙｃｌｅＧＡＮは、ペアリングされていない２つのデータ集合間のスタイル変換を実現できるモデルである。
ＣｙｃｌｅＧＡＮは、ペアリングされていない２つのデータ集合間のスタイル変換を実現できるモデルである。
【0022】
医療分野において、ＣＴ画像は、患者体内の三次元構造情報を提供し、医者がより正確な診断を行うのを補助することができるが、Ｘ線フィルムに比べて、ＣＴは、より多くの放射線障害を患者に与えるだけでなく、検査費が高く、検査過程にかかる時間が長いという欠点も有する。また、ＣＴ走査装置の価格が高いため、全ての医療領域をカバーしにくい。従来のＣＴ再構成方法は一般的には、患者全身をカバーする百枚のＸ線投影を必要とする。これは、一般的なＸ線フィルム収集装置で実現しにくい。
【0023】
本願の実施例は、新たな構想を提供する。つまり、敵対的生成ネットワーク（Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ：ＧＡＮ）のフレームワークにおいて、２枚の直交したＸ線フィルムのみを利用して、完全な三次元ＣＴを再構成する。このために、本願の実施例は、二次元データ（Ｘ線フィルム）から三次元データ（ＣＴ画像）に上げるための生成器（又はニューラルネットワークアーキテクチャ）を提供する。それと同時に、本願の実施例は、エンドツーエンドの学習プロセスにおいて２つの視角情報を融合させる方法も提供する。ＣＴ走査装置に欠ける地域について、本願の実施利が提供する方法において、コストが低いＸ線フィルム収集装置を利用して人体内部の三次元情報を取得する可能性を提供した。
【0024】
図１は、本願の一概略的な実施例によるＣＴ画像生成方法を示すフローチャートである。該方法は、コンピュータ機器により実行されてもよい。該方法は以下を含む。
ステップ１０１において、第１Ｘ線フィルム及び第２Ｘ線フィルムを取得し、第１Ｘ線フィルム及び第２Ｘ線フィルムは、直交した２つの視角を用いてターゲット対象に対して収集したＸ線フィルムである。
ターゲット対象は、被検医学的ターゲット生体である。ターゲット対象は、ヒト、犬、牛などの動物であってもよく、ターゲット対象が他の植物又は物体である可能性を排除できない。
任意選択的に、第１Ｘ線フィルム及び第２Ｘ線フィルムは、同一のターゲット対象に対して、近接する２つの時刻で、直交した２つの視角で収集したＸ線フィルムである。
ステップ１０１において、第１Ｘ線フィルム及び第２Ｘ線フィルムを取得し、第１Ｘ線フィルム及び第２Ｘ線フィルムは、直交した２つの視角を用いてターゲット対象に対して収集したＸ線フィルムである。
ターゲット対象は、被検医学的ターゲット生体である。ターゲット対象は、ヒト、犬、牛などの動物であってもよく、ターゲット対象が他の植物又は物体である可能性を排除できない。
任意選択的に、第１Ｘ線フィルム及び第２Ｘ線フィルムは、同一のターゲット対象に対して、近接する２つの時刻で、直交した２つの視角で収集したＸ線フィルムである。
【0025】
図２を参照すると、第１Ｘ線フィルム１２は、正視角を用いてターゲット対象に対して収集したＸ線フィルムであり、第２Ｘ線フィルム１４は、側面視角を用いてターゲット対象に対して収集したＸ線フィルムである。
ステップ１０２において、生成器を呼び出して第１Ｘ線フィルム及び第２Ｘ線フィルムに対して三次元再構成を行い、ターゲット対象の三次元モデルを得る。
任意選択的に、該生成器は、敵対的生成ネットワークに基づいて構築されたものである。該生成器は、エンコーダ及びデコーダを含む。
コンピュータ機器は、エンコーダを呼び出して第１Ｘ線フィルム及び前記第２Ｘ線フィルムに対してそれぞれ符号化を行い、第１符号化情報及び第２符号化情報を得て、デコーダを呼び出して第１符号化情報及び第２符号化情報に対して三次元再構成復号化を行い、ターゲット対象の三次元モデルを得る。
ステップ１０３において、ターゲット対象の三次元モデルに基づいて、ターゲット対象のＣＴ画像を得る。
ステップ１０２において、生成器を呼び出して第１Ｘ線フィルム及び第２Ｘ線フィルムに対して三次元再構成を行い、ターゲット対象の三次元モデルを得る。
任意選択的に、該生成器は、敵対的生成ネットワークに基づいて構築されたものである。該生成器は、エンコーダ及びデコーダを含む。
コンピュータ機器は、エンコーダを呼び出して第１Ｘ線フィルム及び前記第２Ｘ線フィルムに対してそれぞれ符号化を行い、第１符号化情報及び第２符号化情報を得て、デコーダを呼び出して第１符号化情報及び第２符号化情報に対して三次元再構成復号化を行い、ターゲット対象の三次元モデルを得る。
ステップ１０３において、ターゲット対象の三次元モデルに基づいて、ターゲット対象のＣＴ画像を得る。
【0026】
図２を参照すると、生成器３００は、第１Ｘ線フィルム１２及び第二Ｘ線フィルム１４に対して三次元再構成を行い、ターゲット対象の三次元モデルを得る。コンピュータ機器は、該三次元モデルに基づいて、ターゲット対象のＣＴ画像１６を生成する。
一般的には、ＣＴ画像は、複数層の二次元画像を含む。ターゲット対象に対して再構成を行うことで得られた三次元モデルに基づいて、該ターゲット対象のＣＴ画像を生成することができる。
要するに、本実施例が提供する方法において、２つの直交したＸ線フィルムを生成器に入力し、生成器により三次元再構成を行い、ターゲット対象のＣＴ画像を得る。これにより、Ｘ線フィルム機は、二回のみの二次元形態のＸ線フィルム走査を実行すれば、ＣＴ走査装置による三次元医用画像に相当するもの又は類似したものを得ることができる。ターゲット対象に与える放射線障害を減少させるだけでなく、ターゲット対象の検査費を節約し、ターゲット対象の検査プロセスにかかる時間を短縮することもできる。
一般的には、ＣＴ画像は、複数層の二次元画像を含む。ターゲット対象に対して再構成を行うことで得られた三次元モデルに基づいて、該ターゲット対象のＣＴ画像を生成することができる。
要するに、本実施例が提供する方法において、２つの直交したＸ線フィルムを生成器に入力し、生成器により三次元再構成を行い、ターゲット対象のＣＴ画像を得る。これにより、Ｘ線フィルム機は、二回のみの二次元形態のＸ線フィルム走査を実行すれば、ＣＴ走査装置による三次元医用画像に相当するもの又は類似したものを得ることができる。ターゲット対象に与える放射線障害を減少させるだけでなく、ターゲット対象の検査費を節約し、ターゲット対象の検査プロセスにかかる時間を短縮することもできる。
【0027】
生成器の構造
上記生成器３００は、ＧＡＮに基づいて訓練された生成器であってもよい。該生成器は、２つの直交した視角の二次元画像を三次元再構成し、三次元モデルを得る能力を持つ。図３は、本願の一概略的な実施例による生成器３００の構造を示すブロック図である。該生成器３００は、エンコーダ及びデコーダを含む。ここで、
エンコーダは、第１符号化部３１及び第２符号化部３２を含む。任意選択的に、第１符号化部３１及び第２符号化部３２は、同様なネットワーク構造を有する。
コンピュータ機器は、第１符号化部３１を呼び出して第１Ｘ線フィルムに対して二次元符号化を行い、第１符号化情報を得て、第２符号化部３２を呼び出して第２Ｘ線フィルムに対して二次元符号化を行い、得到第２符号化情報を得る。
デコーダは、第１復号化部３３、第２復号化部３４及び融合復号化部３５を含む。任意選択的に、第１復号化部３３及び第２復号化部３４は、同様なネットワーク構造を有する。
上記生成器３００は、ＧＡＮに基づいて訓練された生成器であってもよい。該生成器は、２つの直交した視角の二次元画像を三次元再構成し、三次元モデルを得る能力を持つ。図３は、本願の一概略的な実施例による生成器３００の構造を示すブロック図である。該生成器３００は、エンコーダ及びデコーダを含む。ここで、
エンコーダは、第１符号化部３１及び第２符号化部３２を含む。任意選択的に、第１符号化部３１及び第２符号化部３２は、同様なネットワーク構造を有する。
コンピュータ機器は、第１符号化部３１を呼び出して第１Ｘ線フィルムに対して二次元符号化を行い、第１符号化情報を得て、第２符号化部３２を呼び出して第２Ｘ線フィルムに対して二次元符号化を行い、得到第２符号化情報を得る。
デコーダは、第１復号化部３３、第２復号化部３４及び融合復号化部３５を含む。任意選択的に、第１復号化部３３及び第２復号化部３４は、同様なネットワーク構造を有する。
【0028】
コンピュータ機器は、第１復号化部３３を呼び出して第１符号化情報に対して復号化を行い、第１復号化情報を得て、第２復号化部３４を呼び出して第２符号化情報に対して復号化を行い、第２復号化情報を得て、融合復号化部３５を呼び出して第１復号化情報と第２復号化情報を三次元空間における異なる視角のデータとして使用して三次元融合し、ターゲット対象の三次元モデルを得る。
つまり、融合復号化部３５により、第１復号化部３３及び第２復号化部３４の２つの異なる視角の復号化情報を融合し、ターゲット対象の三次元モデルを得る。
つまり、融合復号化部３５により、第１復号化部３３及び第２復号化部３４の２つの異なる視角の復号化情報を融合し、ターゲット対象の三次元モデルを得る。
【0029】
概略的に、上記生成器３００は、Ｘ２ＣＴ－ＣＮＮと命名された。第１符号化部３１及び第１復号化部３３は、１つの符号化復号化ネットワークと認められてもよく、第２符号化部３２及び第２復号化部３４は、１つの符号化復号化ネットワークと認められてもよい。生成器３００は、構造が同じである２つの符号化復号化ネットワークにより並行して正面図入力及び側面図入力に対して符号化復号化を行い、また、中間の融合復号化部３５により、三次元再構成を行う。符号化復号化ネットワークは、Ｘ線フィルムからＣＴへのマッピング関係を学習することを意図する。中間の融合復号化部は、２つの符号化復号化ネットワークからの特徴情報を利用して対応する三次元ＣＴ構造を再構成することを意図する。チャレンジングなクロスモダリティクロス次元のデータ変換を実現させるために、生成器３００の設計過程において、図４に示す概略的設計を更に用いた。
【0030】
第１符号化部３１は、ｎ＋２個の符号化層を含み、該ｎ＋２個の符号化層は、二次元畳み込み層、カスケードのｎ個の密集接続（Ｄｅｎｓｅ）層及びプーリング層を含む。二次元畳み込み層は、１つ目の密集接続層に接続され、ｎ番目の密集接続層は、プーリング層に接続される。ｎは、１より大きい正整数である。
第２符号化部３２と第１符号化部３１は、同様な構造を有する。
第１符号化部３１と第１復号化部３３とは、更に第１Ａ接続により接続される。第１Ａ接続は、第１符号化情報を二次元形態から三次元形態に変換するために用いられる。第２符号化部３２と第２復号化部３４とは、更に第２Ａ接続により接続される。第２Ａ接続は、第２符号化情報を二次元形態から三次元形態に変換するために用いられる。Ａ接続は、全結合層に基づいて実現された接続である。
第２符号化部３２と第１符号化部３１は、同様な構造を有する。
第１符号化部３１と第１復号化部３３とは、更に第１Ａ接続により接続される。第１Ａ接続は、第１符号化情報を二次元形態から三次元形態に変換するために用いられる。第２符号化部３２と第２復号化部３４とは、更に第２Ａ接続により接続される。第２Ａ接続は、第２符号化情報を二次元形態から三次元形態に変換するために用いられる。Ａ接続は、全結合層に基づいて実現された接続である。
【0031】
第１復号化部３３は、ｎ＋２個の復号化層を含む。ｎ＋２個の復号化層は、アップサンプリング（ＵＰ）層、カスケードのｎ個のアップ畳み込み（ＵＰ－Ｃｏｎｖ）層及び三次元畳み込み層を含む。アップサンプリング層は、１つ目のアップ畳み込み層に接続され、ｎ番目のアップ畳み込み層は、三次元畳み込み層に接続される。上記各層は、ｎ＋２個の復号化層を構成する。任意選択的に、第１復号化部３３は、ｎ個のＣ接続を更に含む。各Ｃ接続は、２つの入力端及び１つの出力端を含む。ｉ番目のＣ接続の第１入力端は、第１復号化部３３におけるｉ番目の復号化層の出力端に接続され、ｉ番目のＣ接続の第２入力端は、第１符号化部３１におけるｉ＋１番目の符号化層の出力端に接続され、ｉ番目のＣ接続の出力端は、第１復号化部３３におけるｉ＋１番目の復号化層の入力端に接続される。
【0032】
任意選択的に、ｉ番目のＣ接続の第２入力端は更に、Ｂ接続を介して第１符号化部３１におけるｉ番目の符号化層の出力端に接続される。Ｂ接続は、符号化層から出力された二次元符号化情報を三次元符号化情報に変換するために用いられる。Ｃ接続は、第１入力端に入力された三次元復号化情報と第２入力端に入力された三次元符号化情報に対して加重加算を行い、次の復号化層の三次元復号化情報として出力するために用いられる。
第２復号化部３４と第１復号化部３３は、同様な構造を有する。ここで、詳細な説明を省略する。
第２復号化部３４と第１復号化部３３は、同様な構造を有する。ここで、詳細な説明を省略する。
【0033】
図５は、上記３つの接続の構造を示す概略図である。
図５における（ａ）部分は、Ａ接続の構造の概略図を示す。Ａ接続は、二次元形態の符号化情報を第１一次元ベクトル５１となるように展開し、全結合モジュール５２により、第１一次元ベクトル５１を第２一次元ベクトル５３となるように引っ張り、更に、第２一次元ベクトル５３を再構成して三次元形態の符号化情報を得るために用いられる。任意選択的に、全結合モジュールに、全結合層（Ｆｕｌｌ Ｃｏｎｎｅｃｔｉｏｎ：ＦＣ）、Ｄｒｏｐｏｕｔ層及び正規化線形関数（Ｒｅｃｔｉｆｉｅｄ Ｌｉｎｅａｒ Ｕｎｉｔ：ＲｅＬＵ）層が含まれる。
図５における（ａ）部分は、Ａ接続の構造の概略図を示す。Ａ接続は、二次元形態の符号化情報を第１一次元ベクトル５１となるように展開し、全結合モジュール５２により、第１一次元ベクトル５１を第２一次元ベクトル５３となるように引っ張り、更に、第２一次元ベクトル５３を再構成して三次元形態の符号化情報を得るために用いられる。任意選択的に、全結合モジュールに、全結合層（Ｆｕｌｌ Ｃｏｎｎｅｃｔｉｏｎ：ＦＣ）、Ｄｒｏｐｏｕｔ層及び正規化線形関数（Ｒｅｃｔｉｆｉｅｄ Ｌｉｎｅａｒ Ｕｎｉｔ：ＲｅＬＵ）層が含まれる。
【0034】
図５における（ｂ）部分は、Ｂ接続の構造の概略図を示す。Ｂ接続は、ｉ番目の符号化層から出力された二次元符号化情報を垂直次元でｍ層に拡張し、拡張したｍ層の二次元符号化情報を三次元符号化情報として決定するために用いられ、ｍは、正整数である。任意選択的に、Ｂ接続は、二次元畳み込み層及び三次元畳み込み層を含む。Ｂ接続は、１つの二次元畳み込み層により、二次元特徴のチャネル数を対応する復号化層の三次元特徴のチャネル数に変換する。チャネル数が変更された二次元特徴に対して、二次元符号化情報に垂直な垂直次元を追加し、続いて、該垂直次元で、ｍ層の二次元符号化情報を複製し、擬似的三次元符号化情報に変換し、更に、１つの三次元畳み込み層により、擬似的三次元符号化情報に対して再符号化を行う。
【0035】
このような架橋型接続は、二次元符号化情報と三次元符号化情報をより自然にブリッジングする。これにより、Ｘ線フィルムに密に関わる幾つかの下位層の二次元符号化情報を十分に出力端に到達させ、直接的に影響を発生させるようになる。それによる最大利益は、入力と出力との間に形状と空間との強い相関性を導入することである。
【0036】
図５における（ｃ）部分は、Ｃ接続の構造の概略図を示す。Ｃ接続は、第１入力端に入力された三次元復号化情報及び第２入力端に入力された三次元符号化／復号化情報を同一の三次元空間に変換した後、三次元空間における２つの三次元符号化／復号化情報に対して加重加算を行い、出力された結果を次の復号化層の入力とするために用いられる。概略的に、第１入力端に入力された三次元復号化情報５５は、正視角で収集された第１Ｘ線フィルムに基づいて符号化復号化を行うことで得られたものであり、第２入力端に入力された三次元符号化／復号化情報５６は、側視角で収集された第２Ｘ線フィルムに基づいて符号化復号化を行うことで得られたものであり、２つの三次元符号化／復号化情報の視角が異なるため、まず、１つ又は２つの三次元符号化／復号化情報を変換し、２つの三次元符号化／復号化情報５７及び５８を同一の三次元空間に位置させ、更に、三次元空間における２つの三次元符号化／復号化情報５７及び５８に対して加重平均化を行い、合成された三次元復号化情報を得て、次の復号化層の入力とする。
【0037】
融合復号化部３５は、ｎ＋２個の融合復号化層を含む。ｎ＋２個の融合復号化層は、アップサンプリング層、カスケードのｎ個のアップ畳み込み層及び三次元畳み込み層を含む。アップサンプリング層の出力端は、１つ目のアップ畳み込み層に接続され、ｎ番目のアップ畳み込み層は、三次元畳み込み層に接続される。
【0038】
任意選択的に、融合復号化部３５は、Ｃ接続を更に含む。Ｃ接続の第１入力端は、第１復号化部３３の入力端に接続され、Ｃ接続の第２入力端は、第２復号化部３４の入力端に接続され、Ｃ接続の出力端は、アップサンプリング層の入力端に接続される。融合復号化部３５において、Ｃ接続は、第１入力端に入力された三次元符号化情報と第２入力端に入力された三次元符号化情報に対して加重加算を行い、次の融合復号化層の入力として出力するために用いられる。
【0039】
任意選択的に、融合復号化部３５は、図６に示すように、ｎ個の複合Ｃ接続を更に含む。各複合Ｃ接続６０は、第１Ｃ接続６１及び第２Ｃ接続６２を含み、ｉ番目の第１Ｃ接続の第１入力端は、第１復号化部３３におけるｉ＋１番目の復号化層の出力端に接続され、ｉ番目の第１Ｃ接続の第２入力端は、第２復号化部３４におけるｉ＋１番目の復号化層の出力端に接続され、ｉ番目の第１Ｃ接続の出力端は、ｉ番目の第２Ｃ接続の第１入力端に接続され、ｉ番目の第２Ｃ接続の第２入力端は、融合復号化部３５におけるｉ番目の融合復号化層の出力端に接続され、ｉ番目の第２Ｃ接続の出力端は、融合復号化部３５におけるｉ＋１番目の融合復号化層の入力端に接続される。
【0040】
上記生成器３００は少なくとも下記特徴を含む。
（１）密集接続されたエンコーダ設計
各密集接続（Ｄｅｎｓｅ）層は、ダウンサンプリングブロック（Ｄｏｗｎ）、密集接続ブロック（Ｄｅｎｓｅ Ｂｌｏｃｋ）及びチャネル圧縮ブロック（Ｃｏｍｐｒｅｓｓ）で構成される。ダウンサンプリングブロックは、ステップ幅が２である二次元畳み込み操作を行うために用いられ、チャネル圧縮ブロックは、出力チャネルを半減するために用いられる。
密集接続層は、特徴抽出過程において高い優位性を有する。例えば、深層ネットワークの勾配消失の問題を遅らせ、多段特徴の反復に寄与し、二次元形態のＸ線フィルムから、十分な情報を抽出することができる。
（１）密集接続されたエンコーダ設計
各密集接続（Ｄｅｎｓｅ）層は、ダウンサンプリングブロック（Ｄｏｗｎ）、密集接続ブロック（Ｄｅｎｓｅ Ｂｌｏｃｋ）及びチャネル圧縮ブロック（Ｃｏｍｐｒｅｓｓ）で構成される。ダウンサンプリングブロックは、ステップ幅が２である二次元畳み込み操作を行うために用いられ、チャネル圧縮ブロックは、出力チャネルを半減するために用いられる。
密集接続層は、特徴抽出過程において高い優位性を有する。例えば、深層ネットワークの勾配消失の問題を遅らせ、多段特徴の反復に寄与し、二次元形態のＸ線フィルムから、十分な情報を抽出することができる。
【0041】
（２）二次元特徴と三次元特徴のブリッジングモジュール
幾つかの符号化復号化ネットワークは一般的には、畳み込み方式で、エンコーダとデコーダを接続する。このような方式は、純粋な二次元又は純粋な三次元ネットワークにおいて何ら問題はないが、本願の実施例が解決しようとする課題の特殊性は、データの次元に跨がって、２つの次元の情報を接続するための新たなモジュールを必要とすることである。近年のニューラルネットワークアーキテクチャ設計において、全結合層は、パラメータ量が膨大であるという欠点を有するため、殆ど畳み込み層により置き換えられた。しかしながら、多くのニューラルネットワークアーキテクチャにおいて、大量の全結合の方式で、異なる次元情報間の接続を処理する。ＧＡＮに関わる動作において、一次元騒音から二次元画像までの次元拡大プロセスは殆ど全結合層により実行される。全結合層が特定のシーンにおいて依然として独特な価値を持つことを示す。本願の実施例は、全結合層を新たな接続モジュールに拡張し、Ａ接続（図５におけるａ部分に示す）と命名する。Ａ接続は、生成器の中間ノードで二次元エンコーダと三次元デコーダを接続するために用いられる。このような接続方式は、特徴の空間的配列及び隣接位置関係をある程度乱し、また、全結合層のパラメータが膨大であるという課題を依然として避けることができないため、このような接続方式を生成器の浅い層に普及できなくなる。これらの課題を解決すると共に、架橋型接続が本願の実施例で提供される生成器において役割を果たすようにするために、Ｂ接続（図５におけるｂ部分に示す）は機運に応じて生まれた。
幾つかの符号化復号化ネットワークは一般的には、畳み込み方式で、エンコーダとデコーダを接続する。このような方式は、純粋な二次元又は純粋な三次元ネットワークにおいて何ら問題はないが、本願の実施例が解決しようとする課題の特殊性は、データの次元に跨がって、２つの次元の情報を接続するための新たなモジュールを必要とすることである。近年のニューラルネットワークアーキテクチャ設計において、全結合層は、パラメータ量が膨大であるという欠点を有するため、殆ど畳み込み層により置き換えられた。しかしながら、多くのニューラルネットワークアーキテクチャにおいて、大量の全結合の方式で、異なる次元情報間の接続を処理する。ＧＡＮに関わる動作において、一次元騒音から二次元画像までの次元拡大プロセスは殆ど全結合層により実行される。全結合層が特定のシーンにおいて依然として独特な価値を持つことを示す。本願の実施例は、全結合層を新たな接続モジュールに拡張し、Ａ接続（図５におけるａ部分に示す）と命名する。Ａ接続は、生成器の中間ノードで二次元エンコーダと三次元デコーダを接続するために用いられる。このような接続方式は、特徴の空間的配列及び隣接位置関係をある程度乱し、また、全結合層のパラメータが膨大であるという課題を依然として避けることができないため、このような接続方式を生成器の浅い層に普及できなくなる。これらの課題を解決すると共に、架橋型接続が本願の実施例で提供される生成器において役割を果たすようにするために、Ｂ接続（図５におけるｂ部分に示す）は機運に応じて生まれた。
【0042】
Ａ接続は、全結合層の方式で、二次元特徴と三次元特徴との遷移を実現させる。エンコーダの最終層がマルチチャネルの二次元形態の符号化情報を得た後、Ａ接続は、まず、これを１つの一次元ベクトル５１となるように展開し、続いて、より長い一次元ベクトル（該長さは、望まれた三次元特徴スケールにより算出される）５３となるように引っ張り、最後に、より長い一次元ベクトル５３に対して再配列操作を行うことで、三次元特徴として配列する。このような接続方式によれば、多くの二次元空間情報を失う可能性があるため、本願の実施例において、エンコーダの最終層とデコーダの第１層との間のみにＡ接続を用いる。
生成器の他の層は、いずれもＢ接続という架橋型接続を用いることで、エンコーダの二次元特徴情報をデコーダの三次元特徴層に直接的に流すことを促進する。
生成器の他の層は、いずれもＢ接続という架橋型接続を用いることで、エンコーダの二次元特徴情報をデコーダの三次元特徴層に直接的に流すことを促進する。
【0043】
（３）二重視角情報の融合
正方向の二次元投影は、三次元物体の側方向情報を捕捉することができない。逆の場合も同様である。従って、２つの直交した方向の二重視角Ｘ線フィルムを収集し、両者の相補的な情報を利用してより正確な再構成結果を生成する。構造が同じである２つの符号化復号化ネットワークは、並行して独立して正面図入力及び側面図入力に対して符号化復号化を行う。２つの符号化復号化ネットワークの間の融合復号化部は、二重視角情報を融合するために用いられる。本願の実施例において、該２枚の直交した二重視角Ｘ線フィルムの収集時間間隔を無視してもよいと仮定する。これは、患者の身体の移動によるデータズレが存在しないことを意味する。従って、二重視角情報を同一の三次元座標空間に変換した後、図５におけるｃ部分に示すように、直接的に加重平均化を行うことができる。２つの視角のエンコーダ出力の、如何なる空間における不一致はいずれも融合復号化部により捕捉され、逆伝播により、これらの誤差情報は、それぞれ符号化復号化ネットワークに返送される。
正方向の二次元投影は、三次元物体の側方向情報を捕捉することができない。逆の場合も同様である。従って、２つの直交した方向の二重視角Ｘ線フィルムを収集し、両者の相補的な情報を利用してより正確な再構成結果を生成する。構造が同じである２つの符号化復号化ネットワークは、並行して独立して正面図入力及び側面図入力に対して符号化復号化を行う。２つの符号化復号化ネットワークの間の融合復号化部は、二重視角情報を融合するために用いられる。本願の実施例において、該２枚の直交した二重視角Ｘ線フィルムの収集時間間隔を無視してもよいと仮定する。これは、患者の身体の移動によるデータズレが存在しないことを意味する。従って、二重視角情報を同一の三次元座標空間に変換した後、図５におけるｃ部分に示すように、直接的に加重平均化を行うことができる。２つの視角のエンコーダ出力の、如何なる空間における不一致はいずれも融合復号化部により捕捉され、逆伝播により、これらの誤差情報は、それぞれ符号化復号化ネットワークに返送される。
【0044】
表１－１～表１－４及び図７において、生成器３００の主幹ネットワークにおける各層のパラメータの詳細な設定をまとめた。ここで、密集接続層におけるｓ＝２は、ダウンサンプリング畳み込みのステップ幅が２であることを表す。それに対応するように、アップサンプリング層におけるｓｆ＝２は、転置畳み込みのステップ幅が２であることを表す。各アップ畳み込み層の入力は、アップサンプリングにより得られた特徴と架橋型接続により伝達された特徴の組み合わせである。従って、まず、１層の畳み込みにより、チャネル数に対して圧縮を行う。概略的に、ネットワークの入力は、サイズが１２８ｘ１２８であるＸ線フィルムであり、出力は、サイズが１２８ｘ１２８ｘ１２８であるＣＴ画像である。
【0045】
【表1-1】
【表1-2】
【表1-3】
【表1-4】
【0046】
図７における（１）から（７）に示すように、密集接続（Ｄｅｎｓｅ）層は、順次接続されたダウンサンプリングブロック、密集接続ブロック及びチャネル圧縮ブロックを含む。チャネル圧縮（Ｃｏｍｐｒｅｓｓ）は、インスタンス正規化、正規化線形ユニット及び二次元畳み込みを含む。アップ畳み込み（Ｕｐ－Ｃｏｎｖ）は、三次元畳み込みブロック、＊Ｎブロック及びアップサンプリングを含む。アップサンプリング（ＵＰ）は、三次元逆畳み込み、インスタンス正規化、正規化線形ユニットを含む。ダウンサンプリングは、インスタンス正規化、正規化線形ユニット及びステップ幅が２である二次元畳み込みを含む。二次元畳み込みブロックは、二次元畳み込み、インスタンス正規化及び正規化線形ユニットを含む。三次元畳み込みブロックは、三次元畳み込み、インスタンス正規化及び正規化線形ユニットを含む。
【0047】
上記ネットワークパラメータ設定は概略的な説明だけであることに留意されたい。本願の実施例は、入力画像及び出力画像の寸法を限定するものではなく、入力画像及び出力画像の寸法が他の寸法である場合、対応的に、ニューラルネットワークアーキテクチャの設定を調整することができる。
【0048】
生成器の訓練
上記生成器は、ＧＡＮに基づいて訓練されたものである。図８は、Ｘ２ＣＴ－ＧＡＮの全体構造を示す。該ＧＡＮネットワークに、生成器３００及び判別器４００が含まれる。生成器３００の入力は、直交した第１Ｘ線フィルム（正面図）及び第２Ｘ線フィルム（側面図）である。生成器３００の出力は、再構成された三次元モデルであり、再構成ＣＴと略称される。訓練データ集合に、サンプルＣＴが存在する。判別器４００は、再構成ＣＴとサンプルＣＴとの敵対的損失を判別するために用いられる。該敵対的損失が小さいほど、生成器３００の再構成効果は高くなる。
上記生成器は、ＧＡＮに基づいて訓練されたものである。図８は、Ｘ２ＣＴ－ＧＡＮの全体構造を示す。該ＧＡＮネットワークに、生成器３００及び判別器４００が含まれる。生成器３００の入力は、直交した第１Ｘ線フィルム（正面図）及び第２Ｘ線フィルム（側面図）である。生成器３００の出力は、再構成された三次元モデルであり、再構成ＣＴと略称される。訓練データ集合に、サンプルＣＴが存在する。判別器４００は、再構成ＣＴとサンプルＣＴとの敵対的損失を判別するために用いられる。該敵対的損失が小さいほど、生成器３００の再構成効果は高くなる。
【0049】
敵対的損失のみを生成器の損失関数として用いる従来のＧＡＮと異なっており、本願の実施例が提供する生成器の損失関数は、
敵対的損失、
又は、敵対的損失及び再構成損失ＲＬ、
又は、敵対的損失及び投影損失ＰＬ、
又は、敵対的損失、再構成損失ＲＬ及び投影損失ＰＬ、という形態のうちの少なくとも１つを用いることができ、
ここで、敵対的損失は、生成器により再構成された三次元モデルとサンプルＣＴ画像とのセマンティック損失を表すためのものであり、再構成損失は、生成器により再構成された三次元モデルとサンプルＣＴ画像との画素レベルの差異損失を表すためのものであり、投影損失は、生成器により再構成された三次元モデルとサンプルＣＴ画像の、少なくとも１つの投影平面での差異損失を表すためのものである。
敵対的損失、
又は、敵対的損失及び再構成損失ＲＬ、
又は、敵対的損失及び投影損失ＰＬ、
又は、敵対的損失、再構成損失ＲＬ及び投影損失ＰＬ、という形態のうちの少なくとも１つを用いることができ、
ここで、敵対的損失は、生成器により再構成された三次元モデルとサンプルＣＴ画像とのセマンティック損失を表すためのものであり、再構成損失は、生成器により再構成された三次元モデルとサンプルＣＴ画像との画素レベルの差異損失を表すためのものであり、投影損失は、生成器により再構成された三次元モデルとサンプルＣＴ画像の、少なくとも１つの投影平面での差異損失を表すためのものである。
【0050】
訓練過程において、敵対的損失、再構成損失及び投影損失という３つの損失関数を同時に用いることを例とする。以下、それぞれ説明する。
（１）敵対的損失
初期ＧＡＮにおける対数損失を最小二乗損失で置き換えることで、訓練の安定性、画像生成品質及び多様性を向上させる。発明者らは、幾つかのＧＡＮの異なる形態を試した後に、最小二乗損失（Ｌｅａｓｔ Ｓｑｕａｒｅｓ ＧＡＮ：ＬＳＧＡＮ）が再構成タスクにおいて非常に好適であることを発見した。なお、再構成タスクの制約性が高いため、本実施例における条件ＬＳＧＡＮは以下のように定義される。
（１）敵対的損失
初期ＧＡＮにおける対数損失を最小二乗損失で置き換えることで、訓練の安定性、画像生成品質及び多様性を向上させる。発明者らは、幾つかのＧＡＮの異なる形態を試した後に、最小二乗損失（Ｌｅａｓｔ Ｓｑｕａｒｅｓ ＧＡＮ：ＬＳＧＡＮ）が再構成タスクにおいて非常に好適であることを発見した。なお、再構成タスクの制約性が高いため、本実施例における条件ＬＳＧＡＮは以下のように定義される。
【0051】
【数1】
【0052】
ここで、ｘは、入力された２枚の直交した二重視角Ｘ線フィルムであり、ｙは、それに対応するＣＴ画像であり、Ｄ（ｙ｜ｘ）は、判別器を表し、Ｇ（ｘ）は、生成器を表す。
【0053】
（２）再構成損失
敵対的損失により、生成データを真実データに更に近づくことを意図するが、精度要件が非常に高い再構成タスクにおいて、敵対的損失だけでは不十分である。その原因は、敵対的損失が高級なセマンティック損失であることである。例えば、Ｘ２ＣＴ－ＧＡＮの判別器は、真偽判別結果のみを出力する。再構成された肺部が僅かに縮小しても、判別器による判別結果が真物である可能性があるが、所望の結果とはかけ離れた可能性がある。従って、単一の敵対的損失によれば、出力された結果の形状が入力情報と一致することを確保できない。なお、医用画像は、自然画像のように、豊かで多様なものではないが、精度での要件はより高い。このような考慮によれば、本明細書において、ボクセルレベルの再構成損失もＸ２ＣＴ－ＧＡＮモデルの訓練過程に導入し、三次元空間における各ポイントに対して制約を行う。本明細書における再構成損失は、平均二乗誤差（Ｍｅａｎ Ｓｑｕａｒｅｄ Ｅｒｒｏｒ：ＭＳＥ）に基づいて以下のように定義される。
敵対的損失により、生成データを真実データに更に近づくことを意図するが、精度要件が非常に高い再構成タスクにおいて、敵対的損失だけでは不十分である。その原因は、敵対的損失が高級なセマンティック損失であることである。例えば、Ｘ２ＣＴ－ＧＡＮの判別器は、真偽判別結果のみを出力する。再構成された肺部が僅かに縮小しても、判別器による判別結果が真物である可能性があるが、所望の結果とはかけ離れた可能性がある。従って、単一の敵対的損失によれば、出力された結果の形状が入力情報と一致することを確保できない。なお、医用画像は、自然画像のように、豊かで多様なものではないが、精度での要件はより高い。このような考慮によれば、本明細書において、ボクセルレベルの再構成損失もＸ２ＣＴ－ＧＡＮモデルの訓練過程に導入し、三次元空間における各ポイントに対して制約を行う。本明細書における再構成損失は、平均二乗誤差（Ｍｅａｎ Ｓｑｕａｒｅｄ Ｅｒｒｏｒ：ＭＳＥ）に基づいて以下のように定義される。
【0054】
【数2】
【0055】
（３）投影損失
再構成損失は、三次元空間において各ポイントに対して細かく制約する。これに加えて、本願の実施例は、二次元空間において投影を制約するポリシーを用いる。再構成ＣＴ画像が三次元空間において基準ＣＴ画像に十分に合致すれば、それらの二次元投影も合致する。従って、訓練過程において、投影を直接的に制約することで、三次元物体の再構成精度を向上させることができる。投影操作を簡略化するために、本実施例は、透視投影ではなく、直交投影を用いる。しかしながら、他の実施例において、透視投影で表すこともできる。投影に、より多くの情報を持たせるために、本実施例において、横断面、冠状面、及び矢状面という３つの投影平面を選択する。数学表現形式は以下のとおりである。
再構成損失は、三次元空間において各ポイントに対して細かく制約する。これに加えて、本願の実施例は、二次元空間において投影を制約するポリシーを用いる。再構成ＣＴ画像が三次元空間において基準ＣＴ画像に十分に合致すれば、それらの二次元投影も合致する。従って、訓練過程において、投影を直接的に制約することで、三次元物体の再構成精度を向上させることができる。投影操作を簡略化するために、本実施例は、透視投影ではなく、直交投影を用いる。しかしながら、他の実施例において、透視投影で表すこともできる。投影に、より多くの情報を持たせるために、本実施例において、横断面、冠状面、及び矢状面という３つの投影平面を選択する。数学表現形式は以下のとおりである。
【0056】
【数3】
敵対的損失、再構成損失及び投影損失を同時に用いる場合、加重加算の方式で総損失を算出する式は以下のとおりである。
【0057】
【数4】
【0058】
ここで、λ１は、敵対的損失に対応する重みであり、λ２は、再構成損失に対応する重みであり、λ３は、投影損失に対応する重みである。概略的な例において、λ１＝０．１、λ２＝λ３＝１０である。
【0059】
図９は、本願の一例示的な実施例による生成器の訓練方法を示すフローチャートである。本訓練方法は、コンピュータ機器により実行されてもよく、該方法は以下を含む。
ステップ９０１において、訓練データ集合を取得し、訓練データ集合は少なくとも２つの訓練サンプルを含む。
生成器の訓練タスクにおいて、大量の対になるＸ線フィルムとＣＴ画像により訓練データ集合を構成する必要がある。これにより、Ｘ２ＣＴ－ＧＡＮモデルが両者間のマッピング関係を学習することに供する。しかしながら、現在、このような公開データ集合が存在しないため、本実施例は、ＤＲＲ技術を利用して真実ＣＴ画像から仮想Ｘ線フィルムを生成する。概略的に下記ステップを含む。
ステップ１において、少なくとも２つの真実ＣＴ画像をサンプルＣＴ画像として取得する。
ステップ２において、少なくとも２つの真実ＣＴ画像のうちの各真実ＣＴ画像に対して、対応する第１仮想Ｘ線フィルム及び第２仮想Ｘ線フィルムを生成する。
ここで、第１仮想Ｘ線フィルムは、正視角のＸ線フィルムであり、第２仮想Ｘ線フィルムは、側視角のＸ線フィルムである。
ステップ３において、互いに対応する第１仮想Ｘ線フィルム、第２仮想Ｘ線フィルム及び真実ＣＴ画像を少なくとも２つの訓練サンプルと決定する。
ステップ９０１において、訓練データ集合を取得し、訓練データ集合は少なくとも２つの訓練サンプルを含む。
生成器の訓練タスクにおいて、大量の対になるＸ線フィルムとＣＴ画像により訓練データ集合を構成する必要がある。これにより、Ｘ２ＣＴ－ＧＡＮモデルが両者間のマッピング関係を学習することに供する。しかしながら、現在、このような公開データ集合が存在しないため、本実施例は、ＤＲＲ技術を利用して真実ＣＴ画像から仮想Ｘ線フィルムを生成する。概略的に下記ステップを含む。
ステップ１において、少なくとも２つの真実ＣＴ画像をサンプルＣＴ画像として取得する。
ステップ２において、少なくとも２つの真実ＣＴ画像のうちの各真実ＣＴ画像に対して、対応する第１仮想Ｘ線フィルム及び第２仮想Ｘ線フィルムを生成する。
ここで、第１仮想Ｘ線フィルムは、正視角のＸ線フィルムであり、第２仮想Ｘ線フィルムは、側視角のＸ線フィルムである。
ステップ３において、互いに対応する第１仮想Ｘ線フィルム、第２仮想Ｘ線フィルム及び真実ＣＴ画像を少なくとも２つの訓練サンプルと決定する。
【0060】
真実ＣＴ画像は、異なるメーカーの異なる装置により収集されたものである可能性があるため、データスケール及び解像度は大きく相違している。例えば、幾つかのＣＴ画像のスライス数が多く、幾つかのＣＴ画像のスライス数が相対的少ない。また例えば、スライスにおける２つの座標軸での解像度が同じであるが、該解像度は、異なるＣＴ画像に対して相違している。従って、本願において、前処理により、真実ＣＴ画像を正規化する。具体的には、２つのステップを含む。
（１）再サンプリングにより、各方向での、真実ＣＴ画像の解像度を１ｘ１ｘ１ｍｍ３に統一する。
（２）各真実ＣＴ画像の頂端から、３２０ｘ３２０ｘ３２０ｍｍ３の立方領域を切り取り、長さが３２０ｍｍである軸をゼロパディングする。
（１）再サンプリングにより、各方向での、真実ＣＴ画像の解像度を１ｘ１ｘ１ｍｍ３に統一する。
（２）各真実ＣＴ画像の頂端から、３２０ｘ３２０ｘ３２０ｍｍ３の立方領域を切り取り、長さが３２０ｍｍである軸をゼロパディングする。
【0061】
上記２つのステップにより処理された真実ＣＴ画像は、等方性の特徴を示すと同時に、各真実ＣＴ画像はいずれも完全な胸腔をカバーすることができる。既存の肺部公開データ集合ＬＩＤＣ－ＩＤＲＩを用いて上記処理を行うとすれば、補強されたＬＩＤＣ－ＩＤＲＩは、１０１８個の仮想二重視角Ｘ線フィルム及びそれに対応する真実ＣＴ画像を含む。１つの二重視角Ｘ線フィルムとそれに対応する真実ＣＴ画像は、１つのサンプルを構成する。本実施例は、９１６個のサンプルをランダムに選択して訓練データ集合とし、残った１０２個のサンプルを試験データ集合とする。訓練データ集合と試験データ集合との比は、約９：１である。
【0062】
ステップ９０２において、生成器に対応する判別器を設定する。
判別器の構築は、ｐｉｘ２ｐｉｘ動作中のＰａｔｃｈＤｉｓｃｒｉｍｉｎａｔｏｒに基づいたものである。本願の実施例は、これを三次元形態に拡張し、３ＤＰａｔｃｈＤｉｓｃｒｉｍｉｎａｔｏｒと命名する。それは、まず、３個の畳み込みカーネルサイズが４でありステップ幅が２であるｃｏｎｖ３ｄ－ｎｏｒｍ－ｒｅｌｕモジュールからなる。続いて、１つの畳み込みカーネルサイズが４でありステップ幅が１であるｃｏｎｖ３ｄ－ｎｏｒｍ－ｒｅｌｕモジュールが接続され、最後に、１つのｃｏｎｖ３ｄ層が接続され、ｓｉｇｍｏｉｄ活性化関数により出力される。具体的なパラメータ設定は、表２に示すとおりである。
判別器の構築は、ｐｉｘ２ｐｉｘ動作中のＰａｔｃｈＤｉｓｃｒｉｍｉｎａｔｏｒに基づいたものである。本願の実施例は、これを三次元形態に拡張し、３ＤＰａｔｃｈＤｉｓｃｒｉｍｉｎａｔｏｒと命名する。それは、まず、３個の畳み込みカーネルサイズが４でありステップ幅が２であるｃｏｎｖ３ｄ－ｎｏｒｍ－ｒｅｌｕモジュールからなる。続いて、１つの畳み込みカーネルサイズが４でありステップ幅が１であるｃｏｎｖ３ｄ－ｎｏｒｍ－ｒｅｌｕモジュールが接続され、最後に、１つのｃｏｎｖ３ｄ層が接続され、ｓｉｇｍｏｉｄ活性化関数により出力される。具体的なパラメータ設定は、表２に示すとおりである。
【0063】
【表2】
【0064】
Ｘ２ＣＴ－ＧＡＮの訓練方式は、初期ＧＡＮと僅かに異なるが、全体的な訓練構想は依然として判別器及び生成器の訓練を交互に行うことである。訓練は、補強されたＬＩＤＣ－ＩＤＲＩでータ集合に基づいて行われる。訓練過程において、勾配損失に基づいた最適化アルゴリズムによりネットワークのパラメータを更新する。
【0065】
【数5】
【0066】
は、対になる二重視角Ｘ線フィルムとＣＴデータ集合の１つのサンプルを表す。勾配損失に基づいた該最適化アルゴリズムは、Ａｄａｍ最適化アルゴリズム、ＳＧＤ最適化アルゴリズム、ＲＭＳＰｒｏｐ最適化アルゴリズムのうちのいずれか１つを含む。
【0067】
ステップ９０３において、第ｉ訓練段階で、生成器における第１ニューラルネットワークパラメータを一定にし、訓練データ集合における１つの訓練サンプルを用いて判別器における第２ニューラルネットワークパラメータを最適化する。
【0068】
下記式（３－５）で判別器の勾配を算出し、続いて、勾配損失に基づいた最適化アルゴリズムを用いて判別器における第２ニューラルネットワークパラメータを更新する。
【0069】
【数6】
【0070】
ステップ９０４において、第ｉ＋１訓練段階で、判別器における第２ニューラルネットワークパラメータを一定にし、訓練データ集合におけるもう１つの訓練サンプルを用いて生成器における第１ニューラルネットワークパラメータを最適化する。
【0071】
生成器の勾配の算出は相対的複雑である。まず、式（３－６）で生成器の敵対的損失を算出し、式（３－７）で再構成損失を算出し、式（３－８）で投影損失を算出し、次に、式（３－９）で勾配（式中、
【0072】
【数7】
【0073】
【数8】
【0074】
ステップ９０５において、前述の訓練段階を交互に実行し、第１ニューラルネットワークパラメータ及び第２ニューラルネットワークパラメータが安定して収束するまで継続する。
【0075】
Ａｄａｍオプティマイザを用いてネットワークパラメータを最適化することを例として、初期学習率Ｌｒｉｎｉｔ＝２ｅ－４であり、モーメンタムパラメータβ１＝０．５、β２＝０．９９である。前の５０個の反復周期において、該組のパラメータは不変のまま保持し、続いて、学習率が線形に減衰するというポリシーを用いる。一定の学習率を設定することに比べて、このような方式は、ネットワークがより好適な位置に収束することに寄与する。具体的には、式（３－１０）で、学習率を０まで減衰させる。ここで、Ｌｒ＿ｉｔｅｒは、現在の反復周期の学習率を表し、ｉｔｅｒは、現在の反復回数を表し、ｍａｘ＿ｉｔｅｒは、反復回数の合計を表し、実験中において、１００と設定される。
【0076】
【数9】
【0077】
図１０は、実験過程において異なるニューラルネットワークモデルがＣＴ画像を再構成する場合の再構成結果の比較を示す。まず、図１０に示した第１行における比較されるモデルのタイプを簡単に説明する。「ＧＴ」は、Ｇｒｏｕｎｄｔｒｕｔｈであり、再構成の基準を表し、つまり、参照基準としたＣＴ画像（例えば、真実のＣＴ画像）である。「２ＤＣＮＮ」は、二次元畳み込みニューラルネットワークを用いてＣＴ画像再構成を行うモデルを表す。「Ｘ２ＣＴ－ＣＮＮ＋Ｓ」は、一枚のＸ線フィルムを単一視角入力として用い、三次元畳み込み層ニューラルネットワークを用いてＣＴ画像再構成を行うモデルを表す。これに対応して、「Ｘ２ＣＴ－ＣＮＮ＋Ｂ」は、直交した２枚のＸ線フィルム二重視角入力を用い、三次元畳み込み層ニューラルネットワークを用いてＣＴ画像再構成を行うモデルを表す。「Ｘ２ＣＴ－ＧＡＮ」は、上記実施例で提供されるＧＡＮ教師信号に基づいたモデルである。図１０における第２行の第１列に、試験集合から選択された１名の患者のＣＴ画像の一枚のスライスを示す。該行の残った列に、各ニューラルネットワークモデルの再構成結果を示す。図１０における第３行及び第４行はそれぞれ、該サンプルデータの正視角及び側視角の三次元可視化結果である。読者が三次元空間において、異なるニューラルネットワークモデルの再構成結果の差異をより直観的に比較することを容易にする。
【0078】
２ＤＣＮＮモデルは、単一視角入力の場合のみに対して処理できるため、ここで、該２ＤＣＮＮモデルの二重視角入力の結果を提供しない。図１０から分かるように、２ＤＣＮＮモデルから得られた結果は、かなりぼやけて、且つ外形の歪みはひどい。これに比べて、Ｘ２ＣＴ－ＣＮＮモデルは、はっきりした境界を捕捉することができる。これは、二次元畳み込みと三次元畳み込み層を組み合わせたモデルのフィーディング能力が純粋な二次元畳み込みネットワークよりもはるかに高いことを示す。なお、単一視角入力に比べて二重視角入力の優位性を検証するために、図１０における側方向の三次元可視化結果から分かるように、単一視角入力モデルは、該方向の入力情報を持たないため、再構成結果に大きな偏差が発生したが、二重視角入力モデルは、再構成過程において正確な制約を好適に加えて、より正確な再構成結果を発生することができる。
【0079】
なお、図１０から、Ｘ２ＣＴ－ＧＡＮによる細部の精細化効果を直観的に観察できる。二重視角入力のＸ２ＣＴ－ＣＮＮは、ボクセルレベルの再構成損失のみを用いてネットワーク最適化を行うため、得られた結果は、形状全体、輪郭の点で好適であるが、縁部が平滑になりすぎて、多くの細部が欠けており、肉眼で、真実データと再構成データを容易に区別できる。ＧＡＮに基づいたＸ２ＣＴ－ＧＡＮモデルは、ＧＡＮの、真実データ分布に対する学習能力を十分に発揮し、再構成結果は、肺部血管のような精細構造を捕捉でき、視覚的に真実のＣＴ画像に近づく。医学的専門知識訓練に欠けている普通の人間は、モデルにより生成された再構成データと真実データを短時間内で区別しにくい。二重視角入力のＸ２ＣＴ－ＧＡＮモデルは、主要器官（例えば、肺、心臓など）の再構成において精確であり、例えば、器官の大きさの測定、胸郭変形の診断及び放射線療法線量の計画などにおいて、一定の臨床価値を有する。
【0080】
単一の症例を例として、図１１は、本願の実施例による生成器により再構成された再構成ＣＴ画像と真実ＣＴ画像との一枚ずつのスライスの比較を示す概略図である。
【0081】
本願の実施例の本来の意図は、真実のＸ線フィルムから完全なＣＴデータを再構成することであるため、真実のＸ線フィルムを用いて本願の実施例で提供されるモデルを検証するステップは、不可欠な一環である。Ｘ２ＣＴ－ＧＡＮモデルは仮想データにより訓練されたが、ＣｙｃｌｅＧＡＮモデルにより、本願は、真実Ｘ線フィルムから仮想Ｘ線フィルムへの変換を実現させる。一例示的な例において、２００枚の真実Ｘ線フィルム及び２００枚の仮想Ｘ線フィルムを収集し、図１２に示すように、ＣｙｃｌｅＧＡＮモデルにより、両者間の相互変換を学習する。Ｘは、２００枚の真実的Ｘ線フィルムからなる画像領域を表し、Ｙは、２００枚の仮想Ｘ線フィルムからなる画像領域を表す。学習されるべき領域Ｘから領域ＹへのマッピングがＧ（生成器）であり、逆マッピングがＦ（生成器）であると仮定する。領域Ｙにおいて、判別器ＤＹが存在し、領域Ｘにおいて、判別器ＤＸが存在する。敵対的学習の方式で訓練を行う。判別器が真実Ｘ線フィルムと仮想Ｘ線フィルムをできる限り区別することを求めるだけでなく、二回マッピング後の誤差が可能な限り小さくなることを求める。つまり、
である。該誤差は、サイクル一貫性損失で表される。
は、マッピング後のＸを表し、
は、マッピング後のＹを表す。
【数10】
【数11】
【数12】
【0082】
ＣｙｃｌｅＧＡＮモデルが安定して収束した後、真実Ｘ線フィルムを用いてＸ２ＣＴ－ＧＡＮモデルを試験する前に、ＣｙｃｌｅＧＡＮにおける真実Ｘ線フィルムから仮想Ｘ線フィルムへの生成器を用いて、真実Ｘ線フィルムを仮想Ｘ線フィルムのスタイルに変換し、続いて、変換後のＸ線フィルムを用いてＣＴ再構成試験を行う。試験結果は、図１３に示すとおりである。前の２列は、２つの異なる視角の真実Ｘ線フィルムであり、続く２列は、ＣｙｃｌｅＧＡＮ変換されたＸ線フィルムであり、最後の２列は、再構成ＣＴの内部構造及び表面構造の三次元可視化結果を示す。楕円点線リングは、品質の高い再構成領域を表す。再構成結果から分かるように、本実施例で提供されるＸ２ＣＴ－ＧＡＮモデルは、真実Ｘ線フィルムの再構成にとっても非常に合理的である。特に、肺部領域及び表面輪郭は好適である。図１３に、真実Ｘ線フィルムにおいて楕円点線で囲んだ領域から、明らかな線湾曲変動を観察できる。このような変動は、モデルにより正確に捕捉されて再構成結果で表現される。
【0083】
生成器の適用シーン
図１４に示す一任意選択的な実施例において、上記生成器３００は、サーバ１４２０に配置されてもよい。クライアント１４１０はサーバ１４２０に直交した２つのＸ線フィルムを送信した後、サーバ１４２０は、生成器３００を呼び出して再構成ＣＴ画像を生成し、サーバ１４２０は、再構成されたＣＴ画像をクライアント１４１０に送信する。
図１４に示す一任意選択的な実施例において、上記生成器３００は、サーバ１４２０に配置されてもよい。クライアント１４１０はサーバ１４２０に直交した２つのＸ線フィルムを送信した後、サーバ１４２０は、生成器３００を呼び出して再構成ＣＴ画像を生成し、サーバ１４２０は、再構成されたＣＴ画像をクライアント１４１０に送信する。
【0084】
図１５に示すもう１つの任意選択的な実施例において、上記生成器３００は、サーバ１４２０に配置されてもよい。第１クライアント１４１０は、サーバ１４２０に直交した２つのＸ線フィルムを送信した後、サーバ１４２０は生成器３００を呼び出して再構成ＣＴ画像を生成し、サーバ１４２０は、再構成されたＣＴ画像を第２クライアント１４３０に送信する。
【0085】
図１６に示すもう１つの任意選択的な実施例において、上記生成器３００は、Ｘ線フィルム機に接続されるコンピュータ機器１４４０に配置されてもよい。Ｘ線フィルム機は、コンピュータ機器１４４０に直交した２つのＸ線フィルムを送信した後、コンピュータ機器１４４０は、生成器３００を呼び出して再構成ＣＴ画像を生成し、コンピュータ機器１４４０は、再構成されたＣＴ画像を表示して、医者又は患者による閲覧に供する。
【0086】
図１７は、本願の一例示的な実施例による三次元画像合成方法を示すフローチャートである。該方法はコンピュータ機器により実現されてもよく、該方法は以下を含む。
ステップ１７０１において、第１断面画像及び第２断面画像を取得し、第１断面画像及び第２断面画像は、直交した２つの断面を利用してターゲット対象に対して収集した画像である。
任意選択的に、第１断面画像は、第１視角を用いてターゲット対象に対して収集した画像であり、第２断面画像は、第２視角を用いてターゲット対象に対して収集した画像である。第１視角と第２視角は、互いに直交した２つの視角である。
ステップ１７０１において、第１断面画像及び第２断面画像を取得し、第１断面画像及び第２断面画像は、直交した２つの断面を利用してターゲット対象に対して収集した画像である。
任意選択的に、第１断面画像は、第１視角を用いてターゲット対象に対して収集した画像であり、第２断面画像は、第２視角を用いてターゲット対象に対して収集した画像である。第１視角と第２視角は、互いに直交した２つの視角である。
【0087】
ステップ１７０２において、エンコーダ及びデコーダを取得するステップであって、エンコーダは、第１符号化部及び第２符号化部を含み、デコーダは、第１復号化部、第２復号化部及び融合復号化部を含む。
任意選択的に、該エンコーダ及びデコーダは、図３及び図４に示すニューラルネットワークアーキテクチャにより実現される。該エンコーダ及びデコーダは、それぞれ、敵対的生成ネットワークにより構築された。
本実施例において、エンコーダ及びデコーダのネットワーク構造について、詳しく説明しないようにする。
ステップ１７０３において、第１符号化部を呼び出して第１断面画像に対して二次元符号化を行い、第１符号化情報を得る。
ステップ１７０４において、第１復号化部を呼び出して第１符号化情報に対して復号化を行い、第１復号化情報を得る。
ステップ１７０５において、第２符号化部を呼び出して第２断面画像に対して二次元符号化を行い、第２符号化情報を得る。
ステップ１７０６において、第２復号化部を呼び出して第２符号化情報に対して復号化を行い、第２復号化情報を得る。
任意選択的に、該エンコーダ及びデコーダは、図３及び図４に示すニューラルネットワークアーキテクチャにより実現される。該エンコーダ及びデコーダは、それぞれ、敵対的生成ネットワークにより構築された。
本実施例において、エンコーダ及びデコーダのネットワーク構造について、詳しく説明しないようにする。
ステップ１７０３において、第１符号化部を呼び出して第１断面画像に対して二次元符号化を行い、第１符号化情報を得る。
ステップ１７０４において、第１復号化部を呼び出して第１符号化情報に対して復号化を行い、第１復号化情報を得る。
ステップ１７０５において、第２符号化部を呼び出して第２断面画像に対して二次元符号化を行い、第２符号化情報を得る。
ステップ１７０６において、第２復号化部を呼び出して第２符号化情報に対して復号化を行い、第２復号化情報を得る。
【0088】
ステップ１７０７において、前記融合復号化部を呼び出して第１復号化情報と第２復号化情報を三次元空間における異なる視角のデータとして使用して三次元融合し、ターゲット対象の三次元画像を得る。
要するに、本実施例が提供する方法において、２つの直交した断面画像をエンコーダに入力し、それぞれ符号化を行い、続いて、デコーダにおける２つの復号化部により、符号化情報を復号化し、デコーダにおける融合復号化部により２つの復号化情報を融合復号化し、ターゲット対象の三次元画像を得る。２枚のみの断面画像により、ターゲット対象の三次元画像の効果を復元することができる。三次元走査装置を利用しなくても、ターゲット対象の三次元画像の効果を得ることができる。
要するに、本実施例が提供する方法において、２つの直交した断面画像をエンコーダに入力し、それぞれ符号化を行い、続いて、デコーダにおける２つの復号化部により、符号化情報を復号化し、デコーダにおける融合復号化部により２つの復号化情報を融合復号化し、ターゲット対象の三次元画像を得る。２枚のみの断面画像により、ターゲット対象の三次元画像の効果を復元することができる。三次元走査装置を利用しなくても、ターゲット対象の三次元画像の効果を得ることができる。
【0089】
図１、９及び１７のフローチャートにおける各ステップは矢印に示される順番で表示されるが、これらのステップは、必ずしも矢印に示される順番で順次実行されるとは限らないと理解されるべきである。本明細書に特に明記しない限り、これらのステップの実行は厳格な順番に限定されるものではない。これらのステップは、他の順番で実行されてもよい。また、図１、９及び１７における少なくとも一部のステップは、複数のサブステップ又は複数の段階を含んでもよい。これらのサブステップ又は段階は、必ずしも同一の時刻で実行されるとは限らず、様々な時刻で実行されてもよい。これらのサブステップ又は段階は必ずしも実行順番で実行されるとは限らず、他のステップ又は他のステップのサブステップや段階の少なくとも一部と共に順次実行されてもよいし、交替で実行されてもよい。
【0090】
図１８は、本願の一例示的な実施例によるＣＴ画像生成装置を示すブロック図である。該装置は、ソフトウェア、ハードウェア又は両者の組み合わせにより、コンピュータ機器の全部又は一部として実現することができる。該装置は、取得モジュール１８２０と、生成モジュール１８４０と、出力モジュール１８６０と、を備え、
取得モジュール１８２０は、第１Ｘ線フィルム及び第２Ｘ線フィルムを取得するように構成され、前記第１Ｘ線フィルム及び前記第２Ｘ線フィルムは、直交した２つの視角を用いてターゲット対象に対して収集したＸ線フィルムであり、
取得モジュール１８２０は、第１Ｘ線フィルム及び第２Ｘ線フィルムを取得するように構成され、前記第１Ｘ線フィルム及び前記第２Ｘ線フィルムは、直交した２つの視角を用いてターゲット対象に対して収集したＸ線フィルムであり、
【0091】
生成モジュール１８４０は、前記第１Ｘ線フィルム及び前記第２Ｘ線フィルムに対して三次元再構成を行い、前記ターゲット対象の三次元モデルを得るように構成され、
出力モジュール１８６０は、前記ターゲット対象の三次元モデルに基づいて、前記ターゲット対象の前記ＣＴ画像を得るように構成される。
出力モジュール１８６０は、前記ターゲット対象の三次元モデルに基づいて、前記ターゲット対象の前記ＣＴ画像を得るように構成される。
【0092】
任意選択的な実施例において、前記生成モジュール１８４０は、エンコーダ１８４２と、デコーダ１８４４と、を備え、
前記エンコーダ１８４２は、前記第１Ｘ線フィルム及び前記第２Ｘ線フィルムに対してそれぞれ符号化を行い、第１符号化情報及び第２符号化情報を得るように構成され、前記デコーダ１８４４は、前記第１符号化情報及び前記第２符号化情報に対して三次元再構成復号化を行い、前記ターゲット対象の三次元モデルを得るように構成される。
前記エンコーダ１８４２は、前記第１Ｘ線フィルム及び前記第２Ｘ線フィルムに対してそれぞれ符号化を行い、第１符号化情報及び第２符号化情報を得るように構成され、前記デコーダ１８４４は、前記第１符号化情報及び前記第２符号化情報に対して三次元再構成復号化を行い、前記ターゲット対象の三次元モデルを得るように構成される。
【0093】
任意選択的な実施例において、前記エンコーダ１８４２は、第１符号化部と、第２符号化部と、を含み、前記デコーダ１８４４は、第１復号化部、第２復号化部及び融合復号化部を含み、
前記第１符号化部は、前記第１Ｘ線フィルムに対して二次元符号化を行い、前記第１符号化情報を得るように構成され、
前記第２符号化部は、前記第２Ｘ線フィルムに対して二次元符号化を行い、前記第２符号化情報を得るように構成され、
前記第１復号化部は、前記第１符号化情報に対して復号化を行い、第１復号化情報を得るように構成され、
前記第２復号化部は、前記第２符号化情報に対して復号化を行い、第２復号化情報を得るように構成され、
前記融合復号化部は、前記第１復号化情報と前記第２復号化情報を三次元空間における異なる視角のデータとして使用して三次元融合し、前記ターゲット対象の三次元モデルを得るように構成される。
前記第１符号化部は、前記第１Ｘ線フィルムに対して二次元符号化を行い、前記第１符号化情報を得るように構成され、
前記第２符号化部は、前記第２Ｘ線フィルムに対して二次元符号化を行い、前記第２符号化情報を得るように構成され、
前記第１復号化部は、前記第１符号化情報に対して復号化を行い、第１復号化情報を得るように構成され、
前記第２復号化部は、前記第２符号化情報に対して復号化を行い、第２復号化情報を得るように構成され、
前記融合復号化部は、前記第１復号化情報と前記第２復号化情報を三次元空間における異なる視角のデータとして使用して三次元融合し、前記ターゲット対象の三次元モデルを得るように構成される。
【0094】
任意選択的な実施例において、前記第１符号化部及び前記第２符号化部のうちの少なくとも１つの符号化部は、ｎ＋２個の符号化層を含み、前記ｎ＋２個の符号化層は、
二次元畳み込み層、カスケードのｎ個の密集接続層及びプーリング層を含み、前記二次元畳み込み層は、１つ目の密集接続層に接続され、ｎ番目の密集接続層は、前記プーリング層に接続され、ｎは正整数である。
二次元畳み込み層、カスケードのｎ個の密集接続層及びプーリング層を含み、前記二次元畳み込み層は、１つ目の密集接続層に接続され、ｎ番目の密集接続層は、前記プーリング層に接続され、ｎは正整数である。
【0095】
任意選択的な実施例において、前記第１符号化部と前記第１復号化部とは、Ａ接続により接続され、及び／又は、前記第２符号化部と前記第２復号化部とは、前記Ａ接続により接続され、
ここで、前記Ａ接続は、二次元形態の符号化情報を三次元形態の符号化情報に変換するために用いられる。
ここで、前記Ａ接続は、二次元形態の符号化情報を三次元形態の符号化情報に変換するために用いられる。
【0096】
任意選択的な実施例において、前記Ａ接続は、前記二次元形態の符号化情報を第１一次元ベクトルとなるように展開し、前記第１一次元ベクトルを第２一次元ベクトル５３となるように引っ張り、前記第２一次元ベクトルを再構成して三次元形態の符号化情報を得るために用いられる。
【0097】
任意選択的な実施例において、前記第１復号化部及び前記第２復号化部のうちの少なくとも１つの復号化部は、ｎ＋２個の復号化層を含み、前記ｎ＋２個の復号化層は、
アップサンプリング層、カスケードのｎ個のアップ畳み込み層及び三次元畳み込み層を含み、前記アップサンプリング層は、１つ目のアップ畳み込み層に接続され、ｎ番目のアップ畳み込み層は、前記三次元畳み込み層に接続され、ｎは正整数である。
アップサンプリング層、カスケードのｎ個のアップ畳み込み層及び三次元畳み込み層を含み、前記アップサンプリング層は、１つ目のアップ畳み込み層に接続され、ｎ番目のアップ畳み込み層は、前記三次元畳み込み層に接続され、ｎは正整数である。
【0098】
任意選択的な実施例において、前記復号化部１８４４は、ｎ個のＣ接続を更に含み、ｉ番目のＣ接続の第１入力端は、前記復号化部におけるｉ番目の復号化層の出力端に接続され、前記ｉ番目のＣ接続の第２入力端は、対応する符号化部におけるｉ＋１番目の符号化層の出力端に接続され、前記ｉ番目のＣ接続の出力端は、前記復号化部におけるｉ＋１番目の復号化層の入力端に接続され、
ここで、前記Ｃ接続は、前記第１入力端に入力された三次元復号化情報と前記第２入力端に入力された三次元符号化情報に対して加重加算を行い、次の復号化層の入力として出力するために用いられる。
ここで、前記Ｃ接続は、前記第１入力端に入力された三次元復号化情報と前記第２入力端に入力された三次元符号化情報に対して加重加算を行い、次の復号化層の入力として出力するために用いられる。
【0099】
任意選択的な実施例において、前記Ｃ接続は、前記第１入力端に入力された三次元復号化情報及び前記第２入力端に入力された三次元符号化情報を同一の三次元空間に変換した後、前記三次元空間における前記三次元復号化情報と前記三次元復号化情報に加重加算を行い、次の復号化層の入力として出力するために用いられる。
【0100】
任意選択的な実施例において、前記ｉ番目のＣ接続の第２入力端は更に、ｉ番目のＢ接続を介して対応する符号化部におけるｉ番目の符号化層の出力端に接続され、
前記ｉ番目のＢ接続は、前記ｉ番目の符号化層から出力された二次元符号化情報を三次元符号化情報に変換するために用いられる。
前記ｉ番目のＢ接続は、前記ｉ番目の符号化層から出力された二次元符号化情報を三次元符号化情報に変換するために用いられる。
【0101】
任意選択的な実施例において、前記ｉ番目のＢ接続は、前記ｉ番目の符号化層から出力された二次元符号化情報を垂直次元でｍ層に拡張し、拡張したｍ層の二次元符号化情報を前記三次元符号化情報として決定するために用いられ、ｍは、正整数である。
任意選択的な実施例において、前記融合復号化部は、ｎ＋２個の融合復号化層を含み、前記ｎ＋２個の融合復号化層は、
アップサンプリング層、カスケードのｎ個のアップ畳み込み層及び三次元畳み込み層を含み、前記アップサンプリング層の出力端は、１つ目のアップ畳み込み層に接続され、ｎ番目のアップ畳み込み層は、三次元畳み込み層に接続される。
任意選択的な実施例において、前記融合復号化部は、ｎ＋２個の融合復号化層を含み、前記ｎ＋２個の融合復号化層は、
アップサンプリング層、カスケードのｎ個のアップ畳み込み層及び三次元畳み込み層を含み、前記アップサンプリング層の出力端は、１つ目のアップ畳み込み層に接続され、ｎ番目のアップ畳み込み層は、三次元畳み込み層に接続される。
【0102】
任意選択的な実施例において、前記融合復号化部は、Ｃ接続を更に含み、前記Ｃ接続の第１入力端は、前記第１復号化部の入力端に接続され、前記Ｃ接続の第２入力端は、前記第２復号化部の入力端に接続され、前記Ｃ接続の出力端は、前記アップサンプリング層の入力端に接続され、
前記Ｃ接続は、前記第１入力端に入力された三次元符号化情報と前記第２入力端に入力された三次元符号化情報に対して加重加算を行い、次の融合復号化層の入力として出力するために用いられる。
前記Ｃ接続は、前記第１入力端に入力された三次元符号化情報と前記第２入力端に入力された三次元符号化情報に対して加重加算を行い、次の融合復号化層の入力として出力するために用いられる。
【0103】
任意選択的な実施例において、前記融合復号化部は、ｎ個の複合Ｃ接続を更に含み、各前記複合Ｃ接続は、第１Ｃ接続及び第２Ｃ接続を含み、
ｉ番目の第１Ｃ接続の第１入力端は、第１復号化部におけるｉ＋１番目の復号化層の出力端に接続され、前記ｉ番目の第１Ｃ接続の第２入力端は、第２復号化部におけるｉ＋１番目の復号化層の出力端に接続され、前記ｉ番目の第１Ｃ接続の出力端は、ｉ番目の第２Ｃ接続の第１入力端に接続され、前記ｉ番目の第２Ｃ接続の第２入力端は、前記融合復号化部におけるｉ番目の融合復号化層の出力端に接続され、前記ｉ番目の第２Ｃ接続の出力端は、前記融合復号化部におけるｉ＋１番目の融合復号化層の入力端に接続される。
ｉ番目の第１Ｃ接続の第１入力端は、第１復号化部におけるｉ＋１番目の復号化層の出力端に接続され、前記ｉ番目の第１Ｃ接続の第２入力端は、第２復号化部におけるｉ＋１番目の復号化層の出力端に接続され、前記ｉ番目の第１Ｃ接続の出力端は、ｉ番目の第２Ｃ接続の第１入力端に接続され、前記ｉ番目の第２Ｃ接続の第２入力端は、前記融合復号化部におけるｉ番目の融合復号化層の出力端に接続され、前記ｉ番目の第２Ｃ接続の出力端は、前記融合復号化部におけるｉ＋１番目の融合復号化層の入力端に接続される。
【0104】
任意選択的な実施例において、前記生成器は、敵対的生成ネットワークに基づいて訓練されたものであり、前記生成器の損失関数は、
敵対的損失、
又は、前記敵対的損失及び再構成損失、
又は、前記敵対的損失及び投影損失、
又は、前記敵対的損失、前記再構成損失ＲＬ及び前記投影損失を含み、
ここで、前記敵対的損失は、前記生成器により再構成された前記三次元モデルとサンプルＣＴ画像とのセマンティック損失を表すためのものであり、前記再構成損失は、前記生成器により再構成された前記三次元モデルと前記サンプルＣＴ画像との画素レベルの差異損失を表すためのものであり、前記投影損失は、前記生成器により再構成された前記三次元モデルと少なくとも１つの投影平面上の前記サンプルＣＴ画像との差異損失を表すためのものである。
敵対的損失、
又は、前記敵対的損失及び再構成損失、
又は、前記敵対的損失及び投影損失、
又は、前記敵対的損失、前記再構成損失ＲＬ及び前記投影損失を含み、
ここで、前記敵対的損失は、前記生成器により再構成された前記三次元モデルとサンプルＣＴ画像とのセマンティック損失を表すためのものであり、前記再構成損失は、前記生成器により再構成された前記三次元モデルと前記サンプルＣＴ画像との画素レベルの差異損失を表すためのものであり、前記投影損失は、前記生成器により再構成された前記三次元モデルと少なくとも１つの投影平面上の前記サンプルＣＴ画像との差異損失を表すためのものである。
【0105】
任意選択的な実施例において、前記装置は、訓練モジュール１８８０を更に備え、
前記訓練モジュール１８８０は、訓練データ集合を取得し、訓練データ集合は少なくとも２つの訓練サンプルを含み、前記生成器に対応する判別器を設定し、第ｉ訓練段階で、前記生成器における第１ニューラルネットワークパラメータを一定にし、前記訓練データ集合における１つの訓練サンプルを用いて判別器における第２ニューラルネットワークパラメータを最適化し、第ｉ＋１訓練段階で、前記判別器における第２ニューラルネットワークパラメータを一定にし、前記訓練データ集合におけるもう１つの訓練サンプルを用いて生成器における第１ニューラルネットワークパラメータを最適化し、上記２つの訓練段階を交互に実行し、前記第１ニューラルネットワークパラメータ及び前記第２ニューラルネットワークパラメータが安定して収束するまで継続するように構成される。
前記訓練モジュール１８８０は、訓練データ集合を取得し、訓練データ集合は少なくとも２つの訓練サンプルを含み、前記生成器に対応する判別器を設定し、第ｉ訓練段階で、前記生成器における第１ニューラルネットワークパラメータを一定にし、前記訓練データ集合における１つの訓練サンプルを用いて判別器における第２ニューラルネットワークパラメータを最適化し、第ｉ＋１訓練段階で、前記判別器における第２ニューラルネットワークパラメータを一定にし、前記訓練データ集合におけるもう１つの訓練サンプルを用いて生成器における第１ニューラルネットワークパラメータを最適化し、上記２つの訓練段階を交互に実行し、前記第１ニューラルネットワークパラメータ及び前記第２ニューラルネットワークパラメータが安定して収束するまで継続するように構成される。
【0106】
任意選択的な実施例において、前記訓練モジュール１８８０は、少なくとも２つの真実ＣＴ画像を前記サンプルＣＴ画像として取得し、前記少なくとも２つの真実ＣＴ画像のうちの各真実ＣＴ画像に対して、対応する第１仮想Ｘ線フィルム及び第２仮想Ｘ線フィルムを生成し、互いに対応する前記第１仮想Ｘ線フィルム、前記第２仮想Ｘ線フィルム及び前記真実ＣＴ画像を前記少なくとも２つの訓練サンプルと決定するように構成される。
【0107】
図１９は、本願の一例示的な実施例による三次元画像合成装置を示すブロック図である。該装置は、ソフトウェア、ハードウェア又は両者の組み合わせにより、コンピュータ機器の全部又は一部として実現することができる。前記装置は、取得モジュール１９２０と、第１符号化部１９４２と、第２符号化部１９４４と、第１復号化部１９６２と、第２復号化部１９６４と、融合復号化部１９６６と、を備える。
【0108】
取得モジュール１９２０は、第１断面画像及び第２断面画像を取得するように構成され、前記第１断面画像及び前記第２断面画像は、直交した２つの断面を利用してターゲット対象に対して切断を行うことで得られた画像であり、
前記取得モジュール１９２０は更に、エンコーダ及びデコーダを取得するように構成され、前記エンコーダは、第１符号化部１９４２及び第２符号化部１９４４を含み、前記デコーダは、第１復号化部１９６２、第２復号化部１９６４及び融合復号化部１９６６を含む。
前記取得モジュール１９２０は更に、エンコーダ及びデコーダを取得するように構成され、前記エンコーダは、第１符号化部１９４２及び第２符号化部１９４４を含み、前記デコーダは、第１復号化部１９６２、第２復号化部１９６４及び融合復号化部１９６６を含む。
【0109】
前記第１符号化部１９４２は、前記第１断面画像に対して二次元符号化を行い、前記第１符号化情報を得るように構成される。
前記第１復号化部１９６２は、前記第１符号化情報に対して復号化を行い、第１復号化情報を得るように構成される。
前記第２符号化部１９４４は、前記第２断面画像に対して二次元符号化を行い、前記第２符号化情報を得るように構成される。
前記第２復号化部１９６４は、前記第２符号化情報に対して復号化を行い、第２復号化情報を得るように構成される。
前記融合復号化部１９６６は、前記第１復号化情報と前記第２復号化情報を三次元空間における異なる視角のデータとして使用して三次元融合し、前記ターゲット対象の三次元画像を得るように構成される。
要するに、本実施例が提供する装置は、２つの直交した断面画像をエンコーダに入力し、それぞれ符号化を行い、続いて、デコーダにおける２つの復号化部により、符号化情報を復号化し、デコーダにおける融合復号化部により２つの復号化情報を融合復号化し、ターゲット対象の三次元画像を得る。２枚のみの断面画像により、ターゲット対象の三次元画像の効果を復元することができる。三次元走査装置を利用しなくても、ターゲット対象の三次元画像の効果を得ることができる。
前記第１復号化部１９６２は、前記第１符号化情報に対して復号化を行い、第１復号化情報を得るように構成される。
前記第２符号化部１９４４は、前記第２断面画像に対して二次元符号化を行い、前記第２符号化情報を得るように構成される。
前記第２復号化部１９６４は、前記第２符号化情報に対して復号化を行い、第２復号化情報を得るように構成される。
前記融合復号化部１９６６は、前記第１復号化情報と前記第２復号化情報を三次元空間における異なる視角のデータとして使用して三次元融合し、前記ターゲット対象の三次元画像を得るように構成される。
要するに、本実施例が提供する装置は、２つの直交した断面画像をエンコーダに入力し、それぞれ符号化を行い、続いて、デコーダにおける２つの復号化部により、符号化情報を復号化し、デコーダにおける融合復号化部により２つの復号化情報を融合復号化し、ターゲット対象の三次元画像を得る。２枚のみの断面画像により、ターゲット対象の三次元画像の効果を復元することができる。三次元走査装置を利用しなくても、ターゲット対象の三次元画像の効果を得ることができる。
【0110】
図２０は、本願の一例示的な実施例によるコンピュータ機器の構造を示す概略図である。概略的に、コンピュータ機器２０００は、中央演算装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：ＣＰＵと略称される）２００１と、ランダムアクセスメモリ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ：ＲＡＭと略称される）２００２及び読み出し専用メモリ（ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ：ＲＯＭと略称される）２００３を含むシステムメモリ２００４と、システムメモリ２００４と中央演算装置２００１を接続するためのシステムバス２００５と、を備える。前記コンピュータ機器２０００は、コンピュータ内の各デバイス間の情報伝送を支援するための基本入力／出力システム（Ｉ／Ｏシステム）２００６と、オペレーティングシステム２０１２、クライアント２０１４及び他のプログラムモジュール２０１５を記憶するための大容量記憶装置２００７と、を更に備える。
【0111】
前記基本入力／出力システム２００６は、情報を表示するためのディスプレイ２００８と、マウス、キーボードのようなユーザによる情報入力のための入力機器２００９と、を備える。前記ディスプレイ２００８及び入力機器２００９はいずれもシステムバス２００５に接続された入力／出力コントローラ２０１０を介して中央演算装置２００１に接続される。前記基本入力／出力システム２００６は、キーボード、マウス又は電子スタイラスなどの複数の他の機器からの入力を受信して処理するための入力／出力コントローラ２０１０を更に備えてもよい。同様に、入力／出力コントローラ２０１０は、ディスプレイ、プリンタ又は他のタイプの出力機器に出力を更に提供する。
【0112】
前記大容量記憶装置２００７は、システムバス２００５に接続された大容量記憶コントローラ（図示されず）を介して中央演算装置２００１に接続される。前記大容量記憶装置２００７及びそれに関連するコンピュータ可読記憶媒体は、コンピュータ機器２０００に不揮発性記憶を提供する。つまり、前記大容量記憶装置２００７は、ハードディスク又は読み出し専用光ディスク（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ：ＣＤ－ＲＯＭと略称される）ドライブのようなコンピュータ可読記憶媒体（図示されず）を含んでもよい。
【0113】
一般性を失うことなく、前記コンピュータ可読記憶媒体は、コンピュータ記憶媒体及び通信媒体を含んでもよい。コンピュータ記憶媒体は、コンピュータ可読命令、データ構造、プログラムモジュール又は他のデータなどの情報を記憶するための如何なる方法又は技術により実現される揮発性又は不揮発性、取外し可能および取外し不可能な媒体を含む。コンピュータ記憶媒体は、ＲＡＭ、ＲＯＭ、消去可能なプログラマブル読み出し専用メモリ（ｅｒａｓａｂｌｅ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ：ＥＰＲＯＭと略称される）、消去可能なプログラマブル読み出し専用メモリ（ｅｌｅｃｔｒｉｃａｌｌｙ ｅｒａｓａｂｌｅ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ：ＥＥＰＲＯＭと略称される）、フラッシュメモリ又は他のソリッドステート記憶媒体、ＣＤ－ＲＯＭ、デジタルバーサタイルディスク（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ：ＤＶＤと略称される）又は他の光学記憶媒体、カセット、磁気テープ、磁気ディスク又は他の磁気記憶媒体を含む。勿論、当業者であれば、前記コンピュータ記憶媒体が上記に限定されないことを理解すべきである。上記システムメモリ２００４及び大容量記憶装置２００７は、メメモリと総称されてもよい。
【0114】
本願の種々の実施例によれば、前記コンピュータ機器２０００は更に、インターネットなどのネットワークを経由してネットワークにおけるリモートコンピュータに接続されて実行されてもよい。つまり、コンピュータ機器２０００は、前記システムバス２００５に接続されたネットワークインタフェースユニット２０１１を介してネットワーク２０１２に接続される。又は、ネットワークインタフェースユニット２０１１により、他のタイプのネットワーク又はリモートコンピュータシステム（図示されず）に接続されてもよい。
【0115】
本願は、コンピュータ可読記憶媒体を更に提供する。前記コンピュータ可読記憶媒体に少なくとも１つの命令、少なくとも１つのプログラム、コードセット又は命令セットが記憶されており、前記少なくとも１つの命令、前記少なくとも１つのプログラム、前記コードセット又は命令セットは、前記プロセッサによりロードされて実行され、上記方法実施例で提供されるＣＴ画像生成方法又は三次元画像合成方法を実現させる。
【0116】
任意選択的に、命令を含むコンピュータプログラム製品を更に提供する。該コンピュータプログラム製品がコンピュータ機器で実行される時、コンピュータ機器に、上記方法実施例で提供されるＣＴ画像生成方法又は三次元画像合成方法を実行させる。
【0117】
上記実施例の全て又は一部の工程はハードウェアにより実行されてもよく、プログラム命令に係るハードウェアにより実行されてもよく、前記プログラムは、コンピュータ可読記憶媒体に記憶されてもよく、上記言及した記憶媒体は、読み出し専用メモリ、磁気ディスク又は光ディスクなどであってもよいことは当業者であれば理解されるべきである。
【0118】
以上は、本願の好適な実施例に過ぎず、本願を限定するものではない。本願の精神や原則を逸脱することなく行われるあらゆる修正、同等置換、改良などはすべて本願の保護範囲内に含まれるものとする。
【符号の説明】
【0119】
１２ 第１Ｘ線フィルム
１４ 第２Ｘ線フィルム
１４ 第二Ｘ線フィルム
１６ ＣＴ画像
３１ 第１符号化部
３２ 第２符号化部
３３ 第１復号化部
３４ 第２復号化部
３５ 融合復号化部
５１ 一次元ベクトル
５２ 全結合モジュール
５３ 一次元ベクトル
５５ 三次元復号化情報
５６，５７，５８， 復号化情報
６０ 複合Ｃ接続
６１ 第１Ｃ接続
６２ 第２Ｃ接続
３００ 生成器
４００ 判別器
１４１０ 第１クライアント
１４２０ サーバ
１４３０ 第２クライアント
１４４０ コンピュータ機器
１８２０ 取得モジュール
１８４０ 生成モジュール
１８４２ エンコーダ
１８４４ 復号化部
１８４４ デコーダ
１８６０ 出力モジュール
１８８０ 訓練モジュール
１９２０ 取得モジュール
１９４２ 第１符号化部
１９４４ 第２符号化部
１９６２ 第１復号化部
１９６４ 第２復号化部
１９６６ 融合復号化部
２０００ コンピュータ機器
２００１ 中央演算装置
２００２ ランダムアクセスメモリ
２００３ 専用メモリ
２００４ システムメモリ
２００５ システムバス
２００６ 出力システム（Ｉ／Ｏシステム）
２００６ 出力システム
２００７ 大容量記憶装置
２００８ ディスプレイ
２００９ 入力機器
２０１０ 出力コントローラ
２０１１ ネットワークインタフェースユニット
２０１２ ネットワーク
２０１２ オペレーティングシステム
２０１４ クライアント
２０１５ プログラムモジュール
１４ 第２Ｘ線フィルム
１４ 第二Ｘ線フィルム
１６ ＣＴ画像
３１ 第１符号化部
３２ 第２符号化部
３３ 第１復号化部
３４ 第２復号化部
３５ 融合復号化部
５１ 一次元ベクトル
５２ 全結合モジュール
５３ 一次元ベクトル
５５ 三次元復号化情報
５６，５７，５８， 復号化情報
６０ 複合Ｃ接続
６１ 第１Ｃ接続
６２ 第２Ｃ接続
３００ 生成器
４００ 判別器
１４１０ 第１クライアント
１４２０ サーバ
１４３０ 第２クライアント
１４４０ コンピュータ機器
１８２０ 取得モジュール
１８４０ 生成モジュール
１８４２ エンコーダ
１８４４ 復号化部
１８４４ デコーダ
１８６０ 出力モジュール
１８８０ 訓練モジュール
１９２０ 取得モジュール
１９４２ 第１符号化部
１９４４ 第２符号化部
１９６２ 第１復号化部
１９６４ 第２復号化部
１９６６ 融合復号化部
２０００ コンピュータ機器
２００１ 中央演算装置
２００２ ランダムアクセスメモリ
２００３ 専用メモリ
２００４ システムメモリ
２００５ システムバス
２００６ 出力システム（Ｉ／Ｏシステム）
２００６ 出力システム
２００７ 大容量記憶装置
２００８ ディスプレイ
２００９ 入力機器
２０１０ 出力コントローラ
２０１１ ネットワークインタフェースユニット
２０１２ ネットワーク
２０１２ オペレーティングシステム
２０１４ クライアント
２０１５ プログラムモジュール
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11(a)】
【図11(b)】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【国際調査報告】