特開 2024-135816 プログラム、画像変形方法及び画像変形装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024135816

(43)【公開日】2024-10-04

(54)【発明の名称】プログラム、画像変形方法及び画像変形装置

(51)【国際特許分類】

   G06T 3/00 20240101AFI20240927BHJP

   G06T 1/00 20060101ALI20240927BHJP

【ＦＩ】

G06T3/00

G06T1/00 290B

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2023046694

(22)【出願日】2023-03-23

【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り 〔１〕 公開日：令和０４年１０月１７日（学会ホームページ公開日） ※紙媒体郵送日：令和０４年１０月２１日 刊行物：日本放射線腫瘍学会 第３５回学術大会 抄録 ＜資 料＞日本放射線腫瘍学会 第３５回学術大会 抄録 抜粋 〔２〕 公開日 令和０４年１１月１０日（会期：令和４年１１月１０日～１２日） 集会名、開催場所 日本放射線腫瘍学会 第３５回学術大会 ・リーガロイヤルホテル広島・ＮＴＴクレドホール （広島市中区基町６－７８） ・広島グリーンアリーナ （広島県広島市中区基町４－１） ＜資 料＞日本放射線腫瘍学会 第３５回学術大会 開催概要・プログラム

(71)【出願人】

【識別番号】507148456

【氏名又は名称】学校法人 岩手医科大学

(71)【出願人】

【識別番号】504157024

【氏名又は名称】国立大学法人東北大学

(74)【代理人】

【識別番号】100165179

【弁理士】

【氏名又は名称】田▲崎▼ 聡

(74)【代理人】

【識別番号】100188558

【弁理士】

【氏名又は名称】飯田 雅人

(74)【代理人】

【識別番号】100175824

【弁理士】

【氏名又は名称】小林 淳一

(74)【代理人】

【識別番号】100152272

【弁理士】

【氏名又は名称】川越 雄一郎

(74)【代理人】

【識別番号】100181722

【弁理士】

【氏名又は名称】春田 洋孝

(72)【発明者】

【氏名】家子 義朗

(72)【発明者】

【氏名】角谷 倫之

(72)【発明者】

【氏名】有賀 久哲

【テーマコード（参考）】

5B057

【Ｆターム（参考）】

5B057AA09

5B057CA08

5B057CA12

5B057CA16

5B057CB08

5B057CB12

5B057CB16

5B057CD11

5B057DA16

5B057DB02

5B057DB09

5B057DC19

5B057DC36

(57)【要約】

【課題】精度よく画像を変形させる。
【解決手段】プログラムは、コンピュータに、変形対象となる第１画像と、変形目標となる第２画像とを取得する画像取得ステップと、取得した前記第１画像を非線形的に変換することにより第１変換画像を生成し、取得した前記第２画像を非線形的に変換することにより第２変換画像を生成する画像変換ステップと、前記第１変換画像を前記第２変換画像に変形するための変形ベクトルを取得する変形ベクトル取得ステップと、取得した前記変形ベクトルに基づき、前記第１画像を変形する画像変形ステップと、を実行させる。
【選択図】図７

【特許請求の範囲】

【請求項1】

コンピュータに、
変形対象となる第１画像と、変形目標となる第２画像とを取得する画像取得ステップと、
取得した前記第１画像を非線形的に変換することにより第１変換画像を生成し、取得した前記第２画像を非線形的に変換することにより第２変換画像を生成する画像変換ステップと、
前記第１変換画像を前記第２変換画像に変形するための変形ベクトルを取得する変形ベクトル取得ステップと、
取得した前記変形ベクトルに基づき、前記第１画像を変形する画像変形ステップと、
を実行させるプログラム。

【請求項2】

前記画像変換ステップは、複数の特徴量に基づき前記第１画像から複数の前記第１変換画像に変換し、前記第１画像から前記第１変換画像への変換に用いた複数の特徴量に基づき前記第２画像から複数の前記第２変換画像に変換し、
前記変形ベクトル取得ステップは、複数の前記第１変換画像を、それぞれ対応する前記第２変換画像に変形するための複数の前記変形ベクトルを取得する
請求項１に記載のプログラム。

【請求項3】

前記画像変形ステップは、取得された複数の前記変形ベクトルのうち、いずれかの前記変形ベクトルに基づき、前記第１画像を変形する
請求項２に記載のプログラム。

【請求項4】

前記画像変形ステップは、取得された複数の変形ベクトルに基づき、前記第１画像を変形する
請求項２に記載のプログラム。

【請求項5】

前記画像変形ステップは、取得された複数の変形ベクトルに対してそれぞれ所定の重み付けを行い、重み付けが行われた複数の変形ベクトルに基づき、前記第１画像を変形する
請求項４に記載のプログラム。

【請求項6】

前記画像変形ステップは、前記第１画像に基づき重み付けを行う
請求項５に記載のプログラム。

【請求項7】

前記第１画像と前記第２画像とは、同一人の臓器を撮像した画像である
請求項１から請求項６のいずれか一項に記載のプログラム。

【請求項8】

前記第１画像と前記第２画像とは、肺を撮像したＣＴ画像である
請求項１から請求項６のいずれか一項に記載のプログラム。

【請求項9】

前記画像変換ステップは、レディオミクス特徴量を用いて画像変換を行う
請求項１から請求項６のいずれか一項に記載のプログラム。

【請求項10】

変形対象となる第１画像と、目標となる第２画像とを取得する画像取得ステップと、
取得した前記第１画像を非線形的に変換することにより第１変換画像を生成し、取得した前記第２画像を非線形的に変換することにより第２変換画像を生成する画像変換ステップと、
前記第１変換画像を前記第２変換画像に変形するための変形ベクトルを取得する変形ベクトル取得ステップと、
取得した前記変形ベクトルに基づき、前記第１画像を変形する画像変形ステップと、
を有する画像変形方法。

【請求項11】

変形対象となる第１画像と、目標となる第２画像とを取得する画像取得部と、
取得した前記第１画像を非線形的に変換することにより第１変換画像を生成し、取得した前記第２画像を非線形的に変換することにより第２変換画像を生成する画像変換部と、
前記第１変換画像を前記第２変換画像に変形するための変形ベクトルを取得する変形ベクトル取得部と、
取得した前記変形ベクトルに基づき、前記第１画像を変形する画像変形部と、
を備える画像変形装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、プログラム、画像変形方法及び画像変形装置に関する。

【背景技術】

【0002】

現代の放射線治療において、放射線照射期間中における腫瘍縮小や、患者の体形変化に対応するため、放射線治療計画を再計画することが行われている。放射線の照射位置を適正位置に調整するため、以前に撮影されたＣＴ画像と新しく撮影したＣＴ画像とを位置合わせ（レジストレーション）し、放射線治療期間全体の腫瘍や正常組織の線量評価が行われている。ここで、腫瘍にのみ放射線を照射し、正常組織に対する照射を抑制するため、高いレジストレーション精度が望まれている。レジストレーションにおいて、画像を非線形的に変形させる非剛体レジストレーション（Deformable Image Registration：ＤＩＲ）が注目されている。ＤＩＲを用いた画像変形を行う技術として、例えば、特許文献１を例示することができる。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２１－１４２１４６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上述したような従来技術によれば、ＤＩＲの技術を用いて、ＣＴ画像等の明暗画像を変形させるための変形量を求めることができる。ＣＴ画像等の明暗画像に対して、求められた変形量を適用することにより、変形後の画像を推定することが可能となる。ここで、現代のアルゴリズムでは、変形量の推定精度がよくないため、ＣＴ画像等の明暗画像に適用した場合、過変形等が生じてしまう場合があった。したがって、より精度を高めたアルゴリズムが必要とされている。

【0005】

そこで本発明は、このような状況に鑑みてなされたものであり、精度よく画像を変形させることが可能なプログラム、画像変形方法及び画像変形装置の提供を目的とする。

【課題を解決するための手段】

【0006】

（１）本発明の一態様は、コンピュータに、変形対象となる第１画像と、変形目標となる第２画像とを取得する画像取得ステップと、取得した前記第１画像を非線形的に変換することにより第１変換画像を生成し、取得した前記第２画像を非線形的に変換することにより第２変換画像を生成する画像変換ステップと、前記第１変換画像を前記第２変換画像に変形するための変形ベクトルを取得する変形ベクトル取得ステップと、取得した前記変形ベクトルに基づき、前記第１画像を変形する画像変形ステップと、を実行させるプログラムである。

【0007】

（２）また、本発明の一態様は、上記（１）に記載のプログラムにおいて、前記画像変換ステップは、複数の特徴量に基づき前記第１画像から複数の前記第１変換画像に変換し、前記第１画像から前記第１変換画像への変換に用いた複数の特徴量に基づき前記第２画像から複数の前記第２変換画像に変換し、前記変形ベクトル取得ステップは、複数の前記第１変換画像を、それぞれ対応する前記第２変換画像に変形するための複数の前記変形ベクトルを取得するものである。

【0008】

（３）また、本発明の一態様は、上記（２）に記載のプログラムにおいて、前記画像変形ステップは、取得された複数の前記変形ベクトルのうち、いずれかの前記変形ベクトルに基づき、前記第１画像を変形するものである。

【0009】

（４）また、本発明の一態様は、上記（２）に記載のプログラムにおいて、前記画像変形ステップは、取得された複数の変形ベクトルに基づき、前記第１画像を変形するものである。

【0010】

（５）また、本発明の一態様は、上記（４）に記載のプログラムにおいて、前記画像変形ステップは、取得された複数の変形ベクトルに対してそれぞれ所定の重み付けを行い、重み付けが行われた複数の変形ベクトルに基づき、前記第１画像を変形するものである。

【0011】

（６）また、本発明の一態様は、上記（５）に記載のプログラムにおいて、前記画像変形ステップは、前記第１画像に基づき重み付けを行うものである。

【0012】

（７）また、本発明の一態様は、上記（１）から（６）のいずれかに記載のプログラムにおいて、前記第１画像と前記第２画像とは、同一人の臓器を撮像した画像である。

【0013】

（８）また、本発明の一態様は、上記（１）から（７）のいずれかに記載のプログラムにおいて、前記第１画像と前記第２画像とは、肺を撮像したＣＴ画像である。

【0014】

（９）また、本発明の一態様は、上記（１）から（８）のいずれかに記載のプログラムにおいて、前記画像変換ステップは、レディオミクス特徴量を用いて画像変換を行うものである。

【0015】

（１０）また、本発明の一態様は、変形対象となる第１画像と、目標となる第２画像とを取得する画像取得ステップと、取得した前記第１画像を非線形的に変換することにより第１変換画像を生成し、取得した前記第２画像を非線形的に変換することにより第２変換画像を生成する画像変換ステップと、前記第１変換画像を前記第２変換画像に変形するための変形ベクトルを取得する変形ベクトル取得ステップと、取得した前記変形ベクトルに基づき、前記第１画像を変形する画像変形ステップと、を有する画像変形方法である。

【0016】

（１１）また、本発明の一態様は、変形対象となる第１画像と、目標となる第２画像とを取得する画像取得部と、取得した前記第１画像を非線形的に変換することにより第１変換画像を生成し、取得した前記第２画像を非線形的に変換することにより第２変換画像を生成する画像変換部と、前記第１変換画像を前記第２変換画像に変形するための変形ベクトルを取得する変形ベクトル取得部と、取得した前記変形ベクトルに基づき、前記第１画像を変形する画像変形部と、を備える画像変形装置である。

【発明の効果】

【0017】

本発明によれば、精度よく画像を変形させることができる。

【図面の簡単な説明】

【0018】

【図1】一実施形態に係る画像変形システムの概要について説明するための図である。

【図2】本実施形態に係る画像変形システムが行うＤＩＲ（Deformable Image Registration）の手順について説明するための図である。

【図3】本実施形態に係る非線形変換の一例としてのＧＬＣＭ（Gray level co-occurrence matrix）について説明するための図である。

【図4】本実施形態に係る非線形変換の一例としてのＧＬＲＬＭ（Gray level run length matrix）について説明するための図である。

【図5】本実施形態に係る変形ベクトルの一例を示す図である。

【図6】本実施形態に係る画像変形装置の機能構成の一例について説明するための機能構成図である。

【図7】本実施形態に係る画像変形方法について説明するためのフローチャートである。

【図8】本実施形態に係る画像変形装置の内部構成の一例を示すブロック図である。

【発明を実施するための形態】

【0019】

［実施形態］
以下、本発明の実施形態に係るプログラム、画像変形方法及び画像変形装置について、好適な実施の形態を掲げ、図面を参照しながら説明する。なお、本発明の態様は、これらの実施の形態に限定されるものではなく、多様な変更または改良を加えたものも含まれる。つまり、以下に記載した構成要素には、当業者が容易に想定できるもの、実質的に同一のものが含まれ、以下に記載した構成要素は適宜組み合わせることが可能である。また、本発明の要旨を逸脱しない範囲で構成要素の種々の省略、置換または変更を行うことができる。また、以下の図面においては、各構成をわかりやすくするために、各構造における縮尺および数等を、実際の構造における縮尺および数等と異ならせる場合がある。

【0020】

まず、以下に説明する実施形態の前提となる事項について説明する。本実施形態に係るプログラム、画像変形方法及び画像変形装置は、医療用画像に適用される。以下に説明する実施形態では、本実施形態に係るプログラム、画像変形方法及び画像変形装置が、ヒトの臓器（特に肺）について撮像された医療用画像の変形を行う場合の一例について説明する。しかしながら本実施形態はヒトの臓器を撮像した医療用画像の変形を行う場合の一例に限定されず、様々な動物の臓器に対して適用可能である。

【0021】

本実施形態に係る画像変形技術は、放射線治療現場において使用されることが可能である。放射線治療現場では、複数日（例えば３０日間）に渡り、複数回の放射線の照射が行われることがある。このような放射線の照射期間中、腫瘍縮小等により再計画となった場合、輪郭の移し替えや、線量合算等が行われる場合がある。このような場合、本実施形態に係る画像変形技術が用いられてもよい。

【0022】

図１は、一実施形態に係る画像変形システムの概要について説明するための図である。同図を参照しながら、画像変形システム１の概要について説明する。画像変形システム１は、被変形画像と、目標画像とを用いて、変形ベクトルを取得する。被変形画像と、目標画像とは、いずれもＣＴ画像等の明暗が示された画像であってもよい。被変形画像と、目標画像とは、同一の動物の、同一の臓器が撮像されたものであることが好適である。図示する一例では、ヒトの肺が撮像されたＣＴ画像を用いている。一例として、被変形画像は最大呼気時の画像であって、目標画像は最大吸気時の画像であってもよい。なお、本実施形態はこの一例に限定されず、例えば、被変形画像と目標画像とは、互いに異なる者の臓器であってもよい。

【0023】

ここで、従来技術に係るＤＩＲ（Ｄｅｆｏｒｍａｂｌｅ Ｉｍａｇｅ Ｒｅｇｉｓｔｒａｔｉｏｎ、非剛体画像レジストレーション）によれば、被変形画像を直接目標画像に変形するための変形ベクトルを算出していた。ＤＩＲとは、被変形画像の各画素をそれに対応する目標画像の画素位置に移動させるベクトルを生成し、被変形画像を目標画像に一致するように変形させる照合（技術）のことである。従来技術に係るＤＩＲでは、画像変換が行われる施設や、使用されるソフトウェアによって、様々な位置合わせ誤差が存在していた。

【0024】

本実施形態に係る画像変形システム１では、被変形画像及び目標画像を、それぞれ非線形的に変換し、変換した画像に基づいて変形ベクトルを取得し、取得した変形ベクトルを用いて被変形画像の画像変形を行う。非線形的な変換の一例としては、レディオミクス（Ｒａｄｉｏｍｉｃｓ）解析に用いられる変換を例示することができる。レディオミクスとは、Ｒａｄｉｏｌｏｇｙ(放射線医学)と、－ｏｍｉｃｓ(網羅的解析)とを組み合わせた造語であり、近年、放射線治療の技術分野において注目されているものである。レディオミクス解析を行うことにより、画像診断支援等への臨床応用が期待されている。以下、レディオミクス解析により得られる画像特徴量を、レディオミクス特徴量と記載する場合がある。

【0025】

本実施形態によれば、被変形画像及び目標画像それぞれからレディオミクス特徴量を抽出し、抽出したレディオミクス特徴量に基づき変形ベクトルを算出する。詳細には、本実施形態によれば、被変形画像に基づき抽出された特徴量マップから、目標画像に基づき抽出された特徴量マップへの変形ベクトルが算出される。レディオミクス特徴量を用いることにより、ＣＴ値等の単なる画像の濃淡だけではなく、近傍部位との濃度差、画像パターン、テクスチャ（画像の質感や不均質性）、ヒストグラム等を含んだ膨大な数値解析を行うことが可能となる。本実施形態によれば、これら膨大な画像特徴量を抽出することにより、画像の定量解析が可能となる。本実施形態によれば、レディオミクス解析を用いて、ＣＴ画像等の被変形画像及び目標画像をボクセルベースの特徴量マップに変換し、レジストレーション精度向上に寄与する画像情報を使用することにより、より高精度なＤＩＲを実現することができる。レディオミクス解析を用いた変換方法の詳細な一例については、後述する。

【0026】

図２は、本実施形態に係る画像変形システムが行うＤＩＲの手順について説明するための図である。次に、同図を参照しながら、本実施形態に係る画像変形システムが行うＤＩＲの手順について説明する。

【0027】

（ステップＳ１１）まず、画像変形システム１は、被変形画像と目標画像の２つの画像が、どの程度一致しているかを定量化する。画像類似度の定量化には、例えば、差分二乗和、正規化相互相関関数、相互情報量等の指標が利用されてもよい。

【0028】

（ステップＳ１２）次に、画像変形システム１は、２つの画像が一致するように、変形モデルのパラメータを最適化する。２つの画像が一致するような最適化とは、換言すれば、２つの画像間の誤差が最小になるような最適化であるということもできる。２つの画像間の誤差の最小化には、例えば勾配法が用いられてもよい。また、変形モデルの具体的な一例としては、Ｂ－ｓｐｌｉｎｅ等を例示することができる。

【0029】

（ステップＳ１３）その後、ステップＳ１２により最適化された変形モデルを用いて、変形ベクトルを生成する。ステップ１３において生成される変形ベクトルをＤＶＦ（Ｄｉｓｐｌａｃｅｍｅｎｔ Ｖｕｌｅｃｔｏｒ Ｆｉｅｌｄ：変形ベクトル場）とも記載する場合がある。

【0030】

（ステップＳ１４）画像変形システム１は、生成された変形ベクトル場ＤＶＦを、被変形画像に適用することにより、変形画像を生成する。

【0031】

画像変形システム１は、ステップＳ１１乃至ステップＳ１４を複数回繰り返すことにより、被変形画像を目標画像に一致させるように変形する。また、画像変形システム１は、ステップＳ１１乃至ステップＳ１４を複数回繰り返すことにより、被変形画像を目標画像に一致させるような変形ベクトル場ＤＶＦを得る。画像変形システム１は、例えばステップＳ１１乃至ステップＳ１４を数十回から数千回繰り返すことにより（ｉｔｅｒａｔｉｏｎ数：数十～数千回）、２つの画像間の類似度が高くなるような変形ベクトル場ＤＶＦを探索し、ＤＩＲの最適化を行う。

【0032】

次に、レディオミクス特徴量の算出について説明する。レディオミクス特徴量には膨大な数が存在するが、本実施形態に係る画像変形システム１が用いるレディオミクス特徴量の一例としては、“Ｔｈｅ Ｉｍａｇｅ Ｂｉｏｍａｒｋｅｒ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ Ｉｎｉｔｉａｔｉｖｅ （ＩＢＳＩ）”において標準化されている特徴量を用いることができる。主なカテゴリーとしては、第一に、Ｍｏｒｐｈｏｌｏｇｉｃａｌ ｆｅａｔｕｒｅｓ、第二に、Ｆｉｒｓｔ－ｏｒｄｅｒ ｆｅａｔｕｒｅｓ、第三に、Ｔｅｘｔｕｒｅ ｆｅａｔｕｒｅｓを例示することができる。

【0033】

第一のカテゴリーであるＭｏｒｐｈｏｌｏｇｉｃａｌ ｆｅａｔｕｒｅｓは、体積、表面積、球形度等の抽出された関心領域（Ｒｅｇｉｏｎ ｏｆ Ｉｎｔｅｒｅｓｔ：ＲＯＩ）についてのサイズや形状等を定量化した特徴量であり、ｓｈａｐｅ／ｓｉｚｅ ｆｅａｔｕｒｅｓとも呼ばれるものである。Ｍｏｒｐｈｏｌｏｇｉｃａｌ ｆｅａｔｕｒｅｓは、ＲＯＩ形状に関するものであり、画素値は関係ないため、このようなレディオミクス特徴量は、本実施形態に係る画像変形方法により用いられるレディオミクス特徴量から除外してもよい。

【0034】

第二のカテゴリーであるＦｉｒｓｔ－ｏｒｄｅｒ ｆｅａｔｕｒｅｓは、統計的特徴量であり、ＲＯＩ内におけるピクセル値の分布を定量化した特徴量である。Ｆｉｒｓｔ－ｏｒｄｅｒ ｆｅａｔｕｒｅｓには、基本統計量（最大値、最小値、平均値等）をはじめ、ヒストグラムがどのような形状をしているか、すなわち、分布の対称性や尖度等を表す特徴量が含まれる。

【0035】

第三のカテゴリーであるＴｅｘｔｕｒｅ ｆｅａｔｕｒｅｓは、ＲＯＩ内のピクセル値の空間的な分布における均質・不均質性などを定量化した特徴量である。この特徴量は、原画像から直接特徴量を算出するのではなく、一度行列に置き換え、その行列から特徴量を算出するものである。

【0036】

本実施形態に係る画像変形方法には、第二のカテゴリーであるＦｉｒｓｔ－ｏｒｄｅｒ ｆｅａｔｕｒｅｓや、第三のカテゴリーであるＴｅｘｔｕｒｅ ｆｅａｔｕｒｅｓ等に分類されるレディオミクス特徴量が用いられることが好適である。より具体的には、本実施形態に係る画像変形方法においては、第三のカテゴリーであるＴｅｘｔｕｒｅ ｆｅａｔｕｒｅｓに属するＧｒａｙ ｌｅｖｅｌ ｃｏ－ｏｃｃｕｒｒｅｎｃｅ ｍａｔｒｉｘ （ＧＬＣＭ）や、Ｇｒａｙ ｌｅｖｅｌ ｒｕｎ ｌｅｎｇｔｈ ｍａｔｒｉｘ （ＧＬＲＬＭ）等のレディオミクス特徴量が用いられてもよい。

【0037】

次に、図３及び図４を参照しながら、本実施形態に係る画像変形方法により用いられるレディオミクス特徴量の具体的な一例として、ＧＬＣＭ、及びＧＬＲＬＭの具体的な算出方法の一例について説明する。図示する一例は、原画像から行列への変換例である。図３及び図４は、いずれも水平方向に着目した例を示している。垂直方向についても同様の変換を行うことができる。

【0038】

図３は、本実施形態に係る非線形変換の一例としてのＧＬＣＭについて説明するための図である。ＧＬＣＭは、ある画素値のペアが何個存在しているかを表すものである。図示する一例では、１の隣に、１が存在するペアが１個であれば行列（１，１）に１を入力し、３のとなりに４が存在するペアが２個であれば行列（３，４）に２が入力される。

【0039】

図示する一例において、画素値の行番号をｉ、列番号をｊ、とすると、Ｉｎｖｅｒ ｄｉｆｆｅｒｅｎｔ ｍｏｍｅｎｔという特徴量は次の（１）式により表すことができる。

【0040】

【数1】

【0041】

図４は、本実施形態に係る非線形変換の一例としてのＧＬＲＬＭについて説明するための図である。ＧＬＲＬＭは、ある画素値が特定方向に何個連続しているかを表すものである。図示する一例では、１が２個連続しているのが１か所であれば行列（１，２）には１を入力し、２が１個連続しているのが３か所であれば行列（２，１）には３が入力される。

【0042】

図５は、本実施形態に係る変形ベクトルの一例を示す図である。同図を参照しながら、本実施形態に係る変形ベクトルの一例について説明する。図２を参照しながら説明した、ステップＳ１２では、具体的には、画像を細分化し、各領域を代表する制御点を設定し、目標画像に対する被変形画像の類似度が最も改善するような変形ベクトルが求められる。変形ベクトルの算出には、一般的に勾配法が用いられる。同図には、勾配法を用いて得られた変形ベクトルが示されている。

【0043】

被変形画像上のある点を目標画像上の対応する点に移動させる変形ベクトルをｖとしたとき、そのオブジェクト関数であるＥ（ｖ）は、例えば次の（２）式のように表すことができる。

【0044】

Ｅ（ｖ）＝Ｅ＿ｓｉｍｉｌａｒｉｔｙ（ｖ）＋λＥ＿ｒｅｇｉｓｔｒａｔｉｏｎ（ｖ）・・・（２）

【0045】

ここで、Ｅｓｉｍｉｌａｒｉｔｙ（ｖ）は、画像類似度指標に基づくコスト関数を示す。また、Ｅｒｅｇｉｓｔｒａｔｉｏｎ（ｖ）は、変形を抑制する補正項を示す。また、λは補正の程度を決めるスムージング係数を示す。このＥ（ｖ）を最適化計算により最小化した場合、このときのｖは最適な変形ベクトルを示す。これを画像上にわたり計算することによって、最適化された変形ベクトル場ＤＶＦが生成される。図示する一例を見ると、画像中下側の矢印の方においては、鏃（矢尻）が大きい。矢尻が大きいほど、変形量が大きいことを示している。

【0046】

図６は、本実施形態に係る画像変形装置の機能構成の一例について説明するための機能構成図である。同図を参照しながら、画像変形装置１０の機能構成の一例について説明する。画像変形装置１０は、画像変形システム１を実現するための具体的手段の一例である。画像変形装置１０は、画像取得部１１と、画像変換部１２と、変形ベクトル取得部１３と、画像変形部１４とを備える。これらの各機能部は、例えば、電子回路を用いて実現される。また、各機能部は、必要に応じて、半導体メモリや磁気ハードディスク装置などといった記憶手段を内部に備えてよい。また、各機能を、コンピュータおよびソフトウェアによって実現するようにしてもよい。また、画像変形装置１０は、コンピュータ断層撮影装置（ＣＴ機器）と接続されるパーソナルコンピューター、又はタブレット端末等であってもよい。

【0047】

画像取得部１１は、変形対象となる被変形画像と、変形目標となる目標画像とを取得する。以下の説明において、被変形画像を第１画像と記載し、目標画像を第２画像と記載する場合がある。画像取得部１１は、例えばコンピュータ断層撮影装置から、被変形画像及び目標画像を取得する。被変形画像及び目標画像は、同一人の臓器を撮像した画像であってもよい。また、被変形画像及び目標画像は、肺を撮像したＣＴ画像であってもよい。また、目標画像は必ずしもコンピュータ断層撮影装置により撮像されたものでなくてもよく、画像処理を行った結果として得られたものであってもよい。

【0048】

画像変換部１２は、画像取得部１１により取得された被変形画像を非線形的に変換することにより第１変換画像を生成する。また、画像変換部１２は、画像取得部１１により取得された目標画像を非線形的に変換することにより第２変換画像を生成する。

【0049】

ここで、非線形的な画像変換の一例としては、レディオミクス特徴量を用いた画像変換を例示することができる。すなわち、画像変換部１２は、レディオミクス特徴量を用いて画像変換を行うということもできる。ここで、レディオミクス特徴量には、様々な種類が存在する。画像変換部１２は、複数種類（例えば９１種類）のレディオミクス特徴量を用いて、複数種類の画像に変換してもよい。第１画像（被変形画像）から第１変換画像への変換に用いるレディオミクス特徴量と、第２画像（目標画像）から第２変換画像への変換に用いるレディオミクス特徴量とは、同一のものが用いられる。すなわち、画像変換部１２は、複数の特徴量に基づき、第１画像から複数の第１変換画像に変換し、第１画像から第１変換画像への変換に用いた複数の特徴量に基づき、第２画像から複数の第２変換画像に変換するということもできる。

【0050】

変形ベクトル取得部１３は、変換されたレディオミクス特徴量にもとづき、変形ベクトルを取得する。すなわち、変形ベクトル取得部１３は、第１変換画像を第２変換画像に変形するための変形ベクトルを取得するということもできる。ここで、レディオミクス特徴量には、膨大な数（例えば９１種類）の特徴量が存在する。変形ベクトル取得部１３は、変換されたそれぞれのレディオミクス特徴量に基づいて、変形ベクトルを取得する。すなわち変形ベクトル取得部１３は、複数の第１変換画像を、それぞれ対応する第２変換画像に変形するための複数の変形ベクトルを取得するということもできる。

【0051】

一例として、変形ベクトル取得部１３は、変換された全てのレディオミクス特徴量に基づいて、変形ベクトルを取得してもよい。しかしながら本実施形態はこの一例に限定されず、変形ベクトル取得部１３は、変換された全てのレディオミクス特徴量に基づいて、変形ベクトルを取得することを要しない。変形ベクトル取得部１３は、複数種類のレディオミクス特徴量に基づき取得された複数の変形ベクトルのうち、いずれかの変形ベクトルに基づき、第１画像を第１変換画像に変形し、第２画像を第２変換画像に変形してもよい。また、変形ベクトル取得部１３は、取得された複数の変形ベクトルに基づき、第１画像を第１変換画像に変形し、第２画像を第２変換画像に変形してもよい。複数の変形ベクトルに基づく変換の一例としては、複数の変形ベクトルを１つの変形ベクトルに合成し、合成された１つの変形ベクトルを用いて画像変換を行ってもよい。

【0052】

ここで、複数の変形ベクトルを合成する際には、所定の重み付けが行われてもよい。すなわち変形ベクトル取得部１３は、取得された複数の変形ベクトルに対してそれぞれ所定の重み付けを行い、重み付けが行われた複数の変形ベクトルに基づき、第１画像を第１変換画像に変形し、第２画像を第２変換画像に変形してもよい。なお、当該重み付けに用いられる重み（ｗｅｉｇｈｔ）は、変形対象である画像に基づいたものであってもよい。画像に基づいた重みを用いることとは、例えば、画像の種類（変形対象となる臓器の種類等）に応じて、レディオミクス特徴量ごとに予め設定された重みを選択することであってもよい。変形ベクトル取得部１３は、第１画像又は第２画像の少なくとも一方に基づいた重み付けを行うということもできる。画像の種類と、重みとの対応関係は、予め設定され、所定の記憶部（不図示）に記憶されていてもよい。

【0053】

画像変形部１４は、変形ベクトル取得部１３により取得された変形ベクトルに基づき、第１画像を変形する。画像変形部１４による変形が行われた結果として得られた画像を、変形画像と記載する場合がある。

【0054】

図７は、本実施形態に係る画像変形方法について説明するためのフローチャートである。同図を参照しながら、本実施形態に係る画像変形方法について説明する。本実施形態に係る画像変形方法は、例えば上述の画像変形装置１０を用いて行われてもよい。また、本実施形態に係るプログラムとは、当該画像変形方法をコンピュータに実行させるものであってもよい。

【0055】

まず、画像取得ステップにおいて、変形対象となる第１画像（被変形画像）と、変形目標となる第２画像（目標画像）とを取得する（ステップＳ２１）。次に、画像変換ステップにおいて、取得された第１画像を非線形的に変換することにより第１変換画像を生成し、取得された第２画像を非線形的に変換することにより第２変換画像を生成する（ステップＳ２３）。次に、変形ベクトル取得ステップにおいて、第１変換画像を第２変換画像に変形するための変形ベクトルを取得する（ステップＳ２５）。次に、画像変形ステップにおいて、取得された変形ベクトルに基づき、第１画像を変形画像に変形する（ステップＳ２７）。

【0056】

図８は、本実施形態に係る画像変形装置１０の内部構成の一例を示すブロック図である。画像変形装置１０の少なくとも一部の機能は、コンピュータを用いて実現され得る。図示するように、そのコンピュータは、中央処理装置９０１と、ＲＡＭ９０２と、入出力ポート９０３と、入出力デバイス９０４や９０５等と、バス９０６と、を含んで構成される。コンピュータ自体は、既存技術を用いて実現可能である。中央処理装置９０１は、ＲＡＭ９０２等から読み込んだプログラムに含まれる命令を実行する。中央処理装置９０１は、各命令にしたがって、ＲＡＭ９０２にデータを書き込んだり、ＲＡＭ９０２からデータを読み出したり、算術演算や論理演算を行ったりする。ＲＡＭ９０２は、データやプログラムを記憶する。ＲＡＭ９０２に含まれる各要素は、アドレスを持ち、アドレスを用いてアクセスされ得るものである。なお、ＲＡＭは、「ランダムアクセスメモリー」の略である。入出力ポート９０３は、中央処理装置９０１が外部の入出力デバイス等とデータのやり取りを行うためのポートである。入出力デバイス９０４や９０５は、入出力デバイスである。入出力デバイス９０４や９０５は、入出力ポート９０３を介して中央処理装置９０１との間でデータをやりとりする。バス９０６は、コンピュータ内部で使用される共通の通信路である。例えば、中央処理装置９０１は、バス９０６を介してＲＡＭ９０２のデータを読んだり書いたりする。また、例えば、中央処理装置９０１は、バス９０６を介して入出力ポートにアクセスする。

【0057】

［実施形態のまとめ］
以上説明した実施形態によれば、本実施形態に係るプログラム及び画像変形方法は、画像取得ステップを有することにより、変形対象となる第１画像と変形目標となる第２画像とを取得し、画像変換ステップを有することにより、取得した第１画像を非線形的に変換することで第１変換画像を生成し、取得した第２画像を非線形的に変換することで第２変換画像を生成し、変形ベクトル取得ステップを有することにより、第１変換画像を第２変換画像に変形するための変形ベクトルを取得し、画像変形ステップを有することにより、取得した変形ベクトルに基づき、第１画像を変形画像に変形する。すなわち、本実施形態によれば、ＣＴ画像のような明暗画像（グレイスケール画像又は二値画像等）を、一旦レディオミクス特徴量に変換し、変換したレディオミクス特徴量に基づき変形ベクトルを取得し、取得された変形ベクトルを用いてＣＴ画像等の明暗画像を変形する。本実施形態によれば、レディオミクス特徴量を用いることにより、ＣＴ値等の単なる画像の濃淡だけではなく、近傍部位との濃度差、画像パターン、テクスチャ（画像の質感や不均質性）、ヒストグラム等を含んだ膨大な数値解析を行うことができる。したがって、本実施形態によれば、精度よく画像を変形させることができる。

【0058】

また、上述した実施形態によれば、レディオミクス特徴量を画像変換に用いるため、膨大な画像特徴量を用いることとなる。すなわち、画像変換ステップは、膨大な画像特徴量に基づいた変換を行うこととなる。また、変形ベクトル取得ステップには、膨大な数の変形ベクトルを得ることとなる。したがって、本実施形態によれば、膨大な画像特徴量を用いるため、画像の定量解析が可能となる。したがって、本実施形態によれば、精度よく画像を変形させることができる。

【0059】

また、上述した実施形態によれば、画像変形ステップは、取得された複数の変形ベクトルのうち、いずれかの変形ベクトルに基づき、第１画像を変形するものである。第１画像の変形に用いられる変形ベクトルとは、取得された複数の変形ベクトルのうち、より精度よく変形を行うことができるものであってもよい。ここで、本実施形態によれば、レディオミクス特徴量を画像変換に用いるため、膨大な画像特徴量を用いて、膨大な数の変形ベクトルが得られる。本実施形態によれば、好適ないずれかの変形ベクトルに基づき変形画像を生成することにより、容易に（少ない処理量により）、精度の良い画像変形を行うことができるようになる。

【0060】

また、上述した実施形態によれば、画像変形ステップは、取得された複数の変形ベクトルに基づき、第１画像を変形するものである。ここで、本実施形態によれば、レディオミクス特徴量を画像変換に用いるため、膨大な画像特徴量を用いて、膨大な数の変形ベクトルが得られる。得られた全ての変形ベクトルを用いて画像変形を行った場合、複数の変形画像が得られてしまい、いずれの変形画像を用いればよいかの判定を行う必要がある。そこで、本実施形態によれば、複数の変形ベクトルを合成することにより、複数の変形ベクトルから好適な変形ベクトルを生成し、生成した合成ベクトルに基づき変形画像（すなわち、１つの変形画像）を生成することにより、容易に（少ない処理量により）、精度の良い画像変形を行うことができるようになる。

【0061】

また、上述した実施形態によれば、画像変形ステップは、取得された複数の変形ベクトルに対してそれぞれ所定の重み付けを行い、重み付けが行われた複数の変形ベクトルに基づき、第１画像を変形するものである。ここで、膨大な数のレディオミクス特徴量の中には、画像変形に対する寄与率が高いものと、画像変形に対する寄与率が低いものとがある。本実施形態によれば、重み付けを行うことにより、画像変形に対する寄与率を考慮することができ、更に精度の良い画像変形を行うことができる。

【0062】

また、上述した実施形態によれば、画像変形ステップは、第１画像又は第２画像の少なくともいずれかに基づき重み付けを行うものである。ここで、膨大な数のレディオミクス特徴量の、画像変形対する寄与率は、画像の種類（撮像対象となる臓器の種類）に応じて異なる場合がある。本実施形態によれば、画像の種類に応じて異なる重み付けを行う（すなわち、画像変形に対する寄与率が高い特徴量には高い重みを付け、画像変形に対する寄与率が低い特徴量には低い重みを付ける）ことにより、更に精度の良い画像変形を行うことができる。

【0063】

なお、上述した実施形態における画像変形装置１０が備える各部の機能全体あるいはその一部は、これらの機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。

【0064】

また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶部のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。

【0065】

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何ら限定されるものではなく、本発明の趣旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

【符号の説明】

【0066】

１…画像変形システム、１０…画像変形装置、１１…画像取得部、１２…画像変換部、１３…変形ベクトル取得部、１４…画像変形部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】