特許 7546423 情報処理装置、情報処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-29

(45)【発行日】2024-09-06

(54)【発明の名称】情報処理装置、情報処理方法及びプログラム

(51)【国際特許分類】

   A61B 6/46 20240101AFI20240830BHJP

   A61B 6/00 20240101ALI20240830BHJP

【ＦＩ】

A61B6/46 506B

A61B6/00 550P

A61B6/00 530A

【請求項の数】 15

(21)【出願番号】P 2020155393

(22)【出願日】2020-09-16

(65)【公開番号】P2022049275

(43)【公開日】2022-03-29

【審査請求日】2023-09-07

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(73)【特許権者】

【識別番号】594164542

【氏名又は名称】キヤノンメディカルシステムズ株式会社

(74)【代理人】

【識別番号】110002860

【氏名又は名称】弁理士法人秀和特許事務所

(72)【発明者】

【氏名】田中 亨

(72)【発明者】

【氏名】石川 亮

【審査官】松岡 智也

(56)【参考文献】

【文献】特開２０００－３１６８３７（ＪＰ，Ａ）

【文献】特開２００６－１５０６０７（ＪＰ，Ａ）

【文献】特開２０２０－０１０７５４（ＪＰ，Ａ）

【文献】国際公開第２０２０／１３８１３６（ＷＯ，Ａ１）

【文献】特開２０２０－１４１９１０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ５／００－５／０１、５／０５５

６／００－６／５８

Ｇ０６Ｔ１／００－１／４０、３／００－７／９０

Ｇ０６Ｖ１０／００－２０／９０、３０／４１８、４０／１６、４０／２０

(57)【特許請求の範囲】

【請求項1】

被検体を撮影した複数の第１の静止画像から構成される第１の動画像と、前記被検体を前記第１の動画像とは異なる時刻に撮影した複数の第２の静止画像から構成される第２の動画像を取得する取得手段と、
前記第２の動画像に含まれる少なくとも１つの第２の静止画像である基準画像に基づいて、前記基準画像と異なる時相に対応する第３の静止画像を生成する生成手段と、
前記第１の動画像に含まれる第１の静止画像と前記第２の静止画像および前記第３の静止画像のいずれか一方とを合成した合成画像を生成する合成画像生成手段と、
前記合成画像が前記第３の静止画像を合成して生成された画像であるか否かが識別可能な態様で、前記合成画像を表示部に表示する表示制御手段を備え、
前記表示制御手段は、前記第３の静止画像に基づいて生成された合成画像を表示している間に所定の操作がなされた場合、または、前記第３の静止画像に基づいて生成された合成画像が所定の時間以上継続して表示されている場合に、警告表示を行う、
ことを特徴とする情報処理装置。

【請求項2】

前記第１の動画像と前記第２の動画像は、一部が重複した異なる領域を撮像した動画像であり、
前記合成画像生成手段は、前記第１の動画像に含まれる第１の静止画像と、前記第２の動画像に含まれる第２の静止画像および前記生成手段が生成した第３の静止画像のいずれか一方とを連結して、前記合成画像を生成する、
請求項１に記載の情報処理装置。

【請求項3】

前記第１の動画像に含まれる第１の静止画像の時相と対応する時相の第２の静止画像が第２の動画像に含まれる場合には、前記合成画像生成手段は、前記第１の静止画像と、対応する前記第２の静止画像を連結して、前記合成画像を生成し、
前記第１の動画像に含まれる第１の静止画像の時相と対応する時相の第２の静止画像が第２の動画像に含まれない場合には、前記生成手段は、前記第１の静止画像の時相と対応する時相の第３の静止画像を生成し、前記合成画像生成手段は、前記第１の静止画像と前
記第３の静止画像を連結して、前記合成画像を生成する、
請求項１または２に記載の情報処理装置。

【請求項4】

前記表示制御手段は、前記合成画像と、前記合成画像が前記第３の静止画像に基づいて生成されているか否かを示す図形またはテキストと、を前記表示部に表示する、
請求項１から３のいずれか１項に記載の情報処理装置。

【請求項5】

前記表示制御手段は、前記合成画像と、前記合成画像のうち前記第３の静止画像に基づいて生成されている領域を識別可能な表示とを、前記表示部に表示する、
請求項１から４のいずれか１項に記載の情報処理装置。

【請求項6】

前記表示制御手段は、前記合成画像とともに、前記合成画像の生成に用いた第２の動画像の前記第２の静止画像と前記第３の静止画像の時相をプロットしたグラフを前記表示部に表示し、
前記グラフでは、前記第２の静止画像の時相を表す点と前記第３の静止画像の時相を表す点が異なる表示態様でプロットされる、
請求項１から５のいずれか１項に記載の情報処理装置。

【請求項7】

前記グラフは、一方の軸をフレーム数、他方の軸を前記被検体の周期運動の位相に関する情報とするグラフである、
請求項６に記載の情報処理装置。

【請求項8】

前記合成画像生成手段は、前記第１の動画像に含まれる複数の第１の静止画像について前記合成画像を生成することにより合成動画像を生成する、
請求項１から７のいずれか１項に記載の情報処理装置。

【請求項9】

前記表示制御手段は、前記合成動画像に含まれる全ての合成画像を表示対象とする第１の表示モードと、前記合成動画像に含まれる合成画像のうち、前記第３の静止画像に基づいて生成された合成画像以外の合成画像を表示対象とする第２の表示モードと、を有する、
請求項８に記載の情報処理装置。

【請求項10】

被検体を撮影した複数の第１の静止画像から構成される第１の動画像と、前記被検体を前記第１の動画像とは異なる時刻に撮影した複数の第２の静止画像から構成される第２の動画像を取得する取得手段と、
前記第２の動画像に含まれる少なくとも１つの第２の静止画像である基準画像に基づいて、前記基準画像と異なる時相に対応する第３の静止画像を生成する生成手段と、
前記第１の動画像に含まれる第１の静止画像と前記第２の静止画像および前記第３の静止画像のいずれか一方とを合成した合成画像を含む合成動画像を生成する合成画像生成手段と、
前記合成動画像に含まれる前記合成画像を表示部に表示する表示制御手段と、
を備え、
前記表示制御手段は、前記合成動画像に含まれる合成画像のうち、前記第３の静止画像に基づいて生成された合成画像以外の合成画像を表示対象とする第１の表示モードと、前記合成画像に含まれる全ての合成画像を表示対象とする第２の表示モードと、を有する、ことを特徴とする情報処理装置。

【請求項11】

前記表示制御手段は、前記合成画像が前記第３の静止画像を合成して生成された画像であるか否かが識別可能な態様で、前記合成画像を表示部に表示する、
ことを特徴とする請求項１０に記載の情報処理装置。

【請求項12】

被検体を撮影した複数の第１の静止画像から構成される第１の動画像と、前記被検体を前記第１の動画像とは異なる時刻に撮影した複数の第２の静止画像から構成される第２の動画像を取得する取得ステップと、
前記第２の動画像に含まれる少なくとも１つの第２の静止画像である基準画像に基づいて、前記基準画像と異なる時相に対応する第３の静止画像を生成する生成ステップと、
前記第１の動画像に含まれる第１の静止画像と前記第２の静止画像および前記第３の静止画像のいずれか一方とを合成した合成画像を生成する合成画像生成ステップと、
前記合成画像が前記第３の静止画像を合成して生成された画像であるか否かが識別可能な態様で、前記合成画像を表示部に表示する表示制御ステップと、
を含み、
前記表示制御ステップでは、前記第３の静止画像に基づいて生成された合成画像を表示している間に所定の操作がなされた場合、または、前記第３の静止画像に基づいて生成された合成画像が所定の時間以上継続して表示されている場合に、警告表示を行う、
ことを特徴とする情報処理方法。

【請求項13】

被検体を撮影した複数の第１の静止画像から構成される第１の動画像と、前記被検体を前記第１の動画像とは異なる時刻に撮影した複数の第２の静止画像から構成される第２の動画像を取得する取得ステップと、
前記第２の動画像に含まれる少なくとも１つの第２の静止画像である基準画像に基づいて、前記基準画像と異なる時相に対応する第３の静止画像を生成する生成ステップと、
前記第１の動画像に含まれる第１の静止画像と前記第２の静止画像および前記第３の静止画像のいずれか一方とを合成した合成画像を含む合成動画像を生成する合成画像生成ステップと、
前記合成動画像に含まれる前記合成画像を表示部に表示する表示制御ステップと、
を含み、
前記合成動画像に含まれる合成画像のうち、前記第３の静止画像に基づいて生成された合成画像以外の合成画像を表示対象とする第１の表示モードと、前記合成画像に含まれる全ての合成画像を表示対象とする第２の表示モードと、を有する、
ことを特徴とする情報処理方法。

【請求項14】

前記表示制御ステップでは、前記合成画像が前記第３の静止画像を合成して生成された画像であるか否かが識別可能な態様で、前記合成画像を表示部に表示する、
ことを特徴とする請求項１３に記載の情報処理方法。

【請求項15】

請求項１２から１４のいずれか１項に記載の情報処理方法の各ステップをコンピュータに実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、情報処理装置、情報処理方法及びプログラムに関する。

【背景技術】

【0002】

医療の分野において、医師は、被検体の観察対象となる部位を種々のモダリティにより撮像して得られる医用画像を用いて診断を行う。特に、肺や心臓のように疾患の有無や様態が臓器の動きに表れる部位の場合、動画像を観察して診断することがある。

【0003】

複数の動画像を撮像した場合に、複数の動画像の間で観察部位の動きを揃えて再生し表示する技術が知られている。特許文献１では、観察部位の動きが揃うように複数の動画像の各時相の表示間隔を調整し、表示間隔が所定の値以上の場合に時相間の観察部位の動きを補間する補間処理を行う。そして、補間処理により生成した補間画像を挿入した動画像を観察し、複数の動画像間の観察部位の動きを比較する表示方法を開示している。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２００８－２０６７４１号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、従来技術では、表示されている画像が、実際の撮像により得られた画像であるのか、補間などの処理により生成された画像であるのかが識別できないという課題があった。

【課題を解決するための手段】

【0006】

本発明の第１の態様は、
被検体を撮影した複数の第１の静止画像から構成される第１の動画像と、前記被検体を前記第１の動画像とは異なる時刻に撮影した複数の第２の静止画像から構成される第２の動画像を取得する取得手段と、
前記第２の動画像に含まれる少なくとも１つの第２の静止画像である基準画像に基づいて、前記基準画像と異なる時相に対応する第３の静止画像を生成する生成手段と、
前記第１の動画像に含まれる第１の静止画像と前記第２の静止画像および前記第３の静止画像のいずれか一方とを合成した合成画像を生成する合成画像生成手段と、
前記合成画像が前記第３の静止画像を合成して生成された画像であるか否かが識別可能な態様で、前記合成画像を表示部に表示する表示制御手段を備え、
前記表示制御手段は、前記第３の静止画像に基づいて生成された合成画像を表示している間に所定の操作がなされた場合、または、前記第３の静止画像に基づいて生成された合成画像が所定の時間以上継続して表示されている場合に、警告表示を行う
ことを特徴とする情報処理装置である。

【0007】

本発明の第２の態様は、
被検体を撮影した複数の第１の静止画像から構成される第１の動画像と、前記被検体を前記第１の動画像とは異なる時刻に撮影した複数の第２の静止画像から構成される第２の動画像を取得する取得手段と、
前記第２の動画像に含まれる少なくとも１つの第２の静止画像である基準画像に基づいて、前記基準画像と異なる時相に対応する第３の静止画像を生成する生成手段と、
前記第２の動画像に含まれる少なくとも１つの第２の静止画像である基準画像に基づいて、前記基準画像と異なる時相に対応する第３の静止画像を生成する生成手段と、
前記第１の動画像に含まれる第１の静止画像と前記第２の静止画像および前記第３の静止画像のいずれか一方とを合成した合成画像を含む合成動画像を生成する合成画像生成手段と、
前記合成動画像に含まれる前記合成画像を表示部に表示する表示制御手段と、
を備え、
前記表示制御手段は、前記合成動画像に含まれる合成画像のうち、前記第３の静止画像に基づいて生成された合成画像以外の合成画像を表示対象とする第１の表示モードと、前記合成画像に含まれる全ての合成画像を表示対象とする第２の表示モードと、を有する、
ことを特徴とする情報処理装置である。

【0009】

本発明の第３の態様は、
被検体を撮影した複数の第１の静止画像から構成される第１の動画像と、前記被検体を前記第１の動画像とは異なる時刻に撮影した複数の第２の静止画像から構成される第２の動画像を取得する取得ステップと、
前記第２の動画像に含まれる少なくとも１つの第２の静止画像である基準画像に基づいて、前記基準画像と異なる時相に対応する第３の静止画像を生成する生成ステップと、
前記第１の動画像に含まれる第１の静止画像と前記第２の静止画像および前記第３の静止画像のいずれか一方とを合成した合成画像を生成する合成画像生成ステップと、
前記合成画像が前記第３の静止画像を合成して生成された画像であるか否かが識別可能な態様で、前記合成画像を表示部に表示する表示制御ステップと、
を含み、
前記表示制御ステップでは、前記第３の静止画像に基づいて生成された合成画像を表示している間に所定の操作がなされた場合、または、前記第３の静止画像に基づいて生成さ
れた合成画像が所定の時間以上継続して表示されている場合に、警告表示を行う、
ことを特徴とする情報処理方法である。

【0010】

本発明の第４の態様は、
被検体を撮影した複数の第１の静止画像から構成される第１の動画像と、前記被検体を前記第１の動画像とは異なる時刻に撮影した複数の第２の静止画像から構成される第２の動画像を取得する取得ステップと、
前記第２の動画像に含まれる少なくとも１つの第２の静止画像である基準画像に基づいて、前記基準画像と異なる時相に対応する第３の静止画像を生成する生成ステップと、
前記第１の動画像に含まれる第１の静止画像と前記第２の静止画像および前記第３の静止画像のいずれか一方とを合成した合成画像を含む合成動画像を生成する合成画像生成ステップと、
前記合成動画像に含まれる前記合成画像を表示部に表示する表示制御ステップと、
を含み、
前記合成動画像に含まれる合成画像のうち、前記第３の静止画像に基づいて生成された合成画像以外の合成画像を表示対象とする第１の表示モードと、前記合成画像に含まれる全ての合成画像を表示対象とする第２の表示モードと、を有する、
ことを特徴とする情報処理方法である。

【発明の効果】

【0012】

本開示によれば、表示されている画像が、実際の撮像により得られた画像であるのか、補間などの処理により生成された画像であるのかを容易に識別することが可能となる。

【図面の簡単な説明】

【0013】

【図1】第１実施形態に係る情報処理装置の機器構成の一例を示す図。

【図2】第１実施形態における全体の処理手順の一例を示すフロー図。

【図3】第１の動画像と第２の動画像の対応付けの一例を示す図。

【図4】第１の動画像と第２の動画像を合成した合成画像の一例を示す図。

【図5A】第１実施形態における合成画像の表示方法の一例を示す図。

【図5B】第１実施形態における合成画像の表示方法の一例を示す図。

【図5C】第１実施形態における合成画像の表示方法の一例を示す図。

【図6】第２実施形態における全体の処理手順の一例を示すフロー図。

【図7】第３実施形態に係る情報処理装置の機器構成の一例を示す図。

【図8】第３実施形態における全体の処理手順の一例を示すフロー図。

【発明を実施するための形態】

【0014】

以下、添付図面に従って本明細書に開示の情報処理装置の好ましい実施形態について詳説する。ただし、この実施形態に記載されている構成要素はあくまで例示であり、本明細書に開示の情報処理装置の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。また、本明細書の開示は下記実施形態に限定されるものではなく、本明細書の開示の趣旨に基づき種々の変形（各実施例の有機的な組合せを含む）が可能であり、それらを本明細書の開示の範囲から除外するものではない。即ち、後述する各実施例及びその変形例を組み合わせた構成も全て本明細書に開示の実施形態に含まれるものである。

【0015】

本明細書では、「画像」の語を「２次元画像」と「３次元画像（ボリュームデータとも呼ばれる）」の両方を包含する概念として用いる。ある特定の撮影時刻の画像を静止画像と呼び、撮影時刻が異なる複数の静止画像で構成された時系列データ（複数の２次元画像の組または複数の３次元画像の組）を「動画像」と呼ぶ。また、「画素」の語を、２次元画像を構成する最小要素と、３次元画像を構成する最小要素（ボクセルとも呼ばれる）の両方を包含する概念として用いる。

【0016】

＜第１実施形態＞
観察対象（対象物）が撮像装置の撮像範囲よりも大きい場合に、撮像範囲を変えて複数回の撮像を行い、得られる画像を合成して表示することがある。観察対象が周期的な運動をしている場合、同じ位相の画像を対応づけて結合することで、観察対象の領域全体を含む画像の周期的な運動を観察できる。ここで一方の動画像に含まれる静止画像と同じ位相の静止画像が他方の動画像に含まれないときに、補間処理によって同じ位相の静止画像を生成して合成することが考えられる。

【0017】

本実施形態に係る情報処理装置は、複数の動画像に含まれる各静止画像を合成した合成画像を表示する際に、静止画像が補間処理によって生成された補間画像か否かに応じて表示態様を変えて表示する装置である。

【0018】

本実施形態の情報処理装置は、撮像装置により観察対象（対象物、被検体）を撮影した第１の動画像と第２の動画像を取得する。具体的には、情報処理装置は、観察対象の領域の少なくとも一部が重複するように、領域を分割して撮影時刻を異ならせて撮影した第１の動画像と第２の動画像を取得する。ここで、第１の動画像及び第２の動画像は、複数の時刻（時相）における静止画像で構成される。以下ではこの静止画像を、時相画像、または、フレーム画像と呼ぶ。そして、情報処理装置は、第１の動画像を解析することにより、第１の動画像の各時相画像における、観察対象の動きの位相情報を表す第１の位相パラメータを取得する。また同様に、情報処理装置は、第２の動画像を解析することにより、第２の動画像の各時相画像における、観察対象の動きの位相情報を表す第２の位相パラメータを取得する。位相パラメータとは、各動画像における夫々の時相画像が、何れの位相であるかを表すパラメータである。

【0019】

次に、情報処理装置は、取得した第１の位相パラメータと第２の位相パラメータに基づいて、第１の動画像と第２の動画像の間で観察対象の動きの位相情報が類似する時相画像同士を対応付ける。具体的には、情報処理装置は、第１の動画像の第１の時相画像の第１の位相パラメータと類似する第２の位相パラメータを有する第２の時相画像を、第２の動画像から選択して、第１の時相画像と第２の時相画像を対応づける。このとき、第１の時相画像と類似する位相情報を有する第２の時相画像が第２の動画像内に存在しない場合、情報処理装置は、第２の動画像に含まれる時相画像から第１の時相画像と位相が対応する補間画像を生成して、当該第１の時相画像と対応付ける。情報処理装置は、同じ位相として対応付けられた第１の動画像と第２の動画像の時相画像または補間画像を合成することにより、当該位相における合成画像を生成する。そして、補間画像を合成した合成画像を表示する場合に、補間画像を用いずに生成した合成画像と表示態様を変えて表示する。これにより、ユーザは補間画像を含む合成画像を容易に識別して画像を観察できる。

【0020】

以下、図面を用いて、本実施形態の構成および処理を説明する。

【0021】

なお、本実施形態では、Ｘ線ＣＴ装置により肺の呼吸運動を撮像した３次元動画像（４次元ＣＴ画像）を例として説明を行う。ただし、本明細書に開示の情報処理装置の実施はこれに限らず、心臓のように自発的な動きを行う任意の部位を撮像した動画像でもよい。また、被検体が周期的な運動や反復的な運動（例えば、屈伸運動）を行った任意の部位を撮影した動画像でもよい。

【0022】

図１は、本実施形態に係る情報処理装置の構成を示す。同図に示すように、本実施形態における情報処理装置１０は、データサーバ１１および操作部１２、表示部１３と、通信手段を介して互いに通信可能に接続されている。本実施形態においては、通信手段はＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）で構成されるが、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）であってもよい。また、通信手段の接続方法は有線接続であってもよいし、無線接続であってもよい。

【0023】

データサーバ１１は、観察対象を撮像して得た第１の動画像と第２の動画像を保持している。第１の動画像および第２の動画像は、同一被検体の異なる撮像範囲を同一のモダリティによって予め撮像して得られた、複数の時相の３次元断層画像からなる動画像（３次元動画像や４次元画像とも呼ばれる）である。３次元断層画像を撮像するモダリティは、ＭＲＩ装置、Ｘ線ＣＴ装置、３次元超音波撮影装置、光音響トモグラフィ装置、ＰＥＴ／ＳＰＥＣＴ、ＯＣＴ装置などであってもよい。第１の動画像および第２の動画像は、データ取得部１１０を介して情報処理装置１０に入力される。

【0024】

操作部１２は、ユーザによるマウスやキーボードの操作を受け付けて、ユーザ入力の種
類を情報処理装置１０に入力する。

【0025】

表示部１３は、情報処理装置１０が生成する合成画像を表示するモニタである。

【0026】

情報処理装置１０は、以下の構成要素により構成される。データ取得部１１０は、情報処理装置１０に入力される第１の動画像と第２の動画像を取得する。位相パラメータ算出部１２０は、第１の動画像の各時相における観察対象の動きの位相情報を表す第１の位相パラメータと、第２の動画像の各時相における観察対象の動きの位相情報を表す第２の位相パラメータを算出する。時相対応情報取得部１３０は、第１の位相パラメータと第２の位相パラメータに基づいて、第１の動画像と第２の動画像の各時相の対応情報を取得する。すなわち、第１の動画像の夫々の時相画像（第１の時相画像）に対して、第２の動画像の時相画像（第２の時相画像）を対応付ける。また、第２の位相パラメータの中に、第１の動画像の第１の時相画像の第１の位相パラメータと類似するものが存在しない場合、第１の時相画像と位相が対応する第２の動画像の補間時相を取得する。補間時相とは、撮像された連続する時相の間の時相を表している。補間画像生成部１４０は、補間時相に相当する時相画像（補間画像）を他の時相の時相画像から生成する。合成画像生成部１５０は、第１の時相画像と第２の時相画像を合成した合成画像を生成する。表示制御部１６０は、合成画像が補間画像を含むか否かに応じて表示態様を変えて表示部１３に表示させる表示制御を行う。

【0027】

上記の情報処理装置１０の各構成要素は、コンピュータプログラムに従って機能する。例えば、ＣＰＵがＲＡＭをワーク領域としてＲＯＭ又は記憶部などに記憶されたコンピュータプログラムを読み込み、実行することで、各構成要素の機能が実現される。すなわち、情報処理装置１０の各構成要素は、演算プロセッサおよびメモリとコンピュータプログラムによって実現される。なお、情報処理装置１０の構成要素の一部又は全ての機能が専用の回路を用いることで実現されてもよい。また、ＣＰＵの構成要素の一部の機能が、クラウドコンピュータを用いることで実現されてもよい。例えば、情報処理装置１０とは異なる場所にある演算装置がネットワークを介して情報処理装置１０に通信可能に接続され、情報処理装置１０と演算装置がデータの送受信を行うことで、情報処理装置１０又は制御部の構成要素の機能が実現されてもよい。

【0028】

次に、図２を用いて、図１の情報処理装置１０が行う情報処理方法の例について説明する。

【0029】

図２は、情報処理装置１０が行う全体の処理手順のフローチャートを示している。

【0030】

（Ｓ２００：データの取得）
ステップＳ２００において、データ取得部１１０は、撮像装置により観察対象（被検体）を撮像して得られた、複数の第１の静止画像から構成される第１の動画像と、複数の第２の静止画像から構成される第２の動画像を、データサーバ１１から取得する。第１の動画像と第２の動画像は、同じ観察対象の異なる領域を撮影した動画像であり、それぞれの撮影時刻は異なる。具体的には、例えば、観察対象が肺である場合、データ取得部１１０は、少なくとも肺の一部の領域が重複するように肺を頭尾方向に分割して撮影された第１の動画像と第２の動画像を取得する。つまり、第１の動画像は、肺尖部が含まれる、肺の上部を撮影した動画像である。また、第２の動画像は、肺底部が含まれる、肺の下部を撮影した動画像である。なお、観察対象は肺に限定されず、例えば、肺と同様に周期的に運動する臓器であって、疾患の有無が臓器の動きに表れる心臓などであってもよいし、その他の臓器でもよい。

【0031】

データ取得部１１０は、取得した第１の動画像と第２の動画像を、位相パラメータ算出
部１２０および補間画像生成部１４０、合成画像生成部１５０へと出力する。

【0032】

（Ｓ２１０：位相パラメータの算出）
ステップＳ２１０において、位相パラメータ算出部１２０は、第１の動画像を解析することにより、観察対象の周期運動の位相情報を表す第１の位相パラメータを算出する。また、位相パラメータ算出部１２０は、第２の動画像を解析することにより、観察対象の周期運動の位相情報を表す第２の位相パラメータを算出する。観察対象の周期運動とは、例えば肺の呼吸運動や心臓の拍動などである。

【0033】

そして、位相パラメータ算出部１２０は、算出した第１の位相パラメータと第２の位相パラメータを、時相対応情報取得部１３０および表示制御部１６０へと出力する。

【0034】

本実施形態において、位相パラメータ算出部１２０は、第１の位相パラメータとして、第１の動画像に含まれる各時相画像（各時相の静止画像）から観察対象の周期運動における位相と相関がある数値を算出する。例えば、観察対象が肺の場合、肺の体積は呼吸運動と連動して変化するため、各時相画像に含まれる肺の体積を計測し、各時相画像における肺の体積の大きさを第１の位相パラメータとする。もしくは、所定のスライス面内の肺の面積の大きさを第１の位相パラメータとしてもよい。また、ＣＴ画像においては、肺の体積に応じて肺領域内の空気領域の画素値が変化することが知られている。そのため、各時相画像に含まれる肺領域内の画素値の分布情報に基づいて、第１の位相パラメータを算出してもよい。なお、観察対象（肺）そのものから取得できる情報に限らず、呼吸運動と連動する周辺部位の情報を用いて第１の位相パラメータを求めてもよい。例えば、胸腹部の体表や他の臓器の動きに基づいて、第１の位相パラメータを算出してもよい。さらに、呼吸運動と連動する複数の情報を統合して第１の位相パラメータを算出してもよい。

【0035】

次に、位相パラメータ算出部１２０は、第２の位相パラメータについても、第１の位相パラメータと同様に種々の方法を用いて第２の動画像を解析することにより取得する。ただし、必ずしも第１の位相パラメータと第２の位相パラメータを同一の方法により算出しなくてもよい。

【0036】

また、位相パラメータ算出部１２０は、位相パラメータを算出するのではなく、不図示の外部装置から位相パラメータを取得するよう構成されてもよい。例えば、観察対象が肺の場合、動画像の撮像と同時に、被検体の換気量をスパイロメータを用いて計測し、計測した値を位相パラメータとしてもよい。あるいは、動画像の撮像時における被検体の体表の動きをレーザセンサや圧力センサを用いて計測し、計測した値を位相パラメータとしてもよい。

【0037】

なお、位相パラメータ算出部１２０は、本処理ステップにおいて算出した第１の位相パラメータを、対応する第１の動画像に含まれる各時相画像と関連付けて保持する。また第２の位相パラメータも同様に、対応する第２の動画像に含まれる各時相画像と関連付けて保持する。

【0038】

（Ｓ２２０：時相の対応情報の取得）
ステップＳ２２０において、時相対応情報取得部１３０は、第１の位相パラメータと第２の位相パラメータに基づいて、位相が類似する第１の動画像と第２の動画像の時相画像を対応付け、対応付けの結果を時相の対応情報として取得する。ここで時相の対応情報とは、第１の動画像の何時相目（何フレーム目）と第２の動画像の何時相目（何フレーム目）を対応付けたかを表す情報である。ただし、注目する時相画像において、一方の位相パラメータと一致する他方の位相パラメータの時相が存在しない場合、補間時相と対応付ける処理を行う。

【0039】

具体例に基づいて、時相の対応情報についてより詳細に説明する。ここでは、観察対象が肺であり、第１の位相パラメータと第２の位相パラメータを肺の体積に基づいて算出された値であるとする。第１の動画像と第２の動画像では、画像に含まれている肺の領域が異なるため、画像間の肺の体積が類似していても必ずしも肺全体の換気量が類似しているとは限らない。したがって、時相対応情報取得部１３０は、例えば、第１の動画像における肺の体積が最大となる最大吸気位における第１の位相パラメータの値を１、体積が最小となる最大呼気位における第１の位相パラメータを０となるようにパラメータを正規化して算出する。同様に、第２の位相パラメータも０から１の範囲となるように正規化して算出する。なお、位相パラメータ算出部１２０が、このような正規化を施した位相パラメータを算出してもよい。

【0040】

そして、時相対応情報取得部１３０は、正規化後の位相パラメータを用いて第１の動画像と第２の動画像の時相画像を対応づける。例えば、時相対応情報取得部１３０は、第１の動画像において正規化後の第１の位相パラメータを有する所定の時相画像と、第２の動画像において該第１の位相パラメータに類似する第２の位相パラメータを有する所定の時相画像とを対応づける。これにより、肺全体の換気量の類似性に基づく適切な対応づけが行える。そして、このようにして対応付けられた第１の動画像の時相画像と第２の動画像の時相画像の組を、時相の対応情報として取得する。

【0041】

具体的には、例えば、時相対応情報取得部１３０は、正規化後の第１の位相パラメータが１となる第１の動画像の時相画像と、第２の位相パラメータの数値が１となる第２の動画像の時相画像同士とを対応付ける。これにより、第１の動画像における最大吸気位の時相画像と第２の動画像における最大吸気位の時相画像が対応付けられ、その組（対応関係）が時相の対応情報の一つとして取得される。また、時相対応情報取得部１３０は、正規化後の第１の位相パラメータが０となる第１の動画像の時相画像と、第２の位相パラメータの数値が０となる第２の動画像の時相画像同士を対応付ける。これにより、第１の動画像における最大呼気位の時相画像と第２の動画像における最大呼気位の時相画像が対応付けられ、その組（対応関係）が時相の対応情報の一つとして取得される。

【0042】

すなわち、時相対応情報取得部１３０は、第１の位相パラメータが最大値の時相画像と第２の位相パラメータが最大値の時相画像を対応付ける。そして、第１の位相パラメータが最小値の時相画像と前記第２の位相パラメータが最小値の時相画像を対応付ける。また、最大吸気位、最大呼気位以外の位相についても、同様にして、位相パラメータが類似している第１の時相画像と第２の時相画像の対応付けを行う。

【0043】

図３Ａおよび図３Ｂを参照して、複数の時相画像を対応付ける例を具体的に説明する。図３Ａおよび図３Ｂは、横軸を時間、縦軸を位相パラメータとしたとき、第１の動画像の時相を黒点、第２の動画像の時相を白点として、左から時相順に並べて示している。

【0044】

まず、時相対応情報取得部１３０は、第１の動画像の時相画像の夫々について、位相パラメータが類似する第２の動画像の時相画像と対応付ける処理を行う。この対応付けは、図３Ａにおいて点線の四角により示される。この例では、位相パラメータが類似する第１の動画像の時相３００と第２の動画像の時相３１０、第１の動画像の時相３０２と第２の動画像の時相３１１、第１の動画像の時相３０３と第２の動画像の時相３１３がそれぞれ対応付けられている。このとき、観察部位が肺の場合は、位相パラメータの値が最も類似する時相同士を対応付けることで、肺全体の換気量が類似する第１の動画像と第２の動画像の時相を対応付けることができる。

【0045】

上記の手法では、第２の動画像の１つの時相が、第１の動画像の複数の時相に類似する
と判断されることもあるが、時相対応情報取得部１３０は、第２の動画像の１つの時相を、最も類似する位相パラメータを有する第１の動画像の１つの時相と対応づける。また、時相対応情報取得部１３０は、第１の位相パラメータと第２の位相パラメータの値の差が、あらかじめ設定した閾値の値より小さい場合のみ時相を対応付けてもよい。これにより、位相が大きく異なる時相同士を対応付けることを防ぐことができる。図３Ａの例では、第１の動画像の時相３０１に対応づけられる第２の動画像の時相は存在しない。

【0046】

次に、時相対応情報取得部１３０は、上記の処理で対応付けられなかった第１の動画像の時相画像の夫々について、第２の動画像の補間時相を取得して対応付ける処理を行う。図３Ａの例では、第２の時相画像のいずれとも位相パラメータが類似していない第１の動画像の時相３０１に対して、第２の動画像の補間時相を生成して対応付ける処理を行う。例えば、第１の動画像のａ時相目（時相３００）と第２の動画像のｂ時相目（時相３１０）が対応付いており、第１の動画像のａ＋ｃ（０＜ｃ）時相目（時相３０２）と第２の動画像のｂ＋ｄ（０＜ｄ）時相目（時相３１１）が対応付いている場合を例に説明する。この場合、第１の動画像のａ＋ｅ（０＜ｅ＜ｃ）時相目（時相３０１）の時相画像と対応付く第２の動画像の補間時相ｂ＋ｆ（０＜ｆ＜ｄ）は、式（１）を用いて取得できる。

ｂ＋ｆ ＝ ｂ＋ｄ×ｅ／ｃ ・・・（１）

【0047】

なお、補間時相の取得方法は、上記の方法に限定されず、例えば位相パラメータの値に基づいて、補間時相を取得してもよい。例えば、第１の動画像のａ時相目（時相３００）、ａ＋ｅ時相目（時相３０１）およびａ＋ｃ時相目（時相３０２）の時相画像の第１の位相パラメータの値をそれぞれｐ＿ａ、ｐ＿ｅ、ｐ＿ｃ（ｐ＿ａ＜ｐ＿ｅ＜ｐ＿ｃ）とした場合を例とする。この場合、ａ＋ｅ時相目（時相３０１）の時相画像と対応付く第２の動画像の補間時相ｂ＋ｇ（０＜ｇ＜ｄ）は、位相パラメータの比に応じて式（２）を用いて取得できる。

ｂ＋ｇ ＝ ｂ＋ｄ×（ｐ＿ｅ－ｐ＿ａ）／（ｐ＿ｃ－ｐ＿ａ） ・・・（２）

【0048】

上記の方法により取得される補間時相ｂ＋ｇは、例えば２つの時相間の位相パラメータの変化が時間に対し線形であると仮定する場合、第１の動画像のａ＋ｅ時相目との位相パラメータの類似度が、式（１）で算出する補間時相ｂ＋ｆよりも高い。図３Ｂを例とすると、第１の動画像の時相３０１と位相が対応する第２の動画像の補間時相３１４を取得することができる。また、位相パラメータの変化が時間に対し線形であると仮定する必要はなく、前後夫々２時相の計４時相やそれ以上の時相を用いて、位相パラメータの時間変化を高次近似して補間時相を取得してもよい。

【0049】

なお、本実施形態では、第１の動画像の所定の時相画像に対応する第２の動画像の補間時相を取得する方法を説明したが、補間時相を取得する方法はこれに限らない。例えば、第２の動画像の注目する時相画像（時相３１２）に対応する第１の動画像の補間時相（図３Ｂの時相３０４）を同様の方法によって取得してもよい。第２の動画像の注目する時相画像は、例えば、類似する時相画像が第１の動画像に存在しない時相画像である。

【0050】

また、一方の時相画像のいずれとも位相パラメータが類似していない他方の動画像の時相が複数存在する場合、一方の時相画像のいずれとも対応付いていない他方の動画像の時相のすべてに対応する補間時相を取得してもよいし、一部のみ取得してもよい。

【0051】

また、上記の方法では、いずれか一方の時相画像が他方のいずれの時相画像とも対応付
いていない場合にのみ補間時相を取得したが、補間時相の取得はこれに限らない。例えば、第１の動画像の連続する時相の位相パラメータの値の差が大きい場合、観察部位の動きが速いことが予想される。この場合、観察部位の動きに対して時相の間隔が大きいため、動画像を観察する際に観察部位の動きが滑らかに表示されずに観察に支障をきたす場合がある。したがって、連続する時相の位相パラメータの値の差が所定の値以上の場合、該連続する時相の間に少なくとも１つの第１の補間時相を取得してもよい。そして、第１の補間時相と位相が対応する第２の動画像の第２の補間時相を取得する。このとき、第１の補間時相の位相パラメータは、連続する２つの時相の位相パラメータを補間して取得した値を用いることができる。また、あらかじめ所定の時相の間隔を設定し、第１の動画像の１時相目から該間隔ごとに第１の補間時相を取得してもよい。

【0052】

また、第１の動画像の所定の時相画像（第１の時相画像）が有する第１の位相パラメータと類似する第２の位相パラメータを有する第２の動画像の時相画像が複数存在することがある。この場合、時相対応情報取得部１３０は、いずれか一つの第２の動画像の時相画像を、第１の時相画像と対応付ける。例えば、第１の位相パラメータと最も類似する第２の位相パラメータを有する第２の動画像の時相画像を、第１の時相画像と対応づけることができる。あるいは、最大吸気位または最大呼気位からの時間間隔に着目して対応づける時相画像を決定してもよい。たとえば、対応づけられる第２の時相画像は、第２の動画像において最大吸気位または最大呼気位からの時間の間隔が、第１の動画像において最大吸気位または最大呼気位から第１の時相画像までの時間の間隔と最も近い時相画像として決定される。そして、第１の位相パラメータと類似する第２の位相パラメータを有する第２の動画像の複数の時相画像において、第１の動画像の所定の時相画像と対応付いていない他の時相画像は、式（１）と同様の方法で第１の動画像の補間時相を取得して対応付ける。または、次に位相パラメータの値が近い第１の位相パラメータを有する第１の動画像の時相画像と対応付けてもよいし、必ずしも補間時相を取得せずに第１の動画像の所定の時相画像と第２の動画像の複数の時相画像を対応付けてもよい。

【0053】

（Ｓ２３０：補間画像の生成）
ステップＳ２３０において、補間画像生成部１４０（生成手段）は、第２の動画像に含まれる複数の時相画像（第２の静止画像，基準画像）に基づいて、補間画像（第３の静止画像）を生成する。補間処理により、第１の動画像の所定の時相画像に対応する時相の画像、言い換えると補間前の第２の動画像の時相画像（基準画像）と異なる時相に対応する時相画像が得られる。補間画像生成部１４０は、ステップＳ２２０において対応付いた各時相について、ステップＳ２２０において取得した補間時相における補間画像を生成する。そして、生成した補間画像を、第１の動画像の注目する時相画像（第１の時相画像）に対応する第２の動画像の時相画像（第２の時相画像）として、合成画像生成部１５０へと出力する。なお、ステップＳ２２０の結果、補間画像の生成が不要な場合（補間時相を取得していない場合）には本処理ステップをスキップする。

【0054】

補間画像は、補間時相の近傍の時相画像における被検体の時系列の動きに基づいて生成する。例えば、補間時相ｂ＋ｆより前のｂ時相目と後のｂ＋ｄ時相目の間の変形情報を取得し、変形量に（ｄ－ｆ）／ｄの値を乗じた変形情報を用いてｂ＋ｄ時相目の時相画像を変形させることにより、時系列の動きに基づいた補間画像を生成できる。

【0055】

なお、変形情報を取得する際に使用する２つの時相は、補間時相の前後の時相でなくてもよい。例えば、図３Ａに示した第２の動画像の時相３１１と時相３１２の時相画像間の変形情報を推定し、その変形情報を外挿することにより図３Ｂにおける補間時相３１４の補間画像を生成してもよい。また、変形情報は必ずしも２つの時相に基づいて取得する場合に限らず、前後夫々２時相の計４時相やそれ以上の時相を用いて、変形の時間変化を高次近似して補間時相の変形情報を取得してもよい。

【0056】

補間画像を生成することにより、第１の動画像と第２の動画像の撮像時の呼吸運動のペース（単位時間あたりの変動量）が異なる場合でも、後段の処理において、任意の呼吸位相の画像を合成することができる。そして、ユーザは肺全体の換気量が類似する時相画像を合成した合成画像を時系列に観察することにより、容易に肺の領域全体の動きを観察することができる。

【0057】

なお、本実施形態における時相画像間の変形情報は、公知の画像処理手法により求めることができる。例えば、変形後の画像間の画像類似度が高くなるように、一方の画像を変形させることにより求める。画像の変形モデルには、Ｔｈｉｎ Ｐｌａｔｅ Ｓｐｌｉｎｅ（ＴＰＳ）などの放射基底関数に基づく変形モデルやＦｒｅｅ Ｆｏｒｍ Ｄｅｆｏｒｍａｔｉｏｎ（ＦＦＤ）等の公知の変形モデルを利用できる。画像類似度ではなく、解剖学的特徴点や輪郭形状等が略一致するように変形情報を推定してもよい。

【0058】

また、上記の例では、補間時相の近傍の１つの時相画像を変形させることで補間画像を生成したが、必ずしも上記の方法でなくてもよく、公知のいずれの画像処理手法を利用して補間画像を生成してもよい。例えば、補間時相の前後の２つの時相画像と変形情報に基づいてモーフィングにより補間画像を生成してもよい。また、上記の例では、時系列の動きに基づいた補間画像を生成したが、動きではなく他の時系列に変化する情報に基づいた補間画像を生成してもよい。例えば、時系列に変化する情報は画素値でもよく、時間の経過に応じて変化する画素値に基づいた補間画像を生成してもよい。

【0059】

（Ｓ２４０：合成位置情報の算出）
ステップＳ２４０において、合成画像生成部１５０は、ステップＳ２２０において対応付いた各時相において、第１の動画像から得られる第１の時相画像と第２の動画像から得られる第２の時相画像とを合成する位置を合成位置情報として算出する。

【0060】

合成位置として、第１の時相画像上の所定の位置と対応する第２の時相画像上の位置を算出する。例えば、第１の時相画像のｉ番目のスライス位置をＰ１＿ｉとしたとき、それと対応する第２の時相画像のｊ番目のスライス位置Ｐ２＿ｊを探索により決定する。そして、第１の時相画像のスライス位置Ｐ１＿ｉに対応する位置である第２の時相画像のスライス位置Ｐ２＿ｊを合成位置として保持する。ここで、スライス位置Ｐ１＿ｉは、第１の動画像と第２の動画像の重複領域の中から選択することが望ましい。合成位置はスライス位置ではなく、第１の時相画像のスライス位置Ｐ１＿ｉ上の各画素と対応する第２の時相画像上の画素の位置を算出してもよい。

【0061】

合成位置の算出は、公知の画像処理手法により、第１の時相画像と第２の時相画像の間の同一位置を表す画素が略一致するように算出できる。例えば、所定のスライス位置における断層像間の画像類似度が高くなるスライス位置を算出する。画像類似度としては、一般的に用いられているＳｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ（ＳＳＤ）や相互情報量、相互相関係数などの公知の方法を用いることができる。

【0062】

なお、第１の時相画像と第２の時相画像の合成位置は、上記のように時相ごとに求める以外にも、第１の動画像と第２の動画像の撮影位置に基づいて全時相に共通の値として定めてもよいし、それ以外の何れの方法で定めてもよい。

【0063】

（Ｓ２５０：合成画像の生成）
ステップＳ２５０において、合成画像生成部１５０（合成画像生成手段）は、ステップＳ２２０で対応付いた各時相について、ステップＳ２４０で算出した各時相の合成位置に基づいて、第１の時相画像と第２の時相画像を合成した合成画像を生成する。合成画像生
成部１５０は、第１の動画像に含まれる時相画像と第２の動画像に含まれる時相画像を、ステップＳ２４０で求めた合成位置で連結して合成画像を生成する。第２の時相画像は、撮像により得られた画像または補間処理により得られた画像である。したがって、合成画像は、第１の動画像に含まれる時相画像（第１の静止画像）と、第２の動画像に含まれる時相画像（第２の静止画像）および生成手段が生成した時相画像（第３の静止画像）のいずれか一方とを、合成した合成画像である。合成画像生成部１５０は、複数の時相についてそれぞれ合成画像を生成し、これらの合成画像を複数含んで構成される合成動画像を生成する。合成画像生成部１５０は、生成した合成動画像を表示制御部１６０へと出力する。

【0064】

図４を用いて合成画像の生成処理について具体的に説明する。図４において、画像４００は第１の時相画像の冠状断面を表しており、破線４１０はスライス位置Ｐ１＿ｉを表している。また、画像４２０は第２の時相画像の冠状断面を表しており、破線４３０はステップＳ２３０において算出したスライス位置Ｐ１＿ｉと対応するスライス位置Ｐ２＿ｊを表している。そして、画像４４０は、第１の時相画像のスライス位置Ｐ１＿ｉと第２の時相画像のスライス位置Ｐ２＿ｊが重なるように、第１の時相画像上に第２の時相画像をスライス方向に並進移動させて合成した合成画像を表している。そして、領域４５０は第１の時相画像にのみ撮像されている領域、領域４６０は第１の時相画像と第２の時相画像の両方に撮像されている領域、領域４７０は第２の時相画像にのみ撮像されている領域を示している。領域４５０および領域４７０における合成画像の画素値は、第１の時相画像および第２の時相画像の一方の時相画像の画素値とする。領域４６０における合成画像の画素値は、第１の時相画像と第２の時相画像の画素値のいずれか一方の画素値でもよいし、平均値でもよい。また、領域４６０内の位置に応じて、肺尖部側の画素では第１の時相画像の画素値の重みを大きくし、肺底部側の画素では第２の時相画像の画素値の重みを大きくした重み付き平均値を利用してもよい。

【0065】

なお、本実施形態において、第１の時相画像のスライス位置Ｐ１＿ｉと対応する第２の時相画像のスライス位置Ｐ２＿ｊが重なるように並進移動させて合成画像を生成したが、合成画像の生成方法はこれに限らない。例えば、合成位置情報としてスライス位置ではなく、各画素の位置を算出している場合、各画素が合成位置で重なるように第２の変形画像を変形させて合成してもよい。また、第１の時相画像のスライス位置Ｐ１＿ｉと第２の時相画像のスライス位置Ｐ２＿ｊが重なるように並進移動させて合成画像を生成する場合、体表位置や気管支の分岐の位置等の所定の部位が合うように第２の時相画像をさらに変形させてから合成してもよい。第１の時相画像と第２の時相画像を合成して合成画像を生成する方法には、公知の何れの方法を用いてもよい。

【0066】

これにより、複数の時相における合成画像を生成することができる。すなわち、観察対象の領域全体を含む時系列の合成画像を取得できる。以下では説明の簡略化のために、補間画像を用いて生成された合成画像のことを、補間画像を含む合成画像と称することがある。同様に、補間画像を用いずに生成された合成画像のことを、補間画像を含まない合成画像と称することがある。

【0067】

（Ｓ２６０：合成画像の表示）
ステップＳ２６０において、表示制御部１６０は、ステップＳ２５０で生成した合成画像が補間画像を合成して生成された画像であるか否かが識別可能な態様で、当該合成画像を表示部１３に表示する。

【0068】

図５Ａ～図５Ｃを例として具体的に説明する。図５Ａにおいて、表示制御部１６０は、表示部１３の画面５００に、ある時相における合成画像５１０を表示している。また、第１の動画像の各時相における位相パラメータを表すグラフ５２０、および、第２の動画像
の各時相における位相パラメータを表すグラフ５３０を表示している。グラフ５２０およびグラフ５３０は、合成画像５１０の合成に用いられた時相画像の位相に関する情報をプロットしたグラフであり、合成に用いられた時相画像が補間画像であるか否かに応じて異なる表示態様でプロットがされる。グラフ５２０およびグラフ５３０は、一方の軸をフレーム数（時間）、他方の軸を位相パラメータ（被写体の周期運動の位相に関する情報）として、被検体を撮像して得られた時相を黒点、補間時相を白点として、左から各時相を時相順に並べて示している。もっとも、撮像して得られた時相と補間時相とを識別可能であれば、黒点と白点に限られず任意の態様の表示を採用して構わない。破線５４０は、画面５００に表示している合成画像５１０の時相を表している。すなわち、破線５４０は、合成画像５１０が、第１の動画像の時相５２１の時相画像と第２の動画像の時相５３１の時相画像を合成して生成された画像であることを表している。これにより、ユーザは、グラフ５２０およびグラフ５３０において破線５４０上の点がいずれも黒点であることから、合成画像５１０が補間画像を含まないことを容易に確認できる。

【0069】

ここで、表示制御部１６０は、操作部１２を用いたユーザによるマウスやキーボードの操作を受けて、任意の時相の合成画像を表示部１３に表示させることができる。例えば、図５Ｂでは、合成画像５１０の１時相後の合成画像５５０を画面５００に表示している例を表している。このとき、ユーザはグラフ５２０およびグラフ５３０を目視することで、グラフ５３０において破線５４０上の点が白点であることから、第２の動画像の時相５３２が補間時相であり、合成画像５５０が補間画像を含むことを容易に確認できる。

【0070】

なお、補間画像を含むか否かの表示方法は、上記の方法に限らない。例えば、合成画像５５０が補間画像を含む場合に、合成画像５５０とともに、図５Ｂに示す白点などの識別表示（マーカー）５６０を表示してもよい。識別表示５６０は、合成画像５５０が補間画像を合成して生成された画像であるか否かを識別可能な表示の一例である。識別表示５６０は白点に限られず、その他の任意の図形やテキストあるいはこれらの組合せであってもよい。

【0071】

本実施形態のように複数の時相画像の合成画像を表示する場合、複数の時相画像のいずれが補間画像であるかを識別できるように、識別表示を表示することもできる。例えば、表示制御部１６０は、第１の時相画像が補間画像である場合には第１の位置に識別表示を表示し、第２の時相画像が補間画像である場合には第１の位置と異なる第２の位置に識別表示を表示する。より具体的には、図５Ｂのように第２の動画像の補間画像が合成画像の下部を構成している場合、表示制御部１６０は、補間画像が含まれていることを示す図形やテキスト等の識別表示を合成画像の下部に表示する。一方、合成画像が第１の動画像の補間画像を含んでいる場合、補間画像が含まれていることを示す図形やテキスト等の識別表示を合成画像の上部に表示する。このようにすることで、第１（上部）と第２（下部）のいずれの時相画像が補間画像であるかをユーザは容易に識別できる。複数の時相画像のいずれが補間画像であるかを識別可能であれば、識別表示の表示位置は特に限定されない。例えば、第１の時相画像が補間画像である場合は、合成画像５５０のうち第１の時相画像にのみ撮像されている領域４５０の内部またはその周辺に識別表示を表示する。そして、第２の時相画像が補間画像である場合は、合成画像５５０のうち第２の時相画像にのみ撮像されている領域４７０の内部またはその周辺に識別表示を表示する。なお、識別表示５６０を表示する位置は必ずしも画像上に限定されず、画像外であってもよい。例えば現在表示している合成画像が補間画像を含むか否かによって破線５４０の表示形態（色、太さ、破線のパターンなど）を変えて表示してもよい。または合成画像５１０や合成画像５５０の枠線の表示形態を変えて表示してもよい。

【0072】

また表示制御部１６０は、図５Ｃに示すように、合成画像５５０のうち補間画像に基づいて生成されている領域（例えば体軸方向の範囲）を識別可能な図形５７０を表示しても
よい。この際、合成画像５５０のそれぞれの領域が、補間画像にどの程度依拠して生成されているかが識別できるように図形５７０を表示してもよい。例えば、第２の時相画像が補間画像である場合、第２の時相画像のみに撮像されている領域（図４の領域４７０）は図形５７０を黒色表示とし、第１の時相画像と第２の時相画像が合成されている領域（図４の領域４６０）は灰色表示としてもよい。また、補間処理が含まれている領域を識別可能な表示は、図形である必要はなく、テキストであってもよい。また、合成画像に含まれる補間画像の領域のみをグレーアウト表示にして、表示態様を変えてもよい。これにより、ユーザは補間処理が含まれている領域を容易に識別することができる。

【0073】

以上によって、情報処理装置１０の処理が実施される。

【0074】

上記によれば、被検体を撮像して得られた画像か補間画像かをユーザは容易に識別することが可能となり、補間画像に注目して観察し誤った診断をする可能性を低減できる。

【0075】

（変形例１－１：補間画像を観察して診断した場合に警告を出す）
本実施形態では、ステップＳ２６０において、合成画像が補間画像を含むか否かを識別可能にして表示していたが、補間画像が含まれていることにユーザが気付かずに、当該画像を用いて診断をしてしまう可能性もある。これを防ぐために、情報処理装置１０は、上記の表示方法に加えて、ユーザが補間画像を含む合成画像を観察して診断している可能性が高い場合に警告を表示してもよい。

【0076】

例えば、表示制御部１６０は、補間画像に基づいて生成された合成画像が表示されている間にユーザによって所定の操作がなされた場合に、表示部１３に警告表示をしてもよい。所定の操作は、ユーザが画像に基づいて診断をする際に行う操作のいずれかでありうる。所定の操作は、例えば、表示部１３に表示されている合成画像に対して、不図示の解析ツールを利用した観察部位の解析（例えば、観察部位や病変のサイズの測定、画素値の計測、画面のキャプチャ）を行うための操作である。また、所定の操作は、不図示の所見やレポートを入力するツール（例えばレポートシステムや電子カルテ）を利用する操作であってもよい。この処理を実施するために、情報処理装置１０は、補間画像を含む合成画像が表示部１３に表示されているあいだに、所定の入力操作が行われたことを検出可能に構成される。情報処理装置１０は、補間画像を含む合成画像の表示中に所定の入力操作が行われたら、表示部１３に警告を表示する。

【0077】

また、補間画像を含む合成画像を長時間表示している場合は補間画像を観察して診断している可能性が高い。そこで、情報処理装置１０は、補間画像に基づいて生成された合成画像が所定の時間以上継続して表示部１３に表示されている場合に、表示部１３に警告表示を行ってもよい。この処理を実施するために、情報処理装置１０は補間画像に基づく合成画像が表示部１３に表示されてからの経過時間をカウントし、表示が所定の時間以上継続した場合に表示部１３に警告を表示するように構成される。

【0078】

また、本実施形態における情報処理装置１０は合成画像表示しているか否かの情報を他の外部装置（例えば電子カルテ）に通信回線等を通じて通知できるよう仕組みを備えていてもよい。この場合、他の外部装置は情報処理装置１０が合成画像表示しているか否かに応じてユーザの操作を制限したり、警告を表示したりしてもよい。これによって、ユーザが補間画像を含む画像を使用して診断してしまう可能性をさらに低減できる。

【0079】

（変形例１－２：造影と非造影画像の合成動画像の表示）
本実施形態では、観察対象を分割して撮影した第１の動画像と第２の動画像を合成する例を説明したが、同じ位置から同じ観察対象を撮像した複数の動画像を合成する場合にも本発明を適用できる。例えば、第１の動画像は観察対象を造影した動画像、第２の動画像
は非造影の動画像であってもよい。この場合、ステップＳ２４０において合成位置を探索して決定する必要は無く、それぞれの動画像の画像座標系の原点を合成位置として取得できる。ステップＳ２５０においては、合成処理として差分演算を行うことにより合成画像を取得してもよい。これにより、位相が対応した造影画像と非造影画像の差分を取得することが可能となるため、造影領域を強調した合成動画像を取得できる。そして、上述したステップＳ２６０と同様の方法で、補間画像を含む合成画像が識別可能となるように表示する。

【0080】

上記の実施形態では、第１の動画像（第１の時相画像）と第２の動画像（第２の時相画像）のどちらが補間画像であるかに応じて、図形やテキスト等の識別表示の表示位置を変えてもよい。本変形例においては、第１の時相画像と第２の時相画像の撮像範囲が同じであるので、識別表示の表示位置を変える以外の方法により、どの時相画像が補間画像であるかを識別可能とすることが望ましい。例えば、本変形例においては、補間画像が含まれていることを示す図形やテキストを図示する位置は変えずに、第１の動画像と第２の動画像のいずれを補間しているかに応じて図示する図形やテキストを変えることが望ましい。これにより、強調表示されている造影領域が補間処理によって生成された領域か否かをユーザは容易に判断できる。

【0081】

（変形例１－３）
本実施形態では、観察対象を二つに分割して撮影した第１の動画像と第２の動画像を合成する例を説明したが、分割の数はこれに限らず、観察対象を３以上に分割して撮影した複数の動画像の合成画像を生成する場合においても、同様の処理を行うことができる。例えば、観察対象である肺を上部、中部、下部に分割して得た３つの動画像を合成表示する場合に、ある時相において何れかの時相画像が補間画像である場合に、上記と同様の処理により、当該時相画像が補間画像であることを識別可能とする情報を表示できる。

【0082】

＜第２実施形態＞
第１実施形態では、ユーザが補間画像に注目して観察し誤った診断を行う可能性を低減するため、合成画像が補間画像を含むか否かを識別可能にして表示した。本実施形態の情報処理装置は動画像を再生して観察部位の動きを観察するシネ表示モードと、静止画像を観察して診断する静止画像表示モードの２種類のモードを有し、各モードによって合成画像の表示の制御方法を切り替える。シネ表示モードでは補間画像を含む合成画像も含めて表示し、静止画像表示モードでは補間画像を含む合成画像を表示せずに補間画像を含まない合成画像のみを表示する。これにより、シネ表示モードでは観察部位の滑らかな動きを観察することが可能となる一方で、静止画像を詳細に観察する場合には静止画像表示モードに切り替えることで、補間画像に注目して観察し誤った診断をしてしまう可能性を低減できる。

【0083】

なお、以下では第１実施形態と同様に観察対象となる臓器は肺であって、第１の動画像と第２の動画像は４次元ＣＴ画像であるとして説明を行う。しかしながら、観察対象となる臓器や、撮像装置はこれに限定されない。

【0084】

以下、図６を用いて本実施形態の構成および処理を説明する。なお、本実施形態に係る情報処理装置１０の構成は、図１と同じであるため説明を省略する。

【0085】

図６は、情報処理装置１０が行う全体の処理手順のフローチャートを示している。ステップＳ６００からＳ６５０は、第１の実施形態のステップＳ２００から２５０と同様の処理を行うため、説明を省略する。以下、図２のフローチャートとの相違部分についてのみ説明する。

【0086】

（Ｓ６６０：合成画像の表示）
ステップＳ６６０において、表示制御部１６０は、画像表示モードを示す情報を取得する。本実施形態では、シネ表示モード（第１の表示モード）と静止画表示モード（第２の表示モード）の２つの表示モードを有する。画像表示モードがシネ表示モードの場合には、表示制御部１６０は、ステップＳ６５０で生成した合成画像が補間画像に基づいて生成された否かにかかわらず、全ての合成画像を含む動画像として表示部１３に表示する。また、画像表示モードが静止画像表示モードの場合には、表示制御部１６０は、補間画像を含まない時相における合成画像を、静止画像として表示部１３に表示させる制御を行う。

【0087】

ここで、シネ表示モードとは、ステップＳ６５０で生成した合成画像を、時相順に一定の時間間隔で切り替えて表示する「シネ表示」を行う表示モードである。これによりユーザは、観察部位の動きを観察することができる。シネ表示モードは、合成動画像に含まれる合成画像が、補間画像を用いて生成された画像であるか否かにかかわらず全ての合成画像を表示対象とする第１の表示モードと呼ぶことができる。

【0088】

また、操作部１２でユーザによるマウスやキーボードの操作を受け付けてシネ表示を停止させ、ユーザが手動で任意の時相に切り替えて各時相の合成画像を静止画像として観察することもできる。本実施形態では、ユーザが手動で時相を切り替える場合、静止画像表示モードに切り替え、補間画像を含む合成画像を表示させないように制御する。例えば、補間画像を含まない合成画像を表示部１３に表示している状態で手動により次の時相に切り替えた場合、補間画像を含まない合成画像のうち最も近い時相の合成画像を表示部１３に表示する。

【0089】

また、シネ表示モード時において補間画像を含む合成画像を表示部１３に表示している状態でシネ表示を停止する操作を操作部１２から受け付けた場合も同様に、補間画像を含まない合成画像を静止画像として表示部１３に表示させる。表示させる合成画像は、補間画像を踏まない合成画像のうち、シネ表示モードで最後に表示していた合成画像に対して最も近い時相の合成画像として選択される。あるいは、シネ表示モードを停止した場合、あらかじめ決められた補間画像を含まない所定の時相（例えば１時相目）の合成画像を表示してもよい。

【0090】

以上によって、情報処理装置１０の処理が実施される。

【0091】

これにより、ユーザが観察部位の解析（例えば、観察部位のサイズの測定や画素値の計測）をするために任意の時相の合成画像を選択する場合に、補間画像を含む合成画像が表示することを防ぐことができる。すなわち、ユーザが補間画像に注目して観察し誤った診断をする可能性を低減できる。

【0092】

また、静止画像表示モードの場合に、補間画像を含む合成画像の表示を禁止するのではなく、第１実施形態の処理を行うようにしてもよい。すなわち、表示中の合成画像が補間画像を含むか否かを識別可能とする情報を、合成画像と共に表示するようにしてもよい。この時、シネ表示モードでは、当該情報を提示しないようにできる。すなわち、表示モードによって、当該情報の提示の有無を切り替えるようにしてもよい。

【0093】

（変形例２－１）
上記の実施形態では、シネ表示モードでは補間画像を含む合成画像を表示し、静止画像表示モードでは補間画像を含む合成画像を表示しないように制御しているが、表示モードはシネ表示モードと静止画像表示モード以外であってもよい。本実施形態に係る情報処理装置１０は、合成動画像に含まれる全ての合成画像を表示対象とする第１の表示モードと、補間画像に基づいて生成された合成画像以外の合成画像を表示対象とする第２の表示モ
ードとを有していればよい。例えば、第１の表示モードと第２の表示モードの両方がユーザの指示に従って表示する合成画像を切り替える表示モードであってもよいし、第１の表示モードと第２の表示モードの両方が複数の静止画像を動画像として表示する表示モードであってもよい。

【0094】

＜第３実施形態＞
第１実施形態では、被検体の時系列の動きを補間した補間画像を識別可能にして表示したが、本実施形態では、時系列の動きの補間ではなく被検体を撮影して取得した画像に対し補正処理を行った場合に、補正処理が行われた補正画像を識別可能にして表示する。ここで補正処理とは、ユーザが画像の観察を容易に行うために、画像に含まれる少なくとも一部の領域を変形あるいは画素値の変換などの処理を施すことである。補正処理を施した補正画像は、その処理に起因して、ユーザによる診断に適した画像ではない場合がある。本実施形態では、表示中の画像が、補正処理が行われた画像であるか否かをユーザが識別可能にすることで、ユーザが補正処理に起因する誤った診断を行う可能性を低減できる。

【0095】

なお、以下では第１実施形態と同様に観察対象となる臓器は肺であって、第１の動画像と第２の動画像は４次元ＣＴ画像であるとして説明を行う。しかしながら、観察対象となる臓器や、撮像装置はこれに限定されない。

【0096】

以下、図７から図８を用いて本実施形態の構成および処理を説明する。

【0097】

図７は、本実施形態に係る情報処理装置７０の構成を示す。情報処理装置は、データ取得部１１０、位相パラメータ算出部１２０、時相対応情報取得部１３０、補正画像生成部７１０、合成画像生成部１５０、表示制御部１６０により構成される。補正画像生成部７１０は、以下でその機能を説明する。その他の構成については、第１実施形態と機能が同じであるため説明を省略する。

【0098】

補正画像生成部７１０は、第１の動画像の注目する第１の時相画像と対応付いた第２の動画像の第２の時相画像において、第１の時相画像の観察部位の状態と類似するように第２の時相画像を補正した補正画像を生成する。

【0099】

図８は、情報処理装置７０が行う全体の処理手順のフローチャートを示している。ステップＳ８００からＳ８２０およびＳ８４０、Ｓ８５０は、第１の実施形態のステップＳ２００から２２０およびＳ２４０、Ｓ２５０と同様の処理を行うため、説明を省略する。以下、図２のフローチャートとの相違部分についてのみ説明する。

【0100】

（Ｓ８３０：補正画像の生成）
ステップＳ８３０において、補正画像生成部７１０は、ステップＳ８２０において対応付いた各時相において、第１の動画像から得られる第１の時相画像の観察部位と状態が類似する補正画像を、第２の動画像から得られる第２の時相画像から生成する。そして、生成した補正画像を、第１の動画像の注目する第１の時相画像に対応する第２の動画像の第２の時相画像として、合成画像生成部１５０へと出力する。なお、ステップＳ８３０で生成される補正画像は、ステップＳ８００で取得した第２の動画像に含まれる第２の時相画像（第２の静止画像）に基づいて生成された静止画像（第３の静止画像）に相当する。

【0101】

観察部位の状態を表す指標としてステップＳ８１０で算出した位相パラメータを利用することができる。位相パラメータとして被検体の肺野内の平均画素値を算出している場合を例として説明する。第１の時相画像と第２の時相画像の間で肺野内の平均画素値の差が、あらかじめ設定した所定の閾値より大きい場合、第２の時相画像の肺野内の平均画素値が第１の時相画像と類似するように画素値を補正することで補正画像を生成する。画素値
の補正の方法として公知の画像処理技術を利用できる。例えば、第１の時相画像と第２の時相画像の肺野内の平均画素値の差を第２の時相画像の肺野内の画素値に加算してもよいし、肺野の体積と平均画素値の相関モデルを事前に作成し、そのモデルを利用して画素値を補正してもよい。

【0102】

これにより、第１の時相画像と、それに対応付いた第２の時相画像との間で観察部位の状態が異なる場合においても、第１の時相画像と観察部位の状態が類似した補正画像を利用して合成画像を生成することができる。これにより、合成画像の合成位置を境界として画素値が不連続になるといった合成位置の近傍で生じる不整合を防ぐことができる。

【0103】

（Ｓ８６０：合成画像の表示）
ステップＳ８６０において、表示制御部１６０は、ステップＳ８５０で生成した合成画像が補正画像を含む否かを識別可能にして表示部１３に表示する。

【0104】

表示の方法としては、第１実施形態と同様の方法を用いることができる。すなわち、第１実施形態において合成画像が補間画像を含むか否かを識別可能にした方法と同様の方法で、本実施形態においては合成画像が補正画像を含むか否かを識別可能にして表示する。

【0105】

以上によって、情報処理装置７０の処理が実施される。

【0106】

本実施形態において、合成画像が補正画像を含むか否かを識別可能にして表示する方法を説明したが、さらに補正処理の影響の大きさをユーザが視認できるように表示してもよい。例えば、ステップＳ８３０において、補正処理として観察部位の画素値を変換する処理を施した場合、画素値を変換した変換量を表示部１３に表示してもよいし、観察部位を変形させ大きさが変わった場合、大きさの変化率を表示してもよい。これにより、補正処理が診断に与える影響をユーザが判断することができる。また、補正前の画像を用いた合成画像を別途生成しておいて、補正前の画像を用いた合成画像と、補正後の画像を用いた合成画像の夫々を、ユーザが任意に切り替え、または、並べて表示できるようにしてもよい。これにより、補正処理が診断に与える影響が大きい場合に、補正前の画像を用いた診断が可能となる。

【0107】

また、上記実施例では補正の有無を識別可能とする場合を例として説明したが、わずかな補正は許容範囲として、補正が所定の条件を超える場合にのみ、合成画像が補正画像を含むことを示す情報を表示するようにしてもよい。

【0108】

＜その他の実施形態＞
また、本明細書に開示の技術は例えば、システム、装置、方法、プログラム若しくは記録媒体（記憶媒体）等としての実施態様をとることが可能である。具体的には、複数の機器（例えば、ホストコンピュータ、インターフェイス機器、撮像装置、ｗｅｂアプリケーション等）から構成されるシステムに適用しても良いし、また、１つの機器からなる装置に適用しても良い。

【0109】

また、本明細書に開示の技術の目的は、以下のようにすることによって達成されることはいうまでもない。すなわち、前述した実施形態の機能を実現するソフトウェアのプログラムコード（コンピュータプログラム）を記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給する。係る記憶媒体は言うまでもなく、コンピュータ読み取り可能な記憶媒体である。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行する。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本明細書に開示の技術を構成するこ
とになる。

【符号の説明】

【0110】

１１０ データ取得部
１４０ 補間画像生成部
１５０ 合成画像生成部
１６０ 表示制御部

【図1】

【図2】

【図3】

【図4】

【図5A】

【図5B】

【図5C】

【図6】

【図7】

【図8】