特開 2024-83172 画像解析装置及び画像解析方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024083172

(43)【公開日】2024-06-20

(54)【発明の名称】画像解析装置及び画像解析方法

(51)【国際特許分類】

   A61B 6/03 20060101AFI20240613BHJP

   G06T 7/00 20170101ALI20240613BHJP

【ＦＩ】

A61B6/03 360J

G06T7/00 350B

A61B6/03 360G

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2022197540

(22)【出願日】2022-12-09

(71)【出願人】

【識別番号】000006138

【氏名又は名称】株式会社明治

(71)【出願人】

【識別番号】512078812

【氏名又は名称】道脇 幸博

(71)【出願人】

【識別番号】504143441

【氏名又は名称】国立大学法人 奈良先端科学技術大学院大学

(74)【代理人】

【識別番号】110002675

【氏名又は名称】弁理士法人ドライト国際特許事務所

(72)【発明者】

【氏名】道脇 幸博

(72)【発明者】

【氏名】菊地 貴博

(72)【発明者】

【氏名】佐藤 嘉伸

(72)【発明者】

【氏名】大竹 義人

(72)【発明者】

【氏名】政木 勇人

【テーマコード（参考）】

4C093

5L096

【Ｆターム（参考）】

4C093AA22

4C093AA26

4C093CA15

4C093DA04

4C093FD03

4C093FF16

4C093FF24

4C093FF42

5L096AA09

5L096BA06

5L096BA13

5L096CA04

5L096FA02

5L096GA34

5L096HA11

5L096JA11

5L096KA04

5L096MA07

(57)【要約】

【課題】解析対象動画に基づいて頭頸部の各組織の運動を解析する際に人手による作業負担を軽減し得る画像解析装置及び画像解析方法を提供する。
【解決手段】画像解析装置１は、複数の４次元ＣＴ画像について、４次元ＣＴ画像ごとにそれぞれ４次元ＣＴ画像内における頭頸部の各組織をそれぞれ組織ごとに区画化した複数の区画化済４次元ＣＴ画像を、学習用４次元ＣＴ画像群として用いて、組織ごとの特徴を学習させた学習済みモデルを記憶する記憶部１１と、頭頸部の各組織が運動しているときの２次元ＣＴ画像が時系列に連続して配置された構成でなる２次元ＣＴ動画、又は、新たな４次元ＣＴ画像を、解析対象動画として取得する画像取得部１２と、学習済み畳み込みニューラルネットワークを用いて、解析対象動画内における頭頸部の各組織をそれぞれ組織ごとに区画化する動画解析を行う解析部１５と、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

頭頸部の各組織が運動しているときの前記頭頸部の内部を撮影した３次元画像が時系列に連続して配置された構成でなる複数の４次元画像について、前記４次元画像ごとにそれぞれ前記４次元画像内における前記頭頸部の各組織をそれぞれ前記組織ごとに区画化した複数の区画化済４次元画像を、学習用４次元画像群として用いて、前記組織ごとの特徴を学習させた学習済みモデルを記憶する記憶部と、
前記頭頸部の各組織が運動しているときの前記頭頸部の内部を撮影した２次元画像が時系列に連続して配置された構成でなる２次元動画、又は、新たな前記４次元画像を、解析対象動画として取得する画像取得部と、
前記記憶部に記憶されている前記学習済みモデルを用いて、前記解析対象動画内における前記頭頸部の各組織をそれぞれ前記組織ごとに区画化する動画解析を行う解析部と、
を備える、画像解析装置。

【請求項2】

前記記憶部に記憶されている前記学習済みモデルは、Ｘ線透過率に基づいて分類されたグループごとに、前記組織の特徴を学習している、請求項１に記載の画像解析装置。

【請求項3】

前記記憶部に記憶されている前記学習済みモデルは、前記Ｘ線透過率の低いグループから前記Ｘ線透過率の高い前記グループの順に、前記グループ内の前記組織の特徴を学習している、請求項２に記載の画像解析装置。

【請求項4】

前記記憶部に記憶されている前記学習済みモデルは、さらに前記組織の配置に基づいて分類されたグループごとの前記組織の配置を考慮して、前記組織の特徴を学習している、請求項２または３に記載の画像解析装置。

【請求項5】

前記記憶部に記憶されている前記学習済みモデルは、前記解析対象動画を構成する画像のうち、時系列に隣接する前記画像の変化量の低い前記画像から高い前記画像の順に、前記組織の特徴を学習している、請求項１に記載の画像解析装置。

【請求項6】

前記記憶部に記憶されている前記学習済みモデルは、ノード間の結合を脱落させ、脱落前後において、得られる前記組織の特徴の差が小さくなるように、前記組織の特徴を学習している、請求項１に記載の画像解析装置。

【請求項7】

前記記憶部に記憶されている前記学習済みモデルは、前記組織ごとの区画化の不確実性を算出し、前記区画化の結果とともに、算出した前記不確実性を出力する、請求項１に記載の画像解析装置。

【請求項8】

前記記憶部に記憶されている前記学習済みモデルは、さらに、前記４次元画像よりも時系列の解像度の高い学習用の２次元動画を同期させて、前記組織の特徴を学習している、請求項１に記載の画像解析装置。

【請求項9】

頭頸部の各組織が運動しているときの前記頭頸部の内部を撮影した３次元画像が時系列に連続して配置された構成でなる複数の４次元画像について、前記４次元画像ごとにそれぞれ前記４次元画像内における前記頭頸部の各組織をそれぞれ組織ごとに区画化した複数の区画化済４次元画像を、学習用４次元画像群として用いて、前記組織ごとの特徴を学習させて学習済みモデルを構築し、
前記頭頸部の各組織が運動しているときの前記頭頸部の内部を撮影した２次元画像が時系列に連続して配置された構成でなる２次元動画、又は、新たな前記４次元画像を、解析対象動画として取得し、
前記学習済みモデルを用いて、前記解析対象動画内における前記頭頸部の各組織をそれぞれ組織ごとに区画化する動画解析を行う、画像解析方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像解析装置及び画像解析方法に関する。

【背景技術】

【0002】

医療分野においては、診断対象となる部位をＸ線撮影により断層撮像して得られる３次元ＣＴ（Computed Tomography）画像を用いた診断が行われている。このような３次元ＣＴ画像は、診断に用いる際に各組織を区画に分けて、それぞれの区画を色分けして表示するのが好ましい。例えば、特許文献１には、心内腔領域を用いて心筋領域の面を特定し、その面を、当該位置の医用画像の信号値に応じた色として表示させる技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１６－７７８７６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

近年、３次元ＣＴ画像を時系列に連続的に取得することが行われており、このようにして得られた４次元ＣＴ画像（４次元ＣＴデータ、３次元ＣＴ動画と称されることもある）を解析対象動画として用い、例えば、咀嚼時や、嚥下時における頭頸部の各組織の運動（動的な変化）の解析が行われている。

【0005】

この際、頭頸部の４次元ＣＴ画像についても、特許文献１に示すように、各組織を特定識別し、各組織を区画化するために組織ごとに色分けして表示し、頭頸部の各組織の運動を解析することが考えられる。しかしながら、頭頸部は、心臓とは異なり周期的な運動を行っておらず、嚥下時又は咀嚼時には空気や経口摂取物等の組織以外の物質が口腔内に取り込まれることもあり、さらに、複数の組織が重なっている部位も存在する。このため、４次元ＣＴ画像の他、ＭＲＩ（Magnetic Resonance Imaging）画像診断装置により得られる４次元ＭＲＩ画像を解析対象画像とし、当該解析対象動画内の頭頸部の各組織の運動を解析するためには、人手によって解析対象動画内で頭頸部の各組織をそれぞれ組織ごとに区画化する作業が必要となり、その分、人手による作業負担が大きかった。

【0006】

本発明は、このような課題に鑑みてなされたものであり、解析対象動画に基づいて頭頸部の各組織の運動を解析する際に人手による作業負担を軽減し得る画像解析装置及び画像解析方法を提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明の画像解析装置によれば、頭頸部の各組織が運動しているときの頭頸部の内部を撮影した３次元画像が時系列に連続して配置された構成でなる複数の４次元画像について、４次元画像ごとにそれぞれ４次元画像内における頭頸部の各組織をそれぞれ組織ごとに区画化した複数の区画化済４次元画像を、学習用４次元画像群として用いて、組織ごとの特徴を学習させた学習済みモデルを記憶する記憶部と、頭頸部の各組織が運動しているときの頭頸部の内部を撮影した２次元画像が時系列に連続して配置された構成でなる２次元動画、又は、新たな４次元画像を、解析対象動画として取得する画像取得部と、記憶部に記憶されている学習済みモデルを用いて、解析対象動画内における頭頸部の各組織をそれぞれ組織ごとに区画化する動画解析を行う解析部と、を備える。

【0008】

本発明の画像解析方法によれば、頭頸部の各組織が運動しているときの頭頸部の内部を撮影した３次元画像が時系列に連続して配置された構成でなる複数の４次元画像について、４次元画像ごとにそれぞれ４次元画像内における頭頸部の各組織をそれぞれ組織ごとに区画化した複数の区画化済４次元画像を、学習用４次元画像群として用いて、組織ごとの特徴を学習させて学習済みモデルを構築し、頭頸部の各組織が運動しているときの頭頸部の内部を撮影した２次元画像が時系列に連続して配置された構成でなる２次元動画、又は、新たな４次元画像を、解析対象動画として取得し、学習済みモデルを用いて、解析対象動画内における頭頸部の各組織をそれぞれ組織ごとに区画化する動画解析を行う。

【発明の効果】

【0009】

本発明によれば、学習済みの畳み込みニューラルネットワークを用いて、解析対象動画内における頭頸部の各組織をそれぞれ組織ごとに区画化した動画解析を行えることから、その分、人手によって解析対象動画内の各組織をそれぞれ組織ごとに区画化する手間を軽減し得、解析対象動画に基づいて頭頸部の各組織の運動を解析する際に人手による作業負担を軽減し得る。

【図面の簡単な説明】

【0010】

【図1】本実施形態に係る画像解析装置の機能構成を示したブロック図である。

【図2】画像解析装置へ入力される４次元ＣＴ画像の撮影方法の説明図である。

【図3】あるタイミングにおける、下方から１００番目の断面における２次元ＣＴ画像の例である。

【図4】あるタイミングにおける、下方から２００番目の断面における２次元ＣＴ画像の例である。

【図5】あるタイミングにおける、側方からの２次元ＣＴ画像の例である。

【図6】２次元ＣＴ画像を立体再構築した３次元ＣＴ画像の例である。

【図7】図３の２次元ＣＴ画像の時系列の変化を示す図である。

【図8】図４の２次元ＣＴ画像の時系列の変化を示す図である。

【図9】図５の２次元ＣＴ画像の時系列の変化を示す図である。

【図10】図６の３次元ＣＴ画像の時系列の変化を示す図である。

【発明を実施するための形態】

【0011】

図１は、本願の画像解析方法を実行する画像解析装置１の機能構成を示したブロック図である。画像解析装置１は、撮影部２から入力される頭頸部の４次元ＣＴ画像（４次元ＣＴデータ、３次元ＣＴ動画と称されることもある）について、各組織の領域を特定し、各組織のそれぞれの領域を区画化して組織ごとに異なる色を付して強調表示させた区画化済４次元ＣＴ画像を生成して出力する。４次元ＣＴ画像は、例えば、対象者が嚥下や咀嚼または発音を行い、頭頸部の各組織が運動している際の対象者の頭頸部を、公知のＸ線断層装置によって断層撮影することにより得られる複数の２次元のＸ線断層画像（２次元ＣＴ画像）から生成（画像再構成ともいう）した３次元ＣＴ画像を、時系列に沿って連続して配置することにより生成される、各組織の運動時における頭頸部内部を映した動画である。

【0012】

画像解析装置１は、このような４次元ＣＴ画像を構成する２次元のＸ線断層画像のそれぞれについて頭頸部の各組織を特定して組織ごとに区画化する画像解析及び動画解析を行う。なお、本実施形態に係る画像解析装置１では、上述したような４次元ＣＴ画像に対する動画解析を行う場合について主に説明するが、本発明はこれに限らず、例えば、対象者が嚥下や咀嚼又は発音を行っている際の対象者の頭頸部を公知のＸ線断層装置によって断層撮影することにより得られる時系列に連続した２次元ＣＴ動画についても、頭頸部の各組織をそれぞれ特定して組織ごとに区画化する画像解析及び動画解析を行うことができる。そのため、画像解析装置１で画像解析及び動画解析を行う解析対象画像及び動画には、４次元ＣＴ画像に限らず、２次元ＣＴ動画も含まれる。

【0013】

画像解析装置１は、記憶部１１と、画像取得部１２と、画像処理部１３とを備えており、撮影部２からの画像入力を受け付ける。そして、画像処理部１３による動画解析処理を行う際に、学習工程において予め学習しておいた学習済みモデルが利用される。なお、画像解析を行なって画像内から特定の物体が存在する領域を推測して検出し、検出した物体を画像内で区画化することは、領域分割（セグメンテーション）と称されている。画像解析装置１においては、このような領域分割の技術が用いられる。

【0014】

学習モデルは、一例としては、畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Networkとも称する）があるが、畳み込みニューラルネットワークに限らず、ディープニューラルネットワーク（ＤＮＮ：Deep Neural Network）や再帰型ニューラルネットワーク（ＲＮＮ：Recurrent Neural Network）の他の種類のニューラルネットワークや、ＳＶＭ（Support Vector Machine）、及び、ベイズ識別器等の任意の計算アルゴリズムや数理モデルを用いることができる。

【0015】

撮影部２は、例えば、Ｘ線断層装置等であり、咀嚼や嚥下又は発音が行われる領域である対象者の頭頸部、具体的には、鼻腔、口腔、咽頭、喉頭、食道等の各器官を含む領域を断層的にＸ線撮影してゆき、撮影された２次元のＸ線断層画像を再構成して３次元ＣＴ画像を生成する。撮影部２は、このような３次元ＣＴ画像の撮影を、対象者が咀嚼や嚥下を行っている時間（例えば、３秒間）連続して行っており、時系列に沿って順番に取得した複数の３次元ＣＴ画像を当該時系列に沿って順番に配置させた４次元ＣＴ画像（４次元ＣＴデータ、４次元ＣＴ画像、３次元動画とも称する）を生成する。

【0016】

図２は、頭頸部の内部を撮影した４次元ＣＴ画像の取得例を示す。撮影部２は、例えば、頭頸部３１の水平方向断面（ｘｙ面）の２次元ＣＴ画像３２を、上下（ｚ軸）方向に０．５ｍｍ間隔で３２０枚撮影する。なお、ｘｙ面における２次元ＣＴ画像３２の解像度は、ｘｙ軸それぞれにおいて０．５４５ｍｍである。その結果、ｘｙｚ方向において、０．５４５ｍｍ、０．５４５ｍｍ、及び、０．５００ｍｍのボクセルが、それぞれ、５１２個、５１２個、及び、３２０個存在するような３次元ＣＴ画像が生成される。なお、３次元ＣＴ画像の撮影領域は、ｘｙｚ方向おけるボクセルの大きさと数との積により定まるため、ｘｙｚ方向において２７９ｍｍ、２７９ｍｍ、及び、１６０ｍｍの領域を撮影できる。そして、このような３次元ＣＴ画像が、０．１秒間隔で３０フレーム撮影されることで、３秒の４次元ＣＴ画像が生成される。このようにして、撮影部２によって咀嚼時又は嚥下時の頭頸部３１の内部を撮影することにより生成された４次元ＣＴ画像は、記憶部１１に記憶される。

【0017】

再び図１を参照して画像解析装置１の構成を説明する。記憶部１１には、このように撮影部２の撮影により生成された４次元ＣＴ画像に加えて、学習用４次元ＣＴ画像群が記憶されている。学習用４次元ＣＴ画像群は、複数の対象者について咀嚼時又は嚥下時の頭頸部３１の内部をそれぞれ撮影した複数の４次元ＣＴ画像を基に、各４次元ＣＴ画像からそれぞれ生成した複数の区画化済４次元ＣＴ画像から構成されている。区画化済４次元ＣＴ画像は、４次元ＣＴ画像を構成する個々の２次元ＣＴ画像について組織ごとに区画化（領域分割）し、当該組織ごとに区画化した各領域にそれぞれ組織を示すラベル（インスタンス）が重畳された４次元ＣＴ画像である。例えば、区画化済４次元ＣＴ画像においては、気道、食塊、軟口蓋、舌、下顎骨、舌骨、甲状軟骨、喉頭蓋、輪状軟骨、咽頭壁、披裂部、声帯の各組織が区画化して示されている。

【0018】

画像取得部１２は、学習工程と解析工程とで異なる動作を行う。学習工程においては、画像取得部１２は、記憶部１１から学習用の区画化済４次元ＣＴ画像を取得すると、学習部１４に送信する。解析工程においては、画像取得部１２は、記憶部１１から解析対象動画を取得すると、解析部１５に送信する。

【0019】

画像取得部１２は、グループ設定部２１を備えている。ここで、頭頸部３１には、Ｘ線透過性がほぼ同等となる複数の組織が存在するため、これらの組織を器官ごとにグループ分けすることができる。以下においては、第１グループのＸ線の透過性が最も低く、第４グループのＸ線の透過性が最も高い。なお、以下の記載のうち括弧書きのものは、図３～図１０の領域分割例においては領域特定がされていない器官である。

【0020】

第１グループ 骨：頭蓋骨（上顎骨）、頚椎、下顎骨、舌骨、食塊
第２グループ 軟骨：甲状軟骨、（輪状軟骨）、（披裂軟骨）、（喉頭蓋）、（気管軟骨）
第３グループ 軟部組織：（唇）、（頬）、舌、軟口蓋、（咽頭壁）
第４グループ その他：脂肪、空気層、気道

【0021】

２次元ＣＴ画像は、Ｘ線透過性に応じた濃淡で表示される。そこで、グループ設定部２１は、断層撮影により取得した２次元ＣＴ画像の濃淡に対して、閾値に基づいて第１～第４グループのグルーピングを行い、設定したグループを識別する境界を２次元ＣＴ画像に重畳させる。なお、グルーピングに用いられる閾値は、後述の学習部１４内の分割補助部２３に含まれるグループ識別部２４に相当する学習モデルにより得られる値を利用してもよい。このようにＸ線透過性に応じた前処理を行った４次元ＣＴ画像が、画像処理部１３に入力される。

【0022】

学習部１４は、学習用の４次元ＣＴ画像を用いて、頭頸部３１の各組織のそれぞれの特徴を学習モデルに学習させることで、４次元ＣＴ画像を構成する各２次元ＣＴ画像について頭頸部３１の各組織をそれぞれ区画化することが可能な学習済みモデルを構築する。学習部１４によって得られる学習済みモデルによって、各２次元ＣＴ画像内における頭頸部３１の組織が組織ごとに区画化され、対応するラベルが付与される。

【0023】

学習部１４は、機能に着目すると、区画化部２２と、区画化補助部２３とを備える。区画化部２２は、入力された学習用４次元ＣＴ画像群に対して領域分割の技術を用いて機械学習を行う。この区画化部２２により行われる領域分割の機械学習により、４次元ＣＴ画像を構成する２次元ＣＴ画像に対して組織毎に区画化を行う学習済みモデルが得られる。区画化補助部２３は、区画化部２２による区画化の精度を向上させるために、機械学習において補助を行う。区画化補助部２３は、グループ識別部２４、優先学習部２５、及び、不確実性計算部２６を有しており、これらによって機械学習の補助が行われる。

【0024】

なお、学習部１４におけるこのような構成は、学習部１４における機能を説明するために便宜上設けたものであって、実際には、学習部１４においては、画像認識により特徴量を求め、これらの特徴量に基づいて頭頸部３１の各組織を特定する学習が行われており、学習方法を工夫することによって、学習部１４内の各構成と対応する機能が得られる。

【0025】

区画化部２２は、学習工程において、学習用である区画化済４次元ＣＴ画像を教師データとして用いた機械学習を行う。機械学習により得られる学習済みモデルは、入力される４次元ＣＴ画像等の解析対象動画に基づいて領域分割を行い、組織ごとに区画（領域）を特定して、当該区画に組織と対応するラベルを付して出力する。そして、出力される区画及びラベルと教師データの正解区画及びラベルとを損失関数を用いて評価し、評価結果に基づいて最適器が学習モデル内のパラメータを調整する。このような学習を繰り返すことで、最適なパラメータが設定されて、領域分割のための学習済みモデルが得られる。なお、上述の区画化部２２による区画化の処理は、機械学習を用いた一例であって、種々の機械学習の方法を用いることができる。

【0026】

グループ識別部２４は、グループ設定部２１と同様に、２次元ＣＴ画像において各組織の階層性を利用して、第１～第４グループの順に区画化を行う。また、下位グループは上位グループの領域や、グループ間の位置関係を考慮して区画化が行われる。

【0027】

また、グループ識別部２４は、Ｘ線透過性や組織の位置や配置に加えて、所属する器官や組織の硬さに応じて組織をグループ分けしてもよい。例えば、骨等の組織は硬く変形が少なく、軟部組織は柔らかく変形が大きいため、各組織の硬さを考慮してグループ分けをして、区画化をしてもよい。

【0028】

優先学習部２５は、取得した一連の咀嚼嚥下動作を示す解析対象動画の中で、同じ位置で時系列に連続する２次元ＣＴ画像の変化量を抽出し、変化量が小さい時刻の２次元ＣＴ画像を選択して、優先的に機械学習（最適化）を行わせる。その後、変位が大きい時刻の２次元ＣＴ画像を選択して機械学習を行う。

【0029】

咀嚼嚥下動作中には、動作の開始前、終了後、または、動作中に、頭頸部３１の一部または全部の組織の動きが遅くなり、一時的に動作が静止する期間が存在する。変化量が小さい時刻においては区画化の結果に対する信頼性が高いと考えられるので、変化量の小さい時刻の２次元ＣＴ画像を選択して優先的に機械学習を行い、その後、変化量の大きい時刻の２次元ＣＴ画像を選択して機械学習を行う。このように、変化量に応じて機械学習の優先度を変更することで、学習精度を高めることができる。

【0030】

変化量の一例としては、優先学習部２５は、解析対象動画を構成する２次元ＣＴ画像のそれぞれについて、時系列に隣接する２次元ＣＴ画像同士を比較して全ボクセルの変化量の合計を算出する。他の変化量の一例としては、優先学習部２５は、まず、各２次元ＣＴ画像について組織のおおよその識別と位置検知とを行い、時系列に隣接する２次元ＣＴ画像の検知した組織の位置の変化量を算出する。

【0031】

不確実性計算部２６は、自身の機械学習の結果に対する信頼性の低い（不確実性の高い）箇所を求め、その箇所についての学習を強化する。例えば、不確実性計算部２６は、信頼性の低い箇所を自動解析し、性能向上のための追加学習データを自動選択することで、学習を強化する。他の例としては、不確実性計算部２６は、自身の機械学習の結果に対する信頼性の低い（不確実性の高い）箇所を求め、その箇所について自動または手動で学習を強化してもよい。

【0032】

また、学習モデルが畳み込みニューラルネットワークである場合には、畳み込みニューラルネットワークにおける神経回路網の特徴として、畳み込み層間の結合の一部が途切れて脱落しても、最終結果には大きな影響を与えないということが知られている。また、ベイジアンニューラルネットワークのように、出力結果に確率分布を含める技術が知られている。そこで、ニューラルネットワーク内のノードの結合をランダムに脱落させて、出力されるラベルの確率分布が大きく変わらないように学習モデルのパラメータを設定する。

【0033】

なお、不確実性計算部２６は、信頼性の高い結果が得られる時間フレームと、信頼性の低い結果が得られる時間フレームとを区別し、信頼性の高い結果が得られる時間フレームにおける信頼性の高い部分の区画化の結果を考慮して、信頼性の低い時間フレームや信頼性の低い部分の区画化を実行する。このようにして、区画化の精度を向上させることができる。

【0034】

さらに、不確実性計算部２６により算出される不確実性を示すパラメータは、学習済みモデルからの出力に含まれる。これにより、出力された画像を診断する診断者は、区画化の結果の信頼性を参考にして不確実性の低い箇所を優先的に確認することができるため、診断精度の向上を図ることができる。

【0035】

図３は、あるタイミングにおける、下方から１００番目（下端から５０ｍｍの位置）の断面における下顎骨付近をＺ軸側から被撮影者を見た２次元ＣＴ画像の一例である。図４は、あるタイミングにおける、下方から２００番目（下端から１００ｍｍの位置）の断面における上顎骨付近をＺ軸側から被撮影者を見た２次元ＣＴ画像の一例である。図５は、あるタイミングにおける、側方のｘ軸側から被撮影者を見た２次元ＣＴ画像の一例である。これらの２次元ＣＴ画像は、区画化済４次元ＣＴ画像を構成する画像の一部である。

【0036】

図３及び図４では、被撮影者の顔の正面が上方に向かうように撮影（軸位断ともいう）され、図５では、被撮影者の顔が左方に向かうように撮影（矢状断ともいう）される。以下では、各図に示された構成について図中の上下左右の方向を用いて説明するが、２次元ＣＴ画像の配置は図示された例に限らず、任意の方向で配置できる。

【0037】

図３には、図上部に逆Ｖ字型の下顎骨４１が示されており、下顎骨４１の下方に矩形状の舌４２が示されている。舌４２の下方の２か所の角の近傍には、外側下方に向かうような舌骨４８が示されている。また、舌４２の下側には、横方向に延在する気道４３が示されている。そして、気道４３の下方には、４つの部位に分かれて頚椎４４が示されている。なお、この２次元ＣＴ画像において、下顎骨４１～頚椎４４以外の場所は、実際の撮影画像に対して濃淡を２値化して示されている。

【0038】

図４には、図上部に逆Ｕ字型の上顎骨４５が示されており、上顎骨４５の下部に隣接して、比較的大きな領域で同じく逆Ｕ字状の気道４３が示されている。なお、上顎骨は、頭蓋骨の一部であるため、以下では、上顎骨（頭蓋骨）と記載する。この図において、気道４３は、計３か所示されている。そして、上方の２つの気道４３の間には舌４２が示されており、下方の２つの気道４３の間には軟口蓋４６が示されている。また、図３と同様に、下方には、４つの部位に分かれて頚椎４４が示されている。

【0039】

図５においては、被撮影者の気管の上部から鼻の上部までの領域が撮影されており、被撮影者の口唇部が図左方に向き、後頭部が図右方に向かうように示されている。図中央の被撮影者の首の位置には上下方向に延在する頚椎４４が示されている。図左方には、被撮影者の口唇部を構成する下顎骨４１と上顎骨（頭蓋骨）４５とが示されている。下顎骨４１の図右方の内側には、舌４２が示され、上顎骨（頭蓋骨）４５の図右方の内側には、軟口蓋４６が示されている。また、図下方の被撮影者の喉部には、甲状軟骨４７が示されている。

【0040】

また、下顎骨４１、舌４２、及び、上顎骨（頭蓋骨）４５と、頚椎４４との間には、複数の気道４３が示されている。なお、気道４３は、学習済みモデルを利用した解析部１５による画像解析によって、一部の領域のみが区画化して示されることがある。これは、原則として閉じられた領域に対して組織を特定して区画化するが、気道４３の表面が閉じていないことに起因する。また、被撮影者の後頭部には、頭蓋骨４５の一部が示されている。

【0041】

図６は、２次元ＣＴ画像を立体再構築した３次元ＣＴ画像の一例である。この図では図５と同様に、被験者の首から鼻の上部までの領域が撮影されており、被撮影者の口唇部が図左方に向き、後頭部が図右方に向くように示されている。

【0042】

図右部の被撮影者の首の位置には上下方向に延在する頚椎４４が示されており、図上部には、被撮影者の後頭部の頭蓋骨４５が示されている。また、図左方には、頭蓋骨４５の一部である上顎骨とともに被撮影者の口唇部を構成する下顎骨４１が示されおり、下顎骨４１に覆われるように舌４２が示されている。また、被撮影者の首部には左方の正面側に甲状軟骨４７が示されている。また、上述と同様の理由により、気道４３には、一部の領域のみが区画化して示されている。

【0043】

区画化済４次元ＣＴ画像においては、これらの図に示すように、各組織の領域とともに、組織ごとのラベルが付される。また、解析部１５から出力される４次元ＣＴ画像には、これらの図に示すように、分割して表示される領域のそれぞれに対して組織ごとのラベルが付され、さらに、領域認識結果の信頼度もボクセルごとに含まれる。

【0044】

次に、時系列に変化する頭頸部３１の区画化済４次元ＣＴ画像の例について説明する。図７は、図３の２次元ＣＴ画像の学習用データの時系列の変化を示す図であり、図８は、図４の２次元ＣＴ画像の学習用データの時系列の変化を示す図であり、図９は、図５の２次元ＣＴ画像の学習用データの時系列の変化を示す図であり、図１０は、図６の３次元ＣＴ画像の学習用データの時系列の変化を示す図である。これらの図においては、被撮影者が嚥下を行っている場合の時系列の変化が、（ａ）～（ｇ）の順に示されている。

【0045】

図７には、下顎骨付近の２次元ＣＴ画像が示されている。この図に示すように、嚥下に伴って下顎骨４１の撮影位置が変化し、その結果、図中の下顎骨４１の形状が変化する。また、嚥下の動きに伴って、図７（ａ）、（ｂ）で存在する舌４２は、図７（ｃ）においては甲状軟骨４７の上方への移動に伴って消失する。さらに、図７（ｄ）においては気道４３が出現し、図７（ｇ）においては再び舌４２が出現する。また、舌骨４８は、嚥下の動作に伴って上下に移動するため、嚥下開始の図７（ａ）～（ｃ）、及び、嚥下終了の図７（ｇ）には示されるが、嚥下の途中の図７（ｄ）～（ｆ）には示されていない。

【0046】

図８には、上顎骨付近の２次元ＣＴ画像が示されている。この図に示すように、嚥下に伴う上顎骨（頭蓋骨）４５の動きは小さいため、図８（ａ）～（ｇ）において、上顎骨（頭蓋骨）４５の大きさは略同等である。図８においては、主に、舌４２の動きに起因した変化が示されており、図８（ａ）～（ｃ）で大きく示されていた気道４３は、図８（ｅ）では、舌４２に置き換わる。その後、図８（ｆ）、（ｇ）では、舌４２の撮影領域が小さくなり、再び気道４３が出現する。

【0047】

図９には、左側方から見た頭頸部３１の２次元ＣＴ画像が示されている。図８と同様に、嚥下に伴う上顎骨（頭蓋骨）４５の動きは小さく、図７に示したように、下顎骨４１の動きが大きい。下顎骨４１は、図９（ｂ）で上方に移動すると、図９（ｆ）まで大きく位置を変えず、図９（ｇ）において、再び下方に移動する。図９（ｂ）～（ｆ）においては、上顎骨（頭蓋骨）４５及び下顎骨４１の内部において、舌４２の動きによって、気道４３の大きさが変化する。また、軟口蓋４６は、図９（ａ）では舌４２と接しているが、舌４２の動きともに上方に移動して、図９（ｃ）では、舌４２と離間して間に気道４３が形成される。その後、図９（ｆ）では再び舌４２と接触する。

【0048】

図１０には、左側方から見た頭頸部３１の２次元ＣＴ画像を再構築した３次元ＣＴ画像が示されている。図１０（ａ）～（ｇ）は、図９（ａ）～（ｇ）と対応した嚥下の動作が示されている。これらの図に示すように、嚥下に伴う上顎骨（頭蓋骨）４５の動きは小さく、下顎骨４１の動きが大きい。また、頸部においては、図１０（ｂ）～（ｅ）に示すように、嚥下中は甲状軟骨４７が上方に移動し、図１０（ｇ）に示すように、嚥下を終えると甲状軟骨４７は下方に移動する。

【0049】

このように、４次元ＣＴ画像においては、時系列に変化する頭頸部３１の３次元ＣＴ画像が含まれることになる。そして、嚥下動作においては、上顎骨（頭蓋骨）４５の動きは小さく、下顎骨４１は嚥下開始と終了時の動きが大きいが、嚥下中の動きは小さい。また、舌４２は、嚥下開始と終了時の動きが小さいが、嚥下中の動きは大きい。甲状軟骨４７は、嚥下中において周期的に上下に移動する。そのため、全体的に変化量の小さい上顎骨（頭蓋骨）４５の学習を優先した後、嚥下開始や終了時に変化量の小さい下顎骨４１や舌４２の学習を行い、その後、他の組織の学習を行うのが望ましいことが理解できる。

【0050】

また、学習部１４によって行われる機械学習において、他の情報を参照してもよい。撮影対象が心臓や肺である場合には、心電図情報や呼吸周期に同期させて、画像の区画化を行うことがある。仮に４次元ＣＴ画像の時間分解能が低い場合であっても、比較的時間分解能の高いＸ線透視動画（２次元Ｘ線透視動画）を同期させて頭頸部３１の４次元ＣＴ画像を画像解析することで、組織毎の区画化の精度向上を図ることができる。

【0051】

また、４次元ＣＴ画像の区画化を行った結果を、嚥下造影動画等のＸ線透視動画の区画化の学習データとして用いてもよい。他に、４次元ＣＴ画像から、筋骨格（および食塊）の４次元ＣＴ画像への変換を行ってもよい。

【0052】

以下、本実施形態により解決が期待される、頭頸部３１の咀嚼、嚥下領域の動画解析における課題について説明する。

【0053】

１つ目の課題は、Ｘ線透過性に起因するものである。心臓（心筋）や肝臓（肝組織）などの器官は、Ｘ線透過性が略均一な組織で構成され、隣接器官との区別が容易である。また、下肢は、主に筋肉と骨により構成されるが、骨が棒状で、筋も大きいため、区別は比較的容易である。これに対して、頭頸部３１は、第１～第４グループに示したように、グループ間ではＸ線透過性が異なるものの、グループ内ではＸ線透過性がほぼ同じである組織が、一つの器官に混在しているため、器官の区別ならびに器官内での組織の区別が容易ではない。

【0054】

２つ目の課題は、器官や組織の境界の不明瞭さに起因するものである。撮影対象が心臓である場合には、心臓は肺と重なる。撮影対象が肝臓である場合にも、肝臓は他の器官と重なる。しかしながら、両者ともに重なる器官との間には空気層や脂肪組織が存在するので境界を比較的識別しやすい。また、撮影対象が下肢である場合には、筋が大きく筋の境界に脂肪があるので境界は比較的識別しやすい。これに対して、頭頸部３１は、狭い領域に口腔と咽頭、喉頭、食道の複数の器官が存在し、口腔と咽頭、喉頭、食道は切れ目なく連続し、境界部のＸ線透過性も略均一である。また、器官に存在する組織の中には、内部に複数の他の組織を内包するものもある。例えば、口腔では下顎骨や上顎骨と頬、歯、歯肉、舌が重なり、咽頭では舌根、軟口蓋、扁桃、咽頭壁、下顎骨、舌骨、頚椎が重なり、喉頭では喉頭蓋、甲状軟骨、輪状軟骨、声帯、披裂が重なる。そのため、静止時のＣＴ画像でも口腔と咽頭、喉頭の境界、ならびに各器官を構成する組織の境界は不明瞭となってしまう。

【0055】

３つ目の課題は、アーティファクトに起因するものである。撮影対象が心臓である場合には、心臓の運動は周期性のある変形であり、位置は大きく変わらない。撮影対象が肝臓である場合にも、肝臓は呼吸に伴った周期性のある運動を行うが、変形の程度も緩やかである。また、撮影対象が下肢である場合には、下肢は位置を変えるが、筋肉の変形は小さい。これに対して、頭頸部３１は、多数の組織が同時刻に運動し、変形しつつ位置を変え、また、それぞれの組織の運動が速いので、最新の４次元ＣＴ画像の技術を用いても正確な画像を撮影できないという、モーションアーティファクト（モーションブラーともいう）の影響が存在する。さらに口腔内の歯科補綴物に金属が含まれている場合は、メタルアーティファクトの影響も無視できない。

【0056】

これらの課題に対して、本実施形態の画像解析装置１によれば、頭頸部３１の特徴を考慮して機械学習の補助を行う区画化補助部２３内の構成によって、以下のように機械学習の精度向上を図る。

【0057】

グループ識別部２４は、Ｘ線透過率に基づいて組織をグループに分類し、グループ内の組織の特徴を学習モデルに学習させる。例えば、グループ識別部２４は、組織をＸ線透過率の低いグループから高いグループの順に、グループ内の組織の特徴を学習モデルに学習させる。また、グループ識別部２４は、このようにＸ線透過率の異なる組織ごとにグルーピングし、グループごとに領域、位置関係を考慮して、信頼性の高い第１グループから順に各組織の特徴の学習を行うことができる。

【0058】

グループ識別部２４は、さらに組織の配置に基づいてグループに分類し、グループ内の組織の特徴を学習モデルに学習させてもよい。組織の階層性を利用して、信頼性の高い組織から区画化に必要な各組織の特徴の学習を行うことができる。

【0059】

また、区画化補助部２３の優先学習部２５は、４次元ＣＴ画像を構成する２次元ＣＴ画像について時系列に隣接する変化量を求め、変化量の低い２次元ＣＴ画像から高い２次元ＣＴ画像の順に、グループ内の組織の特徴を学習モデルに学習させる。このようにしても、信頼性の高い２次元ＣＴ画像から順に、区画化に必要な各組織の特徴の学習を行うことができる。

【0060】

不確実性計算部２６は、学習モデルがニューラルネットワークである場合には、ニューラルネットワークのノード間の結合を脱落させ、脱落前後において、学習される組織の特徴の差が小さくなるように、ニューラルネットワーク内のパラメータを調整する。不確実性計算部２６は、ある２次元ＣＴ画像について時系列に隣接する２次元ＣＴ画像の変化量を求め、変化量の高い２次元ＣＴ画像から低い２次元ＣＴ画像の順に、グループ内の組織の特徴を学習モデルに学習させる。このようにしても、信頼性の高い２次元ＣＴ画像から順に、区画化に必要な各組織の特徴の学習を行うことができる。

【0061】

また、区画化補助部２３の不確実性計算部２６は、ボクセル毎に不確実性を計算し、計算により得られた不確実性を示すパラメータを出力に含める。このようにすることで、出力された画像を診断する診断者は、出力される信頼性を参考にして不確実性の低い箇所を優先的に確認することができる。

【0062】

このように、学習部１４は、区画化を行う区画化部２２に加えて、さらにその区画化を補助する区画化補助部２３を備えていることにより、頭頸部３１の４次元ＣＴ画像に対する組織ごとの区画化を行う。

【0063】

以上の構成において、画像解析装置１は、頭頸部３１の各組織が運動しているときの頭頸部３１の内部を撮影した３次元画像が時系列に連続して配置された構成でなる複数の４次元画像について、当該４次元画像ごとにそれぞれ４次元画像内における頭頸部３１の各組織をそれぞれ組織ごとに区画化した複数の区画化済４次元画像を、学習用４次元画像群として取得する。そして、画像解析装置１は、学習用４次元画像群を用いて組織ごとの特徴を学習させた学習済みモデルを構築し、当該学習済みモデルを予め記憶部１１に記憶する。

【0064】

画像解析装置１は、頭頸部３１の各組織が運動しているときの頭頸部３１の内部を撮影した２次元画像が時系列に連続して配置された構成でなる２次元動画、又は、新たな前記４次元画像を、解析対象動画として画像取得部１２により取得すると、記憶部１１に記憶されている学習済みモデルを用いて、解析部１５によって、解析対象動画内における頭頸部３１の各組織をそれぞれ組織ごとに区画化する動画解析を行う。

【0065】

これにより、画像解析装置１は、学習済みモデルを用いて、解析対象動画内における頭頸部３１の各組織をそれぞれ組織ごとに区画化した動画解析が行えることから、その分、人手によって解析対象動画内の各組織をそれぞれ組織ごとに区画化する手間を軽減し得、解析対象動画に基づいて頭頸部３１の各組織の運動を解析する際に人手による作業負担を軽減し得る。

【0066】

なお、上述した実施形態においては、２次元動画及び４次元画像として、対象者が嚥下や咀嚼を行っている際の対象者の頭頸部３１を公知のＸ線断層装置によって断層撮影することにより得られる２次元ＣＴ動画や４次元ＣＴ画像を適用した場合について述べたが、本発明はこれに限らず、例えば、対象者が嚥下や咀嚼を行っている際の対象者の頭頸部３１を公知のＭＲＩ画像診断装置によって断層撮影することにより得られる２次元ＭＲＩ動画や４次元ＭＲＩ画像を、２次元動画及び４次元画像として適用してもよい。

【0067】

なお、本発明は、本発明の広義の精神と範囲を逸脱することなく、様々な実施形態及び変形が可能とされるものである。また、上述した実施形態は、本発明を説明するためのものであり、本発明の範囲を限定するものではない。すなわち、本発明の範囲は、実施形態ではなく、特許請求の範囲によって示される。そして、特許請求の範囲内及びそれと同等の発明の意義の範囲内で施される様々な変形が、本発明の範囲内とみなされる。

【符号の説明】

【0068】

１ 画像解析装置
１１ 記憶部
１２ 画像取得部
１３ 画像処理部
１４ 学習部
１５ 解析部
３１ 頭頸部
３２ ２次元ＣＴ画像

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】