特開 2023-6254 情報処理装置、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023006254

(43)【公開日】2023-01-18

(54)【発明の名称】情報処理装置、及びプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20230111BHJP

【ＦＩ】

G06T7/00 612

G06T7/00 350C

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2021108762

(22)【出願日】2021-06-30

(71)【出願人】

【識別番号】506218664

【氏名又は名称】公立大学法人名古屋市立大学

(74)【代理人】

【識別番号】100106909

【弁理士】

【氏名又は名称】棚井 澄雄

(74)【代理人】

【識別番号】100188558

【弁理士】

【氏名又は名称】飯田 雅人

(74)【代理人】

【識別番号】100161207

【弁理士】

【氏名又は名称】西澤 和純

(74)【代理人】

【識別番号】100152272

【弁理士】

【氏名又は名称】川越 雄一郎

(72)【発明者】

【氏名】小川 正樹

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096BA06

5L096BA13

5L096DA01

5L096EA35

5L096GA08

5L096GA59

5L096HA11

5L096KA04

(57)【要約】

【課題】２つの画像の差分に基づく処理の精度を向上させることができる情報処理装置を提供すること。
【解決手段】機械学習のモデルのうち、入力された画像を再構成することが可能な第１モデルへ第１画像を入力する画像入力部と、第１画像が入力された後の第１モデルにより再構成された第２画像を取得する画像取得部と、画像取得部により取得された第２画像を縮小した第３画像を生成する縮小画像生成部と、第１画像上に描画された像と同じ像が描画された画像であり、且つ、第３画像と同じ大きさの画像である第０画像と、第３画像とを比較し、第０画像と第３画像との差を示す差分情報を出力する差分情報出力部と、を備える情報処理装置。
【選択図】図１

【特許請求の範囲】

【請求項1】

機械学習のモデルのうち、入力された画像を再構成することが可能な第１モデルへ第１画像を入力する画像入力部と、
前記第１画像が入力された後の前記第１モデルにより再構成された第２画像を取得する画像取得部と、
前記画像取得部により取得された前記第２画像を縮小した第３画像を生成する縮小画像生成部と、
前記第１画像上に描画された像と同じ像が描画された画像であり、且つ、前記第３画像と同じ大きさの画像である第０画像と、前記第３画像とを比較し、前記第０画像と前記第３画像との差を示す差分情報を出力する差分情報出力部と、
を備える情報処理装置。

【請求項2】

前記第１画像は、前記第０画像が前記第２画像と同じ大きさに拡大された画像である、
請求項１に記載の情報処理装置。

【請求項3】

前記第０画像を前記第２画像と同じ大きさに拡大して前記第１画像を生成する拡大画像生成部を更に備える、
請求項２に記載の情報処理装置。

【請求項4】

前記第０画像は、前記第１画像が前記第３画像と同じ大きさに縮小された画像である、
請求項１に記載の情報処理装置。

【請求項5】

前記縮小画像生成部は、前記第１画像を前記第３画像と同じ大きさに縮小して前記第０画像を生成する、
請求項４に記載の情報処理装置。

【請求項6】

前記第０画像及び前記第１画像は、被撮像者の観察対象部位が撮像された画像であり、且つ、前記被撮像者の前記観察対象部位が撮像されたＣＴ画像から抽出された画像であり、
前記観察対象部位は、人が有する部位のうち、人の内耳を含むと推定される部位であり、
前記情報処理装置は、前記差分情報出力部により出力された前記差分情報に基づいて、前記被撮像者の内耳に異常があるか否かを判定する異常判定部を更に備える、
請求項１から５のうちいずれか一項に記載の情報処理装置。

【請求項7】

前記第１モデルには、前記被撮像者と異なる人の前記観察対象部位が撮像された画像であり、且つ、正常な内耳を含む前記観察対象部位が撮像された画像が学習されている、
請求項６に記載の情報処理装置。

【請求項8】

前記ＣＴ画像内の領域のうち前記観察対象部位を含む領域の画像を、前記第０画像又は前記第１画像として前記ＣＴ画像から抽出する画像抽出部を更に備える、
請求項６又は７に記載の情報処理装置。

【請求項9】

前記画像抽出部は、前記ＣＴ画像が有する複数のピクセルのうち、ＣＴ値についての予め決められた条件を満たすピクセルを抽出し、抽出したピクセルに基づいて、前記ＣＴ画像上の位置を示す座標のうち、前記観察対象部位を含む領域の中心として指定する座標を中心座標として算出し、算出した前記中心座標に基づいて、前記観察対象部位を含む領域の画像を前記ＣＴ画像から前記第０画像又は前記第１画像として抽出する、
請求項８に記載の情報処理装置。

【請求項10】

前記予め決められた条件は、前記複数のピクセルをＣＴ値の高い順に並べた場合における最上位から所定順位までのピクセルであること、である、
請求項９に記載の情報処理装置。

【請求項11】

コンピューターに、
機械学習のモデルのうち、入力された画像を再構成することが可能な第１モデルへ第１画像を入力する画像入力ステップと、
前記第１画像が入力された後の前記第１モデルにより再構成された第２画像を取得する画像取得ステップと、
前記画像取得ステップにより取得された前記第２画像を縮小した第３画像を生成する縮小画像生成ステップと、
前記第１画像上に描画された像と同じ像が描画された画像であり、且つ、前記第３画像と同じ大きさの画像である第０画像と、前記第３画像とを比較し、前記第０画像と前記第３画像との差を示す差分情報を出力する差分情報出力ステップと、
を実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

この発明は、情報処理装置、及びプログラムに関する。

【背景技術】

【0002】

コンピューター断層撮像装置（ＣＴ）等の断層撮像装置により被撮像者が撮像された断層画像と、機械学習のモデルとに基づいて、被撮像者が有する部位のうちの観察対象となる観察対象部位の異常の有無を判定する技術についての研究、開発が行われている。

【0003】

これに関し、以下の特許文献１には、断層画像内の領域から異常の疑いのある領域として抽出された抽出領域内における異常の有無を、機械学習のモデルを用いて自律的に行ってもよいことについて記載されている。なお、ここで言う異常とは、例えば、疾患、奇形、形成不全（例えば、無形成、低形成等）等のことである。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】再公表ＷＯ２０１９／１１２０５０号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ここで、画像の再構成を行う機械学習のモデルによる断層画像の再構成を用いて、断層画像内に存在しうる異常の有無の判定を行う方法も、試みられている。画像の再構成を行う機械学習のモデルとしては、例えば、変分自己符号化器（Variational Autoencoder；ＶＡＥ）等が挙げられる。この方法では、異常が存在しない断層画像を当該モデルに学習させる。この場合、当該モデルは、異常が存在する断層画像が入力された場合、異常が存在しない断層画像に似た画像を出力画像として再構成し、異常が存在しない断層画像が入力された場合も、異常が存在しない断層画像に似た画像を出力画像として再構成する。このため、当該方法では、当該モデルに入力した入力画像と、当該モデルが再構成した出力画像との差を示す差分情報に基づいて、断層画像内に存在しうる異常の有無の判定が行うことができる。しかしながら、当該モデルにより再構成された出力画像には、ボケが生じてしまうことがある。このようなボケは、当該差分情報におけるノイズとなり、入力画像と出力画像との２つの画像の差分を示す当該差分情報の精度を低下させてしまう。その結果、このようなボケは、断層画像内に存在しうる異常の有無の判定精度の低下を招いてしまうことがある。

【0006】

そこで本発明は、上記従来技術の問題に鑑みてなされたものであり、２つの画像の差分に基づく処理の精度を向上させることができる情報処理装置、及びプログラムを提供する。

【課題を解決するための手段】

【0007】

本発明の第１の態様は、下記の［１］～［９］の態様を有する。
［１］機械学習のモデルのうち、入力された画像を再構成することが可能な第１モデルへ第１画像を入力する画像入力部と、前記第１画像が入力された後の前記第１モデルにより再構成された第２画像を取得する画像取得部と、前記画像取得部により取得された前記第２画像を縮小した第３画像を生成する縮小画像生成部と、前記第１画像上に描画された像と同じ像が描画された画像であり、且つ、前記第３画像と同じ大きさの画像である第０画像と、前記第３画像とを比較し、前記第０画像と前記第３画像との差を示す差分情報を出力する差分情報出力部と、を備える情報処理装置。
［２］前記第１画像は、前記第０画像が前記第２画像と同じ大きさに拡大された画像である、［１］に記載の情報処理装置。
［３］前記第０画像を前記第２画像と同じ大きさに拡大して前記第１画像を生成する拡大画像生成部を更に備える、［２］に記載の情報処理装置。
［４］前記第０画像は、前記第１画像が前記第３画像と同じ大きさに縮小された画像である、［１］に記載の情報処理装置。
［５］前記縮小画像生成部は、前記第１画像を前記第３画像と同じ大きさに縮小して前記第０画像を生成する、［４］に記載の情報処理装置。
［６］前記第０画像及び前記第１画像は、被撮像者の観察対象部位が撮像された画像であり、且つ、前記被撮像者の前記観察対象部位が撮像されたＣＴ画像から抽出された画像であり、前記観察対象部位は、人が有する部位のうち、人の内耳を含むと推定される部位であり、前記情報処理装置は、前記差分情報出力部により出力された前記差分情報に基づいて、前記被撮像者の内耳に異常があるか否かを判定する異常判定部を更に備える、［１］から［５］のうちいずれか一項に記載の情報処理装置。
［７］前記第１モデルには、前記被撮像者と異なる人の前記観察対象部位が撮像された画像であり、且つ、正常な内耳を含む前記観察対象部位が撮像された画像が学習されている、［６］に記載の情報処理装置。
［８］前記ＣＴ画像内の領域のうち前記観察対象部位を含む領域の画像を、前記第０画像又は前記第１画像として前記ＣＴ画像から抽出する画像抽出部を更に備える、［６］又は［７］に記載の情報処理装置。
［９］前記画像抽出部は、前記ＣＴ画像が有する複数のピクセルのうち、ＣＴ値についての予め決められた条件を満たすピクセルを抽出し、抽出したピクセルに基づいて、前記ＣＴ画像上の位置を示す座標のうち、前記観察対象部位を含む領域の中心として指定する座標を中心座標として算出し、算出した前記中心座標に基づいて、前記観察対象部位を含む領域の画像を前記ＣＴ画像から前記第０画像又は前記第１画像として抽出する、［８］に記載の情報処理装置。
［１０］前記予め決められた条件は、前記複数のピクセルをＣＴ値の高い順に並べた場合における最上位から所定順位までのピクセルであること、である、［９］に記載の情報処理装置。
［１１］コンピューターに、機械学習のモデルのうち、入力された画像を再構成することが可能な第１モデルへ第１画像を入力する画像入力ステップと、前記第１画像が入力された後の前記第１モデルにより再構成された第２画像を取得する画像取得ステップと、前記画像取得ステップにより取得された前記第２画像を縮小した第３画像を生成する縮小画像生成ステップと、前記第１画像上に描画された像と同じ像が描画された画像であり、且つ、前記第３画像と同じ大きさの画像である第０画像と、前記第３画像とを比較し、前記第０画像と前記第３画像との差を示す差分情報を出力する差分情報出力ステップと、を実行させるためのプログラム。

【発明の効果】

【0008】

本発明によれば、２つの画像の差分に基づく処理の精度を向上させることができる。

【図面の簡単な説明】

【0009】

【図1】情報処理装置１の構成の一例を示す図である。

【図2】入力画像が入力されたＶＡＥが出力画像を再構成する流れの一例を示す図である。

【図3】制御部１１が行う異常判定処理の流れの一例を示す図である。

【図4】抽出画像、縮小後出力画像、差分画像、二値化画像、重畳画像のそれぞれの一例を示す図である。

【図5】図３に示したフローチャートの処理の流れを、模式的に示したイメージ図である。

【図6】制御部１１が行う異常判定処理の流れの他の例を示す図である。

【図7】制御部１１が行う画像抽出処理の流れの一例を示す図である。

【図8】ＣＴ画像における耳嚢のＣＴ値と、ＣＴ画像における耳嚢の周囲の部位のＣＴ値とのそれぞれについての人の加齢による変化の一例を示す図である。

【図9】中心座標画像ＣＰ１の一例を示す図である。

【発明を実施するための形態】

【0010】

＜実施形態＞
以下、本発明の実施形態について、図面を参照して説明する。

【0011】

＜情報処理装置の概要＞
まず、実施形態に係る情報処理装置の概要について説明する。

【0012】

実施形態に係る情報処理装置は、画像入力部と、画像取得部と、縮小画像生成部と、差分情報出力部を備える。

【0013】

ここで、画像入力部は、第１モデルへ第１画像を入力する。第１モデルは、機械学習のモデルのうち、入力された画像を再構成することが可能なモデルのことであり、例えば、変分自己符号化器（Variational Autoencoder；ＶＡＥ）等のことである。画像取得部は、第１画像が入力された後の第１モデルにより再構成された第２画像を取得する。縮小画像生成部は、画像取得部により取得された第２画像を縮小した第３画像を生成する。差分情報出力部は、第１画像上に描画された像と同じ像が描画された画像であり、且つ、第３画像と同じ大きさの画像である第０画像と、第３画像とを比較し、第０画像と第３画像との差を示す差分情報を出力する。

【0014】

このような構成により、実施形態に係る情報処理装置は、第３画像に含まれるノイズを低減することができ、その結果、２つの画像の差分に基づく処理の精度を向上させることができる。

【0015】

以下では、実施形態に係る情報処理装置の構成と、当該情報処理装置が行う処理について詳しく説明する。

【0016】

＜情報処理装置の構成＞
以下、実施形態に係る情報処理装置の一例として情報処理装置１を例に挙げて、実施形態に係る情報処理装置の構成について説明する。なお、実施形態では、ある物体Ｘが撮像された画像のことを、物体Ｘの像が描画された画像と称することがある。ここで、物体Ｘは、如何なる物体であってもよく、例えば、以下において説明する観察対象部位等のことである。

【0017】

図１は、情報処理装置１の構成の一例を示す図である。

【0018】

情報処理装置１は、ユーザーにより入力された画像に基づいて、当該画像に描画された像が表す物体の異常の有無を判定する。当該画像は、如何なる像が描画された画像であってもよい。以下では、一例として、ユーザーにより情報処理装置１へ入力される画像が、人が有する部位のうちの観察対象となる観察対象部位が描画された画像、すなわち、観察対象部位が撮像された画像である場合について説明する。観察対象部位は、人が有する部位のうちの観察対象となり得る部位であれば、如何なる部位であってもよい。以下では、一例として、観察対象部位が、人が有する部位のうち、人の内耳を含むと推定される部位である場合について説明する。人の内耳を含むと推定される部位は、例えば、耳嚢である。耳嚢は、内耳の構造に隣接して取り囲む骨構造であり、側頭骨の一部である。なお、人が有する部位のうち、人の内耳を含むと推定される部位は、耳嚢に代えて、側頭骨の全部、頭蓋骨、頭部等のように、人の内耳を含むと推定されるより広範な部位であってもよい。また、以下では、一例として、ユーザーにより情報処理装置１へ入力される画像に撮像されている観察対象部位が、被撮像者Ｚの観察対象部位である場合について説明する。この場合、情報処理装置１は、被撮像者Ｚの内耳の異常の有無を判定する。内耳の異常は、例えば、内耳の奇形、内耳の一部又は全部の形成不全（無形成、低形成等）等のことである。なお、例えば、ある人の内耳に異常がない場合、当該人の観察対象部位が撮像された画像には、正常な内耳が撮像されているはずである。一方、例えば、ある人の内耳に奇形、形成不全等がある場合、当該人の観察対象部位が撮像された画像には、奇形、形成不全等の内耳が撮像されているはずである。また、ある人の内耳の全部が無形成である場合、当該人の観察対象部位が撮像された画像には、内耳の全部が撮像されず、内耳の辺縁を形作る耳嚢の一部が撮像されていることが多い。

【0019】

また、情報処理装置１は、機械学習のモデルを利用して、被撮像者Ｚの内耳の異常の有無の判定を行う。情報処理装置１において利用される機械学習のモデルは、入力された画像を再構成することが可能なモデルであれば、如何なるモデルであってもよい。入力された画像を再構成することが可能なモデルは、変分自己符号化器（Variational Autoencoder；ＶＡＥ）、アノマリー敵対的生成ネットワーク（Anomaly Generative Adversarial Network；Ａｎｏｍａｌｙ ＧＡＮ）等のことである。以下では、一例として、情報処理装置１において利用される機械学習のモデルが、ＶＡＥである場合について説明する。また、以下では、説明の便宜上、ＶＡＥに入力される画像を、入力画像と称して説明する。また、以下では、説明の便宜上、ＶＡＥから出力される画像、すなわち、ＶＡＥによって再構成された画像を、出力画像と称して説明する。入力画像は、前述の第１画像の一例である。出力画像は、前述の第２画像の一例である。

【0020】

情報処理装置１は、予め決められた種類の画像をＶＡＥに予め学習させる。この一例において、予め決められた種類の画像は、正常な内耳を含む観察対象部位が撮像された画像である。ただし、ＶＡＥに学習させる画像に撮像された観察対象部位は、被撮像者Ｚと異なる人の観察対象部位である。なお、ＶＡＥに学習させる画像は、正常な内耳を含む観察対象部位が描画されたＣＧ（Computer Graphics）等であってもよい。以下では、説明の便宜上、正常な内耳を含む観察対象部位を、正常部位と称して説明する。また、以下では、説明の便宜上、正常部位が撮像された画像を、正常画像と称して説明する。また、以下では、説明の便宜上、異常な内耳を含む観察対象部位を、異常部位と称して説明する。また、以下では、説明の便宜上、異常部位が撮像された画像を、異常画像と称して説明する。

【0021】

正常画像を学習済のＶＡＥは、正常画像が入力画像として入力された場合、入力画像である正常画像に似た画像、又は、入力画像である正常画像とほぼ同じ画像を出力画像として再構成する。一方、当該ＶＡＥは、異常画像が入力画像として入力された場合、異常画像である入力画像よりも正常画像に似た画像を出力画像として再構成する。

【0022】

図２は、入力画像が入力されたＶＡＥが出力画像を再構成する流れの一例を示す図である。図２に示した画像ＩＰ１は、入力画像の一例であり、正常画像の一例である。正常画像が予め学習されたＶＡＥのエンコーダーに画像ＩＰ１が入力されると、エンコーダーは、画像ＩＰ１を潜在変数へ変換する。その後、当該ＶＡＥのデコーダーは、エンコーダーによって変換された潜在変数に基づいて、出力画像を再構成する。図２に示した画像ＯＰ１は、画像ＩＰ１が入力された当該ＶＡＥが再構成した出力画像の一例である。図２に示したように、画像ＯＰ１は、正常画像である画像ＩＰ１とほぼ同じ画像としてデコーダーにより再構成されている。このため、画像ＩＰ１と画像ＯＰ１との差は、ほぼない。一方、図２に示した画像ＩＰ２も、入力画像の一例であり、異常画像の一例（図２に示した例では、外側半規管と前庭とが一塊となって単一腔を形成している形成異常の内耳の画像）である。当該ＶＡＥのエンコーダーに画像ＩＰ２が入力されると、エンコーダーは、画像ＩＰ２を潜在変数へ変換する。その後、当該ＶＡＥのデコーダーは、エンコーダーによって変換された潜在変数に基づいて、出力画像を再構成する。図２に示した画像ＯＰ２は、画像ＩＰ２が入力された当該ＶＡＥが再構成した出力画像の一例である。図２に示したように、画像ＯＰ２は、異常画像である画像ＩＰ２よりも、正常画像である画像ＩＰ１に似た画像としてデコーダーにより再構成されている。このため、画像ＩＰ２と画像ＯＰ２との差は、画像ＩＰ１と画像ＯＰ１との差よりも大きい。従って、情報処理装置１は、入力画像と出力画像と差の大きさに応じて、入力画像に撮像された内耳の異常の有無を判定することができる。

【0023】

しかしながら、ＶＡＥから出力される画像には、ボケが生じる。このようなボケは、入力画像と出力画像との差を示す差分情報におけるノイズとなり、被撮像者Ｚの内耳の異常の有無の判定精度の低下を招いてしまうことがある。例えば、図２に示した画像ＯＰ１にボケが大量に発生した場合、画像ＩＰ１と画像ＯＰ１との差が大きくなり、正常な内耳が画像ＩＰ１に撮像されているにもかかわらず、異常な内耳が画像ＩＰ１に撮像されている（又は内耳の一部又は全部が画像ＩＰ１に撮像されていない）、すなわち、内耳に異常があると判定されてしまうことが起こり得る。また、例えば、図２に示した画像ＯＰ２にボケが大量に発生した場合、画像ＩＰ２と画像ＯＰ２との差が大きくなるだけではなく、異常があると判定されてしまう領域が広くなり過ぎてしまい、異常部位の特定が困難になることがある。逆に言えば、ＶＡＥから出力される画像のボケを低減することは、異常部位の特定を容易にすることができるとともに、異常判定の精度を向上させることに繋がるため、重要である。

【0024】

ここで、出願人は、出力画像を縮小することにより、出力画像に生じたボケを低減することができることに気付いた。例えば、ある出力画像の各行のピクセル数が２０ピクセルであり、且つ、各行に２ピクセルのボケが生じていた場合、各行のピクセル数が１０ピクセルとなるように当該出力画像を１／２の大きさに縮小した縮小画像では、各行のボケは、２ピクセルの１／２、すなわち、１ピクセルとなる。このため、出力画像を縮小すると、各行における単位ピクセルあたりのボケの量が減るわけではないが、出力画像に含まれる各行のボケの総量は、減少する。従って、出力画像を縮小することにより、出力画像に生じたボケを低減することができる。

【0025】

また、ＶＡＥに入力画像を入力した場合において、入力画像の各行のピクセル数を変更しても、計算の変更による若干のボケの量の変化を考慮しなければ、ＶＡＥから出力される出力画像の各行において生じるボケの量は変わらない。例えば、各行のピクセル数が２０ピクセルの入力画像をＶＡＥに入力した場合においてＶＡＥから出力される出力画像の各行において生じるボケの量と、各行のピクセル数が１０ピクセルの入力画像をＶＡＥに入力した場合においてＶＡＥから出力される出力画像の各行において生じるボケの量とは、同じ量であることが多い。すなわち、入力画像の拡縮によって、出力画像に生じるボケの量は、ほとんど変化しない（又は全く変化しない）ことが多い。一方、前述した通り、出力画像を縮小すると、出力画像における各行のボケの総量は、減少する。このような事情から、入力画像を拡大してからＶＡＥに入力し、その後、ＶＡＥから出力された出力画像を縮小することにより、より確実に、精度の高い差分情報を生成することができる。当然ながら、前述したように、入力画像を拡大しなかったとしても、ＶＡＥから出力された出力画像を単に縮小することによっても、精度の高い差分情報を生成することができる。

【0026】

そこで、情報処理装置１は、ＶＡＥにより再構成された出力画像を縮小する。これにより、情報処理装置１は、出力画像に生じたボケを低減することができる。その結果、情報処理装置１は、被撮像者Ｚの内耳の異常の有無の判定精度を向上させることができる。換言すると、情報処理装置１は、入力画像に描画された像の異常の有無の判定精度を向上させることができる。更に換言すると、情報処理装置１は、２つの画像の差分に基づく処理の精度を向上させることができる。すなわち、入力画像に描画された像の異常の有無の判定は、２つの画像の差分に基づく処理の一例である。以下では、説明の便宜上、情報処理装置１により縮小された後の出力画像を、縮小後出力画像と称して説明する。縮小後入力画像は、前述の第３画像の一例である。

【0027】

また、情報処理装置１は、観察対象となる像が描画された画像から、観察対象となる像の周辺の領域の画像を、自動的に抽出する。以下では、一例として、被撮像者Ｚの観察対象部位が撮像された画像が、コンピューター断層撮像装置（Computed Tomography；ＣＴ）によって当該観察対象部位が撮像されたＣＴ画像（例えば、ＤＩＣＯＭ（Digital Imaging and COmmunications in Medicine）画像等）である場合について説明する。この場合、前述の入力画像は、当該ＣＴ画像から情報処理装置１により抽出された画像となる。以下では、説明の便宜上、ＣＴによって被撮像者Ｚの観察対象部位が撮像されたＣＴ画像を、単にＣＴ画像と称して説明する。ここで、ＣＴ画像そのものを入力画像として用いた場合、ＶＡＥによる出力画像の再構成に要する時間は、ＣＴ画像の一部を入力画像として用いた場合と比較して、長くなる。これは、情報処理装置１の演算能力を無制限に大きくすることができないことに起因し、観察対象部位の観察時間の増大に繋がるため、望ましくない。このような事情から、情報処理装置１は、ＣＴ画像の全体の領域よりも小さい領域であり、且つ、被撮像者Ｚの観察対象部位を含む領域の画像を、ＣＴ画像から自動的に抽出する。以下では、説明の便宜上、ＣＴ画像の全体の領域よりも小さい領域であり、且つ、被撮像者Ｚの観察対象部位を含む領域の画像として、ＣＴ画像から抽出された画像を、抽出画像と称して説明する。なお、抽出画像は、ＣＴ画像から抽出される画像であるため、三次元画像であるが、二次元画像であってもよい。抽出画像が二次元画像である場合、抽出画像の抽出元の画像は、ＣＴ画像と異なる二次元画像であってもよく、ＣＴ画像のような三次元画像であってもよい。

【0028】

情報処理装置１は、制御部１１と、記憶部１２と、入力受付部１３と、通信部１４と、表示部１５を備える。なお、情報処理装置１は、これらに加えて、他の機能部、他の装置等を備える構成であってもよい。

【0029】

制御部１１は、情報処理装置１の全体を制御する。制御部１１は、例えば、ＣＰＵ（Central Processing Unit）である。なお、制御部１１は、機械学習のモデルを用いた演算を行うため、ＣＰＵに加えて、又は、ＣＰＵに代えて、ＧＰＵ（Graphics Processing Unit）を含む構成であることが望ましい。また、制御部１１は、ＣＰＵに代えて、ＦＰＧＡ（Field Programmable Gate Array）等の他のプロセッサーであってもよい。制御部１１は、記憶部１２に記憶された各種のプログラムを実行することにより、情報処理装置１における各種の処理を行う。

【0030】

制御部１１は、画像抽出部１６１と、画像入力部１６２と、画像再構成部１６３と、画像取得部１６４と、縮小画像生成部１６５と、拡大画像生成部１６６と、差分情報出力部１６７と、判定部１６８と、表示制御部１６９を備える。制御部１１が備えるこれらの機能部は、例えば、ＣＰＵとＧＰＵとの少なくとも一方である制御部１１が、記憶部１２に記憶された各種のプログラムを実行することにより実現される。なお、当該機能部のうちの一部又は全部は、ＬＳＩ（Large Scale Integration）、ＡＳＩＣ（Application Specific Integrated Circuit）等のハードウェア機能部により実現されてもよい。

【0031】

画像抽出部１６１は、ＣＴ画像の全体の領域よりも小さい領域であり、且つ、被撮像者Ｚの観察対象部位を含む領域の画像を、抽出画像としてＣＴ画像から抽出する。

【0032】

画像入力部１６２は、受け付けた操作により指定された画像を、入力画像として画像再構成部１６３に入力する。

【0033】

画像再構成部１６３は、画像入力部１６２により入力された入力画像に基づいて、ＶＡＥによる出力画像の再構成を行う。なお、画像再構成部１６３は、情報処理装置１と通信可能に接続される外部の装置に備えられていてもよい。この場合、情報処理装置１は、当該外部の装置へ入力画像を入力し、当該外部の装置から出力画像を取得する。

【0034】

画像取得部１６４は、画像再構成部１６３により再構成された出力画像を取得する。

【0035】

縮小画像生成部１６５は、画像の縮小を行う。例えば、縮小画像生成部１６５は、画像取得部１６４により取得された出力画像を縮小し、縮小後出力画像を生成する。

【0036】

拡大画像生成部１６６は、画像の拡大を行う。例えば、拡大画像生成部１６６は、ユーザーから受け付けた操作に応じて、ユーザーにより選択された画像の拡大を行う。

【0037】

差分情報出力部１６７は、２つの画像の差を示す差分情報を生成する。

【0038】

判定部１６８は、差分情報出力部１６７により生成された差分情報に基づく判定を行う。例えば、判定部１６８は、当該差分情報に基づいて、被撮像者Ｚの内耳の異常の有無を判定する。

【0039】

表示制御部１６９は、表示部１５に表示させる各種の画像を生成する。表示制御部１６９は、生成した画像を表示部１５に表示させる。

【0040】

記憶部１２は、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等を含む。なお、記憶部１２は、情報処理装置１に内蔵されるものに代えて、ＵＳＢ（Universal Serial Bus）等のデジタル入出力ポート等によって接続された外付け型の記憶装置であってもよい。記憶部１２は、情報処理装置１が処理する各種の情報、各種の画像、動作プログラム等を格納する。

【0041】

入力受付部１３は、キーボード、マウス、タッチパッド等の入力装置である。なお、入力受付部１３は、表示部１５と一体に構成されたタッチパネルであってもよい。

【0042】

通信部１４は、例えば、ＵＳＢ等のデジタル入出力ポートやイーサネット（登録商標）ポート等を含んで構成される。

【0043】

表示部１５は、例えば、液晶ディスプレイパネル、有機ＥＬ（ElectroLuminescence）ディスプレイパネルである。

【0044】

＜制御部が行う異常判定処理＞
以下、図３を参照し、制御部１１が行う異常判定処理について説明する。図３は、制御部１１が行う異常判定処理の流れの一例を示す図である。ここで、異常判定処理は、制御部１１が行う処理のうち、受け付けた入力画像に基づいて、入力画像に撮像されている観察対象部位における内耳の異常の有無を判定する処理のことである。以下では、一例として、図３に示したステップＳ１１０の処理が行われるよりも前のタイミングにおいて、抽出画像が記憶部１２に予め記憶されている場合について説明する。記憶部１２に予め記憶された抽出画像は、情報処理装置１がＣＴ画像から抽出した画像であってもよく、他の装置によりＣＴ画像から抽出された画像であってもよい。記憶部１２に予め記憶された抽出画像が他の装置によりＣＴ画像から抽出された画像である場合、情報処理装置１は、抽出画像をＣＴ画像から抽出した他の装置から抽出画像を取得する。情報処理装置１が当該他の装置から抽出画像を取得する方法は、如何なる方法であってもよい。また、以下では、一例として、当該タイミングにおいて、異常判定処理を開始する操作を情報処理装置１が予め受け付けている場合について説明する。

【0045】

画像入力部１６２は、記憶部１２に予め記憶された抽出画像を記憶部１２から読み出す（ステップＳ１１０）。

【0046】

拡大画像生成部１６６は、ステップＳ１１０において画像入力部１６２が読み出した抽出画像を、予め決められた画像補完法Ｍ１により、予め決められた大きさに拡大した画像を生成する（ステップＳ１２０）。予め決められた大きさは、抽出画像よりも大きな大きさであれば、如何なる大きさであってもよい。予め決められた大きさは、例えば、抽出画像の縦横高さそれぞれの方向の長さを２倍にした大きさである。画像補完法Ｍ１は、例えば、バイキュービック法である。なお、画像補完法Ｍ１は、バイリニア法、ニアレストネイバー法等の他の画像補完法であってもよい。

【0047】

次に、画像入力部１６２は、ステップＳ１２０において拡大画像生成部１６６により生成された画像を、入力画像として画像再構成部１６３のＶＡＥに入力する（ステップＳ１３０）。

【0048】

次に、画像再構成部１６３は、ステップＳ１３０においてＶＡＥに入力された入力画像に基づいて、ＶＡＥに出力画像を再構成させる（ステップＳ１４０）。

【0049】

次に、画像取得部１６４は、ステップＳ１４０において画像再構成部１６３により再構成された出力画像を画像再構成部１６３のＶＡＥから取得する（ステップＳ１５０）。

【0050】

次に、縮小画像生成部１６５は、ステップＳ１５０において画像取得部１６４により取得された出力画像を、画像補完法Ｍ１により、抽出画像の大きさと同じ大きさに縮小した縮小後出力画像を生成する（ステップＳ１６０）。これにより、情報処理装置１は、前述した通り、縮小後出力画像に含まれるノイズを、低減することができる。ステップＳ１６０の処理により縮小後出力画像に含まれるノイズが低減される理由については、既に説明済であるため、ここでの詳細な説明を省略する。

【0051】

次に、差分情報出力部１６７は、ステップＳ１１０において画像入力部１６２が読み出した抽出画像と、ステップＳ１６０において縮小画像生成部１６５により生成された縮小後出力画像との差を示す差分情報を生成し、生成した差分情報を出力する（ステップＳ１７０）。ここで、ステップＳ１７０の処理について説明する。縮小後出力画像は、抽出画像と同じ大きさの画像である。より具体的には、縮小後出力画像のピクセル数と、抽出画像のピクセル数とは、同じ数である。このため、差分情報出力部１６７は、抽出画像の各ピクセルにピクセル値として割り当てられたＣＴ値と、縮小後出力画像の各ピクセルにピクセル値として割り当てられたＣＴ値との差分の絶対値に基づいて、抽出画像と縮小後出力画像との差分を示す差分画像を生成する。２つの画像の差分を示す差分画像を生成する方法は、既知の方法であってもよく、これから開発される方法であってもよい。差分画像を生成した後、差分情報出力部１６７は、生成した差分画像を二値化した二値化画像を生成する。差分画像を二値化する方法は、既知の方法であってもよく、これから開発される方法であってもよい。例えば、差分情報出力部１６７は、抽出画像の各ピクセルのピクセル値のうちの最大のピクセル値と、抽出画像の各ピクセルのピクセル値のうちの最小のピクセル値との差を、規格化値として算出する。そして、差分情報出力部１６７は、差分画像の各ピクセルについて、ピクセルのピクセル値が規格値の５０％以上である場合、ピクセルのピクセル値を１に変え、ピクセルのピクセル値が規格値の５０％未満である場合、ピクセルのピクセル値を０に変える。これにより、差分情報出力部１６７は、差分画像を二値化した二値化画像に生成する。二値化画像を生成した後、差分情報出力部１６７は、生成した二値化画像のピクセルのうち、値として１が割り当てられているピクセルの態様を、抽出画像のいずれのピクセルの態様とも異なる態様に変化させる。例えば、差分情報出力部１６７は、生成した二値化画像のピクセルのうち、値として１が割り当てられているピクセルの色を、抽出画像のいずれのピクセルの態様とも異なる色に変化させる。抽出画像は、ＣＴ画像の一部であるため、白黒画像であることが多い。この場合、差分情報出力部１６７は、例えば、生成した二値化画像のピクセルのうち、値として１が割り当てられているピクセルの色を、白黒の背景において目立つ赤色に変化させる。そして、差分情報出力部１６７は、値として１が割り当てられたピクセルの態様を変化させた後の二値化画像を、抽出画像に重畳させた重畳画像を生成する。差分情報出力部１６７は、例えば、この重畳画像を、差分情報として出力する。なお、差分情報出力部１６７は、重畳画像に代えて、二値化画像を差分情報として出力する構成であってもよく、抽出画像と縮小後出力画像との差分に基づく他の情報を差分情報として出力する構成であってもよい。また、差分情報出力部１６７による差分情報の出力先は、判定部１６８であってもよく、情報処理装置１と接続された外部の装置であってもよく、他の出力先であってもよい。また、上記の５０％は、５０％未満の割合に代えられてもよく、５０％超の割合に代えられてもよい。すなわち、この５０％という数値は、閾値として機能しており、トライアンドエラー等によって適切な値に代えられてもよい。以下では、一例として、差分情報出力部１６７が、判定部１６８に差分情報を出力する場合について説明する。

【0052】

図４は、抽出画像、縮小後出力画像、差分画像、二値化画像、重畳画像のそれぞれの一例を示す図である。ただし、以下では、一例として、図４に示した各画像の基となるＣＴ画像について、ＣＴ値の最大値が２３００、ＣＴ値の最小値が１００の範囲について解析が行われた場合について説明する。

【0053】

図４に示した画像Ａは、ＣＴ画像から抽出された抽出画像の一例である。このため、画像Ａの各ピクセルには、ピクセル値として０以上１以下の範囲内のいずれかの値が割り当てられている。画像Ａでは、ＣＴ画像から抽出画像として画像Ａを抽出する際、ＣＴ値が２３００以上のピクセルのピクセル値が１に変えられ、ＣＴ値が１００以下のピクセルのピクセル値が０に変えられ、１００より大きく２３００より小さいＣＴ値のピクセルのピクセル値を、大小関係を変えずに０から１までの範囲の値に変えられている。そして、画像Ａにおいて、白のピクセルは、ピクセル値が１のピクセルであり、黒のピクセルは、ピクセル値が０のピクセルである。そして、画像Ａにおいて、白と黒との中間色のピクセルは、ピクセル値が０～１の間のピクセル値のピクセルである。画像Ａにおいて、白と黒との中間色のピクセルのピクセル値は、ピクセルの色が白に近いほど１に近い。また、画像Ａにおいて、白と黒との中間色のピクセルのピクセル値は、ピクセルの色が黒に近いほど０に近い。

【0054】

図４に示した画像Ｂは、縮小後出力画像の一例であり、ステップＳ１７０において差分情報出力部１６７により抽出画像との差分をとる相手となる画像である。このため、画像Ｂの各ピクセルには、画像Ａと同様に、ピクセル値として０以上１以下の値が割り当てられている。画像Ｂにおいて、白のピクセルは、ピクセル値が１のピクセルであり、黒のピクセルは、ピクセル値が０のピクセルである。そして、画像Ｂにおいて、白と黒との中間色のピクセルは、ピクセル値が０～１の間のピクセル値のピクセルである。画像Ｂにおいて、白と黒との中間色のピクセルのピクセル値は、ピクセルの色が白に近いほど１に近い。また、画像Ｂにおいて、白と黒との中間色のピクセルのピクセル値は、ピクセルの色が黒に近いほど０に近い。

【0055】

図４に示した画像Ｃは、差分画像の一例であり、画像Ａと画像Ｂとの差分を示す差分画像である。このため、画像Ｃの各ピクセルには、画像Ａのピクセルのピクセル値と画像Ｂのピクセルのピクセル値との差分の絶対値がピクセル値として割り当てられている。画像Ｃにおいて、白のピクセルは、ピクセル値が１のピクセルであり、黒のピクセルは、ピクセル値が０のピクセルである。そして、画像Ｃにおいて、白と黒との中間色のピクセルは、ピクセル値が０～１の間のピクセル値のピクセルである。画像Ｃにおいて、白と黒との中間色のピクセルのピクセル値は、ピクセルの色が白に近いほど１に近い。また、画像Ｃにおいて、白と黒との中間色のピクセルのピクセル値は、ピクセルの色が黒に近いほど０に近い。

【0056】

図４に示した画像Ｄは、二値化画像の一例であり、画像Ｄが二値化された二値化画像である。このため、画像Ｄの各ピクセルには、０又は１がピクセル値として割り当てられている。画像Ｄにおいて、白のピクセルは、ピクセル値が１のピクセルであり、黒のピクセルは、ピクセル値が０のピクセルである。

【0057】

図４に示した画像Ｅは、重畳画像の一例であり、ピクセル値として１が割り当てられているピクセルの色を赤色に変化させた後の画像Ｄを画像Ａに重畳させた画像である。画像Ｅにおいて、二点鎖線の円ＲＤによって囲まれた複数のピクセルが、色が赤色に変化させられている複数のピクセルを示している。

【0058】

ここで、画像Ａに撮像されている観察対象部位には、図２に示した画像ＩＰ２と同様に、外側半規管と前庭とが一塊となって単一腔を形成している形成異常の内耳が撮像されている。すなわち、この場合、被撮像者Ｚの内耳は、形成不全である。しかしながら、画像Ａを拡大した入力画像が入力されたＶＡＥは、正常画像に似た画像を出力画像として再構成する。このため、この出力画像が縮小された縮小後出力画像である画像Ｂには、正常な内耳において見ることができる骨構造（すなわち、外側半規管と前庭との間にある骨の構造）が現れている。画像Ｂでは、外側半規管と前庭との間に骨を、部分Ｓ１によって示している。画像Ｂの部分Ｓ１に相当する部分が画像Ａにないことは、画像Ａと画像Ｂとを見比べると明らかである。このため、画像Ａと画像Ｂとの差分を示す画像Ｃには、画像Ｂの部分Ｓ１に相当する部分Ｓ２が、ピクセル値として１が割り当てられたピクセルの集まりとして現れている。情報処理装置１は、この部分Ｓ２の有無によって、画像Ａに撮像されている観察対象部位における内耳の異常の有無を判定することができる。なお、画像Ｃに存在している部分のうち画像Ｄに存在しない部分は、縮小後出力画像に含まれていたノイズである。このノイズは、情報処理装置１による二値化によって低減される。図４に示した例では、このノイズは、情報処理装置１による二値化によって消えている。

【0059】

このような判定方法により、情報処理装置１は、抽出画像に撮像された観察対象部位における内耳の異常の有無を精度よく判定することができる。

【0060】

ステップＳ１７０の処理が行われた後、判定部１６８は、ステップＳ１７０において差分情報出力部１６７により出力された差分情報に基づいて、抽出画像に撮像された観察対象部位における内耳の異常の有無を判定する（ステップＳ１８０）。判定部１６８は、抽出画像に撮像された内耳の異常の有無の判定を、例えば、重畳画像における赤色の領域の有無によって判定する。判定部１６８は、重畳画像における赤色の領域の大きさ（すなわち、図４に示した例では、部分Ｓ２の大きさ）が所定の大きさ以上である場合、被撮像者Ｚの内耳に異常があると判定する。一方、判定部１６８は、重畳画像における赤色の領域の大きさが所定の大きさ未満である場合、被撮像者Ｚの内耳に異常がないと判定する。重畳画像における赤色の領域の大きさは、例えば、重畳画像の全体の体積に対する赤色の領域の体積の割合によって表される。この判定の精度は、二値化画像のノイズが少ないほど、高くなる。すなわち、情報処理装置１は、ステップＳ１６０の処理によってこのノイズの基となる出力画像のボケを低減させているため、ステップＳ１８０の処理において、被撮像者Ｚの内耳の異常の有無を精度よく判定することができる。なお、重畳画像における赤色の領域の大きさは、赤色の領域に応じた他の値によって表されてもよい。また、判定部１６８は、機械学習のモデルを利用して、ステップＳ１８０の処理を行う構成であってもよく、パターンマッチングを利用して、ステップＳ１８０の処理を行う構成であってもよく、他の方法によってステップＳ１８０の処理を行う構成であってもよい。

【0061】

次に、表示制御部１６９は、ステップＳ１８０において判定部１６８が行った判定の結果を示す情報を判定結果情報として含む判定結果情報表示画像を生成する。そして、表示制御部１６９は、生成した判定結果情報表示画像を、表示部１５に表示させ（ステップＳ１９０）、図３に示したフローチャートの処理を終了する。なお、判定結果情報表示画像には、抽出画像、縮小後出力画像、差分画像、二値化画像、重畳画像のうちの一部又は全部が含まれる構成であってもよい。また、ステップＳ１９０において、判定部１６８は、情報処理装置１と通信可能に接続された外部の装置に、判定結果情報を出力する構成であってもよい。

【0062】

以上のように、情報処理装置１は、機械学習のモデルのうち、入力された画像を再構成することが可能なＶＡＥへ入力画像を入力し、入力画像が入力された後のＶＡＥにより再構成された出力画像を取得し、取得した出力画像を縮小した縮小後出力画像を生成し、生成した縮小後出力画像を出力し、入力画像上に描画された像と同じ像が描画された画像であり、且つ、縮小後出力画像と同じ大きさの画像である抽出画像と、縮小後出力画像とを比較し、抽出画像と縮小後出力画像との差を示す差分情報（すなわち、この一例において、重畳画像）を出力する。これにより、情報処理装置１は、ＶＡＥにより再構成された出力画像のボケを低減することができる。その結果、情報処理装置１は、差分情報に基づく被撮像者Ｚの内耳の異常の有無の判定を、精度よく行うことができる。

【0063】

図５は、図３に示したフローチャートの処理の流れを、模式的に示したイメージ図である。図５に示した画像Ｐ１は、抽出画像の一例である。情報処理装置１は、ステップＳ１２０の処理により、画像Ｐ１を拡大した入力画像として、画像Ｐ２を生成する。情報処理装置１は、ステップＳ１４０の処理により、生成した画像Ｐ２をＶＡＥへ入力し、出力画像である画像Ｐ３をＶＡＥに再構成させる。その後、情報処理装置１は、ステップＳ１６０の処理により、画像Ｐ３を抽出画像の大きさと同じ大きさに縮小した縮小後出力画像である画像Ｐ４を生成する。そして、情報処理装置１は、ステップＳ１７０～ステップＳ１８０の処理により、画像Ｐ１と画像Ｐ４とを比較し、重畳画像、すなわち、差分情報を生成する。これにより、情報処理装置１は、画像のボケを低減することができ、その結果、被撮像者Ｚの内耳の異常の有無の判定を、精度よく行うことができる。すなわち、情報処理装置１は、２つの画像の差分に基づく処理の精度を向上させることができる。

【0064】

このように、情報処理装置１は、入力画像と出力画像との比較に代えて、抽出画像と縮小後出力画像との比較を行うことにより、縮小後出力画像のボケを低減することができ、その結果、被撮像者Ｚの内耳の異常の有無の判定を、精度よく行うことができる。ここで、入力画像と出力画像との差分を示す差分画像を用いて作成した重畳画像ＸＰ１と、抽出画像と縮小後出力画像との差分を示す差分画像を用いて作成した重畳画像ＸＰ２とを比較してみる。例えば、出願人が行った実験において、正常な内耳を含む観察対象部位が撮像されたＣＴ画像として６６６３枚のＣＴ画像のそれぞれから抽出画像を抽出した場合、個々の抽出画像に基づく重畳画像Ｘ１の全体の体積に対する赤色の領域の体積の割合の平均値は、０．００４３であった。また、例えば、当該実験において、異常な内耳を含む観察対象部位が撮像されたＣＴ画像として１１３枚のＣＴ画像のそれぞれから抽出画像を抽出した場合、個々の抽出画像に基づく重畳画像Ｘ１の全体の体積に対する赤色の領域の体積の割合の平均値は、０．００８２であった。これらの結果に基づいて算出されたＡＵＣ（Area Under the Curve）は、０．８２となる。一方、正常な内耳を含む観察対象部位が撮像されたＣＴ画像として６６６３枚のＣＴ画像のそれぞれから抽出画像を抽出した場合、個々の抽出画像に基づく重畳画像Ｘ２の全体の体積に対する赤色の領域の体積の割合の平均値は、０．０００２であった。また、例えば、当該実験において、異常な内耳を含む観察対象部位が撮像されたＣＴ画像として１１３枚のＣＴ画像のそれぞれから抽出画像を抽出した場合、個々の抽出画像に基づく重畳画像Ｘ２の全体の体積に対する赤色の領域の体積の割合の平均値は、０．０００９であった。これらの結果に基づいて算出されたＡＵＣは、０．９４となる。これらの実験結果は、情報処理装置１が、２つの画像の差分に基づく処理の精度を向上させることができていることを明確に示している。すなわち、情報処理装置１は、画像のボケを低減することができ、その結果、被撮像者Ｚの内耳の異常の有無の判定を、精度よく行うことができる。

【0065】

＜制御部が行う異常判定処理の変形例＞
以下、図６を参照し、制御部１１が行う異常判定処理の変形例について説明する。図６は、制御部１１が行う異常判定処理の流れの他の例を示す図である。ここで、異常判定処理の変形例では、入力画像は、抽出画像そのものである。この場合、情報処理装置１は、縮小後出力画像と比較する画像として、入力画像を縮小した縮小後入力画像を生成し、生成した縮小後入力画像と、縮小後出力画像とを比較して、差分情報を生成する。以下では、一例として、図６に示したステップＳ２１０の処理が行われるよりも前のタイミングにおいて、抽出画像が記憶部１２に予め記憶されている場合について説明する。記憶部１２に予め記憶された抽出画像は、情報処理装置１がＣＴ画像から抽出した画像であってもよく、他の装置によりＣＴ画像から抽出された画像であってもよい。記憶部１２に予め記憶された抽出画像が他の装置によりＣＴ画像から抽出された画像である場合、情報処理装置１は、抽出画像をＣＴ画像から抽出した他の装置から抽出画像を取得する。情報処理装置１が当該他の装置から抽出画像を取得する方法は、如何なる方法であってもよい。また、以下では、一例として、当該タイミングにおいて、異常判定処理を開始する操作を情報処理装置１が予め受け付けている場合について説明する。

【0066】

画像入力部１６２は、記憶部１２に予め記憶された抽出画像を、入力画像として記憶部１２から読み出す（ステップＳ２１０）。

【0067】

次に、画像入力部１６２は、ステップＳ１１０において読み出した入力画像を、画像再構成部１６３のＶＡＥに入力する（ステップＳ２２０）。

【0068】

次に、画像再構成部１６３は、ステップＳ２２０においてＶＡＥに入力された入力画像に基づいて、ＶＡＥに出力画像を再構成させる（ステップＳ２３０）。

【0069】

次に、画像取得部１６４は、ステップＳ２３０において画像再構成部１６３により再構成された出力画像を画像再構成部１６３のＶＡＥから取得する（ステップＳ２４０）。

【0070】

次に、縮小画像生成部１６５は、画像補完法Ｍ１により、ステップＳ１１０において読み出した入力画像を縮小した縮小後入力画像を生成するとともに、ステップＳ１５０において画像取得部１６４により取得された出力画像を縮小した縮小後出力画像を生成する（ステップＳ２５０）。この際、縮小画像生成部１６５は、互いに同じ大きさの画像として、縮小後入力画像と縮小後出力画像とを生成する。これにより、情報処理装置１は、前述した通り、出力画像に含まれるノイズを低減することができる。

【0071】

次に、差分情報出力部１６７は、ステップＳ２５０において生成した縮小後入力画像と縮小後出力画像との差を示す差分情報を生成し、生成した差分情報を出力する（ステップＳ２６０）。ここで、ステップＳ２６０の処理は、抽出画像の代わりに縮小後入力画像を用いていることを除いて、ステップＳ１７０の処理と同様の処理であるため、詳細な説明を省略する。

【0072】

ステップＳ２６０の処理が行われた後、判定部１６８は、ステップＳ２６０において差分情報出力部１６７により出力された差分情報に基づいて、入力画像に撮像された観察対象部位における内耳の異常の有無を判定する（ステップＳ２７０）。ここで、ステップＳ２７０の処理は、ステップＳ１８０の処理と同様の処理であるため、詳細な説明を省略する。

【0073】

次に、表示制御部１６９は、ステップＳ２７０において判定部１６８が行った判定の結果を示す情報を判定結果情報として含む判定結果情報表示画像を生成する。そして、表示制御部１６９は、生成した判定結果情報表示画像を、表示部１５に表示させ（ステップＳ２８０）、図６に示したフローチャートの処理を終了する。

【0074】

以上のように、情報処理装置１は、入力画像が抽出画像そのものであっても、入力画像を縮小することにより、差分情報に基づく内耳の異常の有無の判定を、精度よく行うことができる。

【0075】

＜制御部が行う画像抽出処理＞
以下、図７を参照し、制御部１１が行う画像抽出処理について説明する。図７は、制御部１１が行う画像抽出処理の流れの一例を示す図である。ここで、画像抽出処理は、制御部１１が行う処理のうち、ＣＴ画像から抽出画像を抽出する処理のことである。以下では、一例として、図７に示したステップＳ３１０の処理が行われるよりも前のタイミングにおいて、ＣＴ画像が記憶部１２に予め記憶されている場合について説明する。また、以下では、一例として、当該タイミングにおいて、画像抽出処理を開始する操作を情報処理装置１が予め受け付けている場合について説明する。

【0076】

画像抽出部１６１は、記憶部１２に予め記憶されたＣＴ画像を記憶部１２から読み出す（ステップＳ３１０）。

【0077】

次に、画像抽出部１６１は、ステップＳ３１０において読み出したＣＴ画像に基づいて、ＣＴ画像上の位置を示す座標のうち、観察対象部位を含む領域の中心として指定する座標を、中心座標として算出する（ステップＳ３２０）。ここで、ステップＳ３２０の処理について説明する。

【0078】

まず、ＣＴ画像における観察対象部位を示す部分のＣＴ値について説明する。ＣＴ画像において、隣接して内耳を取り囲む耳嚢のＣＴ値は、耳嚢（又は耳嚢を含む側頭骨）以外の部位のＣＴ値よりも高いことが知られている。例えば、図８は、ＣＴ画像における耳嚢のＣＴ値と、ＣＴ画像における側頭骨の骨皮質等の耳嚢以外の部位のＣＴ値とのそれぞれについての人の加齢による変化の一例を示す図である。図８に示したグラフの出典元は、非特許文献である「Bone Density Development of the Temporal Bone Assessed by Computed Tomography. Takahashi K, et al. Otol Neurotol. 2017 Dec;38(10):1445-1449.」である。当該グラフの横軸は、人の年齢を示す。当該グラフの縦軸は、ＣＴ値を示す。ただし、当該グラフの縦軸では、ＣＴ値は、ハンスフィールド単位によって示されている。ほとんどの骨皮質のＣＴ値は、大人になり成熟すると１０００を超える。当該グラフ上の直線Ｆ１は、耳嚢のＣＴ値についての人の加齢による変化を示す。当該グラフ上の直線Ｆ２は、側頭骨の他の部位の一例である側頭骨の外表面側の骨皮質のＣＴ値についての人の加齢による変化を示す。当該グラフ上の直線Ｆ３は、側頭骨の他の例である後頭蓋窩に隣接した骨皮質のＣＴ値についての人の加齢による変化を示す。当該グラフ上の直線Ｆ４は、側頭骨の他の部位の更に他の例である中頭蓋窩に隣接した骨皮質のＣＴ値についての人の加齢による変化を示す。当該グラフに示されているように、耳嚢のＣＴ値についての人の加齢による変化は、ほぼない。一方、当該グラフに示されているように、側頭骨における耳嚢以外の部位のＣＴ値は、人の加齢に伴って増大する。しかしながら、側頭骨における耳嚢以外の部位のＣＴ値は、いずれも耳嚢のＣＴ値より十分に低い値である。このため、側頭骨を中心として撮像したＣＴ画像において、複数のピクセルをＣＴ値の高い順に並べた場合における最上位から所定順位までのピクセルは、所定順位を低くし過ぎない限り、耳嚢を示すＣＴ値が割り当てられたピクセルによって占められる。例えば、所定順位が１０００位程度であれば、複数のピクセルをＣＴ値の高い順に並べた場合における最上位から所定順位までのピクセルには、耳嚢以外の部位を示すＣＴ値が割り当てられたピクセルが含まれない。

【0079】

これを踏まえた上で、画像抽出部１６１は、ステップＳ３２０において、ＣＴ画像が有する複数のピクセルのうち、ＣＴ値についての予め決められた条件を満たすピクセルを抽出する。予め決められた条件は、耳嚢を示すピクセルを抽出可能な条件であれば、如何なる条件であってもよい。そこで、以下では、一例として、予め決められた条件が、ＣＴ画像における複数のピクセルをＣＴ値の高い順に並べた場合における最上位から所定順位までのピクセルであること、である。ここで、ステップＳ３２０の処理を行うために必要なピクセル数は、経験上、１０００程度で十分である。このため、所定順位は、例えば、１０００位であるが、１０００位未満の順位であってもよく、１００１位以上の順位であってもよい。これにより、画像抽出部１６１は、ステップＳ３２０において、ＣＴ画像が有する複数のピクセルのうち、耳嚢を示すピクセルとして、予め決められた条件を満たすピクセルを抽出することができる。

【0080】

予め決められた条件を満たすピクセルを抽出した後、画像抽出部１６１は、抽出したピクセルに基づいて、ＣＴ画像上の位置を示す座標のうち、観察対象部位を含む領域の中心として指定する座標を、中心座標として算出する。ここで、情報処理装置１では、抽出画像としてＣＴ画像から抽出する領域を、できるだけ小さくしたい。これは、ＶＡＥによる演算の負荷を小さくしたいためである。このような事情から、ＣＴ画像上の位置を示す座標のうち中心座標として指定する座標は、耳嚢の中心（すなわち、内耳の中心）付近の位置を示す座標であることが望ましい。そこで、画像抽出部１６１は、抽出したピクセルのそれぞれが位置するＣＴ画像上の位置を示す座標に基づいて、ＣＴ画像に対応付けられた三次元座標系のＸ軸方向の位置を示すＸ座標の平均値（すなわち、画像抽出部１６１が抽出した各ピクセルのＸ座標の平均値）、当該三次元座標系のＹ軸方向の位置を示すＹ座標の平均値（すなわち、画像抽出部１６１が抽出した各ピクセルのＹ座標の平均値）、当該Ｙ座標の標準誤差（すなわち、画像抽出部１６１が抽出した各ピクセルのＹ座標の標準誤差）、当該三次元座標系のＺ軸方向の位置を示すＺ座標の平均値（すなわち、画像抽出部１６１が抽出した各ピクセルのＺ座標の平均値）、当該Ｚ座標の標準誤差（すなわち、画像抽出部１６１が抽出した各ピクセルのＺ座標の標準誤差）のそれぞれを算出する。なお、当該Ｘ軸方向は、人体における左右方向と一致する。具体的には、当該Ｘ軸の正方向は、人体における左方向と一致する。また、当該Ｘ軸の負方向は、人体における右方向と一致する。当該Ｙ軸方向は、人体の前後方向と一致する。具体的には、当該Ｙ軸の正方向は、人体における前方向と一致する。また、当該Ｙ軸の負方向は、人体における後方向と一致する。当該Ｚ軸方向は、人体の頭尾方向と一致する。当該Ｚ軸の正方向は、人体における頭方向と一致する。また、当該Ｚ軸の負方向は、人体における尾方向と一致する。ここで、ＣＴ画像上において耳嚢を示すピクセルの分布は、人体の左右方向、左右のいずれかへの偏りも小さく、ほぼ均一である。このため、当該Ｘ座標の平均値は、Ｘ軸方向における耳嚢の中心付近のＸ座標の値とほぼ一致する。すなわち、当該Ｘ座標の平均値は、中心座標のＸ座標として採用することができる。一方、耳嚢を示すピクセルの分布は、人体の前後方向において、前方向への偏りが大きい。この偏りの度合いは、例えば、当該Ｙ座標の標準誤差によって示すことができる。すると、当該Ｙ座標の平均値から当該Ｙ座標の標準誤差の半分の値を差し引いた値は、Ｙ軸方向における耳嚢の中心付近のＹ座標の値とほぼ一致する。すなわち、当該Ｙ座標の平均値から当該Ｙ座標の標準誤差の半分の値を差し引いた値は、中心座標のＹ座標として採用することができる。また、耳嚢を示すピクセルの分布は、人体の頭尾方向において、尾方向への偏りが大きい。この偏りの度合いは、例えば、当該Ｚ座標の標準誤差によって示すことができる。すると、当該Ｚ座標の平均値へ当該Ｚ座標の標準誤差の半分の値を足した値は、Ｚ軸方向における耳嚢の中心付近のＺ座標の値とほぼ一致する。すなわち、当該Ｚ座標の平均値へ当該Ｚ座標の標準誤差の半分の値を足した値は、中心座標のＺ座標として採用することができる。これらを数式で表すと、以下の式（１）～式（３）のようになる。ただし、以下では、説明の便宜上、当該Ｘ座標の平均値をｍｅａｎＸによって示し、当該Ｙ座標の平均値をｍｅａｎＹによって示し、当該Ｙ座標の標準誤差をｓｔｄＹによって示し、当該Ｚ座標の平均値をｍｅａｎＺによって示し、当該Ｚ座標の標準誤差をｓｔｄＺによって示す。

【0081】

（中心座標のＸ座標）＝ｍｅａｎＸ ・・・（１）
（中心座標のＹ座標）＝ｍｅａｎＹ－ｓｔｄＹ／２ ・・・（２）
（中心座標のＺ座標）＝ｍｅａｎＺ＋ｓｔｄＺ／２ ・・・（３）

【0082】

なお、上記の式（２）において、ｓｔｄＹ／２は、中心座標のＹ座標が、Ｙ軸方向における耳嚢の中心付近のＹ座標の値とほぼ一致するようにすることが可能であれば、画像抽出部１６１が抽出した各ピクセルのＹ座標に基づく他の統計値に代えられてもよく、実数定数に代えられてもよく、ｍｅａｎＹに所定割合を乗算した値等の他の値に代えられてもよい。また、上記の式（３）において、ｓｔｄＺ／２は、中心座標のＺ座標が、Ｚ軸方向における耳嚢の中心付近のＺ座標の値とほぼ一致するようにすることが可能であれば、画像抽出部１６１が抽出した各ピクセルのＺ座標に基づく他の統計値に代えられてもよく、実数定数に代えられてもよく、ｍｅａｎＺに所定割合を乗算した値等の他の値に代えられてもよい。

【0083】

以上のような方法により、画像抽出部１６１は、ステップＳ３２０において、中心座標を算出する。

【0084】

ステップＳ３２０の処理が行われた後、表示制御部１６９は、ステップＳ３２０において画像抽出部１６１が算出した中心座標を示す中心座標画像ＣＰ１を生成し、生成した中心座標画像ＣＰ１を表示部１５に表示させる（ステップＳ３３０）。これにより、情報処理装置１は、ＣＴ画像上における中心座標が示す位置を、ユーザーへ視覚的に示すことができる。ここで、中心座標画像ＣＰ１について説明する。

【0085】

図９は、中心座標画像ＣＰ１の一例を示す図である。中心座標画像ＣＰ１は、例えば、図９に示したように、画像ＣＰ１１、画像ＣＰ１２、画像ＣＰ１３の３つの画像を含む。画像ＣＰ１１は、ＣＴ画像に対応付けられた三次元座標系のＹ軸の負方向から当該Ｙ軸の正方向に向かってＣＴ画像を見た場合におけるＣＴ画像の断面図である。当該断面図は、中心座標を通る面であり、且つ、ＺＸ平面に平行な面によってＣＴ画像を切断した場合における断面図である。画像ＣＰ１２は、ＣＴ画像に対応付けられた三次元座標系のＸ軸の負方向から当該Ｘ軸の正方向に向かってＣＴ画像を見た場合におけるＣＴ画像の断面図である。当該断面図は、中心座標を通る面であり、且つ、ＹＺ平面に平行な面によってＣＴ画像を切断した場合における断面図である。画像ＣＰ１３は、ＣＴ画像に対応付けられた三次元座標系のＺ軸の正方向から当該Ｚ軸の負方向に向かってＣＴ画像を見た場合におけるＣＴ画像の断面図である。当該断面図は、中心座標を通る面であり、且つ、ＸＹ平面に平行な面によってＣＴ画像を切断した場合における断面図である。

【0086】

ここで、中心座標画像ＣＰ１では、中心座標が示す位置が、直線ＰＸ、直線ＰＹ、直線ＰＺの３本の直線の交点によって示されている。直線ＰＸは、中心座標画像ＣＰ１において、ＣＴ画像に対応付けられた三次元座標系のＸ軸と平行な直線であり、中心座標が示す位置を通る直線である。直線ＰＹは、中心座標画像ＣＰ１において、当該三次元座標系のＹ軸と平行な直線であり、中心座標が示す位置を通る直線である。直線ＰＺは、中心座標画像ＣＰ１において、当該三次元座標系のＺ軸と平行な直線であり、中心座標が示す位置を通る直線である。

【0087】

表示制御部１６９は、中心座標画像ＣＰ１において、ユーザーから操作を受け付ける構成であってもよく、ユーザーから操作を受け付けない構成であってもよい。表示制御部１６９は、中心座標画像ＣＰ１において、ユーザーから操作を受け付ける構成である場合、ユーザーから受け付けた操作に基づいて、直線ＰＸ、直線ＰＹ、直線ＰＺのそれぞれを、直線が延伸する方向と直交する方向へ平行移動させる。これにより、中心座標画像ＣＰ１において、直線ＰＸ、直線ＰＹ、直線ＰＺの３本の直線の交点の位置は、変化する。画像抽出部１６１は、当該交点の位置が変化した場合、変化した後の当該交点の位置を示す座標を、新たな中心座標として特定し直す。そして、表示制御部１６９は、新たに特定し直された中心座標に基づいて、画像ＣＰ１１、画像ＣＰ１２、画像ＣＰ１３を生成し直し、表示部１５に表示されている中心座標画像ＣＰ１を、新たに生成し直した中心座標画像ＣＰ１に更新する。これにより、情報処理装置１のユーザーは、情報処理装置１が算出した中心座標を調整（修正）することができるとともに、調整した後の中心座標が示す位置を視覚的に確認することができる。

【0088】

なお、中心座標画像ＣＰ１の構成は、図９に示した構成に代えて、中心座標を示す位置を視覚的にユーザーに示すことが可能な他の構成であってもよい。また、表示制御部１６９が中心座標画像ＣＰ１において、ユーザーから操作を受け付けない構成である場合、図７に示したステップＳ３３０～ステップＳ３７０の処理は、省略されてもよい。

【0089】

ステップＳ３３０の処理が行われた後、表示制御部１６９は、直線ＰＸ、直線ＰＹ、直線ＰＺの３本の直線のいずれかを平行移動させる操作を受け付けたか否かを判定する（ステップＳ３４０）。

【0090】

表示制御部１６９は、直線ＰＸ、直線ＰＹ、直線ＰＺの３本の直線のいずれかを平行移動させる操作を受け付けていないと判定した場合（ステップＳ３４０－ＮＯ）、当該３本の直線への操作を終了するか否かを判定する（ステップＳ３７０）。表示制御部１６９は、例えば、ステップＳ３７０において、抽出画像のＣＴ画像からの抽出の実行を指示する操作を情報処理装置１が受け付けている場合、当該３本の直線への操作を終了すると判定する。一方、表示制御部１６９は、例えば、ステップＳ３７０において、抽出画像のＣＴ画像からの抽出の実行を指示する操作を情報処理装置１が受け付けていない場合、当該３本の直線への操作を終了しないと判定する。なお、表示制御部１６９は、他の方法により、当該３本の直線への操作を終了するか否かを判定する構成であってもよい。

【0091】

表示制御部１６９は、直線ＰＸ、直線ＰＹ、直線ＰＺの３本の直線のいずれかを平行移動させる操作を終了しないと判定した場合（ステップＳ３７０－ＮＯ）、ステップＳ３４０に遷移し、当該３本の直線のいずれかを平行移動させる操作を受け付けたか否かを判定する。

【0092】

一方、画像抽出部１６１は、直線ＰＸ、直線ＰＹ、直線ＰＺの３本の直線のいずれかを平行移動させる操作を終了すると表示制御部１６９が判定した場合（ステップＳ３７０－ＹＥＳ）、ステップＳ３８０に遷移し、画像抽出部１６１が現在特定している中心座標に基づいて、抽出画像をＣＴ画像から抽出する（ステップＳ３８０）。ここで、ステップＳ３８０の処理について説明する。

【0093】

画像抽出部１６１は、中心座標が示す位置を中心とする予め決められた形状の領域の画像を、ＣＴ画像から抽出する。予め決められた形状は、直方体形状である。この直方体は、ＣＴ画像に対応付けられた三次元座標系のＸ軸、Ｙ軸、Ｚ軸のそれぞれに平行な辺を有する直方体である。そして、それらの辺の長さは、予め決められている。例えば、この直方体の当該Ｘ軸方向の長さは、２４ミリメートルである。また、例えば、この直方体の当該Ｙ軸方向の長さは、２４ミリメートルである。また、この直方体の当該Ｚ軸方向の長さは、２０ミリメートルである。すなわち、この直方体は、０．５ミリメートルのボクセルが縦横高さにそれぞれ、４８個×４８個×４０個並ぶ大きさの直方体である。このような予め決められた形状は、トライアンドエラーにより、観察対象部位における内耳の全体が含まれる形状として決められた形状である。従って、予め決められた形状は、このような直方体形状に代えて、観察対象部位における内耳の全体が含まれる形状であれば、球形状等の他の形状であってもよい。

【0094】

ステップＳ３８０の処理が行われた後、画像抽出部１６１は、ステップＳ３８０において抽出した抽出画像を、記憶部１２に記憶させ（ステップＳ３９０）、図７に示したフローチャートの処理を終了する。

【0095】

一方、表示制御部１６９は、直線ＰＸ、直線ＰＹ、直線ＰＺの３本の直線のいずれかを平行移動させる操作を受け付けていると判定した場合（ステップＳ３４０－ＹＥＳ）、新たな中心座標画像ＣＰ１を生成し、表示部１５に表示されている中心座標画像ＣＰ１を更新する（ステップＳ３５０）。

【0096】

次に、画像抽出部１６１は、ステップＳ３５０において平行移動した直線ＰＸ、直線ＰＹ、直線ＰＺの３本の直線の交点の位置に基づいて、新たな中心座標を特定する（ステップＳ３６０）。その後、表示制御部１６９は、ステップＳ３７０に遷移し、直線ＰＸ、直線ＰＹ、直線ＰＺの３本の直線への操作を終了するか否かを判定する。

【0097】

以上のように、情報処理装置１は、ＣＴ画像が有する複数のピクセルのうち、ＣＴ値についての予め決められた条件を満たすピクセルを抽出し、抽出したピクセルに基づいて、ＣＴ画像上の位置を示す座標のうち、観察対象部位を含む領域の中心として指定する座標を中心座標として算出し、算出した中心座標に基づいて、観察対象部位を含む領域の画像をＣＴ画像から抽出画像として抽出する。これにより、情報処理装置１は、自動的又は半自動的に、観察対象部位を含む領域の画像をＣＴ画像から抽出することができる。その結果、情報処理装置１は、観察対象部位の観察においてユーザーが行う作業量を低減することができるとともに、当該観察に要する時間を短縮することができる。また、情報処理装置１は、観察対象部位と異なる部位を含む領域の画像を、ユーザーが誤って抽出してしまうことを抑制することができる。

【0098】

図７に示したフローチャートの処理によって、観察対象部位を含む領域の画像を、正しくＣＴ画像から抽出することができる割合は、出願人が行った実験によると、以下のように高い割合になっている。

【0099】

図７に示したフローチャートの処理によって、正常な内耳を含む観察対象部位が撮像されたＣＴ画像として６６６３枚のＣＴ画像のそれぞれから抽出画像を抽出した場合、観察対象部位を含む領域の画像を正しく抽出することができた割合は、ユーザーによる中心座標の調整を行わなくても９４．３％であった。

【0100】

また、図７に示したフローチャートの処理によって、正常な内耳を含む観察対象部位が撮像されたＣＴ画像として６６６３枚のＣＴ画像のそれぞれから抽出画像を抽出した場合、観察対象部位を含む領域の画像を正しく抽出することができた割合は、ユーザーによる中心座標の軽微な調整を行うと、９７．１％であった。なお、この修正は、中心座標を５ミリメートル未満移動させるような調整であり、行う必要がなかったとも考えられる。

【0101】

また、図７に示したフローチャートの処理によって、異常な内耳を含む観察対象部位が撮像されたＣＴ画像として１１３枚のＣＴ画像のそれぞれから抽出画像を抽出した場合、観察対象部位を含む領域の画像を正しく抽出することができた割合は、ユーザーによる中心座標の調整を行わなくても９２．０％であった。

【0102】

また、図７に示したフローチャートの処理によって、異常な内耳を含む観察対象部位が撮像されたＣＴ画像として１１３枚のＣＴ画像のそれぞれから抽出画像を抽出した場合、観察対象部位を含む領域の画像を正しく抽出することができた割合は、ユーザーによる中心座標の軽微な調整を行うと、９８．２％であった。なお、この修正も、中心座標を５ミリメートル未満移動させるような調整であり、行う必要がなかったとも考えられる。

【0103】

以上のことから、情報処理装置１は、観察対象部位における内耳に異常があったとしても、高い精度で、自動的又は半自動的に、観察対象部位を含む領域をＣＴ画像から抽出することができることが分かる。これはすなわち、内耳の形状の個体差に左右されずに、情報処理装置１が観察対象部位を含む画像をＣＴ画像から抽出することができることを意味しているため、実用上大変重要である。なお、図７に示したフローチャートの処理に、機械学習のモデルを用いることにより、情報処理装置１は、自動的又は半自動的に、観察対象部位を含む画像をＣＴ画像から正しく抽出する精度を向上させることも可能である。例えば、当該処理に深層学習を組み合わせることにより、過去の治療によって埋め込まれていた金属がＣＴ画像に撮像されていた場合であっても、情報処理装置１は、中心座標を適切に算出することができ、その結果、観察対象部位を含む画像をＣＴ画像から精度よく抽出することができる。

【0104】

また、このように精度の高い抽出画像の抽出が可能である場合、情報処理装置１は、抽出した抽出画像に基づいて、例えば、ＣＴ画像に撮像されている被撮像者Ｚの頭部の傾き、位置等の補正、相対的な位置からの他の構造認識等を行うことも可能である。これにより、情報処理装置１は、観察対象部位の異常の有無の判定精度を向上させることができるだけではなく、観察対象部位の周辺の部位の構造認識を行うことができる。従って、この場合、例えば、情報処理装置１は、側頭骨、又は、頭蓋骨の他の部位も認識して抽出することが可能であるため、これらの異常判定を行うこともできる。

【0105】

なお、上記において説明した観察対象部位は、人が有する部位のうちの内耳を含むと推定される部位に代えて、人が有する部位のうちの所望の骨を含むと推定される部位（例えば、頭蓋骨の一部を含むと推定される部位等）であってもよく、人が有する部位のうちの肺を含むと推定される部位（例えば、胸部等）であってもよく、人が有する部位のうちの他の部位であってもよい。ただし、観察対象部位は、耳嚢のように、人が有する部位のうち観察対象部位とする部位のＣＴ値が、当該部位の周囲のＣＴ値よりも高い部位であることが望ましい。これにより、情報処理装置１は、より確実に、観察対象部位を含む画像をＣＴ画像から正しく抽出する精度を向上させることも可能である。

【0106】

また、観察対象部位が人の肺を含むと推定される部位である場合、情報処理装置１は、肺の異常（例えば、肺腫瘍等の肺の疾患等）の有無を精度よく判定することができる。また、観察対象部位が人の骨を含むと推定される部位である場合、情報処理装置１は、骨の異常（例えば、骨折、粉砕、奇形、無形成等）の有無を精度よく判定することができる。

【0107】

また、上記において説明した情報処理装置１は、観察対象部位として人が有する部位が撮像された画像についての処理を行ったが、これに代えて、観察対象部位として人以外の生物又は無生物が有する部位が撮像された画像についての処理を行ってもよい。この場合であっても、情報処理装置１は、出力画像のボケを低減することができるため、２つの画像の差分に基づく処理の精度を向上させることができる。例えば、情報処理装置１が行う処理は、商品の検品において、商品の異常の有無を精度よく判定すること等の他の事例に適用されてもよい。当該他の事例は、ＶＡＥを用いた異常の判定を行う如何なる事例であってもよい。

【0108】

以上説明したように、実施形態に係る情報処理装置（上記において説明した例では、情報処理装置１）は、機械学習のモデルのうち、入力された画像を再構成することが可能な第１モデル（上記において説明した例では、ＶＡＥ）へ第１画像（上記において説明した例では、入力画像又は抽出画像）を入力する画像入力部（上記において説明した例では、画像入力部１６２）と、第１画像が入力された後の第１モデルにより再構成された第２画像（上記において説明した例では、出力画像）を取得する画像取得部（上記において説明した例では、画像取得部１６４）と、画像取得部により取得された第２画像を縮小した第３画像（上記において説明した例では、縮小後出力画像）を生成する縮小画像生成部（上記において説明した例では、縮小画像生成部１６５）と、第１画像上に描画された像と同じ像が描画された画像であり、且つ、第３画像と同じ大きさの画像である第０画像（上記において説明した例では、抽出画像又は縮小後入力画像）と、第３画像とを比較し、第０画像と第３画像との差を示す差分情報（上記において説明した例では、重畳画像）を出力する差分情報出力部（上記において説明した例では、差分情報出力部１６７）と、を備える。これにより、情報処理装置は、２つの画像の差分に基づく処理の精度を向上させることができる。

【0109】

また、情報処理装置では、第１画像は、第０画像が第２画像と同じ大きさに拡大された画像（上記において説明した例では、図３に示したフローチャートの処理における入力画像）である、構成が用いられてもよい。

【0110】

また、情報処理装置では、第０画像を第２画像と同じ大きさに拡大して第１画像を生成する拡大画像生成部（上記において説明した例では、拡大画像生成部１６６）を更に備える、構成が用いられてもよい。

【0111】

また、情報処理装置では、第０画像は、第１画像が第３画像と同じ大きさに縮小された画像（上記において説明した例では、図６に示したフローチャートの処理における縮小後入力画像）である、構成が用いられてもよい。

【0112】

また、情報処理装置では、縮小画像生成部は、第１画像を第３画像と同じ大きさに縮小して第０画像を生成する、構成が用いられてもよい。

【0113】

また、情報処理装置では、第０画像及び第１画像は、被撮像者（上記において説明した例では、被撮像者Ｚ）の観察対象部位が撮像された画像であり、且つ、被撮像者の観察対象部位が撮像されたＣＴ画像から抽出された画像であり、観察対象部位は、人が有する部位のうち、人の内耳を含むと推定される部位（上記において説明した例では、耳嚢）であり、情報処理装置は、差分情報出力部により出力された差分情報に基づいて、被撮像者の内耳に異常があるか否かを判定する異常判定部（上記において説明した例では、判定部１６８）を更に備える、構成が用いられてもよい。

【0114】

また、情報処理装置では、第１モデルには、被撮像者と異なる人の観察対象部位が撮像された画像であり、且つ、正常な内耳を含む観察対象部位が撮像された画像（上記において説明した例では、正常画像）が学習されている、構成が用いられてもよい。

【0115】

また、情報処理装置では、ＣＴ画像内の領域のうち観察対象部位を含む領域の画像を、第０画像又は第１画像としてＣＴ画像から抽出する画像抽出部（上記において説明した例では、画像抽出部１６１）を更に備える、構成が用いられてもよい。

【0116】

また、情報処理装置では、画像抽出部は、ＣＴ画像が有する複数のピクセルのうち、ＣＴ値についての予め決められた条件を満たすピクセルを抽出し、抽出したピクセルに基づいて、ＣＴ画像上の位置を示す座標のうち、観察対象部位を含む領域の中心として指定する座標を中心座標として算出し、算出した中心座標に基づいて、観察対象部位を含む領域の画像をＣＴ画像から第０画像又は第１画像として抽出する、構成が用いられてもよい。

【0117】

また、情報処理装置では、予め決められた条件は、複数のピクセルをＣＴ値の高い順に並べた場合における最上位から所定順位（上記において説明した例では、１０００位）までのピクセルであること、である、構成が用いられてもよい。

【0118】

以上、この発明の実施形態を、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない限り、変更、置換、削除等されてもよい。

【0119】

また、以上に説明した装置（例えば、情報処理装置１）における任意の構成部の機能を実現するためのプログラムを、コンピューター読み取り可能な記録媒体に記録し、そのプログラムをコンピューターシステムに読み込ませて実行するようにしてもよい。なお、ここでいう「コンピューターシステム」とは、ＯＳ（Operating System）や周辺機器等のハードウェアを含むものとする。また、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ（Compact Disk）－ＲＯＭ等の可搬媒体、コンピューターシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピューター読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバーやクライアントとなるコンピューターシステム内部の揮発性メモリー（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

【0120】

また、上記のプログラムは、このプログラムを記憶装置等に格納したコンピューターシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピューターシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記のプログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、上記のプログラムは、前述した機能をコンピューターシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

【符号の説明】

【0121】

１…情報処理装置、１１…制御部、１２…記憶部、１３…入力受付部、１４…通信部、１５…表示部、１６１…画像抽出部、１６２…画像入力部、１６３…画像再構成部、１６４…画像取得部、１６５…縮小画像生成部、１６６…拡大画像生成部、１６７…差分情報出力部、１６８…判定部、１６９…表示制御部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】