(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-10-25
(45)【発行日】2024-11-05
(54)【発明の名称】プログラム、情報処理方法および情報処理装置
(51)【国際特許分類】
A61B 8/12 20060101AFI20241028BHJP
A61B 1/00 20060101ALI20241028BHJP
A61B 1/045 20060101ALI20241028BHJP
【ＦＩ】
A61B8/12
A61B1/00 526
A61B1/045 614
A61B1/00 530
【請求項の数】
11
(21)【出願番号】P 2022511730
(86)(22)【出願日】2021-03-09
(86)【国際出願番号】 JP2021009305
(87)【国際公開番号】W WO2021199962
(87)【国際公開日】2021-10-07
【審査請求日】2023-10-13
(31)【優先権主張番号】P 2020061514
(32)【優先日】2020-03-30
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000109543
【氏名又は名称】テルモ株式会社
(74)【代理人】
【識別番号】100114557
【弁理士】
【氏名又は名称】河野 英仁
(74)【代理人】
【識別番号】100078868
【弁理士】
【氏名又は名称】河野 登夫
(72)【発明者】
【氏名】坂口 雄紀
(72)【発明者】
【氏名】関 悠介
(72)【発明者】
【氏名】井口 陽
【審査官】井海田 隆
(56)【参考文献】
【文献】国際公開第２０１４／１３６１３７（ＷＯ，Ａ１）
【文献】特開２０１１－０００４６２（ＪＰ，Ａ）
【文献】特表２０１８－５０７７３８（ＪＰ，Ａ）
【文献】特表２０１５－５３４８４１（ＪＰ，Ａ）
【文献】特開２０１４－１８０５７５（ＪＰ，Ａ）
【文献】特表２０１９－５０３８３３（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ６１Ｂ ８／００ ー ８／１５
Ａ６１Ｂ １／００
Ａ６１Ｂ １／０４５
(57)【特許請求の範囲】
【請求項1】
管腔器官に挿入された画像診断用カテーテルを用いて生成された画像を取得し、前記画像を取得するごとに、
取得した前記画像に含まれるメルクマールが所定の向きになるまでの回転角度を算出し、
算出した回転角度が所定の閾値を超える場合に、抽出した前記メルクマールが所定の向きになるように前記画像を回転させた状態で表示する
処理をコンピュータに実行させるプログラム。
【請求項2】
前記メルクマールは、前記画像に対して画像処理を行なうことにより抽出される請求項１に記載のプログラム。
【請求項3】
画像を入力した場合に前記画像に含まれるメルクマールに関する情報を出力する学習モデルに、取得した前記画像を入力して、前記学習モデルから出力された情報に基づいてメルクマールを抽出する請求項１に記載のプログラム。
【請求項4】
入力デバイスを通じて前記メルクマールの入力を受け付ける請求項１に記載のプログラム。
【請求項5】
前記画像診断用カテーテルは、超音波断層像生成用のカテーテルである請求項１から請求項４のいずれか一つに記載のプログラム。
【請求項6】
前記画像診断用カテーテルは、光断層像生成用のカテーテルである請求項１から請求項４のいずれか一つに記載のプログラム。
【請求項7】
前記画像診断用カテーテルは、超音波断層像生成用のセンサと、光断層像生成用のセンサとを備えるカテーテルである請求項１から請求項４のいずれか一つに記載のプログラム。
【請求項8】
前記メルクマールは、心外膜を含む請求項５から請求項７のいずれか一つに記載のプログラム。
【請求項9】
前記メルクマールは、前記管腔器官の側枝構造を含む請求項１から請求項８のいずれか一つに記載のプログラム。
【請求項10】
管腔器官に挿入された画像診断用カテーテルを用いて生成された画像を取得し、前記画像を取得するごとに、
取得した前記画像に含まれるメルクマールが所定の向きになるまでの回転角度を算出し、
算出した回転角度が所定の閾値を超える場合に、抽出した前記メルクマールが所定の向きになるように前記画像を回転させた状態で表示する
処理をコンピュータが実行する情報処理方法。
【請求項11】
管腔器官に挿入された画像診断用カテーテルを用いて生成された画像を取得する取得部と、前記取得部が前記画像を取得するごとに、
取得した前記画像に含まれるメルクマールが所定の向きになるまでの回転角度を算出する算出部と、
前記算出部が算出した回転角度が所定の閾値を超える場合に、抽出した前記メルクマールが所定の向きになるように前記画像を回転させた状態で表示する表示部と
を備える情報処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、プログラム、情報処理方法および情報処理装置に関する。
【背景技術】
【0002】
血管等の管腔器官に画像診断用カテーテルを挿入して、画像診断用の画像を表示するカテーテルシステムが使用されている（特許文献１）。
【先行技術文献】
【特許文献】
【0003】
【文献】国際公開第２０１７／１６４０７１号
【発明の概要】
【発明が解決しようとする課題】
【0004】
画像診断用カテーテルにより得られる画像の向きは、画像診断用カテーテルの屈曲状態等により変化する。医師およびコメディカルスタッフが管腔器官の状態を速やかに把握できるように、所定の向きに手動で画像を回転させる操作が行われる場合がある。しかしながら画像を所定の向きに回転させるには、描出されている画像を正しく読影する能力が必要であるため、長時間のトレーニングが必要である。
【0005】
一つの側面では、カテーテルシステムを容易に使用できるようにするプログラム等を提供することを目的とする。
【課題を解決するための手段】
【0006】
プログラムは、管腔器官に挿入された画像診断用カテーテルを用いて生成された画像を取得し、前記画像を取得するごとに、取得した前記画像に含まれるメルクマールが所定の向きになるまでの回転角度を算出し、算出した回転角度が所定の閾値を超える場合に、抽出した前記メルクマールが所定の向きになるように前記画像を回転させた状態で表示する処理をコンピュータに実行させる。
【発明の効果】
【0007】
一つの側面では、カテーテルシステムを容易に使用できるようにするプログラム等を提供できる。
【図面の簡単な説明】
【0008】
【図1】カテーテルシステムの概要を説明する説明図である。
【図2】画像診断用カテーテルの概要を説明する説明図である。
【図3】カテーテルシステムの構成を説明する説明図である。
【図4】標準画像ＤＢのレコードレイアウトを説明する説明図である。
【図5】カテーテルシステムが表示する画面の例である。
【図6】カテーテルシステムが表示する画面の例である。
【図7】カテーテルシステムが表示する画面の例である。
【図8】カテーテルシステムが表示する画面の変形例である。
【図9】プログラムの処理の流れを説明するフローチャートである。
【図10】回転角度算出のサブルーチンの処理の流れを説明するフローチャートである。
【図11】実施の形態２のプログラムの処理の流れを説明するフローチャートである。
【図12】学習モデルの構成を説明する説明図である。
【図13】実施の形態３の回転角度算出のサブルーチンの処理の流れを説明するフローチャートである。
【図14】メルクマールＤＢのレコードレイアウトを説明する説明図である。
【図15】実施の形態４のカテーテルシステムが表示する画面の例である。
【図16】実施の形態４のプログラムの処理の流れを説明するフローチャートである。
【図17】実施の形態５のカテーテルシステムが表示する画面の例である。
【図18】実施の形態５のカテーテルシステムが表示する画面の例である。
【図19】実施の形態５のプログラムの処理の流れを説明するフローチャートである。
【図20】訓練ＤＢのレコードレイアウトを説明する説明図である。
【図21】実施の形態６のプログラムの処理の流れを説明するフローチャートである。
【図22】実施の形態７の情報処理装置の機能ブロック図である。
【図23】実施の形態８のカテーテルシステムの構成を説明する説明図である。
【発明を実施するための形態】
【0009】
［実施の形態１］
図１は、カテーテルシステム１０の概要を説明する説明図である。カテーテルシステム１０は、画像診断用カテーテル４０と、ＭＤＵ（Motor Driving Unit）３３と、情報処理装置２０とを備える。画像診断用カテーテル４０は、ＭＤＵ３３を介して情報処理装置２０に接続されている。情報処理装置２０には、表示装置３１および入力装置３２が接続されている。入力装置３２は、たとえばキーボード、マウス、トラックボールまたはマイク等の入力デバイスである。表示装置３１と入力装置３２とは、一体に積層されて、タッチパネルを構成していてもよい。入力装置３２と情報処理装置２０とは、一体に構成されていてもよい。
図１は、カテーテルシステム１０の概要を説明する説明図である。カテーテルシステム１０は、画像診断用カテーテル４０と、ＭＤＵ（Motor Driving Unit）３３と、情報処理装置２０とを備える。画像診断用カテーテル４０は、ＭＤＵ３３を介して情報処理装置２０に接続されている。情報処理装置２０には、表示装置３１および入力装置３２が接続されている。入力装置３２は、たとえばキーボード、マウス、トラックボールまたはマイク等の入力デバイスである。表示装置３１と入力装置３２とは、一体に積層されて、タッチパネルを構成していてもよい。入力装置３２と情報処理装置２０とは、一体に構成されていてもよい。
【0010】
図２は、画像診断用カテーテル４０の概要を説明する説明図である。図２は、血管の内側から超音波断層像を生成する際に用いられるＩＶＵＳ（Intravascular Ultrasound）用、すなわち超音波断層像生成用の画像診断用カテーテル４０の例を示す。
【0011】
画像診断用カテーテル４０は、プローブ部４１と、プローブ部４１の端部に配置されたコネクタ部４５とを有する。プローブ部４１は、コネクタ部４５を介してＭＤＵ３３に接続される。以下の説明では画像診断用カテーテル４０のコネクタ部４５から遠い側を先端側と記載する。
【0012】
プローブ部４１の内部に、シャフト４３が挿通されている。シャフト４３の先端側に、センサ４２が接続されている。シャフト４３およびセンサ４２は、プローブ部４１の内部で回転および進退可能である。
【0013】
センサ４２は、超音波の送受信を行なう超音波トランスデューサである。プローブ部４１の先端部近傍に、環状の先端マーカ４４が固定されている。先端マーカ４４の素材は、金属等のＸ線が透過しない材料である。
【0014】
画像診断用カテーテル４０は、近赤外光を用いて光断層像を生成するＯＣＴ（Optical Coherence Tomography）用またはＯＦＤＩ（Optical Frequency Domain Imaging）用等の、光断層像生成用のカテーテルであってもよい。これらの画像診断用カテーテル４０のセンサ４２は、近赤外光の照射と反射光の受信を行なう送受信部である。
【0015】
画像診断用カテーテル４０は、超音波トランスデューサと、ＯＣＴまたはＯＦＤＩ用の送受信部との両方のセンサ４２を有してもよい。画像診断用カテーテル４０は、超音波トランスデューサと、ＯＣＴ用の送受信部と、ＯＦＤＩ用の送受信部との合計３個のセンサ４２を有してもよい。
【0016】
画像診断用カテーテル４０は機械的に回転および進退を行なう機械走査方式に限定しない。複数の超音波トランスデューサを環状に配置したセンサ４２を用いた、電子ラジアル走査型の画像診断用カテーテル４０であってもよい。
【0017】
画像診断用カテーテル４０は、長手方向に沿って複数の超音波トランスデューサを一列に配置した、いわゆるリニア走査型のセンサ４２を有してもよい。画像診断用カテーテル４０は、複数の超音波トランスデューサをマトリクス状に配置した、いわゆる２次元アレイ型のセンサ４２を有してもよい。
【0018】
画像診断用カテーテル４０を用いて、血管壁等の管腔壁に加えて、たとえば赤血球等の管腔器官の内部に存在する反射体、および、心外膜、心臓等の管腔器官の外側に存在する臓器を含む断層像を生成できる。
【0019】
画像診断用カテーテル４０は、管腔器官の内壁を光学的に観察する際に用いられる、血管用内視鏡であってもよい。
【0020】
画像診断用カテーテル４０が挿入されて、使用される管腔器官は、たとえば血管、膵管、胆管または気管支等である。以下の説明では、画像診断用カテーテル４０は図２に示す機械走査方式のＩＶＵＳ用カテーテルである場合を例にして説明する。
【0021】
図３は、カテーテルシステム１０の構成を説明する説明図である。前述の通りカテーテルシステム１０は、情報処理装置２０、ＭＤＵ３３および画像診断用カテーテル４０を有する。情報処理装置２０は、制御部２１、主記憶装置２２、補助記憶装置２３、通信部２４、表示部２５、入力部２６、カテーテル制御部２７１およびバスを備える。
【0022】
制御部２１は、本実施の形態のプログラムを実行する演算制御装置である。制御部２１には、一または複数のＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＴＰＵ（Tensor Processing Unit）またはマルチコアＣＰＵ等が使用される。制御部２１は、バスを介して情報処理装置２０を構成するハードウェア各部と接続されている。
【0023】
主記憶装置２２は、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）、フラッシュメモリ等の記憶装置である。主記憶装置２２には、制御部２１が行なう処理の途中で必要な情報および制御部２１で実行中のプログラムが一時的に保存される。
【0024】
補助記憶装置２３は、ＳＲＡＭ、フラッシュメモリ、ハードディスクまたは磁気テープ等の記憶装置である。補助記憶装置２３には、制御部２１に実行させるプログラム、標準画像ＤＢ（Database）６５およびプログラムの実行に必要な各種データが保存される。標準画像ＤＢ６５は、情報処理装置２０に接続された外部の大容量記憶装置等に保存されていても良い。通信部２４は、情報処理装置２０とネットワークとの間の通信を行なうインターフェイスである。
【0025】
表示部２５は、表示装置３１とバスとを接続するインターフェイスである。入力部２６は、入力装置３２とバスとを接続するインターフェイスである。カテーテル制御部２７１は、ＭＤＵ３３の制御、センサ４２の制御、および、センサ４２から受信した信号に基づく画像の生成等を行なう。
【0026】
ＭＤＵ３３は、プローブ部４１の内部でセンサ４２およびシャフト４３を回転させる。カテーテル制御部２７１は、センサ４２の１回転ごとに１枚の画像を生成する。生成される画像は、プローブ部４１を中心とし、プローブ部４１に略垂直な横断層像である。
【0027】
ＭＤＵ３３は、プローブ部４１の内部でセンサ４２およびシャフト４３を回転させながら進退させることも可能である。センサ４２を一定の速度でＭＤＵ３３側に向けて引っ張りながら回転させるプルバック操作により、カテーテル制御部２７１はプローブ部４１に略垂直な複数枚の横断層像を、所定の間隔で連続的に生成する。
【0028】
カテーテル制御部２７１の機能および構成は、従来から使用されている超音波診断装置と同様であるため、詳細については説明を省略する。なお、制御部２１が、カテーテル制御部２７１の機能を実現してもよい。
【0029】
情報処理装置２０は、ＨＩＳ（Hospital Information System）等を介して、Ｘ線血管撮影装置、Ｘ線ＣＴ（Computed Tomography）装置、ＭＲＩ（Magnetic Resonance Imaging）装置、ＰＥＴ（Positron Emission Tomography）装置、または超音波診断装置等の様々な画像診断装置３７と接続されている。
【0030】
本実施の形態の情報処理装置２０は、専用の超音波診断装置、または、超音波診断装置の機能を有するパソコン、タブレット、または、スマートフォン等である。
【0031】
図４は、標準画像ＤＢ６５のレコードレイアウトを説明する説明図である。標準画像ＤＢ６５は、観察対象部位と、標準画像とを関連づけて記録したデータベースである。標準画像ＤＢ６５は、部位フィールドおよび標準画像フィールドを有する。
【0032】
部位フィールドには、観察対象部位が記録されている。１行目の「ＬＡＤ」は、左冠動脈前下行枝（Left Anterior Descending Coronary Artery）を示す。「ＬＣＸ」および「ＲＣＡ」も同様に冠動脈の部位を示す。図４に示す部位は例示であり、これに限定するものではない。標準画像ＤＢ６５には、たとえば下肢の血管、胆管、または気管支の分岐等、画像診断用カテーテル４０を挿入する可能性のある任意の部位に対応するレコードが記録されていてもよい。
【0033】
標準画像フィールドには、観察対象部位で生成される標準的な画像が記録されている。標準画像は、医師が画像診断用カテーテル４０を使用した診断に使用する典型的な画像であり、医師が慣れた向きに回転させてある。一般的に、標準画像には医師が判断の目印に使用するメルクマールが含まれている。
【0034】
メルクマールは、たとえば画像診断用カテーテル４０が挿入されている管腔器官の側枝構造、当該管腔器官に近接する心臓等の臓器または当該管腔器官と並走する管腔器官等である。たとえば画像診断用カテーテル４０を冠動脈に挿入した場合には、医師、および技師は、メルクマールとして、冠動脈から分岐した側枝の血管を使用して、それが下側になるように表示された画像を回転させたり、心外膜を使用して、それが上側になるように表示された画像を回転させたりする場合が多い。
【0035】
標準画像は、コンピュータグラフィックス等の技術を用いて人工的に生成された画像であってもよい。標準画像は、複数の症例画像を合成して生成された画像であってもよい。標準画像ＤＢ６５は、１つの観察対象部位について、１つのレコードを有する。
【0036】
標準画像ＤＢ６５は、被験者の年齢、性別または基礎疾患等の、被験者の属性を記録するフィールドを有してもよい。標準画像ＤＢ６５は、解離の有無、または、石灰化の有無等の、観察対象部位に含まれる病変を記録するフィールドを有してもよい。標準画像フィールドには、それぞれの属性または病変に対応する標準画像が記録される。
【0037】
図５から図７は、カテーテルシステム１０が表示する画面の例である。図５は、標準画像との対応付けが検出されていない状態で、制御部２１が表示装置３１に表示する画面の例を示す。図５に示す画面は、第１画像欄５１、部位選択ボタン５９１、状態通知欄５７１および自動回転ボタン５８１を含む。
【0038】
第１画像欄５１には、画像診断用カテーテル４０を使用して得た画像がリアルタイムで表示されている。以下の説明では、リアルタイムで表示される画像をリアルタイム画像と記載する。部位選択ボタン５９１はプルダウンメニュー形式のボタンであり、ユーザが観察中の観察対象部位が選択されている。
【0039】
たとえば、制御部２１は電子カルテシステムから観察対象部位を取得する。制御部２１は画像診断装置３７の画像から、先端マーカ４４の位置を検出して、観察対象部位を判定してもよい。制御部２１は、画像診断装置３７が判定した観察対象部位を取得してもよい。制御部２１は、当該観察対象部位が選択された状態に部位選択ボタン５９１を自動的に設定する。
【0040】
制御部２１は、部位選択ボタン５９１を自動的に設定せずに、ユーザによる部位選択ボタン５９１の操作を待ってもよい。制御部２１が部位選択ボタン５９１を自動的に設定した場合であっても、ユーザは部位選択ボタン５９１を操作して観察対象部位を変更できる。制御部２１は、音声入力によりユーザによる部位選択ボタン５９１の操作を受け付けてもよい。
【0041】
制御部２１は、部位選択ボタン５９１に設定された観察対象部位をキーとして標準画像ＤＢ６５を検索し、標準画像を抽出する。制御部２１は、リアルタイム画像を回転させて、標準画像と類似した画像になる角度を検出する。
【0042】
具体的には、制御部２１はリアルタイム画像をたとえば３度または５度等の任意の角度回転させた後に、標準画像との類似度を判定する処理を繰り返して行なう。制御部２１は、センサ４２から取得した音線データ１本分、または複数本分の回転を行なった画像を生成して、標準画像との類似度を判定する処理を繰り返してもよい。
【0043】
類似度は、たとえば二つの画像中の同一位置の画素の画素値の差分二乗和（SSD：Sum of Squared Difference）、差分絶対値和（SAD : Sum of Absolute Difference）、または、正規化相互相関（NCC: Normalized Cross-Correlation）等により評価できる。なお、上記の手法はいずれも例示である。類似度の評価手法はこれらに限定するものではない。
【0044】
リアルタイム画像が１回転するまで処理を繰り返した後、制御部２１は最も類似度の高い角度を抽出する。制御部２１は、当該角度での類似度が所定の閾値を超えるか否かを判定する。
【0045】
類似度が閾値を超えない場合、制御部２１は図５に示すように状態通知欄５７１に「未検出」である旨を表示し、自動回転ボタン５８１を選択不能な状態に設定する。類似度が閾値を超えた場合、制御部２１は図６に示すように自動回転ボタン５８１を選択可能な状態に設定する。図６においては、自動回転ボタン５８１は「ＯＦＦ」の状態に設定されている。制御部２１は、回転させない状態のリアルタイム画像を第１画像欄５１に表示する。
【0046】
図７は、ユーザが自動回転ボタン５８１を「ＯＮ」の状態に設定した場合に、制御部２１が表示装置３１に表示する画像の例を示す。制御部２１は、標準画像と最も類似する向きに回転させたリアルタイム画像を第１画像欄５１に表示する。ユーザは、表示されているリアルタイム画像から、管腔器官およびその周囲の状態を容易に把握できる。
【0047】
なお、制御部２１は標準画像と類似する向きが検出されると同時に、リアルタイム画像を回転させて、自動回転ボタン５８１を「ＯＮ」の状態に設定してもよい。制御部２１は、音声入力により自動回転ボタン５８１の操作を受け付けてもよい。
【0048】
図８は、カテーテルシステム１０が表示する画面の変形例である。図８においては、部位選択ボタン５９１と自動回転ボタン５８１との間に第２画像欄５２が表示されている。制御部２１は、回転させたリアルタイム画像を第１画像欄５１に、回転させないリアルタイム画像を第２画像欄５２に表示する。
【0049】
回転させたリアルタイム画像と、回転させないリアルタイム画像との両方を表示することにより、画像を回転させた際に、ユーザが画像中の注目していた部分を見失うことを防止できる。
【0050】
たとえば、主に画像診断用カテーテル４０の操作を行なう医師が観察しやすい場所に配置された表示装置３１には、図８を使用して説明した画像が表示され、そのほかの医療スタッフが観察しやすい場所に配置された表示装置３１には図７を使用して説明した画像が表示されてもよい。
【0051】
図９は、プログラムの処理の流れを説明するフローチャートである。制御部２１は、観察対象部位を取得する（ステップＳ５０１）。制御部２１は、ステップＳ５０１で取得した観察対象部位をキーとして標準画像ＤＢ６５を検索し、抽出した標準画像を取得する（ステップＳ５０２）。
【0052】
制御部２１は、カテーテル制御部２７１からリアルタイム画像を取得する（ステップＳ５０３）。制御部２１は、図５を使用して説明した画像を表示する（ステップＳ５０４）。制御部２１は、回転角度算出のサブルーチンを起動する（ステップＳ５０５）。回転角度算出のサブルーチンは、標準画像と、リアルタイム画像との類似度が高くなる回転角度を算出するサブルーチンである。回転角度算出のサブルーチンの処理の流れは後述する。
【0053】
制御部２１は、回転角度算出のサブルーチンが算出した回転角度におけるリアルタイム画像と標準画像との類似度が、所定の閾値を超えるか否かを判定する（ステップＳ５０６）。所定の閾値を超えない、すなわち十分に類似していないと判定した場合（ステップＳ５０６でＮＯ）、制御部２１はステップＳ５０３に戻る。
【0054】
閾値を超えたと判定した場合（ステップＳ５０６でＹＥＳ）、制御部２１は、自動回転ボタン５８１が選択された場合にリアルタイム画像を回転させる回転角度を、ステップＳ５０５で算出された角度に設定する（ステップＳ５０７）。制御部２１は、図６から図８を使用して説明した画像を表示装置３１に表示する（ステップＳ５０８）。
【0055】
その後、制御部２１は第１画像欄５１に表示する画像をリアルタイムで更新する。制御部２１は、ユーザによる自動回転ボタン５８１の操作に基づいて、第１画像欄５１に表示するリアルタイム画像の回転有無を切り替える。ユーザから終了の指示を受け付けた場合、画像診断用カテーテル４０がＭＤＵ３３から取り外された場合、制御部２１は処理を終了する。
【0056】
ユーザが部位選択ボタン５９１を操作して、別の観察対象部位を選択した場合、制御部２１は処理を終了した後に、プログラムを再度実行する。制御部２１は、再実行時のステップＳ５０３においては、ユーザが部位選択ボタン５９１を操作する直前と同一の回転角度でリアルタイム画像を表示する。ユーザが部位選択ボタン５９１を操作した場合に、第１画像欄５１に表示される画像が回転してしまい、リアルタイム画像を観察中のユーザが戸惑うことを防止できる。
【0057】
図１０は、回転角度算出のサブルーチンの処理の流れを説明するフローチャートである。回転角度算出のサブルーチンは、標準画像と、リアルタイム画像との類似度が高くなる回転角度を算出するサブルーチンである。
【0058】
制御部２１は、標準画像と、リアルタイム画像との類似度を算出する（ステップＳ５１１）。前述のとおり類似度は、たとえば二つの画像中の同一位置の画素の画素値の差分二乗和、差分絶対値和、または、正規化相互相関等の任意の手法を用いて評価できる。制御部２１は、ユーザによる使用する手法の選択を受け付けてもよい。
【0059】
制御部２１は、回転角度と類似度とを関連づけて補助記憶装置２３または主記憶装置２２に記憶する（ステップＳ５１２）。なお、回転角度の初期値はゼロである。制御部２１は、リアルタイム画像が一回転したか否かを判定する（ステップＳ５１３）。一回転していないと判定した場合（ステップＳ５１３でＮＯ）、制御部２１は処理中の画像を所定の角度回転させる（ステップＳ５１４）。制御部２１は、ステップＳ５１１に戻る。
【0060】
１回転したと判定した場合（ステップＳ５１３でＹＥＳ）、制御部２１はステップＳ５１２で記録した回転角度と類似度との関連に基づいて類似度が高い回転角度を算出する（ステップＳ５１５）。その後、制御部２１は処理を終了する。
【0061】
制御部２１は、ステップＳ５１１で類似度を算出する前に、標準画像およびリアルタイム画像に対してたとえばエッジ強調またはコントラスト補正等の、メルクマールを明瞭に抽出する画像処理を行なってもよい。
【0062】
制御部２１は、近接する複数フレームの画像を平均化した画像をリアルタイム画像の代わりに用いて類似度を算出してもよい。管腔器官の内部を流れる赤血球等の反射体が描写されなくなるため、メルクマールが明瞭になる。メルクマールが明瞭に抽出された画像を用いることで、両者の類似度が高くなる回転角度を精度よく算出できる。
【0063】
制御部２１は、ステップＳ５１１で類似度を算出する前に、標準画像およびリアルタイム画像を縮小する処理を行なってもよい。または、標準画像ＤＢ６５には縮小処理御の標準画像が記録されていてもよい。縮小画像を使用することにより、類似度を算出する際の演算処理を高速化できる。
【0064】
リアルタイム画像のフレームレートが高く、ステップＳ５０５の処理が間に合わない場合、制御部２１はたとえば２フレームまたは３フレームに１回ステップＳ５０５を起動してもよい。制御部２１は、ステップＳ５０５の処理を行なうフレームを心電図に同期させるように定めてもよい。
【0065】
プログラムの一部または全部は、ネットワークを介して接続された大型計算機、大型計算機上で動作する仮想マシン、またはクラウドコンピューティングシステムで実行されてもよい。プログラムの一部または全部は、分散処理を行なう複数のパソコン等で実行されてもよい。
【0066】
本実施の形態によると、リアルタイム画像を標準画像と類似した向きに自動的に回転させるカテーテルシステム１０を提供できる。たとえば、カテーテル室のように複数の医師および看護師等の医療スタッフが協力して診断および治療にあたる場合、リアルタイム画像が適切な向きに表示されていることにより各医療スタッフが速やかに管腔器官の状態を把握できる。したがって、カテーテル治療を速やかに、かつ適切に行なえる。
【0067】
本実施の形態によると、リアルタイム画像を正確に読影できる熟練したスタッフがリアルタイム画像の回転操作作業を手動で行なう必要のないカテーテルシステム１０を提供できる。
【0068】
リアルタイム画像の代わりに、補助記憶装置２３等に保存された動画または静止画を使用してもよい。症例終了後のカルテ記録等に使用できるカテーテルシステム１０を提供できる。そのようにする場合には、情報処理装置２０はＭＤＵ３３および画像診断用カテーテル４０を接続する機能を備えないパソコン、タブレットまたはスマートフォン等であってもよい。
【0069】
［実施の形態２］
本実施の形態は、回転角度の算出を継続的に実行するカテーテルシステム１０に関する。実施の形態１と共通する部分については、説明を省略する。
本実施の形態は、回転角度の算出を継続的に実行するカテーテルシステム１０に関する。実施の形態１と共通する部分については、説明を省略する。
【0070】
図１１は、実施の形態２のプログラムの処理の流れを説明するフローチャートである。ステップＳ５０１からステップＳ５０８までの処理は、図９を使用して説明した実施の形態１のプログラムの処理と共通であるため、説明を省略する。
【0071】
制御部２１は、カテーテル制御部２７１からリアルタイム画像を取得する（ステップＳ５２１）。制御部２１は、回転角度算出のサブルーチンを起動する（ステップＳ５２２）。回転角度算出のサブルーチンは、図１０を使用して説明したサブルーチンと同一のサブルーチンである。
【0072】
制御部２１は、リアルタイム画像が回転したか否かを判定する（ステップＳ５２３）。具体的には制御部２１は、ステップＳ５０７で設定した回転角度と、ステップＳ５２２で算出した回転角度との差が所定の閾値よりも大きい場合に、リアルタイム画像が回転したと判定する。所定の閾値は、音線データ１本分の角度であっても、たとえば３０度、または６０度等、ユーザが視認して容易に識別できる程度の角度であってもよい。制御部２１は、ユーザによる閾値の設定を受け付けてもよい。
【0073】
回転したと判定した場合（ステップＳ５２３でＹＥＳ）、制御部２１はステップＳ５０７で設定した回転角度をステップＳ５２２で新たに算出した回転角度に更新する（ステップＳ５２４）。回転していないと判定した場合（ステップＳ５２３でＮＯ）、またはステップＳ５２４の終了後、制御部２１は処理を終了するか否かを判定する（ステップＳ５２５）。
【0074】
たとえば、ユーザから終了の指示を受け付けた場合、画像診断用カテーテル４０がＭＤＵ３３から取り外された場合、または、ユーザが部位選択ボタン５９１を操作して、別の観察対象部位を選択した場合に、制御部２１は処理を終了すると判定する。処理を終了しないと判定した場合（ステップＳ５２５でＮＯ）、制御部２１はステップＳ５０８に戻る。処理を終了すると判定した場合（ステップＳ５２５でＹＥＳ）、制御部２１は処理を終了する。
【0075】
本実施の形態によると、管腔器官の屈曲状態等の影響によるリアルタイム画像の回転に自動的に追従してリアルタイム画像の向きを修正し続けるカテーテルシステム１０を提供できる。
【0076】
［実施の形態３］
本実施の形態は、管腔器官およびその周囲の臓器等の構造を模式的に表したシェーマを標準画像に使用するカテーテルシステム１０に関する。本実施の形態においては、リアルタイム画像をオブジェクト配置像に変換した後に、シェーマとの類似度が高くなる向きに回転させる。実施の形態１と共通する部分については、説明を省略する。
本実施の形態は、管腔器官およびその周囲の臓器等の構造を模式的に表したシェーマを標準画像に使用するカテーテルシステム１０に関する。本実施の形態においては、リアルタイム画像をオブジェクト配置像に変換した後に、シェーマとの類似度が高くなる向きに回転させる。実施の形態１と共通する部分については、説明を省略する。
【0077】
図１２は、学習モデル６１の構成を説明する説明図である。学習モデル６１は、リアルタイム画像を受け付けて、リアルタイム画像に含まれる複数のオブジェクトの種類と、それぞれのオブジェクトの範囲とを関連づけてマッピングしたオブジェクト配置像４８２を出力するモデルである。学習モデル６１は、機械学習により生成されている。
【0078】
図１２に示すオブジェクト配置像４８２において、細い横線のハッチングは、「画像診断用カテーテル４０の断面」を、右下がりのハッチングは「管腔器官の内部」を、太い左下がりのハッチングは「心外膜」をそれぞれ示す。
【0079】
図１２中のハッチングは、それぞれのオブジェクトを異なる色で塗り分けていることを模式的に示す。オブジェクトの塗り分けは、それぞれのオブジェクトを区別して表示する方法の一例である。それぞれのオブジェクトの外縁を囲む等の任意の態様により、他のオブジェクトと識別可能に表示してもよい。
【0080】
図１２においてはオブジェクト配置像４８２のうち上記に列挙したオブジェクト以外の部分には、横断層像を表示している。制御部２１は、オブジェクト配置像４８２の全面をたとえば「管腔器官壁」、「プラーク」、「石灰化」、「ガイドワイヤ」等、なんらかのオブジェクトに分類して、塗り分けて表示してもよい。
【0081】
学習モデル６１は、たとえばセマンテックセグメンテーションモデルであり、入力層と、ニューラルネットワークと、出力層とを備える。ニューラルネットワークは、セマンテックセグメンテーションを実現するＵ－Ｎｅｔ構造を有する。Ｕ－Ｎｅｔ構造は、多層のエンコーダ層と、その後ろに接続された多層のデコーダ層とにより構成される。セマンテックセグメンテーションにより、入力された画像を構成するそれぞれの画素に対して、オブジェクトの種類を示すラベルが付与される。
【0082】
制御部２１は、ラベルにしたがってそれぞれの画素の表示方法を定めることにより図４のオブジェクト配置像４８２に示すように、オブジェクトをその種類ごとに異なる色によりマッピングした出力画像を生成できる。本実施の形態の標準画像ＤＢ６５の標準画像フィールドには、オブジェクト配置像と同様の色で塗分けた、標準画像のシェーマが記録されている。
【0083】
図１２に示す学習モデル６１は、画像を入力した際に当該画像に含まれるメルクマールに関する情報を出力するモデルの一例である。学習モデル６１は、Ｍａｓｋ Ｒ－ＣＮＮ（Regions with Convolutional Neural Networks）を用いて、画像からメルクマール等を検出するモデルであってもよい。
【0084】
図１３は、実施の形態３の回転角度算出のサブルーチンの処理の流れを説明するフローチャートである。図１３のサブルーチンは、図１０を使用して説明した回転角度算出のサブルーチンの代わりに使用されるサブルーチンである。
【0085】
制御部２１は、カテーテル制御部２７１から取得したリアルタイム画像を学習モデル６１に入力して、リアルタイム画像に含まれる複数のオブジェクトの種類と、それぞれのオブジェクトの範囲とを関連づけたオブジェクト配置像４８２を取得する（ステップＳ５３１）。
【0086】
制御部２１は、標準画像と、オブジェクト配置像４８２との類似度を算出する（ステップＳ５３２）。制御部２１は、回転角度と類似度とを関連づけて補助記憶装置２３または主記憶装置２２に記憶する（ステップＳ５３３）。なお、回転角度の初期値はゼロである。
【0087】
制御部２１は、リアルタイム画像が一回転したか否かを判定する（ステップＳ５３４）。一回転していないと判定した場合（ステップＳ５３４でＮＯ）、制御部２１はステップＳ５３１で取得したオブジェクト配置像を所定の角度回転させる（ステップＳ５３５）。制御部２１は、ステップＳ５３２に戻る。
【0088】
１回転したと判定した場合（ステップＳ５３４でＹＥＳ）、制御部２１はステップＳ５３３で記録した回転角度と類似度との関連に基づいて類似度が高い回転角度を算出する（ステップＳ５３６）。その後、制御部２１は処理を終了する。
【0089】
本実施の形態によると、標準画像にシェーマを使用できるカテーテルシステム１０を提供できる。たとえば、新しいタイプの画像診断用カテーテル４０を使用する場合、または新しい用途に画像診断用カテーテル４０を使用する場合等、標準画像に適した実際の症例画像を用意できない場合であっても使用できるカテーテルシステム１０を提供できる。
【0090】
［実施の形態４］
本実施の形態は、リアルタイム画像からユーザが指定したメルクマールに基づいて、回転角度を算出するカテーテルシステム１０に関する。実施の形態３と共通する部分については、説明を省略する。
本実施の形態は、リアルタイム画像からユーザが指定したメルクマールに基づいて、回転角度を算出するカテーテルシステム１０に関する。実施の形態３と共通する部分については、説明を省略する。
【0091】
図１４は、メルクマールＤＢのレコードレイアウトを説明する説明図である。メルクマールＤＢは、観察対象部位と、メルクマールの名称と、メルクマールを表示する位置を示すメルクマール画像とを関連づけて記録するＤＢである。メルクマールＤＢは、部位フィールド、メルクマール名フィールドおよびメルクマール画像フィールドを有する。
【0092】
部位フィールドには、観察対象部位が記録されている。メルクマール名フィールドには、メルクマールの名称が記録されている。メルクマール画像フィールドには、メルクマールの範囲を示す画像が記録されている。
【0093】
メルクマールＤＢには、一つの観察対象部位に対して複数のメルクマール名が記録されていてもよい。一つのメルクマール名が複数の観察対象部位に関連づけられていてもよい。メルクマールＤＢは、１組の観察対象部位とメルクマール名との組み合わせについて、１つのレコードを有する。
【0094】
具体例を挙げて説明する。図１４の１行目には、観察対象部位が「ＬＡＤ」であり、メルクマール名が「心外膜」である場合のレコードが記録されている。メルクマール画像フィールドには、画像診断用カテーテル４０を「ＬＡＤ」に挿入中に、メルクマールである「心外膜」を表示する標準的な範囲、すなわち「心外膜」が表示される標準的な位置および標準的な形状を図示したメルクマール画像が記録されている。図１４においては、ハッチングで示す部分がメルクマールを表示する標準的な範囲状である。
【0095】
図１４の２行目には、観察対象部位が「ＬＡＤ」であり、メルクマール名が「Ｄ１（第１対角枝：First Diagonal Branch）」である場合のレコードが記録されている。メルクマール画像フィールドには、画像診断用カテーテル４０を「ＬＡＤ」に挿入中に、メルクマールである「Ｄ１」を表示する標準的な範囲を図示したメルクマール画像が記録されている。
【0096】
図１５は、実施の形態４のカテーテルシステム１０が表示する画面の例である。図１５は、ユーザがメルクマールを手動で指定する際に、制御部２１が表示装置３１に表示する画像の例である。図１５に示す画面は、第１画像欄５１、部位選択ボタン５９１、メルクマール選択ボタン５９２および自動回転ボタン５８１を含む。
【0097】
第１画像欄５１には、ユーザによるメルクマールの指定を受け付ける指定受付画像が表示されている。指定受付画像は、画像診断用カテーテル４０を使用して得たリアルタイム画像、または、ユーザによる操作に基づいてリアルタイム画像の更新を一時停止した一時停止画像である。
【0098】
部位選択ボタン５９１はプルダウンメニュー形式のボタンであり、ユーザが観察中の観察対象部位が選択されている。メルクマール選択ボタン５９２はプルダウンメニュー形式のボタンであり、ユーザが指定するメルクマールの名称が選択されている。
【0099】
たとえば、制御部２１は電子カルテシステムから観察対象部位を取得する。制御部２１は画像診断装置３７が撮影中の画像から、センサ４２の位置を検出して、観察対象部位を判定してもよい。制御部２１は、画像診断装置３７が判定した観察対象部位を取得してもよい。制御部２１は、当該観察対象部位が選択された状態に部位選択ボタン５９１を自動的に設定する。
【0100】
制御部２１は、部位選択ボタン５９１を自動的に設定せずに、ユーザによる部位選択ボタン５９１の操作を待ってもよい。制御部２１が部位選択ボタン５９１を自動的に設定した場合であっても、ユーザは部位選択ボタン５９１を操作して観察対象部位を変更できる。制御部２１は、音声入力によりユーザによる部位選択ボタン５９１の操作を受け付けてもよい。
【0101】
制御部２１は、観察対象部位をキーにしてメルクマールＤＢを検索し、当該部位に関連づけられたメルクマール名を抽出する。制御部２１は、メルクマール選択ボタン５９２のプルダウンメニューを開いた場合の選択肢に、抽出したメルクマール名を設定する。制御部２１は、ユーザによるメルクマール選択ボタン５９２の操作を受け付ける。
【0102】
制御部２１は、第１画像欄５１にカーソル６８を表示する。ユーザはマウス等の入力装置を用いてカーソル６８を操作して、メルクマールの範囲を示す指定枠６９を入力する。制御部２１は、ユーザにより指定されたメルクマールの範囲を取得する。
【0103】
たとえば制御部２１は、いわゆるペイントソフトと同様のユーザインターフェイスを介して、メルクマールの範囲の指定を受け付ける。制御部２１は、部位選択ボタン５９１を介して選択された観察対象部位と、メルクマール選択ボタン５９２を介して選択された部位選択ボタン５９１とに基づいて、第１画像欄５１にメルクマールの範囲の指定に適した形状の指定枠６９を表示し、ユーザによる移動および変形の操作を受け付けてもよい。メルクマールの範囲の指定を完了した後、ユーザは自動回転ボタン５８１を選択する。
【0104】
制御部２１は、部位選択ボタン５９１に設定された観察対象部位、および、メルクマール選択ボタン５９２に設定されたメルクマール名をキーとしてメルクマールＤＢを検索し、メルクマール画像を抽出する。制御部２１は、ユーザにより指定された指定枠６９の範囲と、メルクマール画像に含まれるメルクマールの範囲とが類似した状態になる角度を検出する。
【0105】
具体的には、制御部２１指定受付画像と同一寸法の白地に、指定枠６９で指定された範囲がメルクマール画像と同様の態様で塗りつぶした指定枠画像を生成する。制御部２１は、指定枠画像を任意の角度回転させた後に、メルクマール画像との類似度を判定する処理を繰り返して行なう。指定枠画像が１回転するまで処理を繰り返した後、制御部２１は最も類似度の高い角度を抽出する。制御部２１は、指定受付画像を指定枠６９とともに回転させる。
【0106】
図１６は、実施の形態４のプログラムの処理の流れを説明するフローチャートである。制御部２１は、観察対象部位を取得する（ステップＳ５４１）。制御部２１は、ステップＳ５４１で取得した観察対象部位をキーとしてメルクマールＤＢを検索し、メルクマール名を抽出する（ステップＳ５４２）。
【0107】
制御部２１は、メルクマール選択ボタン５９２の選択肢に、ステップＳ５４２で抽出したメルクマール名を設定する。制御部２１は、ユーザが選択したメルクマール名を取得する（ステップＳ５４３）。制御部２１は、ステップＳ５４１で取得した観察対象部位、および、ステップＳ５４３で取得したメルクマール名をキーとしてメルクマールＤＢを検索し、メルクマール画像を抽出する（ステップＳ５４４）。
【0108】
制御部２１は、ユーザに対してメルクマールの入力を促す。ユーザは、カーソル６８を操作して指定受付画像に描出されているメルクマールの範囲を示す指定枠６９を入力する。制御部２１は、ユーザが入力した指定枠６９を取得する（ステップＳ５４５）。制御部２１は、指定枠画像を生成する（ステップＳ５４６）。
【0109】
制御部２１は、回転角度算出のサブルーチンを起動する（ステップＳ５４７）。回転角度算出のサブルーチンは、図１０を使用して説明したサブルーチンと同一のサブルーチンであり、標準画像と、リアルタイム画像との類似度が高くなる回転角度を算出するサブルーチンである。制御部２１は、本実施の形態においては、標準画像の代わりにステップＳ５４４で取得したメルクマールを標準画像に、リアルタイム画像の代わりにステップＳ５４６で生成した指定枠画像をそれぞれ回転角度算出のサブルーチンに入力する。
【0110】
制御部２１は、自動回転ボタン５８１が選択された場合にリアルタイム画像を回転させる回転角度を、ステップＳ５４７で算出された角度に設定する（ステップＳ５４８）。制御部２１は、第１画像欄５１に表示中の指定受付画像を回転させる（ステップＳ５４９）。
【0111】
ユーザが第１画像欄５１にリアルタイム画像を表示するように指示した場合、制御部２１は第１画像欄５１に表示する画像をリアルタイムで更新する。制御部２１は、ユーザによる自動回転ボタン５８１の操作に基づいて、第１画像欄５１に表示するリアルタイム画像の回転有無を切り替える。ユーザから終了の指示を受け付けた場合、または画像診断用カテーテル４０がＭＤＵ３３から取り外された場合、制御部２１は処理を終了する。
【0112】
制御部２１は指定枠６９の位置および形状をリアルタイム画像に追従するように変形させてもよい。動画上で、指定された領域または点を追従させる方法については、従来から使用されているため、説明を省略する。
【0113】
ユーザが部位選択ボタン５９１を操作して、別の観察対象部位を選択した場合、制御部２１は処理を終了するとともに、プログラムを再実行する。制御部２１は、再実行中にリアルタイム画像を表示する指示を受け付けた場合には、ユーザが部位選択ボタン５９１を操作する直前と同一の回転角度で表示する。ユーザが部位選択ボタン５９１を操作した場合に、第１画像欄５１に表示される画像が回転してしまい、リアルタイム画像を観察中のユーザが戸惑うことを防止できる。
【0114】
本実施の形態によると、ユーザが読影して指定したメルクマールに基づいて、リアルタイム画像を標準画像と類似した向きに自動的に回転させるカテーテルシステム１０を提供できる。ユーザは、予定している治療手技に応じて適切なメルクマールを指定できる。
【0115】
［変形例－１］
変形例－１においては、制御部２１は図１２を使用して説明した学習モデル６１を使用して、指定枠６９の入力を支援する。制御部２１は、図１６を使用して説明したプログラムのステップＳ５４５を、以下の処理に置き換えて実行する。
変形例－１においては、制御部２１は図１２を使用して説明した学習モデル６１を使用して、指定枠６９の入力を支援する。制御部２１は、図１６を使用して説明したプログラムのステップＳ５４５を、以下の処理に置き換えて実行する。
【0116】
制御部２１は、指定受付画像を学習モデル６１に入力して、オブジェクト配置像を取得する。制御部２１は、メルクマール選択ボタン５９２を介して受け付けたメルクマール名に対応するオブジェクトの輪郭線を抽出する。制御部２１は、抽出した輪郭線をデフォルトの指定枠６９に使用して、第１画像欄５１に表示する。制御部２１は、ユーザによる指定枠６９の修正を受け付ける。
【0117】
本変形例によると、ユーザが短時間で容易に指定枠６９を指定できるカテーテルシステム１０を提供できる。
【0118】
［変形例－２］
変形例－２においては、ユーザによる指定枠６９の修正を受け付けず、自動的に回転角度を算出する。制御部２１は、図１６を使用して説明したプログラムのステップＳ５４５およびステップＳ５４６を、以下の処理に置き換えて実行する。
変形例－２においては、ユーザによる指定枠６９の修正を受け付けず、自動的に回転角度を算出する。制御部２１は、図１６を使用して説明したプログラムのステップＳ５４５およびステップＳ５４６を、以下の処理に置き換えて実行する。
【0119】
制御部２１は、図１２を使用して説明した学習モデル６１に指定受付画像を入力して、オブジェクト配置像を取得する。制御部２１は、メルクマール選択ボタン５９２を介して受け付けたメルクマール名に対応するオブジェクトに対応する画素を抽出する。制御部２１は、抽出した画素以外をたとえば白色等の背景色に設定することにより、指定枠画像を生成する。
【0120】
本変形例によると、ユーザが指定枠６９を指定する必要のないカテーテルシステム１０を提供できる。
【0121】
［実施の形態５］
本実施の形態は、プルバック操作中にメルクマールを抽出して、画像を回転させるカテーテルシステム１０に関する。実施の形態１と共通する部分については、説明を省略する。
本実施の形態は、プルバック操作中にメルクマールを抽出して、画像を回転させるカテーテルシステム１０に関する。実施の形態１と共通する部分については、説明を省略する。
【0122】
図１７および図１８は、実施の形態５のカテーテルシステムが表示する画面の例である。図１７に示す画面は、第１画像欄５１、第２画像欄５２、部位選択ボタン５９１、メルクマール選択ボタン５９２および自動回転ボタン５８１を含む。
【0123】
第１画像欄５１には、リアルタイム画像が表示されている。第２画像欄５２には、縦断層像が表示されている。縦断層像の右端がリアルタイム画像に対応し、プルバック操作によりセンサ４２がＭＤＵ３３側に移動するにつれて第２画像欄５２に表示される縦断層像が右向きに延びていく。
【0124】
図１７および図１８においては、観察対象部位は「ＳＦＡ（浅大腿動脈：Superficial Femoral Artrery）」、メルクマールとして「ＤＦＡ（深大腿動脈：Deep Femoral Artery）」を選定している。
【0125】
図１７に示す状態では、メルクマールは未検出であり、自動回転ボタン５８１は選択不可能な状態に設定されている。図１８は、メルクマールが検出された後の状態を示す。第２画像欄５２の縁に表示された検出マーク５７２は、メルクマールが検出された位置を示す。メルクマールが検出されて回転角度が算出された後、制御部２１は自動回転ボタン５８１を選択可能な状態に設定する。図１８においては自動回転ボタン５８１が選択されており、第１画像欄５１および第２画像欄５２には回転済の画像が表示されている。
【0126】
図１９は、実施の形態５のプログラムの処理の流れを説明するフローチャートである。制御部２１は、観察対象部位を取得する（ステップＳ５５１）。制御部２１は、ステップＳ５５１で取得した観察対象部位をキーとして標準画像ＤＢ６５を検索し、抽出した標準画像を取得する（ステップＳ５５２）。制御部２１は、ユーザによるプルバック操作開始の指示を受け付ける（ステップＳ５５３）。
【0127】
制御部２１は、カテーテル制御部２７１からリアルタイム画像を取得する（ステップＳ５５４）。制御部２１は、図１７を使用して説明した画像を表示する（ステップＳ５５５）。制御部２１は、回転角度算出のサブルーチンを起動する（ステップＳ５５６）。回転角度算出のサブルーチンは、図１０を使用して説明したサブルーチンと同一のサブルーチンである。
【0128】
制御部２１は、回転角度算出のサブルーチンが算出した回転角度におけるリアルタイム画像と標準画像との類似度が、所定の閾値を超えるか否かを判定する（ステップＳ５５７）。所定の閾値を超えない、すなわち十分に類似していないと判定した場合（ステップＳ５５７でＮＯ）、制御部２１はプルバック操作が終了したか否かを判定する（ステップＳ５５８）。
【0129】
終了していないと判定した場合（ステップＳ５５８でＮＯ）、制御部２１はステップＳ５５４に戻る。終了したと判定した場合（ステップＳ５５８でＹＥＳ）、制御部２１は処理を終了する。
【0130】
所定の閾値を超えた場合、すなわち十分に類似していると判定した場合（ステップＳ５５７でＹＥＳ）、制御部２１は、自動回転ボタン５８１が選択された場合にリアルタイム画像を回転させる回転角度を、ステップＳ５５７で算出された角度に設定する（ステップＳ５５９）。制御部２１は、図１８を使用して説明した画像を表示装置３１に表示する（ステップＳ５６０）。
【0131】
その後、制御部２１は第１画像欄５１および第２画像欄５２に表示する画像をリアルタイムで更新する。制御部２１は、ユーザによる自動回転ボタン５８１の操作に基づいて、第１画像欄５１および第２画像欄５２に表示する画像の回転有無を切り替える。プルバック操作が終了した場合、制御部２１は処理を終了する。
【0132】
なお、制御部２１は、ステップＳ５６０で回転角度を設定した際に、第１画像欄５１および第２画像欄５２に表示する画像を回転させてもよい。
【0133】
本実施の形態によると、プルバック操作の途中でメルクマールを検出して、画像を回転させるカテーテルシステム１０を提供できる。メルクマールが描出される場所が少ない場合であっても、自動的に所定の向きに画像を回転させるカテーテルシステム１０を提供できる。
【0134】
［実施の形態６］
本実施の形態は、学習モデル６１を生成するプログラムに関する。実施の形態３と共通する部分については、説明を省略する。
本実施の形態は、学習モデル６１を生成するプログラムに関する。実施の形態３と共通する部分については、説明を省略する。
【0135】
図２０は、訓練ＤＢのレコードレイアウトを説明する説明図である。訓練ＤＢは、入力と正解ラベルとを関連づけて記録したデータベースであり、機械学習によるモデルの訓練に使用される。訓練ＤＢは、入力データフィールおよび塗分けデータフィールドを有する。
【0136】
入力データフィールドには、画像診断用カテーテル４０を用いて取得された入力画像が記録されている。塗分けデータフィールドには、入力画像を医師等の専門家がそれぞれのオブジェクトごとに異なる色で塗分けた画像が記録されている。すなわち、塗分けデータフィールドには、入力画像を構成するそれぞれの画素が対応するオブジェクトが記録されている。訓練ＤＢには、画像診断用カテーテル４０を用いて生成した入力画像と、専門家等が塗分けた画像との組み合わせが大量に記録されている。
【0137】
図２１は、実施の形態６のプログラムの処理の流れを説明するフローチャートである。情報処理装置２０を用いて学習モデル６１の機械学習を行なう場合を例にして説明する。
【0138】
図２１のプログラムは情報処理装置２０とは別のハードウェアで実行され、機械学習が完了した学習モデル６１がネットワークを介して補助記憶装置２３に複写されてもよい。一つのハードウェアで学習させた学習モデル６１を、複数の情報処理装置２０で使用できる。
【0139】
図２１のプログラムの実行に先立ち、たとえばセマンテックセグメンテーションを実現するＵ－Ｎｅｔ構造等の未学習のモデルが準備されている。前述のとおり、Ｕ－Ｎｅｔ構造は、多層のエンコーダ層と、その後ろに接続された多層のデコーダ層とにより構成される。図１９のプログラムにより、準備されたモデルの各パラメータが調整されて、機械学習が行なわれる。
【0140】
制御部２１は、訓練ＤＢから１エポックの訓練に使用する訓練レコードを取得する（ステップＳ５７１）。制御部２１は、モデルの入力層に入力画像が入力された場合に、出力層から正解画像ラベルが出力されるように、モデルのパラメータを調整する（ステップＳ５７２）。訓練レコードの取得、およびモデルのパラメータ調整においては、プログラムは、ユーザによる修正の受付、判断の根拠の提示、再学習等を制御部２１に実行させる機能を適宜有していても良い。
【0141】
制御部２１は、処理を終了するか否かを判定する（ステップＳ５７３）。たとえば、制御部２１は所定のエポック数の学習を終了した場合に、処理を終了すると判定する。制御部２１は、訓練ＤＢからテストデータを取得して機械学習中のモデルに入力し、所定の精度の出力が得られた場合に処理を終了すると判定してもよい。
【0142】
処理を終了しないと判定した場合（ステップＳ５７３でＮＯ）、制御部２１はステップＳ５７１に戻る。処理を終了すると判定した場合（ステップＳ５７３でＹＥＳ）、制御部２１は学習済のモデルのパラメータを補助記憶装置２３に記録する（ステップＳ５７４）。その後、制御部２１は処理を終了する。以上の処理により、学習済のモデルが生成される。
【0143】
本実施の形態によると、機械学習により学習モデル６１を生成できる。
【0144】
［実施の形態７］
図２２は、実施の形態７の情報処理装置２０の機能ブロック図である。情報処理装置２０は、取得部８１および表示部８２を備える。取得部８１は、管腔器官に挿入された画像診断用カテーテルを用いて生成された画像を取得する。表示部８２は、取得部８１が取得した画像に含まれる前記メルクマールが所定の向きになるように前記画像を回転させた状態で表示する。
図２２は、実施の形態７の情報処理装置２０の機能ブロック図である。情報処理装置２０は、取得部８１および表示部８２を備える。取得部８１は、管腔器官に挿入された画像診断用カテーテルを用いて生成された画像を取得する。表示部８２は、取得部８１が取得した画像に含まれる前記メルクマールが所定の向きになるように前記画像を回転させた状態で表示する。
【0145】
［実施の形態８］
図２３は、実施の形態８のカテーテルシステム１０の構成を説明する説明図である。本実施の形態は、カテーテル制御装置２７と、ＭＤＵ３３と、画像診断用カテーテル４０と、汎用のコンピュータ９０と、プログラム９７とを組み合わせて動作させることにより、本実施の形態のカテーテルシステム１０を実現する形態に関する。実施の形態１と共通する部分については、説明を省略する。
図２３は、実施の形態８のカテーテルシステム１０の構成を説明する説明図である。本実施の形態は、カテーテル制御装置２７と、ＭＤＵ３３と、画像診断用カテーテル４０と、汎用のコンピュータ９０と、プログラム９７とを組み合わせて動作させることにより、本実施の形態のカテーテルシステム１０を実現する形態に関する。実施の形態１と共通する部分については、説明を省略する。
【0146】
カテーテル制御装置２７は、ＭＤＵ３３の制御、センサ４２の制御、および、センサ４２から受信した信号に基づく横断層像および縦断層像の生成等を行なう、ＩＶＵＳ用の超音波診断装置である。カテーテル制御装置２７の機能および構成は、従来から使用されている超音波診断装置と同様であるため、説明を省略する。
【0147】
本実施の形態のカテーテルシステム１０は、コンピュータ９０を含む。コンピュータ９０は、制御部２１、主記憶装置２２、補助記憶装置２３、通信部２４、表示部２５、入力部２６、読取部２９およびバスを備える。コンピュータ９０は、汎用のパーソナルコンピュータ、タブレット、スマートフォンまたはサーバコンピュータ等の情報機器である。
【0148】
プログラム９７は、可搬型記録媒体９６に記録されている。制御部２１は、読取部２９を介してプログラム９７を読み込み、補助記憶装置２３に保存する。また制御部２１は、コンピュータ９０内に実装されたフラッシュメモリ等の半導体メモリ９８に記憶されたプログラム９７を読出してもよい。さらに、制御部２１は、通信部２４および図示しないネットワークを介して接続される図示しない他のサーバコンピュータからプログラム９７をダウンロードして補助記憶装置２３に保存してもよい。
【0149】
プログラム９７は、コンピュータ９０の制御プログラムとしてインストールされ、主記憶装置２２にロードして実行される。これにより、コンピュータ９０は上述した情報処理装置２０として機能する。
【0150】
コンピュータ９０は、汎用のパソコン、タブレット、スマートフォン、大型計算機、大型計算機上で動作する仮想マシン、クラウドコンピューティングシステム、または、量子コンピュータである。コンピュータ９０は、分散処理を行なう複数のパソコン等であってもよい。
【0151】
各実施例で記載されている技術的特徴（構成要件）はお互いに組合せ可能であり、組み合わせすることにより、新しい技術的特徴を形成することができる。
今回開示された実施の形態はすべての点で例示であって、制限的なものでは無いと考えられるべきである。本発明の範囲は、上記した意味では無く、請求の範囲によって示され、請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
今回開示された実施の形態はすべての点で例示であって、制限的なものでは無いと考えられるべきである。本発明の範囲は、上記した意味では無く、請求の範囲によって示され、請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【0152】
１０ カテーテルシステム
２０ 情報処理装置
２１ 制御部
２２ 主記憶装置
２３ 補助記憶装置
２４ 通信部
２５ 表示部
２６ 入力部
２７ カテーテル制御装置
２７１ カテーテル制御部
２９ 読取部
３１ 表示装置
３２ 入力装置
３３ ＭＤＵ
３７ 画像診断装置
４０ 画像診断用カテーテル
４１ プローブ部
４２ センサ
４３ シャフト
４４ 先端マーカ
４５ コネクタ部
４８２ オブジェクト配置像
５１ 第１画像欄
５２ 第２画像欄
５７１ 状態通知欄
５７２ 検出マーク
５８１ 自動回転ボタン
５９１ 部位選択ボタン
５９２ メルクマール選択ボタン
６１ 学習モデル
６５ 標準画像ＤＢ
６８ カーソル
６９ 指定枠
８１ 取得部
８２ 表示部
９０ コンピュータ
９６ 可搬型記録媒体
９７ プログラム
９８ 半導体メモリ
２０ 情報処理装置
２１ 制御部
２２ 主記憶装置
２３ 補助記憶装置
２４ 通信部
２５ 表示部
２６ 入力部
２７ カテーテル制御装置
２７１ カテーテル制御部
２９ 読取部
３１ 表示装置
３２ 入力装置
３３ ＭＤＵ
３７ 画像診断装置
４０ 画像診断用カテーテル
４１ プローブ部
４２ センサ
４３ シャフト
４４ 先端マーカ
４５ コネクタ部
４８２ オブジェクト配置像
５１ 第１画像欄
５２ 第２画像欄
５７１ 状態通知欄
５７２ 検出マーク
５８１ 自動回転ボタン
５９１ 部位選択ボタン
５９２ メルクマール選択ボタン
６１ 学習モデル
６５ 標準画像ＤＢ
６８ カーソル
６９ 指定枠
８１ 取得部
８２ 表示部
９０ コンピュータ
９６ 可搬型記録媒体
９７ プログラム
９８ 半導体メモリ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】