特許 7679453 医療支援システムおよび医療支援方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-05-09

(45)【発行日】2025-05-19

(54)【発明の名称】医療支援システムおよび医療支援方法

(51)【国際特許分類】

   G16H 30/00 20180101AFI20250512BHJP

【ＦＩ】

G16H30/00

【請求項の数】 16

(21)【出願番号】P 2023506419

(86)(22)【出願日】2021-03-16

(86)【国際出願番号】 JP2021010506

(87)【国際公開番号】W WO2022195696

(87)【国際公開日】2022-09-22

【審査請求日】2023-09-04

(73)【特許権者】

【識別番号】304050923

【氏名又は名称】オリンパスメディカルシステムズ株式会社

(74)【代理人】

【識別番号】100105924

【弁理士】

【氏名又は名称】森下 賢樹

(74)【代理人】

【識別番号】100109047

【弁理士】

【氏名又は名称】村田 雄祐

(74)【代理人】

【識別番号】100109081

【弁理士】

【氏名又は名称】三木 友由

(72)【発明者】

【氏名】田村 和義

(72)【発明者】

【氏名】坂従 晴彦

(72)【発明者】

【氏名】朴木 達也

【審査官】中元 淳二

(56)【参考文献】

【文献】特開２００８－１８８２１４（ＪＰ，Ａ）

【文献】特開２０１２－１７０７７４（ＪＰ，Ａ）

【文献】特開２００２－３５１７０４（ＪＰ，Ａ）

【文献】特開２００９－２３８０３８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ１６Ｈ １０／００－８０／００

(57)【特許請求の範囲】

【請求項1】

医療支援システムであって、ハードウェアを有するプロセッサを備え、
前記プロセッサは、
１回のレリーズスイッチの操作に応じて同時に撮像された複数の内視鏡画像であって、撮像方法または画像処理方法の少なくとも１つが互いに異なる前記複数の内視鏡画像を含む同時撮像画像群を取得し、
前記同時撮像画像群から表示する内視鏡画像の枚数を２以上の所定枚数に定めた第１表示モードを設定し、
前記同時撮像画像群から２以上の所定枚数の内視鏡画像を選択して、選択した内視鏡画像を表示装置に表示させる表示画像を生成し、
前記同時撮像画像群から選択されて表示されている２以上の所定枚数の内視鏡画像の１つに対して、拡大表示を指示するユーザ操作を受け付け、
拡大した２以上の所定枚数の内視鏡画像を含む表示画像を生成する、
医療支援システム。

【請求項2】

前記プロセッサは、
内視鏡画像の変更を指示するユーザ操作を受け付け、
拡大表示している内視鏡画像を、前記同時撮像画像群における別の内視鏡画像に変更する、
請求項１に記載の医療支援システム。

【請求項3】

前記プロセッサは、
異なる時刻に撮像された複数の前記同時撮像画像群を取得し、
拡大表示している前記同時撮像画像群の変更を指示するユーザ操作を受け付け、
拡大表示している前記同時撮像画像群とは異なる前記同時撮像画像群の拡大した２以上の所定枚数の内視鏡画像を含む表示画像を生成する、
請求項１に記載の医療支援システム。

【請求項4】

前記プロセッサは、
拡大表示している内視鏡画像に描画するユーザ操作を受け付け、
当該内視鏡画像にユーザ操作に応じた描画を行うともに、前記同時撮像画像群に含まれる他の内視鏡画像にもユーザ操作に応じた描画を行う、
請求項１に記載の医療支援システム。

【請求項5】

前記プロセッサは、
ユーザ操作を受け付けた内視鏡画像と、ユーザ操作を受け付けていない内視鏡画像とで、描画の表示態様を異ならせる、
請求項４に記載の医療支援システム。

【請求項6】

前記プロセッサは、
前記同時撮像画像群から表示する内視鏡画像の枚数を１枚に定めた第２表示モードを設定し、
前記同時撮像画像群から選択した１枚の内視鏡画像を含む表示画像を生成する、
請求項１に記載の医療支援システム。

【請求項7】

前記プロセッサは、
非表示の画像が存在していることを示すアイコンを、選択した１枚の内視鏡画像に関連付けて配置する、
請求項６に記載の医療支援システム。

【請求項8】

前記プロセッサは、
前記同時撮像画像群の全ての内視鏡画像を表示する第３表示モードを設定し、
前記同時撮像画像群の全ての内視鏡画像を含む表示画像を生成する、
請求項１に記載の医療支援システム。

【請求項9】

前記プロセッサは、
撮像方法および／または画像処理方法にもとづいて設定される表示優先順位を変更するユーザ操作を受け付ける、
請求項８に記載の医療支援システム。

【請求項10】

前記プロセッサは、
撮像方法および／または画像処理方法にもとづいて設定された表示優先順位にもとづいて、前記同時撮像画像群から２以上の所定枚数の内視鏡画像を選択する、
請求項１に記載の医療支援システム。

【請求項11】

前記プロセッサは、
表示されている内視鏡画像に対して、表示枚数を設定された比較表示領域での表示を指示するユーザ操作を受け付け、
撮像方法および／または画像処理方法に対して設定された表示優先順位にもとづいて、前記同時撮像画像群から、前記表示枚数の内視鏡画像を選択して、当該内視鏡画像を並べた比較表示領域を含む表示画像を生成する、
請求項６に記載の医療支援システム。

【請求項12】

前記プロセッサは、
検査項目、医師情報および同時撮像枚数割合にもとづいて表示モードを設定する、
請求項１に記載の医療支援システム。

【請求項13】

前記プロセッサは、
前記同時撮像画像群から表示する内視鏡画像の枚数を１枚に定めた第２表示モードを設定し、
前記同時撮像画像群から、所定の撮像方法または画像処理方法で取得された内視鏡画像を含む表示画像を生成する、
請求項１２に記載の医療支援システム。

【請求項14】

前記同時撮像画像群に含まれる複数の内視鏡画像は、実質的に同一の範囲を撮像したものである、
請求項１に記載の医療支援システム。

【請求項15】

前記同時撮像画像群に含まれる複数の内視鏡画像は、内視鏡観察装置において、医師による１回のレリーズスイッチ操作を契機として取得されたものである、
請求項１に記載の医療支援システム。

【請求項16】

プロセッサを備える医療支援システムが実行する医療支援方法であって、
前記プロセッサが、
１回のレリーズスイッチの操作に応じて同時に撮像された複数の内視鏡画像であって、撮像方法または画像処理方法の少なくとも１つが互いに異なる前記複数の内視鏡画像を含む同時撮像画像群を取得し、
前記同時撮像画像群から表示する内視鏡画像の枚数を２以上の所定枚数に定めた表示モードを設定し、
前記同時撮像画像群から２以上の所定枚数の内視鏡画像を選択して、選択した内視鏡画像を表示装置に表示させる表示画像を生成し、
前記同時撮像画像群から選択されて表示されている２以上の所定枚数の内視鏡画像の１つに対して、拡大表示を指示するユーザ操作を受け付け、
拡大した２以上の所定枚数の内視鏡画像を含む表示画像を生成する、
医療支援方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、医療支援システムおよび医療支援方法に関する。

【背景技術】

【0002】

内視鏡観察装置は、患者の消化管に挿入される内視鏡を接続されて、内視鏡が撮像している消化管内の画像をリアルタイムに表示装置に表示する。医師が内視鏡のレリーズスイッチを操作すると、内視鏡観察装置は、レリーズスイッチが操作されたタイミングで内視鏡画像をキャプチャして、キャプチャした内視鏡画像を画像蓄積サーバに送信する。画像蓄積サーバに蓄積される内視鏡画像は、検査終了後に、医師による検査レポートの作成に利用される。

【0003】

特許文献１は、検査中に、同一の生体組織を撮像した通常光観察画像と狭帯域光観察画像を、リアルタイムに同時に表示装置に表示する内視鏡装置を開示する。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２００８－４３６０４号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

検査終了後、医師は検査レポートを作成するために、パーソナルコンピュータなどの情報処理装置を操作して、内視鏡画像を画像蓄積サーバから読み出し、表示装置に表示させる。このとき、医師が病変の状態を確認しやすいように内視鏡画像が表示されることで、医師による効率的な診断が可能となる。本開示はこうした状況に鑑みなされたものであり、その目的は、医師による効率的な診断を実現するための内視鏡画像の表示技術を提供することにある。

【課題を解決するための手段】

【0006】

上記課題を解決するために、本開示のある態様の医療支援システムは、同時撮像モードで同一の被写体を撮像した複数の内視鏡画像であって、撮像方法または画像処理方法の少なくとも１つが互いに異なる複数の内視鏡画像を含む同時撮像画像群を取得する画像取得部と、表示画像を生成して、表示装置に表示させる表示画像生成部とを備える。表示画像生成部は、同時撮像画像群から表示する内視鏡画像の枚数を変更可能である。

【0007】

本開示の別の態様の医療支援方法は、同時撮像モードで同一の被写体を撮像した複数の内視鏡画像であって、撮像方法または画像処理方法の少なくとも１つが互いに異なる複数の内視鏡画像を含む同時撮像画像群を取得し、同時撮像画像群から表示する内視鏡画像の枚数を設定し、同時撮像画像群から設定した枚数の内視鏡画像を選択して、表示装置に表示させる。

【0008】

なお、以上の構成要素の任意の組み合わせ、本開示の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本開示の態様として有効である。

【図面の簡単な説明】

【0009】

【図1】医療支援システムの構成を示す図である。

【図2】情報処理装置の機能ブロックを示す図である。

【図3】レポート入力画面の一例を示す図である。

【図4】内視鏡画像の一覧画面の例を示す図である。

【図5】画像管理テーブルを示す図である。

【図6】表示優先順位テーブルの例を示す図である。

【図7】内視鏡画像の一覧画面の例を示す図である。

【図8】内視鏡画像の一覧画面の別の例を示す図である。

【図9】内視鏡画像の一覧画面の別の例を示す図である。

【図10】内視鏡画像の編集画面の例を示す図である。

【図11】内視鏡画像の編集画面の別の例を示す図である。

【図12】内視鏡画像の編集画面の別の例を示す図である。

【図13】内視鏡画像に描画マークを配置した状態を示す図である。

【図14】比較表示領域の例を示す図である。

【図15】ランクテーブルの例を示す図である。

【図16】対応テーブルの例を示す図である。

【発明を実施するための形態】

【0010】

図１は、実施例にかかる医療支援システム１の構成を示す。医療支援システム１は、内視鏡検査を行う病院などの医療施設に設けられる。医療支援システム１において、内視鏡観察装置４、画像蓄積サーバ８および情報処理装置１０が、ＬＡＮ（ローカルエリアネットワーク）などのネットワーク２を経由して、通信可能に接続される。

【0011】

内視鏡システム３は検査室に設けられ、内視鏡観察装置４、表示装置５および内視鏡６を備える。内視鏡６は、内視鏡観察装置４から供給される照明光を伝送して、被検体内を照明するためのライトガイドを有し、内視鏡先端部には、ライトガイドにより伝送される照明光を被写体へ出射するための照明窓と、被写体を所定の周期で撮像して撮像信号を内視鏡観察装置４に出力する撮像部が設けられる。内視鏡観察装置４は、観察モードに応じた照明光を内視鏡６に供給する。撮像部は、入射光を電気信号に変換する固体撮像素子（たとえばＣＣＤイメージセンサまたはＣＭＯＳイメージセンサ）を含む。

【0012】

内視鏡観察装置４は、固体撮像素子により光電変換された撮像信号に対して画像処理を施す画像処理部を有し、画像処理部が内視鏡画像を生成して、表示装置５から出力させる。画像処理部は、Ａ／Ｄ変換、ノイズ除去などの通常の画像処理に加えて、強調表示を目的とする特別な画像処理を実施する機能を備える。画像処理部が、特別な画像処理機能を搭載することで、内視鏡観察装置４は、同じ照明光を用いて撮像した撮像信号から、特別な画像処理を施していない内視鏡画像と、特別な画像処理を施した内視鏡画像とを生成できる。内視鏡観察装置４は、被検体内に挿入される内視鏡６を接続されて、内視鏡６が撮像している消化管内の画像を表示装置５にリアルタイムに表示する。

【0013】

医師は、検査手順にしたがって、表示装置５に表示された内視鏡画像を観察する。医師が内視鏡６のレリーズスイッチを操作すると、内視鏡観察装置４は、レリーズスイッチが操作されたタイミングで内視鏡画像をキャプチャ（保存）し、キャプチャした内視鏡画像を画像蓄積サーバ８に送信して記録させる。

【0014】

＜観察モード＞
内視鏡システム３は複数の観察モードで内視鏡画像を生成する機能を有し、表示装置５には、１つの観察モードで生成された内視鏡画像が表示される。「観察モード」は、被写体の撮像方法および撮像信号の画像処理方法の組み合わせによって定義され、内視鏡観察装置４は、設定された観察モードで内視鏡画像を生成して、表示装置５に表示する。実施例の内視鏡システム３は、以下の観察モードを搭載する。

【0015】

（１）ＷＬＩ（White Light Imaging）観察モード
ＷＬＩ観察モードは、内視鏡６が通常光（白色光）を照射して被写体を撮像し、内視鏡観察装置４が撮像信号に対してノイズ除去などの通常の画像処理を施して内視鏡画像を生成し、表示装置５に表示する観察モードである。ＷＬＩ観察モードでは、通常光を用いた撮像方法および通常の画像処理方法を用いて、内視鏡画像が生成される。

【0016】

（２）ＴＸＩ（Texture and Color Enhancement Imaging）観察モード
ＴＸＩ観察モードは、内視鏡６が通常光（白色光）を照射して被写体を撮像し、内視鏡観察装置４が撮像信号に対してノイズ除去などの通常の画像処理を行った後、粘膜表面の「構造」「色調」「明るさ」の３つの要素を最適化する特別な画像処理を施して内視鏡画像を生成し、表示装置５に表示する観察モードである。ＴＸＩ観察モードでは、通常光を用いた撮像方法、通常の画像処理方法および特別な画像処理方法を用いて、内視鏡画像が生成される。ＴＸＩ観察モードは、わずかな色調や構造の変化を強調した内視鏡画像を提供する。

【0017】

（３）ＲＤＩ（Red Dichromatic Imaging）観察モード
ＲＤＩ観察モードは、内視鏡６が緑、アンバー、赤の狭帯域光を照射して被写体を撮像し、内視鏡観察装置４が撮像信号に対してノイズ除去などの通常の画像処理を施して内視鏡画像を生成し、表示装置５に表示する観察モードである。ＲＤＩ観察モードでは、緑、アンバー、赤の狭帯域光を用いた撮像方法および通常の画像処理方法を用いて、内視鏡画像が生成される。ＲＤＩ観察モードは、深部組織のコントラストを形成した内視鏡画像を提供する。

【0018】

（４）ＮＢＩ（Narrow Band Imaging）観察モード
ＮＢＩ観察モードは、内視鏡６が青、緑の狭帯域光を照射して被写体を撮像し、内視鏡観察装置４が撮像信号に対してノイズ除去などの通常の画像処理を施して内視鏡画像を生成し、表示装置５に表示する観察モードである。ＮＢＩ観察モードでは、青、緑の狭帯域光を用いた撮像方法および通常の画像処理方法を用いて、内視鏡画像が生成される。ＮＢＩ観察モードは、粘膜表層の毛細血管や微細構造を強調する内視鏡画像を提供する。

【0019】

（５）ＡＦＩ（Autofluorescence imaging）観察モード
ＡＦＩ観察モードは、内視鏡６が励起光（390-470nm）を照射して被写体を撮像し、内視鏡観察装置４が撮像信号に対してノイズ除去などの通常の画像処理を行った後、信号強度に応じて緑色に変換した内視鏡画像を生成し、表示装置５に表示する観察モードである。ＡＦＩ観察モードでは、青の励起光を用いた撮像方法、通常の画像処理方法および特別な画像処理方法を用いて、内視鏡画像が生成される。ＡＦＩ観察モードは、腫瘍性病変と正常粘膜を異なる色調で強調する内視鏡画像を提供する。

【0020】

上記したように、複数の観察モードは、撮像方法または画像処理方法の少なくとも１つが互いに異なっている。具体的に、ＷＬＩ観察モードとＴＸＩ観察モードを比べると、撮像方法は両方とも白色光を利用しており同じであるが、画像処理方法が異なっている。またＷＬＩ観察モード（ＴＸＩ観察モード）、ＲＤＩ観察モード、ＮＢＩ観察モード、ＡＦＩ観察モードを比べると、いずれも異なる撮像方法（照射光）を利用している。医師は観察状況に適した観察モードを選択して、内視鏡画像を表示装置５に表示させる。

【0021】

＜撮像（キャプチャ）モード＞
内視鏡システム３は、２つの撮像（キャプチャ）モードを搭載する。撮像モードは、内視鏡６のレリーズスイッチ操作に応じて内視鏡画像をキャプチャするモードであり、「通常撮像モード」と「同時撮像モード」を含む。検査中、内視鏡システム３は撮像モードとして、「通常撮像モード」または「同時撮像モード」のいずれかを設定する。

【0022】

「通常撮像モード」において、内視鏡システム３は、レリーズスイッチが操作されると、設定された観察モードで生成されている内視鏡画像、つまり表示装置５に表示されている内視鏡画像をキャプチャして、画像蓄積サーバ８に送信する。通常撮像モードによるキャプチャ機能は、従来の内視鏡システムにおいても搭載されている標準的な機能である。

【0023】

「同時撮像モード」において、内視鏡システム３は、レリーズスイッチが操作されると、設定された観察モードで生成されている内視鏡画像をキャプチャし、即時に別の観察モードの撮像方法および画像処理方法で内視鏡画像を生成してキャプチャし、複数種類の内視鏡画像を画像蓄積サーバ８に送信する。このように同時撮像モードによるキャプチャ機能は、医師による１回のレリーズスイッチの操作を契機として、撮像方法または画像処理方法の少なくとも１つが互いに異なる複数の内視鏡画像を同時に撮像（キャプチャ）する機能である。同時に撮像された複数の内視鏡画像は、同一の画角で同一の被写体の実質的に同一の範囲を撮像したものである。なお、ここでの「同時」は略同時を含み、実質的に同時とみなせる時間差を含む表現として用いる。また画角が「同一」であるとは、画角が略同一であることを含み、実質的に同一とみなせる角度誤差を含む表現として用いる。

【0024】

同時撮像モードにおいて、内視鏡システム３は、設定された観察モードで生成された内視鏡画像をキャプチャした後、撮像方法または画像処理方法の少なくとも一方を変更して、別の観察モードで内視鏡画像を生成する。別の観察モードの内視鏡画像を生成する時間は、たとえば数ミリ秒～数十ミリ秒であり、内視鏡観察装置４は、切り替えた観察モードの内視鏡画像を生成している間、観察モードを切り替える直前の静止画像を表示装置５に表示し続けてもよい。

【0025】

以下、同時撮像モードにおいて、設定された観察モードで生成される内視鏡画像を「基準画像」、設定された観察モード以外の観察モードで生成される内視鏡画像を「追加画像」と呼ぶ。どの観察モードで追加画像を生成するかは、基準画像の観察モードとの関係で、予め内視鏡観察装置４に定められていてもよい。たとえば基準画像がＷＬＩ観察モードで生成されている場合、追加画像をＴＸＩ観察モードで生成することが定められていてよい。追加画像の観察モードは、撮像している部位に応じて定められてもよく、またレリーズスイッチを操作するタイミングで医師が指定してもよい。なお追加画像の枚数は１枚に限らず、レリーズスイッチ１回の操作で、複数枚の追加画像がキャプチャされてよい。

【0026】

内視鏡観察装置４は、キャプチャした内視鏡画像に、メタデータを付加する。メタデータは、検査において撮像した順番を示す画像番号、撮像方法の種類を示す照射光情報、特別な画像処理を実施したか否かを示す画像処理情報、同時撮像モードでキャプチャされた追加画像であるか否かを示す同時撮像情報を少なくとも含む。同時撮像情報は、基準画像の画像番号を含んでよい。

【0027】

画像蓄積サーバ８は、内視鏡検査を識別する検査ＩＤに紐付けて、内視鏡観察装置４から送信された内視鏡画像を記録する。画像蓄積サーバ８は、情報処理装置１０から、検査ＩＤを指定した内視鏡画像の読み出し要求を受けると、情報処理装置１０に、当該検査ＩＤに紐付けた複数の内視鏡画像を送信する。

【0028】

情報処理装置１０は医局に設けられ、医師が検査レポートを作成する際に利用される。入力部１４は、マウスやタッチペン、キーボードなど、ユーザが操作を入力するためのツールである。検査レポートの作成に際し、医師は表示装置１２に、検査でキャプチャした内視鏡画像を表示させて、病変の状態を確認し、検査結果を入力する。

【0029】

図２は、情報処理装置１０の機能ブロックを示す。情報処理装置１０は、操作受付部２０、画像取得部２２、モード設定部２４、表示画像生成部２６、優先順位設定部２８および画像記憶部３０を備える。表示画像生成部２６は、表示画像を生成して、表示装置１２に表示させる。

【0030】

図２に示す情報処理装置１０の構成は、ハードウェア的には任意のプロセッサ、メモリ、補助記憶装置、その他のＬＳＩで実現でき、ソフトウェア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。

【0031】

内視鏡検査の終了後、医師であるユーザは情報処理装置１０にユーザＩＤおよびパスワードを入力して、ログインする。ユーザがログインすると、検査レポートを作成するアプリケーションが起動して、表示装置１２には、実施済み検査の一覧が表示される。この実施済み検査一覧には、患者名、患者ＩＤ、検査日時、検査種別などの検査情報がリスト表示され、ユーザは、入力部１４を操作して、レポート作成の対象となる検査を選択する。操作受付部２０が、検査の選択操作を受け付けると、画像取得部２２が、画像蓄積サーバ８から、選択された検査の検査ＩＤに紐付けられている複数の内視鏡画像を取得して、画像記憶部３０に記憶し、表示画像生成部２６が、レポート入力画像を生成して、表示装置１２に表示させる。

【0032】

図３は、レポート入力画面の一例を示す。表示画像生成部２６は、ユーザが検査結果を入力するためのレポート入力画像を生成して、表示装置１２に表示させる。レポート入力画面の表示中、レポートタブ１００ｂが選択された状態となる。レポート入力画面の上段には、患者氏名、患者ＩＤ、生年月日、検査種別、検査日、実施医の情報が表示される。レポート入力画面は、２つの領域で構成され、左側には、レポートに添付する内視鏡画像のサムネイルを表示する画像表示領域１０２が、右側にはユーザが診断内容等の検査結果を入力する検査結果入力領域１０４が設けられる。

【0033】

検査結果入力領域１０４は、ユーザが検査結果を入力するための領域であり、図示の例では、上部内視鏡検査における観察範囲である「食道」、「胃」、「十二指腸」の診断内容を入力するための領域が設けられている。検査結果入力領域１０４は、検査結果の複数の選択肢を表示して、ユーザがチェックボックスを選択することで診断内容を入力するフォーマットを有してよいが、自由にテキスト入力するフリーフォーマットを有してもよい。

【0034】

画像表示領域１０２は、レポートに添付する内視鏡画像を並べて表示するための領域である。ユーザは、レポートに添付する内視鏡画像を、内視鏡画像の一覧画面から選択する。ユーザは、記録画像タブ１００ａを選択して、検査で撮像した内視鏡画像を表示装置１２に一覧表示させる。

【0035】

図４は、内視鏡画像の一覧画面の例を示す。一覧表示アイコン１１０は、内視鏡画像を一覧表示する表示形式を示すアイコンである。この一覧画面では、検査で撮像された全ての内視鏡画像１３０ａ～１３０ｈが、撮像された順番にしたがって、画像表示領域１２０に並べて表示されている。なお、ここでは検査で撮像された内視鏡画像が８枚である場合を示しているが、実際の検査では、数十枚の内視鏡画像が撮像される。

【0036】

実施例の内視鏡システム３では、同時撮像モードにおいて、レリーズスイッチの１回の操作で、同一の被写体を撮像した複数の内視鏡画像であって、撮像方法または画像処理方法の少なくとも１つが互いに異なる複数の内視鏡画像がキャプチャされる。同時撮像モードで同時にキャプチャされた複数の内視鏡画像を「同時撮像画像群」と呼ぶと、検査レポートの作成時、画像取得部２２は、画像蓄積サーバ８から、異なる時刻に撮像された複数の同時撮像画像群を取得する。そのため全ての内視鏡画像１３０ａ～１３０ｈを並べて表示すると、同時撮像画像群に含まれる内視鏡画像が連続して並ぶため、特に同時撮像画像群が多い場合に、効率的な診断の妨げになる可能性がある。図４に示す例では、内視鏡画像１３０ａ～１３０ｃが、第１の同時撮像画像群に含まれ、内視鏡画像１３０ｄ～１３０ｅが、第２の同時撮像画像群に含まれ、内視鏡画像１３０ｇ～１３０ｈが、第３の同時撮像画像群に含まれている。なお内視鏡画像１３０ｆは、通常撮像モードで撮像された画像であり、同時撮像画像群に属していない。

【0037】

そこで実施例の情報処理装置１０は、ユーザが同時撮像画像群から表示する内視鏡画像の枚数を選択できる機能を有する。表示画像生成部２６は、ユーザによる選択に応じて、同時撮像画像群から表示する内視鏡画像の枚数を変更可能とする。

【0038】

図５は、画像記憶部３０に保持される画像管理テーブルを示す。画像取得部２２は、内視鏡画像を画像記憶部３０に記憶させる際、各内視鏡画像のメタデータから、画像管理テーブルを生成する。上記したように、内視鏡画像のメタデータは、撮像した順番を示す画像番号、撮像方法の種類を示す照射光情報、特別な画像処理を実施したか否かを示す画像処理情報、同時撮像モードでキャプチャされた追加画像であるか否かを示す同時撮像情報を含む。ここで同時撮像情報は、基準画像の画像番号である。

【0039】

画像管理テーブルにおいて、「照射光情報」は、撮像時に使用した照射光を示し、「画像処理情報」は、特別な画像処理を実施したか否かを示す。画像処理情報において、項目値“ＯＦＦ”は、特別な画像処理を実施していないことを示し、項目値“ＯＮ”は、特別な画像処理を実施したことを示し、項目値“－”は、その照射光を用いて撮像した画像に対して特別な画像処理を実施する選択肢が存在しないことを示す。「同時撮像情報」は、同時撮像モードでキャプチャされた追加画像であるか否かを示す。項目値“－”は、追加画像でないことを示し、項目値“ｐ”は、当該画像が、画像番号ｐの基準画像と同時撮像された追加画像であることを示す。画像番号１～８の内視鏡画像は、内視鏡画像１３０ａ～１３０ｈに対応する。

【0040】

画像番号１の内視鏡画像１３０ａは、通常光を使用して撮像され、特別な画像処理を実施されていないため、ＷＬＩ観察モードで撮像された画像である。
画像番号２の内視鏡画像１３０ｂは、通常光を使用して撮像され、特別な画像処理を実施されているため、ＴＸＩ観察モードで撮像された画像である。
画像番号３の内視鏡画像１３０ｃは、狭帯域光（緑，アンバー，赤）を使用して撮像されているため、ＲＤＩ観察モードで撮像された画像である。
内視鏡画像１３０ｂ，１３０ｃには、同時撮像情報“１”が付加されている。したがって内視鏡画像１３０ｂ，１３０ｃは、同時撮像モードにおいて、内視鏡画像１３０ａに対する追加画像として同時にキャプチャされた画像であり、内視鏡画像１３０ａ～１３０ｃは、第１の同時撮像画像群を構成する。

【0041】

画像番号４の内視鏡画像１３０ｄは、通常光を使用して撮像され、特別な画像処理を実施されていないため、ＷＬＩ観察モードで撮像された画像である。
画像番号５の内視鏡画像１３０ｅは、通常光を使用して撮像され、特別な画像処理を実施されているため、ＴＸＩ観察モードで撮像された画像である。
内視鏡画像１３０ｅには、同時撮像情報“４”が付加されており、したがって内視鏡画像１３０ｄ～１３０ｅは、第２の同時撮像画像群を構成する。

【0042】

画像番号６の内視鏡画像１３０ｆは、狭帯域光（青，緑）を使用して撮像されているため、ＮＢＩ観察モードで撮像された画像である。画像管理テーブルにおいて、同時撮像情報“６”が付加された内視鏡画像が存在しないため、内視鏡画像１３０ｆは、通常撮像モードで撮像されている。

【0043】

画像番号７の内視鏡画像１３０ｇは、狭帯域光（青，緑）を使用して撮像されているため、ＮＢＩ観察モードで撮像された画像である。
画像番号８の内視鏡画像１３０ｈは、狭帯域光（緑，アンバー，赤）を使用して撮像されているため、ＲＤＩ観察モードで撮像された画像である。
内視鏡画像１３０ｈには、同時撮像情報“７”が付加されており、したがって内視鏡画像１３０ｇ～１３０ｈは、第３の同時撮像画像群を構成する。

【0044】

「表示優先順位」は、比較して表示する表示モードにおいて、優先的に表示する追加画像の順位を定める。たとえば比較表示モードで２枚の内視鏡画像が並べて表示される場合、同時撮像画像群に３枚以上の内視鏡画像が含まれていれば、表示優先順位の高い追加画像が選択されて、基準画像と並べて表示される。

【0045】

図６は、優先順位設定部２８が保持する表示優先順位テーブルの例を示す。表示優先順位は、撮像方法および／または画像処理方法に対して設定される。この優先順位テーブルでは、比較表示モードで優先的に表示する順位が、ＷＬＩ、ＴＸＩ、ＲＤＩ、ＮＢＩ、ＡＦＩの観察モードの順に設定されている。優先順位設定部２８は、この優先順位テーブルにしたがって、同時撮像画像群の追加画像に、優先順位を設定する。図５に示す画像管理テーブルにおいて、画像番号１～３の内視鏡画像が同時撮像画像群を構成し、画像番号２の内視鏡画像に優先順位“１”が、画像番号３の内視鏡画像に優先順位“２”が設定されている。したがって比較表示モードで、この同時撮像画像群を表示する場合、基準画像である画像番号１の内視鏡画像と、追加画像である画像番号２の内視鏡画像とが並べて表示されることになる。

【0046】

図７は、実施例における内視鏡画像の一覧画面の例を示す。一覧表示モードにおいて、モード設定部２４は、同時撮像画像群から表示する内視鏡画像の枚数を定めた表示モードを設定する。表示画像生成部２６は、設定された表示モードに応じた枚数の内視鏡画像を含む表示画像を生成し、表示装置１２に表示させる。

【0047】

実施例の一覧画面には、同時撮像画像群から表示する内視鏡画像の枚数をユーザが選択するための一覧切替ボタン１２２が設けられる。ユーザが一覧切替ボタン１２２を操作すると、モード設定部２４が、一覧画面における表示モードを切り替える。図７に示す例では、一覧切替ボタン１２２の横に、「追加画像非表示モード」と表記されている。追加画像非表示モードは、同時撮像画像群から表示する内視鏡画像の枚数を１枚に定めた表示モードであり、モード設定部２４が、追加画像非表示モードを設定すると、表示画像生成部２６は、同時撮像画像群から選択した１枚の内視鏡画像を含む表示画像を生成して、表示装置１２に表示させる。

【0048】

追加画像非表示モードにおいて、表示画像生成部２６は、同時撮像画像群から基準画像を選択して、表示画像に含める。この例では、表示画像生成部２６が、同時撮像画像群から基準画像を選択しており、内視鏡画像１３０ａ、１３０ｄ、１３０ｇは、それぞれ同時撮像画像群における基準画像である。なお内視鏡画像１３０ｆは、通常撮像モードで撮像された画像であり、同時撮像画像群を構成していない。

【0049】

このように追加画像非表示モードによれば、異なるタイミングで撮像された内視鏡画像が並べられて一覧表示されるため、各内視鏡画像の視認性を高めることが可能となり、ユーザによる診断効率を向上できる。

【0050】

追加画像非表示モードにおいて、表示画像生成部２６は、非表示の画像が存在していることを示す同時撮像アイコン１３２を、選択した１枚の内視鏡画像に関連付けて配置する。同時撮像アイコン１３２が表示されることで、ユーザは、別の観察モードで撮像した内視鏡画像の存在を認識できる。

【0051】

図８は、実施例における内視鏡画像の一覧画面の別の例を示す。ユーザが一覧切替ボタン１２２を操作すると、モード設定部２４が、一覧画面における表示モードを切り替える。図８に示す例では、一覧切替ボタン１２２の横に、「全画像表示モード」と表記されている。全画像表示モードは、同時撮像画像群の全ての内視鏡画像を表示する表示モードであり、モード設定部２４が、全画像表示モードを設定すると、表示画像生成部２６は、同時撮像画像群の全ての内視鏡画像を含む表示画像を生成して、表示装置１２に表示させる。全画像表示モードでは、図４に示した一覧画面と同じく、同時撮像画像群に含まれる内視鏡画像が連続して並ぶため、たとえば内視鏡画像の総数に対して、同時撮像画像群に含まれる内視鏡画像の割合が非常に小さい場合に、全画像表示モードが設定されてもよい。

【0052】

全画像表示モードにおいて、表示画像生成部２６は、基準画像であることを示す基準画像アイコン１３４を、同時撮像画像群の基準画像に関連付けて配置し、追加画像であることを示す追加画像アイコン１３６を、同時撮像画像群の追加画像に関連付けて配置する。基準画像アイコン１３４および追加画像アイコン１３６が表示されることで、ユーザは、同時撮像画像群を認識できる。

【0053】

なお追加画像アイコン１３６には、比較表示モードにおける表示優先順位が表示されていてよい。上記したように、優先順位設定部２８が、撮像方法および／または画像処理方法にもとづいて、追加画像の表示優先順位を設定して、画像管理テーブル（図５参照）に記録する。表示画像生成部２６は、画像管理テーブルを参照して、内視鏡画像１３０ｂの追加画像アイコン１３６に表示優先順位“１”を含ませ、内視鏡画像１３０ｃの追加画像アイコン１３６に表示優先順位“２”を含ませている。

【0054】

ユーザは、入力部１４を用いて、表示優先順位を変更できる。たとえばユーザが、マウスを用いて内視鏡画像１３０ｃの追加画像アイコン１３６をダブルクリックすると、内視鏡画像１３０ｃの追加画像アイコン１３６に“１”が表示され、内視鏡画像１３０ｂの追加画像アイコン１３６に“２”が表示されてよい。操作受付部２０が、内視鏡画像１３０ｃの追加画像アイコン１３６に対するダブルクリック操作を、表示優先順位を変更するユーザ操作として受け付けると、優先順位設定部２８が、画像管理テーブルにおける表示優先順位を変更してよい。具体的には、画像番号２の表示優先順位が２に変更され、画像番号３の表示優先順位が１に変更される。

【0055】

図９は、実施例における内視鏡画像の一覧画面の別の例を示す。ユーザが一覧切替ボタン１２２を操作すると、モード設定部２４が、一覧画面における表示モードを切り替える。図９に示す例では、一覧切替ボタン１２２の横に、「比較表示モード」と表記されている。比較表示モードは、同時撮像画像群から表示する内視鏡画像の枚数を２以上の所定枚数に定めた表示モードであり、モード設定部２４が、比較表示モードを設定すると、表示画像生成部２６は、同時撮像画像群から選択した所定枚数の内視鏡画像を含む表示画像を生成して、表示装置１２に表示させる。表示画像生成部２６は、画像管理テーブルに設定された表示優先順位にもとづいて、同時撮像画像群から所定枚数の内視鏡画像を選択する。実施例の比較表示モードでは、同時撮像画像群から２枚の内視鏡画像が選択されて、表示される。

【0056】

比較表示モードにおいて、表示画像生成部２６は、同時撮像画像群から基準画像と、表示優先順位“１”を設定された追加画像を選択して、表示画像に含める。この例では、表示画像生成部２６が、基準画像である内視鏡画像１３０ａ、１３０ｄ、１３０ｇと、表示優先順位“１”を設定された内視鏡画像１３０ｂ、１３０ｅ、１３０ｈを選択しており、基準画像と追加画像とを交互に配置する。比較表示モードにおいて、表示優先順位が“２”である内視鏡画像１３０ｃは表示されず、また通常撮像モードで撮像された内視鏡画像１３０ｆも表示されない。

【0057】

比較表示モードにおいて、基準画像と比較する追加画像の枚数を限定して表示するため、ユーザが効率的に画像同士を比較することが可能となる。

【0058】

表示画像生成部２６は、一覧表示モードにおいて、１つの内視鏡画像１３０に対して所定の操作が行われると、当該内視鏡画像１３０を編集可能に拡大表示する機能を有する。操作受付部２０が、１つの内視鏡画像１３０に対して、拡大表示を指示するユーザ操作を受け付けると、表示画像生成部２６は、編集可能に拡大した当該内視鏡画像１３０を含む表示画像を生成し、表示装置１２に表示させる。拡大表示を指示するユーザ操作は、内視鏡画像１３０に対するダブルクリック操作であってよい。

【0059】

図１０は、実施例における内視鏡画像の編集画面の例を示す。追加画像非表示モードおよび全画像表示モードにおいて、ユーザが内視鏡画像１３０ａをダブルクリック操作すると、表示画像生成部２６は、編集可能に拡大した内視鏡画像１３０ａを含む表示画像を生成し、表示装置１２に表示させる。ユーザは、編集画面において、内視鏡画像１３０ａに様々な描画を行うことができる。この例では、ユーザが、病変部に描画マーク１４０ａ、１４０ｂを配置している。編集した内視鏡画像をレポートに添付することで、後に、当該内視鏡画像に付加された描画マーク１４０ａ、１４０ｂから、病変部の位置を容易に特定できるようになる。

【0060】

図１１は、実施例における内視鏡画像の編集画面の別の例を示す。比較表示モードにおいて、ユーザが、内視鏡画像１３０ａをダブルクリック操作すると、表示画像生成部２６は、編集可能に拡大した内視鏡画像１３０ａおよび内視鏡画像１３０ｂを含む表示画像を生成し、表示装置１２に表示させる。

【0061】

比較表示モードでは、同時撮像画像群の基準画像と１枚以上の追加画像（実施例では１枚の追加画像）とが、必ずセットで表示されている。比較表示モードは、ユーザが同時撮像画像群の複数の内視鏡画像を比較対照する目的で使用されるため、画像編集の際にも、同様の表示態様を継続することが好ましい。そこで比較表示モードにおいて、操作受付部２０が、同時撮像画像群から選択されて表示されている２枚の内視鏡画像の１つに対してダブルクリック操作を受け付けると、表示画像生成部２６が、当該２枚の内視鏡画像を含む表示画像を生成して、表示装置１２に表示させる。

【0062】

編集画面において、表示する追加画像を変更できる場合、表示画像生成部２６は、追加画像を変更するための変更ボタン１４２を編集画面に配置する。追加画像を変更できる場合とは、同時撮像画像群において、表示されていない内視鏡画像が存在している場合である。操作受付部２０が、内視鏡画像の変更を指示するユーザ操作を受け付けると、表示画像生成部２６は、拡大表示している内視鏡画像１３０ｂを、同時撮像画像群における別の内視鏡画像１３０ｃに変更する。なお実施例において、画像変更の対象となるのは追加画像であるが、基準画像を追加画像に変更することも可能である。

【0063】

編集画面において、ユーザは、表示する同時撮像画像群を変更できる。操作受付部２０は、同時撮像画像群の変更を指示するユーザ操作を受け付けると、表示画像生成部２６は、異なる同時撮像画像群の所定枚数の内視鏡画像を含む表示画像を生成して、表示装置１２に表示させる。同時撮像画像群の変更を指示するユーザ操作は、たとえばマウスのホイール操作であってよい。

【0064】

図１２は、実施例における内視鏡画像の編集画面の別の例を示す。比較表示モードから編集モードに遷移した場合、表示する同時撮像画像群を変更する際にも、比較表示の表示態様を継続することで、ユーザの効率的な編集作業を支援できる。

【0065】

操作受付部２０が、拡大表示している内視鏡画像に描画するユーザ操作を受け付けると、表示画像生成部２６は、当該内視鏡画像にユーザ操作に応じた描画を行うともに、同時撮像画像群に含まれる他の内視鏡画像にもユーザ操作に応じた描画を行う。表示画像生成部２６は、ユーザ操作を受け付けた内視鏡画像と、ユーザ操作を受け付けていない内視鏡画像とで、描画の表示態様を異ならせてよい。

【0066】

図１３は、内視鏡画像に描画マークを配置した状態を示す。表示画像生成部２６は、内視鏡画像１３０ａに対して描画が行われると、その描画内容を内視鏡画像１３０ｂに反映し、一方、内視鏡画像１３０ｂに対して描画が行われると、その描画内容を内視鏡画像１３０ａに反映する。なお同じ同時撮像画像群における非表示の内視鏡画像１３０ｃに対しても、描画内容を反映する処理が行われる。図１３において、実線の描画マーク１４０ｃは、ユーザが内視鏡画像１３０ａに対して付加した描画内容を示し、点線の描画マーク１４０ｅは、描画マーク１４０ｃを反映した描画内容を示す。同じく実線の描画マーク１４０ｆは、ユーザが内視鏡画像１３０ｂに対して付加した描画内容を示し、点線の描画マーク１４０ｄは、描画マーク１４０ｆを反映した描画内容を示す。このように描画内容の反映処理を行うことで、ユーザが別の内視鏡画像に描画する手間を軽減できる。また、ユーザの描画操作を受け付けた内視鏡画像と、ユーザの描画操作を受け付けていない内視鏡画像とで、描画の表示態様を異ならせることで、ユーザは、どの内視鏡画像に描画したかを確認することができる。

【0067】

図１４は、比較表示領域１２４の例を示す。比較表示アイコン１１２が選択されると、表示画像生成部２６は、内視鏡画像を一覧表示する画像表示領域１２０とは別に、複数の内視鏡画像を並べて表示するための比較表示領域１２４を生成する。比較表示領域１２４に表示する枚数はユーザにより任意に選択されてよく、この例では２枚が設定されている。

【0068】

ユーザは、比較表示領域１２４に、任意の内視鏡画像を配置して比較する。ユーザは、内視鏡画像を比較表示領域１２４にドラッグアンドドロップ操作することで、当該内視鏡画像を比較表示領域１２４に配置できる。比較表示領域１２４で、内視鏡画像は画像表示領域１２０における表示サイズよりも拡大されるため、比較表示領域１２４における画像表示は、ユーザが並べた内視鏡画像の違いを見分けるのに適している。比較表示領域１２４は、たとえば今回撮像した内視鏡画像と過去に撮像した内視鏡画像とを比べる際に利用されることが多い。

【0069】

操作受付部２０は、画像表示領域１２０に表示された内視鏡画像に対して、比較表示領域１２４での表示を指示するユーザのドラッグアンドドロップ操作を受け付ける。ドラッグアンドドロップ操作された内視鏡画像が、同時撮像画像群に含まれる画像であった場合、表示画像生成部２６は表示優先順位にもとづいて、同時撮像画像群から、設定された表示枚数の内視鏡画像を選択して、当該内視鏡画像を並べた比較表示領域１２４を含む表示画像を生成し、表示装置１２に表示させる。図１４には、内視鏡画像１３０ａが比較表示領域１２４にドラッグアンドドロップ操作され、比較表示領域１２４に内視鏡画像１３０ａと内視鏡画像１３０ｂが並べて表示されている状態が示される。なお、同じ同時撮像画像群に含まれる内視鏡画像１３０ｂと内視鏡画像１３０ｃのうち、内視鏡画像１３０ｃの表示優先順位が高ければ、内視鏡画像１３０ａの隣には内視鏡画像１３０ｂが表示される。

【0070】

以上のように実施例の医療支援システム１は、同時撮像モードにおいて撮像された複数の内視鏡画像の表示枚数を、表示モードに応じて変更できる。そのためユーザは、適切な表示モードを設定することで、画像診断を効率的に行うことができる。

【0071】

なおモード設定部２４は、様々なパラメータを参照して、最初に設定する表示モードを自動で定めてもよい。モード設定部２４は、検査項目、医師情報、同時撮像枚数割合の少なくとも１つにもとづいて表示モードを設定してもよい。たとえば教育目的の観点から、検査項目、医師情報、同時撮像枚数割合のそれぞれにランクを設定し、モード設定部２４は、各項目のランク値の合計から、最初に設定する表示モードを自動設定してよい。

【0072】

図１５（ａ）は、検査項目のランクテーブルの例を示し、図１５（ｂ）は、医師勤続年数のランクテーブルの例を示し、図１５（ｃ）は、同時撮像枚数割合のランクテーブルの例を示す。これらのランクテーブルは、記憶装置（図示せず）に記憶されている。同時撮像枚数割合は、検査で撮像した内視鏡画像の総数に対して、同時撮像モードで撮像した内視鏡画像の枚数が占める割合である。モード設定部２４は、検査項目、医師情報、同時撮像枚数割合の各ランク値を導出して、合計値を算出する。

【0073】

図１６は、ランク合計値と表示モードを対応付けた対応テーブルの例を示す。この対応テーブルは、記憶装置（図示せず）に記憶されている。モード設定部２４は、ランク合計値を算出すると、対応テーブルから、一覧表示モードおよび拡大表示モードを設定してよい。たとえばランク合計値が８～９と算出される検査は、研修医などの経験の少ない医師が行った検査であることが想定されるが、モード設定部２４は、一覧表示モードを「追加画像非表示モード」にデフォルト設定する。これにより経験の少ない医師が、基準画像のみを用いて診断するトレーニングを積むことができるようになる。なお、この医師が画像表示領域１２０に表示されている内視鏡画像１３０をダブルクリック操作すると、表示画像生成部２６は、図１１に示すように、同時撮像画像群に含まれる２枚の内視鏡画像を拡大して表示する。このように経験の少ない医師に対しては、追加画像非表示モードから編集モードに遷移した場合に、比較表示の表示態様で内視鏡画像を並べて表示することで、医師の診断能力の向上および効率的な診断に寄与できる。

【0074】

以上、本開示を複数の実施例をもとに説明した。これらの実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本開示の範囲にあることは当業者に理解されるところである。実施例において内視鏡システム３は、「通常撮像モード」と「同時撮像モード」を搭載しているが、変形例において内視鏡システム３は、少なくとも「同時撮像モード」を搭載していればよく、「通常撮像モード」を搭載していなくてもよい。

【産業上の利用可能性】

【0075】

本開示は、内視鏡画像を表示する技術分野に利用できる。

【符号の説明】

【0076】

１・・・医療支援システム、２・・・ネットワーク、３・・・内視鏡システム、４・・・内視鏡観察装置、５・・・表示装置、６・・・内視鏡、８・・・画像蓄積サーバ、１０・・・情報処理装置、１２・・・表示装置、１４・・・入力部、２０・・・操作受付部、２２・・・画像取得部、２４・・・モード設定部、２６・・・表示画像生成部、２８・・・優先順位設定部、３０・・・画像記憶部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】