ホーム > 特許ランキング > 富士フイルム株式会社
特開2023-176613情報処理装置、超音波内視鏡、情報処理方法、及びプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023176613
(43)【公開日】2023-12-13
(54)【発明の名称】情報処理装置、超音波内視鏡、情報処理方法、及びプログラム
(51)【国際特許分類】
A61B 8/12 20060101AFI20231206BHJP
A61B 8/06 20060101ALI20231206BHJP
A61B 1/00 20060101ALI20231206BHJP
A61B 1/018 20060101ALI20231206BHJP
【ＦＩ】
A61B8/12
A61B8/06
A61B1/00 715
A61B1/018 513
A61B1/018 515
A61B1/00 530
【審査請求】未請求
【請求項の数】20
【出願形態】ＯＬ
(21)【出願番号】P 2022088987
(22)【出願日】2022-05-31
(71)【出願人】
【識別番号】306037311
【氏名又は名称】富士フイルム株式会社
(74)【代理人】
【識別番号】110001519
【氏名又は名称】弁理士法人太陽国際特許事務所
(72)【発明者】
【氏名】中里 威晴
【テーマコード（参考）】
4C161
4C601
【Ｆターム（参考）】
4C161AA07
4C161BB01
4C161CC06
4C161DD03
4C161FF35
4C161GG15
4C161WW16
4C601DD03
4C601DE04
4C601FE02
4C601FF06
4C601JC06
4C601JC26
4C601KK25
4C601KK31
4C601LL33
(57)【要約】
【課題】医療モジュールと特定部位との位置合わせを容易に行うことができる情報処理装置、超音波内視鏡、情報処理方法、及びプログラムを提供する。
【解決手段】情報処理装置は、プロセッサを備える。プロセッサは、特定部位を含む観察対象領域に対して医療モジュールから超音波が放射されることによって得られた反射波に基づいて観察対象領域の態様を示す画像として生成された実超音波画像を取得する。また、プロセッサは、観察対象領域を示すボリュームデータに基づいて観察対象領域の態様を示す仮想的な超音波画像として生成された仮想超音波画像を取得する。更に、プロセッサは、実超音波画像及び仮想超音波画像に基づいて、医療モジュールが存在する第１位置と特定部位が存在する第２位置との位置関係を特定する。
【選択図】図１９
【解決手段】情報処理装置は、プロセッサを備える。プロセッサは、特定部位を含む観察対象領域に対して医療モジュールから超音波が放射されることによって得られた反射波に基づいて観察対象領域の態様を示す画像として生成された実超音波画像を取得する。また、プロセッサは、観察対象領域を示すボリュームデータに基づいて観察対象領域の態様を示す仮想的な超音波画像として生成された仮想超音波画像を取得する。更に、プロセッサは、実超音波画像及び仮想超音波画像に基づいて、医療モジュールが存在する第１位置と特定部位が存在する第２位置との位置関係を特定する。
【選択図】図１９
【特許請求の範囲】
【請求項1】
プロセッサを備え、
前記プロセッサは、
特定部位を含む観察対象領域に対して医療モジュールから超音波が放射されることによって得られた反射波に基づいて前記観察対象領域の態様を示す画像として生成された実超音波画像を取得し、
前記観察対象領域を示すボリュームデータに基づいて前記観察対象領域の態様を示す仮想的な超音波画像として生成された仮想超音波画像を取得し、
前記実超音波画像及び前記仮想超音波画像に基づいて、前記医療モジュールが存在する第１位置と前記特定部位が存在する第２位置との位置関係を特定する
情報処理装置。
前記プロセッサは、
特定部位を含む観察対象領域に対して医療モジュールから超音波が放射されることによって得られた反射波に基づいて前記観察対象領域の態様を示す画像として生成された実超音波画像を取得し、
前記観察対象領域を示すボリュームデータに基づいて前記観察対象領域の態様を示す仮想的な超音波画像として生成された仮想超音波画像を取得し、
前記実超音波画像及び前記仮想超音波画像に基づいて、前記医療モジュールが存在する第１位置と前記特定部位が存在する第２位置との位置関係を特定する
情報処理装置。
【請求項2】
前記プロセッサは、前記実超音波画像と前記仮想超音波画像とを比較することで前記第１位置と前記第２位置とのずれ量を算出し、
前記位置関係は、前記ずれ量に基づいて規定されている
請求項１に記載の情報処理装置。
前記位置関係は、前記ずれ量に基づいて規定されている
請求項１に記載の情報処理装置。
【請求項3】
前記プロセッサは、前記第１位置と前記第２位置とが一致した場合に、前記第１位置と前記第２位置とが一致したことを報知する報知処理を行う
請求項１又は請求項２に記載の情報処理装置。
請求項１又は請求項２に記載の情報処理装置。
【請求項4】
前記プロセッサは、前記位置関係に基づいて、前記第１位置を前記第２位置へ誘導する誘導情報を提示する第１提示処理を行う
請求項１から請求項３の何れか一項に記載の情報処理装置。
請求項１から請求項３の何れか一項に記載の情報処理装置。
【請求項5】
前記実超音波画像は、ドプラモード下で生成された超音波画像である
請求項１から請求項４の何れか一項に記載の情報処理装置。
請求項１から請求項４の何れか一項に記載の情報処理装置。
【請求項6】
前記実超音波画像は、血流が写っている超音波画像と前記反射波の強度が輝度で表現された超音波画像とに基づく画像である
請求項１から請求項４の何れか一項に記載の情報処理装置。
請求項１から請求項４の何れか一項に記載の情報処理装置。
【請求項7】
前記プロセッサは、
前記実超音波画像として、ドプラモード下で生成された超音波画像である第１超音波画像と、Ｂモード下で生成された超音波画像である第２超音波画像とを取得し、
前記第１超音波画像と前記仮想超音波画像に基づいて前記第１位置を他の位置へ誘導する第１誘導情報を提示してから、前記第２超音波画像と前記仮想超音波画像に基づいて特定した前記位置関係に従って前記第１位置を前記第２位置へ誘導する第２誘導情報を提示する第２提示処理を行う
請求項１から請求項４の何れか一項に記載の情報処理装置。
前記実超音波画像として、ドプラモード下で生成された超音波画像である第１超音波画像と、Ｂモード下で生成された超音波画像である第２超音波画像とを取得し、
前記第１超音波画像と前記仮想超音波画像に基づいて前記第１位置を他の位置へ誘導する第１誘導情報を提示してから、前記第２超音波画像と前記仮想超音波画像に基づいて特定した前記位置関係に従って前記第１位置を前記第２位置へ誘導する第２誘導情報を提示する第２提示処理を行う
請求項１から請求項４の何れか一項に記載の情報処理装置。
【請求項8】
前記プロセッサは、前記実超音波画像を表示装置に対して表示させる
請求項１から請求項７の何れか一項に記載の情報処理装置。
請求項１から請求項７の何れか一項に記載の情報処理装置。
【請求項9】
前記プロセッサは、
前記実超音波画像及び／又は前記仮想超音波画像に対して画像認識処理を行い、
前記画像認識処理を行って得た結果を前記表示装置に対して表示させる
請求項８に記載の情報処理装置。
前記実超音波画像及び／又は前記仮想超音波画像に対して画像認識処理を行い、
前記画像認識処理を行って得た結果を前記表示装置に対して表示させる
請求項８に記載の情報処理装置。
【請求項10】
前記プロセッサは、前記仮想超音波画像と前記実超音波画像とを対比可能に前記表示装置に対して表示させる
請求項８又は請求項９に記載の情報処理装置。
請求項８又は請求項９に記載の情報処理装置。
【請求項11】
前記プロセッサは、
前記観察対象領域内の異なる位置についての複数の前記仮想超音波画像から、前記実超音波画像との一致度が一定以上の前記仮想超音波画像を選択し、
選択した前記仮想超音波画像と前記実超音波画像とを対比可能に前記表示装置に対して表示させる
請求項１０に記載の情報処理装置。
前記観察対象領域内の異なる位置についての複数の前記仮想超音波画像から、前記実超音波画像との一致度が一定以上の前記仮想超音波画像を選択し、
選択した前記仮想超音波画像と前記実超音波画像とを対比可能に前記表示装置に対して表示させる
請求項１０に記載の情報処理装置。
【請求項12】
前記観察対象領域は、管腔臓器を含み、
前記プロセッサは、前記ボリュームデータに基づいて生成されており、前記管腔臓器の内側の表面が写った表面画像と前記実超音波画像とを対比可能に前記表示装置に対して表示させる
請求項８から請求項１１の何れか一項に記載の情報処理装置。
前記プロセッサは、前記ボリュームデータに基づいて生成されており、前記管腔臓器の内側の表面が写った表面画像と前記実超音波画像とを対比可能に前記表示装置に対して表示させる
請求項８から請求項１１の何れか一項に記載の情報処理装置。
【請求項13】
前記表面画像は、前記医療モジュールの動きを案内する動画像である
請求項１２に記載の情報処理装置。
請求項１２に記載の情報処理装置。
【請求項14】
前記プロセッサは、前記表面画像内において前記医療モジュールから前記超音波を放射させる位置に対応する位置を特定可能な位置特定情報を前記表示装置に対して表示させる
請求項１２又は請求項１３に記載の情報処理装置。
請求項１２又は請求項１３に記載の情報処理装置。
【請求項15】
前記仮想超音波画像は、前記位置特定情報から特定される位置についての前記観察対象領域の態様を示す仮想的な超音波画像である
請求項１４に記載の情報処理装置。
請求項１４に記載の情報処理装置。
【請求項16】
前記医療モジュールは、処置具を有する超音波内視鏡の先端部であり、
前記特定部位は、前記処置具によって処置される処置対象部位である
請求項１から請求項１５の何れか一項に記載の情報処理装置。
前記特定部位は、前記処置具によって処置される処置対象部位である
請求項１から請求項１５の何れか一項に記載の情報処理装置。
【請求項17】
前記処置具は、穿刺針であり、
前記処置対象部位は、前記穿刺針によって穿刺される部位である
請求項１６に記載の情報処理装置。
前記処置対象部位は、前記穿刺針によって穿刺される部位である
請求項１６に記載の情報処理装置。
【請求項18】
請求項１から請求項１７の何れか一項に記載の情報処理装置と、
前記医療モジュールが先端部に設けられた超音波内視鏡と、を備える
超音波内視鏡装置。
前記医療モジュールが先端部に設けられた超音波内視鏡と、を備える
超音波内視鏡装置。
【請求項19】
特定部位を含む観察対象領域に対して医療モジュールから超音波が放射されることによって得られた反射波に基づいて前記観察対象領域の態様を示す画像として生成された実超音波画像を取得すること、
前記観察対象領域を示すボリュームデータに基づいて前記観察対象領域の態様を示す仮想的な超音波画像として生成された仮想超音波画像を取得すること、並びに、
前記実超音波画像及び前記仮想超音波画像に基づいて、前記医療モジュールが存在する第１位置と前記特定部位が存在する第２位置との位置関係を特定することを備える
情報処理方法。
前記観察対象領域を示すボリュームデータに基づいて前記観察対象領域の態様を示す仮想的な超音波画像として生成された仮想超音波画像を取得すること、並びに、
前記実超音波画像及び前記仮想超音波画像に基づいて、前記医療モジュールが存在する第１位置と前記特定部位が存在する第２位置との位置関係を特定することを備える
情報処理方法。
【請求項20】
コンピュータに、
特定部位を含む観察対象領域に対して医療モジュールから超音波が放射されることによって得られた反射波に基づいて前記観察対象領域の態様を示す画像として生成された実超音波画像を取得すること、
前記観察対象領域を示すボリュームデータに基づいて前記観察対象領域の態様を示す仮想的な超音波画像として生成された仮想超音波画像を取得すること、並びに、
前記実超音波画像及び前記仮想超音波画像に基づいて、前記医療モジュールが存在する第１位置と前記特定部位が存在する第２位置との位置関係を特定することを含む処理を実行させるためのプログラム。
特定部位を含む観察対象領域に対して医療モジュールから超音波が放射されることによって得られた反射波に基づいて前記観察対象領域の態様を示す画像として生成された実超音波画像を取得すること、
前記観察対象領域を示すボリュームデータに基づいて前記観察対象領域の態様を示す仮想的な超音波画像として生成された仮想超音波画像を取得すること、並びに、
前記実超音波画像及び前記仮想超音波画像に基づいて、前記医療モジュールが存在する第１位置と前記特定部位が存在する第２位置との位置関係を特定することを含む処理を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示の技術は、情報処理装置、超音波内視鏡、情報処理方法、及びプログラムに関する。
【背景技術】
【0002】
特許文献１には、第１記憶部、第２記憶部、設定部、生成部、計算部、表示部、及び表示制御部を具備する内視鏡検査支援システムが開示されている。
【0003】
特許文献１に記載の内視鏡検査支援システムにおいて、第１記憶部は、病変部を有する管腔物に関するボリュームデータを記憶する。第２記憶部は、管腔物に挿入された内視鏡スコープからの出力に基づいて生成された、病変部に関する内視鏡画像のデータを記憶する。設定部は、ボリュームデータ上の所定領域内に複数の視点位置を設定する。生成部は、設定された複数の視点位置に基づいてボリュームデータから複数の仮想内視鏡画像のデータを生成する。計算部は、生成された複数の仮想内視鏡画像のそれぞれと内視鏡画像との複数の類似度を計算する。表示部は、算出された複数の類似度のうちの特定の類似度を有する特定の仮想内視鏡画像と内視鏡画像とを並べて表示する。表示制御部は、特定の仮想内視鏡画像上に病変部領域が含まれる場合、表示部を制御して、病変部領域に対応する内視鏡画像上の部分領域を強調表示させる。
【0004】
特許文献２には、第１画像入力部、第２画像入力部、対応付け部、第１特徴領域抽出部、第２特徴領域抽出部、及び保存部を備えた画像処理装置が開示されている。
【0005】
特許文献２に記載の画像処理装置において、第１画像入力部は、被検体の３次元検査画像から生成された仮想内視鏡画像を入力する。第２画像入力部は、内視鏡を用いて被検体の観察対象を撮像して得られた実内視鏡画像を入力する。対応付け部は、仮想内視鏡画像と実内視鏡画像とを対応付けする。第１特徴領域抽出部は、仮想内視鏡画像から第１条件に合致する第１特徴領域を抽出する。第２特徴領域抽出部は、実内視鏡画像から、第１条件に対応する第２条件に合致する第２特徴領域を抽出する。保存部は、実内視鏡画像の第２特徴領域に対応付けされ、且つ仮想内視鏡画像から第１特徴領域として抽出されていない非抽出領域の情報、及び非抽出領域に対応付けられた第２特徴領域の情報の少なくともいずれか一方を保存する。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開２０１１－０００１７３号公報
【特許文献2】国際公開第２０１９／０８８００８号
【発明の概要】
【0007】
本開示の技術に係る一つの実施形態は、医療モジュールと特定部位との位置合わせを容易に行うことができる情報処理装置、超音波内視鏡、情報処理方法、及びプログラムを提供する。
【課題を解決するための手段】
【0008】
本開示の技術に係る第１の態様は、プロセッサを備え、プロセッサが、特定部位を含む観察対象領域に対して医療モジュールから超音波が放射されることによって得られた反射波に基づいて観察対象領域の態様を示す画像として生成された実超音波画像を取得し、観察対象領域を示すボリュームデータに基づいて観察対象領域の態様を示す仮想的な超音波画像として生成された仮想超音波画像を取得し、実超音波画像及び仮想超音波画像に基づいて、医療モジュールが存在する第１位置と特定部位が存在する第２位置との位置関係を特定する情報処理装置である。
【0009】
本開示の技術に係る第２の態様は、プロセッサが、実超音波画像と仮想超音波画像とを比較することで第１位置と第２位置とのずれ量を算出し、位置関係が、ずれ量に基づいて規定されている第１の態様に係る情報処理装置である。
【0010】
本開示の技術に係る第３の態様は、プロセッサが、第１位置と第２位置とが一致した場合に、第１位置と第２位置とが一致したことを報知する報知処理を行う第１の態様又は第２の態様に係る情報処理装置である。
【0011】
本開示の技術に係る第４の態様は、プロセッサが、位置関係に基づいて、第１位置を第２位置へ誘導する誘導情報を提示する第１提示処理を行う第１の態様から第３の態様の何れか１つの態様に係る情報処理装置である。
【0012】
本開示の技術に係る第５の態様は、実超音波画像が、ドプラモード下で生成された超音波画像である、第１の態様から第４の態様の何れか１つの態様に係る情報処理装置である。
【0013】
本開示の技術に係る第６の態様は、実超音波画像が、血流が写っている超音波画像と反射波の強度が輝度で表現された超音波画像とに基づく画像である、第１の態様から第４の態様の何れか１つの態様に係る情報処理装置である。
【0014】
本開示の技術に係る第７の態様は、プロセッサが、実超音波画像として、ドプラモード下で生成された超音波画像である第１超音波画像と、Ｂモード下で生成された超音波画像である第２超音波画像とを取得し、第１超音波画像と仮想超音波画像に基づいて第１位置を他の位置へ誘導する第１誘導情報を提示してから、第２超音波画像と仮想超音波画像に基づいて特定した位置関係に従って第１位置を第２位置へ誘導する第２誘導情報を提示する第２提示処理を行う第１の態様から第４の態様の何れか１つの態様に係る情報処理装置である。
【0015】
本開示の技術に係る第８の態様は、プロセッサが、実超音波画像を表示装置に対して表示させる第１の態様から第７の態様の何れか１つの態様に係る情報処理装置である。
【0016】
本開示の技術に係る第９の態様は、プロセッサが、実超音波画像及び／又は仮想超音波画像に対して画像認識処理を行い、画像認識処理を行って得た結果を表示装置に対して表示させる第８の態様に係る情報処理装置である。
【0017】
本開示の技術に係る第１０の態様は、プロセッサが、仮想超音波画像と実超音波画像とを対比可能に表示装置に対して表示させる第８の態様又は第９の態様に係る情報処理装置である。
【0018】
本開示の技術に係る第１１の態様は、プロセッサが、観察対象領域内の異なる位置についての複数の仮想超音波画像から、実超音波画像との一致度が一定以上の仮想超音波画像を選択し、選択した仮想超音波画像と実超音波画像とを対比可能に表示装置に対して表示させる第１０の態様に係る情報処理装置である。
【0019】
本開示の技術に係る第１２の態様は、観察対象領域が、管腔臓器を含み、プロセッサが、ボリュームデータに基づいて生成されており、管腔臓器の内側の表面が写った表面画像と実超音波画像とを対比可能に表示装置に対して表示させる第８の態様から第１１の態様の何れか１つの態様に係る情報処理装置である。
【0020】
本開示の技術に係る第１３の態様は、表面画像が、医療モジュールの動きを案内する動画像である、第１２の態様に係る情報処理装置である。
【0021】
本開示の技術に係る第１４の態様は、プロセッサが、表面画像内において医療モジュールから超音波を放射させる位置に対応する位置を特定可能な位置特定情報を表示装置に対して表示させる第１２の態様又は第１３の態様に係る情報処理装置である。
【0022】
本開示の技術に係る第１５の態様は、仮想超音波画像が、位置特定情報から特定される位置についての観察対象領域の態様を示す仮想的な超音波画像である、第１４の態様に係る情報処理装置である。
【0023】
本開示の技術に係る第１６の態様は、医療モジュールが、処置具を有する超音波内視鏡の先端部であり、特定部位が、処置具によって処置される処置対象部位である、第１の態様から第１５の態様の何れか１つの態様に係る情報処理装置である。
【0024】
本開示の技術に係る第１７の態様は、処置具が、穿刺針であり、処置対象部位が、穿刺針によって穿刺される部位である、第１６の態様に係る情報処理装置である。
【0025】
本開示の技術に係る第１８の態様は、第１の態様から第１７の態様の何れか１つの態様に係る情報処理装置と、医療モジュールが先端部に設けられた超音波内視鏡と、を備える超音波内視鏡装置である。
【0026】
本開示の技術に係る第１９の態様は、特定部位を含む観察対象領域に対して医療モジュールから超音波が放射されることによって得られた反射波に基づいて観察対象領域の態様を示す画像として生成された実超音波画像を取得すること、観察対象領域を示すボリュームデータに基づいて観察対象領域の態様を示す仮想的な超音波画像として生成された仮想超音波画像を取得すること、並びに、実超音波画像及び仮想超音波画像に基づいて、医療モジュールが存在する第１位置と特定部位が存在する第２位置との位置関係を特定することを備える情報処理方法である。
【0027】
本開示の技術に係る第２０の態様は、コンピュータに、特定部位を含む観察対象領域に対して医療モジュールから超音波が放射されることによって得られた反射波に基づいて観察対象領域の態様を示す画像として生成された実超音波画像を取得すること、観察対象領域を示すボリュームデータに基づいて観察対象領域の態様を示す仮想的な超音波画像として生成された仮想超音波画像を取得すること、並びに、実超音波画像及び仮想超音波画像に基づいて、医療モジュールが存在する第１位置と特定部位が存在する第２位置との位置関係を特定することを含む処理を実行させるためのプログラムである。
【図面の簡単な説明】
【0028】
【図1】内視鏡システムが用いられている態様の一例を示す概念図である。
【図2】内視鏡システムの全体構成の一例を示す概念図である。
【図3】気管支内視鏡の挿入部が被検者の管腔臓器に挿入されている態様の一例を示す概念図である。
【図4】内視鏡用処理装置のハードウェア構成の一例を示すブロック図である。
【図5】超音波用処理装置のハードウェア構成の一例を示すブロック図である。
【図6】表示制御装置のハードウェア構成の一例を示すブロック図である。
【図7】サーバのハードウェア構成の一例を示すブロック図である。
【図8】表示制御装置のプロセッサの要部機能の一例を示すブロック図である。
【図9】サーバのプロセッサの要部機能の一例を示すブロック図である。
【図10】サーバの画像処理部の第１処理内容の一例を示す概念図である。
【図11】サーバの画像処理部の第２処理内容の一例を示す概念図である。
【図12】サーバの第１生成部の処理内容の一例を示す概念図である。
【図13】サーバの第１生成部及び第２送信部の処理内容の一例を示す概念図である。
【図14】表示制御装置の第１制御部及び第２制御部の処理内容の一例を示す概念図である。
【図15】サーバの第２生成部の処理内容の一例を示す概念図である。
【図16】表示制御装置の第３制御部及び第１送信部の処理内容の一例、並びにサーバの第１送受信部及び第２送受信部の処理内容の一例を示す概念図である。
【図17】サーバの第１送受信部、取得部、画像認識部、及び加工部の処理内容の一例を示す概念図である。
【図18】サーバの加工部及び第１送受信部の処理内容の一例、並びに表示制御装置の第２受信部及び第４制御部の処理内容の一例を示す概念図である。
【図19】サーバの第２送受信部及び第３生成部の処理内容の一例を示す概念図である。
【図20】サーバの第３生成部及び第２送受信部の処理内容の一例、並びに表示制御装置の第３受信部及び第５制御部の一例を示す概念図である。
【図21】内視鏡画像表示処理の流れの一例を示すフローチャートである。
【図22】ナビゲーション動画像表示処理の流れの一例を示すフローチャートである。
【図23】実超音波画像表示処理の流れの一例を示すフローチャートである。
【図24】仮想超音波画像表示処理の流れの一例を示すフローチャートである。
【図25】支援情報表示処理の流れの一例を示すフローチャートである。
【図26】ナビゲーション動画像生成処理の流れの一例を示すフローチャートである。
【図27】仮想超音波画像生成処理の流れの一例を示すフローチャートである。
【図28】支援情報生成処理の流れの一例を示すフローチャートである。
【図29】第１変形例に係るサーバの第１送受信部、画像認識部、及び加工部の処理内容の一例を示す概念図である。
【図30】第２変形例に係るサーバの第３生成部の処理内容の一例を示す概念図である。
【発明を実施するための形態】
【0029】
以下、添付図面に従って本開示の技術に係る情報処理装置、気管支内視鏡装置、情報処理方法、及びプログラムの実施形態の一例について説明する。
【0030】
先ず、以下の説明で使用される文言について説明する。
【0031】
ＣＰＵとは、“Central Processing Unit”の略称を指す。ＧＰＵとは、“Graphics Processing Unit”の略称を指す。ＲＡＭとは、“Random Access Memory”の略称を指す。ＮＶＭとは、“Non-volatile memory”の略称を指す。ＥＥＰＲＯＭとは、“Electrically Erasable Programmable Read-Only Memory”の略称を指す。ＡＳＩＣとは、“Application Specific Integrated Circuit”の略称を指す。ＰＬＤとは、“Programmable Logic Device”の略称を指す。ＦＰＧＡとは、“Field-Programmable Gate Array”の略称を指す。ＳｏＣとは、“System-on-a-chip”の略称を指す。ＳＳＤとは、“Solid State Drive”の略称を指す。ＵＳＢとは、“Universal Serial Bus”の略称を指す。ＨＤＤとは、“Hard Disk Drive”の略称を指す。ＥＬとは、“Electro-Luminescence”の略称を指す。ＣＭＯＳとは、“Complementary Metal Oxide Semiconductor”の略称を指す。ＣＣＤとは、“Charge Coupled Device”の略称を指す。ＣＴとは、“Computed Tomography”の略称を指す。ＭＲＩとは、“Magnetic Resonance Imaging”の略称を指す。ＰＣとは、“Personal Computer”の略称を指す。ＬＡＮとは、“Local Area Network”の略称を指す。ＷＡＮとは、“Wide Area Network”の略称を指す。ＡＩとは、“Artificial Intelligence”の略称を指す。ＡＤＣとは、“Analog-to-Digital Converter”の略称を指す。ＦＰＣとは、“Flexible Printed Circuit”の略称を指す。ＢＬＩとは、“Blue LASER Imaging”の略称を指す。ＬＣＩとは、“Linked Color Imaging”の略称を指す。本実施形態において、「一致」とは、完全な一致の他に、本開示の技術が属する技術分野で一般的に許容される誤差であって、本開示の技術の趣旨に反しない程度の誤差を含めた意味合いでの一致を指す。
【0032】
一例として図１に示すように、内視鏡システム１０は、超音波内視鏡装置１２を備えている。超音波内視鏡装置１２は、本開示の技術に係る「超音波内視鏡装置」の一例である。超音波内視鏡装置１２は、表示装置１４を有する。超音波内視鏡装置１２は、医師１６等の医療従事者（以下、「ユーザ」と称する）によって用いられる。超音波内視鏡装置１２は、気管支内視鏡１８を備えており、気管支内視鏡１８を介して被検者２０（例えば、患者）の気管支を含めた呼吸器系に対する診療を行うための装置である。気管支内視鏡１８は、本開示の技術に係る「超音波内視鏡」の一例である。表示装置１４は、本開示の技術に係る「表示装置」の一例である。
【0033】
気管支内視鏡１８は、医師１６によって被検者２０の気管支に挿入され、気管支内を撮像することで気管支内の態様を示す画像を取得して出力する。図１に示す例では、気管支内視鏡１８が被検者２０の口から呼吸器系の管腔臓器に挿入されている態様が示されている。なお、図１に示す例では、気管支内視鏡１８が被検者２０の口から呼吸器系の管腔臓器に挿入されているが、これは、あくまでも一例に過ぎず、気管支内視鏡１８が被検者２０の鼻から呼吸器系の管腔臓器に挿入されてもよい。また、本実施形態において、呼吸器系の管腔臓器とは、上気道から下気道までの空気の通り道を形成する臓器（例えば、気管及び気管支を含む臓器）を指す。以下では、呼吸器系の管腔臓器を、単に「管腔臓器」と称する。
【0034】
表示装置１４は、画像を含めた各種情報を表示する。表示装置１４の一例としては、液晶ディスプレイ又はＥＬディスプレイ等が挙げられる。表示装置１４には、複数の画面が並べて表示される。図１に示す例では、複数の画面の一例として、画面２２、２４及び２６が示されている。
【0035】
画面２２には、光学的手法で撮像されることによって得られた内視鏡画像２８が表示される。内視鏡画像２８は、気管支内視鏡１８によって被検者２０の管腔臓器（例えば、気管支）の内側の表面（以下、「管腔臓器内壁面」とも称する）に対して光（例えば、可視光又は赤外光）が放射されることにより、光が管腔臓器内壁面で反射した反射光が撮像されることで得られる画像である。内視鏡画像２８の一例としては、動画像（例えば、ライブビュー画像）が挙げられるが、これは、あくまでも一例に過ぎず、静止画像であってもよい。
【0036】
画面２４には、管腔臓器内壁面よりも奥側の観察対象領域（以下、単に「観察対象領域」とも称する）の態様を示す実超音波画像３０が表示される。実超音波画像３０は、管腔臓器内で気管支内視鏡１８によって管腔臓器内壁面を介して観察対象領域に対して放射された超音波が観察対象領域で反射された反射波に基づいて生成された超音波画像である。実超音波画像３０は、いわゆるＢ（Brightness）モード下で実際に得られる超音波画像である。なお、ここでは、Ｂモード下で実際に得られる超音波画像を実超音波画像３０の一例として挙げているが、本開示の技術はこれに限定されず、実超音波画像３０は、いわゆるＭ（Motion）モード又はドプラモード下で実際に得られる超音波画像であってもよい。実超音波画像３０は、本開示の技術に係る「実超音波画像」の一例である。
【0037】
画面２６には、仮想超音波画像３２が表示される。すなわち、表示装置１４には、実超音波画像３０と仮想超音波画像３２とが対比可能に表示される。詳しくは後述するが、仮想超音波画像３２は、観察対象領域の態様を示す仮想的な超音波画像であり、ユーザによって参照される。仮想超音波画像３２は、本開示の技術に係る「仮想超音波画像」の一例である。
【0038】
一例として図２に示すように、気管支内視鏡１８は、操作部３４及び挿入部３６を備えている。挿入部３６は、管状に形成されている。挿入部３６は、先端部３８、湾曲部４０、及び軟性部４２を有する。先端部３８、湾曲部４０、及び軟性部４２は、挿入部３６の先端側から基端側にかけて、先端部３８、湾曲部４０、及び軟性部４２の順に配置されている。軟性部４２は、長尺状の可撓性を有する素材で形成されており、操作部３４と湾曲部４０とを連結している。湾曲部４０は、操作部３４が操作されることにより部分的に湾曲したり、挿入部３６の軸心周りに回転したりする。この結果、挿入部３６は、管腔臓器の形状（例えば、気管支の管路の形状）に応じて湾曲したり、挿入部３６の軸心周りに回転したりしながら管腔臓器の奥側に送り込まれる。
【0039】
先端部３８には、照明装置４４、内視鏡スコープ４６、超音波プローブ４８、及び処置具用開口５０が設けられている。照明装置４４は、照明窓４４Ａ及び照明窓４４Ｂを有する。照明装置４４は、照明窓４４Ａ及び照明窓４４Ｂを介して光を放射する。照明装置４４から照射される光の種類としては、例えば、可視光（例えば、白色光等）、非可視光（例えば、近赤外光等）、及び／又は特殊光が挙げられる。特殊光としては、例えば、ＢＬＩ用の光及び／又はＬＣＩ用の光が挙げられる。内視鏡スコープ４６は、管腔臓器内を光学的手法で撮像する。内視鏡スコープ４６の一例としては、ＣＭＯＳカメラが挙げられる。ＣＭＯＳカメラは、あくまでも一例に過ぎず、ＣＣＤカメラ等の他種のカメラであってもよい。
【0040】
超音波プローブ４８は、先端部３８の先端側に設けられている。超音波プローブ４８の外面４８Ａは、超音波プローブ４８の基端側から先端側に向けて外側に凸状に湾曲している。超音波プローブ４８は、外面４８Ａを介して超音波を送信し、送信した超音波が観察対象領域で反射されて得られた反射波を、外面４８Ａを介して受信する。なお、ここで、超音波の送信は、本開示の技術に係る「超音波の放射」の一例である。
【0041】
処置具用開口５０は、超音波プローブ４８よりも先端部３８の基端側に形成されている。処置具用開口５０は、処置具５２を先端部３８から突出させるための開口である。操作部３４には、処置具挿入口５４が形成されており、処置具５２は、処置具挿入口５４から挿入部３６内に挿入される。処置具５２は、挿入部３６内を通過して処置具用開口５０から体内に突出する。図２に示す例では、処置具５２として、シース５２Ａが処置具用開口５０から突出している。シース５２Ａは、処置具挿入口５４から挿入部３６内に挿入されて処置具用開口５０から外部に突出する。また、図２に示す例では、処置具５２として、穿刺針５２Ｂも示されている。穿刺針５２Ｂは、シース５２Ａ内に挿入されて、シース５２Ａの先端側から外部に突出する。ここでは、処置具５２として、シース５２Ａ及び穿刺針５２Ｂを例示しているが、これは、あくまでも一例に過ぎず、処置具５２は、把持鉗子及び／又は超音波プローブ等であってもよく、これらがシース５２Ａ内に挿入されて用いられてもよい。なお、処置具用開口５０は、血液及び体内汚物等を吸引する吸引口としても機能する。
【0042】
超音波内視鏡装置１２は、ユニバーサルコード５８、内視鏡用処理装置６０、光源装置６２、超音波用処理装置６４、及び表示制御装置６６を備えている。ユニバーサルコード５８は、基端部５８Ａ及び第１～第３先端部５８Ｂ～５８Ｄを有する。基端部５８Ａは、操作部３４に接続されている。第１先端部５８Ｂは、内視鏡用処理装置６０に接続されている。第２先端部５８Ｃは、光源装置６２に接続されている。第３先端部５８Ｄは、超音波用処理装置６４に接続されている。
【0043】
内視鏡システム１０は、受付装置６８を備えている。受付装置６８は、ユーザからの指示を受け付ける。受付装置６８の一例としては、複数のハードキー及び／又はタッチパネル等を有する操作パネル、キーボード、マウス、トラックボール、フットスイッチ、スマートデバイス、及び／又はマイクロフォン等が挙げられる。
【0044】
内視鏡用処理装置６０には、受付装置６８が接続されている。内視鏡用処理装置６０は、受付装置６８によって受け付けられた指示に従って内視鏡スコープ４６との間で各種信号の授受を行ったり、光源装置６２を制御したりする。内視鏡用処理装置６０は、内視鏡スコープ４６に対して撮像を行わせ、内視鏡スコープ４６から内視鏡画像２８（図１参照）を取得して出力する。光源装置６２は、内視鏡用処理装置６０の制御下で発光し、光を照明装置４４に供給する。照明装置４４には、ライトガイドが内蔵されており、光源装置６２から供給された光はライトガイドを経由して照明窓４４Ａ及び４４Ｂから放射される。
【0045】
超音波用処理装置６４には、受付装置６８が接続されている。超音波用処理装置６４は、受付装置６８によって受け付けられた指示に従って超音波プローブ４８との間で各種信号の授受を行う。超音波用処理装置６４は、超音波プローブ４８に対して超音波を送信させ、超音波プローブ４８によって受信された反射波に基づいて実超音波画像３０（図１参照）を生成して出力する。
【0046】
表示制御装置６６には、表示装置１４、内視鏡用処理装置６０、超音波用処理装置６４、及び受付装置６８が接続されている。表示制御装置６６は、受付装置６８によって受け付けられた指示に従って表示装置１４を制御する。表示制御装置６６は、内視鏡用処理装置６０から内視鏡画像２８を取得し、取得した内視鏡画像２８を表示装置１４に対して表示させる（図１参照）。また、表示制御装置６６は、超音波用処理装置６４から実超音波画像３０を取得し、取得した実超音波画像３０を表示装置１４に対して表示させる（図１参照）。
【0047】
内視鏡システム１０は、サーバ７０を備えている。サーバ７０の一例としては、クラウドサービス用のサーバが挙げられる。サーバ７０は、サーバ７０の本体であるコンピュータ７２と、表示装置７４と、受付装置７６と、を有する。コンピュータ７２及び表示制御装置６６は、ネットワーク７８を介して通信可能に接続されている。ネットワーク７８の一例としては、ＬＡＮが挙げられる。なお、ＬＡＮは、あくまでも一例に過ぎず、ネットワーク７８は、ＬＡＮ及びＷＡＮ等のうちの少なくとも１つで構成されていればよい。
【0048】
表示制御装置６６は、サーバ７０に対するクライアント端末として位置付けられている。従って、サーバ７０は、ネットワーク７８を介して表示制御装置６６から与えられた要求に応じた処理を実行し、処理結果を、ネットワーク７８を介して表示制御装置６６に提供する。
【0049】
表示装置７４及び受付装置７６は、コンピュータ７２に接続されている。表示装置７４は、コンピュータ７２の制御下で各種情報を表示する。表示装置７４の一例としては、液晶ディスプレイ又はＥＬディスプレイ等が挙げられる。受付装置７６は、サーバ７０の使用者等からの指示を受け付ける。受付装置７６の一例としては、キーボード及びマウス等が挙げられる。コンピュータ７２は、受付装置７６によって受け付けられた指示に応じた処理を実行する。
【0050】
一例として図３に示すように、被検者２０の体内には、呼吸器８２が含まれている。呼吸器８２は、上気道及び下気道等の管腔臓器８４を有する。気管支内視鏡１８の挿入部３６は、被検者２０の口腔８６から、管腔臓器８４に挿入される。すなわち、挿入部３６は、口腔８６から、喉頭８８を介して気管支９６に挿入される。先端部３８は、気管支９６内の予定された経路９８に沿って気管支９６の奥側に送り込まれる。気管支９６の奥側に送り込まれた先端部３８は、やがて、気管支９６内の事前に予定されている位置１００に到達する。
【0051】
位置１００は、管腔臓器８４の内側の表面である管腔臓器内壁面１０２の一部分の位置である。具体的には、管腔臓器内壁面１０２内において、処置具５２によって処置される処置対象部位として事前に指定されたリンパ節１０４が管腔臓器８４の外側（図３に示す例では、気管支９６の外側）に存在する位置が位置１００である。換言すると、位置１００とは、管腔臓器内壁面１０２においてリンパ節１０４が内在している位置を指す。本実施形態において、リンパ節１０４は、組織採取の対象とされる部位である。すなわち、リンパ節１０４は、穿刺針５２Ｂによって穿刺される部位である。図３に示す例では、穿刺針５２Ｂがリンパ節１０４の中央部１０４Ａ（例えば、中心）に刺し込まれる場合の管腔臓器内壁面１０２において穿刺針５２Ｂによって穿刺される位置が位置１００として示されている。
【0052】
気管支内視鏡１８の先端部３８の超音波プローブ４８は、管腔臓器８４及びリンパ節１０４を含む観察対象領域１０６（例えば、管腔臓器８４及びリンパ節１０４を含む肺などの臓器）に対して超音波を放射する。このように、超音波が放射されることによって観察対象領域１０６から反射された反射波に基づいて実超音波画像３０が生成される。また、穿刺針５２Ｂが穿刺された観察対象領域１０６の態様は、実超音波画像３０によって示される。図３に示す例では、気管支内視鏡１８の先端部３８の位置１０８と位置１００とが一致している。位置１０８は、管腔臓器内壁面１０２のうちの処置具用開口５０（図２参照）内の穿刺針５２Ｂが突出する位置と対面している位置である。換言すると、穿刺針５２Ｂの突出方向と管腔臓器内壁面１０２とが交差する位置が位置１０８である。
【0053】
リンパ節１０４は、本開示の技術に係る「特定部位」及び「処置対象部位」の一例である。処置具５２は、本開示の技術に係る「処置具」の一例である。穿刺針５２Ｂは、本開示の技術に係る「穿刺針」の一例である。先端部３８は、本開示の技術に係る「医療モジュール」及び「超音波内視鏡の先端部」の一例である。観察対象領域１０６は、本開示の技術に係る「観察対象領域」の一例である。位置１０８は、本開示の技術に係る「第１位置」の一例である。位置１００は、本開示の技術に係る「第２位置」の一例である。
【0054】
一例として図４に示すように、内視鏡用処理装置６０は、コンピュータ１１０及び入出力インタフェース１１２を備えている。コンピュータ１１０は、プロセッサ１１４、ＲＡＭ１１６、及びＮＶＭ１１８を備えている。入出力インタフェース１１２、プロセッサ１１４、ＲＡＭ１１６、及びＮＶＭ１１８は、バス１２０に接続されている。
【0055】
例えば、プロセッサ１１４は、ＣＰＵ及びＧＰＵを有しており、内視鏡用処理装置６０の全体を制御する。ＧＰＵは、ＣＰＵの制御下で動作し、主に画像処理の実行を担う。なお、プロセッサ１１４は、ＧＰＵ機能を統合した１つ以上のＣＰＵであってもよいし、ＧＰＵ機能を統合していない１つ以上のＣＰＵであってもよい。
【0056】
ＲＡＭ１１６は、一時的に情報が格納されるメモリであり、プロセッサ１１４によってワークメモリとして用いられる。ＮＶＭ１１８は、各種プログラム及び各種パラメータ等を記憶する不揮発性の記憶装置である。ＮＶＭ１１８の一例としては、フラッシュメモリ（例えば、ＥＥＰＲＯＭ）及び／又はＳＳＤ等が挙げられる。なお、フラッシュメモリ及びＳＳＤは、あくまでも一例に過ぎず、ＨＤＤ等の他の不揮発性の記憶装置であってもよいし、２種類以上の不揮発性の記憶装置の組み合わせであってもよい。
【0057】
入出力インタフェース１１２には、受付装置６８が接続されており、プロセッサ１１４は、受付装置６８によって受け付けられた指示を、入出力インタフェース１１２を介して取得し、取得した指示に応じた処理を実行する。また、入出力インタフェース１１２には、内視鏡スコープ４６が接続されている。プロセッサ１１４は、入出力インタフェース１１２を介して内視鏡スコープ４６を制御したり、内視鏡スコープ４６によって被検者２０の体内が撮像されることで得られた内視鏡画像２８を、入出力インタフェース１１２を介して取得したりする。また、入出力インタフェース１１２には、光源装置６２が接続されている。プロセッサ１１４は、入出力インタフェース１１２を介して光源装置６２を制御することで、照明装置４４に光を供給したり、照明装置４４に供給する光の光量を調節したりする。また、入出力インタフェース１１２には、表示制御装置６６が接続されている。プロセッサ１１４は、入出力インタフェース１１２を介して表示制御装置６６と各種信号の授受を行う。
【0058】
一例として図５に示すように、超音波用処理装置６４は、コンピュータ１２２及び入出力インタフェース１２４を備えている。コンピュータ１２２は、プロセッサ１２６、ＲＡＭ１２８、及びＮＶＭ１３０を備えている。入出力インタフェース１２４、プロセッサ１２６、ＲＡＭ１２８、及びＮＶＭ１３０は、バス１３２に接続されている。プロセッサ１２６は、超音波用処理装置６４の全体を制御する。なお、図５に示すコンピュータ１２２に含まれる複数のハードウェア資源（すなわち、プロセッサ１２６、ＲＡＭ１２８、及びＮＶＭ１３０）は、図４に示すコンピュータ１１０に含まれる複数のハードウェア資源と同種であるので、ここでの説明は省略する。
【0059】
入出力インタフェース１２４には、受付装置６８が接続されており、プロセッサ１２６は、受付装置６８によって受け付けられた指示を、入出力インタフェース１２４を介して取得し、取得した指示に応じた処理を実行する。また、入出力インタフェース１２４には、表示制御装置６６が接続されている。プロセッサ１２６は、入出力インタフェース１２４を介して表示制御装置６６と各種信号の授受を行う。
【0060】
超音波用処理装置６４は、マルチプレクサ１３４、送信回路１３６、受信回路１３８、及びアナログデジタルコンバータ１４０（以下、「ＡＤＣ１４０」と称する）を備えている。マルチプレクサ１３４は、超音波プローブ４８に接続されている。送信回路１３６の入力端は入出力インタフェース１２４に接続されており、送信回路１３６の出力端はマルチプレクサ１３４に接続されている。ＡＤＣ１４０の入力端は受信回路１３８の出力端に接続されており、ＡＤＣ１４０の出力端は入出力インタフェース１２４に接続されている。受信回路１３８の入力端はマルチプレクサ１３４に接続されている。
【0061】
超音波プローブ４８は、複数の超音波振動子１４２を備えている。複数の超音波振動子１４２は一次元又は二次元アレイ状に配列されることによってユニット化されている。複数の超音波振動子１４２の各々は、圧電素子の両面に電極が配置されることによって形成されている。圧電素子の一例としては、チタン酸バリウム、チタン酸ジルコン酸鉛、又はニオブ酸カリウム等が挙げられる。電極は、複数の超音波振動子１４２に対して個別に設けられた個別電極と、複数の超音波振動子１４２に対して共通の振動子グランドとからなる。電極は、ＦＰＣ及び同軸ケーブルを介して超音波用処理装置６４と電気的に接続されている。
【0062】
超音波プローブ４８は、複数の超音波振動子１４２が円弧状に配置されたコンベックス型のプローブである。複数の超音波振動子１４２は、外面４８Ａ（図２参照）に沿って配列されている。すなわち、複数の超音波振動子１４２は、先端部３８（図２参照）の軸線方向（すなわち、挿入部３６の長手軸方向）に沿って凸湾曲状に等間隔で配列されている。従って、超音波プローブ４８は、複数の超音波振動子１４２を作動させることで放射状に超音波を送信する。なお、ここでは、コンベックス型のプローブを例示しているが、これは、あくまでも一例に過ぎず、ラジアル型、リニア型、又はセクタ型等のプローブであってもよい。また、超音波プローブ４８の走査方式も特に限定されない。
【0063】
送信回路１３６及び受信回路１３８は、マルチプレクサ１３４を介して、複数の超音波振動子１４２の各々と電気的に接続されている。マルチプレクサ１３４は、複数の超音波振動子１４２から少なくとも１つを選択し、選択した超音波振動子１４２である選択超音波振動子のチャネルを開口させる。
【0064】
送信回路１３６は、入出力インタフェース１２４を介してプロセッサ１２６によって制御される。送信回路１３６は、プロセッサ１２６の制御下で、選択超音波振動子に対して超音波送信用の駆動信号（例えば、複数個のパルス状の信号）を供給する。駆動信号は、プロセッサ１２６によって設定される送信用パラメータに従って生成される。送信用パラメータは、選択超音波振動子に供給する駆動信号の数、駆動信号の供給時間、及び駆動振動の振幅等である。
【0065】
送信回路１３６は、選択超音波振動子に対して駆動信号を供給することで、選択超音波振動子から超音波を送信させる。すなわち、選択超音波振動子に含まれる電極に対して駆動信号が供給されると、選択超音波振動子に含まれる圧電素子が伸縮して選択超音波振動子が振動する。この結果、選択超音波振動子からパルス状の超音波が出力される。選択超音波振動子の出力強度は、選択超音波振動子から出力さあれる超音波の振幅（すなわち、超音波の音圧の大きさ）で定義される。
【0066】
超音波が送信されて観察対象領域１０６から反射されることで得られた反射波は、超音波振動子１４２によって受信される。超音波振動子１４２は、受信した反射波を示す電気信号を、マルチプレクサ１３４を介して受信回路１３８に出力する。具体的には、超音波振動子１４２に含まれる圧電素子が電気信号を出力する。受信回路１３８は、超音波振動子１４２からの電気信号を受信し、受信した電気信号を増幅してＡＤＣ１４０に出力する。ＡＤＣ１４０は、受信回路１３８から入力された電気信号をデジタル化する。プロセッサ１２６は、ＡＤＣ１４０によってデジタル化された電気信号を取得し、取得した電気信号に基づいて実超音波画像３０（図１参照）を生成する。
【0067】
一例として図６に示すように、表示制御装置６６は、コンピュータ１４４及び入出力インタフェース１４６を備えている。コンピュータ１４４は、プロセッサ１４８、ＲＡＭ１５０、及びＮＶＭ１５２を備えている。入出力インタフェース１４６、プロセッサ１４８、ＲＡＭ１５０、及びＮＶＭ１５２は、バス１５４に接続されている。
【0068】
プロセッサ１４８は、表示制御装置６６の全体を制御する。なお、図６に示すコンピュータ１４４に含まれる複数のハードウェア資源（すなわち、プロセッサ１４８、ＲＡＭ１５０、及びＮＶＭ１５２）は、図４に示すコンピュータ１１０に含まれる複数のハードウェア資源と同種であるので、ここでの説明は省略する。
【0069】
入出力インタフェース１４６には、受付装置６８が接続されており、プロセッサ１４８は、受付装置６８によって受け付けられた指示を、入出力インタフェース１４６を介して取得し、取得した指示に応じた処理を実行する。また、入出力インタフェース１４６には、内視鏡用処理装置６０が接続されており、プロセッサ１４８は、入出力インタフェース１４６を介して、内視鏡用処理装置６０のプロセッサ１１４（図４参照）と各種信号の授受を行う。また、入出力インタフェース１４６には、超音波用処理装置６４が接続されており、プロセッサ１４８は、入出力インタフェース１４６を介して、超音波用処理装置６４のプロセッサ１２６（図５参照）と各種信号の授受を行う。
【0070】
入出力インタフェース１４６には、表示装置１４が接続されており、プロセッサ１４８は、入出力インタフェース１４６を介して表示装置１４を制御することで、表示装置１４に対して各種情報を表示させる。例えば、プロセッサ１４８は、内視鏡用処理装置６０から内視鏡画像２８（図１参照）を取得し、超音波用処理装置６４から実超音波画像３０（図１参照）を取得し、表示装置１４に対して内視鏡画像２８及び実超音波画像３０を表示させる。
【0071】
超音波内視鏡装置１２は、通信モジュール１５６を備えている。通信モジュール１５６は、入出力インタフェース１４６に接続されている。通信モジュール１５６は、通信プロセッサ及びアンテナ等を含むインタフェースである。通信モジュール１５６は、ネットワーク７８に接続されており、プロセッサ１４８とサーバ７０のコンピュータ７２との間の通信を司る。
【0072】
一例として図７に示すように、サーバ７０は、コンピュータ７２、表示装置７４、及び受付装置７６の他に、入出力インタフェース１１２（図４参照）と同様の入出力インタフェース１６０、及び通信モジュール１５６と同様の通信モジュール１６２を備えている。コンピュータ７２は、プロセッサ１４８（図６参照）と同様のプロセッサ１６４、ＲＡＭ１５０（図６参照）と同様のＲＡＭ１６６、及びＮＶＭ１５２（図６参照）と同様のＮＶＭ１６８を備えている。バス１７０には、入出力インタフェース１６０、プロセッサ１６４、ＲＡＭ１６６、及びＮＶＭ１６８が接続されている。
【0073】
入出力インタフェース１６０には、表示装置７４が接続されており、プロセッサ１６４は、入出力インタフェース１６０を介して表示装置７４を制御することで、表示装置７４に対して各種情報を表示させる。
【0074】
入出力インタフェース１６０には、受付装置７６が接続されており、プロセッサ１６４は、受付装置７６によって受け付けられた指示を、入出力インタフェース１６０を介して取得し、取得した指示に応じた処理を実行する。
【0075】
入出力インタフェース１６０には、通信モジュール１６２が接続されている。通信モジュール１６２は、ネットワーク７８に接続されており、通信モジュール１５６と協働することにより、サーバ７０のプロセッサ１６４と表示制御装置６６のプロセッサ１４８との間の通信を司る。
【0076】
なお、表示制御装置６６及びサーバ７０は、本開示の技術に係る「情報処理装置」の一例である。プロセッサ１４８及び１６４は、本開示の技術に係る「プロセッサ」の一例である。コンピュータ１４４（図６参照）及びコンピュータ７２は、本開示の技術に係る「コンピュータ」の一例である。
【0077】
ところで、リンパ節１０４に対して処置具５２を用いて処置（例えば、組織採取等）が行われる場合、表示装置１４に表示される内視鏡画像２８及び／又は実超音波画像３０が医師１６によって参照される。そして、医師１６は、表示装置１４に表示される内視鏡画像２８及び／又は実超音波画像３０を参照しながら気管支内視鏡１８を操作することにより、位置１００（図３参照）と位置１０８（図３参照）との位置合わせを行う。医師１６は、位置合わせが成功すると、処置具５２を用いてリンパ節１０４に対して処置を行う。しかし、医師１６は、表示装置１４に表示される内視鏡画像２８及び／又は実超音波画像３０を参照したとしても、位置１００と位置１０８との位置関係を把握することが困難である。位置１００と位置１０８との位置関係を医師１６に把握させることは、リンパ節１０４に対する処置を正確に行う上で重要である。また、位置１００と位置１０８との位置関係を医師１６に把握させることは、リンパ節１０４に対する処置を開始するまでの時間を短くする上でも重要である。リンパ節１０４に対する処置を開始するまでの時間が短くなれば、挿入部３６が管腔臓器８４に挿入される時間を短くすることができるので、結果的に、被検者２０の身体にかかる負荷も軽減される。
【0078】
そこで、このような事情に鑑み、本実施形態では、表示制御装置６６のプロセッサ１４８によって表示制御装置側処理が行われ、かつ、サーバ７０のプロセッサ１６４によってサーバ側処理が行われる。表示制御装置側処理は、内視鏡画像表示処理、ナビゲーション動画像表示処理、実超音波画像表示処理、仮想超音波画像表示処理、及び支援情報表示処理である（図８及び図２１～図２５参照）。サーバ側処理は、ナビゲーション動画像生成処理、仮想超音波画像生成処理、及び支援情報生成処理である（図９及び図２６～図２８参照）。
【0079】
一例として図８に示すように、ＮＶＭ１５２には、表示制御装置側プログラム１７２が記憶されている。表示制御装置側プログラム１７２は、内視鏡画像表示プログラム１７２Ａ、ナビゲーション動画像表示プログラム１７２Ｂ、実超音波画像表示プログラム１７２Ｃ、仮想超音波画像表示プログラム１７２Ｄ、及び支援情報表示プログラム１７２Ｅを含む。
【0080】
プロセッサ１４８は、ＮＶＭ１５２から表示制御装置側プログラム１７２を読み出し、読み出した表示制御装置側プログラム１７２をＲＡＭ１５０上で実行することにより表示制御装置側処理を行う。表示制御装置側処理に含まれる内視鏡画像表示処理は、プロセッサ１４８がＲＡＭ１５０上で実行する内視鏡画像表示プログラム１７２Ａに従って第１制御部１４８Ａとして動作することによって実現される。表示制御装置側処理に含まれるナビゲーション動画像表示処理は、プロセッサ１４８がＲＡＭ１５０上で実行するナビゲーション動画像表示プログラム１７２Ｂに従って第１受信部１４８Ｂ及び第２制御部１４８Ｃとして動作することによって実現される。表示制御装置側処理に含まれる実超音波画像表示処理は、プロセッサ１４８がＲＡＭ１５０上で実行する実超音波画像表示プログラム１７２Ｃに従って第３制御部１４８Ｄ及び第１送信部１４８Ｅとして動作することによって実現される。表示制御装置側処理に含まれる仮想超音波画像表示処理は、プロセッサ１４８がＲＡＭ１５０上で実行する仮想超音波画像表示プログラム１７２Ｄに従って第２受信部１４８Ｆ及び第４制御部１４８Ｇとして動作することによって実現される。表示制御装置側処理に含まれる支援情報表示処理は、プロセッサ１４８がＲＡＭ１５０上で実行する支援情報表示プログラム１７２Ｅに従って第３受信部１４８Ｈ及び第５制御部１４８Ｉとして動作することによって実現される。
【0081】
一例として図９に示すように、ＮＶＭ１６８には、サーバ側プログラム１７４が記憶されている。サーバ側プログラム１７４は、ナビゲーション動画像生成プログラム１７４Ａ、仮想超音波画像生成プログラム１７４Ｂ、及び支援情報生成プログラム１７４Ｃを含む。
【0082】
プロセッサ１６４は、ＮＶＭ１６８からサーバ側プログラム１７４を読み出し、読み出したサーバ側プログラム１７４をＲＡＭ１６６上で実行することによりサーバ側処理を行う。サーバ側処理に含まれるナビゲーション動画像生成処理は、プロセッサ１６４がＲＡＭ１６６上で実行するナビゲーション動画像生成プログラム１７４Ａに従って画像処理部１６４Ａ、第１生成部１６４Ｂ、及び第２送信部１６４Ｃとして動作することによって実現される。サーバ側処理に含まれる仮想超音波画像生成処理は、プロセッサ１６４がＲＡＭ１６６上で実行する仮想超音波画像生成プログラム１７４Ｂに従って第２生成部１６４Ｄ、第１送受信部１６４Ｅ、取得部１６４Ｆ、画像認識部１６４Ｇ、及び加工部１６４Ｈとして動作することによって実現される。サーバ側処理に含まれる支援情報生成処理は、プロセッサ１６４がＲＡＭ１６６上で実行する支援情報生成プログラム１７４Ｃに従って第２送受信部１６４Ｉ及び第３生成部１６４Ｊとして動作することによって実現される。
【0083】
なお、表示制御装置側プログラム１７２及びサーバ側プログラム１７４は、本開示の技術に係る「プログラム」の一例である。
【0084】
一例として図１０に示すように、サーバ７０において、ＮＶＭ１６８には、ボリュームデータ１７６が記憶されている。ボリュームデータ１７６は、本開示の技術に係る「ボリュームデータ」の一例である。ボリュームデータ１７６は、モダリティによって被検者２０の全身又は一部（例えば、胸部を含む部位）が撮像されることで得られた複数の２次元スライス画像が積み重ねられてボクセルで規定された３次元画像である。各ボクセルの位置は３次元座標によって特定される。モダリティの一例としては、ＣＴ装置が挙げられる。ＣＴ装置は、一例に過ぎず、モダリティの他の例としては、ＭＲＩ装置又は超音波診断装置等が挙げられる。
【0085】
ボリュームデータ１７６には、観察対象領域１０６を含む胸部が写っている３次元画像である胸部ボリュームデータ１７８が含まれている。また、胸部ボリュームデータ１７８には、管腔臓器８４が写っている３次元画像である管腔臓器ボリュームデータ１８０が含まれている。また、胸部ボリュームデータ１７８には、リンパ節ボリュームデータ１８２が含まれている。リンパ節ボリュームデータ１８２は、リンパ節が写っている３次元画像である。胸部ボリュームデータ１７８には、リンパ節１０４を含む複数のリンパ節の各々についてのリンパ節ボリュームデータ１８２が含まれている。
【0086】
画像処理部１６４Ａは、ボリュームデータ１７６から胸部ボリュームデータ１７８を抽出する。そして、画像処理部１６４Ａは、胸部ボリュームデータ１７８に基づいて経路付き胸部ボリュームデータ１８４を生成する。経路付き胸部ボリュームデータ１８４は、胸部ボリュームデータ１７８と複数の管腔臓器経路１８６とを含むボリュームデータである。
【0087】
複数の管腔臓器経路１８６は、胸部ボリュームデータ１７８に含まれる管腔臓器ボリュームデータ１８０に対して細線化処理が行われることによって生成される。管腔臓器経路１８６は、管腔臓器ボリュームデータ１８０により示される管腔臓器８４の横断面視の中央を通る３次元ラインである。管腔臓器ボリュームデータ１８０により示される管腔臓器８４の横断面視の中央を通る３次元ラインは、管腔臓器ボリュームデータ１８０が細線化されることによって得られる。管腔臓器経路１８６の本数は、管腔臓器ボリュームデータ１８０により示される気管支９６（図３参照）の末梢の個数に対応している。また、各管腔臓器経路１８６は、対応する気管支９６の末梢までの最短経路である。
【0088】
一例として図１１に示すように、ＮＶＭ１６８には、目標位置情報１８８が記憶されている。目標位置情報１８８は、管腔臓器ボリュームデータ１８０内の目標位置１９０を特定可能な情報（例えば、３次元座標）である。目標位置１９０は、被検者２０の体内の位置１００（図３参照）に対応する位置である。画像処理部１６４Ａは、目標位置情報１８８を参照して、経路付き胸部ボリュームデータ１８４を管腔臓器経路１８６Ａのみを残した経路付き胸部ボリュームデータ１８４に更新する。管腔臓器経路１８６Ａは、複数の管腔臓器経路１８６のうちの目標位置１９０を通る１本の管腔臓器経路１８６の始点から目標位置１９０に対応する点までの経路である。画像処理部１６４Ａは、更新した経路付き胸部ボリュームデータ１８４をＮＶＭ１６８に格納する。
【0089】
一例として図１２に示すように、サーバ７０において、第１生成部１６４Ｂは、ＮＶＭ１６８から経路付き胸部ボリュームデータ１８４を取得する。第１生成部１６４Ｂは、経路付き胸部ボリュームデータ１８４から、管腔臓器経路１８６Ａ沿いの管腔臓器ボリュームデータ１８０を抽出する。そして、第１生成部１６４Ｂは、管腔臓器経路１８６Ａ沿いの管腔臓器ボリュームデータ１８０に基づいて、気管支内視鏡１８の先端部３８（図２及び図３参照）の動きを案内するナビゲーション動画像１９２を生成する。ナビゲーション動画像は、本開示の技術に係る「表面画像」及び「動画像」の一例である。
【0090】
ナビゲーション動画像１９２は、図３に示す管腔臓器内壁面１０２が写った動画像である。管腔臓器経路１８６Ａには仮想的な視点１９４が設けられている。視点１９４は、管腔臓器経路１８６Ａに沿って進む。視点１９４は、換言すると、気管支内視鏡１８の先端部３８の内視鏡スコープ４６に対応する仮想的な内視鏡スコープである。内視鏡スコープ４６が物理カメラであるのに対し、仮想的な内視鏡スコープは仮想カメラである。ナビゲーション動画像１９２は、管腔臓器経路１８６Ａの始点から終点にかけて進む視点１９４から、管腔臓器ボリュームデータ１８０により示される管腔臓器内壁面１９６（すなわち、図３に示す管腔臓器内壁面１０２に対応する面）を観察した態様を示す動画像である。
【0091】
ナビゲーション動画像１９２は、管腔臓器経路１８６Ａの始点から終点にかけて既定のフレームレートに従って得られた複数のフレーム１９８を含む。フレーム１９８は、単一の画像である。複数のフレーム１９８は、視点１９４が進む方向（すなわち、管腔臓器経路１８６Ａの終端方向）に沿って時系列に並べられている。また、各フレーム１９８には、メタデータ２００が付与されており、メタデータ２００には、各フレーム１９８が管腔臓器経路１８６Ａのどの位置に対応しているかを特定可能な座標２０２（すなわち、３次元座標）が含まれている。また、メタデータ２００には、座標２０２以外にも、フレーム１９８に関連する情報が含まれている。座標２０２以外にメタデータ２００に含まれる情報としては、フレーム識別子及び／又は分枝識別子等が挙げられる。フレーム識別子は、フレーム１９８を特定可能な識別子である。分枝識別子は、フレーム１９８に写っている気管支９６の分枝を特定可能な識別子である。
【0092】
一例として図１３に示すように、第１生成部１６４Ｂは、ナビゲーション動画像１９２に含まれる該当する複数のフレーム１９８に対して、超音波プローブ４８によって超音波が放射される領域として推奨される領域を特定可能なマークである照準マーク２０４を重畳する。該当する複数のフレーム１９８とは、目標位置１９０を含む複数のフレーム１９８を指す。照準マーク２０４は、目標位置１９０を中心とした円形状マークであり、彩色が施されている。フレーム１９８内において照準マーク２０４が付された位置は、フレーム１９８内において実空間上で超音波プローブ４８から超音波を放射させる位置に対応する位置である。
【0093】
照準マーク２０４に付される色の一例としては、半透明の有彩色（例えば、黄色）が挙げられる。照準マーク２０４に付される色の濃さ及び／又は明るさは、視点１９４（図１２参照）と目標位置１９０との距離に応じて変更されるようにしてもよい。例えば、視点１９４が目標位置１９０に近付くほど色を濃くしたり明るくしたりする。視点１９４が目標位置１９０の距離は、例えば、メタデータ２００に含まれる座標に基づいて算出される。照準マーク２０４のサイズ（すなわち、直径）は、リンパ節１０４のサイズに対応しており、リンパ節ボリュームデータ１８２に基づいて第１生成部１６４Ｂによって算出される。なお、照準マーク２０４の中心には、目標位置１９０を特定可能な目印１９０Ａが付されている。ここでは、照準マーク２０４に目印１９０Ａが付与される形態例が挙げられているが、これは、あくまでも一例に過ぎず、照準マーク２０４に目印１９０Ａが付与されていなくても本開示の技術は成立する。また、照準マーク２０４は円形状マークである必要はなく、他形状のマークであってもよい。また、照準マーク２０４に付される色は、半透明の有彩色である必要はなく、他色であってもよい。照準マーク２０４は、リンパ節１０４が内在している位置が特定可能なマークであればよい。
【0094】
サーバ７０において、第２送信部１６４Ｃは、第１生成部１６４Ｂによって生成されたナビゲーション動画像１９２を表示制御装置６６に送信する。表示制御装置６６において、第１受信部１４８Ｂは、第２送信部１６４Ｃから送信されたナビゲーション動画像１９２を受信する。
【0095】
一例として図１４に示すように、表示制御装置６６において、第１制御部１４８Ａは、内視鏡スコープ４６から、実際に観察される体内の画像である実動画像２０６を取得する。実動画像２０６は、図１に示す内視鏡画像２８の一例である。実動画像２０６は、内視鏡スコープ４６によって経路９８（図３参照）に沿って管腔臓器８４（図３参照）内が撮像されることによって得られる動画像（ここでは、一例として、ライブビュー画像）である。実動画像２０６は、経路９８の始点から終点にかけて既定のフレームレートに従って撮像されることによって得られた複数のフレーム２０８を含む。フレーム２０８は、単一の画像である。第１制御部１４８Ａは、画面２２を生成して表示装置１４に出力することで、表示装置１４に対して画面２２を表示させる。画面２２には、第１制御部１４８Ａの制御下で、複数のフレーム２０８が既定のフレームレートに従って時系列で順次に表示される。これにより、画面２２には、実動画像２０６が表示される。
【0096】
第２制御部１４８Ｃは、画面２１２を生成して表示装置１４に出力することで、表示装置１４に対して画面２１２を表示させる。画面２１２には、第２制御部１４８Ｃの制御下で、複数のフレーム１９８が表示される。これにより、画面２１２には、ナビゲーション動画像１９２が表示される。また、図１４に示す例では、画面２１２に、照準マーク２０４が重畳されたフレーム１９８が表示されている。
【0097】
また、図１４に示す例では、表示装置１４の画面が画面２２と画面２１２とで２分割されているが、これは、あくまでも一例に過ぎず、表示制御装置６６に対して与えられた条件（例えば、受付装置６８によって受け付けられた指示等）に応じて、画面２２及び２１２が選択的に表示されるようにしてもよい。また、表示制御装置６６に対して与えられた条件に応じて、実動画像２０６とナビゲーション動画像１９２とが全画面で選択的に表示されるようにしてもよい。
【0098】
なお、ナビゲーション動画像１９２の表示を進める速度は、ユーザ（例えば、医師１６の音声による指示）からの指示が受付装置６８によって受け付けられない限り、基本的には一定の速度である。一定の速度の一例としては、管腔臓器経路１８６Ａの始点から終点までの距離と、視点１９４が管腔臓器経路１８６Ａの始点から終点までの移動に要するデフォルトの時間とから算出される速度が挙げられる。
【0099】
また、ナビゲーション動画像１９２の表示を進める速度を含めた表示態様は、ユーザからの指示（例えば、医師１６の音声による指示）が受付装置６８によって受け付けられたことを条件に変更される。例えば、ナビゲーション動画像１９２の表示を進める速度は、受付装置６８によって受け付けられた指示に従って変更される。ナビゲーション動画像１９２の表示を進める速度の変更は、いわゆる早送り、コマ送り、及びスロー再生等によって実現される。
【0100】
一例として図１５に示すように、第２生成部１６４Ｄは、ＮＶＭ１６８から経路付き胸部ボリュームデータ１８４を取得する。第２生成部１６４Ｄは、経路付き胸部ボリュームデータ１８４に基づいて、管腔臓器経路１８６Ａに沿って一定間隔（例えば、１～数ボクセル単位）で仮想超音波画像２１４を生成する。仮想超音波画像２１４は、観察対象領域１０６の態様を示す仮想的な超音波画像である。仮想的な超音波画像とは、経路付き胸部ボリュームデータ１８４に含まれる胸部ボリュームデータ１７８が加工されることによって実超音波画像３０を模した画像として得られる仮想画像を指す。実超音波画像３０を模した画像とは、Ｂモード下で生成された実超音波画像３０を模した画像を意味する。
【0101】
仮想超音波画像２１４は、管腔臓器経路１８６Ａに沿って一定間隔毎に、かつ、管腔臓器経路１８６Ａ周りの一定角度（例えば、１度）毎に第２生成部１６４Ｄによって生成される。ここで言う「一定間隔」及び／又は「一定角度」は、デフォルト値であってもよいし、受付装置６８又は７６によって受け付けられた指示及び／又は各種条件（例えば、気管支内視鏡１８の種類等）に応じて定められてもよい。
【0102】
各仮想超音波画像２１４には、メタデータ２１６が付与される。メタデータ２１６には、管腔臓器経路１８６Ａの一定間隔毎の位置を特定可能な座標２１８（すなわち、３次元座標）と、管腔臓器経路１８６Ａ周りの角度２２０とが含まれている。
【0103】
また、複数の仮想超音波画像２１４には、目標位置１９０に対応する仮想超音波画像２１４である特定仮想超音波画像２１４Ａが含まれている。目標位置１９０に対応する仮想超音波画像２１４とは、複数の仮想超音波画像２１４のうちの図３に示す位置１０８と位置１００とが一致した場合に得られる実超音波画像３０に対応する仮想超音波画像２１４を指す。図３に示す位置１０８と位置１００とが一致した場合に得られる実超音波画像３０の一例としては、穿刺針５２Ｂがリンパ節１０４の中央部１０４Ａに穿刺される位置１０８に先端部３８が位置する場合に得られる実超音波画像３０が挙げられる。
【0104】
第２生成部１６４Ｄは、特定仮想超音波画像２１４Ａのメタデータ２１６に、特定仮想超音波画像２１４Ａであることを特定可能な識別子２２２を含めることにより、特定仮想超音波画像２１４Ａに対して識別子２２２を付与する。
【0105】
第２生成部１６４Ｄは、仮想超音波画像群２２４をＮＶＭ１６８に格納する。仮想超音波画像群２２４は、管腔臓器経路１８６Ａに沿って一定間隔毎に、かつ、管腔臓器経路１８６Ａ周りの一定角度毎に生成され、メタデータ２１６が各々付与された複数の仮想超音波画像２１４である。
【0106】
一例として図１６に示すように、第３制御部１４８Ｄは、超音波用処理装置６４から実超音波動画像２２６を取得する。実超音波動画像２２６は、時系列に沿って並べられた複数の実超音波画像３０（すなわち、超音波用処理装置６４によって既定のフレームレートに従って順次に生成された複数の実超音波画像３０）である。第３制御部１４８Ｄは、画面２４を生成して表示装置１４に出力することで、表示装置１４に対して画面２４を表示させる。画面２４には、第３制御部１４８Ｄの制御下で、複数の実超音波画像３０が既定フレームレートに従って時系列で順次に表示される。これにより、画面２４には、実超音波動画像２２６が表示される。また、画面２４は、画面２２及び２４と並べて表示される。すなわち、表示装置１４には、実超音波動画像２２６と、実動画像２０６と、ナビゲーション動画像１９２とが対比可能な状態で表示される。
【0107】
図１６に示す例では、表示装置１４の画面が画面２２、２１２及び２４で３分割されているが、これは、あくまでも一例に過ぎず、表示制御装置６６に対して与えられた条件（例えば、受付装置６８によって受け付けられた指示等）に応じて、画面２２、２１２及び２４が選択的に表示されるようにしてもよい。また、表示制御装置６６に対して与えられた条件に応じて、実超音波動画像２２６、実動画像２０６、及びナビゲーション動画像１９２が全画面で選択的に表示されるようにしてもよい。また、画面２２、２１２及び２４のうちの少なくとも１つが、表示装置１４以外の少なくとも１つの表示装置に表示されるようにしてもよい。
【0108】
第１送信部１４８Ｅは、第３制御部１４８Ｄによって超音波用処理装置６４から取得された実超音波動画像２２６をサーバ７０に送信する。サーバ７０において、第１送受信部１６４Ｅ及び第２送受信部１６４Ｉは、第１送信部１４８Ｅから送信された実超音波動画像２２６を受信する。
【0109】
一例として図１７に示すように、サーバ７０において、取得部１６４Ｆは、第１送受信部１６４Ｅによって受信された実超音波動画像２２６から、時系列に沿って１フレームずつ実超音波画像３０を取得する。取得部１６４Ｆは、実超音波動画像２２６から取得した実超音波画像３０とＮＶＭ１６８に格納されている仮想超音波画像群２２４とを比較することで、仮想超音波画像群２２４から、実超音波画像３０との一致度が最も高い仮想超音波画像２１４を選択して取得する。本実施形態において、実超音波画像３０と仮想超音波画像群２２４との比較とは、例えば、パターンマッチングを指す。なお、ここでは、仮想超音波画像群２２４から実超音波画像３０との一致度が最も高い仮想超音波画像２１４が選択される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、実超音波画像３０との一致度が一定以上の仮想超音波画像２１４（例えば、実超音波画像３０との一致度が９９％以上であれば、実超音波画像３０との一致度が２番目に高い仮想超音波画像２１４）が選択されてもよい。
【0110】
画像認識部１６４Ｇは、取得部１６４Ｆによって取得された仮想超音波画像２１４に対してＡＩ方式の画像認識処理を行うことで、仮想超音波画像２１４に写っているリンパ節が存在する領域１６４Ｇ１を特定する。領域１６４Ｇ１は、仮想超音波画像２１４内の位置を特定可能な２次元座標で表現される。なお、ここでは、ＡＩ方式の画像認識処理を適用しているが、これは、あくまでも一例に過ぎず、テンプレートマッチング方式の画像認識処理を適用してもよい。
【0111】
加工部１６４Ｈは、仮想超音波画像２１４に対して画像認識結果マーク２３０を重畳することで仮想超音波画像３２を生成する。画像認識結果マーク２３０は、仮想超音波画像２１４内の領域１６４Ｇ１に対して彩色を施すことで得たマークである。領域１６４Ｇ１に付される色の一例としては、例えば、半透明の有彩色（例えば、青色）が挙げられる。領域１６４Ｇ１に付される色は、仮想超音波画像２１４内の他の領域との違いが差別化されて表現される色であれば何色であってもよい。また、領域１６４Ｇ１の輪郭の色及び／又は輝度が調節されることによって領域１６４Ｇ１と仮想超音波画像２１４内の他の領域との違いが差別化されて表現されるようにしてもよい。
【0112】
一例として図１８に示すように、サーバ７０において、第１送受信部１６４Ｅは、加工部１６４Ｈによって生成された仮想超音波画像３２を表示制御装置６６に送信する。表示制御装置６６において、第２受信部１４８Ｆは、第１送受信部１６４Ｅから送信された仮想超音波画像３２を受信する。第４制御部１４８Ｇは、画面２６を生成して表示装置１４に出力することで、表示装置１４に対して画面２６を表示させる。画面２６には、第４制御部１４８Ｇの制御下で、仮想超音波画像３２が表示される。これにより、画像認識結果マーク２３０も表示される。これは、画像認識部１６４ＧがＡＩ方式の画像認識処理を行って得た結果が画像認識結果マーク２３０として表示されることを意味する。
【0113】
また、画面２６は、画面２２及び２４と並べて表示される。すなわち、表示装置１４には、仮想超音波画像３２と、実動画像２０６と、実超音波動画像２２６とが対比可能な状態で表示される。
【0114】
図１８に示す例では、表示装置１４の画面が画面２２、２４及び２６で３分割されているが、これは、あくまでも一例に過ぎず、表示制御装置６６に対して与えられた条件（例えば、受付装置６８によって受け付けられた指示等）に応じて、画面２２、２４及び２６が選択的に表示されるようにしてもよい。また、表示制御装置６６に対して与えられた条件に応じて、仮想超音波画像３２、実動画像２０６、及び実超音波動画像２２６が全画面で選択的に表示されるようにしてもよい。また、画面２２、２４及び２６のうちの少なくとも１つが、表示装置１４以外の少なくとも１つの表示装置に表示されるようにしてもよい。
【0115】
また、図１８に示す例では、表示装置１４に画面２１２が表示されていないが、画面２１２も、画面２２、２４及び２６と並べて表示されるようにしてもよい。この場合も、表示制御装置６６に対して与えられた条件に応じて、画面２２、２４、２６及び画面２１２の表示が選択的に切り替えられるようにしてもよい。
【0116】
また、画面２１２には、照準マーク２０４が重畳されたフレーム１９８が表示される場合がある（図１４参照）。この場合、照準マーク２０４から特定される位置に対して超音波が放射されることによって実超音波画像３０が得られる（図１６参照）。そして、このようにして得られた実超音波画像３０に基づいて仮想超音波画像３２が生成され、生成された仮想超音波画像３２が画面２６に表示される（図１７及び図１８参照）。つまり、これは、照準マーク２０４から特定される位置についての観察対象領域１０６の態様を示す仮想的な超音波画像が仮想超音波画像３２として画面２６に表示されるということを意味する。
【0117】
一例として図１９に示すように、サーバ７０において、第３生成部１６４Ｊは、第２送受信部１６４Ｉによって受信された実超音波動画像２２６から、時系列に沿って１フレームずつ実超音波画像３０を取得する。第３生成部１６４Ｊは、実超音波動画像２２６から取得した実超音波画像３０と特定仮想超音波画像２１４Ａとに基づいて、位置１００（図３参照）と位置１０８（図３参照）との位置関係を特定する。位置１００と位置１０８との位置関係は、位置１００と位置１０８とのずれ量に基づいて規定される。
【0118】
第３生成部１６４Ｊは、実超音波画像３０と特定仮想超音波画像２１４Ａとを比較することで位置１００と位置１０８とのずれ量を算出する。位置１００と位置１０８とのずれ量は、本開示の技術に係る「ずれ量」の一例である。図１９に示す例では、ずれ量の一例として、距離２３２が示されている。
【0119】
第３生成部１６４Ｊは、実超音波画像３０に対応する仮想超音波画像２１４のメタデータ２１６であるメタデータ２１６Ａと特定仮想超音波画像２１４Ａのメタデータ２１６であるメタデータ２１６Ｂとを用いて、実超音波画像３０と特定仮想超音波画像２１４Ａとの比較を行う。すなわち、実超音波画像３０と特定仮想超音波画像２１４Ａとの比較は、メタデータ２１６Ａとメタデータ２１６Ｂとの比較によって実現される。メタデータ２１６Ａ及びメタデータ２１６Ｂは、第３生成部１６４Ｊによって取得される。より詳しく説明すると、第３生成部１６４Ｊは、実超音波動画像２２６から取得した実超音波画像３０とＮＶＭ１６８に格納されている仮想超音波画像群２２４とを比較することで、仮想超音波画像群２２４からメタデータ２１６Ａを取得する。メタデータ２１６Ａは、実超音波画像３０との一致度が最も高い仮想超音波画像２１４に付与されているメタデータ２１６である。また、第３生成部１６４Ｊは、仮想超音波画像群２２４からメタデータ２１６Ｂを取得する。メタデータ２１６Ｂは、識別子２２２を含むメタデータ２１６、すなわち、特定仮想超音波画像２１４Ａに付与されているメタデータ２１６である。
【0120】
第３生成部１６４Ｊは、メタデータ２１６Ａとメタデータ２１６Ｂとを比較することで位置関係情報２３４を生成する。位置関係情報２３４は、位置１００と位置１０８との位置関係を特定する情報であり、距離２３２及び方向２３６に基づいて規定されている。図１９に示す例では、位置関係情報２３４に、距離２３２及び方向２３６が含まれている。距離２３２は、メタデータ２１６Ａに含まれる座標２１８とメタデータ２１６Ｂに含まれる座標２１８との間の距離である。方向２３６は、位置１０８を位置１００に一致させるために位置１０８を移動させる方向である。方向２３６は、例えば、経路９８に沿った方向を特定可能なベクトル、及び経路９８周りの角度で規定されている。経路９８に沿った方向を特定可能なベクトルは、例えば、メタデータ２１６Ａに含まれる座標２１８とメタデータ２１６Ｂに含まれる座標２１８とに基づいて算出される。経路９８周りの角度は、例えば、メタデータ２１６Ａに含まれる角度２２０とメタデータ２１６Ｂに含まれる角度２２０との差に基づいて算出される。
【0121】
なお、ここでは、メタデータ２１６Ａとメタデータ２１６Ｂとを比較した結果に基づいて位置１００と位置１０８との位置関係が特定される形態例を挙げているが、本開示の技術は、これに限定されない。例えば、第３生成部１６４Ｊが、実超音波画像３０と特定仮想超音波画像２１４Ａとの直接的な比較（例えば、パターンマッチング）を行うことにより、位置１００と位置１０８とのずれ量を算出し、算出したずれ量に基づいて位置１００と位置１０８との位置関係を特定するようにしてもよい。この場合、位置１００と位置１０８との位置関係は、位置１００と位置１０８とのずれ量（例えば、距離）に基づいて規定されるようにすればよい。
【0122】
第３生成部１６４Ｊは、位置関係情報２３４に基づいて支援情報２３８を生成する。支援情報２３８は、気管支内視鏡１８の操作を支援する情報である。支援情報２３８の一例としては、気管支内視鏡１８の操作（例えば、位置１０８を位置１００に一致させるための操作）を支援する文字メッセージ、音声メッセージ、マーク、数値、及び／又は記号等が挙げられる。支援情報２３８には、誘導情報２３８Ａ及び報知情報２３８Ｂが選択的に含まれる。例えば、支援情報２３８には、位置１０８と位置１００とが一致していない場合（例えば、距離２３２が“０”でない場合）、誘導情報２３８Ａが含まれる。また、支援情報２３８には、位置１０８と位置１００とが一致した場合（例えば、距離２３２が“０”の場合）、報知情報２３８Ｂが含まれる。誘導情報２３８Ａは、位置１０８を位置１００へ誘導する情報である。報知情報２３８Ｂは、位置１０８と位置１００とが一致したことを報知する情報である。
【0123】
一例として図２０に示すように、サーバ７０において、第２送受信部１６４Ｉは、第３生成部１６４Ｊによって生成された支援情報２３８を表示制御装置６６に送信する。表示制御装置６６において、第３受信部１４８Ｈは、第２送受信部１６４Ｉから送信された支援情報２３８を受信する。第５制御部１４８Ｉは、支援情報２３８に基づいて第１提示処理及び報知処理を行う。第１提示処理は、誘導情報２３８Ａを提示する処理である。第１提示処理は、表示装置１４に対して誘導情報２３８Ａを表示させることによって実現される。報知処理は、位置１０８と位置１００とが一致した場合に位置１０８と位置１００とが一致したことを報知する処理である。報知処理は、表示装置１４に対して報知情報２３８Ｂを表示させることによって実現される。
【0124】
第５制御部１４８Ｉによって行われる提示処理は、本開示の技術に係る「第１提示処理」の一例であり、第５制御部１４８Ｉによって行われる報知処理は、本開示の技術に係る「報知処理」の一例である。
【0125】
図２０に示す例では、位置１０８と位置１００とが一致していない場合、画面２４に、誘導情報２３８Ａとして、位置１０８を移動させる方向（図２０に示す例では、「右方向へ」）と、位置１０８から位置１００までの距離（図２０に示す例では、「** mm」）と、位置１０８と位置１００との間の角度（図２０に示す例では、「** 度」）と、気管支内視鏡１８の先端部３８の動き（図２０に示す例では、「スライド」及び「回転」）とがメッセージ形式で表示されている。なお、位置１０８を移動させる方向、及び／又は、位置１０８と位置１００との間の角度は、矢印で表現されてもよいし、矢印に類する記号又は画像等で表現されてもよい。例えば、位置１０８を移動させる方向が直線矢印で表現され、位置１０８と位置１００との間の角度が円弧矢印で表現されてもよい。
【0126】
図２０に示す例では、位置１０８と位置１００とが一致した場合、画面２４に、報知情報２３８Ｂとして、位置１０８が穿刺針５２Ｂによって穿刺される位置として理想的な位置（例えば、リンパ節１０４の中央部１０４Ａに穿刺することが可能な位置）であることを報知する情報（図２０に示す例では、「理想的な穿刺位置です」）がメッセージ形式で表示されている。
【0127】
【0128】
先ず、内視鏡スコープ４６が被検者２０の管腔臓器８４に挿入された場合に表示制御装置６６のプロセッサ１４８によって行われる内視鏡画像表示処理の流れの一例について図２１を参照しながら説明する。なお、ここでは、内視鏡スコープ４６が経路９８（図３参照）に沿って既定のフレームレートに従って撮像を行うことで実動画像２０６（図１４参照）をライブビュー画像として取得することを前提として説明する。
【0129】
図２１に示す内視鏡画像表示処理では、先ず、ステップＳＴ１０で、第１制御部１４８Ａは、内視鏡スコープ４６によって１フレーム分の撮像が行われたか否かを判定する。ステップＳＴ１０において、内視鏡スコープ４６によって１フレーム分の撮像が行われていない場合は、判定が否定されて、内視鏡画像表示処理は、ステップＳＴ１６へ移行する。ステップＳＴ１０において、内視鏡スコープ４６によって１フレーム分の撮像が行われた場合は、判定が肯定されて、内視鏡画像表示処理は、ステップＳＴ１２へ移行する。
【0130】
ステップＳＴ１２で、第１制御部１４８Ａは、内視鏡スコープ４６によって１フレーム分の撮像が行われることで得られたフレーム２０８を取得する（図１４参照）。ステップＳＴ１２の処理が実行された後、内視鏡画像表示処理は、ステップＳＴ１４へ移行する。
【0131】
ステップＳＴ１４で、第１制御部１４８Ａは、ステップＳＴ１２で取得したフレーム２０８を画面２２に表示する（図１４参照）。ステップＳＴ１４の処理が実行された後、内視鏡画像表示処理は、ステップＳＴ１６へ移行する。
【0132】
ステップＳＴ１６で、第１制御部１４８Ａは、内視鏡画像表示処理を終了させる条件（以下、「内視鏡画像表示処理終了条件」と称する）を満足したか否かを判定する。内視鏡画像表示処理終了条件の一例としては、内視鏡画像表示処理を終了させる指示が受付装置６８によって受け付けられたという条件が挙げられる。ステップＳＴ１６において、内視鏡画像表示処理終了条件を満足していない場合は、判定が否定されて、内視鏡画像表示処理はステップＳＴ１０へ移行する。ステップＳＴ１６において、内視鏡画像表示処理終了条件を満足した場合は、判定が肯定されて、内視鏡画像表示処理が終了する。
【0133】
次に、ナビゲーション動画像表示処理の実行を開始する指示が受付装置６８によって受け付けられた場合に表示制御装置６６のプロセッサ１４８によって行われるナビゲーション動画像表示処理の流れの一例について図２２を参照しながら説明する。
【0134】
図２２に示すナビゲーション動画像表示処理では、先ず、ステップＳＴ２０で、第１受信部１４８Ｂは、図２６に示すナビゲーション動画像生成処理に含まれるステップＳＴ７０の処理が実行されることによってサーバ７０の第２送信部１６４Ｃから送信されたナビゲーション動画像１９２が通信モジュール１５６（図６及び図７参照）によって受信されたか否かを判定する。ステップＳＴ２０において、サーバ７０の第２送信部１６４Ｃから送信されたナビゲーション動画像１９２が通信モジュール１５６によって受信されていない場合は、判定が否定されて、ステップＳＴ２０の判定が再び行われる。ステップＳＴ２０において、サーバ７０の第２送信部１６４Ｃから送信されたナビゲーション動画像１９２が通信モジュール１５６によって受信された場合は、判定が肯定されて、ナビゲーション動画像表示処理はステップＳＴ２２へ移行する。
【0135】
ステップＳＴ２２で、第２制御部１４８Ｃは、通信モジュール１５６によって受信されたナビゲーション動画像１９２を画面２１２に表示する（図１４参照）。ステップＳＴ２２の処理が実行された後、ナビゲーション動画像表示処理が終了する。
【0136】
次に、実超音波画像表示処理の実行を開始する指示が受付装置６８によって受け付けられた場合に表示制御装置６６のプロセッサ１４８によって行われる実超音波画像表示処理の流れの一例について図２３を参照しながら説明する。
【0137】
図２３に示す実超音波画像表示処理では、先ず、ステップＳＴ３０で、第３制御部１４８Ｄは、超音波用処理装置６４によって１フレーム分の実超音波画像３０が生成されたか否かを判定する。ステップＳＴ３０において、超音波用処理装置６４によって１フレーム分の実超音波画像３０が生成されていない場合は、判定が否定されて、実超音波画像表示処理はステップＳＴ３８へ移行する。ステップＳＴ３０において、超音波用処理装置６４によって１フレーム分の実超音波画像３０が生成された場合は、判定が肯定されて、実超音波画像表示処理はステップＳＴ３２へ移行する。
【0138】
ステップＳＴ３２で、第３制御部１４８Ｄは、超音波用処理装置６４から１フレーム分の実超音波画像３０を取得する。ステップＳＴ３２の処理が実行された後、実超音波画像表示処理はステップＳＴ３４へ移行する。
【0139】
ステップＳＴ３４で、第３制御部１４８Ｄは、ステップＳＴ３２で取得した実超音波画像３０を画面２４に表示する（図１６参照）。ステップＳＴ３４の処理が実行された後、実超音波表示処理はステップＳＴ３６へ移行する。
【0140】
ステップＳＴ３６で、第１送信部１４８Ｅは、ステップＳＴ３２で取得した実超音波画像３０をサーバ７０に送信する（図１６参照）。ステップＳＴ３６の処理が実行された後、実超音波表示処理はステップＳＴ３８へ移行する。
【0141】
ステップＳＴ３８で、第３制御部１４８Ｄは、実超音波画像表示処理を終了させる条件（以下、「実超音波画像表示処理終了条件」と称する）を満足したか否かを判定する。実超音波画像表示処理終了条件の一例としては、実超音波画像表示処理を終了させる指示が受付装置６８によって受け付けられたという条件が挙げられる。ステップＳＴ３８において、実超音波画像表示処理終了条件を満足していない場合は、判定が否定されて、実超音波画像表示処理はステップＳＴ３０へ移行する。ステップＳＴ３８において、実超音波画像表示処理終了条件を満足した場合は、判定が肯定されて、実超音波画像表示処理が終了する。
【0142】
次に、仮想超音波画像表示処理の実行を開始する指示が受付装置６８によって受け付けられた場合に表示制御装置６６のプロセッサ１４８によって行われる仮想超音波画像表示処理の流れの一例について図２４を参照しながら説明する。
【0143】
図２４に示す仮想超音波画像表示処理では、先ず、ステップＳＴ４０で、第２受信部１４８Ｆは、図２７に示す仮想超音波画像生成処理に含まれるステップＳＴ９２の処理が実行されることによってサーバ７０の第１送受信部１６４Ｅから送信された仮想超音波画像３２が通信モジュール１５６（図６及び図７参照）によって受信されたか否かを判定する。ステップＳＴ４０において、サーバ７０の第１送受信部１６４Ｅから送信された仮想超音波画像３２が通信モジュール１５６によって受信されていない場合は、判定が否定されて、仮想超音波画像生成処理はステップＳＴ４４へ移行する。ステップＳＴ４０において、サーバ７０の第１送受信部１６４Ｅから送信された仮想超音波画像３２が通信モジュール１５６によって受信された場合は、判定が肯定されて、仮想超音波画像生成処理はステップＳＴ４２へ移行する。
【0144】
ステップＳＴ４２で、第４制御部１４８Ｇは、通信モジュール１５６によって受信された仮想超音波画像３２を画面２６に表示する（図１８参照）。ステップＳＴ４２の処理が実行された後、仮想超音波画像表示処理はステップＳＴ４４へ移行する。
【0145】
ステップＳＴ４４で、第４制御部１４８Ｇは、仮想超音波画像表示処理を終了させる条件（以下、「仮想超音波画像表示処理終了条件」と称する）を満足したか否かを判定する。仮想超音波画像表示処理終了条件の一例としては、仮想超音波画像表示処理を終了させる指示が受付装置６８によって受け付けられたという条件が挙げられる。ステップＳＴ４４において、仮想超音波画像表示処理終了条件を満足していない場合は、判定が否定されて、仮想超音波画像表示処理はステップＳＴ４０へ移行する。ステップＳＴ４４において、仮想超音波画像表示処理終了条件を満足した場合は、判定が肯定されて、仮想超音波画像表示処理が終了する。
【0146】
次に、支援情報表示処理の実行を開始する指示が受付装置６８によって受け付けられた場合に表示制御装置６６のプロセッサ１４８によって行われる支援情報表示処理の流れの一例について図２５を参照しながら説明する。
【0147】
図２５に示す支援情報表示処理では、先ず、ステップＳＴ５０で、第３受信部１４８Ｈは、図２８に示す支援情報生成処理に含まれるステップＳＴ１０６の処理が実行されることによってサーバ７０の第２送受信部１６４Ｉから送信された支援情報２３８が通信モジュール１５６（図６及び図７参照）によって受信されたか否かを判定する。ステップＳＴ５０において、サーバ７０の第２送受信部１６４Ｉから送信された支援情報２３８が通信モジュール１５６によって受信されていない場合は、判定が否定されて、支援情報表示処理はステップＳＴ５４へ移行する。ステップＳＴ５０において、サーバ７０の第２送受信部１６４Ｉから送信された支援情報２３８が通信モジュール１５６によって受信された場合は、判定が肯定されて、支援情報生成処理はステップＳＴ５２へ移行する。
【0148】
ステップＳＴ５２で、第５制御部１４８Ｉは、通信モジュール１５６で受信された支援情報２３８を表示装置１４に対して表示させる（図２０参照）。ステップＳＴ５２の処理が実行された後、支援情報表示処理はステップＳＴ５４へ移行する。
【0149】
ステップＳＴ５４で、第５制御部１４８Ｉは、支援情報生成処理を終了させる条件（以下、「支援情報生成処理終了条件」と称する）を満足したか否かを判定する。支援情報生成処理終了条件の一例としては、支援情報生成処理を終了させる指示が受付装置６８によって受け付けられたという条件が挙げられる。ステップＳＴ５４において、支援情報生成処理終了条件を満足していない場合は、判定が否定されて、支援情報生成処理はステップＳＴ５０へ移行する。ステップＳＴ５４において、支援情報生成処理終了条件を満足した場合は、判定が肯定されて、支援情報生成処理が終了する。
【0150】
次に、ナビゲーション動画像生成処理の実行を開始する指示が受付装置６８又は７６によって受け付けられた場合にサーバ７０のプロセッサ１６４によって行われるナビゲーション動画像生成処理の流れの一例について図２６を参照しながら説明する。
【0151】
図２６に示すナビゲーション動画像生成処理では、先ず、ステップＳＴ６０で、画像処理部１６４Ａは、ＮＶＭ１６８に記憶されているボリュームデータ１７６から胸部ボリュームデータ１７８を抽出する（図１０参照）。ステップＳＴ６０の処理が実行された後、ナビゲーション動画像生成処理はステップＳＴ６２へ移行する。
【0152】
ステップＳＴ６２で、画像処理部１６４Ａは、ステップＳＴ６０でボリュームデータ１７６から抽出した胸部ボリュームデータ１７８に基づいて経路付き胸部ボリュームデータ１８４を生成する（図１０参照）。ステップＳＴ６２の処理が実行された後、ナビゲーション動画像生成処理はステップＳＴ６４へ移行する。
【0153】
ステップＳＴ６４で、画像処理部１６４Ａは、ＮＶＭ１６８から目標位置情報１８８を取得する（図１１参照）。ステップＳＴ６４の処理が実行された後、ナビゲーション動画像生成処理はステップＳＴ６６へ移行する。
【0154】
ステップＳＴ６６で、画像処理部１６４Ａは、ステップＳＴ６４で取得した目標位置情報１８８を参照して、経路付き胸部ボリュームデータ１８４を管腔臓器経路１８６Ａのみを残した経路付き胸部ボリュームデータ１８４に更新し、更新した経路付き胸部ボリュームデータ１８４をＮＶＭ１６８に格納する（図１１参照）。ステップＳＴ６６の処理が実行された後、ナビゲーション動画像生成処理はステップＳＴ６８へ移行する。
【0155】
ステップＳＴ６８で、第１生成部１６４Ｂは、ステップＳＴ６６でＮＶＭ１６８に格納された経路付き胸部ボリュームデータ１８４を取得し、取得した経路付き胸部ボリュームデータ１８４に基づいてナビゲーション動画像１９２を生成する（図１２参照）。ステップＳＴ６８の処理が実行された後、ナビゲーション動画像生成処理はステップＳＴ７０へ移行する。
【0156】
ステップＳＴ７０で、第２送信部１６４Ｃは、ステップＳＴ６８で生成されたナビゲーション動画像１９２を表示制御装置６６に送信する（図１３参照）。ステップＳＴ７０の処理が実行された後、ナビゲーション動画像生成処理が終了する。
【0157】
次に、仮想超音波画像生成処理の実行を開始する指示が受付装置６８又は７６によって受け付けられた場合にサーバ７０のプロセッサ１６４によって行われる仮想超音波画像生成処理の流れの一例について図２７を参照しながら説明する。
【0158】
図２７に示す仮想超音波画像生成処理では、先ず、ステップＳＴ８０で、第２生成部１６４Ｄは、ＮＶＭ１６８から経路付き胸部ボリュームデータ１８４（すなわち、図２６に示すナビゲーション動画像生成処理に含まれるステップＳＴ６６の処理が実行されることによってＮＶＭ１６８に格納された経路付き胸部ボリュームデータ１８４）を取得する（図１５参照）。ステップＳＴ８０の処理が実行された後、仮想超音波画像生成処理はステップＳＴ８２へ移行する。
【0159】
ステップＳＴ８２で、第２生成部１６４Ｄは、ステップＳＴ８０で取得した経路付き胸部ボリュームデータ１８４に基づいて一定間隔で仮想超音波画像２１４を生成し、生成した仮想超音波画像２１４をＮＶＭ１６８に格納する（図１５参照）。ステップＳＴ８２の処理が実行された後、仮想超音波画像生成処理はステップＳＴ８４へ移行する。
【0160】
ステップＳＴ８４で、第１送受信部１６４Ｅは、図２３に示す実超音波画像表示処理に含まれるステップＳＴ３６の処理が実行されることによって第１送信部１４８Ｅから送信された実超音波画像３０が通信モジュール１６２（図７参照）によって受信されたか否かを判定する。ステップＳＴ８４において、実超音波画像３０が通信モジュール１６２によって受信されていない場合は、判定が否定されて、仮想超音波画像生成処理はステップＳＴ９４へ移行する。ステップＳＴ８４において、実超音波画像３０が通信モジュール１６２によって受信された場合は、判定が肯定されて、仮想超音波画像生成処理はステップＳＴ８６へ移行する。
【0161】
ステップＳＴ８６で、取得部１６４Ｆは、通信モジュール１６２によって受信された実超音波画像３０との一致度が最も高い仮想超音波画像２１４を仮想超音波画像群２２４から取得する（図１７参照）。ステップＳＴ８６の処理が実行された後、仮想超音波画像生成処理はステップＳＴ８８へ移行する。
【0162】
ステップＳＴ８８で、画像認識部１６４Ｇは、ステップＳＴ８６で取得された仮想超音波画像２１４に対してＡＩ方式の画像認識処理を実行することで領域１６４Ｇ１を特定する（図１７参照）。ステップＳＴ８８の処理が実行された後、仮想超音波画像生成処理はステップＳＴ９０へ移行する。
【0163】
ステップＳＴ９０で、加工部１６４Ｈは、画像認識結果（すなわち、ステップＳＴ８８で行われた画像認識処理の結果）を、ステップＳＴ８６で取得された仮想超音波画像２１４に対して反映させることで仮想超音波画像３２を生成する（図１７参照）。ここで、画像認識結果の仮想超音波画像２１４への反映とは、例えば、仮想超音波画像２１４に対して画像認識結果マーク２３０を重畳する処理を指す（図１７参照）。ステップＳＴ９０の処理が実行された後、仮想超音波画像生成処理はステップＳＴ９２へ移行する。
【0164】
ステップＳＴ９２で、第１送受信部１６４Ｅは、ステップＳＴ９０で生成された仮想超音波画像３２を表示制御装置６６に送信する（図１８参照）。ステップＳＴ９２の処理が実行された後、仮想超音波画像生成処理はステップＳＴ９４へ移行する。
【0165】
ステップＳＴ９４で、第１送受信部１６４Ｅは、仮想超音波画像生成処理を終了させる条件（以下、「仮想超音波画像生成処理終了条件」と称する）を満足したか否かを判定する。仮想超音波画像生成処理終了条件の一例としては、仮想超音波画像生成処理を終了させる指示が受付装置６８又は７６によって受け付けられたという条件が挙げられる。ステップＳＴ９４において、仮想超音波画像生成処理終了条件を満足していない場合は、判定が否定されて、仮想超音波画像生成処理はステップＳＴ８４へ移行する。ステップＳＴ９４において、仮想超音波画像生成処理終了条件を満足した場合は、判定が肯定されて、仮想超音波画像生成処理が終了する。
【0166】
次に、支援情報生成処理の実行を開始する指示が受付装置６８又は７６によって受け付けられた場合にサーバ７０のプロセッサ１６４によって行われる支援情報生成処理の流れの一例について図２８を参照しながら説明する。なお、図２８に示す支援情報生成処理の流れは、本開示の技術に係る「情報処理方法」の一例である。
【0167】
図２８に示す支援情報表示処理では、先ず、ステップＳＴ１００で、第２送受信部１６４Ｉは、図２３に示す実超音波画像表示処理に含まれるステップＳＴ３６の処理が実行されることによって第１送信部１４８Ｅから送信された実超音波画像３０が通信モジュール１６２（図７参照）によって受信されたか否かを判定する。ステップＳＴ１００において、実超音波画像３０が通信モジュール１６２によって受信されていない場合は、判定が否定されて、支援情報表示処理はステップＳＴ１０８へ移行する。ステップＳＴ１００において、実超音波画像３０が通信モジュール１６２によって受信された場合は、判定が肯定されて、支援情報表示処理はステップＳＴ１０２へ移行する。
【0168】
ステップＳＴ１０２で、第３生成部１６４Ｊは、通信モジュール１６２によって受信された実超音波画像３０と仮想超音波画像群２２４とに基づいて位置関係情報２３４を生成する（図１９参照）。ステップＳＴ１０２の処理が実行された後、支援情報生成処理はステップＳＴ１０４へ移行する。
【0169】
ステップＳＴ１０４で、第３生成部１６４Ｊは、ステップＳＴ１０２で生成した位置関係情報２３４に基づいて支援情報２３８を生成する（図１９参照）。ステップＳＴ１０４の処理が実行された後、支援情報生成処理はステップＳＴ１０６へ移行する。
【0170】
ステップＳＴ１０６で、第２送受信部１６４Ｉは、ステップＳＴ１０４で生成された支援情報２３８を表示制御装置６６に送信する（図２０参照）。ステップＳＴ１０６の処理が実行された後、支援情報生成処理はステップＳＴ１０８へ移行する。
【0171】
ステップＳＴ１０８で、第２送受信部１６４Ｉは、支援情報生成処理を終了させる条件（以下、「支援情報生成処理終了条件」と称する）を満足したか否かを判定する。支援情報生成処理終了条件の一例としては、支援情報生成処理を終了させる指示が受付装置６８又は７６によって受け付けられたという条件が挙げられる。ステップＳＴ１０８において、支援情報生成処理終了条件を満足していない場合は、判定が否定されて、支援情報生成処理はステップＳＴ１００へ移行する。ステップＳＴ１０８において、支援情報生成処理終了条件を満足した場合は、判定が肯定されて、支援情報生成処理が終了する。
【0172】
以上説明したように、内視鏡システム１０では、実超音波画像３０と特定仮想超音波画像２１４Ａとに基づいて位置１０８と位置１００との位置関係が特定される。特定仮想超音波画像２１４Ａは、目標位置１９０に対応する仮想超音波画像２１４である。目標位置１９０に対応する仮想超音波画像２１４とは、複数の仮想超音波画像２１４のうちの図３に示す位置１０８と位置１００とが一致した場合に得られる実超音波画像３０に対応する仮想超音波画像２１４を意味する。また、位置１０８は、気管支内視鏡１８の先端部３８の位置である。例えば、位置１０８は、管腔臓器内壁面１０２のうちの処置具用開口５０（図２参照）内の穿刺針５２Ｂが突出する位置と対面している位置である。換言すると、穿刺針５２Ｂの突出方向と管腔臓器内壁面１０２とが交差する位置が位置１０８である。一方、位置１００は、管腔臓器内壁面１０２内においてリンパ節１０４が管腔臓器８４の外側（図３に示す例では、気管支９６の外側）に存在する位置である。換言すると、位置１００は、穿刺針５２Ｂがリンパ節１０４の管路の中央部１０４Ａに刺し込まれる場合の管腔臓器内壁面１０２において穿刺針５２Ｂによって穿刺される位置である。
【0173】
従って、実超音波画像３０と特定仮想超音波画像２１４Ａとに基づいて位置１０８と位置１００との位置関係が特定されることによって、気管支内視鏡１８の先端部３８とリンパ節１０４との位置合わせ（すなわち、位置１０８を位置１００に合わせる作業）を容易に行うことができる。例えば、医師１６が実超音波画像３０のみを参照して位置１０８を位置１００に合わせる作業を行う場合に比べ、位置１０８を位置１００に合わせる作業を容易に行うことができる。この結果、リンパ節１０４に対して穿刺針５２Ｂを容易に穿刺させることができる。例えば、医師１６が実超音波画像３０のみを参照して位置１０８を位置１００に合わせる作業を行う場合に比べ、リンパ節１０４に対して穿刺針５２Ｂを容易に穿刺させることができる。
【0174】
また、内視鏡システム１０では、実超音波画像３０と特定仮想超音波画像２１４Ａとが比較されることによって位置１０８と位置１００とのずれ量として距離２３２（図１９参照）が算出される。そして、位置１０８と位置１００との位置関係が距離２３２に基づいて規定されている。従って、医師１６は、距離２３２を縮めるように気管支内視鏡１８を操作することで気管支内視鏡１８の先端部３８とリンパ節１０４との位置合わせを行うことができる。
【0175】
また、内視鏡システム１０では、位置１０８と位置１００とが一致した場合に、位置１０８と位置１００とが一致したことが報知される。例えば、画面２４に報知情報２３８Ｂが表示されることによって位置１０８と位置１００とが一致したことが報知される。これにより、位置１０８と位置１００とが一致したことをユーザに知覚させることができる。
【0176】
また、内視鏡システム１０では、位置１０８と位置１００とが一致していない場合に、位置１０８を位置１００に誘導する情報として誘導情報２３８Ａがユーザに対して提示される。例えば、画面２４に誘導情報２３８Ａが表示されることによって誘導情報２３８Ａがユーザに対して提示される。これにより、気管支内視鏡１８の先端部３８とリンパ節１０４との位置合わせ（すなわち、位置１０８を位置１００に合わせる作業）を効率的に行うことができる。例えば、医師１６が実超音波画像３０のみを参照して位置１０８を位置１００に合わせる作業を行う場合に比べ、気管支内視鏡１８の先端部３８とリンパ節１０４との位置合わせを効率的に行うことができる。
【0177】
また、内視鏡システム１０では、実超音波画像３０が画面２４に表示される（図１、図１６、図１８、及び図２０参照）。これにより、気管支内視鏡１８の先端部３８とリンパ節１０４との位置関係をユーザに把握させることができる。
【0178】
また、内視鏡システム１０では、仮想超音波画像２１４に対して画像認識処理が行われ、画像認識処理が行われた結果が画像認識結果マーク２３０として仮想超音波画像２１４に重畳されることによって仮想超音波画像３２が生成される（図１７参照）。画像認識結果マーク２３０は、仮想超音波画像２１４に写っているリンパ節が存在する領域１６４Ｇ１に付される。そして、仮想超音波画像３２が画面２６に表示される（図１８及び図２０参照）。これにより、ユーザは仮想超音波画像３２を通してリンパ節が存在する領域を把握することができる。
【0179】
また、内視鏡システム１０では、仮想超音波画像３２と実超音波画像３０とが対比可能に表示装置１４に表示される。これにより、医師１６に対して仮想超音波画像３２と実超音波画像３０とを参照させながら位置１０８を位置１００に合わせる作業を行わせることができる。
【0180】
また、内視鏡システム１０では、仮想超音波画像群２２４から、実超音波画像３０との一致度が最も高い仮想超音波画像２１４が選択され、選択された仮想超音波画像２１４が加工されて得られた仮想超音波画像３２と実超音波画像３０とが対比可能に表示装置１４に表示される。これにより、医師１６に対して、実超音波画像３０と、実超音波画像３０と類似する仮想超音波画像３２とを参照させながら位置１０８を位置１００に合わせる作業を行わせることができる。
【0181】
また、内視鏡システム１０では、ナビゲーション動画像１９２と実超音波画像３０とが対比可能に表示装置１４に表示される（図１６参照）。これにより、医師１６に対して、ナビゲーション動画像１９２と実超音波画像３０と参照させながら位置１０８を位置１００に合わせる作業を行わせることができる。
【0182】
また、内視鏡システム１０では、気管支内視鏡１８の先端部３８（図２及び図３参照）の動きを案内する動画像としてナビゲーション動画像１９２が生成され、ナビゲーション動画像１９２と実超音波画像３０とが対比可能に表示装置１４に表示される（図１６参照）。これにより、気管支内視鏡１８の先端部３８の動かし方に自信のない医師１６にとっての利便性を高めることができる。例えば、表示装置１４にナビゲーション動画像１９２が表示されずに実超音波画像３０のみが表示される場合に比べ、気管支内視鏡１８の先端部３８の動かし方に自信のない医師１６にとっての利便性を高めることができる。
【0183】
また、内視鏡システム１０では、照準マーク２０４が重畳されたフレーム１９８が表示装置１４に表示される。フレーム１９８内において照準マーク２０４が付された位置は、フレーム１９８内において実空間上で超音波プローブ４８から超音波を放射させる位置に対応する位置である。従って、超音波を放射させる位置を医師１６に対して知覚させることができる。
【0184】
また、内視鏡システム１０では、画面２１２に照準マーク２０４が重畳されたフレーム１９８が表示される場合、照準マーク２０４から特定される位置に対して超音波が放射されることによって実超音波画像３０に基づいて生成された仮想超音波画像３２が画面２６に表示される（図１７及び図１８参照）。これは、照準マーク２０４から特定される位置についての観察対象領域１０６の態様を示す仮想的な超音波画像が仮想超音波画像３２として画面２６に表示されるということを意味する。従って、仮想超音波画像３２がフレーム１９８のどの位置に関する画像なのかをユーザに把握させた上で、ユーザに対して仮想超音波画像３２とフレーム１９８とを観察させることができる。
【0185】
なお、上記実施形態では、Ｂモード下で生成された実超音波画像３０を例示したが、本開示の技術にはこれに限定されず、実超音波画像３０に代えて、ドプラモード下で生成された実超音波画像を適用してもよい。この場合、ユーザは、実超音波画像に写る血管（例えば、血流表示）を参照して位置１０８と位置１００との位置関係を特定することができる。
【0186】
また、実超音波画像３０に代えて、ドプラモード下で生成された実超音波画像（すなわち、血流が写っている超音波画像）とＢモード下で生成された実超音波画像３０（すなわち、超音波が観察対象領域１０６で反射して得た反射波の強度が輝度で表現された超音波画像）とに基づく画像を適用してもよい。ドプラモード下で生成された実超音波画像とＢモード下で生成された実超音波画像３０に基づく画像の一例としては、ドプラモード下で生成された実超音波画像及びＢモード下で生成された実超音波画像３０のうちの一方に対して他方を重畳させた重畳画像が挙げられる。このようにして得られた重畳画像は、上記実施形態と同様の要領で、表示装置１４に表示される。これにより、ユーザは、ドプラモード下で生成された超音波画像に写る血管とＢモード下で生成された実超音波画像３０に写るリンパ節を参照して位置１０８と位置１００との位置関係を特定することができる。
【0187】
［第１変形例］
上記実施形態では、仮想超音波画像２１４に対して画像認識処理が行われる形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、図２９に示すように、画像認識部１６４Ｇが、取得部１６４Ｆによって取得された実超音波画像３０に対して、上記実施形態と同様の要領で画像認識処理を行うようにしてもよい。実超音波画像３０に対して画像認識処理が行われることによって実超音波画像３０に写っているリンパ節が存在する領域１６４Ｇ２を特定される。
上記実施形態では、仮想超音波画像２１４に対して画像認識処理が行われる形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、図２９に示すように、画像認識部１６４Ｇが、取得部１６４Ｆによって取得された実超音波画像３０に対して、上記実施形態と同様の要領で画像認識処理を行うようにしてもよい。実超音波画像３０に対して画像認識処理が行われることによって実超音波画像３０に写っているリンパ節が存在する領域１６４Ｇ２を特定される。
【0188】
加工部１６４Ｈは、実超音波画像３０に対して画像認識結果マーク２４０を重畳することで実超音波画像３０を加工する。画像認識結果マーク２４０は、実超音波画像３０内の領域１６４Ｇ２に対して、上記実施形態と同様の要領で彩色を施すことにより得たマークである。このようにして得られた実超音波画像３０は画面２４に表示される。これにより、ユーザは実超音波画像３０を通してリンパ節が存在する領域を把握することができる。
【0189】
［第２変形例］
上記実施形態では、Ｂモード下で生成された実超音波画像３０に基づいて支援情報２３８が生成される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、図３０に示すように、ドプラモード下で生成された実超音波画像２４２（すなわち、血流が写っている超音波画像と実超音波画像３０に相当する超音波画像とが重畳された超音波画像）に基づいて支援情報２４４が生成されるようにしてもよい。
上記実施形態では、Ｂモード下で生成された実超音波画像３０に基づいて支援情報２３８が生成される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、図３０に示すように、ドプラモード下で生成された実超音波画像２４２（すなわち、血流が写っている超音波画像と実超音波画像３０に相当する超音波画像とが重畳された超音波画像）に基づいて支援情報２４４が生成されるようにしてもよい。
【0190】
図３０に示す例は、上記実施形態に比べ、第３生成部１６４Ｊが実超音波画像３０に代えて実超音波画像２４２を用いる点、仮想超音波画像群２２４に代えて仮想超音波画像群２４６を適用した点、及び第３生成部１６４Ｊが支援情報２３８に代えて支援情報２４４を生成する点が異なる。
【0191】
仮想超音波画像群２４６は、仮想超音波画像群２２４に比べ、仮想超音波画像２１４に代えて仮想超音波画像２４６Ａを適用した点が異なる。仮想超音波画像２４６Ａは、仮想超音波画像２１４に比べ、実超音波画像２４２を模した画像として得られる仮想画像である点が異なる。実超音波画像２４２を模した画像とは、ドプラモード下で生成された実超音波画像２４２を模した画像を意味する。
【0192】
第３生成部１６４Ｊは、メタデータ２１６Ｃ及びメタデータ２１６Ｄを仮想超音波画像群２４６から取得する。メタデータ２１６Ｃは、実超音波画像２４２との一致度が最も高い仮想超音波画像２４６Ａに付与されているメタデータ２１６である。メタデータ２１６Ｄは、メタデータ２１６Ｃが付与されている仮想超音波画像２４６Ａとは異なる仮想超音波画像２４６Ａ（例えば、リンパ節１０４を含む複数のリンパ節のうちの何れかが写っている仮想超音波領域２４６Ａ）に付与されているメタデータ２１６である。
【0193】
第３生成部１６４Ｊは、上記実施形態と同様の要領で、メタデータ２１６Ｃとメタデータ２１６Ｄとを比較することで位置関係情報２３４を生成する。そして、第３生成部１６４Ｊは、位置関係情報２３４に基づいて支援情報２４４を生成する。支援情報２４４は、支援情報２３８に比べ、誘導情報２３８Ａに代えて誘導情報２４４Ａを有する点が異なる。誘導情報２４４Ａは、位置１０８を他の位置（すなわち、管腔臓器内壁面１０２（図３参照）内において位置１０８とは異なる位置）へ誘導する情報である。
【0194】
第５制御部１４８Ｉ（図２０参照）は、第２提示処理を行う。第２提示処理は、ユーザに対して誘導情報２４４Ａを提示してから、誘導情報２３８Ａを提示する処理である。誘導情報２４４Ａ及び誘導情報２３８Ａの提示は、例えば、誘導情報２４４Ａ及び誘導情報２３８Ａが表示装置１４（例えば、画面２４）に表示されることによって実現される。また、誘導情報２４４Ａが表示されてから、既定条件を満たした場合に、誘導情報２３８Ａが表示されるようにしてよい。
【0195】
既定条件の第１例としては、位置１０８が予定位置に移動したという条件が挙げられる。予定位置とは、例えば、メタデータ２１６Ｄが付与されている仮想超音波画像２４６Ａと一致する実超音波画像２４２が得られる位置を指す。位置１０８が予定位置に移動したか否かは、例えば、複数の実超音波画像２４２を用いたパターンマッチングが行われること、及び／又は複数の実超音波画像２４２に対してＡＩ方式の画像認識処理等が行われることによって特定される。既定条件の第２例としては、誘導情報２３８Ａの表示を開始させる指示が受付装置６８によって受け付けられたという条件が挙げられる。既定条件の第３例としては、リンパ節１０４が実超音波画像２４２に写り込んだという条件が挙げられる。リンパ節１０４が実超音波画像２４２に写り込んだか否かは、実超音波画像２４２に対して画像認識処理が行われることによって特定される。
【0196】
以上説明したように、本第２変形例に係る内視鏡システム１０では、ドプラモード下で生成された実超音波画像２４２と実超音波画像２４２を模した仮想超音波画像２４６Ａとに基づいて生成された誘導情報２４４Ａが表示装置１４に表示される。そして、その後、Ｂモード下で生成された実超音波画像３０と実超音波画像３０を模した仮想超音波画像２１４とに基づいて生成された誘導情報２３８Ａが表示装置１４に表示される。ドプラモード下で生成された実超音波画像２４２は、Ｂモード下で生成された実超音波画像３０よりも精緻な画像であるため、Ｂモード下で生成された実超音波画像３０よりも目印となる情報が多く含まれている。そのため、医師１６は、実超音波画像３０に基づいて生成された誘導情報２３８Ａよりも、実超音波画像２４２に基づいて生成された誘導情報２４４Ａを参照した方が位置１０８から位置１００へ精度良く近付けることができる。
【0197】
一方、ドプラモードは、Ｂモードよりもプロセッサ１６４にかかる処理負荷が大きい。また、ドプラモード下で生成される実超音波画像２４２のフレームレートは、Ｂモード下で生成される実超音波画像３０よりも低い。よって、例えば、位置１０８を位置１００にある程度近付けてから（例えば、リンパ節１０４を実超音波画像３０に写り込ませてから）、ドプラモードからＢモードに切り替えるとよい。
【0198】
このようにすることで、ユーザは、ドプラモード下で誘導情報２４４Ａを参照することにより、Ｂモード下で誘導情報２３８Ａを参照するよりも、位置１０８を位置１００へ精度良く近付けることができる。そして、ユーザは、位置１０８を位置１００へ近付けた後、ドプラモードからＢモードに切り替える。これにより、ユーザは、ドプラモードよりもプロセッサ１６４にかかる処理負荷が小さく且つ実超音波画像３０のフレームレートが高いＢモード下で誘導情報２３８Ａを参照して位置１０８を位置１００に合わせることができる。
【0199】
本第２変形例において、第５制御部１４８Ｉによって行われる第２提示処理は、本開示の技術に係る「第２提示処理」の一例である。実超音波画像２４２は、本開示の技術にかかる「第１超音波画像」の一例である。実超音波画像３０は、本開示の技術に係る「第２超音波画像」の一例である。誘導情報２４４Ａは、本開示の技術に係る「第１誘導情報」の一例である。誘導情報２３８Ａは、本開示の技術に係る「第２誘導情報」の一例である。
【0200】
なお、本第２変形例では、メタデータ２１６Ｃとメタデータ２１６Ｄとが比較された結果に基づいて位置１０８と位置１００との位置関係が特定される形態例を挙げたが、本開示の技術はこれに限定されない。例えば、実超音波画像２４２と仮想超音波画像２４６Ａとのパターンマッチングが行われることによって位置１０８と位置１００との位置関係が特定されるようにしてもよい。この場合のパターンマッチングには、例えば、実超音波画像２４２に写っている血流の領域と、仮想超音波画像２４６Ａに含まれる血管の領域とを比較する処理が含まれる。そして、このようにしてパターンマッチングが行われることによって特定された位置関係を示す位置関係情報２３４に基づいて、誘導情報２４４Ａを含む支援情報２４４が生成される。
【0201】
［その他の変形例］
上記実施形態では、リンパ節１０４が穿刺される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、リンパ節１０４が穿刺されることなくリンパ節１０４を含む観察対象領域１０６に対して超音波検査が行われる場合であっても本開示の技術は成立する。
上記実施形態では、リンパ節１０４が穿刺される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、リンパ節１０４が穿刺されることなくリンパ節１０４を含む観察対象領域１０６に対して超音波検査が行われる場合であっても本開示の技術は成立する。
【0202】
上記実施形態では、超音波画像を通して観察されるターゲット（すなわち、本開示の技術に係る「特定部位」の一例）として、リンパ節１０４を例示したが、これは、あくまでも一例に過ぎず、超音波画像を通して観察されるターゲットは、リンパ節１０４以外の部位（例えば、リンパ管又は血管など）であってもよい。
【0203】
上記実施形態では、気管支内視鏡１８の超音波プローブ４８を例示したが、体外式の超音波プローブ等のように超音波を放射する医療モジュールであっても本開示の技術は成立する。この場合、医療モジュールが存在する位置（例えば、超音波が放射される部位の位置）と超音波画像を通して観察されるターゲットが存在する位置との位置関係が、上記実施形態と同様の要領で特定されるようにすればよい。
【0204】
上記実施形態では、表示制御装置６６によって表示制御装置側処理が行われる形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、表示制御装置側処理に含まれる少なくとも一部の処理を行うデバイスは、表示制御装置６６の外部に設けられていてもよい。表示制御装置６６の外部に設けられるデバイスの一例としては、サーバ７０が挙げられる。例えば、サーバ７０は、クラウドコンピューティングによって実現される。ここでは、クラウドコンピューティングを例示しているが、これは、あくまでも一例に過ぎない。例えば、サーバ７０は、フォグコンピューティング、エッジコンピューティング、又はグリッドコンピューティング等のネットワークコンピューティングによって実現されてもよい。
【0205】
ここでは、表示制御装置６６の外部に設けられるデバイスの一例として、サーバ７０を挙げているが、これは、あくまでも一例に過ぎず、サーバ７０に代えて、少なくとも１台のＰＣ及び／又は少なくとも１台のメインフレーム等であってもよい。また、表示制御装置側処理に含まれる少なくとも一部の処理は、表示制御装置６６と表示制御装置６６の外部に設けられるデバイスとを含む複数のデバイスによって分散して行われるようにしてもよい。
【0206】
また、表示制御装置側処理に含まれる少なくとも一部の処理は、内視鏡用処理装置６０、超音波用処理装置６４、及びサーバ７０に接続されたタブレット端末又はＰＣ等によって行われるようにしてもよい。
【0207】
上記実施形態では、サーバ７０によってサーバ側処理が行われる形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、サーバ側処理に含まれる少なくとも一部の処理は、サーバ７０以外のデバイスによって行われてもよいし、サーバ７０とサーバ７０以外のデバイスとを含む複数のデバイスによって分散して行われるようにしてもよい。サーバ７０以外のデバイスの第１例としては、表示制御装置６６が挙げられる。また、サーバ７０以外のデバイスの第２例としては、少なくとも１台のＰＣ及び／又は少なくとも１台のメインフレーム等が挙げられる。
【0208】
上記実施形態では、支援情報２３８がメッセージ形式で表示される形態例を挙げて説明したが、本開示の技術はこれに限定されない。支援情報２３８が音声で提示されるようにしてもよい。
【0209】
上記実施形態では、ＮＶＭ１５２に表示制御装置側プログラム１７２が記憶されており、ＮＶＭ１６８にサーバ側プログラム１７４が記憶されている形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、表示制御装置側プログラム１７２及びサーバ側プログラム１７４（以下、「プログラム」と称する）がＳＳＤ又はＵＳＢメモリなどの可搬型の記憶媒体に記憶されていてもよい。記憶媒体は、非一時的なコンピュータ読取可能な記憶媒体である。記憶媒体に記憶されているプログラムは、コンピュータ７２及び／又は１４４にインストールされる。プロセッサ１４８及び／又は１６４は、プログラムに従って表示制御処理側処理及びサーバ側処理（以下、「各種処理」と称する）を実行する。
【0210】
上記実施形態では、コンピュータ７２及び／又は１４４が例示されているが、本開示の技術はこれに限定されず、コンピュータ７２及び／又は１４４に代えて、ＡＳＩＣ、ＦＰＧＡ、及び／又はＰＬＤを含むデバイスを適用してもよい。また、コンピュータ７２及び／又は１４４に代えて、ハードウェア構成及びソフトウェア構成の組み合わせを用いてもよい。
【0211】
上記実施形態で説明した各種処理を実行するハードウェア資源としては、次に示す各種のプロセッサを用いることができる。プロセッサとしては、例えば、ソフトウェア、すなわち、プログラムを実行することで、各種処理を実行するハードウェア資源として機能する汎用的なプロセッサであるプロセッサが挙げられる。また、プロセッサとしては、例えば、ＦＰＧＡ、ＰＬＤ、又はＡＳＩＣなどの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電子回路が挙げられる。何れのプロセッサにもメモリが内蔵又は接続されており、何れのプロセッサもメモリを使用することで各種処理を実行する。
【0212】
各種処理を実行するハードウェア資源は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ、又はプロセッサとＦＰＧＡとの組み合わせ）で構成されてもよい。また、各種処理を実行するハードウェア資源は１つのプロセッサであってもよい。
【0213】
１つのプロセッサで構成する例としては、第１に、１つ以上のプロセッサとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが、各種処理を実行するハードウェア資源として機能する形態がある。第２に、ＳｏＣなどに代表されるように、各種処理を実行する複数のハードウェア資源を含むシステム全体の機能を１つのＩＣチップで実現するプロセッサを使用する形態がある。このように、各種処理は、ハードウェア資源として、上記各種のプロセッサの１つ以上を用いて実現される。
【0214】
更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電子回路を用いることができる。また、上記の各種処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。
【0215】
以上に示した記載内容及び図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、及び効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、及び効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容及び図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことは言うまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容及び図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。
【0216】
本明細書において、「Ａ及び／又はＢ」は、「Ａ及びＢのうちの少なくとも１つ」と同義である。つまり、「Ａ及び／又はＢ」は、Ａだけであってもよいし、Ｂだけであってもよいし、Ａ及びＢの組み合わせであってもよい、という意味である。また、本明細書において、３つ以上の事柄を「及び／又は」で結び付けて表現する場合も、「Ａ及び／又はＢ」と同様の考え方が適用される。
【0217】
本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。
【符号の説明】
【0218】
１０ 内視鏡システム
１２ 超音波内視鏡装置
１４，７４ 表示装置
１６ 医師
１８ 気管支内視鏡
２０ 被検者
２２，２４，２６，２１２ 画面
２８ 内視鏡画像
３０、２４２ 実超音波画像
３２ 仮想超音波画像
３４ 操作部
３６ 挿入部
３８ 先端部
４０ 湾曲部
４２ 軟性部
４４ 照明装置
４４Ａ，４４Ｂ 照明窓
４６ 内視鏡スコープ
４８ 超音波プローブ
４８Ａ 外面
５０ 処置具用開口
５６ 処置具
５４ 処置具挿入口
５２Ａ シース
５２Ｂ 穿刺針
５８ ユニバーサルコード
５８Ａ 先端部
５８Ｂ～５８Ｄ 第１～第３先端部
６０ 内視鏡用処理装置
６２ 光源装置
６４ 超音波用処理装置
６６ 表示制御装置
６８、７６ 受付装置
７０ サーバ
７２，１１０，１２２，１４４ コンピュータ
７８ ネットワーク
８２ 呼吸器
８４ 管腔臓器
８６ 口腔
８８ 喉頭
９４ 気管
９６ 気管支
９８ 経路
１００，１０８ 位置
１０２，１９６ 管腔臓器内壁面
１０４ リンパ節
１０４Ａ 中央部
１０６ 観察対象領域
１１２，１２４，１４６，１６０ 入出力インタフェース
１１４，１２６，１４８，１６４ プロセッサ
１１６，１２８，１５０，１６６ ＲＡＭ
１１８，１３０，１５２，１６８ ＮＶＭ
１２０，１３２，１５４，１７０ バス
１３４ マルチプレクサ
１３６ 送信回路
１３８ 受信回路
１４０ ＡＤＣ
１４２ 超音波振動子
１４８Ａ 第１制御部
１４８Ｂ 第１受信部
１４８Ｃ 第２制御部
１４８Ｄ 第３制御部
１４８Ｅ 第１送信部
１４８Ｆ 第２受信部
１４８Ｇ 第４制御部
１４８Ｈ 第３受信部
１４８Ｉ 第５制御部
１５６，１６２ 通信モジュール
１６４Ａ 画像処理部
１６４Ｂ 第１生成部
１６４Ｃ 第２送信部
１６４Ｄ 第２生成部
１６４Ｅ 第１送受信部
１６４Ｆ 取得部
１６４Ｇ 画像認識部
１６４Ｇ１，１６４Ｇ２ 領域
１６４Ｈ 加工部
１６４Ｉ 第２送受信部
１６４Ｊ 第３生成部
１７２ 表示制御装置側プログラム
１７２Ａ 内視鏡画像表示プログラム
１７２Ｂ ナビゲーション動画像表示プログラム
１７２Ｃ 実超音波画像表示プログラム
１７２Ｄ 仮想超音波画像表示プログラム
１７２Ｅ 支援情報表示プログラム
１７４ サーバ側プログラム
１７４Ａ ナビゲーション動画像生成プログラム
１７４Ｂ 仮想超音波画像生成プログラム
１７４Ｃ 支援情報表示プログラム
１７６ ボリュームデータ
１７８ 胸部ボリュームデータ
１８０ 管腔臓器ボリュームデータ
１８２ リンパ節ボリュームデータ
１８４ 経路付き胸部ボリュームデータ
１８６，１８６Ａ 管腔臓器経路
１８８ 目標位置情報
１９０ 目標位置
１９０Ａ 目印
１９２ ナビゲーション動画像
１９４ 視点
１９８，２０８ フレーム
２００，２１６ メタデータ
２０２，２１８ 座標
２０４ 照準マーク
２０６ 実動画像
２１４ 仮想超音波画像
２１４Ａ 特定仮想超音波画像
２２０ 角度
２２２ 識別子
２２４，２４６ 仮想超音波画像群
２２６ 実超音波動画像
２３０，２４０ 画像認識結果マーク
２３２ 距離
２３４ 位置関係情報
２３６ 方向
２３８，２４４ 支援情報
２３８Ａ，２４４Ａ 誘導情報
２３８Ｂ 報知情報
２４６Ａ 仮想超音波画像
１２ 超音波内視鏡装置
１４，７４ 表示装置
１６ 医師
１８ 気管支内視鏡
２０ 被検者
２２，２４，２６，２１２ 画面
２８ 内視鏡画像
３０、２４２ 実超音波画像
３２ 仮想超音波画像
３４ 操作部
３６ 挿入部
３８ 先端部
４０ 湾曲部
４２ 軟性部
４４ 照明装置
４４Ａ，４４Ｂ 照明窓
４６ 内視鏡スコープ
４８ 超音波プローブ
４８Ａ 外面
５０ 処置具用開口
５６ 処置具
５４ 処置具挿入口
５２Ａ シース
５２Ｂ 穿刺針
５８ ユニバーサルコード
５８Ａ 先端部
５８Ｂ～５８Ｄ 第１～第３先端部
６０ 内視鏡用処理装置
６２ 光源装置
６４ 超音波用処理装置
６６ 表示制御装置
６８、７６ 受付装置
７０ サーバ
７２，１１０，１２２，１４４ コンピュータ
７８ ネットワーク
８２ 呼吸器
８４ 管腔臓器
８６ 口腔
８８ 喉頭
９４ 気管
９６ 気管支
９８ 経路
１００，１０８ 位置
１０２，１９６ 管腔臓器内壁面
１０４ リンパ節
１０４Ａ 中央部
１０６ 観察対象領域
１１２，１２４，１４６，１６０ 入出力インタフェース
１１４，１２６，１４８，１６４ プロセッサ
１１６，１２８，１５０，１６６ ＲＡＭ
１１８，１３０，１５２，１６８ ＮＶＭ
１２０，１３２，１５４，１７０ バス
１３４ マルチプレクサ
１３６ 送信回路
１３８ 受信回路
１４０ ＡＤＣ
１４２ 超音波振動子
１４８Ａ 第１制御部
１４８Ｂ 第１受信部
１４８Ｃ 第２制御部
１４８Ｄ 第３制御部
１４８Ｅ 第１送信部
１４８Ｆ 第２受信部
１４８Ｇ 第４制御部
１４８Ｈ 第３受信部
１４８Ｉ 第５制御部
１５６，１６２ 通信モジュール
１６４Ａ 画像処理部
１６４Ｂ 第１生成部
１６４Ｃ 第２送信部
１６４Ｄ 第２生成部
１６４Ｅ 第１送受信部
１６４Ｆ 取得部
１６４Ｇ 画像認識部
１６４Ｇ１，１６４Ｇ２ 領域
１６４Ｈ 加工部
１６４Ｉ 第２送受信部
１６４Ｊ 第３生成部
１７２ 表示制御装置側プログラム
１７２Ａ 内視鏡画像表示プログラム
１７２Ｂ ナビゲーション動画像表示プログラム
１７２Ｃ 実超音波画像表示プログラム
１７２Ｄ 仮想超音波画像表示プログラム
１７２Ｅ 支援情報表示プログラム
１７４ サーバ側プログラム
１７４Ａ ナビゲーション動画像生成プログラム
１７４Ｂ 仮想超音波画像生成プログラム
１７４Ｃ 支援情報表示プログラム
１７６ ボリュームデータ
１７８ 胸部ボリュームデータ
１８０ 管腔臓器ボリュームデータ
１８２ リンパ節ボリュームデータ
１８４ 経路付き胸部ボリュームデータ
１８６，１８６Ａ 管腔臓器経路
１８８ 目標位置情報
１９０ 目標位置
１９０Ａ 目印
１９２ ナビゲーション動画像
１９４ 視点
１９８，２０８ フレーム
２００，２１６ メタデータ
２０２，２１８ 座標
２０４ 照準マーク
２０６ 実動画像
２１４ 仮想超音波画像
２１４Ａ 特定仮想超音波画像
２２０ 角度
２２２ 識別子
２２４，２４６ 仮想超音波画像群
２２６ 実超音波動画像
２３０，２４０ 画像認識結果マーク
２３２ 距離
２３４ 位置関係情報
２３６ 方向
２３８，２４４ 支援情報
２３８Ａ，２４４Ａ 誘導情報
２３８Ｂ 報知情報
２４６Ａ 仮想超音波画像
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
