ホーム > 特許ランキング > 富士フイルム株式会社
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024153783
(43)【公開日】2024-10-29
(54)【発明の名称】画像処理装置
(51)【国際特許分類】
A61B 1/045 20060101AFI20241022BHJP
A61B 1/00 20060101ALI20241022BHJP
【ＦＩ】
A61B1/045 618
A61B1/00 513
【審査請求】有
【請求項の数】24
【出願形態】ＯＬ
(21)【出願番号】P 2024122254
(22)【出願日】2024-07-29
(62)【分割の表示】P 2023061526の分割
【原出願日】2019-08-08
(31)【優先権主張番号】P 2018153732
(32)【優先日】2018-08-17
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】306037311
【氏名又は名称】富士フイルム株式会社
(74)【代理人】
【識別番号】110001988
【氏名又は名称】弁理士法人小林国際特許事務所
(72)【発明者】
【氏名】狩野 喬俊
(57)【要約】
【課題】認識処理を行った結果及び認識処理を行わなかった結果の誤認を防止する画像処理装置を提供する。
【解決手段】画像取得部５４は、内視鏡で撮影された被写体の画像を取得する。識別部７３は、画像の撮影に使用される観察モードの設定情報、被写体に対する薬剤投与の有無、又は、画像の拡大処理の設定情報を用いて、画像について、認識処理の結果をモニターに表示するための認識処理が機能するか否かを識別する。認識処理が機能する場合に、結果をモニターに表示する。認識処理が機能しない場合に、認識処理が機能しないことを示す情報をモニターに表示する。認識処理は、画像を用いて病変もしくは病変の候補の有無を検出する処理、又は、画像を用いて病変もしくは病変の候補の種類もしくは進行度を鑑別する処理である。
【選択図】図３
【解決手段】画像取得部５４は、内視鏡で撮影された被写体の画像を取得する。識別部７３は、画像の撮影に使用される観察モードの設定情報、被写体に対する薬剤投与の有無、又は、画像の拡大処理の設定情報を用いて、画像について、認識処理の結果をモニターに表示するための認識処理が機能するか否かを識別する。認識処理が機能する場合に、結果をモニターに表示する。認識処理が機能しない場合に、認識処理が機能しないことを示す情報をモニターに表示する。認識処理は、画像を用いて病変もしくは病変の候補の有無を検出する処理、又は、画像を用いて病変もしくは病変の候補の種類もしくは進行度を鑑別する処理である。
【選択図】図３
【特許請求の範囲】
【請求項1】
内視鏡で撮影された被写体の画像を取得する画像取得部と、
前記画像の撮影に使用される観察モードの設定情報、前記被写体に対する薬剤投与の有無、又は、前記画像の拡大処理の設定情報を用いて、前記画像について、認識処理の結果をモニターに表示するための認識処理が機能するか否かを識別する識別部とを備え、
前記認識処理が機能する場合に、前記結果を前記モニターに表示し、
前記認識処理が機能しない場合に、前記認識処理が機能しないことを示す情報を前記モニターに表示し、
前記認識処理は、前記画像を用いて病変もしくは病変の候補の有無を検出する処理、又は、前記画像を用いて病変もしくは病変の候補の種類もしくは進行度を鑑別する処理である画像処理装置。
前記画像の撮影に使用される観察モードの設定情報、前記被写体に対する薬剤投与の有無、又は、前記画像の拡大処理の設定情報を用いて、前記画像について、認識処理の結果をモニターに表示するための認識処理が機能するか否かを識別する識別部とを備え、
前記認識処理が機能する場合に、前記結果を前記モニターに表示し、
前記認識処理が機能しない場合に、前記認識処理が機能しないことを示す情報を前記モニターに表示し、
前記認識処理は、前記画像を用いて病変もしくは病変の候補の有無を検出する処理、又は、前記画像を用いて病変もしくは病変の候補の種類もしくは進行度を鑑別する処理である画像処理装置。
【請求項2】
前記画像取得部は、白色光で前記被写体を撮影する通常観察モード、又は、特定の波長帯域を有する照明光を用いて前記被写体を撮影する特殊観察モードを使用して撮影された前記画像を取得し、
前記識別部は、前記観察モードの設定情報を用いて、前記画像について前記認識処理が機能するか否かを識別する請求項１記載の画像処理装置。
前記識別部は、前記観察モードの設定情報を用いて、前記画像について前記認識処理が機能するか否かを識別する請求項１記載の画像処理装置。
【請求項3】
前記識別部は、前記被写体に対する薬剤投与の有無から、前記画像について前記認識処理が機能するか否かを識別し、
前記被写体に薬剤が投与されていない場合に、前記結果を前記モニターに表示し、
前記被写体に薬剤が投与されている場合に、前記認識処理が機能しないことを示す情報を前記モニターに表示する請求項１記載の画像処理装置。
前記被写体に薬剤が投与されていない場合に、前記結果を前記モニターに表示し、
前記被写体に薬剤が投与されている場合に、前記認識処理が機能しないことを示す情報を前記モニターに表示する請求項１記載の画像処理装置。
【請求項4】
前記識別部は、前記画像の拡大処理の設定情報を用いて前記認識処理が機能するか否かを識別する請求項１記載の画像処理装置。
【請求項5】
前記画像取得部は、白色光で前記被写体を撮影する通常観察モード、又は、特定の波長帯域を有する照明光を用いて被写体を撮影する特殊観察モードを使用して撮影された前記画像を取得し、
前記識別部は、前記観察モードの設定情報及び前記拡大処理の設定情報を用いて、前記画像について前記認識処理が機能するか否かを識別し、
前記観察モードが通常観察モードかつ前記拡大処理の拡大率が第２の倍率よりも小さい第１の倍率の場合に、前記結果を前記モニターに表示する請求項１記載の画像処理装置。
前記識別部は、前記観察モードの設定情報及び前記拡大処理の設定情報を用いて、前記画像について前記認識処理が機能するか否かを識別し、
前記観察モードが通常観察モードかつ前記拡大処理の拡大率が第２の倍率よりも小さい第１の倍率の場合に、前記結果を前記モニターに表示する請求項１記載の画像処理装置。
【請求項6】
前記画像取得部は、白色光で前記被写体を撮影する通常観察モード、又は、特定の波長帯域を有する照明光を用いて被写体を撮影する特殊観察モードを使用して撮影された前記画像を取得し、
前記識別部は、前記観察モードの設定情報及び前記拡大処理の設定情報を用いて、前記画像について前記認識処理が機能するか否かを識別し、
前記観察モードが通常観察モードかつ前記拡大処理の拡大率が第１の倍率よりも大きい第２の倍率の場合に、前記認識処理が機能しないことを示す情報を前記モニターに表示する請求項１記載の画像処理装置。
前記識別部は、前記観察モードの設定情報及び前記拡大処理の設定情報を用いて、前記画像について前記認識処理が機能するか否かを識別し、
前記観察モードが通常観察モードかつ前記拡大処理の拡大率が第１の倍率よりも大きい第２の倍率の場合に、前記認識処理が機能しないことを示す情報を前記モニターに表示する請求項１記載の画像処理装置。
【請求項7】
前記画像取得部は、白色光で前記被写体を撮影する通常観察モード、又は、特定の波長帯域を有する照明光を用いて被写体を撮影する特殊観察モードを使用して撮影された前記画像を取得し、
前記識別部は、前記観察モードの設定情報及び前記拡大処理の設定情報を用いて、前記画像について前記認識処理が機能するか否かを識別し、
前記観察モードが特殊観察モードかつ前記拡大処理の拡大率が第2の倍率よりも小さい第１の倍率の場合に、前記認識処理が機能しないことを示す情報を前記モニターに表示する請求項１記載の画像処理装置。
前記識別部は、前記観察モードの設定情報及び前記拡大処理の設定情報を用いて、前記画像について前記認識処理が機能するか否かを識別し、
前記観察モードが特殊観察モードかつ前記拡大処理の拡大率が第2の倍率よりも小さい第１の倍率の場合に、前記認識処理が機能しないことを示す情報を前記モニターに表示する請求項１記載の画像処理装置。
【請求項8】
前記画像取得部は、前記内視鏡は白色光で前記被写体を撮影する通常観察モード、又は、特定の波長帯域を有する照明光を用いて被写体を撮影する特殊観察モードを使用して撮影された前記画像を取得し、
前記識別部は、前記観察モードの設定情報及び前記拡大処理の設定情報を用いて、前記画像について前記認識処理が機能するか否かを識別し、
前記観察モードが特殊観察モードかつ前記拡大処理の拡大率が第１の倍率より大きい第２の倍率の場合に、前記認識処理が機能しないことを示す情報を前記モニターに表示する請求項１記載の画像処理装置。
前記識別部は、前記観察モードの設定情報及び前記拡大処理の設定情報を用いて、前記画像について前記認識処理が機能するか否かを識別し、
前記観察モードが特殊観察モードかつ前記拡大処理の拡大率が第１の倍率より大きい第２の倍率の場合に、前記認識処理が機能しないことを示す情報を前記モニターに表示する請求項１記載の画像処理装置。
【請求項9】
前記画像取得部は、前記内視鏡は白色光で前記被写体を撮影する通常観察モード、又は、特定の波長帯域を有する照明光を用いて被写体を撮影する特殊観察モードを使用して撮影された前記画像を取得し、
前記識別部は、前記観察モードの設定情報及び前記被写体に対する薬剤投与の有無を用いて、前記画像について前記認識処理が機能するか否かを識別し、
前記観察モードが前記通常観察モードでありかつ前記被写体に薬剤が投与されていない場合には前記結果を前記モニターに表示する請求項１記載の画像処理装置。
前記識別部は、前記観察モードの設定情報及び前記被写体に対する薬剤投与の有無を用いて、前記画像について前記認識処理が機能するか否かを識別し、
前記観察モードが前記通常観察モードでありかつ前記被写体に薬剤が投与されていない場合には前記結果を前記モニターに表示する請求項１記載の画像処理装置。
【請求項10】
前記内視鏡の挿入部に設けられた操作部により、前記画像の撮像に使用される前記観察モード、又は、前記画像の拡大処理が設定され、
前記識別部は、前記観察モードの設定情報、又は、前記画像の拡大処理の設定情報を用いて、前記画像について、前記認識処理が機能するか否かを識別する請求項１記載の画像処理装置。
前記識別部は、前記観察モードの設定情報、又は、前記画像の拡大処理の設定情報を用いて、前記画像について、前記認識処理が機能するか否かを識別する請求項１記載の画像処理装置。
【請求項11】
前記画像取得部は、白色光で前記被写体を撮影する通常観察モード、又は、特定の波長帯域を有する照明光を用いて前記被写体を撮影する特殊観察モードを使用して撮影された前記画像を取得し、
前記識別部は、前記観察モードの設定情報を用いて、前記画像について前記認識処理が機能するか否かを識別し、
前記特殊観察モードでは、特定の病変を観察しやすくするため前記画像の色が変調される請求項１記載の画像処理装置。
前記識別部は、前記観察モードの設定情報を用いて、前記画像について前記認識処理が機能するか否かを識別し、
前記特殊観察モードでは、特定の病変を観察しやすくするため前記画像の色が変調される請求項１記載の画像処理装置。
【請求項12】
前記観察モードが前記通常観察モードの場合に、前記結果を前記モニターに表示し、
前記観察モードが前記特殊観察モードの場合に、前記認識処理が機能しないことを示す情報を前記モニターに表示する請求項２記載の画像処理装置。
前記観察モードが前記特殊観察モードの場合に、前記認識処理が機能しないことを示す情報を前記モニターに表示する請求項２記載の画像処理装置。
【請求項13】
前記観察モードが前記通常観察モードの場合に、前記観察モードが前記通常観察モードであることを示す情報を前記モニターに表示し、
前記観察モードが前記特殊観察モードである場合に、前記観察モードが前記特殊観察モードであることを示す情報を前記モニターに表示する請求項２、５～９、１１のうちいずれか１項記載の画像処理装置。
前記観察モードが前記特殊観察モードである場合に、前記観察モードが前記特殊観察モードであることを示す情報を前記モニターに表示する請求項２、５～９、１１のうちいずれか１項記載の画像処理装置。
【請求項14】
前記特殊観察モードでは、前記白色光と比較して青色または紫色の成分を多く含む照明光を用いて前記被写体を撮影される請求項２、５～９、１１のうちいずれか１項記載の画像処理装置。
【請求項15】
前記内視鏡が接続され前記内視鏡を制御するプロセッサ装置から前記観察モードの設定情報を取得する請求項２、５～１１のうちいずれか１項記載の画像処理装置。
【請求項16】
前記画像を解析することで、前記観察モードの設定情報を取得する請求項２、５～１１のうちいずれか１項記載の画像処理装置。
【請求項17】
前記拡大処理の拡大率が第１の倍率の場合に前記結果を前記モニターに表示し、
前記拡大率が第１の倍率よりも大きい第２の倍率の場合に前記認識処理が機能しないことを示す情報を前記モニターに表示する請求項４記載の画像処理装置。
前記拡大率が第１の倍率よりも大きい第２の倍率の場合に前記認識処理が機能しないことを示す情報を前記モニターに表示する請求項４記載の画像処理装置。
【請求項18】
前記拡大率は前記内視鏡が有するズームレンズを移動させることによって変更される請求項５～８、１７のうちいずれか１項記載の画像処理装置。
【請求項19】
前記内視鏡が接続され前記内視鏡を制御するプロセッサ装置から前記拡大処理の前記設定情報を取得する請求項４～８、１０のうちいずれか１項記載の画像処理装置。
【請求項20】
前記認識処理は、前記画像を用いて病変もしくは病変の候補の有無を検出する処理である請求項２ないし１１のうちいずれか１項記載の画像処理装置。
【請求項21】
前記認識処理は、前記画像を用いて病変もしくは病変の候補の種類もしくは進行度を鑑別する処理である請求項２ないし１１のうちいずれか１項記載の画像処理装置。
【請求項22】
前記内視鏡が接続され前記内視鏡を制御するプロセッサ装置から前記観察モードの前記設定情報及び前記拡大処理の前記設定情報を取得する請求項５ないし８のうちいずれか１項記載の画像処理装置。
【請求項23】
前記認識処理は、前記画像を用いて病変もしくは病変の候補の種類もしくは進行度を鑑別する処理であり、
前記拡大処理の拡大率が第１の倍率の場合に前記認識処理が機能しないことを示す情報を前記モニターに表示し、
前記拡大率が前記第１の倍率よりも大きい第２の倍率の場合に、前記結果を前記モニターに表示する請求項４記載の画像処理装置。
前記拡大処理の拡大率が第１の倍率の場合に前記認識処理が機能しないことを示す情報を前記モニターに表示し、
前記拡大率が前記第１の倍率よりも大きい第２の倍率の場合に、前記結果を前記モニターに表示する請求項４記載の画像処理装置。
【請求項24】
前記病変または前記病変の候補の位置を示す情報を、複数の前記画像のうちの前記認識処理を実行した画像よりも後に取得された画像とともに表示する請求項１ないし２３のうちいずれか１項記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、内視鏡を用いて撮影した画像を用いて被写体の認識処理を行う画像処理装置に関する。
【背景技術】
【0002】
医療分野においては、光源装置、内視鏡、及び、プロセッサ装置を備える内視鏡システムが普及している。光源装置は、照明光を発生する。内視鏡は、イメージセンサを用いて被写体を撮影する。プロセッサ装置は、画像の生成及びその他の画像処理等を行う。
【0003】
内視鏡システムは、観察のために被写体を撮影するだけでなく、付加的機能を有する場合がある。例えば、処置具の位置及び向きをタッチパネルで操作する「入力モード」を有する内視鏡システムが知られている（特許文献１）。この特許文献１の内視鏡システムにおいては、上記入力モードの状態を画面に表示する。また、内視鏡先端部の湾曲の状態を示す画像、及び、キャリブレーションが終了した旨等を告知する文字列を画面に表示して、システムの異常等を知らせる機能を有する内視鏡システムが知られている（特許文献２）。この他、フットスイッチのオンまたはオフの状態を画面に表示する内視鏡システム（特許文献３）、送気中を示すマークを画面に表示する内視鏡システム（特許文献４）、及び、録画のオンまたはオフの状態を画面に表示する内視鏡システム（特許文献５）が知られている。
【0004】
また、近年においては、被写体を撮影した画像を用いて生体機能情報を算出等することにより、診断を支援する内視鏡システムも知られている（特許文献６）。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開２００８－２４５８４０号公報
【特許文献2】特開２００７－３３０４０５号公報
【特許文献3】特開２００５－３０５５７４号公報
【特許文献4】特開平１１－１０３１３号公報
【特許文献5】特開昭６３－２５９６１４号公報
【特許文献6】特開２０１８－５１３６４号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
内視鏡を用いて撮影した画像（以下、内視鏡画像という）等の医療画像を用いて、特定の特徴を有する被写体または被写体の一部を認識することにより、診断を支援する情報（以下、診断支援情報という）を得る場合、特定の条件で撮影することにより、認識処理が機能し得る医療画像を使用する必要がある。認識処理が機能し得ない医療画像を使用すると、認識処理の結果が得られたとしても、認識処理の結果が不正確である場合があるからである。
【0007】
しかし、通常は、認識処理が機能し得る医療画像を常に取得できるとは限らない。このため、不正確な認識処理の結果、または、不正確な認識処理の結果を用いて算出等した診断支援情報が、かえって被写体の観察または診断の妨げとなってしまう場合がある。例えば、撮影に用いる照明光の種類が異なる複数の観察モードを有する内視鏡システムにおいては、特定の観察モードにおいて得た内視鏡画像については正確性が高い認識処理の結果を得られるが、他の観察モードにおいて得た内視鏡画像を使用する場合には認識処理の精度が低いという場合がある。
【0008】
上記のように不正確な認識処理の結果等を提供しないようにするためには、認識処理が機能し得る医療画像が取得できない場合に認識処理を行わないようにすることが考えられる。しかし、単に認識処理を行わないようにすると、ユーザである医師等は、認識処理の結果、または、認識処理を行わなかった結果を誤って認識してしまう場合がある。例えば、病変の候補を検出する認識処理を行う装置等を使用している場合、単に認識処理を行わないようにすると、これを使用する医師等は、認識処理を行った結果、病変の候補が検出されなかったと誤認してしまう場合がある。すなわち、医師等は、認識処理が行われなかったために認識処理の結果が表示されていないのか、認識処理を行った結果、認識する対象がなかったために認識処理の結果が表示されていないかを判別できない場合がある。
【0009】
本発明は、少なくとも、認識処理を行った結果及び認識処理を行わなかった結果の誤認を防止する画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【0010】
本発明の画像処理装置は、内視鏡で撮影された被写体の画像を取得する画像取得部と、画像の撮影に使用される観察モードの設定情報、被写体に対する薬剤投与の有無、又は、画像の拡大処理の設定情報を用いて、画像について、認識処理の結果をモニターに表示するための認識処理が機能するか否かを識別する識別部とを備え、認識処理が機能する場合に、結果をモニターに表示し、認識処理が機能しない場合に、認識処理が機能しないことを示す情報をモニターに表示し、認識処理は、画像を用いて病変もしくは病変の候補の有無を検出する処理、又は、画像を用いて病変もしくは病変の候補の種類もしくは進行度を鑑別する処理である。
【0011】
画像取得部は、白色光で前記被写体を撮影する通常観察モード、又は、特定の波長帯域を有する照明光を用いて被写体を撮影する特殊観察モードを使用して撮影された画像を取得し、識別部は、観察モードの設定情報を用いて、画像について認識処理が機能するか否かを識別することが好ましい。
【0012】
識別部は、被写体に対する薬剤投与の有無から、画像について認識処理が機能するか否かを識別し、被写体に薬剤が投与されていない場合に、結果をモニターに表示し、被写体に薬剤が投与されている場合に、認識処理が機能しないことを示す情報をモニターに表示することが好ましい。識別部は、画像の拡大処理の設定情報を用いて認識処理が機能するか否かを識別することが好ましい。
【0013】
画像取得部は、白色光で被写体を撮影する通常観察モード、又は、特定の波長帯域を有する照明光を用いて被写体を撮影する特殊観察モードを使用して撮影された画像を取得し、識別部は、観察モードの設定情報及び拡大処理の設定情報を用いて、画像について認識処理が機能するか否かを識別し、観察モードが通常観察モードかつ拡大処理の拡大率が第２の倍率よりも小さい第１の倍率の場合に、結果を前記モニターに表示することが好ましい。
【0014】
画像取得部は、白色光で被写体を撮影する通常観察モード、又は、特定の波長帯域を有する照明光を用いて被写体を撮影する特殊観察モードを使用して撮影された画像を取得し、識別部は、観察モードの設定情報及び拡大処理の設定情報を用いて、画像について認識処理が機能するか否かを識別し、観察モードが通常観察モードかつ拡大処理の拡大率が第１の倍率よりも大きい第２の倍率の場合に、認識処理が機能しないことを示す情報をモニターに表示することが好ましい。
【0015】
画像取得部は、白色光で被写体を撮影する通常観察モード、又は、特定の波長帯域を有する照明光を用いて被写体を撮影する特殊観察モードを使用して撮影された画像を取得し、識別部は、観察モードの設定情報及び拡大処理の設定情報を用いて、画像について認識処理が機能するか否かを識別し、観察モードが特殊観察モードかつ拡大処理の拡大率が第2の倍率よりも小さい第１の倍率の場合に、認識処理が機能しないことを示す情報をモニターに表示することが好ましい。
【0016】
画像取得部は、内視鏡は白色光で被写体を撮影する通常観察モード、又は、特定の波長帯域を有する照明光を用いて被写体を撮影する特殊観察モードを使用して撮影された画像を取得し、識別部は、観察モードの設定情報及び拡大処理の設定情報を用いて、画像について認識処理が機能するか否かを識別し、観察モードが特殊観察モードかつ拡大処理の拡大率が第１の倍率より大きい第２の倍率の場合に、認識処理が機能しないことを示す情報をモニターに表示することが好ましい。
【0017】
画像取得部は、内視鏡は白色光で前記被写体を撮影する通常観察モード、又は、特定の波長帯域を有する照明光を用いて被写体を撮影する特殊観察モードを使用して撮影された画像を取得し、識別部は、観察モードの設定情報及び被写体に対する薬剤投与の有無を用いて、画像について認識処理が機能するか否かを識別し、観察モードが通常観察モードでありかつ被写体に薬剤が投与されていない場合には結果をモニターに表示することが好ましい。
【0018】
内視鏡の挿入部に設けられた操作部により、画像の撮像に使用される観察モード、又は、画像の拡大処理が設定され、識別部は、観察モードの設定情報、又は、画像の拡大処理の設定情報を用いて、画像について、認識処理が機能するか否かを識別することが好ましい。
【0019】
画像取得部は、白色光で被写体を撮影する通常観察モード、又は、特定の波長帯域を有する照明光を用いて被写体を撮影する特殊観察モードを使用して撮影された画像を取得し、識別部は、観察モードの設定情報を用いて、画像について認識処理が機能するか否かを識別し、特殊観察モードでは、特定の病変を観察しやすくするため画像の色が変調されることが好ましい。
【0020】
観察モードが通常観察モードの場合に、結果をモニターに表示し、観察モードが特殊観察モードの場合に、認識処理が機能しないことを示す情報をモニターに表示することが好ましい。
【0021】
観察モードが通常観察モードの場合に、観察モードが通常観察モードであることを示す情報をモニターに表示し、観察モードが特殊観察モードである場合に、観察モードが特殊観察モードであることを示す情報をモニターに表示することが好ましい。
【0022】
特殊観察モードでは、白色光と比較して青色または紫色の成分を多く含む照明光を用いて被写体を撮影されることが好ましい。内視鏡が接続され内視鏡を制御するプロセッサ装置から観察モードの設定情報を取得することが好ましい。画像を解析することで、観察モードの設定情報を取得することが好ましい。
【0023】
拡大処理の拡大率が第１の倍率の場合に結果をモニターに表示し、拡大率が第１の倍率よりも大きい第２の倍率の場合に認識処理が機能しないことを示す情報をモニターに表示することが好ましい。拡大率は内視鏡が有するズームレンズを移動させることによって変更されることが好ましい。内視鏡が接続され前記内視鏡を制御するプロセッサ装置から拡大処理の設定情報を取得することが好ましい。
【0024】
認識処理は、画像を用いて病変もしくは病変の候補の有無を検出する処理であることが好ましい。認識処理は、画像を用いて病変もしくは病変の候補の種類もしくは進行度を鑑別する処理であることが好ましい。
【0025】
内視鏡が接続され内視鏡を制御するプロセッサ装置から観察モードの設定情報及び拡大処理の設定情報を取得することが好ましい。認識処理は、画像を用いて病変もしくは病変の候補の種類もしくは進行度を鑑別する処理であり、拡大処理の拡大率が第１の倍率の場合に認識処理が機能しないことを示す情報をモニターに表示し、拡大率が第１の倍率よりも大きい第２の倍率の場合に、結果をモニターに表示する。病変または病変の候補の位置を示す情報を、複数の画像のうちの認識処理を実行した画像よりも後に取得された画像とともに表示することが好ましい。
【発明の効果】
【0026】
本発明によれば、認識処理を行った結果及び認識処理を行わなかった結果の誤認を防止する内視鏡システムを提供できる。
【図面の簡単な説明】
【0027】
【図1】内視鏡システムの外観図である。
【図2】内視鏡システムのブロック図である。
【図3】画像処理部のブロック図である。
【図4】第１実施形態のフローチャートである。
【図5】認識処理が機能する旨を報知する表示例である。
【図6】認識処理が機能する旨を報知する表示例である。
【図7】認識結果が機能しない旨を報知する表示例である。
【図8】動作モードを表示する表示例である。
【図9】認識処理が機能する旨をアイコンで表示する表示例である。
【図10】認識処理が機能しない旨をアイコンで表示する表示例である。
【図11】認識処理が機能する旨の別の表示例である。
【図12】認識処理が機能しない旨の別の表示例である。
【図13】モニタへの表示以外の方法で認識処理が機能するか否かを報知する場合のプロセッサ装置のブロック図である。
【図14】第２実施形態のフローチャートである。
【図15】第３実施形態のフローチャートである。
【図16】第４実施形態のフローチャートである。
【図17】第５実施形態のフローチャートである。
【図18】第６実施形態のフローチャートである。
【図19】４種類の報知態様を示す説明図である。
【図20】認識部が複数のＡＩを含む場合における画像処理部のブロック図である。
【図21】複数の認識部を有する場合における画像処理部のブロック図である。
【図22】医療画像処理装置を示す説明図である。
【図23】診断支援装置を示す説明図である。
【図24】医療業務支援装置を示す説明図である。
【発明を実施するための形態】
【0028】
［第１実施形態］
図１に示すように、内視鏡システム１０（内視鏡装置）は、内視鏡１２と、光源装置１４と、プロセッサ装置１６と、モニタ１８と、コンソール１９と、を備える。内視鏡１２は、被写体を撮影する。光源装置１４は、照明光を発生する。プロセッサ装置１６は、内視鏡システム１０のシステム制御及び画像処理等を行う。モニタ１８は、内視鏡１２で画像等を表示する表示部である。コンソール１９は、プロセッサ装置１６等への設定入力等を行う入力デバイスである。
図１に示すように、内視鏡システム１０（内視鏡装置）は、内視鏡１２と、光源装置１４と、プロセッサ装置１６と、モニタ１８と、コンソール１９と、を備える。内視鏡１２は、被写体を撮影する。光源装置１４は、照明光を発生する。プロセッサ装置１６は、内視鏡システム１０のシステム制御及び画像処理等を行う。モニタ１８は、内視鏡１２で画像等を表示する表示部である。コンソール１９は、プロセッサ装置１６等への設定入力等を行う入力デバイスである。
【0029】
内視鏡１２は、被検体内に挿入する挿入部１２ａと、挿入部１２ａの基端部分に設けた操作部１２ｂと、挿入部１２ａの先端側に設けた湾曲部１２ｃと、先端部１２ｄと、を有している。操作部１２ｂのアングルノブ１２ｅを操作することにより、湾曲部１２ｃが湾曲する。その結果、先端部１２ｄが所望の方向に向く。また、操作部１２ｂには、アングルノブ１２ｅの他、ズーム操作部１３ａ、及び、モード切替操作部１３ｂが設けられている。ズーム操作部１３ａを操作することによって、被写体を拡大または縮小して撮影できる。また、モード切替操作部１３ｂを操作することによって、動作モードが切り替わる。動作モードは、内視鏡１２、光源装置１４、もしくは、プロセッサ装置１６のいずれかの動作態様、または、これらのうち２以上の動作態様の組み合わせをいう。
【0030】
具体的には、動作モードは、被写体の撮影に使用する照明光の種類、光学的な拡大処理の有無、または、画像処理の有無（これらの組み合わせを含む）で定まる。便宜的に、内視鏡１２の動作モード、光源装置１４の動作モード、または、プロセッサ装置１６の動作モード、と言う場合についても同様である。照明光の種類とは、照明光の波長、波長帯域、または分光スペクトルで区別し得る照明光の種類をいう。光学的な拡大処理とは、ズームレンズ４７（図２参照）を用いた拡大処理、すなわち光学ズームである。光学的な拡大処理の有無とは、光学的な拡大をすること、または、光学的な拡大をしないこと、をいう。光学的な拡大処理の有無には、特定拡大率以上の場合に光学的な拡大処理が有るとし、逆に、光学ズームを使用していていも特定拡大率未満の場合には光学的な拡大処理が無いとする場合（すなわち光学的な拡大処理の拡大率の大小を考慮する場合）を含む。なお、内視鏡システム１０は、光学的な拡大処理の代わりに、または、光学的な拡大処理と組み合わせて、電子的な拡大処理を行うことができる。電子的な拡大処理とは、内視鏡画像の一部を拡大する処理、すなわち電子ズームである。動作モードを定める画像処理とは、画像処理部６１（図２参照）において内視鏡画像に対して行う各種処理の一部または全部をいう。画像処理の有無とは、特定の画像処理を実施すること、または、実施しないことをいう。画像処理の有無には、特定強度以上で画像処理を実施する場合に画像処理が有りとし、特定強度未満の画像処理を実施する場合には画像処理が無いものとする場合（すなわち画像処理の強度の軽重を考慮する場合）を含む。
【0031】
内視鏡システム１０は、例えば、白色光を用いて被写体を撮影し、被写体を自然な色調で表示する通常観察モードと、白色光とは異なる特定の波長帯域を有する照明光を用いて被写体を撮影及び表示する特殊観察モードと、を有する。特殊観察モードには、例えば、通用観察モードで使用する白色光と比較して青色または紫色の成分を多く含む照明光を用いて被写体を撮影することにより、微細な血管等の特定の組織もしくは構造を観察しやすくするモード、または、内視鏡画像の色を変調して特定の病変等を観察しやすくするモード、等がある。以下、特に必要な場合を除き、上記細分化した複数の特殊観察モードは単に特殊観察モードといい、通常観察モードと特殊観察モードのみを区別する。
【0032】
図２に示すように、光源装置１４は、照明光を発光する光源部２０と、光源部２０の動作を制御する光源制御部２２と、を備える。
【0033】
光源部２０は、被写体を照明する照明光を発光する。照明光の発光には、照明光を発光するために使用する励起光等の発光を含む。光源部２０は、例えば、レーザーダイオード（以下、ＬＤという）、ＬＥＤ(Light Emitting Diode)、キセノンランプ、または、ハロゲンランプの光源を含み、少なくとも、白色の照明光、または、白色の照明光を発光するために使用する励起光を発光する。白色には、内視鏡１２を用いた被写体の撮影において実質的に白色と同等な、いわゆる擬似白色を含む。光源部２０は、必要に応じて、励起光の照射を受けて発光する蛍光体、または、照明光または励起光の波長帯域、分光スペクトル、もしくは光量等を調節する光学フィルタ等を含む。この他、光源部２０は、被写体が含むヘモグロビンの酸素飽和度等の生体情報を算出するために使用する画像の撮影に必要な、特定の波長帯域を有する光を発光できる。
【0034】
本実施形態においては、光源部２０は、Ｖ－ＬＥＤ２０ａ、Ｂ－ＬＥＤ２０ｂ、Ｇ－ＬＥＤ２０ｃ、及びＲ－ＬＥＤ２０ｄの４色のＬＥＤを有する。Ｖ－ＬＥＤ２０ａは、中心波長４０５ｎｍ、波長帯域３８０～４２０ｎｍの紫色光ＶＬを発光する。Ｂ－ＬＥＤ２０ｂは、中心波長４６０ｎｍ、波長帯域４２０～５００ｎｍの青色光ＢＬを発光する。Ｇ－ＬＥＤ２０ｃは、波長帯域が４８０～６００ｎｍに及ぶ緑色光ＧＬを発光する。Ｒ－ＬＥＤ２０ｄは、中心波長６２０～６３０ｎｍで、波長帯域が６００～６５０ｎｍに及ぶ赤色光ＲＬを発光する。なお、Ｖ－ＬＥＤ２０ａとＢ－ＬＥＤ２０ｂの中心波長は約±２０ｎｍ、好ましくは約±５ｎｍから約±１０ｎｍ程度の幅を有する。
【0035】
光源制御部２２は、光源部２０を構成する各光源の点灯または消灯もしくは遮蔽のタイミング、及び、発光量等を制御する。その結果、光源部２０は、分光スペクトルが異なる複数種類の照明光を発光できる。本実施形態においては、光源制御部２２は、各ＬＥＤ２０ａ～２０ｄの点灯や消灯、点灯時の発光量、光学フィルタの挿抜等を、各々に独立した制御信号を入力することにより、照明光の分光スペクトルを調節する。これにより、通常観察モードにおいては、光源部２０は白色光を発光する。また、光源部２０は、少なくとも狭帯域の紫色光からなる照明光を発光できる。「狭帯域」とは、被写体の特性及び／またはイメージセンサ４８が有するカラーフィルタの分光特性との関係において、実質的にほぼ単一の波長帯域であることをいう。例えば、中心波長を基準に、波長帯域が例えば約±２０ｎｍ以下（好ましくは約±１０ｎｍ以下）である場合、この光は狭帯域である。
【0036】
内視鏡１２の先端部１２ｄには、照明光学系３０ａと撮影光学系３０ｂが設けられている。照明光学系３０ａは、照明レンズ４５を有しており、この照明レンズ４５を介して照明光が被写体に向けて出射する。
【0037】
撮影光学系３０ｂは、対物レンズ４６、ズームレンズ４７、及びイメージセンサ４８を有する。イメージセンサ４８は、対物レンズ４６及びズームレンズ４７を介して、被写体から戻る照明光の反射光等（反射光の他、散乱光、被写体が発光する蛍光、または、被写体に投与等した薬剤に起因した蛍光等を含む）を用いて被写体を撮影する。ズームレンズ４７は、ズーム操作部１３ａの操作をすることで移動し、被写体像を拡大または縮小する。
【0038】
イメージセンサ４８は、画素ごとに、複数色のカラーフィルタのうち１色のカラーフィルタを有する。本実施形態においては、イメージセンサ４８は原色系のカラーフィルタを有するカラーセンサである。具体的には、イメージセンサ４８は、赤色カラーフィルタ（Ｒフィルタ）を有するＲ画素と、緑色カラーフィルタ（Ｇフィルタ）を有するＧ画素と、青色カラーフィルタ（Ｂフィルタ）を有するＢ画素と、を有する。
【0039】
なお、イメージセンサ４８としては、ＣＣＤ（Charge Coupled Device）センサや、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサを利用可能である。また、本実施形態のイメージセンサ４８は、原色系のカラーセンサであるが、補色系のカラーセンサを用いることもできる。補色系のカラーセンサは、例えば、シアンカラーフィルタが設けられたシアン画素、マゼンタカラーフィルタが設けられたマゼンタ画素、イエローカラーフィルタが設けられたイエロー画素、及び、グリーンカラーフィルタが設けられたグリーン画素を有する。補色系カラーセンサを用いる場合に上記各色の画素から得る画像は、補色－原色色変換をすれば、原色系のカラーセンサで得る画像と同様の画像に変換できる。原色系または補色系のセンサにおいて、Ｗ画素（ほぼ全波長帯域の光を受光するホワイト画素）等、上記以外の特性を有する画素を１または複数種類有する場合も同様である。また、本実施形態のイメージセンサ４８はカラーセンサであるが、カラーフィルタを有しないモノクロのセンサを使用してもよい。
【0040】
プロセッサ装置１６は、制御部５２と、画像取得部５４と、画像処理部６１と、報知部６５と、表示制御部６６と、を有する（図２参照）。
【0041】
制御部５２は、照明光の照射タイミングと撮影のタイミングの同期制御等の内視鏡システム１０の統括的な制御を行う。コンソール１９等を用いて、各種設定の入力等をした場合には、制御部５２は、その設定を、光源制御部２２、イメージセンサ４８、または画像処理部６１等の内視鏡システム１０の各部に入力する。
【0042】
画像取得部５４は、イメージセンサ４８から、各色の画素を用いて被写体を撮影した画像、すなわちＲＡＷ画像を取得する。また、ＲＡＷ画像は、デモザイク処理を実施する前の画像である。デモザイク処理を実施する前の画像であれば、イメージセンサ４８から取得した画像に対してノイズ低減処理等の任意の処理を実施した画像もＲＡＷ画像に含む。
【0043】
画像取得部５４は、取得したＲＡＷ画像に必要に応じて各種処理を施して内視鏡画像を生成するために、ＤＳＰ（Digital Signal Processor）５６と、ノイズ低減部５８と、変換部５９と、を備える。
【0044】
ＤＳＰ５６は、例えば、オフセット処理部、欠陥補正処理部、デモザイク処理部、補完処理部、リニアマトリクス処理部、及び、ＹＣ変換処理部、等（いずれも図示しない）を備える。ＤＳＰ５６は、これらを用いてＲＡＷ画像またはＲＡＷ画像を用いて生成した画像に対して各種処理を施す。
【0045】
オフセット処理部は、ＲＡＷ画像に対してオフセット処理を施す。オフセット処理は、ＲＡＷ画像から暗電流成分を低減し、正確な零レベルを設定する処理である。オフセット処理は、クランプ処理と称する場合がある。欠陥補正処理部は、ＲＡＷ画像に対して欠陥補正処理を施す。欠陥補正処理は、イメージセンサ４８が製造工程または経時変化に起因する欠陥を有する画素（欠陥画素）を含む場合に、イメージセンサ４８の欠陥画素に対応するＲＡＷ画素の画素値を補正または生成する処理である。デモザイク処理部は、各色のカラーフィルタに対応する各色のＲＡＷ画像に対してデモザイク処理を施す。デモザイク処理は、ＲＡＷ画像においてカラーフィルタの配列に起因して欠落する画素値を補間によって生成する処理である。リニアマトリクス処理部は、１または複数のＲＡＷ画像をＲＧＢ各色のチャンネルに割り当てることにより生成する内視鏡画像に対してリニアマトリクス処理を行う。リニアマトリクス処理は、内視鏡画像の色再現性を高める処理である。ＹＣ変換処理部は、１または複数のＲＡＷ画像をＲＧＢ各色のチャンネルに割り当てることにより生成する内視鏡画像を、輝度チャンネルＹと色差チャンネルＣｂ及び色差チャンネルＣｒを有する内視鏡画像に変換する処理である。
【0046】
ノイズ低減部５８は、輝度チャンネルＹ、色差チャンネルＣｂ及び色差チャンネルＣｒを有する内視鏡画像に対して、例えば、移動平均法またはメディアンフィルタ法等を用いてノイズ低減処理を施す。変換部５９は、ノイズ低減処理後の輝度チャンネルＹ、色差チャンネルＣｂ及び色差チャンネルＣｒを再びＢＧＲの各色のチャンネルを有する内視鏡画像に再変換する。
【0047】
画像処理部６１は、画像取得部５４が出力する内視鏡画像に、観察モード等に応じて必要な画像処理を施す。また、画像処理部６１は、内視鏡画像を用いて、特定の特徴を有する被写体または被写体の一部を認識する認識処理を行う。具体的には、図３に示すように、画像処理部６１は、画像生成部７１、認識部７２、及び、識別部７３等を備える。
【0048】
画像生成部７１は、画像取得部５４から内視鏡画像を取得して、モニタ１８への表示等に使用する内視鏡画像を生成する。例えば、画像生成部７１は、画像取得部５４から、Ｂ画素を用いて被写体を撮影したＢ画像と、Ｇ画素を用いて被写体を撮影したＧ画像と、Ｒ画素を用いて被写体を撮影したＲ画像と、を取得し、これらの全部または一部を用いて表示用の内視鏡画像を生成する。
【0049】
また、画像生成部７１は、表示用の内視鏡画像を生成する際に、画像取得部５４から取得する内視鏡画像、または、画像取得部５４から取得する内視鏡画像を用いて生成する画像に対して、観察モード等に応じて必要な画像処理を施す。画像生成部７１が行う画像処理は、例えば、被写体または被写体の一部を強調する強調処理である。強調とは、他の組織または構造等と区別して、特定の部分の情報を得られるようにすることをいう。例えば、特定の特徴を有する部分を枠で囲み、輪郭を示し、または、他の部分（例えば正常な粘膜等）に対して相対的に色彩もしくは明るさを変更する等の処理は強調処理である。「情報を得られるようにすること」には、特定の部分の位置、形状、色彩もしくは明るさ、及び／または、大きさ（範囲）等を認識し得るようにすることの他、特定の部分について生体機能情報（例えば酸素飽和度または血管の密度等）を知得し得るようにすることを含む。
【0050】
認識部７２は、被写体を撮影した画像を用いて被写体を認識する認識処理を行う。「被写体を認識する」とは、特定の特徴を有する被写体の部分の有無を検出すること（被写体の全部を検出する場合を含む）、特定の特徴を有する被写体の部分の種類もしくは進行度を鑑別すること（被写体の全体について鑑別することを含む）、及び／または、被写体の一部もしくは全部についての生体機能情報を得る（算出等する）ことをいう。特定の特徴を有する被写体の部分とは、例えば、病変または病変の候補（以下、病変等という）である。すなわち、認識部７２は、認識処理によって、病変等の有無を認識できる。また、認識部７２は、認識処理によって、病変等の種類または進行度を認識できる。病変等の種類の認識とは、その病変等がポリープである場合には、腺腫、過形成ポリープ、または、癌等の種別を鑑別することをいう。病変等の進行度の認識とは、その病変等が癌であれば癌のステージ、その他、ＮＩＣＥ（NBI(Narrow Band Imaging) International Colorectal Endoscopic Classification）分類もしくはＪＮＥＴ（The Japan NBI Expert Team）分類等を鑑別することをいう。本実施形態においては、被写体を撮影した画像は、画像取得部５４から取得する内視鏡画像、または、画像生成部７１が生成する内視鏡画像である。また、本実施形態においては、認識部７２は認識処理によって病変等を検出する。
【0051】
認識部７２は、例えば、学習機能を有する人工知能（ＡＩ(Artificial Intelligence)）である。具体的には、認識部７２は、ニューラルネットワーク（ＮＮ(Neural Network)）、畳み込みニューラルネットワーク（ＣＮＮ(Convolutional Neural Network)）、アダブースト（adaboost）、ランダムフォレスト（Random Forest）等の機械学習アルゴリズムを用いて学習したＡＩである。また、認識部７２は、特定の画像を用いて認識処理をするための学習をしているので、他の画像を用いた認識処理を行えるとしても、認識処理の結果の精度が低い場合がある。本実施形態においては、認識部７２は、通常観察モードにおいて得られる表示用の内視鏡画像を用いて病変等を検出する学習をしたＡＩである。「学習機能を有する」とは、学習できることをいい、学習済みであることを含む。なお、認識部７２は、ＡＩで構成する代わりに、画像から特徴量を算出し、算出した特徴量を用いて検出等を行う構成とすることができる。
【0052】
また、認識部７２は、認識処理の結果を、認識処理の内容にしたがって画像生成部７１または表示制御部６６に入力する。認識部７２が認識処理の結果を画像生成部７１に入力する場合、画像生成部７１は認識処理の結果を反映した表示用の内視鏡画像生成する。認識部７２が認識処理の結果を表示制御部６６に入力する場合、表示制御部６６は画像生成部７１から取得する内視鏡画像とともに、認識処理の結果をモニタ１８の画面に表示する。認識部７２が認識処理の結果を画像生成部７１に入力するのは、例えば、認識処理の結果である生体機能情報の値を用いて表示用の内視鏡画像の色彩等を変更する場合である。認識部７２が認識処理の結果を表示制御部６６に入力するのは、例えば、認識処理の結果である病変等の位置等を、内視鏡画像に重畳した枠の表示等で示す場合である。本実施形態においては、認識部７２は、認識処理の結果である検出した病変等の位置等の情報を画像生成部７１に入力する。そして、画像生成部７１は、病変等がある部分について強調処理をした表示用の内視鏡画像を生成する。
【0053】
識別部７３は、被写体を撮影した画像の種類を識別する。「画像の種類の識別」とは、ある種類の画像について、認識部７２が行う認識処理が機能するか否かを識別することをいう。すなわち、識別部７３は、画像の種類を、認識処理が機能する画像と、認識処理が機能しない画像と、の２種類に識別する。認識処理が機能する画像とは、認識処理を実施した場合に特定精度以上の結果が見込める画像をいい、認識処理が機能しない画像とは、認識処理を実施した場合に特定精度未満の結果しか見込めない画像をいう。例えば、認識部７２がＡＩである場合、認識部７２が学習に用いた画像と同じ種類の画像は認識処理が機能する画像であり、それ以外の画像は認識処理が機能しない画像である。特定精度とは、診断等を支援するに足りる認識処理の確度または信頼度等の基準値である。本実施形態においては、認識部７２は、通常観察モードにおいて得られる内視鏡画像は認識処理が機能する画像であり、特殊観察モードにおいて得られる内視鏡画像は認識処理が機能しない画像である。
【0054】
識別部７３は、具体的には、動作モード、被写体の撮影に使用する内視鏡１２の機種、または、被写体への薬剤の投与の有無、を判別することによって、画像の種類を識別する。
【0055】
識別部７３は、動作モードを、制御部５２から取得する動作モードの設定情報（動作モードの切り替えによって生じる電気信号を含む）を用いて判別できる。例えば、動作モードが通常観察モードであれば、被写体を撮影して得る画像は認識処理が機能する画像であると識別する。また、識別部７３は、画像取得部５４から取得する内視鏡画像もしくは画像生成部７１が生成する内視鏡画像を解析することにより、動作モードを判別できる。例えば、内視鏡画像の色彩、明るさの分布（照明光のムラ）、または、被写体のサイズ（ピットパターンの有無または平均的な太さ等）等を解析し、その結果を用いて動作モードを判別できる。
【0056】
識別部７３は、制御部５２から取得する内視鏡１２の機種に係る情報を用いて、内視鏡１２の機種を判別できる。内視鏡１２の機種を判別すると、内視鏡１２に搭載するイメージセンサ４８の種類（カラーフィルタの特性等）を判別することとなる。このため、識別部７３は、その機種の内視鏡１２を用いて撮影した画像に対して認識処理が機能し得るか否かを識別できる。内視鏡１２の機種に係る情報は、光源装置１４またはプロセッサ装置１６に内視鏡１２を接続した際に、制御部５２が内視鏡１２から取得する。
【0057】
識別部７３は、制御部５２から取得する薬剤投与に係る設定情報を取得することにより、被写体への薬剤の投与の有無を判別できる。また、識別部７３は、画像取得部５４から取得する内視鏡画像もしくは画像生成部７１が生成する内視鏡画像を解析することにより、被写体への薬剤の投与の有無を判別できる。なお、被写体への薬剤の投与とは、被写体の表面にインジゴカルミン等の色素剤を散布することの他、被写体にインドシアニングリーン（ＩＣＧ）等の蛍光薬剤を静脈注射することを含む。
【0058】
本実施形態においては、識別部７３は、動作モードが通常観察モードと特殊観察モードのどちらであるかを判別することにより、画像の種類を識別する。また、識別部７３は、上記動作モードの判別に、制御部５２から取得する動作モードの設定情報を用いる。
【0059】
上記のように識別部７３は画像の種類を識別する他、識別した画像が認識処理の機能する種類の画像であり、かつ、認識部７２が停止状態（認識処理を行わない状態）である場合には認識部７２を起動する。一方、識別部７３は、識別した画像が認識処理の機能しない種類の画像であり、かつ、認識部７２が起動状態（認識処理を行う状態）である場合には、認識部７２を停止する。これにより、認識部７２は、画像の種類が認識処理の機能する種類である場合に自動的に起動し、かつ、画像の種類が認識処理の機能しない種類である場合には自動的に停止する。
【0060】
報知部６５は、識別部７３から認識処理が機能するか否かの情報を取得する。そして、報知部６５は、識別部７３が識別した特定の種類の画像について、認識処理が機能するか否かを報知する。認識処理が機能するか否かについて「報知する」とは、ユーザである医師等が、認識処理が機能するか否かのステータスを知得し得る状態にすることをいう。例えば、報知部６５は、モニタ１８の画面にメッセージ（文字列）、文字、図形、及び／または、記号等（マーク、アイコン、もしくはインジケータ等の表示を含む）を表示すること、これらを表示しないこと、もしくは、これらの表示を変更することにより、認識処理が機能するか否かを報知できる。この他、報知部６５は、ランプの点灯、消灯もしくは点滅等、音（音声を含む）、振動機能を有する部材の振動、または、これらの変更等によって、認識処理が機能するか否かを報知できる。もちろん、報知部６５は、文字列等と、ランプの点灯等と、を組み合わせて、認識処理が機能するか否かを報知できる。本実施形態においては、報知部６５は、モニタ１８の画面に、認識処理が機能するか否かを示す表示をする。
【0061】
また、報知部６５は、少なくとも、画像の種類が切り替わった場合に、認識処理が機能するか否かを報知する。画像の種類が切り替わった場合とは、識別部７３における識別の結果が変化した場合である。本実施形態においては、画像の種類が切り替わった場合を含め、認識処理が機能するか否かを継続的に報知する。但し、設定によって、報知部６５は、画像の種類が切り替わった場合に、所定時間、認識処理が機能するか否かを報知し、それ以外の期間は、認識処理が機能するか否かの報知を停止できる。この設定は、継続的な報知が煩わしいと感じる場合に有用である。
【0062】
表示制御部６６は、画像処理部６１が出力する内視鏡画像を表示に適した形式に変換してモニタ１８に出力する。これにより、モニタ１８は内視鏡画像を表示する。また、本実施形態においては、報知部６５が、認識処理が機能するか否かを示す情報を入力する。このため、表示制御部６６は、モニタ１８の画面にその情報を表示する。
【0063】
上記のように構成する内視鏡システム１０は、認識処理が機能するか否かの報知について以下のように動作する。図４に示すように、モード切替操作部１３ｂを操作することによって動作モードを設定し（ステップＳ１１０）、被写体を撮影すると（ステップＳ１１１）、画像取得部５４が内視鏡画像を取得する。そして、画像生成部７１が必要な画像処理を施して表示用の内視鏡画像を生成する（ステップＳ１１２）。一方で、識別部７３は、認識処理が機能する画像か否かを識別する（ステップＳ１１３（識別ステップ））。認識処理が機能する場合（ステップＳ１１３：ＹＥＳ）、認識部７２は認識処理を実行し（ステップＳ１１４）、かつ、報知部６５は認識処理が機能する旨を報知する（ステップＳ１１５）。
【0064】
より具体的には、動作モードが通常観察モードである場合、画像生成部７１は、被写体を自然な色調で表示する内視鏡画像である通常観察画像１２１を生成する。このため、図５に示すように、表示制御部６６は、通常観察画像１２１をモニタ１８の画面に表示する。また、本実施形態の識別部７３は、通常観察画像１２１が、認識処理の機能する画像であると識別するので、認識部７２は認識処理を実行する。このため、報知部６５は、その旨を、例えば「ＡＩ動作中」の表示１２２によって報知する。その結果、医師等は、認識処理の結果を正しく認識できる。すなわち、通常観察画像１２１には認識処理の結果である病変等が示されていないので、「ＡＩ動作中」の表示１２２による報知がない場合、医師等は、認識処理を行った結果として病変等が示されていないのか、認識処理を行っていない結果として病変等が示されていないのかを認識できない。しかし、「ＡＩ動作中」の表示１２２による報知があることで、医師等は、認識部７２が認識処理を実行した結果、この通常観察画像１２１には病変等がないと示していることを正しく認識できる。
【0065】
また、図６に示すように、通常観察モードにおいて、病変等１２３がある被写体を撮影した場合、認識処理の結果を受けて、画像生成部７１は、病変等１２３を強調した通常観察画像１２４を生成し、表示制御部６６はこれをモニタ１８に表示する。この場合、「ＡＩ動作中」の表示１２２による報知がなければ、医師等は、通常観察画像１２４の病変等１２３が、認識処理を行った結果、強調されたものであるのか、強調処理等がなされていない本来の病変等１２３であるのかを認識しにくい場合がある。しかし、「ＡＩ動作中」の表示１２２による報知があることで、医師等は、認識部７２が認識処理を実行した結果、強調した病変等１２３であることを正しく認識できる。
【0066】
一方、図７に示すように、特殊観察モードで被写体を観察する場合、画像生成部７１は、例えば、通常観察画像１２１とは異なる態様の特殊観察画像１３１を生成し、表示制御部６６は、これをモニタ１８の画面に表示する。この場合、本実施形態の識別部７３は、特殊観察画像１３１が、認識処理の機能しない画像であると識別するので、認識部７２は認識処理を実行しない。このため、報知部６５は、その旨を、例えば「ＡＩ停止中」の表示１３２によって報知する。その結果、医師等は、認識処理の結果を正しく認識できる。すなわち、特殊観察画像１３１には認識処理の結果である病変等が示されていないので、「ＡＩ停止中」の表示１３２による報知がない場合、医師等は、認識処理を行った結果として病変等が示されていないのか、認識処理を行っていない結果として病変等が示されていないのかを認識できない。特に、内視鏡システム１０が認識処理を行うという先入観がある場合、認識部７２が認識処理を行っていないにもかかわらず、医師等は特殊観察画像１３１には認識処理を行った結果として病変等がないという結果を示していると誤認して、診断の精度が低下してしまう場合がある。しかし、「ＡＩ停止中」の表示１３２による報知があれば、認識処理を行っていないことを認識できるため、医師等は、上記のような誤認をせず、特殊観察画像１３１を観察するので、正しく診断できる。
【0067】
上記の通り、内視鏡システム１０によれば、認識処理を行った結果及び認識処理を行わなかった結果の誤認を防止できる。その結果、誤診を防止できる。
【0068】
なお、上記第１実施形態においては、報知部６５は、モニタ１８の画面に「ＡＩ動作中」の表示１２２または「ＡＩ停止中」の表示１３２を表示することにより、認識処理が機能するか否かを報知するが、報知部６５は、認識処理が機能するか否か以外の情報も併せて報知できる。例えば、報知部６５は、識別部７３が画像の種類の識別に使用した情報の一部又は全部を報知できる。第１実施形態の場合、識別部７３は、動作モードの設定情報を用いて画像の種類を判別するので、図８に示すように、報知部６５は、モニタ１８の画面に、「通常観察モード」等の表示１４１によって、動作モードを報知できる。識別部７３が動作モード以外の情報を用いて画像の種類を判別する場合も同様である。
【0069】
また、上記第１実施形態においては、報知部６５は、モニタ１８の画面に「ＡＩ動作中」の表示１２２または「ＡＩ停止中」の表示１３２を表示することにより、認識処理が機能するか否かを報知するが、認識処理が機能するか否かの報知態様は任意である。例えば、図９に示すように、報知部６５は、「ＡＩ動作中」の文字列による表示１２２の代わりに、「ＡＩ動作中」を示すアイコン１５１を表示して、認識処理が機能していることを報知できる。同様に、図１０に示すように、報知部６５は、「ＡＩ停止中」の文字列による表示１３２の代わりに、「ＡＩ停止中」を示すアイコン１５２を表示して、認識処理が機能していないことを報知できる。また、文字列を用いて、認識処理が機能するか否かを報知する場合においても、「ＡＩ動作中」の代わりに、「AI: ON」または「AI: Supported」等の表示によって報知できる。同様に、「ＡＩ停止中」の代わりに、「AI: OFF」または「AI: Not supported」の表示によって報知できる。この他、図１１に示すように、報知部６５は、「ＡＩ動作中」の文字列による表示１２２の代わりに、「通常観察モード」の表示１４１に二重枠１６１を付すことによって、認識処理が機能していることを報知できる。また、図１２に示すように、報知部６５は、「ＡＩ停止中」の文字列に依る表示１３２の代わりに、例えば「特殊観察モード」の表示１４３に一重枠１６２を付すことによって、認識処理が機能していないことを報知できる。
【0070】
上記第１実施形態においては、報知部６５は、モニタ１８の画面における表示によって、認識処理が機能するか否かを報知するが、モニタ１８の画面における表示以外の態様で認識処理が機能するか否かを報知する場合、図１３に示すように、プロセッサ装置１６は、報知デバイス１７１を備えることができる。報知デバイス１７１は、音もしくは音声を発するスピーカー、ＬＥＤ等の発光素子で構成するインジケータ、または、モータもしくは圧電素子等の振動素子等である。この他、報知部６５は、内視鏡システム１０が備える素子等を、報知デバイス１７１として使用できる。また、プロセッサ装置１６以外、すなわち、内視鏡１２または光源装置１４に報知デバイス１７１を設けてもよい。
【0071】
［第２実施形態］
本実施形態においては、内視鏡システム１０が、光学的な拡大処理及び／または電子的な拡大処理によって被写体を拡大観察する拡大観察モードと、光学的な拡大処理及び／または電子的な拡大処理を用いない非拡大観察モードと、の２種類の動作モードを有する。この場合、識別部７３は、拡大処理の有無によって画像の種類を識別できる。
本実施形態においては、内視鏡システム１０が、光学的な拡大処理及び／または電子的な拡大処理によって被写体を拡大観察する拡大観察モードと、光学的な拡大処理及び／または電子的な拡大処理を用いない非拡大観察モードと、の２種類の動作モードを有する。この場合、識別部７３は、拡大処理の有無によって画像の種類を識別できる。
【0072】
具体的には、図１４に示すように、モード切替操作部１３ｂを操作することによって動作モードを設定し（ステップＳ２１０）、被写体を撮影すると（ステップＳ２１１）、画像取得部５４が内視鏡画像を取得し、画像生成部７１が必要な画像処理を施して表示用の内視鏡画像を生成する（ステップＳ２１２）。これらは、第１実施形態と同様である。
【0073】
一方、識別部７３は、観察モードが、拡大観察モードと非拡大モードのいずれであるかを判別することにより（ステップＳ２１３）、画像の種類を識別する。例えば、識別部７３は、拡大観察モードで得る内視鏡画像を、認識処理が機能する画像であると識別する（ステップＳ２１３：ＹＥＳ）。このため、認識部７２は、拡大観察モードで得た内視鏡画像を用いて認識処理を行い（ステップＳ２１４）、報知部６５は、認識処理が機能する旨を報知する。また、識別部７３は、非拡大観察モードで得る内視鏡画像を、認識処理が機能しない画像であると識別する（ステップＳ２１３：ＮＯ）。このため、認識部７２は、非拡大観察モードで得た内視鏡画像に対して認識処理を行わず、報知部６５は、認識処理が機能しない旨を報知する（ステップＳ２１６）。報知の方法は、第１実施形態及びその変形例と同様である。
【0074】
上記第２実施形態によれば、医師等は、拡大観察モードと非拡大観察モードのそれぞれにおいて、認識処理の結果が示されている場合、または、認識処理の結果が示されない場合があっても、認識処理を行った結果及び認識処理を行わなかった結果を誤認せず、認識処理が機能しているか否かを正しく認識できる。その結果、誤診を防止できる。
【0075】
図１４のフローチャートにおいては、拡大観察モードの場合に認識処理を行うが、これは認識部７２が拡大処理をした内視鏡画像を用いて病変等の検出及び／または鑑別の学習をしたＡＩである場合に有用である。また、内視鏡システム１０は、非拡大観察モードの場合に認識処理を行うことができる。これは、認識部７２が拡大処理をしていない内視鏡画像を用いて病変等の検出及び／または鑑別の学習をしたＡＩである場合に有用である。すなわち、上記第２実施形態は、認識部７２が、拡大観察モードまたは非拡大観察モードのいずれか一方で得た内視鏡画像を用いて、病変等の検出及び／または鑑別をする学習をしたＡＩである場合に有用である。
【0076】
なお、上記第２実施形態は第１実施形態と組み合わせることができる。例えば、通常観察モードかつ拡大観察モード、通常観察モードかつ非拡大観察モード、特殊観察モードかつ拡大観察モード、または、特殊観察モードかつ非拡大観察モードのいずれかの場合に、認識処理を行って認識処理が機能する旨を報知し、他の場合には認識処理を行わず、認識処理が機能しない旨を報知できる。
【0077】
［第３実施形態］
本実施形態においては、内視鏡システム１０が、強調処理を行う強調モードと、強調処理を行わない非強調モードと、の２種類の動作モードを有する。この場合、識別部７３は、強調処理の有無によって画像の種類を識別できる。
本実施形態においては、内視鏡システム１０が、強調処理を行う強調モードと、強調処理を行わない非強調モードと、の２種類の動作モードを有する。この場合、識別部７３は、強調処理の有無によって画像の種類を識別できる。
【0078】
具体的には、図１５に示すように、モード切替操作部１３ｂを操作することによって動作モードを設定し（ステップＳ３１０）、被写体を撮影すると（ステップＳ３１１）、画像取得部５４が内視鏡画像を取得し、画像生成部７１が必要な画像処理を施して表示用の内視鏡画像を生成する（ステップＳ３１２）。これらは第１実施形態と同様である。
【0079】
一方、識別部７３は、観察モードが強調モードと非強調モードのいずれであるかを判別することにより（ステップＳ３１３）、画像の種類を識別する。例えば、識別部７３は、非強調モードで得る内視鏡画像を、認識処理が機能する画像であると識別する（ステップＳ３１３：ＹＥＳ）。このため、認識部７２は、非強調モードで得た内視鏡画像を用いて認識処理を行い（ステップＳ３１４）、報知部６５は、認識処理が機能する旨を報知する。また、識別部７３は、強調モードで得る内視鏡画像を、認識処理が機能しない画像であると識別する（ステップＳ３１３：ＮＯ）。このため、認識部７２は、強調モードで得た内視鏡画像に対して認識処理を行わず、報知部６５は、認識処理が機能しない旨を報知する（ステップＳ３１６）。報知の方法は、第１実施形態及びその変形例と同様である。
【0080】
上記第３実施形態によれば、医師等は、非強調モードと強調モードのそれぞれにおいて、認識処理の結果が示されている場合、または、認識処理の結果が示されない場合があっても、認識処理を行った結果及び認識処理を行わなかった結果を誤認せず、認識処理が機能しているか否かを正しく認識できる。その結果、誤診を防止できる。
【0081】
図１５のフローチャートにおいては、非強調モードの場合に認識処理を行うが、これは認識部７２が強調処理をしていない内視鏡画像を用いて病変等の検出及び／または鑑別の学習をしたＡＩである場合に有用である。また、内視鏡システム１０は、強調モードの場合に認識処理を行うことができる。これは、認識部７２が病変等を強調処理した内視鏡画像を用いて病変等の検出及び／または鑑別の学習をしたＡＩである場合に有用である。すなわち、上記第３実施形態は、認識部７２が、強調モードまたは非強調モードのいずれか一方で得た内視鏡画像を用いて、病変等の検出及び／または鑑別をする学習をしたＡＩである場合に有用である。
【0082】
なお、上記第３実施形態は、第１実施形態及び／または第２実施形態と組み合わせることができる。例えば、通常観察モードかつ強調モード、通常観察モードかつ非強調モード、特殊観察モードかつ強調モード、または、特殊観察モードかつ非強調モードのいずれかの場合に、認識処理を行って認識処理が機能する旨を報知し、他の場合には認識処理を行わず、認識処理が機能しない旨を報知できる。第２実施形態と組み合わせる場合、または、第１実施形態及び第２実施形態と組み合わせる場合も同様である。
【0083】
［第４実施形態］
本実施形態においては、複数の機種が異なる内視鏡１２を使用できるものとする。この場合、識別部７３は、内視鏡１２の機種によって画像の種類を識別できる。
本実施形態においては、複数の機種が異なる内視鏡１２を使用できるものとする。この場合、識別部７３は、内視鏡１２の機種によって画像の種類を識別できる。
【0084】
具体的には、図１６に示すように、モード切替操作部１３ｂを操作することによって動作モードを設定し（ステップＳ４１０）、被写体を撮影すると（ステップＳ４１１）、画像取得部５４が内視鏡画像を取得し、画像生成部７１が必要な画像処理を施して表示用の内視鏡画像を生成する（ステップＳ４１２）。これらは、第１実施形態と同様である。
【0085】
一方、識別部７３は、使用している内視鏡１２の機種が適切であるか否かを判別することにより（ステップＳ４１３）、画像の種類を識別する。例えば、識別部７３は、特定の機種の内視鏡１２を用いて得る内視鏡画像を、認識処理が機能する画像であると識別する（ステップＳ４１３：ＹＥＳ）。このため、認識部７２は、特定の機種の内視鏡１２を用いて得た内視鏡画像を用いて認識処理を行い（ステップＳ４１４）、報知部６５は、認識処理が機能する旨を報知する。また、識別部７３は、特定の機種以外の機種（以下、非特定機種という）の内視鏡１２を用いて得る内視鏡画像を、認識処理が機能しない画像であると識別する（ステップＳ４１３：ＮＯ）。このため、認識部７２は、非特定機種の内視鏡１２を用いて得た内視鏡画像に対して認識処理を行わず、報知部６５は、認識処理が機能しない旨を報知する（ステップＳ４１６）。報知の方法は、第１実施形態及びその変形例と同様である。
【0086】
上記第４実施形態によれば、医師等は、特定機種の内視鏡１２を使用する場合と非特定機種の内視鏡１２を使用する場合のそれぞれにおいて、認識処理の結果が示されている場合、または、認識処理の結果が示されない場合があっても、認識処理を行った結果及び認識処理を行わなかった結果を誤認せず、認識処理が機能しているか否かを正しく認識できる。その結果、誤診を防止できる。内視鏡１２は機種によって搭載するイメージセンサ４８の種類（カラーフィルタの特性等）が異なるので、得られる内視鏡画像の特性が異なる。例えば、同じ被写体を撮影した場合でも、内視鏡１２の機種によって内視鏡画像の色彩、明るさ、または分解能等が異なる場合がある。上記第４実施形態は、認識部７２が、特定機種の内視鏡１２を用いて撮影した内視鏡画像を用いて病変等の検出及び／または鑑別の学習をした場合に、有用である。認識処理が機能する画像を得られる内視鏡１２が複数種類ある場合には、上記「特定機種の内視鏡１２」は、複数種類の機種の内視鏡１２を含むグループである。
【0087】
なお、上記第４実施形態は、第１実施形態、第２実施形態、及び／または、第３実施形態と組み合わせることができる。例えば、通常観察モードかつ特定機種の内視鏡１２を使用する場合に認識処理を行って認識処理が機能する旨を報知し、他の場合には認識処理を行わず、認識処理が機能しない旨を報知できる。他の実施形態との組み合わせる場合も同様である。
【0088】
［第５実施形態］
識別部７３が被写体への薬剤の投与の有無によって画像の種類を識別する場合、内視鏡システム１０は、図１７に示すように動作する。具体的には、モード切替操作部１３ｂを操作することによって動作モードを設定し（ステップＳ５１０）、被写体を撮影すると（ステップＳ５１１）、画像取得部５４が内視鏡画像を取得し、画像生成部７１が必要な画像処理を施して表示用の内視鏡画像を生成する（ステップＳ５１２）。これらは、第１実施形態と同様である。
識別部７３が被写体への薬剤の投与の有無によって画像の種類を識別する場合、内視鏡システム１０は、図１７に示すように動作する。具体的には、モード切替操作部１３ｂを操作することによって動作モードを設定し（ステップＳ５１０）、被写体を撮影すると（ステップＳ５１１）、画像取得部５４が内視鏡画像を取得し、画像生成部７１が必要な画像処理を施して表示用の内視鏡画像を生成する（ステップＳ５１２）。これらは、第１実施形態と同様である。
【0089】
一方、識別部７３は、被写体への薬剤の投与の有無を判別することにより（ステップＳ５１３）、画像の種類を識別する。例えば、識別部７３は、被写体に薬剤が投与されていない場合に得る内視鏡画像を、認識処理が機能する画像であると識別する（ステップＳ５１３：ＹＥＳ）。このため、認識部７２は、薬剤が投与されていない被写体を撮影した内視鏡画像を用いて認識処理を行い（ステップＳ５１４）、報知部６５は、認識処理が機能する旨を報知する。また、識別部７３は、薬剤を投与した被写体を撮影した内視鏡画像を、認識処理が機能しない画像であると識別する（ステップＳ５１３：ＮＯ）。このため、認識部７２は、薬剤を投与した被写体を撮影した内視鏡画像に対して認識処理を行わず、報知部６５は、認識処理が機能しない旨を報知する（ステップＳ５１６）。報知の方法は、第１実施形態及びその変形例と同様である。
【0090】
上記第５実施形態によれば、医師等は、被写体に薬剤を投与した場合と被写体に薬剤を投与していない場合のそれぞれにおいて、認識処理の結果が示されている場合、または、認識処理の結果が示されない場合があっても、認識処理を行った結果及び認識処理を行わなかった結果を誤認せず、認識処理が機能しているか否かを正しく認識できる。
【0091】
なお、上記第５実施形態は、被写体に薬剤を投与しない場合に認識処理を行っているが、これは、認識部７２が、薬剤を投与していない被写体の内視鏡画像を用いて、病変等の検出及び／または鑑別の学習をしたＡＩである場合に有用である。また、内視鏡システム１０は、被写体に特定の薬剤を投与した場合に認識処理を行うことができる。これは、認識部７２が、特定の薬剤を投与した被写体の内視鏡画像を用いて、病変等の検出及び／または鑑別の学習をした場合に有用である。この場合、識別部７３は、設定情報を用いて、または、内視鏡画像の解析により、被写体に投与した薬剤の種類を判別して、画像の種類を識別することができる。
【0092】
上記第５実施形態は、第１実施形態、第２実施形態、第３実施形態、第４実施形態、または、これらのうち複数の実施形態と組み合わせることができる。例えば、内視鏡システム１０は、通常観察モードかつ薬剤の投与がない場合に、認識処理を行って、認識処理が機能する旨を報知し、他の場合には、認識処理を行わず、認識処理が機能しない旨を報知できる。この他の組み合わせについても同様である。
【0093】
［第６実施形態］
第１実施形態等においては、識別部７３が認識部７２を自動的に起動または停止するが、内視鏡システム１０は、認識部７２を自動的に起動または停止する変わりに、医師等が手動で認識処理を有効化する設定、または、無効化する設定をすることができる。この場合、図１８に示すように、モード切替操作部１３ｂを操作することによって動作モードを設定し（ステップＳ６１０）、被写体を撮影すると（ステップＳ６１１）、画像取得部５４が内視鏡画像を取得し、画像生成部７１が必要な画像処理を施して表示用の内視鏡画像を生成する（ステップＳ６１２）。これらは、第１実施形態と同様である。
第１実施形態等においては、識別部７３が認識部７２を自動的に起動または停止するが、内視鏡システム１０は、認識部７２を自動的に起動または停止する変わりに、医師等が手動で認識処理を有効化する設定、または、無効化する設定をすることができる。この場合、図１８に示すように、モード切替操作部１３ｂを操作することによって動作モードを設定し（ステップＳ６１０）、被写体を撮影すると（ステップＳ６１１）、画像取得部５４が内視鏡画像を取得し、画像生成部７１が必要な画像処理を施して表示用の内視鏡画像を生成する（ステップＳ６１２）。これらは、第１実施形態と同様である。
【0094】
一方、識別部７３は、設定情報を用いて、認識処理の有効または無効を判別し（ステップＳ６１３）、かつ、動作モードを判別することにより（ステップＳ６１４）画像の種類を識別する。認識処理が手動設定により有効である場合（ステップＳ６１３：ＹＥＳ）、通常観察モードであれば（ステップＳ６１４：ＹＥＳ）、認識部７２は認識処理を実行し（ステップＳ６１５）、報知部６５は認識処理が機能する旨を報知する（ステップＳ６１６）。認識処理が手動設定により無効である場合（ステップＳ６１３：ＮＯ）、または、動作モードが特殊観察モードである場合（ステップＳ６１４：ＮＯ）には、認識部７２は認識処理を実行せず、報知部６５は、認識処理が機能しない旨を報知する（ステップＳ６１７）。報知の方法は、第１実施形態及びその変形例と同様である。
【0095】
上記第６実施形態によれば、報知部６５が、認識処理が機能するか否かを適切に報知するので、医師等は、認識処理の結果が示されている場合、または、認識処理の結果が示されない場合があっても、認識処理を行った結果及び認識処理を行わなかった結果を誤認せず、認識処理が機能しているか否かを正しく認識できる。例えば、医師等が手動設定で認識処理を無効化したことを失念した場合でも、報知部６５が認識処理が機能しない旨を報知するので、認識処理の結果が示されないことが、認識処理が機能していない結果であることを正しく認識できる。
【0096】
第６実施形態は、第１実施形態、第２実施形態、第３実施形態、第４実施形態、第５実施形態、またはこれらのうち複数の実施形態と任意に組み合わせて実施することができる。
【0097】
［第７実施形態］
上記第１実施形態等においては、識別部７３が認識部７２を自動的に起動または停止するので、報知部６５による報知内容は、認識処理が機能するか否かであるが、識別部７３が認識部７２を自動的に起動または停止しない場合には、報知部６５は、認識処理が機能するか否かの他、さらに、認識部７２が起動している場合と、認識部７２が停止している場合とで異なる態様により報知をすることが好ましい。
上記第１実施形態等においては、識別部７３が認識部７２を自動的に起動または停止するので、報知部６５による報知内容は、認識処理が機能するか否かであるが、識別部７３が認識部７２を自動的に起動または停止しない場合には、報知部６５は、認識処理が機能するか否かの他、さらに、認識部７２が起動している場合と、認識部７２が停止している場合とで異なる態様により報知をすることが好ましい。
【0098】
具体的には、図１９に示すように、認識部７２が起動しているために認識処理が「有効」であり、かつ、認識処理が機能する画像が得られる動作モード等（「認識処理 可」）である場合、報知部６５は第１報知態様で、認識処理が機能するか否かを報知する。第１報知態様は、例えば、「ＡＩ動作中」の表示１２２である。一方、認識部７２が停止している（未起動である）ために認識処理が「無効」であり、かつ、認識処理が機能する画像が得られる動作モード等（「認識処理 可」）である場合、報知部６５は、第２報知態様で、認識処理が機能するか否かを報知する。第２報知態様は、例えば、「ＡＩ未起動」、「ＡＩで認識処理が可能です」、または、「ＡＩ非起動によりＡＩ停止中」等の表示である。
【0099】
また、認識部７２が起動しているために認識処理が「有効」であるが、認識処理が機能しない画像を得る動作モード等（「認識処理 不可」）である場合、報知部６５は第３報知態様で、認識処理が機能するか否かを報知する。第３報知態様は、例えば、「認識処理エラー」、「ＡＩ対応不能」、または、「ＡＩ対応不可によりＡＩ停止中」等の表示である。認識部７２が停止しているために認識処理が「無効」であり、かつ、認識処理が機能しない画像を得る動作モード等（「認識処理 不可」）である場合、報知部６５は第４報知態様で、認識処理が機能するか否かを報知する。第４報知態様は、例えば、「ＡＩ停止中」の表示１３２である。
【0100】
上記第７実施形態のように、報知部６５が、認識部７２が起動している場合と、認識部７２が停止している場合とで異なる態様により報知をすると、医師等は、認識部７２の動作状態と認識処理の結果を誤認せず、詳細かつ正確に把握することができる。そして、例えば、第２報知態様の報知内容を見れば、認識処理を行えることが明らかであるから、認識処理を手動で無効していた場合でも、認識処理を有効化して、内視鏡システム１０の支援を受けることが容易である。
【0101】
なお、第１実施形態等は、報知部６５が第１報知態様または第４報知態様のいずれかの態様で報知をするものである。また、上記第７実施形態においては、第１報知態様、第２報知態様、第３報知態様、及び、第４報知態様の全てを異なる表示にしているが、第７実施形態は、認識部７２が起動している場合と、認識部７２が停止している場合とで異なる態様により報知をするパターンが１以上含まれていればよく、第１報知態様、第２報知態様、第３報知態様、及び、第４報知態様のうち、２以上が同じ表示となることを妨げない。例えば、第２表示態様及び／または第３表示態様を、第４表示態様と同じ「ＡＩ停止中」の表示１３２にしてもよい。この場合においても、少なくとも、第１表示態様と第２表示態様が異なるので、医師等は、認識部７２の動作状態と認識処理の結果を誤認せず、詳細かつ正確に把握することができる。
【0102】
［第８実施形態］
第１実施形態等においては、認識部７２は病変等を検出する認識処理を行うＡＩであるが、図２０に示すＡＩ（１）、ＡＩ（２）、…、ＡＩ（Ｎ）のように、認識部７２は、各々異なる種類の画像について機能する（認識処理を行う）複数のＡＩで構成することができる。ＡＩ（１）は、例えば、薬剤を投与していない被写体を、通常観察モードで、拡大して撮影した内視鏡画像を用いて、病変等の検出の学習をしたＡＩである。また、ＡＩ（２）は、例えば、ＡＩ（１）と同条件の内視鏡画像を用いて、病変等の鑑別の学習をしたＡＩである。図示しないＡＩ（３）は、例えば、薬剤を投与していない被写体を、特殊観察モードで、拡大して撮影した内視鏡画像を用いて、病変等の検出の学習をしたＡＩである。他も同様である。
第１実施形態等においては、認識部７２は病変等を検出する認識処理を行うＡＩであるが、図２０に示すＡＩ（１）、ＡＩ（２）、…、ＡＩ（Ｎ）のように、認識部７２は、各々異なる種類の画像について機能する（認識処理を行う）複数のＡＩで構成することができる。ＡＩ（１）は、例えば、薬剤を投与していない被写体を、通常観察モードで、拡大して撮影した内視鏡画像を用いて、病変等の検出の学習をしたＡＩである。また、ＡＩ（２）は、例えば、ＡＩ（１）と同条件の内視鏡画像を用いて、病変等の鑑別の学習をしたＡＩである。図示しないＡＩ（３）は、例えば、薬剤を投与していない被写体を、特殊観察モードで、拡大して撮影した内視鏡画像を用いて、病変等の検出の学習をしたＡＩである。他も同様である。
【0103】
上記のように、認識部７２が、各々異なる認識処理を行う複数のＡＩを含む場合、識別部７３は、これら複数のＡＩのいずれか１つ以上が機能するか否かについて、画像の種類を識別する。そして、報知部６５は、複数のＡＩのそれぞれについて、認識処理が機能するか否かを報知する。これにより、認識部７２が複数のＡＩを含む場合においても、各ＡＩについてそれぞれ認識処理が機能するか否かを正確に報知できる。なお、報知部６５は、複数のＡＩのうち少なくともいずれか１つ以上が機能する場合に、認識処理が機能する旨を報知できる。この場合、各ＡＩについてそれぞれ認識処理が機能するか否かを報知する場合と比較して、簡潔に認識処理が機能する旨を報知できる。
【0104】
上記第８実施形態においては、１つの認識部７２が複数のＡＩを含んでいるが、図２１に示すように、認識部７２の代わりに、第１認識部８０１、第２認識部８０２、…、第Ｍ認識部８０３等、各々異なる種類の画像について機能する（認識処理を行う）複数の認識部を備える場合も同様である。すなわち、認識部７２の代わりに、複数の認識部（第１認識部８０１及び第２認識部８０２等）を備える場合、報知部６５は、これら複数の認識部についてそれぞれ認識処理が機能するか否かを報知する。これにより、認識部７２の代わりに複数の認識部を備える場合においても、各認識部についてそれぞれ認識処理が機能するか否かを正確に報知できる。なお、報知部６５は、第１認識部８０１及び第２認識部８０２等の複数の認識部のうち少なくともいずれか１つ以上が機能する場合に、認識処理が機能する旨を報知してもよい。この場合、各認識部についてそれぞれ認識処理が機能するか否かを報知する場合と比較して、簡潔に認識処理が機能する旨を報知できる。
【0105】
なお、図２２に示すように、認識部７２、識別部７３、及び／または、報知部６５は、例えばプロセッサ装置１６と通信して内視鏡システム１０と連携する医療画像処理装置９０１に設けることができる。また、図２３に示すように、認識部７２、識別部７３、及び／または、報知部６５は、例えば内視鏡システム１０（報知部６５等を有しないものを含む）から直接的に、または、ＰＡＣＳ（Picture Archiving and Communication Systems）９１０から間接的に、内視鏡１２で撮影したＲＡＷ画像を取得する診断支援装置９１１に設けることができる。また、図２４に示すように、内視鏡システム１０を含む、第１検査装置９２１、第２検査装置９２２、…、第Ｋ検査装置９２３等の各種検査装置と、ネットワーク９２６を介して接続する医療業務支援装置９３０に、認識部７２、識別部７３、及び／または、報知部６５を設けることができる。
【0106】
すなわち、本発明は、被写体を撮影した画像の種類を識別する識別部と、画像を用いて被写体を認識する認識処理を行う認識部と、識別部が識別した特定の種類の画像について、認識処理が機能するか否かを報知する報知部と、を備える医療画像処理装置及びその作動方法を含む。また、本発明は、被写体を撮影した画像の種類を識別する識別部と、画像を用いて被写体を認識する認識処理を行う認識部と、識別部が識別した特定の種類の画像について、認識処理が機能するか否かを報知する報知部と、を備える診断支援装置及びその作動方法を含む。同様に、本発明は、被写体を撮影した画像の種類を識別する識別部と、画像を用いて被写体を認識する認識処理を行う認識部と、識別部が識別した特定の種類の画像について、認識処理が機能するか否かを報知する報知部と、を備える医療業務支援装置及びその作動方法を含む。
【0107】
また、本発明は、識別部が被写体を撮影した画像の種類を識別するステップと、認識部が画像を用いて被写体を認識する認識処理を行うステップと、報知部が、識別部が識別した特定の種類の画像について、認識処理が機能するか否かを報知するステップと、を備える内視鏡システムの作動方法を含む。また、本発明は、被写体を撮影した画像の種類を識別する識別部と、画像を用いて被写体を認識する認識処理を行う認識部と、識別部が識別した特定の種類の画像について、認識処理が機能するか否かを報知する報知部と、を備えるプロセッサ装置及びその作動方法を含む。
【0108】
なお、内視鏡１２としてカプセル内視鏡を使用できる。この場合、光源装置１４と、プロセッサ装置１６の一部と、はカプセル内視鏡に搭載できる。
【0109】
上記実施形態において、認識部７２、識別部７３、または報知部６５等の各種の処理を実行する処理部（processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウエア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit)、ＧＰＵ（Graphical Processing Unit）、ＦＰＧＡ (Field Programmable Gate Array) などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device:ＰＬＤ）、各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
【0110】
１つの処理部は、これら各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合せ（例えば、複数のＦＰＧＡ、ＣＰＵとＦＰＧＡの組み合わせ、またはＣＰＵとＧＰＵの組み合わせ等）で構成してもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウエアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。
【0111】
さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた形態の電気回路（circuitry）である。
【0112】
なお、本発明は、内視鏡画像を取得等する内視鏡システム、プロセッサ装置、その他関連する装置等の他に、内視鏡画像以外の医療画像（動画を含む）を取得するシステムまたは装置等においても利用できる。例えば、本発明は、超音波検査装置、Ｘ線画像撮影装置（ＣＴ（Computed Tomography）検査装置及びマンモグラフィ装置等を含む）、ＭＲＩ（magnetic resonance imaging）装置、等に適用できる。
【符号の説明】
【0113】
１０ 内視鏡システム
１２ 内視鏡
１２ａ 挿入部
１２ｂ 操作部
１２ｃ 湾曲部
１２ｄ 先端部
１２ｅ アングルノブ
１３ａ ズーム操作部
１３ｂ モード切替操作部
１４ 光源装置
１６ プロセッサ装置
１８ モニタ
１９ コンソール
２０ 光源部
２２ 光源制御部
３０ａ 照明光学系
３０ｂ 撮影光学系
４５ 照明レンズ
４６ 対物レンズ
４７ ズームレンズ
４８ イメージセンサ
５２ 制御部
５４ 画像取得部
５６ ＤＳＰ
５８ ノイズ低減部
５９ 変換部
６１ 画像処理部
６５ 報知部
６６ 表示制御部
７１ 画像生成部
７２ 認識部
７３ 識別部
１２１、１２４ 通常観察画像
１２２ 認識処理が機能する旨の表示
１３１ 特殊観察画像
１３２ 認識処理が機能しない旨の表示
１４１ 通常観察モードの表示
１４３ 特殊観察モードの表示
１５１ ＡＩ動作中を示すアイコン
１５２ ＡＩ停止中を示すアイコン
１６１ 二重枠
１６２ 一重枠
１７１ 報知デバイス
８０１ 第１認識部
８０２ 第２認識部
８０３ 第Ｍ認識部
９０１ 医療画像処理装置
９１０ ＰＡＣＳ
９１１ 診断支援装置
９２１ 第１検査装置
９２２ 第２検査装置
９２３ 第Ｋ検査装置
９２６ ネットワーク
９３０ 医療業務支援装置
Ｓ１１０～Ｓ６１７ 動作ステップ
１２ 内視鏡
１２ａ 挿入部
１２ｂ 操作部
１２ｃ 湾曲部
１２ｄ 先端部
１２ｅ アングルノブ
１３ａ ズーム操作部
１３ｂ モード切替操作部
１４ 光源装置
１６ プロセッサ装置
１８ モニタ
１９ コンソール
２０ 光源部
２２ 光源制御部
３０ａ 照明光学系
３０ｂ 撮影光学系
４５ 照明レンズ
４６ 対物レンズ
４７ ズームレンズ
４８ イメージセンサ
５２ 制御部
５４ 画像取得部
５６ ＤＳＰ
５８ ノイズ低減部
５９ 変換部
６１ 画像処理部
６５ 報知部
６６ 表示制御部
７１ 画像生成部
７２ 認識部
７３ 識別部
１２１、１２４ 通常観察画像
１２２ 認識処理が機能する旨の表示
１３１ 特殊観察画像
１３２ 認識処理が機能しない旨の表示
１４１ 通常観察モードの表示
１４３ 特殊観察モードの表示
１５１ ＡＩ動作中を示すアイコン
１５２ ＡＩ停止中を示すアイコン
１６１ 二重枠
１６２ 一重枠
１７１ 報知デバイス
８０１ 第１認識部
８０２ 第２認識部
８０３ 第Ｍ認識部
９０１ 医療画像処理装置
９１０ ＰＡＣＳ
９１１ 診断支援装置
９２１ 第１検査装置
９２２ 第２検査装置
９２３ 第Ｋ検査装置
９２６ ネットワーク
９３０ 医療業務支援装置
Ｓ１１０～Ｓ６１７ 動作ステップ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】