特許 7495063 内視鏡システム及びその作動方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-05-27

(45)【発行日】2024-06-04

(54)【発明の名称】内視鏡システム及びその作動方法

(51)【国際特許分類】

   A61B 1/267 20060101AFI20240528BHJP

   A61B 1/045 20060101ALI20240528BHJP

   A61B 5/11 20060101ALI20240528BHJP

【ＦＩ】

A61B1/267

A61B1/045 614

A61B1/045 610

A61B5/11 310

【請求項の数】 15

(21)【出願番号】P 2021086549

(22)【出願日】2021-05-21

(65)【公開番号】P2022179222

(43)【公開日】2022-12-02

【審査請求日】2023-07-06

(73)【特許権者】

【識別番号】306037311

【氏名又は名称】富士フイルム株式会社

(73)【特許権者】

【識別番号】000125381

【氏名又は名称】学校法人藤田学園

(74)【代理人】

【識別番号】110001988

【氏名又は名称】弁理士法人小林国際特許事務所

(72)【発明者】

【氏名】寺村 友一

(72)【発明者】

【氏名】大高 洋平

(72)【発明者】

【氏名】加賀谷 斉

(72)【発明者】

【氏名】柴田 斉子

【審査官】小野 健二

(56)【参考文献】

【文献】米国特許出願公開第２０１７／０３３７６８４（ＵＳ，Ａ１）

【文献】国際公開第２０１９／２１６０８４（ＷＯ，Ａ１）

【文献】特開２０１６－００７４４４（ＪＰ，Ａ）

【文献】特開２０１８－１９８６３５（ＪＰ，Ａ）

【文献】国際公開第２０１９／２２５２３０（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ １／００－１／３２

５／０６－５／２２

Ｇ０６Ｔ １／００

(57)【特許請求の範囲】

【請求項1】

被写体を照明し、前記被写体からの光を撮像する内視鏡システムにおいて、
制御用プロセッサを備え、
前記制御用プロセッサは、
検査画像を取得し、
前記検査画像から喉頭を検出し、
前記喉頭の運動を捉えて、前記検査画像が嚥下中又は非嚥下中であることを判定する内視鏡システム。

【請求項2】

前記制御用プロセッサは、
前記検査画像から高画素値領域を検出し、
前記高画素値領域の面積が第１閾値以上である場合に嚥下中であると判定する請求項１に記載の内視鏡システム。

【請求項3】

前記制御用プロセッサは、
前記検査画像をグレースケールに変換してグレースケール画像とし、
前記グレースケール画像が有する画素の濃度値が第２閾値以上の場合、前記高画素値領域とする二値化処理を行う請求項２に記載の内視鏡システム。

【請求項4】

前記制御用プロセッサは、
前記検査画像から判定対象領域を決定し、前記判定対象領域から前記高画素値領域を検出する請求項２又は３に記載の内視鏡システム。

【請求項5】

前記判定対象領域は、前記検査画像の画像中心から、縦方向及び横方向へ向かって少なくとも１０ピクセル以上であって、
前記判定対象領域の一辺の大きさは前記検査画像の縦又は横のいずれか小さい方の半分の大きさ以下の範囲内の領域である請求項４に記載の内視鏡システム。

【請求項6】

前記制御用プロセッサは、
前記検査画像から喉頭蓋領域を検出し、
前記喉頭蓋領域を前記判定対象領域とする請求項４に記載の内視鏡システム。

【請求項7】

前記制御用プロセッサは、
前記検査画像を分類器に入力し、嚥下中又は非嚥下中であると出力する請求項１ないし６のいずれか１項に記載の内視鏡システム。

【請求項8】

前記分類器は、嚥下中又は非嚥下中と判定された画像で学習されている請求項７に記載の内視鏡システム。

【請求項9】

前記制御用プロセッサは、
嚥下中と判定した前記検査画像を取得した後、一定期間に取得されたフレームの前記検査画像を嚥下中と判定し、前記一定期間に取得された前記検査画像を嚥下中動画として出力する請求項１ないし８のいずれか１項に記載の内視鏡システム。

【請求項10】

前記制御用プロセッサは、
前記一定期間に取得された前記検査画像を前記嚥下中動画として記録する請求項９に記載の内視鏡システム。

【請求項11】

前記制御用プロセッサは、
前記一定期間に取得された前記検査画像のうち、前記嚥下中動画をタグ付けして出力する請求項９または１０に記載の内視鏡システム。

【請求項12】

前記制御用プロセッサは、
前記一定期間に取得された前記検査画像のうち、前記嚥下中動画をタグ付けして記録する請求項９ないし１１のいずれか１項に記載の内視鏡システム。

【請求項13】

前記一定期間は任意に設定可能である請求項９ないし１２のいずれか１項に記載の内視鏡システム。

【請求項14】

前記一定期間は嚥下動作に要する時間に基づいて自動的に設定される請求項９ないし１３のいずれか１項に記載の内視鏡システム。

【請求項15】

被写体を照明し、前記被写体からの光を撮像する内視鏡システムの作動方法において、
前記内視鏡システムが備える前記制御用プロセッサが、
検査画像を取得するステップと、
前記検査画像から喉頭を検出するステップと、
前記喉頭の運動を捉えて、前記検査画像が嚥下中又は非嚥下中であることを判定するステップと、を有する内視鏡システムの作動方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、検査で得られた画像を解析する手段を有する内視鏡システム及びその作動方法に関する。

【背景技術】

【0002】

食物や飲物がうまく飲み込めなくなる状態のことを嚥下障害という。嚥下障害がある場合、食物が誤って気道に流入することによる窒息や、誤嚥性肺炎を引き起こす可能性が高くなると言われている。嚥下障害は高齢や神経系の疾患に伴って発生することから、近年の高齢化社会において嚥下機能の検査を行うことの重要性はますます高まってきている。嚥下機能の検査は、誤嚥の病態を特定し、嚥下障害の治療や予防を適切に行うために行われる。

【0003】

嚥下機能の検査方法として、いくつかの新しい手法が開発されつつある。例えば、特許文献１では、嚥下音を含む音声波形データを取得し、喉頭蓋閉音、食道通過音、喉頭蓋開音等の嚥下に伴う音を詳細に解析している。また、特許文献２では、３次元形状計測装置を用いて、皮膚や表層筋の動きや口角間距離の計測及び解析を行い、嚥下機能を評価している。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１６－１８５２０９号公報

【文献】国際公開第２０１８／１９３９５５号

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１及び２に記載の測定方法は比較的新しい手法であり、臨床的には、Ｘ線を用いた嚥下造影検査（ＶＦ：VideoFluoroscopic examination of swallowing）、嚥下内視鏡検査（ＶＥ：VideoEndoscopic examination of swallowing）が嚥下障害の評価方法（嚥下機能評価検査）として確立されている。嚥下造影検査は、造影剤を被検体に嚥下させ、嚥下時の咽頭、喉頭、食道における放射線画像を得る検査である。嚥下内視鏡検査は、内視鏡を経鼻的に体内に挿入し、嚥下時の咽頭及び喉頭、特に喉頭蓋周辺の内視鏡画像を得る検査である。嚥下内視鏡検査では、取得された大量の画像を観察する必要がある。このため、検査中の見落としが生じる可能性がある。また、検査後に長時間の動画を見直すことはユーザーにとって負担である。そこで、観察を行うユーザーの負担を軽減する技術が求められている。

【0006】

本発明は、内視鏡検査中に得られた画像を観察する負担を軽減する内視鏡システム及びその作動方法を提供することを目的としている。

【課題を解決するための手段】

【0007】

本発明の内視鏡システムは、被写体を照明し、被写体からの光を撮像する内視鏡システムにおいて、制御用プロセッサを備え、制御用プロセッサは、検査画像を取得し、検査画像から喉頭を検出し、喉頭の運動を捉えて、検査画像が嚥下中又は非嚥下中であることを判定する。

【0008】

制御用プロセッサは、検査画像から高画素値領域を検出し、高画素値領域の面積が第１閾値以上である場合に嚥下中であると判定することが好ましい。

【0009】

制御用プロセッサは、検査画像をグレースケールに変換してグレースケール画像とし、グレースケール画像が有する画素の濃度値が第２閾値以上の場合、高画素値領域とする二値化処理を行うことが好ましい。

【0010】

制御用プロセッサは、検査画像のうち、検査画像から判定対象領域を決定し、判定対象領域から高画素値領域を検出することが好ましい。判定対象領域となる領域は、検査画像の画像中心から、縦方向及び横方向へ向かって少なくとも１０ピクセル以上であって、判定対象領域の一辺の大きさは検査画像の縦又は横のいずれか小さい方の半分の大きさ以下の範囲内の領域であることが好ましい。制御用プロセッサは、検査画像から喉頭蓋領域を検出し、判定対象領域を喉頭蓋領域とすることが好ましい。

【0011】

制御用プロセッサは、検査画像を分類器に入力し、嚥下中又は非嚥下中であると出力することが好ましい。分類器は、嚥下中又は非嚥下中と判定された画像で学習されていることが好ましい。

【0012】

制御用プロセッサは、嚥下中と判定した検査画像を取得した後、一定期間に取得されたフレームの検査画像を嚥下中と判定し、一定期間に取得された検査画像を嚥下中動画として出力することが好ましい。一定期間は任意に設定可能であることが好ましい。一定期間は嚥下動作に要する時間に基づいて自動的に設定されることが好ましい。

【0013】

本発明の内視鏡システムの作動方法は、被写体を照明し、被写体からの光を撮像する内視鏡システムの作動方法であって、内視鏡システムが備える制御用プロセッサが、検査画像を取得するステップと、検査画像から喉頭を検出するステップと、喉頭の運動を捉えて、検査画像が嚥下中又は非嚥下中であることを判定するステップと、を有する。

【発明の効果】

【0014】

本発明の内視鏡システム及びその作動方法によれば、内視鏡検査中に得られた画像を観察する負担を軽減する内視鏡システム及びその作動方法を提供することができる。

【図面の簡単な説明】

【0015】

【図1】内視鏡システムの構成図である。

【図2】通常光のスペクトルを示すグラフである。

【図3】嚥下判定部の機能を示すブロック図である。

【図4】嚥下について示す説明図である。

【図5】誤嚥について示す説明図である。

【図6】検査画像の撮像方法について示す説明図及び画像図である。

【図7】第１判定部における嚥下の判定方法を示す説明図である。

【図8】画像中心からの大きさと検査画像の大きさから判定対象領域を選択する方法を示す説明図である。

【図9】喉頭蓋領域を検出し、判定対象領域とする方法を示す説明図である。

【図10】第２判定部における嚥下の判定方法を示す説明図である。

【図11】嚥下中動画の作成方法を示す説明図である。

【発明を実施するための形態】

【0016】

図１に示すように、内視鏡システム１０は、内視鏡１２、光源装置１４、プロセッサ装置１５、コンピュータ１６、記録装置１７、ディスプレイ１８、ユーザーインターフェース１９、を備える。内視鏡１２は、光源装置１４と光学的に接続され、且つ、プロセッサ装置１５と電気的に接続される。内視鏡１２は、観察対象の体内に挿入される挿入部１２ａと、挿入部１２ａの基端部分に設けられた操作部１２ｂと、挿入部１２ａの先端側に設けられた湾曲部１２ｃ及び先端部１２ｄとを有している。湾曲部１２ｃは、操作部１２ｂのアングルノブ１２ｅを操作することにより湾曲動作する。先端部１２ｄは、湾曲部１２ｃの湾曲動作によって所望の方向に向けられる。内視鏡１２は、ファイバースコープであってもよく、挿入部１２ａの操作部側端にあってもよい。内視鏡１２は、嚥下内視鏡検査に用いられる内視鏡である。

【0017】

内視鏡１２の内部には、被写体像を結像するための光学系、及び、被写体に照明光を照射するための光学系が設けられる。被写体は、嚥下運動に関係する生体内の構造である。具体的には、咽頭部及び喉頭部である。操作部１２ｂには、アングルノブ１２ｅの他、観察対象の静止画の取得指示に用いられる静止画像取得指示スイッチ１２ｈと、ズームレンズの操作に用いられるズーム操作部１２ｉとが設けられている。

【0018】

光源装置１４は、照明光を発生する。プロセッサ装置１５は、内視鏡システム１０のシステム制御及び内視鏡１２から出力された画像信号に対して画像処理等を行う。ディスプレイ１８は、内視鏡１２で撮像した画像を表示する表示部である。ユーザーインターフェース１９は、プロセッサ装置１５等への設定入力等を行う入力デバイスである。

【0019】

光源装置１４は、照明光を発光する光源部２０と、光源部２０の動作を制御する光源制御部２２と、を備える。光源部２０は、被写体を照明する照明光を発光する。光源部２０は、例えば、レーザーダイオード、ＬＥＤ(Light Emitting Diode)、キセノンランプ、または、ハロゲンランプの光源を含み、少なくとも、図２に示すようなスペクトルの照明光（通常光）を発光する。なお、光源部２０は内視鏡１２に内蔵されていてもよい。この場合、光源部２０、内視鏡１２及びプロセッサ装置１５は、無線的に接続される。また、光源制御部は内視鏡１２に内蔵されていてもよく、あるいはプロセッサ装置１５に内蔵されていてもよい。白色には、内視鏡１２を用いた被写体の撮像において実質的に白色と同等な、図２に示すような紫色光Ｖ、青色光Ｂ、緑色光Ｇ、または赤色光Ｒを混色したいわゆる擬似白色を含む。また、光源部２０は、必要に応じて、照明光の波長帯域、スペクトル、または光量等を調節する光学フィルタ等を含む。

【0020】

光源制御部２２は、光源部２０を構成する各光源の点灯または消灯、及び、発光量等を制御する。内視鏡１２の先端部１２ｄには、照明光学系と撮像光学系が設けられている。光源部２０が発光した照明光は、ライトガイドを介して内視鏡１２の挿入部１２ａを通過し、先端部１２ｄから照明光学系の照明レンズを介して被写体に向けて出射される。なお、光源部２０が先端部１２ｄに内蔵される場合はライトガイドを介さずに照明光学系の照明レンズを介して被写体に向けて出射される。撮像光学系は、対物レンズ、撮像センサを有している。照明光を照射したことによる観察対象からの光は、対物レンズ及びズームレンズを介して撮像センサに入射する。これにより、撮像センサに観察対象の像が結像される。ズームレンズは観察対象を拡大するためのレンズであり、ズーム操作部１２ｉを操作することによって、テレ端とワイド端と間を移動する。

【0021】

撮像センサは、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ、ＣＣＤ（Charge-Coupled Device）センサ等である。撮像センサが検知した画像信号に基づき、検査画像が生成される。

【0022】

撮像センサには、感知した光をカラーの画像信号に変換するカラーフィルタ（ベイヤーフィルタ等）が設けられたカラー撮像センサに加えて、感知した光をモノクロの画像信号に変換するカラーフィルタが設けられていないモノクロ撮像センサを含めてもよい。なお、カラー撮像センサは、感知した光をＲＢＧ信号にするものでなく、ＣＭＹ信号に変換するものとしてもよい。

【0023】

カラー画像を取得する場合、画像信号には、Ｂ画素から出力されるＢ画像信号、Ｇ画素から出力されるＧ画像信号、及び、Ｒ画素から出力されるＲ画像信号が含まれる。画像信号はプロセッサ装置１５の画像取得部３１に出力され、モノクロ画像またはカラー画像である検査画像として取得される。画像取得部３１で取得された検査画像は、コンピュータ１６の画像入力部３３に出力される。画像入力部３３に出力された検査画像は、嚥下判定部４０に出力される。検査画像は、内視鏡検査中に撮像された時系列的に連続した一連の動画である。

【0024】

プロセッサ装置１５は、制御部３０、画像取得部３１、表示制御部３２を含む。プロセッサ装置１５においては、制御用プロセッサで構成される制御部３０により、プログラム用メモリ内のプログラムが動作することで、画像取得部３１及び表示制御部３２の機能が実現される。

【0025】

コンピュータ１６は、画像入力部３３、嚥下判定部４０、結果記録部３４を含む。コンピュータ１６においては、制御用プロセッサで構成される中央制御部（図示しない）により、プログラム用メモリ内のプログラムが動作することで、画像入力部３３、嚥下判定部４０及び結果記録部３４の機能が実現される。なお、コンピュータ１６及び／または光源制御部２２は、プロセッサ装置１５に含まれてもよい。結果記録部３４は、嚥下動作が行われたタイミング及び回数を記録し、ディスプレイ１８に表示する画像や、記録装置１７に出力する画像の生成及び動画編集を行う。

【0026】

以下、図３を参照しながら、嚥下判定部４０の機能について説明する。嚥下判定部４０は、第１判定部４１、第２判定部４２、嚥下中動画作成部４３を備える。嚥下判定部４０は、取得された検査画像が嚥下中または非嚥下中であるかを判定し、さらに、検査によって得た動画の中から、嚥下中の判定を行った動画（嚥下中動画）を抽出する。

【0027】

嚥下とは、食物や飲物を口に入れ、咀嚼し、飲み込み、食道へ送り込む一連の動作のことを指す。図４は正常な嚥下、図５は異常な嚥下（誤嚥）についての説明図である。嚥下運動は、図４に示すように、食物Ｆを主に舌Ｔoの運動により口腔から咽頭へ運ぶ「口腔期」、食物Ｆを嚥下反射により咽頭から食道Ｅｓへ運ぶ「咽頭期」、食物Ｆを食道の蠕動運動により食道Ｅｓから胃へ運ぶ「食道期」に分けられる。嚥下の際は、食物Ｆを食道Ｅｓへ向かわせて気管Ｔｒへ流入させないため、気管Ｔｒに蓋をする役割を担う喉頭蓋Ｅｇが、反射運動により気管Ｔｒの入り口（声門）を閉鎖する。また、口腔の天井である軟口蓋Ｓｐも後方へ移動して口腔と鼻腔の通路を閉鎖し、食物Ｆが鼻腔へ侵入しないようにする。口腔期、咽頭期、食道期のいずれかのタイミングにおいて何らかの機能障害が起こった場合、図５のように、正常であれば食道Ｅｓに輸送されるはずの食物Ｆが気管Ｔｒに流入することを誤嚥という。

【0028】

図５の誤嚥の例１は、口腔期から咽頭期にかけ、嚥下反射が起こる前に気管Ｔｒに食物Ｆが流入する誤嚥の例である。図５の誤嚥の例２は、咽頭期から食道期にかけ、嚥下反射の中途において喉頭蓋Ｅｇによる声門（気管Ｔｒの入口）の閉鎖が不完全なことで気管Ｔｒに食物Ｆが流入する誤嚥の例である。図５の誤嚥の例３は、喉頭蓋谷Ｅｖや、食道の入口の左右に存在する窪みである梨状陥凹（図６の検査画像の例１００を参照）に残留した食物Ｆが、嚥下反射後に気管Ｔｒに流入する誤嚥の例である。

【0029】

本実施形態において取得される検査画像は、内視鏡１２の挿入部１２ａを鼻腔から咽頭へ挿入し、図６に示す中咽頭部の位置Ｒ付近に内視鏡の先端部１２ｄが来るようにして撮像される。検査画像には、図６の検査画像の例１００に示すように、喉頭蓋Ｅｇ、声門裂Ｒｇ、左右の梨状陥凹Ｐｓ等の解剖学的構造が含まれることが好ましい。声門裂Ｒｇとは、声帯を構成する左右のヒダの間の空間のことである。以下はこの中咽頭部に内視鏡先端を配置する場合について説明するが、これ以外にも鼻咽腔部、上咽頭部、下咽頭部、あるいは喉頭部に配置して嚥下の判定を行ってもよい。

【0030】

嚥下の判定は、第１判定部４１または第２判定部４２のいずれかにおいて行われる。また、判定の精度を向上させるため、第１判定部４１及び第２判定部４２における判定の結果を組み合わせて嚥下の判定を行ってもよい。嚥下判定部４０において行われる解析について、以下、説明する。

【0031】

第１判定部４１は、検査画像内の高画素値領域の面積をもとに嚥下中または非嚥下中の判定を行う。高画素値領域とは、一定値以上の画素値を有する、具体的にはハレーション、白飛び、ホワイトアウトを生じた領域である。まず、画像入力部３３から出力された検査画像をグレースケール変換し、グレースケール画像とする。グレースケール変換には、ガンマ補正等を用いる。次に、グレースケール画像を二値化処理して二値化処理画像を生成し、高画素値領域と、低画素値領域に分ける。ここで、検査画像の高画素値領域の面積が第１閾値以上である場合に嚥下中と判定する。

【0032】

図７は、第１判定部４１における嚥下判定の具体例である。図７上段は非嚥下中の検査画像を用いる例であって、図７下段は嚥下中の検査画像を用いる例である。まず、検査画像をグレースケール変換し、グレースケール画像（図７上段、グレースケール画像４１ａ、及び、図７下段、グレースケール画像４１ｃ）とする。次に、グレースケール画像に二値化処理を行い、二値化処理画像（図７上段、二値化処理画像４１ｂ、及び、図７下段、二値化処理画像４１ｄ）とする。図７の二値化処理画像４１ｂ及び４１ｄでは、斜線で示した部分を低画素値領域４１ｅとし、白抜きの部分を高画素値領域４１ｆとする。ここで、高画素値領域４１ｆの面積が第１閾値以上である場合は嚥下中と判定され、高画素値領域４１ｆが第１閾値未満である場合は非嚥下中と判定される。図７では、二値化処理画像４１ｂは非嚥下中と判定され、二値化処理画像４１ｄは嚥下中と判定される。

【0033】

嚥下中は、嚥下運動に伴い、軟口蓋Ｓｐ、舌Ｔо、喉頭蓋Ｅｇなどが激しく動いて収縮し、内視鏡先端部に覆いかぶさる。第１判定部４１における嚥下判定は、嚥下中は内視鏡１２の照明光出射部およびイメージセンサの前に周囲組織が覆いかぶさり自動露光制御が追い付かず、白飛びする領域が増えることを利用している。なお、第１閾値は任意に設定できる。

【0034】

グレースケール画像の二値化処理において、高画素値領域と低画素値領域に分ける濃度値の閾値を第２閾値とすることが好ましい。グレースケール画像の各画素の有する濃度値が、第２閾値以上の場合はその領域を高画素値領域とし、第２閾値未満の場合はその領域を低画素値領域とする。

【0035】

また、グレースケール変換または二値化処理を行う際に、検査画像の中から判定対象領域を決定し、判定対象領域にのみグレースケール変換または二値化処理を行い、高画素値領域を検出して嚥下判定を行ってもよい。判定対象領域の範囲は、例えば、１フレーム毎の検査画像Ｉｍの画像中心４１ｇから、縦方向及び横方向へ向かって少なくとも１０ピクセル以上であって、判定対象領域の一辺の大きさは検査画像の縦又は横のいずれか小さい方の半分の大きさ以下の範囲内の領域とする。図８の具体例では、検査画像Ｉｍの縦の大きさがａピクセル、横の大きさがｂピクセルであって、ａ＜ｂである。判定対象領域４１ｈは、画像中心から縦横１／４ａピクセルの幅をとった領域であり、判定対象領域４１ｈの一辺の大きさは１／２ａピクセルである。図８では、判定対象領域４１ｈを斜線で示している。なお、検査画像の大きさは縦横１０ピクセル以上の大きさである。

【0036】

また、検査画像から喉頭蓋領域を検出し、喉頭蓋領域を判定対象領域としてもよい。例えば、図９に示すように、検査画像４１ｉ、検査画像４１ｊが時系列順に取得された検査画像である場合、検査画像４１ｉから喉頭蓋領域４１ｋを検出し、検査画像４１ｉ以降に取得された検査画像（例えば、検査画像４１ｊ）では、喉頭蓋領域４１ｋを判定対象領域としてもよい。喉頭蓋領域４１ｋは、内視鏡検査中に検査画像を取得して初めて喉頭蓋を検出した場合に決定してもよく、内視鏡１２の倍率を変更した場合に決定してもよい。上記構成により、白飛びの領域面積によって検査画像を嚥下中か非嚥下中に分類することができる。ユーザーは嚥下中と判定された検査画像を見て各種診断を行うことができるため、検査がスムーズになり、また、見落としを防ぐことができる。

【0037】

第２判定部４２は、検査画像を入力すると、嚥下中である確率を算出し、嚥下中又は非嚥下中であると出力することが好ましい。第２判定部４２には、嚥下中か否かを判定する分類器４２ａが搭載されることが好ましい。分類器４２ａは、機械学習を用いて生成した分類器である。機械学習には深層学習を用いることが好ましく、例えば多層畳み込みニューラルネットワークを用いることが好ましい。機械学習には、深層学習に加え、決定木、サポートベクトルマシン、ランダムフォレスト、回帰分析、教師あり学習、半教師なし学習、教師なし学習、強化学習、深層強化学習、ニューラルネットワークを用いた学習、敵対的生成ネットワーク等が含まれる。

【0038】

分類器４２ａは、嚥下中及び非嚥下中と判定された画像を予め学習した機械学習であることが好ましい。なお、分類器４２ａは自動的に嚥下中及び非嚥下中の画像をクラスタリングする教師なし学習または半教師なし学習を用いた機械学習であってもよい。

【0039】

図１０は第２判定部４２における嚥下判定の具体例である。分類器４２ａに入力される検査画像（図１０上段、検査画像４２ｂ、及び、図１０下段、検査画像４２ｄ）は、少なくとも１フレーム毎の検査画像の画像中心から、少なくとも縦方向及び横方向へ向かって２２４ピクセルの領域を判定対象領域４２ｇとする。図１０上段の具体例は、嚥下運動が起きていない検査画像４２ｂを用いる例である。検査画像４２ｂを分類器４２ａに入力すると、非嚥下中と判定される。図１０下段の具体例は、嚥下運動が起きている検査画像４２ｄを用いる例である。検査画像４２ｄを分類器４２ａに入力すると、嚥下中と判定される。

【0040】

また、分類器４２ａに入力される検査画像は撮像センサから入力される画像信号の他に、第１判定部４１によって嚥下中か否かを判定された検査画像を用いてもよい。また、分類器４２ａで嚥下中か否かを判定された検査画像に対して、第１判定部４１が嚥下中または非嚥下中の判定を修正してもよい。修正した結果を分類器４２ａの学習に用いてもよい。上記構成により、機械学習により検査画像を嚥下中か非嚥下中に分類することができる。

【0041】

第１判定部４１または第２判定部４２が「嚥下中」または「非嚥下中」と判定した検査画像は、結果記録部３４に出力してもよい。なお、嚥下の判定のタイミングとしては、検査中にリアルタイムで実施し、検査画面に結果を表示することを想定しているが、検査終了後に実施してもよい。検査終了後に自動的に実施して結果を記録してもよい。医師等のユーザーが、必要な動画だけ判定させるように指示を受けたときだけ判定してもよい。ＰＡＣＳ（Picture Archiving and Communication Systems）、電子カルテ、サーバ等である記録装置１７から画像を呼び出して表示させる際に、嚥下判定を実施してもよい。コンピュータ１６はプロセッサ装置１５とは独立させて、ＵＳＢ（Universal Serial Bus）メモリなどの外部記録装置に記録した動画をコンピュータ１６で読み込み、判定させてもよい。上記構成により、検査画像から自動的に嚥下判定を行うことでユーザーの診断を補助することができる。

【0042】

第１判定部４１または第２判定部４２が「嚥下中」または「非嚥下中」と判定した検査画像は、嚥下中動画作成部４３に出力される。嚥下中動画作成部４３に出力される検査画像は、検査画像が取得された時刻（検査時間）が対応付けられており、時系列順に並んだ一連の動画である。嚥下中動画作成部４３は、嚥下中と判定した検査画像を取得した後、一定期間に取得されたフレームの検査画像を嚥下中と判定し、一定期間に取得された検査画像を一連の嚥下中動画として出力することが好ましい。

【0043】

図１１は嚥下中動画の作成の具体例である。嚥下中動画作成部４３は、一連の動画である検査画像のうち、第１判定部４１または第２判定部４２が「嚥下中」と判定した検査画像４３ａがある場合、「嚥下中」と判定した検査画像４３ａが取得された時刻をＴ１とする。時刻Ｔ１から一定期間Ｔｓが経過した、Ｔ１＋Ｔｓの期間に取得された検査画像を嚥下中動画４３ｂとする。

【0044】

嚥下中動画作成部４３が嚥下中動画４３ｂを作成する一定期間の長さは、任意に設定可能であることが好ましい。また、一定期間の長さは、嚥下動作に要する時間に基づいて自動的に設定してもよい。例えば、健常者に３０ｍｌ水飲みテストを行った場合の嚥下に要する時間は５秒以内であるため、一定期間を５秒と設定する。嚥下機能検査には反復唾液飲み込みテスト、水飲みテスト及びフードテスト等、被検者に嚥下させる物や量の種類が様々であるため、嚥下機能検査ごとに一定期間を変更させてもよい。

【0045】

嚥下中動画４３ｂは、全体の検査画像（動画）のうち、嚥下中動画４３ｂとしてタグ付けされた形で出力されてもよい。また、嚥下中動画４３ｂ単体で出力されてもよい。出力された嚥下中動画４３ｂは、結果記録部３４を経由し、記録装置１７に記録される。嚥下中動画４３ｂは、全体の検査画像（動画）のうち、嚥下中動画４３ｂをタグ付けして記録してもよい。また、嚥下中動画４３ｂ単体のみを記録してもよい。嚥下中動画４３ｂを単体で記録する場合、１回の検査で取得された１つ以上の嚥下中動画４３ｂを、ひとつのフォルダにまとめて記録することが好ましい。上記構成により、嚥下中または非嚥下中に分類された検査画像に基づいて一連の嚥下中動画を作成することができる。これにより、ユーザーは嚥下中動画を見て診断を行うことができる。また、動画全体から嚥下中の箇所を探す手間を省くことができ、経過観察やカンファレンスを行う際に検査で得られた動画をスムーズに見返すことができる。

【0046】

本実施形態では、プロセッサ装置１５及びコンピュータ１６が内視鏡システム１０に設けられている例で説明をしたが、本発明はこれに限定されず、他の医療用装置を用いてもよい。また、この内視鏡１２は、硬性鏡または軟性鏡が用いられてよい。また、内視鏡システム１０のうち画像取得部３１及び／または制御部３０の一部または全部は、例えばプロセッサ装置１５と通信して内視鏡システム１０と連携する医療画像処理装置に設けることができる。例えば、内視鏡システム１０から直接的に、または、ＰＡＣＳから間接的に、内視鏡１２で撮像した画像を取得する診断支援装置に設けることができる。また、内視鏡システム１０を含む、第１検査装置、第２検査装置、…、第Ｎ検査装置等の各種検査装置と、ネットワークを介して接続する医療業務支援装置に、内視鏡システム１０のうち画像取得部３１及び／または制御部３０の一部または全部を設けることができる。

【0047】

本実施形態において、制御部３０、中央制御部（図示しない）といった各種の処理を実行する処理部（processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウエア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit)、ＦＰＧＡ(Field Programmable Gate Array) 等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device:ＰＬＤ）、各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。

【0048】

１つの処理部は、これら各種のプロセッサのうちの１つで構成されてもよく、同種または異種の２つ以上のプロセッサの組み合せ（例えば、複数のＦＰＧＡや、ＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウエアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:ＳｏＣ）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。

【0049】

さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた形態の電気回路（circuitry）である。また、記憶部のハードウェア的な構造はＨＤＤ（hard disc drive）やＳＳＤ（solid state drive）等の記憶装置である。

【符号の説明】

【0050】

１０ 内視鏡システム
１２ 内視鏡
１２ａ 挿入部
１２ｂ 操作部
１２ｃ 湾曲部
１２ｄ 先端部
１２ｅ アングルノブ
１２ｈ 静止画像取得指示スイッチ
１２ｉ ズーム操作部
１４ 光源装置
１５ プロセッサ装置
１６ コンピュータ
１７ 記録装置
１８ ディスプレイ
１９ ユーザーインターフェース
２０ 光源部
２２ 光源制御部
３０ 制御部
３１ 画像取得部
３２ 表示制御部
３３ 画像入力部
３４ 結果記録部
４０ 嚥下判定部
４１ 第１判定部
４１ａ、４１ｃグレースケール画像
４１ｂ、４１ｄ 非嚥下中の例の二値化処理画像
４１ｅ 低画素値領域
４１ｆ 高画素値領域
４１ｇ 画像中心
４１ｈ、４２ｇ 判定対象領域
４１ｉ、４１ｊ、４２ｂ、４２ｄ、４３ａ、１００ 検査画像
４１ｋ 喉頭蓋領域
４２ 第２判定部
４２ａ 分類器
４３ 嚥下中動画作成部
４３ｂ 嚥下中動画
Ｅｓ 食道
Ｅｇ 喉頭蓋
Ｅｖ 喉頭蓋谷
Ｆ 食物
Ｒｇ 声門裂
Ｐｓ 梨状陥凹
Ｓｐ 軟口蓋
Ｔo 舌
Ｔｒ 気管

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】