特開 2022-179218 内視鏡システム及びその作動方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022179218

(43)【公開日】2022-12-02

(54)【発明の名称】内視鏡システム及びその作動方法

(51)【国際特許分類】

   A61B 1/267 20060101AFI20221125BHJP

   A61B 5/11 20060101ALI20221125BHJP

   A61B 1/045 20060101ALI20221125BHJP

   A61B 1/00 20060101ALI20221125BHJP

【ＦＩ】

A61B1/267

A61B5/11 310

A61B5/11 120

A61B1/045 616

A61B1/045 610

A61B1/00 550

A61B1/045 614

【審査請求】未請求

【請求項の数】13

【出願形態】ＯＬ

(21)【出願番号】P 2021086545

(22)【出願日】2021-05-21

(71)【出願人】

【識別番号】306037311

【氏名又は名称】富士フイルム株式会社

(74)【代理人】

【識別番号】110001988

【氏名又は名称】特許業務法人小林国際特許事務所

(72)【発明者】

【氏名】寺村 友一

(72)【発明者】

【氏名】吉村 充敏

(72)【発明者】

【氏名】井後 孝雄

(72)【発明者】

【氏名】小屋敷 剛

【テーマコード（参考）】

4C038

4C161

【Ｆターム（参考）】

4C038VA04

4C038VB09

4C038VC05

4C161AA13

4C161WW02

(57)【要約】

【課題】検査中に得られた画像等を詳細に解析する内視鏡画像システム及びその作動方法を提供する。
【解決手段】被写体を照明し、被写体からの反射光を撮像する内視鏡システムにおいて、制御用プロセッサを備え、制御用プロセッサは、検査画像を取得し、時系列的に前後する検査画像間の変化量が第１閾値以上の場合、検査画像に係る画像特徴量が第２閾値以上の場合、検査画像に含まれる画像特徴点の数が第３閾値以下の場合、又は、嚥下関係音を取得した場合のいずれかに該当する場合に嚥下中であると判定する。
【選択図】図１５

【特許請求の範囲】

【請求項1】

被写体を照明し、前記被写体からの反射光を撮像する内視鏡システムにおいて、
制御用プロセッサを備え、
前記制御用プロセッサは、
検査画像を取得し、
時系列的に前後する前記検査画像間の変化量が第１閾値以上の場合、前記検査画像に係る画像特徴量が第２閾値以上の場合、前記検査画像に含まれる画像特徴点の数が第３閾値以下の場合、又は、嚥下関係音を取得した場合のいずれかに該当する場合に嚥下中であると判定する内視鏡システム。

【請求項2】

前記変化量は、時系列的に前後する前記検査画像から単純画素値差分の絶対値を用いて求められる値である請求項１に記載の内視鏡システム。

【請求項3】

前記嚥下関係音は、前記制御用プロセッサが取得した音声信号を解析し、患者から発せられた音声であると判定された音声信号である請求項１又は２に記載の内視鏡システム。

【請求項4】

前記制御用プロセッサは、前記音声信号を、前記嚥下関係音、又は咳、ムセ、呼吸音もしくは発声のいずれかである非嚥下関係音と判定する請求項３に記載の内視鏡システム。

【請求項5】

前記制御用プロセッサは、前記検査画像から嚥下中と判定した場合であって、かつ、前記非嚥下関係音が取得された場合、前記検査画像を非嚥下中と判定する請求項４に記載の内視鏡システム。

【請求項6】

前記制御用プロセッサは、
前記検査画像を分類器に入力し、嚥下中である確率を算出し、前記確率が第４閾値以上の場合に嚥下中と判定する請求項１ないし５のいずれか１項に記載の内視鏡システム。

【請求項7】

前記制御用プロセッサは、
前記検査画像と前記音声信号とを分類器に入力し、嚥下中である確率を算出し、前記確率が第４閾値以上の場合に嚥下中と判定する請求項３ないし５のいずれか１項に記載の内視鏡システム。

【請求項8】

前記分類器は、嚥下中又は非嚥下中と判定された画像で学習されている請求項６又は７に記載の内視鏡システム。

【請求項9】

前記制御用プロセッサは、
嚥下中と判定された一連の前記検査画像を嚥下中動画、非嚥下中と判定された一連の前記検査画像を非嚥下中動画とした場合であって、
前記嚥下中動画が取得された時間である嚥下連続期間の後、前記非嚥下中動画が取得された時間である非嚥下連続期間が一定期間を超えた場合に、前記一定期間を超えた前記非嚥下連続期間の直前の前記嚥下連続期間に取得された前記嚥下中動画を１回の嚥下動作と判定して嚥下回数をカウントする請求項１ないし８のいずれか１項に記載の内視鏡システム。

【請求項10】

前記制御用プロセッサは、
前記一定期間を超えた前記非嚥下連続期間より前の前記嚥下連続期間に取得された前記嚥下中動画と、前記一定期間を超えない前記非嚥下連続期間に取得された前記非嚥下中動画と、を合わせた動画を１回の嚥下動作と判定し、嚥下回数をカウントする請求項９に記載の内視鏡システム。

【請求項11】

前記一定期間は任意に設定可能である請求項９又は１０に記載の内視鏡システム。

【請求項12】

前記制御用プロセッサは、
時系列順に配列した前記検査画像のうち、前記１回の嚥下動作であると判定された箇所を認識可能である表示用画面を表示する請求項９又は１０に記載の内視鏡システム。

【請求項13】

制御用プロセッサを備え、被写体を照明し、前記被写体からの反射光を撮像する内視鏡システムの作動方法において、
前記制御用プロセッサは、
検査画像を取得するステップと、
時系列的に前後する前記検査画像間の変化量が第１閾値以上の場合、前記検査画像に係る画像特徴量が第２閾値以上の場合、前記検査画像に含まれる画像特徴点の数が第３閾値以下の場合、又は、嚥下関係音を取得した場合のいずれかに該当する場合に嚥下中であると判定するステップと、を有する内視鏡システムの作動方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、複数種類の画像解析手段を有する内視鏡システム及びその作動方法に関する。

【背景技術】

【0002】

食物や飲物がうまく飲み込めなくなる状態のことを嚥下障害という。嚥下障害がある場合、食物が誤って気道に流入することによる窒息や、誤嚥性肺炎を引き起こす可能性が高くなると言われている。嚥下障害は高齢や神経系の疾患に伴って発生することから、近年の高齢化社会において嚥下機能の検査を行うことの重要性がますます高まってきている。嚥下機能の検査は、嚥下障害の治療や予防を適切に行うため、又、誤嚥の病態を特定するために行われる。

【0003】

嚥下機能の検査方法として、いくつかの新しい手法が開発されつつある。例えば、特許文献１では、嚥下音を含む音声波形データを取得し、喉頭蓋閉音、食道通過音、喉頭蓋開音等の嚥下に伴う音を詳細に解析している。また、特許文献２では、３次元形状計測装置を用いて、皮膚や表層筋の動きや口角間距離の計測及び解析を行い、嚥下機能を評価している。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１６－１８５２０９号公報

【特許文献2】国際公開第２０１８／１９３９５５号

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１及び２に記載の測定方法は比較的新しい手法であり、臨床的には、Ｘ線を用いた嚥下造影検査（ＶＦ：VideoFluoroscopic examination of swallowing）、嚥下内視鏡検査（ＶＥ：VideoEndoscopic examination of swallowing）が嚥下障害の評価方法（嚥下機能評価検査）として確立されている。嚥下造影検査は、造影剤を被検体に嚥下させ、嚥下時の咽頭、喉頭、食道における放射線画像を得る検査であり、嚥下内視鏡検査は、内視鏡を経鼻的に体内に挿入し、嚥下時の咽頭及び喉頭、特に喉頭蓋周辺の内視鏡画像を得る検査である。診断を正確かつ簡便に行うため、さらに、嚥下障害の詳細な病態について情報を得るため、これらの検査で得られた画像を詳細に解析する方法が求められている。

【0006】

本発明は、嚥下内視鏡検査中に得られた画像等を詳細に解析する内視鏡システム及びその作動方法を提供することを目的としている。

【課題を解決するための手段】

【0007】

本発明の内視鏡システムは、被写体を照明し、被写体からの反射光を撮像し、制御用プロセッサを備え、制御用プロセッサは、検査画像を取得し、時系列的に前後する変化量が第１閾値以上の場合、検査画像に係る画像特徴量が第２閾値以上の場合、検査画像に含まれる画像特徴点の数が第３閾値以下の場合、又は、嚥下関係音を取得した場合のいずれかに該当する場合に嚥下中であると判定する。

【0008】

変化量は、時系列的に前後する検査画像から単純画素値差分の絶対値を用いて求められる値であることが好ましい。

【0009】

嚥下関係音は、制御用プロセッサが取得した音声信号を解析し、患者から発せられた音声であると判定された音声信号であることが好ましい。

【0010】

制御用プロセッサは、音声信号を、嚥下関係音又は咳、ムセ、呼吸音もしくは発声のいずれかである非嚥下関係音と判定することが好ましい。

【0011】

制御用プロセッサは、検査画像から嚥下中と判定した場合であって、かつ、非嚥下関係音が取得された場合、検査画像を非嚥下中と判定することが好ましい。

【0012】

制御用プロセッサは、検査画像を分類器に入力し、嚥下中である確率を算出し、確率が第４閾値以上の場合に嚥下中と判定することが好ましい。

【0013】

制御用プロセッサは、検査画像と音声信号とを分類器に入力し、嚥下中である確率を算出し、確率が第４閾値以上の場合に嚥下中と判定することが好ましい。分類器は、嚥下中又は非嚥下中と判定された画像で学習されていることが好ましい。

【0014】

制御用プロセッサは、嚥下中と判定された一連の検査画像を嚥下中動画、非嚥下中と判定された一連の検査画像を非嚥下中動画とした場合であって、嚥下中動画が取得された期間である嚥下連続期間の後、非嚥下中動画が取得された期間である非嚥下連続期間が一定期間を超えた場合に、一定期間を超えた非嚥下連続期間の直前の嚥下連続期間に取得された嚥下中動画を１回の嚥下動作と判定して嚥下回数をカウントすることが好ましい。

【0015】

制御用プロセッサは、一定期間を超えた非嚥下連続期間より前の嚥下連続期間に取得された嚥下中動画と、一定期間を超えない非嚥下連続期間に取得された非嚥下中動画と、を合わせた動画を１回の嚥下動作と判定し、嚥下回数をカウントすることが好ましい。一定期間は任意に設定可能であることが好ましい。

【0016】

制御用プロセッサは、時系列順に配列した検査画像のうち、１回の嚥下動作であると判定された箇所を認識可能である表示用画面を表示することが好ましい。

【0017】

本発明の内視鏡システムの作動方法は、制御用プロセッサを備え、被写体を照明し、被写体からの反射光を撮像する内視鏡システムの作動方法であって、検査画像を取得するステップと、時系列的に前後する検査画像間の変化量が第１閾値以上の場合、検査画像に係る画像特徴量が第２閾値以上の場合、検査画像に含まれる画像特徴点の数が第３閾値以下の場合、又は、嚥下関係音を取得した場合のいずれかに該当する場合に嚥下中であると判定するステップと、を有する。

【発明の効果】

【0018】

本発明の内視鏡システム及びその作動方法によれば、嚥下内視鏡検査中に得られた画像等を詳細に解析する内視鏡システム及びその作動方法を提供することができる。

【図面の簡単な説明】

【0019】

【図1】内視鏡システムの構成図である。

【図2】通常光のスペクトルを示すグラフである。

【図3】嚥下判定部の機能を示すブロック図である。

【図4】嚥下について示す説明図である。

【図5】誤嚥について示す説明図である。

【図6】検査画像の撮像方法について示す説明図及び画像図である。

【図7】第１判定部における嚥下の判定方法を示す説明図である。

【図8】第２判定部における嚥下の判定方法を示す説明図である。

【図9】第３判定部における嚥下の判定方法を示す説明図である。

【図10】第４判定部における嚥下の判定方法を示すフローチャートである。

【図11】嚥下判定部における検査画像及び音声信号を用いた嚥下の判定方法を示すフローチャートである。

【図12】第５判定部における嚥下の判定方法を示す説明図である。

【図13】嚥下回数カウント部に送信される検査画像について示す説明図である。

【図14】嚥下回数カウント部における嚥下回数のカウント方法を示す説明図である。

【図15】表示用画面を示す画像図である。

【図16】本発明の実施例について示すフローチャートである。

【発明を実施するための形態】

【0020】

図１に示すように、内視鏡システム１０は、内視鏡１２、光源装置１４、プロセッサ装置１５、コンピュータ１６、記録装置１７、ディスプレイ１８、ユーザーインターフェース１９、を備える。内視鏡１２は、光源装置１４と光学的に接続され、且つ、プロセッサ装置１５と電気的に接続される。内視鏡１２は、観察対象の体内に挿入される挿入部１２ａと、挿入部１２ａの基端部分に設けられた操作部１２ｂと、挿入部１２ａの先端側に設けられた湾曲部１２ｃ及び先端部１２ｄとを有している。湾曲部１２ｃは、操作部１２ｂのアングルノブ１２ｅを操作することにより湾曲動作する。先端部１２ｄは、湾曲部１２ｃの湾曲動作によって所望の方向に向けられる。内視鏡１２は、ファイバースコープであってもよく、挿入部１２ａの操作部側端にあってもよい。内視鏡１２は、嚥下内視鏡検査に用いられる内視鏡である。

【0021】

内視鏡１２の内部には、被写体像を結像するための光学系、及び、被写体に照明光を照射するための光学系が設けられる。被写体は、嚥下運動に関係する生体内の構造である。具体的には、咽頭部及び喉頭部である。操作部１２ｂには、アングルノブ１２ｅの他、観察対象の静止画の取得指示に用いられる静止画像取得指示スイッチ１２ｈと、ズームレンズの操作に用いられるズーム操作部１２ｉとが設けられている。

【0022】

光源装置１４は、照明光を発生する。プロセッサ装置１５は、内視鏡システム１０のシステム制御及び内視鏡１２から送信された画像信号に対して画像処理等を行う。ディスプレイ１８は、内視鏡１２で撮像した画像を表示する表示部である。ユーザーインターフェース１９は、プロセッサ装置１５等への設定入力等を行う入力デバイスである。

【0023】

光源装置１４は、照明光を発光する光源部２０と、光源部２０の動作を制御する光源制御部２２と、を備える。

【0024】

光源部２０は、被写体を照明する照明光を発光する。光源部２０は、例えば、レーザーダイオード、ＬＥＤ(Light Emitting Diode)、キセノンランプ、又は、ハロゲンランプの光源を含み、少なくとも、図２に示すようなスペクトルの照明光（通常光）を発光する。白色には、内視鏡１２を用いた被写体の撮像において実質的に白色と同等な、図２に示すような紫色光Ｖ、青色光Ｂ、緑色光Ｇ、又は赤色光Ｒを混色したいわゆる擬似白色を含む。また、光源部２０は、必要に応じて、照明光の波長帯域、スペクトル、又は光量等を調節する光学フィルタ等を含む。

【0025】

光源制御部２２は、光源部２０を構成する各光源の点灯又は消灯、及び、発光量等を制御する。内視鏡１２の先端部１２ｄには、照明光学系と撮像光学系が設けられている。光源部２０が発光した照明光は、ライトガイドを介して内視鏡１２に入射し、先端部１２ｄから照明光学系の照明レンズを介して被写体に向けて出射される。撮像光学系は、対物レンズ、撮像センサを有している。照明光を照射したことによる観察対象からの光は、対物レンズ及びズームレンズを介して撮像センサに入射する。これにより、撮像センサに観察対象の像が結像される。ズームレンズは観察対象を拡大するためのレンズであり、ズーム操作部１２ｉを操作することによって、テレ端とワイド端と間を移動する。

【0026】

撮像センサは、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ、ＣＣＤ（Charge-Coupled Device）センサ等である。撮像センサが検知した画像信号に基づき、検査画像が生成される。

【0027】

撮像センサには、感知した光をカラーの画像信号に変換するカラーフィルタ（ベイヤーフィルタ等）が設けられたカラー撮像センサに加えて、感知した光をモノクロの画像信号に変換するカラーフィルタが設けられていないモノクロ撮像センサを含めてもよい。なお、カラー撮像センサは、感知した光をＲＢＧ信号にするものでなく、ＣＭＹ信号に変換するものとしてもよい。

【0028】

カラー画像を取得する場合、画像信号には、Ｂ画素から出力されるＢ画像信号、Ｇ画素から出力されるＧ画像信号、及び、Ｒ画素から出力されるＲ画像信号が含まれる。画像信号はプロセッサ装置１５の画像取得部３１に送信され、モノクロ画像又はカラー画像である検査画像として取得される。画像取得部３１で取得された検査画像は、コンピュータ１６の画像入力部３３に送信される。画像入力部３３に送信された検査画像は、嚥下判定部４０に送信される。検査画像は、内視鏡検査中に撮像された時系列的に連続した一連の動画である。

【0029】

プロセッサ装置１５は、制御部３０、画像取得部３１、表示制御部３２を含む。プロセッサ装置１５においては、制御用プロセッサで構成される制御部３０により、プログラム用メモリ内のプログラムが動作することで、画像取得部３１及び表示制御部３２の機能が実現される。

【0030】

コンピュータ１６は、画像入力部３３、嚥下判定部４０、結果記録部３４を含む。コンピュータ１６においては、制御用プロセッサで構成される中央制御部（図示しない）により、プログラム用メモリ内のプログラムが動作することで、画像入力部３３、嚥下判定部４０及び結果記録部３４の機能が実現される。なお、コンピュータ１６及び／又は光源制御部２２は、プロセッサ装置１５に含まれてもよい。

【0031】

以下、図３を参照しながら、嚥下判定部４０の機能について説明する。嚥下判定部４０は、第１判定部４１、第２判定部４２、第３判定部４３、第４判定部４４、第５判定部４５、嚥下回数カウント部４７を備える。嚥下判定部４０は、取得された検査画像や音声が嚥下中のものであるかどうかを判定し、さらに、嚥下中、又は非嚥下中の判定を行った動画に対して１回の嚥下動作がどのタイミングで行われたかを判定し、嚥下動作の回数をカウントする。結果記録部３４は、嚥下動作が行われたタイミング及び回数を記録し、ディスプレイ１８に表示する画像や、記録装置１７に出力する画像の生成及び動画編集を行う。

【0032】

嚥下とは、食物や飲物を口に入れ、咀嚼し、飲み込み、食道へ送り込む一連の動作のことを指す。図４は正常な嚥下、図５は異常な嚥下（誤嚥）についての説明図である。嚥下運動は、図４に示すように、食物Ｆを主に舌Ｔoの運動により口腔から咽頭へ運ぶ「口腔期」、食物Ｆを嚥下反射により咽頭から食道Ｅｓへ運ぶ「咽頭期」、食物Ｆを食道の蠕動運動により食道Ｅｓから胃へ運ぶ「食道期」に分けられる。嚥下の際は、食物Ｆを食道Ｅｓへ向かわせて気管Ｔｒへ流入させないため、気管Ｔｒに蓋をする役割を担う喉頭蓋Ｅｇが、反射運動により気管Ｔｒの入り口（声門）を閉鎖する。また、口腔の天井である軟口蓋Ｓｐも後方へ移動して口腔と鼻腔の通路を閉鎖し、食道Ｆが鼻腔へ侵入しないようにする。口腔期、咽頭期、食道期のいずれかのタイミングにおいて何らかの機能障害が起こった場合、図５のように、正常であれば食道Ｅｓに輸送されるはずの食物Ｆが気管Ｔｒに流入することを誤嚥という。

【0033】

図５の誤嚥の例１は、口腔期から咽頭期にかけ、嚥下反射が起こる前に気管Ｔｒに食物Ｆが流入する誤嚥の例である。図５の誤嚥の例２は、咽頭期から食道期にかけ、嚥下反射の中途において喉頭蓋Ｅｇによる声門（気管Ｔｒの入口）の閉鎖が不完全なことで気管Ｔｒに食物Ｆが流入する誤嚥の例である。図５の誤嚥の例３は、喉頭蓋谷Ｅｖや、食道の入口の左右に存在する窪みである梨状陥凹（図６の検査画像の例１００を参照）に残留した食物Ｆが、嚥下反射後に気管Ｔｒに流入する誤嚥の例である。

【0034】

本実施形態において取得される検査画像は、内視鏡１２の挿入部１２ａを鼻腔から咽頭へ挿入し、図６に示す中咽頭部の位置Ｒ付近に内視鏡の先端部１２ｄが来るようにして撮像される。検査画像には、図６の検査画像の例１００に示すように、喉頭蓋Ｅｇ、声門裂Ｒｇ、左右の梨状陥凹Ｐｓ等の解剖学的構造が含まれることが好ましい。声門裂Ｒｇとは、声帯を構成する左右のヒダの間の空間のことである。以下はこの中咽頭部に内視鏡先端を配置する場合について説明するが、これ以外にも鼻咽腔部、上咽頭部、下咽頭部、又は喉頭部に配置して嚥下の判定を行ってもよい。

【0035】

嚥下の判定は、第１判定部４１、第２判定部４２、第３判定部４３、第４判定部４４、又は第５判定部４５のいずれか１以上において行われる。また、判定の精度を向上させるため、第１～第５判定部における判定の結果を組み合わせて嚥下の判定を行ってもよい。嚥下判定部４０において行われる解析について、以下、説明する。

【0036】

第１判定部４１は、第１の嚥下検出アルゴリズムとして、時系列的に前後する２フレームの画像に係る変化量の算出を行う。検査画像間の変化量は、時系列的に前後する検査画像から単純画素値差分の絶対値を用いて求められる値であることが好ましい。１フレーム毎の検査画像の画像中心から、縦方向及び横方向へ向かって少なくとも１０ピクセル以上の領域（画像処理対象領域４１ｇ）を画像処理対象とする。図７に例示するように、時系列的に前後する前のフレームの検査画像（図７上段、検査画像４１ａ、及び、図７下段、検査画像４１ｄ）と、後のフレームの検査画像（図７上段、検査画像４１ｂ、及び、図７下段、検査画像４１ｅ）との、画像処理対象領域４１ｇにおける画素値の差である変化量を取る。この変化量が第１閾値以上の場合、変化量を算出した後のフレームの検査画像４１ｅを嚥下中と判定する。第１の嚥下検出アルゴリズムは、嚥下運動に伴って被写体（特に喉頭蓋Ｅｇ付近）が激しく動くため、フレーム間の変化量が非嚥下中と比較して大きくなることを利用したものである。なお、第１閾値の値である画素値は１から２５５が好ましく、任意に設定できる。

【0037】

具体例について詳説する。図７の上段は、嚥下運動が起きていない前後２フレームの検査画像（前フレームの検査画像４１ａ及び後フレームの検査画像４１ｂ）の変化量を算出した例である。嚥下運動をしていない状態では、喉頭蓋Ｅｇが開いており、声門裂Ｒｇが容易に観察できる。また、口腔の天井である軟口蓋（図４の軟口蓋Ｓｐを参照）や喉頭蓋Ｅｇはほぼ動くことはなく、呼吸による微小な動きがある程度である。そのため、内視鏡１２の先端部１２ｄの動きは少なく、図７上段の変化量の例４１ｃに示すように、画像の全体において動きやブレはほぼ生じない。したがって、画像処理対象領域４１ｇにおける前フレームの検査画像４１ａと後フレームの検査画像４１ｂの変化量は第１閾値未満となり、後フレームの検査画像４１ｂが非嚥下中と判定される。なお、変化量の例４１ｃにおいては、変化量として算出された箇所を線で例示している。

【0038】

図７の下段は、嚥下運動が起きている前後２フレームの検査画像（前フレームの検査画像４１ｄ及び後フレームの検査画像４１ｅ）の変化量を算出した例である。嚥下運動をしている状態では、軟口蓋（図４の軟口蓋Ｓｐを参照）の移動や喉頭蓋Ｅｇによる声門裂Ｒｇの閉鎖運動が起こるため、内視鏡１２の先端部１２ｄが激しく動き、画像の全体において大きくブレが生じることで、図７の下段の変化量の例４１ｆに示すように、フレーム間の変化量が大きくなる。この場合、画像処理対象領域４１ｇにおける前フレームの検査画像４１ｄと後フレームの検査画像４１ｅの変化量は第１閾値以上となり、後フレームの検査画像４１ｅが嚥下中と判定される。なお、上段と同じく、変化量の例４１ｆにおいては、変化量として算出された箇所を線で例示している。また、嚥下中はフレーム間のブレ量が大きいことから、嚥下中である下段における変化量の例４１ｆは、非嚥下中の変化量の例４１ｃよりも変化量を示す線が多くなっている。

【0039】

第２判定部４２は、第２の嚥下検出アルゴリズムとして、検査画像の画像特徴量を算出する。画像特徴量は、検査画像から算出されるエッジ量であることが好ましい。少なくとも１フレーム毎の検査画像の画像中心から、少なくとも縦方向及び横方向へ向かって１０ピクセル以上の領域（画像処理対象領域４２ｇ）を画像処理対象とする。図８に例示するように、検査画像（図８上段、検査画像４２ａ、及び、図８下段、検査画像４２ｃ）の、エッジ量検出フィルタを用いて算出される値であるVariance Of Laplacianを求め、Variance Of Laplacianから画像特徴量（図８上段、画像特徴量の例４２ｂ、及び、図８下段、画像特徴量の例４２ｄ）を算出する。画像特徴量が第２閾値以上の場合、画像特徴量を算出したフレームの検査画像を嚥下中と判定する。第２の嚥下検出アルゴリズムは、嚥下中は内視鏡１２の先端が激しく動くため、ブレが大きくなることに伴い、エッジ量も大きくなることを利用したものである。なお、第２閾値の値である画素値は１から２５５が好ましく、任意に設定できる。画像特徴量を算出する手法としてVariance Of Laplacianを算出する手法を例示したが、他にもSobel Filter、Prewitt Filter、Canny法などのエッジ量検出フィルタを利用する方法でもよい。

【0040】

具体例を詳説する。図８の上段は、嚥下運動が起きていない検査画像４２ａの画像特徴量を算出した例である。嚥下運動をしていない状態では、軟口蓋や喉頭蓋Ｅｇはほぼ動くことはないため、内視鏡１２の先端部１２ｄもほぼ動かず、図８の上段の画像特徴量の例４２ｂに示すように、画像の全体において動きやブレはほぼ生じない。この場合、画像処理対象領域４２ｇにおける画像特徴量は第２閾値未満となり、検査画像４２ａが非嚥下中と判定される。なお、画像特徴量の例４２ｂにおいては、画像特徴量の算出対象になった箇所を線で例示している。

【0041】

図８の下段は、嚥下運動が起きている検査画像４２ｃの画像特徴量を算出した例である。嚥下運動をしている状態では、軟口蓋や喉頭蓋Ｅｇが動くことで内視鏡１２の先端部１２ｄも大きく動き、画像の全体においてブレが生じるため、図８の下段の画像特徴量の例４１ｄに示すように、画像特徴量が大きくなる。この場合、画像処理対象領域４２ｇにおける画像特徴量は第２閾値以上となり、検査画像４２ｃが嚥下中と判定される。なお、上段と同じく、画像特徴量の例４２ｄにおいては、画像特徴量の算出対象になった箇所を線で例示している。また、嚥下中はブレ量が大きいことから、嚥下中である下段における画像特徴量の例４２ｄは、非嚥下中の例４２ｂよりも画像特徴量を示す線が多くなっている。

【0042】

第３判定部４３は、第３の嚥下検出アルゴリズムとして、検査画像を線で表して抽出したエッジのうち、エッジ量が大きい角（コーナー）である度合が高い部分をキーポイントとして抽出した画像特徴点の数を算出する。少なくとも１フレーム毎の検査画像の画像中心から、少なくとも縦方向及び横方向へ向かって１０ピクセル以上の領域（画像処理対象領域４３ｇ）を画像処理対象とする。図９に例示するように、検査画像（図９上段、検査画像４３ａ、及び、図９下段、検査画像４３ｂ）から画像特徴点４３ｃを抽出し、数を算出する。この画像特徴点４３ｃの数が第３閾値以下の場合、画像特徴点の数を算出したフレームの検査画像を嚥下中と判定する。第３の嚥下検出アルゴリズムは、嚥下中は内視鏡１２の先端が激しく動くため、ブレが大きくなることを利用したものである。なお、第３閾値の値は０以上で、任意に設定できる。また、画像特徴点の数が第３閾値以下の場合に、画素値に－１を乗算した嚥下判定値を求め、嚥下判定値が閾値未満の場合に嚥下中と判定してもよい。この場合、画像特徴点数が第３閾値を超えるときは、非嚥下中と判定する。

【0043】

なお、特徴点抽出には、計算アルゴリズムの一種であるＡＫＡＺＥ(Accelarated KAZE)を用いることが好ましい。本実施形態における特徴点抽出では、画像の中のエッジ量が高い部分（「角」、「コーナー」と認識される部分）を認識することが好ましい。特徴点抽出にはScale Invariant Feature Transform（SIFT）法、Speeded-Up Robust Features（SURF）法などの他の特徴点抽出方を用いてもよい。

【0044】

具体例を詳説する。図９の上段は、嚥下運動が起きていない検査画像４３ａの画像特徴点４３ｃの数を算出した例である。嚥下運動をしていない状態では、内視鏡１２の先端部１２ｄはほぼ動かず、画像の全体において動きやブレはほぼ生じないため、図９の上段の検査画像４３ａに示すように、検出される画像特徴点４３ｃの数が大きくなる。図９の例において、第３閾値を５とすると、画像処理対象領域４３ｇにおける画像特徴点４３ｃの数は３０であって第３閾値を超えているため、検査画像４３ａが非嚥下中と判定される。

【0045】

図９の下段は、嚥下運動が起きている検査画像４３ｂの画像特徴点４３ｃの数を算出した例である。嚥下運動をしている状態では、内視鏡１２の先端部１２ｄも大きく動くため、画像の全体においてブレが生じ、図９の下段の検査画像４３ｂに示すように画像特徴点４３ｃが検出されにくくなる。図９の例において第３閾値を５とすると、画像処理対象領域４３ｇにおける画像特徴点４３ｃの数は０であって第３閾値以下であるため、検査画像４３ｂが嚥下中と判定される。

【0046】

第４判定部４４は、第４の嚥下検出アルゴリズムとして、音声の判定を行う。プロセッサ装置１５に接続されるユーザーインターフェース１９には、音声を取得するマイク（図示しない）が含まれ、マイクから取得された音声波形が都度、コンピュータ１６に入力される。音声波形は、音声信号として嚥下判定部４０の第４判定部４４に送信される。音声は、通常、検査画像とともに取得される。

【0047】

音声の判定方法について、図１０のフローチャートを用いて説明する。まず、第４判定部４４に音声信号が入力される（ステップＳ１０１）。第４判定部４４は、入力された音声信号を解析し、まず、患者から発せられた音声であるか、患者以外から発せられた音声であるかを判定する（ステップＳ１０２、ステップＳ１０３）。音声信号が患者以外から発せられた音声である場合、検査時刻（検査時間）とともに記録される。音声信号が患者から発せられた音声である場合、音声信号が嚥下関係音であるか、非嚥下関係音であるかを判定する（ステップＳ１０４）。嚥下関係音とは、飲み込み音や嚥下に伴う喉頭蓋開閉音等のことである。非嚥下関係音とは、咳、ムセ、発声、呼吸音等の音である。音声信号が嚥下関係音である場合、嚥下中であると判定する（ステップＳ１０５）。嚥下関係音でない場合、非嚥下中であると判定する（ステップＳ１０６）。

【0048】

第１判定部４１、第２判定部４２、第３判定部４３及び第５判定部４５が嚥下中と判定した検査画像であっても、その検査画像が取得されたタイミングで取得された音声信号について第４判定部４４が非嚥下中と判定した場合は、その検査画像を非嚥下中であると判定する。すなわち、咳、ムセ、発声等により喉頭部や声帯が嚥下と同様に大きく動く場合においては、第１判定部４１、第２判定部４２、第３判定部４３及び後述する第５判定部４５では検査画像から嚥下中と判定されるが、検査画像から嚥下中と判定された場合でも、第４判定部４４が非嚥下関係音を取得した場合は非嚥下中と判定する。

【0049】

嚥下中と判定された検査画像と音声信号を用いた判定方法について、図１１のフローチャートを用いて説明する。まず、第１判定部４１、第２判定部４２、第３判定部４３又は後述する第５判定部４５が検査画像を嚥下中と判定する（ステップＳ２０１）。これとともに、第４判定部４４に音声信号が入力される（ステップＳ２０２）。次に、第４判定部４４が音声信号を嚥下関係音であるか、非嚥下関係音であるかを判定する（ステップＳ２０３）。音声信号が嚥下関係音である場合、嚥下中であると判定する（ステップＳ２０４）。嚥下関係音でない場合、非嚥下中であると判定する（ステップＳ２０５）。上記構成により、画像のみでは嚥下反応か嚥下以外の反応かを判別できない場合、例えば、咳に伴う声門の閉鎖や喉頭蓋の開閉等、嚥下ではないが声門や喉頭蓋の動きが大きくなる場合に、音声データを用いることでこれらの嚥下以外の反応を除外することで、嚥下中又は非嚥下中の判定の精度を向上させることができる。

【0050】

また、第４判定部４４は、嚥下関係音及び非嚥下関係音と、嚥下関係音及び非嚥下関係音が発せられたタイミングにおける検査画像とを対応付けてもよい。さらに、嚥下関係音及び非嚥下関係音が発生したタイミングにおいて、正常、又は異常（嚥下障害）である鑑別を行い、検査画像と対応付けてもよい。嚥下関係音及び非嚥下関係音に関連する正常又は異常の鑑別は、具体的には、嚥下関係音及び非嚥下関係音の回数、嚥下関係音及び非嚥下関係音が複数回発せられた場合はどのような間隔で発せられたか、嚥下に伴う喉頭蓋開閉音は嚥下障害に関係するものであるかどうか等の解析を行った上で行う。

【0051】

なお、音声信号が患者以外から発せられた音声である場合、医師等の発する特定の音声（例えば、「検査開始」等の呼びかけ）であると判定した場合、特定の音声と、特定の音声が発せられたタイミングにおける検査画像とを対応付けてもよい。

【0052】

第５判定部４５は、検査画像を入力すると、嚥下中である確率を算出し、嚥下中か否かを判定する分類器４５ａが搭載されることが好ましい。分類器４５ａは、機械学習を用いて生成した分類器である。機械学習には深層学習を用いることが好ましく、例えば多層畳み込みニューラルネットワークを用いることが好ましい。機械学習には、深層学習に加え、決定木、サポートベクトルマシン、ランダムフォレスト、回帰分析、教師あり学習、半教師なし学習、教師なし学習、強化学習、深層強化学習、ニューラルネットワークを用いた学習、敵対的生成ネットワーク等が含まれる。

【0053】

分類器４５ａは、嚥下中及び非嚥下中と判定された画像を予め学習した機械学習であることが好ましい。なお、分類器４５ａは自動的に嚥下中及び非嚥下中の画像をクラスタリングする教師なし学習又は半教師なし学習を用いた機械学習であってもよい。また、嚥下中及び非嚥下中の画像に加え、嚥下関係音及び非嚥下関係音を分類器４５ａに予め学習させておき、検査時に検査画像に加えて音声信号を入力し、嚥下中である確率又は非嚥下中である確率を出力させるようにしてもよい。

【0054】

分類器４５ａに入力される検査画像（図１２上段、検査画像４５ｂ、及び、図１２下段、検査画像４５ｄ）は、少なくとも１フレーム毎の検査画像の画像中心から、少なくとも縦方向及び横方向へ向かって２２４ピクセルの領域（画像処理対象領域４５ｇ）を画像処理対象とする。分類器４５ａは、図１２に例示するように、嚥下中である確率を出力する。この確率が第４閾値以上の場合、確率を算出したフレームの検査画像を嚥下中と判定する。なお、第４閾値の値は０．００１から０．９９９の範囲で、任意に設定できる。

【0055】

具体例を詳説する。図１２の上段は、嚥下運動が起きていない検査画像４５ｂを用いる例である。検査画像４５ｂを分類器４５ａに入力すると、これに対応する嚥下の確率４５ｃが出力される。図１２の例において、第４閾値を０．９８とすると、確率４５ｃは第４閾値未満となり、検査画像４５ｂが非嚥下中と判定される。

【0056】

図１２の下段は、嚥下運動が起きている検査画像４５ｄを用いる例である。検査画像４５ｄを分類器４５ａに入力すると、これに対応する嚥下の確率４５ｅが出力される。図１２の例において、第４閾値を０．９８とすると、確率４５ｃは第４閾値以上となり、検査画像４５ｂが嚥下中と判定される。

【0057】

また、分類器４５ａに入力される検査画像は撮像センサから入力される画像信号の他に、第１、第２、第３の嚥下検出アルゴリズムによって嚥下中か否かを判定された検査画像を用いてもよい。また、分類器４５ａで嚥下中か否かを判定された検査画像に対して、第１、第２、第３、第４の嚥下検出アルゴリズムを用いて、分類器４５ａが出力した嚥下中又は非嚥下中の判定を修正してもよい。

【0058】

なお、嚥下の判定のタイミングとしては、検査中にリアルタイムで実施し、検査画面に結果を表示することを想定しているが、検査終了後に実施してもよい。検査終了後に自動的に実施して結果を記録してもよい。医師等のユーザーが、必要な動画だけ判定させるように指示を受けたときだけ判定してもよい。ＰＡＣＳ（Picture Archiving and Communication Systems）、電子カルテ、サーバ等である記録装置１７から画像を呼び出して表示させる際に、嚥下判定を実施してもよい。コンピュータ１６はプロセッサ装置１５とは独立させて、ＵＳＢ（Universal Serial Bus）メモリなどの外部記録装置に記録した動画をコンピュータ１６で読み込み、判定させてもよい。上記構成により、検査画像から自動的に嚥下判定を行うことでユーザーの診断を補助することができる。

【0059】

嚥下回数カウント部４７は、第１判定部４１、第２判定部４２、第３判定部４３、第４判定部４４、又は第５判定部４５のいずれか１以上において「嚥下中」又は「非嚥下中」と判定された時系列的に連続する一連の検査画像（動画）において、嚥下動作が何回行われたかを判定する。嚥下回数のカウントは、医師等のユーザーが検査画像を見返す際の負担を軽減するための機能である。本実施形態の画像解析の方法を用いることにより、嚥下内視鏡検査中又は検査後に膨大な数の画像に対して嚥下判定がなされる。しかし、医師が診断を行う際は、嚥下中の画像そのものではなく一連の動画として取得される１回の嚥下動作を観察し、その上で嚥下動作が正常であるか異常であるかを診断する。このため、取得された動画において、１回の嚥下動作がどのタイミングで生じたかを把握する必要がある。以下、具体的なカウントの方法を説明する。

【0060】

嚥下回数カウント部４７には、第１判定部４１、第２判定部４２、第３判定部４３、又は第５判定部４５のいずれか１以上において「嚥下中」又は「非嚥下中」の状態が対応付けられた一連の検査画像が送信される。図１３は、嚥下回数カウント部４７に送信される、「嚥下中」又は「非嚥下中」と判定された一連の検査画像４７ａについて示している。一連の検査画像４７ａは時系列的に取得される画像であり、それぞれ「嚥下中」（図１３では「Ａ」で示す）又は「非嚥下中」（図１３では「Ｂ」で示す）と判定されている。以下、一連の「嚥下中」の検査画像を嚥下中動画、一連の「非嚥下中」の検査画像を非嚥下中動画と呼ぶ。

【0061】

嚥下回数カウント部４７は、嚥下中動画の後に非嚥下中動画が出現したタイミングから、非嚥下中動画の時間が一定期間を超えた場合、嚥下回数をカウントする。すなわち、嚥下中動画が取得された時間である嚥下連続期間の後、非嚥下中動画が取得された時間である非嚥下連続期間が一定期間を超えた場合に、一定期間を超えた非嚥下連続期間の直前の嚥下中動画について、１回の嚥下動作と判定する。

【0062】

又は、嚥下連続期間の後、非嚥下連続期間が一定期間を超えた場合に、一定期間を超えた非嚥下連続期間より前の嚥下連続期間嚥下中動画と、一定期間を超えない非嚥下中動画と、を合わせた動画について、１回の嚥下動作と判定する。なお、「一定期間を超えた非嚥下連続期間より前の嚥下連続期間嚥下中動画と、一定期間を超えない非嚥下中動画」には、一度、１回の嚥下動作と判定された動画は含まないことで、嚥下回数のカウントの重複を防ぐ。

【0063】

嚥下回数カウント部４７における嚥下回数カウント方法の具体例を図１４に示す。嚥下中動画を動画Ａ、非嚥下中動画を動画Ｂとする。また、「嚥下」とは嚥下連続期間のことを指し、「非嚥下」とは非嚥下連続期間のことを指す。図１４に示す検査開始から検査終了までの、Ｔで示す時間経過のポイントについて時系列順に以下説明する。Ｔ０（検査開始）からＴ１は動画Ｂ（非嚥下中動画）が撮像された非嚥下連続期間、Ｔ１からＴ２は動画Ａ（嚥下中動画）が撮像された嚥下連続期間、Ｔ２からＴ３は動画Ｂが撮像された非嚥下連続期間である。ここで、Ｔ２からＴ３へと時間が経過する間に、Ｔ２からは一定期間Ｔｓを超えている。したがって、Ｔ２＋Ｔｓの時点において、Ｔ１からＴ２の時間に含まれる検査画像を１回の嚥下動作と判定する。

【0064】

また、Ｔ３からＴ４は動画Ａが撮像された嚥下連続期間、Ｔ４からＴ５は動画Ｂが撮像された非嚥下連続期間、Ｔ５からＴ６は動画Ａが撮像された嚥下連続期間、Ｔ６からＴ７は動画Ｂが撮像された非嚥下連続期間である。ここで、Ｔ４からＴ５へと時間が経過する間には、Ｔ４から一定期間Ｔｓを超えていない。一方、Ｔ６からＴ７へと時間が経過する間には、Ｔ６から一定期間Ｔｓを超えている。この場合は、Ｔ６＋Ｔｓの時点において、Ｔ３からＴ６の動画に含まれる検査画像を１回の嚥下動作と判定する。

【0065】

図１４に示す具体例において、嚥下動作は２回となる。この例においては、それぞれの嚥下動作のタイミング、例えば、開始時刻Ｔ１、Ｔ３、および終了時刻Ｔ２、Ｔ６が結果記録部３４に記録される。なお、一定期間Ｔｓの長さは、ユーザーが設定してもよく、自動的に設定されてもよい。上記構成により、検査画像から１回の嚥下動作を判定することができる。また、一連の検査画像から極めて短時間の間に「非嚥下中」が「嚥下中」の画像に存在する場合に、余計に嚥下動作の回数をカウントすることを防ぎ、検査後において効率的にチェックし易い動画の表示用画面を生成することができる。

【0066】

嚥下回数カウント部４７で嚥下動作の回数をカウントされた検査画像は、表示制御部３２に送信される。表示制御部３２は、図１５に示すような表示用画面５０を生成する。表示用画面５０は、ディスプレイ１８に表示される。

【0067】

表示用画面５０では、図１５に示すように、現在の検査画像５０ａが表示され、シークバー５１で全体の再生時間を、シークボタン５２の位置で、現在の再生時間を示す。現在の再生時間は、シークボタン５２のシークバー５１上における操作、再生動画巻き戻しボタン５３及び再生動画早送りボタン５４で調節できる。なお、一時停止ボタン５５で、再生中の動画を一時停止でき、再生ボタン５６で再生できる。また、検査画像の１回の嚥下動作と判定された箇所５７を、嚥下動作の開始時刻および終了時刻から計算し、認識可能な形式で表すことが好ましい。例えば、図１５に示すように、１回の嚥下動作と判定された箇所５７をシークバー５１に表示する。上記構成により、ユーザーは嚥下中の検査画像まで動画をスキップすることができ、動画全体から嚥下中の箇所を探す手間を省くことができる。

【0068】

検査画像を取得してから表示用画面を表示するまでの一連の流れを、図１６に示すフローチャートに沿って説明する。画像取得部３１が検査画像を取得し、嚥下判定部４０に送信する（ステップＳ３０１）。次いで、第１判定部４１、第２判定部４２、第３判定部４３、第４判定部４４、又は、第５判定部４５のいずれか１以上において、嚥下中であるか否かの判定が行われる（ステップＳ３０２）。「嚥下中」又は「非嚥下中」の判定がなされた一連の検査画像は、嚥下回数カウント部４７において、１回の嚥下動作の判定がなされる（ステップＳ３０３）。１回の嚥下動作の判定がなされた検査画像は、表示制御部３２において表示用画面として生成され、ディスプレイ１８に表示される（ステップＳ３０４）。

【0069】

本実施形態では、プロセッサ装置１５及びコンピュータ１６が内視鏡システム１０に設けられている例で説明をしたが、本発明はこれに限定されず、他の医療用装置を用いてもよい。また、この内視鏡１２は、硬性鏡又は軟性鏡が用いられてよい。また、内視鏡システム１０のうち画像取得部３１及び／又は制御部３０の一部又は全部は、例えばプロセッサ装置１５と通信して内視鏡システム１０と連携する医療画像処理装置に設けることができる。例えば、内視鏡システム１０から直接的に、又は、ＰＡＣＳから間接的に、内視鏡１２で撮像した画像を取得する診断支援装置に設けることができる。また、内視鏡システム１０を含む、第１検査装置、第２検査装置、…、第Ｎ検査装置等の各種検査装置と、ネットワークを介して接続する医療業務支援装置に、内視鏡システム１０のうち画像取得部３１及び／又は制御部３０の一部又は全部を設けることができる。

【0070】

本実施形態において、制御部３０、画像取得部３１、表示制御部３２、画像入力部３３、結果記録部３４、嚥下判定部４０といった各種の処理を実行する処理部（processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウエア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit)、ＦＰＧＡ(Field Programmable Gate Array) 等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device:ＰＬＤ）、各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。

【0071】

１つの処理部は、これら各種のプロセッサのうちの１つで構成されてもよく、同種又は異種の２つ以上のプロセッサの組み合せ（例えば、複数のＦＰＧＡや、ＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウエアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:ＳｏＣ）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。

【0072】

さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた形態の電気回路（circuitry）である。また、記憶部のハードウェア的な構造はＨＤＤ（hard disc drive）やＳＳＤ（solid state drive）等の記憶装置である。

【符号の説明】

【0073】

１０ 内視鏡システム
１２ 内視鏡
１２ａ 挿入部
１２ｂ 操作部
１２ｃ 湾曲部
１２ｄ 先端部
１２ｅ アングルノブ
１２ｈ 静止画像取得指示スイッチ
１２ｉ ズーム操作部
１４ 光源装置
１５ プロセッサ装置
１６ コンピュータ
１７ 記録装置
１８ ディスプレイ
１９ ユーザーインターフェース
２０ 光源部
２２ 光源制御部
３０ 制御部
３１ 画像取得部
３２ 表示制御部
３３ 画像入力部
３４ 結果記録部
４０ 嚥下判定部
４１ 第１判定部
４１ａ、４１ｂ、４１ｄ、４１ｅ、４２ａ、４２ｃ、４３ａ、４３ｂ、４５ｂ、４５ｄ、１００ 検査画像
４１ｃ、４１ｆ 変化量の例
４１ｇ、４２ｇ、４３ｇ、４５ｇ 画像処理対象領域
４２ 第２判定部
４２ｂ、４２ｄ 図８上段の画像特徴量の例
４３ 第３判定部
４３ｃ 画像特徴点
４４ 第４判定部
４５ 第５判定部
４５ａ 分類器
４５ｃ、４５ｅ 確率
４７ 嚥下回数カウント部
４７ａ 一連の検査画像
５０ 表示用画面
５０ａ 現在の検査画像
５１ シークバー
５２ シークボタン
５３ 再生動画巻き戻しボタン
５４ 再生動画早送りボタン
５５ 一時停止ボタン
５６ 再生ボタン
５７ １回の嚥下動作と判定された箇所
Ｅｓ 食道
Ｅｇ 喉頭蓋
Ｅｖ 喉頭蓋谷
Ｆ 食物
Ｒｇ 声門裂
Ｐｓ 梨状陥凹
Ｓｐ 軟口蓋
Ｔo 舌
Ｔｒ 気管

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】