(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-05-19
(45)【発行日】2022-05-27
(54)【発明の名称】内視鏡装置、内視鏡装置の作動方法、及びプログラム
(51)【国際特許分類】
A61B 1/045 20060101AFI20220520BHJP
A61B 1/00 20060101ALI20220520BHJP
G02B 23/24 20060101ALI20220520BHJP
【FI】
A61B1/045 640
A61B1/045 615
A61B1/00 552
G02B23/24 A
G02B23/24 B
(21)【出願番号】P 2020514063
(86)(22)【出願日】2019-04-03
(86)【国際出願番号】 JP2019014755
(87)【国際公開番号】W WO2019202982
(87)【国際公開日】2019-10-24
【審査請求日】2020-11-05
(31)【優先権主張番号】P 2018080800
(32)【優先日】2018-04-19
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】306037311
【氏名又は名称】富士フイルム株式会社
(74)【代理人】
【識別番号】100083116
【氏名又は名称】松浦 憲三
(74)【代理人】
【識別番号】100170069
【氏名又は名称】大原 一樹
(74)【代理人】
【識別番号】100128635
【氏名又は名称】松村 潔
(74)【代理人】
【識別番号】100140992
【氏名又は名称】松浦 憲政
(72)【発明者】
【氏名】臼田 稔宏
【審査官】増渕 俊仁
(56)【参考文献】
【文献】特開2014-023818(JP,A)
【文献】米国特許出願公開第2015/0317830(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 1/00-1/32
G02B 23/24-23/26
(57)【特許請求の範囲】
【請求項1】
スコープ部のスコープヘッドの特定の動きを示す単数又は複数の動作パターンを識別する動作パターン識別部と、
内視鏡装置の操作を指示する単数又は複数の操作情報と、前記スコープヘッドの前記単数又は複数の動作パターンとを関連付けて記憶する操作記憶部と、
前記動作パターン識別部により識別された前記動作パターンに基づいて、前記動作パターンに対応する前記操作情報を前記操作記憶部から取得する操作情報取得部と、
前記操作情報取得部により取得された前記操作情報に対応する操作を実行する操作実行部と、
を備えた内視鏡装置。
【請求項2】
前記動作パターン識別部は、前記スコープヘッドに備えられた撮像部で取得された時系列画像に基づいて、前記動作パターンを識別する請求項1に記載の内視鏡装置。
【請求項3】
前記動作パターン識別部は、前記時系列画像において移動ベクトルを算出し、前記移動ベクトルに基づいて前記スコープヘッドの動作パターンを識別する請求項2に記載の内視鏡装置。
【請求項4】
前記動作パターン識別部は、前記スコープ部に備えられたセンサから出力されるセンサ情報に基づいて、前記スコープヘッドの動作パターンを識別する請求項1に記載の内視鏡装置。
【請求項5】
前記スコープ部には、加速度センサ、ジャイロセンサ、磁界センサ、曲がりセンサ、赤外線センサ、及び超音波センサのうち少なくとも一つが備えられている請求項4に記載の内視鏡装置。
【請求項6】
前記動作パターン識別部は、前記スコープ部の操作部を介して入力される入力操作情報に基づいて、前記動作パターンを識別する請求項1に記載の内視鏡装置。
【請求項7】
前記操作実行部が前記操作を実行するスコープヘッド動作入力モードと、前記操作実行部が前記操作を実行しない通常観察モードとを切り替えるモード切替部を備える請求項1から6のいずれか1項に記載の内視鏡装置。
【請求項8】
前記操作記憶部は、前記モード切替部でのモード切替操作を指示する前記操作情報と、前記スコープヘッドの前記単数又は複数の動作パターンとを関連付けて記憶する請求項7に記載の内視鏡装置。
【請求項9】
前記操作記憶部は、観察条件の調整操作に関する前記操作情報と、前記単数又は複数の動作パターンとを関連付けて記憶する請求項1から8のいずれか1項に記載の内視鏡装置。
【請求項10】
前記操作記憶部は、承認又は不承認の入力操作と前記スコープヘッドの前記単数又は複数の動作パターンとを関連付けて記憶する請求項1から9のいずれか1項に記載の内視鏡装置。
【請求項11】
前記操作記憶部は、前記スコープヘッドの縦方向の湾曲動作に対して前記承認の入力操作を関連付けて記憶し、前記スコープヘッドの横方向の湾曲動作に対して前記不承認の入力操作を関連づけて記憶する請求項10に記載の内視鏡装置。
【請求項12】
前記動作パターンは、前記スコープヘッドの前記特定の動きの回数及び速さの情報のうち少なくとも一方を含む請求項1から11のいずれか1項に記載の内視鏡装置。
【請求項13】
プロセッサを含む内視鏡装置の作動方法であって、
前記プロセッサに、
スコープ部のスコープヘッドの特定の動きを示す単数又は複数の動作パターンを識別するステップと、
内視鏡装置の操作を指示する単数又は複数の操作情報と、前記スコープヘッドの前記単数又は複数の動作パターンとを関連付けて記憶する操作記憶部から、前記動作パターンを識別するステップにより識別された前記動作パターンに基づいて、前記動作パターンに対応する前記操作情報を取得するステップと、
前記操作情報に対応する操作を実行するステップと、
を
実行させる内視鏡
装置の作動方法。
【請求項14】
スコープ部のスコープヘッドの特定の動きを示す単数又は複数の動作パターンを識別するステップと、
内視鏡装置の操作を指示する単数又は複数の操作情報と、前記スコープヘッドの前記単数又は複数の動作パターンとを関連付けて記憶する操作記憶部から、前記動作パターンを識別するステップにより識別された前記動作パターンに基づいて、前記動作パターンに対応する前記操作情報を取得するステップと、
前記操作情報に対応する操作を実行するステップと、
を含む内視鏡操作方法をコンピュータに実行させるプログラム。
【請求項15】
非一時的かつコンピュータ読取可能な記録媒体であって、前記記録媒体に格納された指令がコンピュータによって読み取られた場合に、
スコープ部のスコープヘッドの特定の動きを示す単数又は複数の動作パターンを識別するステップと、
内視鏡装置の操作を指示する単数又は複数の操作情報と、前記スコープヘッドの前記単数又は複数の動作パターンとを関連付けて記憶する操作記憶部から、前記動作パターンを識別するステップにより識別された前記動作パターンに基づいて、前記動作パターンに対応する前記操作情報を取得するステップと、
前記操作情報に対応する操作を実行するステップと、
を含む内視鏡操作方法をコンピュータに実行させる記録媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、内視鏡装置、内視鏡操作方法、及びプログラムに関し、特に情報入力の手法に関する。
【背景技術】
【0002】
内視鏡装置を使用して検査を行う場合、術者は、両手を使って複雑なスコープ操作をしながら、表示部に表示される内視鏡画像を診断する。例えば、術者は、内視鏡画像を見ながら、画像の拡大率の変更、光源の切り替え、静止画の撮影、送気、吸引、送水などの操作を行う。さらに、今後の内視鏡装置の開発によって、新たな内視鏡装置の操作が追加される可能性がある。これらの操作は、スコープの操作部に取り付けられたスイッチ等の入力デバイスに割り当てられるが、スコープの操作部に取り付けられたボタン及びアングルノブの入力デバイスの数は限られている。したがって、既存の入力デバイスに割り当てることのできる操作の数は、限られている。
【0003】
また、近年は内視鏡装置において、AI(Artificial Intelligence)によって診断又は診断を支援する技術が開発されている。術者は、AIの診断結果の承認又は不承認を入力する必要がある。この場合術者は、検査の手を止めて、スコープから手を離し、マウスクリックなどにより情報を入力する必要がある。このように、スコープから手を離しての情報の入力は、検査の負担になる。
【0004】
これらの問題に対して、従来より様々な技術が提案されている。
【0005】
例えば特許文献1には、内視鏡の(スコープの)操作部のボタンの数を増やさずに、施術中に内視鏡装置のプロセッサの操作盤に触れずに多くの操作機能を利用できるようにすることを目的とした技術が提案されている。具体的に、特許文献1に記載された技術では、二段押し込み式ボタンの半押しを含む操作を検出して、通常操作モードと拡張操作モードとを切り替え、各操作モード毎に操作部のボタンに動作を割り当てる技術が記載されている。
【先行技術文献】
【特許文献】
【0006】
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、特許文献1に記載された技術では、一つのボタンに対して通常操作モードと拡張操作モードとで異なる操作が割り当てられる場合があり、術者が割り当てられた操作を混同してしまう可能性がある。また、特許文献1に記載された技術では、操作モードの切り替えを二段押し込み式ボタンの半押しの操作を検出することによって行っているので、二段押し込み式ボタンを設けなければならず、また、術者は半押し操作を行わなければならない。
【0008】
本発明はこのような事情に鑑みてなされたもので、その目的は、既に備えられた操作部のボタンや機構等を利用しつつ、術者が割り当てられた操作を混同してしまうことなく、簡便に操作を行うことができる内視鏡装置、内視鏡操作方法、及びプログラムを提供することである。
【課題を解決するための手段】
【0009】
上記目的を達成するための本発明の一の態様である内視鏡装置は、スコープ部のスコープヘッドの特定の動きを示す単数又は複数の動作パターンを識別する動作パターン識別部と、内視鏡装置の操作を指示する単数又は複数の操作情報と、スコープヘッドの単数又は複数の動作パターンとを関連付けて記憶する操作記憶部と、動作パターン識別部により識別された動作パターンに基づいて、動作パターンに対応する操作情報を操作記憶部から取得する操作情報取得部と、操作情報取得部により取得された操作情報に対応する操作を実行する操作実行部と、を備える。
【0010】
本態様によれば、動作パターン識別部により、スコープヘッドの特定の動きを示す動作パターンが識別されて、操作実行部により、その動作パターンの操作情報に対応する操作が実行される。これにより、本態様は、既に備えられた操作部のボタンや機構等を利用しつつ、術者が割り当てられた操作を混同してしまうことがなく、簡便に操作を行うことができる。
【0011】
好ましくは、動作パターン識別部は、スコープヘッドに備えられた撮像部で取得された時系列画像に基づいて、動作パターンを識別する。
【0012】
本態様によれば、動作パターン識別部により、スコープヘッドに備えられた撮像部で取得された時系列画像に基づいて、動作パターンが識別される。これにより、本態様は、動作パターンを識別する為のセンサをスコープヘッドに設ける必要がなく、正確に動作パターンを識別することができる。
【0013】
好ましくは、動作パターン識別部は、時系列画像において移動ベクトルを算出し、移動ベクトルに基づいてスコープヘッドの動作パターンを識別する。
【0014】
本態様によれば、動作パターン識別部により、時系列画像において移動ベクトルが算出され、移動ベクトルに基づいてスコープヘッドの動作が識別されるので、正確に動作パターンを識別することができる。
【0015】
好ましくは、動作パターン識別部は、スコープ部に備えられたセンサから出力されるセンサ情報に基づいて、スコープヘッドの動作パターンを識別する。
【0016】
本態様によれば、動作パターン識別部により、スコープ部に備えられたセンサから出力されるセンサ情報に基づいて、スコープヘッドの動作パターンが識別されるので、画像処理により動作パターンを識別する処理負荷を軽減し、正確に動作パターンを識別することができる。
【0017】
好ましくは、スコープ部には、加速度センサ、ジャイロセンサ、磁界センサ、曲がりセンサ、赤外線センサ、及び超音波センサのうち少なくとも一つが備えられている。
【0018】
好ましくは、動作パターン識別部は、スコープ部の操作部を介して入力される入力操作情報に基づいて、動作パターンを識別する。
【0019】
本態様によれば、動作パターン識別部により、スコープ部の操作部を介して入力される入力操作情報に基づいて、動作パターンが識別されるので、術者の操作部の操作から直接的にスコープヘッドの動きが識別される。
【0020】
好ましくは、操作実行部が操作を実行するスコープヘッド動作入力モードと、操作実行部が操作を実行しない通常観察モードとを切り替えるモード切替部を備える。
【0021】
本態様によれば、モード切替部により、スコープヘッド動作入力モードと通常観察モードとが切り替えられる。これにより、本態様は、スコープヘッドを動かして通常の観察を行うこともできるし、スコープヘッドを動かすことにより所定の操作を入力することもできる。
【0022】
好ましくは、操作記憶部は、モード切替部でのモード切替操作を指示する操作情報と、スコープヘッドの単数又は複数の動作パターンとを関連付けて記憶する。
【0023】
本態様によれば、操作記憶部により、モード切替部でのモード切替操作を指示する操作情報と、スコープヘッドの単数又は複数の動作パターンとが関連付けて記憶される。これにより、本態様は、モード切替がスコープヘッドの動作により行われて、より簡便に操作を行うことができる。
【0024】
好ましくは、操作記憶部は、観察条件の調整操作に関する操作情報と、単数又は複数の動作パターンとを関連付けて記憶する。
【0025】
本態様によれば、操作記憶部により、観察条件の調整操作に関する操作情報と、単数又は複数の動作パターンとを関連付けて記憶される。これにより、本態様は、スコープヘッドの動作により、観察条件の調整操作に関する操作を行うことができる。
【0026】
好ましくは、操作記憶部は、承認又は不承認の入力操作とスコープヘッドの単数又は複数の動作パターンとを関連付けて記憶する。
【0027】
本態様によれば、操作記憶部により、承認又は不承認の入力操作とスコープヘッドの単数又は複数の動作パターンとが関連付けて記憶される。これにより、本態様は、承認又は不承認の入力をスコープヘッドの動作により行うことができる。
【0028】
好ましくは、操作記憶部は、スコープヘッドの縦方向の湾曲動作に対して承認の入力操作を関連付けて記憶し、スコープヘッドの横方向の湾曲動作に対して不承認の入力操作を関連づけて記憶する。
【0029】
本態様によれば、操作記憶部により、スコープヘッドの縦方向の湾曲動作に対して承認の入力操作を関連付けて記憶され、スコープヘッドの横方向の湾曲動作に対して不承認の入力操作を関連づけて記憶される。これにより、本態様は、承認の入力には人がうなずくような動作をスコープヘッドに行わせ、不承認の入力には人が首を振るような動作をスコープヘッドに行わせ、直感的な操作を行うことが可能となる。
【0030】
好ましくは、動作パターンは、スコープヘッドの特定の動きの回数及び速さの情報のうち少なくとも一方を含む。
【0031】
本発明の他の態様である内視鏡操作方法は、スコープ部のスコープヘッドの特定の動きを示す単数又は複数の動作パターンを識別するステップと、内視鏡装置の操作を指示する単数又は複数の操作情報と、スコープヘッドの単数又は複数の動作パターンとを関連付けて記憶する操作記憶部から、動作パターンを識別するステップにより識別された動作パターンに基づいて、動作パターンに対応する操作情報を取得するステップと、操作情報に対応する操作を実行するステップと、を含む。
【0032】
本発明の他の態様であるプログラムは、スコープ部のスコープヘッドの特定の動きを示す単数又は複数の動作パターンを識別するステップと、内視鏡装置の操作を指示する単数又は複数の操作情報と、スコープヘッドの単数又は複数の動作パターンとを関連付けて記憶する操作記憶部から、動作パターンを識別するステップにより識別された動作パターンに基づいて、動作パターンに対応する操作情報を取得するステップと、操作情報に対応する操作を実行するステップと、を含む内視鏡操作方法をコンピュータに実行させる。
【発明の効果】
【0033】
本発明によれば、動作パターン識別部により、スコープヘッドの特定の動きを示す動作パターンが識別されて、操作実行部により、その動作パターンの操作情報に対応する操作が実行されるので、既に備えられた操作部のボタンや機構等を利用しつつ、術者が割り当てられた操作を混同してしまうことがなく、簡便に操作を行うことができる。
【図面の簡単な説明】
【0034】
【
図2】
図2は、内視鏡装置の電気的構成を示すブロック図である。
【
図3】
図3は、機能構成例を示すブロック図である。
【
図4】
図4は、操作記憶部の記憶構成例を示す図である。
【
図5】
図5は、内視鏡の操作方法を示したフロー図である。
【
図6】
図6は、スコープヘッドの動きに関して示す図である。
【
図8】
図8は、スコープヘッドの動きに関して示す図である。
【
図10】
図10は、スコープヘッドの動きに関して示す図である。
【
図12】
図12は、内視鏡装置の電気的構成を示すブロック図である。
【発明を実施するための形態】
【0035】
以下、添付図面に従って本発明にかかる内視鏡装置、内視鏡操作方法、及びプログラムの好ましい実施の形態について説明する。
【0036】
【0037】
図1に示すように内視鏡装置10は、大別して、被検体内の観察対象を撮像する内視鏡スコープ(ここでは軟性内視鏡)(スコープ部)11と、光源装置12と、プロセッサ装置13と、液晶モニタ等の表示器14と、を備えている。
【0038】
光源装置12は、通常画像の撮像用の白色光、特殊光画像の撮像用の特定の波長帯域の光等の各種の照明光を内視鏡スコープ11へ供給する。
【0039】
プロセッサ装置13は、内視鏡装置10の一形態としても機能し得るものであり、内視鏡スコープ11により得られた画像信号に基づいて表示用又は記録用の通常画像及び/又は特殊光画像の画像データを生成する機能を有する。
【0040】
表示器14は、プロセッサ装置13から入力される表示用の画像データに基づき通常画像又は特殊光画像等を表示する。
【0041】
内視鏡スコープ11は、被検体内に挿入される可撓性の挿入部16と、挿入部16の基端部に連設され、内視鏡スコープ11の把持及び挿入部16の操作に用いられる手元操作部(スコープ部の操作部)17と、手元操作部17を光源装置12及びプロセッサ装置13に接続するユニバーサルコード18と、を備えている。
【0042】
挿入部16の先端部である挿入部先端部16aには、照明レンズ42、対物レンズ44、撮像素子(撮像部)45などが内蔵されている(
図2参照)。挿入部先端部16aの後端には、湾曲自在な湾曲部16bが連設されている。また、湾曲部16bの後端には、可撓性を有する可撓管部16cが連設されている。なお、挿入部先端部16a及び湾曲部16bによりスコープヘッドが構成される。
【0043】
手元操作部17には、アングルノブ21、操作ボタン22、及び鉗子入口23などが設けられている。アングルノブ21は、湾曲部16bの湾曲方向及び湾曲量を調整する際に回転操作される。操作ボタン22は、送気、送水、吸引等の各種の操作に用いられる。鉗子入口23は、挿入部16内の鉗子チャネルに連通している。なお、アングルノブ21には、湾曲部16bを上下に動かす上下アングルノブ及び湾曲部16bを左右に動かす左右アングルノブが設けられている。
【0044】
ユニバーサルコード18には、送気及び/又は送水チャンネル、信号ケーブル、及びライトガイド40などが組み込まれている。ユニバーサルコード18の先端部には、光源装置12に接続されるコネクタ部25aと、プロセッサ装置13に接続されるコネクタ部25bとが設けられている。これにより、コネクタ部25aを介して光源装置12から内視鏡スコープ11に照明光が供給され、コネクタ部25bを介して内視鏡スコープ11により得られた画像信号がプロセッサ装置13に入力される。
【0045】
なお、光源装置12には、電源ボタン、光源を点灯させる点灯ボタン、及び明るさ調節ボタン等の光源操作部12aが設けられ、また、プロセッサ装置13には、電源ボタン、図示しないマウス等のポインティングデバイスからの入力を受け付ける入力部を含むプロセッサ操作部13aが設けられている。
【0046】
<第1の実施形態>
図2は内視鏡装置10の電気的構成を示すブロック図である。
【0047】
図2に示すように内視鏡スコープ11は、大別して、ライトガイド40と、照明レンズ42と、対物レンズ44と、撮像素子45と、手元操作部17と、内視鏡制御部47と、ROM(Read Only Memory)48とを有している。
【0048】
ライトガイド40は、大口径光ファイバ、バンドルファイバなどが用いられる。ライトガイド40は、その入射端がコネクタ部25aを介して光源装置12に挿入されており、その出射端が挿入部16を通って挿入部先端部16a内に設けられた照明レンズ42に対向している。光源装置12からライトガイド40に供給された照明光は、照明レンズ42を通して観察対象に照射される。そして、観察対象で反射及び/又は散乱した照明光は、対物レンズ44に入射する。
【0049】
対物レンズ44は、入射した照明光の反射光又は散乱光(即ち、観察対象の光学像)を撮像素子45の撮像面に結像させる。
【0050】
撮像素子45は、CMOS(complementary metal oxide semiconductor)型又はCCD(charge coupled device)型の撮像素子であり、対物レンズ44よりも奥側の位置で対物レンズ44に相対的に位置決め固定されている。撮像素子45の撮像面には、光学像を光電変換する複数の光電変換素子(フォトダイオード)により構成される複数の画素が2次元配列されている。また、本例の撮像素子45の複数の画素の入射面側には、画素毎に赤(R)、緑(G)、青(B)のカラーフィルタが配置され、これによりR画素、G画素、B画素が構成されている。なお、RGBのカラーフィルタのフィルタ配列は、ベイヤ配列が一般的であるが、これに限らない。
【0051】
撮像素子45は、対物レンズ44により結像される光学像を電気的な画像信号に変換してプロセッサ装置13に出力する。
【0052】
なお、撮像素子45がCMOS型である場合には、A/D(Analog/Digital)変換器が内蔵されており、撮像素子45からプロセッサ装置13に対してデジタルの画像信号が直接出力される。また、撮像素子45がCCD型である場合には、撮像素子45から出力される画像信号は図示しないA/D変換器等でデジタルな画像信号に変換された後、プロセッサ装置13に出力される。
【0053】
手元操作部17は、図示しない静止画撮像ボタン、通常画像撮影モード、特殊光画像撮影モードを設定する撮影モード設定部を有している。
【0054】
内視鏡制御部47は、手元操作部17での操作に応じてROM48等から読み出した各種プログラムやデータを逐次実行し、主として撮像素子45の駆動を制御する。例えば、通常画像撮影モードの場合、内視鏡制御部47は、撮像素子45のR画素、G画素及びB画素の信号を読み出すように撮像素子45を制御し、特殊光画像撮影モードであって、特殊光画像を取得するために照明光としてV-LED32aから紫色光が発光される場合、又はB-LED32bから青色光が発光される場合には、これらの紫色光、青色光の波長帯域に分光感度を有する撮像素子45のB画素の信号のみを読み出すように撮像素子45を制御する。
【0055】
また、内視鏡制御部47は、プロセッサ装置13のプロセッサ制御部61との間で通信を行い、手元操作部17での入力操作情報及びROM48に記憶されている内視鏡スコープ11の種類を識別するための識別情報等をプロセッサ装置13に送信する。
【0056】
光源装置12は、光源制御部31及び光源ユニット32を有している。光源制御部31は、光源ユニット32の制御と、プロセッサ装置13のプロセッサ制御部61との間で通信を行い、各種情報の遣り取りを行う。
【0057】
光源ユニット32は、例えば複数の半導体光源を有している。本実施形態では、光源ユニット32は、V-LED(Violet Light Emitting Diode)32a、B-LED(Blue Light Emitting Diode)32b、G-LED(Green Light Emitting Diode)32c、及びR-LED(Red Light Emitting Diode)32dの4色のLEDを有する。V-LED32aは、中心波長405nmで、波長帯域380~420nmの紫色光を発光する紫色半導体光源である。B-LED32bは、中心波長460nm、波長帯域420~500nmの青色光を発する青色半導体光源である。G-LED32cは、波長帯域が480~600nmに及ぶ緑色光を発する緑色半導体光源である。R-LED32dは、中心波長620~630nmで、波長帯域が600~650nmの赤色光を発光する赤色半導体光源である。なお、V-LED32aとB-LED32bの中心波長は±5nmから±10nm程度の幅を有する。
【0058】
これらの各LED32a~32dの点灯や消灯、点灯時の発光量等は、光源制御部31が各々に独立した制御信号を入力するによって各々に制御することができる。通常画像撮影モードの場合、光源制御部31は、V-LED32a、B-LED32b、G-LED32c、及びR-LED32dを全て点灯させる。このため、通常画像撮影モードでは、紫色光、青色光、緑色光、及び赤色光を含む白色光が照明光として用いられる。
【0059】
一方、特殊光画像撮影モードの場合、光源制御部31は、V-LED32a、B-LED32b、G-LED32c、及びR-LED32dのうちのいずれか1つの光源、又は適宜組み合わせた複数の光源を点灯させ、又は複数の光源を点灯させる場合、各光源の発光量(光量比)を制御し、これにより被検体の深度の異なる複数の層の画像の撮像を可能にする。
【0060】
各LED32a~32dが発する各色の光は、ミラーやレンズ等で形成される光路結合部、及び絞り機構(図示せず)を介して内視鏡スコープ11内に挿通されたライトガイド40に入射される。
【0061】
なお、光源装置12の照明光は、白色光(白色の波長帯域の光又は複数の波長帯域の光)、或いは1又は複数の特定の波長帯域の光(特殊光)、或いはこれらの組み合わせなど観察目的に応じた各種波長帯域の光が選択される。特殊光の特定の波長帯域は、白色の波長帯域よりも狭い帯域である。
【0062】
特定の波長帯域の第1例は、例えば可視域の青色帯域又は緑色帯域である。この第1例の波長帯域は、390nm以上450nm以下又は530nm以上550nm以下の波長帯域を含み、且つ第1例の光は、390nm以上450nm以下又は530nm以上550nm以下の波長帯域内にピーク波長を有する。
【0063】
特定の波長帯域の第2例は、例えば可視域の赤色帯域である。この第2例の波長帯域は、585nm以上615nm以下又は610nm以上730nm以下の波長帯域を含み、且つ第2例の光は、585nm以上615nm以下又は610nm以上730nm以下の波長帯域内にピーク波長を有する。
【0064】
特定の波長帯域の第3例は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、且つ第3例の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有する。この第3例の波長帯域は、400±10nm、440±10nm、470±10nm、又は600nm以上750nm以下の波長帯域を含み、且つ第3例の光は、上記400±10nm、440±10nm、470±10nm、又は600nm以上750nm以下の波長帯域にピーク波長を有する。
【0065】
特定の波長帯域の第4例は、生体内の蛍光物質が発する蛍光の観察(蛍光観察)に用いられ且つこの蛍光物質を励起させる励起光の波長帯域(390nmから470nm)である。
【0066】
特定の波長帯域の第5例は、赤外光の波長帯域である。この第5例の波長帯域は、790nm以上820nm以下又は905nm以上970nm以下の波長帯域を含み、且つ第5例の光は、790nm以上820nm以下又は905nm以上970nm以下の波長帯域にピーク波長を有する。
【0067】
プロセッサ装置13は、プロセッサ操作部13a、プロセッサ制御部61、ROM62、デジタル信号処理回路(DSP:Digital Signal Processor)63、画像処理部65、表示制御部66、及び記憶部67等を有している。
【0068】
プロセッサ操作部13aは、電源ボタン、マウスにより表示器14上で指示される座標位置及びクリック(実行指示)等の入力を受け付ける入力部等を含む。
【0069】
プロセッサ制御部61は、プロセッサ操作部13aでの入力操作情報、及び内視鏡制御部47を介して受信した手元操作部17での入力操作情報に応じてROM62から必要なプログラムやデータを読み出して逐次処理することで、プロセッサ装置13の各部を制御するとともに、光源装置12を制御する。なお、プロセッサ制御部61は、図示しないインターフェースを介して接続されたキーボード等の他の外部機器から必要な指示入力を受け付けるようにしてもよい。
【0070】
内視鏡スコープ11(撮像素子45)から出力される動画の各フレームの画像データを取得する画像取得部の一形態として機能するDSP63は、プロセッサ制御部61の制御の下、内視鏡スコープ11から入力される動画の1フレーム分の画像データに対し、欠陥補正処理、オフセット処理、ホワイトバランス補正、ガンマ補正、及びデモザイク処理等の各種の信号処理を行い、1フレーム分の画像データを生成する。
【0071】
画像処理部65は、DSP63から画像データを入力し、入力した画像データに対して、必要に応じて色変換処理、色彩強調処理、及び構造強調処理等の画像処理を施し、観察対象が写った内視鏡画像を示す画像データを生成する。色変換処理は、画像データに対して3×3のマトリックス処理、階調変換処理、及び3次元ルックアップテーブル処理などにより色の変換を行う処理である。色彩強調処理は、色変換処理済みの画像データに対して、例えば血管と粘膜との色味に差をつける方向に色彩を強調する処理である。構造強調処理は、例えば血管やピットパターン等の観察対象に含まれる特定の組織や構造を強調する処理であり、色彩強調処理後の画像データに対して行う。
【0072】
画像処理部65により処理された動画の各フレームの画像データは、静止画又は動画の撮影指示があると、撮影指示された静止画又は動画として記憶部67に記録される。
【0073】
表示制御部66は、入力する画像データから通常画像、特殊光画像を表示器14に表示させるための表示用データを生成し、生成した表示用データを表示器14に出力し、表示器14に表示用画像を表示させる。
【0074】
図3は、本実施形態の主な機能構成例を示すブロック図である。
【0075】
本実施形態では、記憶部67に操作記憶部101、画像処理部65に動作パターン識別部103、プロセッサ制御部61に操作情報取得部105、操作実行部107、及びモード切替部109が設けられている。
【0076】
操作記憶部101は、スコープヘッド(挿入部先端部16a及び湾曲部16b)の動作パターンと内視鏡装置10の操作を指示する操作情報とを関連付けて記憶する。ここで、動作パターンとは、スコープヘッドの特定の動きを示すパターンであり、単数又は複数のスコープヘッドの動きにより動作パターンが構成される。また操作情報とは、プロセッサ装置13、光源装置12、及び内視鏡スコープ11への動作の指令を示す情報である。
【0077】
図4は、操作記憶部101の記憶構成例を示す図である。
【0078】
操作記憶部101には、
図4に示すように、スコープヘッドの動作パターン121と操作情報123とが関連付けられて記憶されている。スコープヘッドの動作パターン121とスコープ部の観察条件の調整操作に関する操作情報123が関連付けられて記憶されている。スコープヘッドの動作パターン121である「横に2往復振る」には、操作情報123である「光源の切替」が関連づけられて記憶されている。また、スコープヘッドの動作パターン121である「スコープの光軸方向に回転」には、操作情報123である「拡大率を変更」が関連づけられて記憶されている。なお、拡大率のように連続的な値をとるパラメータの変更の際は、回転角度を動作パターン識別部103で検知し、回転角度に応じて連続的な値をとるパラメータの変更を行ってもよい。
【0079】
また、操作記憶部101には、後で説明をするモード切替部109でのモード切替操作を指示する操作情報と、スコープヘッドの動作パターンとを関連付けて記憶してもよい。
【0080】
動作パターン識別部103は、スコープヘッドの特定の動きを示す動作パターンを識別する。本実施形態の動作パターン識別部103は、スコープヘッドに備えられた撮像素子45で取得された時系列画像に基づいて、スコープヘッドの動きを検出して、動作パターンを識別する。具体的には、動作パターン識別部103は、時系列画像において移動ベクトルを算出し、算出した移動ベクトルに基づいてスコープヘッドの動きを検出する。そして、動作パターン識別部103は、検出したスコープヘッドの動きと操作記憶部101に記憶されたスコープヘッドの動作パターンとを比較し、検出したスコープヘッドの動きが操作記憶部101に記憶されたスコープヘッドの動作パターンとが一致するかを判定する。なお、画像処理による動作パターンの識別は、後で詳しく説明する。
【0081】
操作情報取得部105は、動作パターン識別部103により識別された動作パターンに基づいて、動作パターンに対応する操作情報を操作記憶部101から取得する。具体的には、操作情報取得部105は、動作パターン識別部103で識別されたスコープヘッドの動作パターンを取得し、その動作パターンに対応する、操作記憶部101に記憶されている動作パターンに関連づけられた操作情報を取得する。
【0082】
操作実行部107は、操作情報取得部105により取得された操作情報に対応する操作を実行する。具体的には、操作実行部107は、操作情報に応じて、プロセッサ装置13、光源装置12、及び/又は内視鏡スコープ11を作動させる。
【0083】
モード切替部109は、操作実行部107が操作を実行するスコープヘッド動作入力モードと、操作実行部107に操作を実行しない通常観察モードとを切り替える。内視鏡装置10には、通常観察モードとスコープヘッド動作入力モードが設けられており、モード切替部109により、通常観察モードとスコープヘッド動作入力モードとのモード切替が行われる。スコープヘッド動作入力モードの場合には、術者がスコープヘッドを特定の動作を行うと、その動作に割り当てて登録された操作が行われる。一方、通常観察モードの際は、術者がスコープヘッドを特定の動作を行ったとしても、割り当てられた操作は行われず、通常の観察が行われる。但し、以下で説明するモード切り替えを行う為の指令の一例の場合には、通常観察モードにおいても、特定のスコープヘッドの動きにより操作(モード切替)が実行される。
【0084】
モード切替部109に、モード切り替えを行わす為の指令の入力としては、例えば手元操作部17に備え付けられたモード切替ボタン(不図示)により指令を入力する。具体的には、モード切替ボタンの押下の度に、通常観察モードとスコープヘッド動作入力モードとを切り替える。また例えば、モード切替ボタンを押下の間、スコープヘッド動作入力モードに切り替わり、モード切替ボタンを離すと通常観察モードに切り替える。
【0085】
さらに、モード切替部109にモード切り替えを行わす為の指令の入力の他の例として、スコープヘッドの動きにより入力することが考えられる。この場合、モードの切り替えの動作パターンと、他の動作パターンが重複しないようにする。例えば、モード切り替え以外の他の操作情報と関連付けられた動作パターンに「横に振る」がある場合には、モード切り替えの操作情報に関連付けられた動作パターンを「縦に振る」とする。また、モード切り替え以外の他の操作情報と関連付けられた動作パターンに「横に2回振る」がある場合には、モード切り替えの操作情報に関連付けられた動作パターンを「横に5回すばやく振る」とし、他の動作パターンと重複しないようにする。
【0086】
図5は、内視鏡装置10を使用した内視鏡の操作方法を示したフロー図である。
【0087】
先ず、通常観察モードにより内視鏡装置10で観察が行われる(ステップS10)。その後、モード切替部109により、通常観察モードからスコープヘッド動作入力モードに切り替えされるか否かが判定される(ステップS11)。モード切り替えが行われない場合には、通常観察モードが継続される。
【0088】
一方、モード切り替えが行われる場合には、モード切替部109により、通常観察モードからスコープヘッド動作入力モードに切り替えが行われる(ステップS12)。
【0089】
その後、動作パターン識別部103により、スコープヘッドの動作パターンが識別される(ステップS13)。次に、操作情報取得部105により、動作パターン識別部103で識別された動作パターンに関連した操作情報が取得される(ステップS14)。その後、操作実行部107により、操作が実行される(ステップS15)。
【0090】
その後、モード切替部109により、スコープヘッド動作入力モードから通常観察モードに切り替えされるか否かが判定される(ステップS16)。ここで通常観察モードへの切り替えは、例えば、スコープヘッド動作入力モードに切り替え後一定時間が経過した場合、一定回数以上の動作パターンが動作パターン識別部103により識別された場合に行われる。モード切り替えが行われない場合には、スコープヘッド動作入力モードが継続される。
【0091】
一方、モード切り替えが行われる場合には、モード切替部109により、スコープヘッド動作入力モードから通常観察モードに切り替えが行われる(ステップS10)。
【0092】
以上で説明したように、本実施形態によれば、スコープヘッドの特定の動きを示す動作パターンが識別されて、その動作パターンの操作情報に対応する操作が実行される。これにより、操作部のボタンの数及び特別な機構等を増やさずに、術者が割り当てられた操作を混同してしまうことがなく、簡便に操作を行うことができる。
【0093】
上記実施形態において、各種の処理を実行する処理部(processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ(processor)である。各種のプロセッサには、ソフトウェア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPU(Central Processing Unit)、FPGA(Field Programmable Gate Array)などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、ASIC(Application Specific Integrated Circuit)などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
【0094】
1つの処理部は、これら各種のプロセッサのうちの1つで構成されていてもよいし、同種又は異種の2つ以上のプロセッサ(例えば、複数のFPGA、あるいはCPUとFPGAの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアントやサーバなどのコンピュータに代表されるように、1つ以上のCPUとソフトウェアの組合せで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)などに代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを1つ以上用いて構成される。
【0095】
さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路(circuitry)である。
【0096】
上述の各構成及び機能は、任意のハードウェア、ソフトウェア、或いは両者の組み合わせによって適宜実現可能である。例えば、上述の処理ステップ(処理手順)をコンピュータに実行させるプログラム、そのようなプログラムを記録したコンピュータ読み取り可能な記録媒体(非一時的記録媒体)、或いはそのようなプログラムをインストール可能なコンピュータに対しても本発明を適用することが可能である。
【0097】
<実施例>
次に、具体的なスコープヘッドの動き及び操作の入力に関して説明する。
【0098】
操作記憶部101に記憶される操作情報の一例として、承認又は不承認の入力操作がある。以下の例では、スコープヘッドの動きにより承認又は不承認の入力操作を行う例を説明する。
【0099】
図6から
図11は、内視鏡検査中に撮影された画像をもとに、リアルタイムでAIによる診断を行う内視鏡システムについて説明を行う図である。この内視鏡システムに搭載されたAIは、内視鏡画像から病変部を検出する。
図6、
図8、
図10はスコープヘッドの動きに関して示す図であり、
図7、
図9、
図11は表示器14に表示されたAIの病変検出結果が示されている。術者は、表示器14に表示されたAIの病変検出結果125を確認して、承認、不承認、不明の入力を、スコープヘッドの特定の動きを使用して行う。
【0100】
図6及び
図7では、病変検出結果125に関して、承認の入力操作を行う場合が示されている。
図6に示すように、スコープヘッ
ドが縦方向の湾曲動作を行い、この湾曲動作は動作パターンとして、動作パターン識別部103により識別される。ここで、縦方向の湾曲動作とは、上下アングルノブを利用して湾曲部16bを湾曲させることにより動作させられることである。
図7には、
図6で示したスコープヘッドの縦方向の湾曲動作に対応する移動ベクトル132が示されている。動作パターン識別部103は、移動ベクトル132を解析して、スコープヘッドの動作パターンを識別する。動作パターン識別部103により、スコープヘッドの縦方向の湾曲動作が識別され、それに対応する承認の操作情報に基づいて、操作実行部107により承認の入力が行われる(
図7では「はい」が選択されている)。
【0101】
図8及び
図9では、病変検出結果125に関して、不承認の入力操作を行う場合が示されている。
図8に示すように、スコープヘッ
ドが横方向の湾曲動作を行い、この湾曲動作は動作パターンとして、動作パターン識別部103により識別される。ここで、横方向の湾曲動作とは、左右アングルノブを利用して湾曲部16bを湾曲させることにより動作させられることである。
図9には、
図8で示したスコープヘッドの横方向の湾曲動作に対応する移動ベクトル134が示されている。動作パターン識別部103は、移動ベクトル134を解析して、スコープヘッドの動作パターンを識別する。動作パターン識別部103により、スコープヘッドの横方向の湾曲動作が識別され、それに対応する不承認の操作情報に基づいて、操作実行部107により不承認の入力が行われる(
図9では「いいえ」が選択されている)。
【0102】
図10及び
図11では、病変検出結果125に関して、不明の入力操作を行う場合が示されている。
図10に示すように、スコープヘッ
ドが光軸方向の回転動作を行い、この回転動作は動作パターンとして、動作パターン識別部103により識別される。ここで、回転動作とは、手元操作部17を回転することにより動作させられることである。
図11には、
図10で示したスコープヘッドの回転動作に対応する移動ベクトル136が示されている。動作パターン識別部103は、移動ベクトル136を解析して、スコープヘッドの動作パターンを識別する。動作パターン識別部103により、スコープヘッドの回転動作が識別され、それに対応する不明の操作情報に基づいて、操作実行部107により不明の入力が行われる(
図9では「不明」が選択されている)。
【0103】
以上で説明したように、承認の入力の場合には縦方向の湾曲動作により入力が行われる。これは、人のうなずく動作を模しており、直感的な承認の動作により入力を行うことができる。また、不承認の入力の場合には横方向の湾曲動作により入力が行われる。これは、人の首を横に振る動作を模しており、直感的な不承認の動作により入力を行うことができる。また、不明の入力の場合には光軸方向の回転動作により入力が行われる。これは、人の首をかしげる動作を模しており、直感的な不明の動作により入力を行うことができる。
【0104】
<画像処理による動作パターンの識別>
次に動作パターン識別部103で行われる画像処理による動作パターンの識別に関して説明する。動作パターン識別部103は、内視鏡検査中の時系列画像を解析し、動作パターンを識別する。例えば動作パターンとしては、スコープヘッドを(1)「縦に振る」、(2)「横に振る」、(3)「回転させる」、(4)「前後に動かす」が挙げられる。
【0105】
動作パターン識別部103は、ある時刻における内視鏡画像のフレーム番号をtとしたとき、t-1番目以前の少なくとも1枚以上のフレームの画像とt番目のフレームの画像を比較し、その画素の移動ベクトルの方向が縦なら(1)の動作パターン、横なら(2)の動作パターン、画像の中心周りに円を書くようなベクトルなら(3)の動作パターン、中心に向かう又は中心から遠ざかるベクトルなら(4)の動作パターンとして識別する。
【0106】
なお、動作パターン識別部103が時系列画像において移動ベクトルを算出する手法は公知技術であるので、ここでは詳しい説明は省略する。例えば、時系列画像から画素の移動ベクトルを算出する方法としては、画像からコーナー、エッジなどの特徴点を抽出し追跡するアルゴリズムが考えられる。代表的なアルゴリズムとして、KLTトラッカー(Bruce D. Lucas and Takeo Kanade. An Iterative Image Registration Technique with an Application to Stereo Vision. International Joint Conference on Artificial Intelligence, pages 674-679, 1981.)などが挙げられる。
【0107】
<第2の実施形態>
次に、第2の実施形態に関して説明する。本実施形態の動作パターン識別部103は、センサ70から出力されるセンサ情報に基づいて、動作パターンを識別する。
【0108】
図12は、本実施形態の内視鏡装置10の電気的構成を示すブロック図である。なお、
図2で既に説明を行った箇所は、同じ符号を付し説明を省略する。
【0109】
本実施形態の内視鏡装置10には、内視鏡スコープ11にセンサ70が備えられる。センサ70は、内視鏡スコープ11の適切な場所に設けられればよく、例えば、湾曲部16b又は挿入部先端部16aに設けられる。また、内視鏡スコープ11には、単数のセンサ70が設けられてもよいし、複数のセンサ70が設けられてもよい。ここで、センサ70の具体例としては、加速度センサ、ジャイロセンサ、磁界センサ、曲がりセンサ、赤外線センサ、及び超音波センサのうち少なくとも一つが採用される。
【0110】
図13は、第2の実施形態の主な機能構成例を示すブロック図である。なお、
図3で既に説明を行った箇所は同じ符号を付し、説明を省略する。
【0111】
本実施形態では、記憶部67に操作記憶部101、プロセッサ制御部61に、動作パターン識別部103、操作情報取得部105、操作実行部107、及びモード切替部109が設けられている。なお、プロセッサ制御部61は、センサ70から出力されるセンサ情報が内視鏡制御部47を介して入力される。
【0112】
動作パターン識別部103は、スコープ部に備えられたセンサ70から出力されるセンサ情報に基づいて、スコープヘッドの動作パターンを識別する。動作パターン識別部103が行うスコープヘッドの動作パターンの識別は、公知の技術により行われる。
【0113】
<第3の実施形態>
次に、第3の実施形態に関して説明する。本実施形態の動作パターン識別部103は、手元操作部17を介して術者から入力される入力操作情報に基づいて、動作パターンを識別する。
【0114】
図14は、第3の実施形態の主な機能構成例を示すブロック図である。なお、
図3で既に説明を行った箇所は同じ符号を付し、説明を省略する。
【0115】
本実施形態では、記憶部67に操作記憶部101、プロセッサ制御部61に、動作パターン識別部103、操作情報取得部105、操作実行部107、及びモード切替部109が設けられている。なお、プロセッサ制御部61には、術者の操作に基づき手元操作部17を介して入力される入力操作情報が、内視鏡制御部47を通して入力される。
【0116】
動作パターン識別部103は、術者が手元操作部17を操作して入力される入力操作情報に基づいて、スコープヘッドの動作パターンを識別する。例えば、術者が手元操作部17のアングルノブ21に対して操作を行い、入力操作情報が入力され、その入力操作情報に基づいて動作パターン識別部103はスコープヘッドの動作パターンを識別する。ここで、動作パターン識別部103が解析する入力操作情報とは、スコープヘッドを動かすための各機構を動作させるための情報であり、この入力操作情報を解析することにより、スコープヘッドの動きを特定することができる情報である。また、アングルノブ21に回転角センサ等を取り付けて、アングルノブ21の角度を回転角センサで検出し、その検出した回転角に基づいて、スコープヘッドの動作パターンを識別してもよい。
【0117】
<その他のスコープヘッドの動作の例>
スコープヘッドの動作パターンとしては、スコープヘッドの様々な特定の動きを採用することができる。例えば、スコープヘッドの動かす方向のバリエーションとして、「縦に振る」、「横に振る」、「回転」、「前後移動」が考えられる。また、通常の観察時に行われないような動作パターンとしては、動作の回数(3回振るなど)、又は動作の速さ(すばやく振るなど)により、通常の動作と区別を行う。すばやく動かす具体例としては、180[degree/second]以上の回転速度で、同一方向に1往復させる。また、同一動作の反復回数としては、1秒以内に同一方向に3往復させることが考えられる。さらに、複数の操作を組み合わせてもよく、その具体例としては、ボタン(光源切替等)を押しながら、90[degree/second]以上の速度で、一方向に1往復させるなどである。このように動作パターンは、スコープヘッドの動きだけでなく、スコープヘッドの特定の動きの回数及び速さの情報のうち少なくとも一方が含まれてもよい。
【0118】
以上で本発明の例に関して説明してきたが、本発明は上述した実施の形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
【符号の説明】
【0119】
10 :内視鏡装置
11 :内視鏡スコープ
12 :光源装置
12a :光源操作部
13 :プロセッサ装置
13a :プロセッサ操作部
14 :表示器
16 :挿入部
16a :挿入部先端部
16b :湾曲部
16c :可撓管部
17 :手元操作部
18 :ユニバーサルコード
21 :アングルノブ
22 :操作ボタン
23 :鉗子入口
25a :コネクタ部
25b :コネクタ部
31 :光源制御部
32 :光源ユニット
32a :V-LED
32b :B-LED
32c :G-LED
32d :R-LED
40 :ライトガイド
42 :照明レンズ
44 :対物レンズ
45 :撮像素子
47 :内視鏡制御部
48 :ROM
61 :プロセッサ制御部
62 :ROM
65 :画像処理部
66 :表示制御部
67 :記憶部
70 :センサ
101 :操作記憶部
103 :動作パターン識別部
105 :操作情報取得部
107 :操作実行部
109 :モード切替部