IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ パナソニックi−PROセンシングソリューションズ株式会社の特許一覧

(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022163562
(43)【公開日】2022-10-26
(54)【発明の名称】内視鏡システム
(51)【国際特許分類】
   A61B 1/00 20060101AFI20221019BHJP
   A61B 1/045 20060101ALI20221019BHJP
   G02B 23/24 20060101ALI20221019BHJP
【FI】
A61B1/00 552
A61B1/045 622
A61B1/00 630
A61B1/00 650
G02B23/24 A
G02B23/24 B
【審査請求】未請求
【請求項の数】8
【出願形態】OL
(21)【出願番号】P 2021068568
(22)【出願日】2021-04-14
(71)【出願人】
【識別番号】320008672
【氏名又は名称】i-PRO株式会社
(74)【代理人】
【識別番号】110002000
【氏名又は名称】特許業務法人栄光特許事務所
(72)【発明者】
【氏名】小金 春夫
【テーマコード(参考)】
2H040
4C161
【Fターム(参考)】
2H040BA23
2H040DA12
2H040GA02
2H040GA11
4C161AA22
4C161CC06
4C161DD04
4C161FF21
4C161GG11
4C161HH55
4C161LL02
(57)【要約】
【課題】内視鏡の先端部分の天地方向のズレの有無を効率的に検知し、適切な医療行為の実現を支援する。
【解決手段】内視鏡システムは、被検体内に挿抜可能であり、光学系およびイメージセンサを含む撮像部を先端部に有する内視鏡と、先端部に配置され、先端部の少なくとも前後方向、天地方向および左右方向の3方向の姿勢情報を検知する姿勢制御用センサと、姿勢制御用センサにより検知された3方向の姿勢情報に基づいて、撮像部により撮像される撮像画像の天地方向のズレの有無を演算する演算装置と、を備える。演算装置は、撮像画像の天地方向のズレの有無を示すインジケータと撮像画像とを対応付けてモニタに表示する。
【選択図】図8A
【特許請求の範囲】
【請求項1】
被検体内に挿抜可能であり、光学系およびイメージセンサを含む撮像部を先端部に有する内視鏡と、
前記先端部に配置され、前記先端部の少なくとも前後方向、天地方向および左右方向の3方向の姿勢情報を検知する姿勢制御用センサと、
前記姿勢制御用センサにより検知された前記3方向の姿勢情報に基づいて、前記撮像部により撮像される撮像画像の天地方向のズレの有無を演算する演算装置と、を備え、
前記演算装置は、前記撮像画像の天地方向のズレの有無を示すインジケータと前記撮像画像とを対応付けてモニタに表示する、
内視鏡システム。
【請求項2】
前記姿勢制御用センサは、前記イメージセンサとの間で相対位置が固定となるように配置される、
請求項1に記載の内視鏡システム。
【請求項3】
前記撮像部および前記姿勢制御用センサは、前記先端部に充填された封止材により固定される、
請求項1に記載の内視鏡システム。
【請求項4】
前記演算装置は、前記内視鏡が前記被検体内に挿入される前の初期状態で前記姿勢制御用センサにより検知された前記3方向の姿勢情報をキャリブレーションデータとしてメモリに記憶し、前記内視鏡が前記被検体内に挿入された後で前記姿勢制御用センサにより検知された前記3方向の姿勢情報から前記キャリブレーションデータを用いて補正する、
請求項1に記載の内視鏡システム。
【請求項5】
前記内視鏡の基端部から前記先端部までを接続する伝送ケーブルの前記基端部側を固定し、前記伝送ケーブルを介して前記伝送ケーブルの軸方向の回転力を前記先端部に付与する駆動装置、をさらに備え、
前記演算装置は、前記姿勢制御用センサにより検知された前記3方向の姿勢情報と所定の姿勢状態との差分に基づいて、前記先端部を前記軸方向に回転させる回転力を演算し、前記回転力の演算結果に基づく前記先端部の前記軸方向への回転を前記駆動装置に指示する、
請求項1に記載の内視鏡システム。
【請求項6】
前記演算装置は、前記差分に基づいて、前記先端部の前記軸方向に回転させる向きをさらに演算する、
請求項5に記載の内視鏡システム。
【請求項7】
前記演算装置は、前記回転力の演算および前記駆動装置への前記指示を繰り返して実行する、
請求項5に記載の内視鏡システム。
【請求項8】
前記差分は、ゼロを中心とした所定範囲の値である、
請求項5に記載の内視鏡システム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、内視鏡システムに関する。
【背景技術】
【0002】
特許文献1には、被検体の血管内に挿通され血管を撮像可能な画像センサが先端側に実装された内視鏡と、血管内に挿通された内視鏡を基端側に向かって一定速度で移動させる駆動機器と、駆動機器による内視鏡の移動前に撮像された少なくとも1枚の移動前撮像画像と駆動機器による内視鏡の移動後に撮像された少なくとも1枚の移動後撮像画像と駆動機器による内視鏡の移動距離とに基づいて血管の血管径を測定する演算装置と、を有する血管径計測システムが開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2020-185081号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1の構成では、血管径を測定するために内視鏡の移動前後で撮像された撮像画像はその天地方向(言い換えると、撮像画像の上下方向)が揃っていることが前提となっている。ここで、人体などの被検体内の血管は不規則に湾曲している箇所もあり、内視鏡が血管内で挿入されたり引き抜かれたりする際、内視鏡の先端部分が回転することで天地方向がズレてしまうことがあった。このような場合、内視鏡の撮像画像を視認する医師などのユーザは被検体内の観察部位の状況を正確に理解できず、適切な医療行為の実現が難しくなる可能性があった。
【0005】
本開示は、内視鏡の先端部分の天地方向のズレの有無を効率的に検知し、適切な医療行為の実現を支援する内視鏡システムを提供する。
【課題を解決するための手段】
【0006】
本開示は、被検体内に挿抜可能であり、光学系およびイメージセンサを含む撮像部を先端部に有する内視鏡と、前記先端部に配置され、前記先端部の少なくとも前後方向、天地方向および左右方向の3方向の姿勢情報を検知する姿勢制御用センサと、前記姿勢制御用センサにより検知された前記3方向の姿勢情報に基づいて、前記撮像部により撮像される撮像画像の天地方向のズレの有無を演算する演算装置と、を備え、前記演算装置は、前記撮像画像の天地方向のズレの有無を示すインジケータと前記撮像画像とを対応付けてモニタに表示する、内視鏡システムを提供する。
【発明の効果】
【0007】
本開示によれば、内視鏡の先端部分の天地方向のズレの有無を効率的に検知し、適切な医療行為の実現を支援することができる。
【図面の簡単な説明】
【0008】
図1】実施の形態1に係る内視鏡システムのユースケース例を示す図
図2図1に示す内視鏡システムのハードウェア構成を模式的に例示する模式図
図3図2に示す内視鏡システムの構成を機能的に例示する機能ブロック図
図4図2に示す内視鏡の先端部(カメラヘッド部)のハードウェア構成を模式的に例示する模式図
図5図4に示すカメラコントロールユニットのプロセッサでの処理を例示する機能ブロック図
図6】撮像画像にインジケータを重畳表示するための処理手順を例示するフロー図
図7A図6に示す処理が実行される前の各挿入位置での撮像画像の第1例を例示する模式図
図7B図6に示す処理が実行される前の各挿入位置での撮像画像の第2例を例示する模式図
図7C図6に示す処理が実行される前の各挿入位置での撮像画像の第3例を例示する模式図
図7D図6に示す処理が実行される前の各挿入位置での撮像画像の第4例を例示する模式図
図8A図7に示す撮像画像に対し図6に示す処理が実行された後の画像の第1例を例示する模式図
図8B図7に示す撮像画像に対し図6に示す処理が実行された後の画像の第2例を例示する模式図
図8C図7に示す撮像画像に対し図6に示す処理が実行された後の画像の第3例を例示する模式図
図9】実施の形態2に係る回転駆動装置のハードウェア構成を例示する模式図
図10A】伝送ケーブルが回転駆動装置によって回転された場合の第1例を例示する模式図
図10B】伝送ケーブルが回転駆動装置によって回転された場合の第2例を例示する模式図
図11】伝送ケーブルの軸周りの回転を制御するための処理手順を例示するフロー図
図12】伝送ケーブルの軸周りの回転力が制御されて所定の値に収束する様子を例示するグラフ
【発明を実施するための形態】
【0009】
以下、適宜図面を参照しながら、本開示に係る内視鏡システムを具体的に開示した複数の実施の形態を詳細に説明する。ただし、必要以上に詳細な説明は省略する場合がある。例えば、すでによく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。また、添付図面のそれぞれは符号の向きに従って参照するものとする。なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
【0010】
例えば、本開示では、内視鏡システムとして血管内に挿入される医療用の内視鏡システム(血管内視鏡システム、後述)をその一例(ユースケース)として説明するが、この例に限定されない。被検体内の観察部位としては血管だけではなく胃または大腸などの消化器官なども含まれ、さらにはプラント内の配管などを観察可能な産業用内視鏡システムについても、本開示の内容を適宜適用することが可能である。つまり、管状の被写体を撮像するものであれば、本開示の内容を種々の用途に採用することが可能である。
【0011】
また、実施の形態でいう「部」または「装置」とは単にハードウェアによって機械的に実現される物理的構成に限らず、その構成が有する機能をプログラムなどのソフトウェアにより実現されるものも含む。また、1つの構成が有する機能が2つ以上の物理的構成により実現されても、または2つ以上の構成の機能が例えば1つの物理的構成によって実現されていてもかまわない。
【0012】
(実施の形態1)
図1図8に基づいて実施の形態1について説明する。
【0013】
[本実施の形態の内視鏡システムが使用されるユースケースについて]
図1を参照しながら、本実施の形態の内視鏡システム1が使用されるユースケースの一例について説明する。図1は、実施の形態1に係る内視鏡システム1のユースケース例を示す図である。
【0014】
図1に示すように、本実施の形態の内視鏡システム1は、伝送ケーブル2(カテーテルなども含む)の先端部に内視鏡カメラ10が取り付けられた、手術時あるいは検査時に使用される専用の医療装置である。伝送ケーブル2は、その外周面が絶縁膜によって被覆されて設けられ、内視鏡カメラ10(内視鏡の一例)の基端部から先端部までを接続する。内視鏡システム1は、人体の被検体を対象として、伝送ケーブル2に接続される内視鏡カメラ10をその被検体に挿入して、その内視鏡カメラ10によってその被検体内の観察部位(例えば血管)の様子を撮像(観察)する。
【0015】
内視鏡カメラ10は、いわゆる血管内視鏡カテーテルと称されることがある。内視鏡カメラ10の外径は、例えば最大外径として1.8mmΦであるが、このサイズに限定されなくてよい。内視鏡カメラ10は、被検体内の血管内にあらかじめ挿通されたガイドワイヤ(不図示)に沿って、被検体内の、例えば血管内を挿抜可能・進退自在に挿通される。
【0016】
ここで、内視鏡カメラ10が被検体内の観察部位に向かって挿入される方向を進行方向と定義し、反対に内視鏡カメラ10が被検体外に向かって引き抜かれる方向を退避方向と定義する。つまり、挿抜可能または進退自在とは、内視鏡カメラ10が被検体内に向かって挿入されることも引き抜かれることも可能であることを意味する。内視鏡カメラ10は、手術あるいは検査の対象部位(例えば患部)までにあらかじめ挿通されたガイドワイヤに案内されて観察対象の部位までスムーズに挿入可能である。なお、内視鏡システム1は、通常のカテーテルの先端部に内視鏡カメラ10が交換自在に装着されたものでもよい。カテーテルは、例えば、体液の排出あるいは薬液の注入に用いられる医療用の管である。カテーテルには、内視鏡カメラ10の他、バルーンもしくはステントなどが交換自在に装着されてもよい。
【0017】
また、本実施の形態では、標準座標系Σsが設定される(図1参照)。標準座標系Σsは、そのZ方向が重力方向に沿う方向に、そのY方向が患者が手術台に寝た状態で体幹の軸方向に沿う方向に、そのX方向が体幹の左右幅方向となるように設定される。すなわち、標準座標系ΣsのY軸は前述の進行方向に沿う方向であり、また、図1は大腿(だいたい)静脈(鼠径(そけい)部)への挿入が行われる例を示している。そして、図1中では、挿入開始した第1の挿入位置は符号「P0」で示され、内視鏡カメラ10が被検体内でさらに挿入され第1の挿入位置P0よりさらに奥に進行した第2の挿入位置は符号「P1」で示される。
【0018】
また、後述するように、本実施の形態では、内視鏡カメラ10のカメラヘッド部11に加速度センサ17(姿勢制御用センサの一例)が配設されており、加速度センサ17に加速度センサ座標系Σgが設定される(図1参照)。加速度センサ17は重力加速度も検出可能であるので、加速度センサ座標系Σgと標準座標系ΣsとのZ方向でのズレ量(ズレ角度)が算出可能である。この算出結果が、撮像画像が標準座標系ΣsのZ方向、換言すれば天地方向でどれだけ回転してズレているのかを意味し、その算出結果に基づいてそのズレ角度を示すインジケータが撮像画像に重畳して表示される(図8参照)。
【0019】
[内視鏡システムの構成について]
図2および図3を参照しながら、内視鏡システム1のハードウェア構成について説明する。図2は、図1に示す内視鏡システム1のハードウェア構成を模式的に例示する模式図である。図3は、図2に示す内視鏡システム1の構成を機能的に例示する機能ブロック図である。なお、説明の便宜上、図2中ではプルバック機器(図3参照)および中継器4(図3参照)の図示を省略している。
【0020】
図2および図3に示すように、内視鏡システム1は、内視鏡カメラ10と、オートプルバック装置3と、中継器4と、カメラコントロールユニット30(CCU:Camera Control Unit、演算装置の一例)と、モニタ5と、を含んで構成される。
【0021】
内視鏡カメラ10は、例えば血管を撮像可能な撮像センサ16(イメージセンサの一例、後述参照)がその先端部(以下「カメラヘッド部11」ともいう)に実装された48万画素の高解像度カメラである。また、本実施の形態では、撮像センサ16とともに加速度センサ17(姿勢制御用センサの一例、後述参照)も内視鏡カメラ10の先端部に実装される。内視鏡カメラ10は、被検体内の例えば血管に挿入されると、血管の内壁(以下「血管壁」ともいう)を撮像することが可能である。なお、48万画素の画素数はあくまで一例であり、画素数は48万画素に限定されなくてよい。
【0022】
オートプルバック装置3は、ガイドワイヤに案内されて観察対象の部位(例えば血管)に挿入された内視鏡カメラ10をプルバック速度(例えば定速)で基端側に引き戻す(言い換えると、牽引(けんいん)する)動作を行う。このとき、オートプルバック装置3が伝送ケーブル2(言い換えると、内視鏡カメラ10)を引き戻す長さは、患部付近の位置に挿通された内視鏡カメラ10が基端側に向かって引き戻される長さと略一致すると捉えることが可能である。内視鏡システム1は、オートプルバック装置3によって内視鏡カメラ10が引き戻される際、血管壁を等間隔で撮像する。オートプルバック装置3は、中継器4に対し、内視鏡カメラ10の位置情報および撮像位置の速度情報を出力する。
【0023】
ここで、内視鏡カメラ10の撮像位置の速度情報は、内視鏡カメラ10が基端側に引き戻される際に、内視鏡カメラ10の撮像位置(つまり、内視鏡カメラ10の位置)が基端側に定速で移動する時の速度であり、プルバック速度と略一致する。内視鏡カメラ10の撮像位置の速度情報は、医師などのユーザの操作によりオートプルバック装置3で設定される。また、撮像の開始位置は、例えば、医師などのユーザが内視鏡システム1により撮像された被検体の観察部位(例えば血管)の撮像画像をモニタ5で確認した上で決定される。なお、プルバック速度は定速でなくてもよく変速してもよい。
【0024】
中継部は、内視鏡カメラ10とカメラコントロールユニット30との間で行われる各種の信号を中継する。各種の信号は、例えば、内視鏡カメラ10で撮像された撮像画像のデータ信号(撮像データなど)以外に、カメラコントロールユニット30が内視鏡カメラ10を制御するための各種の制御信号を含む。さらに、本実施の形態では、その各種の信号には、内視鏡カメラ10の加速度センサ17によって検出された加速度信号も含まれる。
【0025】
カメラコントロールユニット30は、プロセッサ31と、メモリ32と、入出力インターフェース33と、操作部34と、ストレージ35と、を含んで構成される。
【0026】
カメラコントロールユニット30は、内視鏡カメラ10と中継器4を介して電気的に接続され、内視鏡カメラ10による撮像動作、内視鏡カメラ10からの撮像画像の信号に基づく撮像画像の生成を制御する。また、本実施の形態では、カメラコントロールユニット30は、内視鏡カメラ10の加速度センサ17(図4参照)から加速度信号を取得し、その取得結果に基づいて、加速度センサ座標系Σgと標準座標系ΣsとのZ方向でのズレ量(ズレ角度)を算出する。カメラコントロールユニット30は、そのズレ量に対応したコンパスのアニメーションアイコンAI(後述参照、図8A図8C参照)を撮像画像に重畳した上でモニタ5に表示する。
【0027】
カメラコントロールユニット30は、その機能の一部として、画像入力部(不図示)、画像処理部(不図示)および画像出力部(不図示)を少なくとも含んで構成される。これら機能は、例えばプログラムとしてメモリ32に記憶保持され、プロセッサ31によって実行されることで実現される。
【0028】
画像入力部は、入出力インターフェース33を通じて、内視鏡カメラ10で撮像された血管壁などの撮像画像が入力される。画像処理部は、入力された血管壁などの撮像画像にコンパスのアニメーションアイコンAIなどのインジケータを重畳するなどの処理を行う。また、画像出力部は、入出力インターフェース33を通じて、撮像画像をモニタ5に出力する。なお、画像入力部(不図示)、画像処理部(不図示)および画像出力部(不図示)などの機能は後述する図5に示す機能ブロックのそれぞれで総合的に実現される。
【0029】
カメラコントロールユニット30のプロセッサ31は、前述したようなメモリ32に記憶されたプログラムを実行することで種々の内視鏡システム1の機能を実現する。プロセッサ31は、例えば画像処理に適したGPU(Graphical Processing Unit)により設けてもよい。なお、プロセッサ31は、GPUの代わりに、MPU(Micro Processing Unit)、CPU(Central Processing Unit)、ASIC(Application Specific Integrated Circuit)などで設計された専用の電子回路、またはFPGA(Field Programmable Gate Array)などで再構成可能に設計された電子回路によって構成されてもよい。
【0030】
メモリ32は、プロセッサ31のワーキングメモリとして使用される。入出力インターフェース33は、専用の画像入力インターフェースの他、映像データを高速に転送可能なHDMI(登録商標)(High-Definition Multimedia Interface)あるいはUSB(Universal Serial Bus) Type-Cなどを用いたインターフェースでもよい。
【0031】
操作部34は、医師などのユーザによる操作を受け付ける。操作部34は、マウス、キーボード、タッチパッド、タッチパネル、マイクロホン、またはその他の入力デバイスの1つまたはその複数の組み合わせによって構成されてもよい。
【0032】
ストレージ35は、大容量の記憶装置であり、内視鏡カメラ10で撮像された血管壁などの撮像画像のデータを蓄積する。ストレージ35は、例えば二次記憶装置(例えばHDD(Hard Disk Drive)もしくはSSD(Solid State Drive))、あるいは三次記憶装置(例えば光ディスク、SDカード)を含んで構成されてもよい。
【0033】
モニタ5は、カメラコントロールユニット30から出力される血管径の測定結果あるいは血管壁などの画像を表示する。モニタ5は、血管壁の画像を表示する際、ユーザが所望する方向から視た血管内の立体画像として3D表示可能である。モニタ5は、例えばLCD(Liquid Crystal Display)、有機EL(Electroluminescence)、CRT(Cathode Ray Tube)などの表示デバイスを有する。
【0034】
カメラコントロールユニット30およびモニタ5は、1つイメージングシステム90として、単一の筐体に搭載される。
【0035】
[内視鏡カメラのカメラヘッド部の構成について]
図4を参照しながら、内視鏡カメラ10の先端部であるカメラヘッド部11の構成について説明する。図4は、図2に示す内視鏡の先端部(カメラヘッド部11)のハードウェア構成を模式的に例示する模式図である。
【0036】
内視鏡カメラ10のカメラヘッド部11は、筒状に形成されておりその基端部で伝送ケーブル2の先端部と接続して設けられる。カメラヘッド部11は、ホルダ12(鏡筒)と、レンズカバー13と、レンズ15(光学系の一例)と、撮像センサ16(イメージセンサの一例)と、加速度センサ17(姿勢制御用センサの一例)と、を主に含んで構成される。
【0037】
ホルダ12は、略円筒状に形成されており、内視鏡カメラ10の挿入方向先端に位置するとともにその先端面にレンズカバー13が表出して設けられる。レンズ15は、円盤状に形成され光学系の一部として用いられる。また、レンズ15は、レンズカバー13と隣接するとともにそのレンズ15の光軸がホルダ12の軸と略一致して配設される。レンズカバー13およびレンズ15のそれぞれはホルダ12の先端側に配置されて保持されており、撮像光を取り込む(換言すれば、被検体内の血管などの観察部位(被写体)からの光が入射される)。レンズ15はその周囲がホルダ12によって覆われた状態で保持される。なお、レンズ15はその表面にレンズカバー13と一体に固定されてもよい。
【0038】
また、ホルダ12の基端側には撮像センサ16および加速度センサ17が配設される。また、撮像センサ16および加速度センサ17は、その周囲のそれぞれがホルダ12によって覆われた状態で保持される。撮像センサ16および加速度センサ17は複数の端子を有して、複数の端子のそれぞれには電線が設けられ伝送ケーブル2と導通接続される。
【0039】
撮像センサ16は、加速度センサ17よりもカメラヘッド部11の先端側に配設されており、レンズ15に隣接配置される。つまり、撮像センサ16は、レンズ15および加速度センサ17の間に配置される。撮像センサ16は、例えばCCD(Charged-Coupled Device)あるいはCMOS(Complementary Metal-Oxide-Semiconductor)などの固体撮像素子であり、被写体(例えば観察部位の患部)からの光をレンズ15を通じて撮像面に結像し、結像した光学像を電気信号に変換して撮像画像の信号を出力する。また、レンズ15と撮像センサ16は一体で機能するため、本実施の形態では、光学系であるレンズ15と撮像センサ16とを含む構成を「撮像部14」とも呼ぶ。
【0040】
加速度センサ17は、撮像センサ16よりもカメラヘッド部11の基端側に配設される。加速度センサ17は、カメラヘッド部11に作用する重力加速度(重力方向に沿う方向での加速度)を含めた加速度または衝撃を電気信号に変換し、カメラヘッド部11で作用する加速度などの信号を出力する。また、本実施の形態では、前述したように、加速度センサ17に加速度センサ座標系Σgが設定される。そのため、加速度センサ17は互いに直交する3(XYZ軸)方向、例えば先端部(カメラヘッド部11)の前後方向、天地方向および左右方向の3方向のそれぞれの加速度信号(重力加速度および/または衝撃の信号)をその成分のそれぞれで周期的に検出可能に設けられる。加速度センサ17は、その検出結果を加速度センサ座標系ΣgでのXYZ成分のそれぞれで出力する。なお、加速度センサ17は重力加速度も検出可能であることから、加速度センサ17が取り付けられる先端部(実施の形態ではカメラヘッド部11)の姿勢は、結果的に標準座標系Σsでの3方向の成分に分けられて算出可能である。
【0041】
また、カメラヘッド部11(先端部)の内部は封止材で間隙がないように充填される。この充填により、レンズカバー13、レンズ15、撮像センサ16および加速度センサ17は内視鏡カメラ10のカメラヘッド部11の内部で強固に固定される。そのため、加速度センサ17は、撮像センサ16との間で相対位置が固定となるように配置され、すなわち、撮像センサ16および加速度センサ17の相対位置は互いに固定される。その結果、撮像センサ16に座標系が設定された場合、その座標系は加速度センサ座標系Σgが単に並進移動した座標系として見なすことが可能となる。つまり、加速度センサ17によって検出された、加速度センサ17によって検出される加速度センサ座標系ΣgでのXYZ成分、すなわちカメラヘッド部11の3方向の姿勢情報に基づいて、撮像画像の天地方向でのズレ量(ズレ角度、回転位置Pθ(後述))を精度良く算出することが可能となる。
【0042】
[カメラコントロールユニットの機能的構成について]
図5を参照しながら、カメラコントロールユニット30の機能的構成について説明する。図5は、図4に示すカメラコントロールユニット30のプロセッサ31での処理を例示する機能ブロック図である。
【0043】
図5に示すように、カメラコントロールユニット30は、多重信号復調回路40と、信号多重伝送回路41と、カメラ同期信号発生回路42と、前置処理部43と、信号増幅処理部44と、YC分離処理・RGB変換部45と、補正処理部46と、第1ゲインレベル調整部47と、第2ゲインレベル調整部48と、エリア検出処理部49と、エリア生成部50および霧特徴量検出データ加算・平均・保存部51と、含んで構成される。また、カメラコントロールユニット30は、エンコーダ処理部52と、エリア表示用信号置き換え混合・選択部53と、インジケータ生成部54と、制御部55と、データ保存部56と、外部スイッチ57と、外部通信部59と、さらに含んで構成される。なお、外部スイッチ57は、カメラ設定変更ボタン58を含んで構成される。
【0044】
多重信号復調回路40は、カメラヘッド部11の撮像センサ16から出力された、多重化された撮像センサ16の電源、駆動信号および各回路への設定信号を復調して出力する。信号多重伝送回路41は、撮像センサ16からの撮像画像の信号とカメラヘッド部11の内部の各情報信号を多重化し、この多重化した信号を出力する。
【0045】
前置処理部43は、カメラヘッド部11の撮像センサ16から出力された撮像画像の信号に対し、ノイズ除去や画素フィルタ配列による色分離処理などの前処理を行う。信号増幅処理部44は、前置処理部43によって前処理が行われた撮像画像の信号に対し、増幅などの信号処理を行う。
【0046】
第1ゲインレベル調整部47は、制御部55からの設定値に従い、撮像画像の信号の増幅率(つまり、ゲイン)を調整する。
【0047】
YC分離処理・RGB変換部45は、信号増幅処理部44からの撮像画像の信号に対し、輝度信号(Y信号)と色信号(C信号)とを分離し、色信号をRGB信号に変換する。また、YC分離処理・RGB変換部45は、分離したY信号を、補正処理部46を介してエリア表示用信号置き換え混合・選択部53に出力する。
【0048】
補正処理部46は、YC分離処理・RGB変換部45から出力されたRGB信号を用いて色差信号(R-Y),(G-Y),(B-Y)を生成し、エンコーダ処理部52に出力する。
【0049】
第2ゲインレベル調整部48は、補正処理部46に対し、制御部55によって読み出される設定値に従って領域毎の入力レベルを分割・設定できる回路のゲインを調整する。制御部55によって読み出される設定値は、データ保存部56に記憶保持される。
【0050】
データ保存部56は、前述の設定値として血管内用補正設定値を記憶保持する。また、データ保存部56には、血管内特徴量検出データも記憶保持される。
【0051】
エリア生成部50は、制御部55から出力されるエリア指定座標に基づいて表示エリア枠信号を生成し、表示エリア枠信号をエリア表示用信号置き換え混合・選択部53および霧特徴量検出データ加算・平均・保存部51に出力する。
【0052】
表示エリア枠信号は、モニタ5の表示パネルに補正用検出エリア枠を表示する信号である。この補正用検出エリア枠の大きさは、任意に、または自動で設定可能である。例えば、内視鏡カメラ10の径が小さく撮影範囲が狭い場合、補正用検出エリア枠の大きさは小さな(適正な)値に設定される。など、補正用検出エリア枠が、自動で設定される場合、内視鏡カメラ10の径が小さい場合、その撮像範囲が狭くなるため、その径に応じて自動的に選択可能に設けられてもよい。
【0053】
エリア表示用信号置き換え混合・選択部53は、エリア生成部50から表示エリア枠信号を入力すると、その表示エリア枠信号とYC分離処理・RGB変換部45からのY信号とを混合し、エンコーダ処理部52に出力する。また、エリア表示用信号置き換え混合・選択部53は、制御部55からエリア表示切り替え指定座標が入力されると、その座標情報に従って、補正用検出エリア枠の位置を決定する。
【0054】
エリア表示切り替え指定座標は、補正用検出エリア枠を動かすメニューにおけるカメラ設定変更ボタン58の操作量により決定される。補正用検出エリア枠は、例えばカメラ設定変更ボタン58の左右上下ボタンのうち、右ボタンを押下することで右方向に移動し、左ボタンを押下することで左方向に移動する。また、補正用検出エリア枠は上ボタンを押下することで上方向に移動し、下ボタンを押下することで下方向に移動する。
【0055】
エリア検出処理部49は、YC分離処理・RGB変換部45からの各信号から、特徴量を検出したい部分、例えば撮像画像上で霧が発生している部分の領域(つまり、補正用検出エリア枠の表示領域)を検出し、その結果を霧特徴量検出データ加算・平均・保存部51に出力する。
【0056】
霧特徴量検出データ加算・平均・保存部51は、エリア生成部50から入力された表示エリア枠信号に基づき、エリア検出処理部49で検出された、撮像画像上で霧が発生している部分の表示領域に対する霧特徴量検出データを加算し、その平均や統計的頻度(統計データ)を求め、その結果を保存する。
【0057】
インジケータ生成部79は、制御部55から入力される文字および/または図形などのインジケータ表示指定に従って、撮像画像に重畳して表示するための文字データおよび図形データを生成する。本実施の形態では、文字データの一例として、カメラヘッド部11の標準座標系Σsでの位置を示すXYZの座標値が生成される(図8A図8C参照)。また、図形データの一例として、撮像画像の標準座標系Σsでの姿勢情報を示すコンパスのアニメーションアイコンAIが生成される(図8A図8C参照)。これら生成されたインジケータは、エリア表示用信号置き換え混合・選択部53を通じて撮像画像の信号に重畳されるようにエンコーダ処理部52に出力される。なお、文字データの一例である、カメラヘッド部11の標準座標系Σsでの位置を示すXYZの座標値は、例えば、カメラヘッド部11の加速度センサ17の検出値を二重積分することで算出される。
【0058】
カメラ同期信号発生回路42は、カメラヘッド部11の撮像センサ16を駆動するための撮像センサ駆動信号、各部の動作において使用される信号処理用の同期信号および垂直同期信号を発生する。
【0059】
外部通信部59は、外部機器(例えば、コンピュータ)と通信を行い、外部機器による表示領域の選択、外部機器による選択した表示領域の画素情報または色空間情報の取り込みを可能にする。ここで、外部機器により選択される表示領域は1つに限定されず、複数同時であってもよい。カメラコントロールユニット30が外部通信部59を備えることで、単体で行うキー操作に加え、外部機器側でキー操作を行うことが可能となり、操作の自由度が向上する。例えば、マウス型のポインタやGUIを用いて、対話的に表示領域を選択して色補正を行い、カメラコントロールユニット30の設定を変更し保存することが可能となる。
【0060】
制御部55は、前述した各処理部の他、カメラコントロールユニット30の各部の動作を総合的に制御するものである。
【0061】
例えば、制御部55は、霧特徴量検出データ加算・平均・保存部51に保存されている統計データと輝度レベルを読み出し、霧補正処理時に用いられるゲインの設定値を算出し、このゲインの設定値をゲインレベル調整部に設定する。
【0062】
なお、霧補正処理は、公知の技術であり、種々の処理が例示される。例えば、霧補正処理では、霧の発生により輝度ヒストグラムが中間諧調に集中することで低下した画面全体のコントラストを高めるために、輝度ヒストグラムを平坦化するように、補正処理の設定値(本実施の形態ではゲインの設定値)が変更される。また、制御部55には、カメラ設定変更ボタン58を含む外部スイッチ57が接続される。また、制御部55は、外部通信部59を介して外部機器であるコンピュータと通信を行い、コンピュータ側でカメラコントロールユニット30を制御可能にする。制御部55には、カメラ設定変更ボタン58を含む外部スイッチ57が接続される。
【0063】
また、本実施の形態では、後述するように、制御部55は、多重信号復調回路40を通じてカメラヘッド部11(内視鏡カメラ10)の加速度センサ17から加速度信号、つまり3方向の姿勢情報を取得する。内視鏡が被検体内に挿入される前の初期状態で、制御部55は、その3方向の姿勢情報をキャリブレーションデータとしてデータ保存部56に記憶保持させる。
【0064】
そして、内視鏡カメラ10が被検体内に挿入された後で、制御部55は、その3方向の姿勢情報に基づいて、加速度センサ座標系Σgと標準座標系ΣsとのZ方向でのズレ量(ズレ角度)、換言すれば撮像部14により撮像される撮像画像の天地方向のズレ量を演算する。その演算結果に基づいて、制御部55は、インジケータ生成部54に対しインジケータ表示指定を付与する。この付与により、結果的に、カメラコントロールユニット30は、撮像画像の天地方向のズレの有無を示すインジケータと撮像画像とを対応付けてモニタ5に表示することが可能となる。
【0065】
[撮像画像にインジケータを重畳表示するための処理手順について]
図6を参照しながら、カメラコントロールユニット30が撮像画像にインジケータを重畳表示する処理手順について説明する。図6は、撮像画像にインジケータを重畳表示するための処理手順を例示するフロー図である。
【0066】
図6に示すように、内視鏡システム1が電源起動されると、内視鏡カメラ10、プルバック機器、中継器4、カメラコントロールユニット30およびモニタ5(図3参照)は初期設定される。このとき内視鏡カメラ10では、撮像センサ16および加速度センサ17が少なくとも初期設定される(S11)。初期設定の後、カメラコントロールユニット30の制御部55は、データ保存部56から前述のキャリブレーションデータを読み出す(S12)。このキャリブレーションデータは、内視鏡が被検体内に挿入される前の、初期状態での内視鏡カメラ10のカメラヘッド部11の3方向の姿勢情報であり、内視鏡が挿入された後の3方向の姿勢情報を算出する上での基準値となる。また、キャリブレーションデータの3方向の姿勢情報は、加速度センサ座標系Σgから標準座標系Σsに座標変換されている。
【0067】
内視鏡が被検体内の挿入された後、例えば第1の挿入位置P0または第2の挿入位置P1などの現在の挿入位置で、制御部55はカメラヘッド部11の加速度センサ17から加速度信号を取得し、カメラヘッド部11の現在の3方向の姿勢情報を検知する(S13)。この加速度センサ17によって検知された姿勢情報は加速度センサ座標系Σgでの値であるため、制御部55は、加速度センサ座標系Σgでの姿勢情報を、標準座標系Σsでの姿勢情報に変換する。制御部55は、この変換後の姿勢情報からキャリブレーションデータ(初期の姿勢情報)の値を減算して現在の姿勢情報を補正する(S14)。
【0068】
制御部55は、補正された現在の3方向の姿勢情報に基づいて、撮像センサ16により撮像される撮像画像の天地方向のズレ量、つまり回転位置Pθを算出して、ズレ量の有無を演算する(S15)。制御部55は、文字および/または図形などのインジケータ表示の指定をインジケータ生成部54に対し行う。このインジケータ表示指定によって、文字データとして、カメラヘッド部11の標準座標系Σsでの位置を示すXYZの座標値が生成される。また、図形データとして、撮像画像の標準座標系Σsでの姿勢を示すコンパスのアニメーションアイコンが生成される。制御部55は、これら算出された回転位置Pθを示すインジケータを、撮像センサ16から出力される撮像画像に重畳して表示する(S16)。
【0069】
制御部55は、処理フローが終了すべきか否かを判定する(S17)。その判定結果で終了すべきではないと判定される場合(S17のNO)、処理フローはステップS13に戻り、前述したS13~S16のステップを繰り返し実行する。
【0070】
すなわち、前述したS13~S16のステップは処理フロー全体が終了すべきではないと判定される限り逐次実行され、その間は撮像画像にインジケータが更新表示されることになる。それにより、内視鏡システム1の医師などのユーザは、内視鏡カメラ10のカメラヘッド部11(先端部)がその軸周りでどれぐらい回転しているのか、換言すれば天地方向でどの程度ズレているのかを容易に把握することが可能となる。その一方、処理フローが終了すべきである(または終了した)と判定される場合(S17のYES)、処理フロー全体は終了する(END)。
【0071】
[撮像画像にインジケータが重畳されるユースケースについて]
図7A図7B図7C図7Dおよび図8A図8B図8Cを参照しながら、撮像画像にインジケータが重畳されるユースケースについて説明する。図7A図7Dは、図6に示す処理が実行される前の各挿入位置での撮像画像を例示する模式図である。図8A図8Cは、図7に示す撮像画像に対し図6に示す処理が実行された後の画像を例示する模式図である。
【0072】
具体的には、図7Aは、図1に示す第1の挿入位置P0での血管撮像画像例である。図7Bは、第1の挿入位置P0からさらに挿入された第2の挿入位置P1(図1参照)での血管撮像画像例である。図7Cは、第2の挿入位置P1での図7Bの姿勢を基準とした場合の図面時計回り10度回転した血管撮像画像例である。図7Dは、第2の挿入位置P1での図7Bの姿勢を基準とした場合の図面反時計回り10度回転した血管撮像画像例である。
【0073】
図8Aは、図7Bに示す血管撮像画像に対し図6に示す処理が実行されてインジケータが重畳して表示される画面例である。図8Bは、図7Cに示す血管撮像画像に対し図6に示す処理が実行されてインジケータが重畳して表示される画面例である。図8Cは、図7Dに示す血管撮像画像に対し図6に示す処理が実行されてインジケータが重畳して表示される画面例である。
【0074】
図7Aに示すように、内視鏡カメラ10が被検体に挿入されて第1の挿入位置P0(図1参照)での被検体内の観察部位の様子が撮像される。第1の挿入位置P0では、医師などのユーザは被検体内の挿入した直後でありその内視鏡カメラ10が軸周りにどの程度回転しているのか直感的に把握可能である。そのため、ユーザは、図7Aの血管撮像画像がモニタ5に表示されると、その血管撮像画像の上下方向と天地方向(重力方向)とのズレを意識することなく円滑に操作することが可能である。
【0075】
その一方、さらに内視鏡カメラ10が被検体にさらに奥側に挿入されて内視鏡カメラ10が第2の挿入位置P1(図1参照)に位置すると、図7B図7Dに示すように血管撮像画像には特段目印または特徴点などを抽出することは難しい。そのため、ユーザは、図7B図7Dに示す撮像画像に基づいて、奥側に位置する内視鏡カメラ10が軸周りにどの程度回転しているのかをそのままの状況では把握することは困難である。
【0076】
そこで、本実施の形態では、カメラコントロールユニット30は、内視鏡カメラ10のカメラヘッド部11に配設された加速度センサ17により検知された3方向の姿勢情報に基づいて、撮像部14により撮像される撮像画像の天地方向のズレの有無を演算する。
【0077】
図8A図8Cに示すように、その演算結果により、カメラヘッド部11は、血管撮像画像の天地方向のズレの有無を示すインジケータと血管撮像画像とを対応付けてモニタ5に表示する。具体的には、モニタ5の画面において、血管撮像画像が表示される撮像領域A1(図8A図8C中で左側)に隣接してインジケータ表示領域A2が配置される(図8A図8C中で右側)。文字のインジケータとして、このインジケータ表示領域A2の一方側(図8A図8C中で右上側)には、カメラヘッド部11の標準座標系Σsでの位置を示すXYZの座標値が表示される。図形のインジケータとして、血管撮像画像の標準座標系Σsでの姿勢を示すコンパスのアニメーションアイコンが表示される(図8A図8C中で右下側)。
【0078】
このように、撮像画像の天地方向のズレの有無を示すインジケータと撮像画像とが対応付けられてモニタ5に表示されることで、医師などであるユーザは、内視鏡カメラ10が被検体内の挿入された状態で、内視鏡カメラ10の挿入位置が奥側または手前側にあるにか関わらず、天地方向を基準として内視鏡カメラ10が軸周りにどの程度ズレているのか容易に把握することができ、内視鏡システム1の操作性を向上させることが可能となる。つまり、内視鏡の先端部分の天地方向のズレの有無を効率的に検知し、適切な医療行為の実現を支援することが可能となる。その結果、医療の分野では、医師などのユーザの操作ミスの発生を抑制して、患者に対する医療安全を高めることが可能となる。
【0079】
以上により、実施の形態1の内視鏡システム1によれば、被検体内(例えば人体の血管など)に挿抜可能であり、レンズ15(光学系の一例)および撮像センサ16(イメージセンサの一例)を含む撮像部14を先端部に有する内視鏡カメラ10(内視鏡の一例)と、先端部に配置され、先端部の少なくとも前後方向、天地方向および左右方向の3方向の姿勢情報を検知する加速度センサ17(姿勢制御用センサの一例)と、加速度センサ17により検知された3方向の姿勢情報に基づいて、撮像部14により撮像される撮像画像の天地方向のズレの有無を演算するカメラコントロールユニット30(演算装置の一例)と、を備える。そして、カメラコントロールユニット30は、撮像画像の天地方向のズレの有無を示すインジケータと撮像画像とを対応付けてモニタ5に表示する。
【0080】
このため、撮像画像の天地方向のズレの有無を示すインジケータと撮像画像とが対応付けられてモニタ5に表示されることで、医師などであるユーザは、内視鏡カメラ10が被検体内に挿入された状態で、内視鏡カメラ10の挿入位置が奥側または手前側にあるにか関わらず、天地方向を基準として内視鏡カメラ10が軸周りにどの程度ズレているのか容易に把握することができ、内視鏡システム1の操作性を向上させることができる。つまり、内視鏡の先端部分の天地方向のズレの有無を効率的に検知し、適切な医療行為の実現を支援することができる。その結果、医療の分野では、医師などのユーザの操作ミスの発生を抑制して、患者に対する医療安全を高めることができる。
【0081】
また、実施の形態1の内視鏡システム1によれば、加速度センサ17(姿勢制御用センサの一例)は、撮像センサ16(イメージセンサの一例)との間で相対位置が固定となるように配置される。このため、撮像センサ16に座標系が設定された場合、その座標系は加速度センサ座標系Σgが単に並進移動した座標系として見なすことができる。つまり、加速度センサ17によって検出された、重力加速度を含む加速度センサ座標系ΣgでのXYZ成分、すなわちカメラヘッド部11の3方向の姿勢情報に基づいて、撮像画像の天地方向でのズレ量(ズレ角度、回転位置Pθ)を精度良く算出することができる。
【0082】
また、実施の形態1の内視鏡システム1によれば、撮像部14および加速度センサ17(姿勢制御用センサの一例)は、先端部に充填された封止材により固定される。このため、撮像センサ16および加速度センサ17は内視鏡カメラ10のカメラヘッド部11の内部で強固に固定されるので、カメラヘッド部11の3方向の姿勢情報に基づいて、撮像画像の天地方向でのズレ量をより精度良く算出することができる。
【0083】
また、実施の形態1の内視鏡システム1によれば、カメラコントロールユニット30(演算装置の一例)は、内視鏡カメラ10(内視鏡の一例)が被検体内に挿入される前の初期状態で加速度センサ17(姿勢制御用センサの一例)により検知された3方向の姿勢情報をキャリブレーションデータとしてメモリ32に記憶し、内視鏡カメラ10が被検体内に挿入された後で加速度センサ17により検知された3方向の姿勢情報からキャリブレーションデータを用いて補正する。このため、カメラヘッド部11の3方向の姿勢情報に基づいて、撮像画像の天地方向でのズレ量をより一層精度良く算出して、内視鏡の先端部分の天地方向のズレの有無をより一層効率的に検知することができる。
【0084】
(実施の形態2)
図9図12に基づいて本開示に係る実施の形態2について説明する。なお、前述の実施の形態1と同一または同等部分については、その説明が重複するため、図面に同一符号を付してその説明を省略あるいは簡略化する場合がある。
【0085】
[回転駆動装置60の構成について]
図9および図10を参照して、伝送ケーブル2の軸周りの回転力を先端部に付与する回転駆動装置60(駆動装置の一例)について説明する。本実施の形態の回転駆動装置60のハードウェア構成を例示する模式図である。図9は、実施の形態2に係る回転駆動装置のハードウェア構成を例示する模式図である。図10Aは、伝送ケーブル2が回転駆動装置60によって回転された場合の第1例を例示する模式図である。図10Bは、伝送ケーブル2が回転駆動装置60によって回転された場合の第2例を例示する模式図である。
【0086】
本実施の形態の内視鏡システム1は、前述の実施の形態1と比較して、回転駆動装置60をさらに備えて構成される。
【0087】
回転駆動装置60は、伝送ケーブル2の基端部側(内視鏡カメラ10が取り付けられる先端部とは反対側)に、カメラコントロールユニット30またはプルバック機器に近傍配置して伝送ケーブル2に取り付けられる。回転駆動装置60は、伝送ケーブル2の基端部側を固定し、伝送ケーブル2を介して伝送ケーブル2の軸周り(軸方向)の回転力を先端部に付与する。それにより、伝送ケーブル2の先端部に取り付けられたカメラヘッド部11の軸周りの姿勢(つまり回転角度)を変更・調整することが可能となる(後述参照)。
【0088】
図9に示すように、回転駆動装置60は、伝送ケーブル2を軸周りに回転自在に保持するケーブル保持部61と、ケーブル保持部61に連結して設けられる可動軸保持部63と、同じくケーブル保持部61に連結して設けられる受動軸保持部67と、を含んで構成される。ケーブル保持部61には、伝送ケーブル2が挿通される挿通孔62(不図示)が形成される。可動軸保持部63および受動軸保持部67は、ケーブル保持部61の挿通孔62の軸心を挟んで対向配置される。
なお、ケーブル保持部61が伝送ケーブル2を保持する際、その挿通孔62に伝送ケーブル2が挿通され、伝送ケーブル2はその軸が挿通孔62の軸心と略一致するように挿通孔62に回転自在に保持される。
【0089】
可動軸保持部63には可動ローラ64が設けられており、その可動ローラ64はその軸心が挿通孔62と略平行となるように軸支される。可動ローラ64の外周部にはウレタンスポンジが貼設されており、可動ローラ64はその外周面で伝送ケーブル2に当接する。ウレタンスポンジの貼設により、可動ローラ64と伝送ケーブル2との間の(摩擦力を越えた)滑りを許容して無理または過大な回転力(後述参照)が伝送ケーブル2に伝達するのを抑制し、例えば被検体内の観察部位が損傷するのを回避することが可能となる。
【0090】
また、可動軸保持部63にはモータ65が配設されており、そのモータ65の出力軸の先端には出力ローラ66が設けられる。出力ローラ66はその外周面同士で可動ローラ64に当接しており、モータ65の駆動力を可動ローラ64に伝達する。その結果、モータ65の駆動力は、出力ローラ66および可動ローラ64を介して伝送ケーブル2の軸周りの回転力として伝送ケーブル2の基端部に伝達される。
【0091】
受動軸保持部67には受動ローラ68が設けられており、その受動ローラ68も可動ローラ64と同様にその軸心が挿通孔62と略平行となるように回転自在に軸支される。受動ローラ68の外周部にもウレタンスポンジが貼設され、受動ローラ68はその外周面で伝送ケーブル2に当接する。
【0092】
また、受動軸保持部67は、スライダ部69をさらに有する。スライダ部69は、受動ローラ68を直接保持し、受動ローラ68の軸心を伝送ケーブル2の軸に対し平行に維持した状態で接近可能に移動させる。スライダ部69には例えば圧縮バネなどの弾性部材からなる付勢部70が取り付けられており、スライダ部69は受動ローラ68を伝送ケーブル2の軸心に常時近接させるように付勢移動される。この付勢移動により、伝送ケーブル2、可動ローラ64および受動ローラ68の当接面において所定の摩擦力が発生可能に調整される。それにより、可動ローラ64および受動ローラ68は、ケーブル保持部61によって保持された伝送ケーブル2の基端部に対し無理または過大な回転力が伝達しない程度に挟持可能に設けられる。
【0093】
図10Aに示すように、回転駆動装置60のモータ65の駆動により伝送ケーブル2の基端部に対し順方向(例えば時計回り)の軸周りで回転力が付与された場合、その基端部と先端部(カメラヘッド部11)の離間距離に対応した遅れでカメラヘッド部11が同様に時計回りに軸周りで回転する。
【0094】
その一方、図10Bに示すように、回転駆動装置60のモータ65の駆動により伝送ケーブル2の基端部に対し図10Aとは異なる逆方向(例えば、反時計回り)の軸周りで回転力が付与された場合、同様にその基端部と先端部の離間距離に対応した遅れでカメラヘッド部11が反時計回りの軸周りで回転する。このような回転付与により、内視鏡カメラ10のカメラヘッド部11も同様に回転して、その結果、撮像センサ16による撮像画像も回転して事前に設定した所望の回転角度で被検体内の観察部位の撮像が可能となる。
【0095】
このように構成される回転駆動装置60を制御するために、カメラコントロールユニット30は、加速度センサ17により検知された3方向の姿勢情報と所定の姿勢状態との差分に基づいて、先端部を軸周り(軸方向)に回転させる回転力を算出(演算)する。そして、カメラコントロールユニット30は、その回転力の算出結果に基づく先端部の軸周りへの回転を回転駆動装置60に指示する。つまり、後述するように、カメラコントロールユニット30は、回転駆動装置60のモータ65に対する制御値(以下「モータ65制御値」ともいう。)を算出して、そのモータ65制御値に基づいてモータ65の回転力を制御することで、内視鏡カメラ10のカメラヘッド部11の回転位置を所望の回転角度で規定する。なお、カメラコントロールユニット30のデータ保存部56には、天地方向を基準とした、内視鏡カメラ10のカメラヘッド部11の目標角度Nθ(標準座標系Σsでの所望の回転角度)の値が事前に設定される(記憶保持される)。
【0096】
[伝送ケーブルの軸周りの回転を制御するための処理手順について]
図11および図12を参照しながら、本実施の形態のカメラコントロールユニット30で実行される、伝送ケーブル2の軸周りの回転を制御するための処理手順について説明する。図11は、伝送ケーブル2の軸周りの回転を制御するための処理手順を例示するフロー図である。図12は、伝送ケーブル2の軸周りの回転力が制御されて所定の値に収束する様子を例示するグラフである。
【0097】
なお、図11に示す処理フローは、内視鏡カメラ10が被検体内の観察部位に向かって挿入または引き抜かれる際、挿入経路での第1の挿入位置P0,・・・,Pn(ただし、nは0または自然数),・・・のそれぞれで逐次実行される。すなわち、「Pθn」および「Δθn」などの記号は、挿入位置Pnに対応する値(挿入位置Pnとなった時点での値)を意味する。また、「Pn+1」は、所定期間経過後の次の挿入位置を意味する。
【0098】
図11に示すように、カメラコントロールユニット30は、加速度センサ17からの3方向の姿勢情報に基づいて、現在の挿入位置Pnでの回転位置Pθnを算出する(回転位置Pθの算出については図6のステップS15参照)。カメラコントロールユニット30は、そのデータ保存部56の目標角度Nθを読み出し、現在の回転位置Pθnと目標角度Nθの差分である、角度誤差Δθn(=Pθn-Nθ)を算出する(S21)。
【0099】
その角度誤差Δθnの算出結果で、カメラコントロールユニット30は角度誤差Δθnが0(ゼロ)近傍の所定範囲内か否かを判定する(S22)。その判定結果で、角度誤差Δθnが0(ゼロ)近傍の所定範囲内であると判定される場合(S22のYES)、カメラコントロールユニット30は、回転駆動装置60のモータ65に対し制御指示しない(変更・更新しない)と判断し、現在のモータ65制御値の出力を維持させ(S23)、その後、処理フローはステップS28に進む。このような角度誤差Δθnが0(ゼロ)近傍の所定範囲内か否かの判定、換言すれば不感帯が設定されることにより、内視鏡カメラ10の先端部(カメラヘッド部11)に微少な回転力が付与されるのを防止する。その結果、カメラヘッド部11での微小な動きを抑制して、例えば医師などのユーザの画面酔い、または内視鏡カメラ10の経年劣化などを抑制することが可能となる。
【0100】
角度誤差Δθnが0(ゼロ)近傍の所定範囲内ではないと判定される場合(S22のNO)、カメラコントロールユニット30は、角度誤差Δθnが正(+)であるか否かを判定する(S24)。つまり、ここでは、カメラコントロールユニット30は、前述の差分(角度誤差Δθn)に基づいて、カメラヘッド部11(先端部)の軸周りに回転させる向きを算出(演算)する。その算出結果で、角度誤差Δθnは正(+)であると判定される場合(S24のYES)、カメラコントロールユニット30は、角度誤差Δθnと、その角度誤差Δθnに対応した誤差ゲインKm(係数)と、を用いて、次の挿入位置での、順方向、例えば時計周り方向(図10A参照)での回転駆動装置60のモータ65に対する制御値を算出する(S25)。例えば、このときのモータ65制御値は、適宜PD制御またはPID制御などのサーボ制御系によって角度誤差Δθnと誤差ゲインKmとを乗じた値と線形関係な値として規定される。そして、図12に示すように、このようなサーボ制御により、現在の挿入位置Pnでの、前述の角度誤差Δθnは0「ゼロ」に対し定常誤差の範囲に収束する。
【0101】
また、図11に戻って説明を続ける。角度誤差Δθnは正(+)でない、つまり負(-)であると判定される場合(S24のNO)、このときはカメラコントロールユニット30は、角度誤差Δθnと、その角度誤差Δθnに対応した誤差ゲインKp(係数)と、を用いて、次の挿入位置での、ステップS25とは逆方向、例えば反時計周り方向(図10B参照)での回転駆動装置60のモータ65に対する制御値を算出する(S25)。例えば、このときのモータ65制御値も同様に、角度誤差Δθnと誤差ゲインKpとを乗じた値と線形関係な値として規定される。
【0102】
このようにして、順方向または逆方向でのモータ65制御値が算出されると(S25,S26)、コントロールユニットは、回転駆動装置60のモータ65の出力を駆動制御することにより、伝送ケーブル2の基端部に対し時計回りまたは反時計回りの軸周りで回転力を付与する(S27)。この回転付与により、内視鏡カメラ10のカメラヘッド部11(先端部)も同様に回転する。その結果、姿勢制御用センサはイメージセンサとの間で相対位置が固定となる撮像センサ16による撮像画像も回転して、事前に設定した標準座標系Σsでの所望の角度(つまり目標角度Nθ)、例えば天地方向が正常な状態で被検体内の観察部位の撮像が可能となる(例えば、図8Aのような撮像画像を得られる。)。
【0103】
カメラコントロールユニット30は、処理フローが終了すべきか否かを判定する(S28)。その判定結果で処理フローが終了すべきである(または終了した)と判定される場合(S28のYES)、処理フロー全体は終了する(END)。その一方、終了すべきではないと判定される場合(S28のNO)、処理フローは、変数のnをn+1に更新してステップS21に戻る。すなわち、内視鏡カメラ10の挿入位置を次の挿入位置に更新して挿入位置のそれぞれについてステップS21~S27を逐次実行する。つまり、カメラコントロールユニット30は、回転力の演算および回転駆動装置60への指示を繰り返して実行する(S21~S27)。
【0104】
このような実行により、カメラコントロールユニット30は、前述の回転力の演算および回転駆動装置60への指示を繰り返して実行して、内視鏡カメラ10が被検体内に挿入される間、その先端部(カメラヘッド部11)を天地方向を基準とした所望の回転角度で軸周りに逐次回転させることが可能となる。そのため、撮像センサ16による撮像画像も回転して所望の角度で被検体内の観察部位の撮像が可能となる。その結果、内視鏡システム1は天地方向を基準にして一定の姿勢で観察部位を撮像するので、医師などのユーザは被検体内の観測部位をどの方向で撮像しているのか適切かつ容易に把握可能となる。
【0105】
以上により、実施の形態2の内視鏡システム1によれば、内視鏡カメラ10(内視鏡の一例)の基端部から先端部までを接続する伝送ケーブル2の基端部側を固定し、伝送ケーブル2を介して伝送ケーブル2の軸周り(軸方向)の回転力を先端部に付与する回転駆動装置60(駆動装置の一例)、をさらに備える。カメラコントロールユニット30(演算装置の一例)は、加速度センサ17(姿勢制御用センサの一例)により検知された3方向の姿勢情報と所定の姿勢状態との差分に基づいて、先端部を軸周り(軸方向)に回転させる回転力を演算し、回転力の演算結果に基づく先端部の軸周り(軸方向)への回転を回転駆動装置60に指示する。
【0106】
このため、コントロールユニットは、回転駆動装置60のモータ65の出力を駆動制御することにより、伝送ケーブル2の基端部に対し時計回りまたは反時計回りの軸周りで回転力を付与する。この回転付与により、内視鏡カメラ10のカメラヘッド部11(先端部)も同様に回転して、その結果、撮像センサ16による撮像画像も回転して、事前に設定した所望の角度で被検体内の観察部位を撮像することができる。これにより、内視鏡システム1は天地方向を基準にして一定の姿勢で観察部位を撮像するので、医師などのユーザは被検体内の観測部位をどの方向で撮像しているのか適切かつ容易に把握することができる。その結果、適切な医療行為の実現を支援して、医師などのユーザの操作ミスの発生を抑制して、患者に対する医療安全を高めることができる。
【0107】
また、実施の形態2の内視鏡システム1によれば、カメラコントロールユニット30(演算装置の一例)は、差分(角度誤差Δθn)に基づいて、先端部の軸方向に回転させる向きをさらに演算する。このため、コントロールユニットは、回転駆動装置60のモータ65の出力を駆動制御することにより、内視鏡カメラ10のカメラヘッド部11(先端部)を順方向(例えば時計回り)またはその逆方向(例えば反時計回り)の軸周りで状況に応じて適切に回転させることができる。
【0108】
また、実施の形態2の内視鏡システム1によれば、カメラコントロールユニット30(演算装置の一例)は、回転力の演算および回転駆動装置60(駆動装置の一例)への指示を繰り返して実行する。このため、カメラコントロールユニット30は、前述の回転力の演算および回転駆動装置60への指示を繰り返して実行して、内視鏡カメラ10が被検体内に挿入される間、その先端部(カメラヘッド部11)を所望の回転角度で軸周りに逐次回転させることができる。これにより、医師などのユーザの利便性が高まって、より適切な医療行為の実現を支援することができる。
【0109】
また、実施の形態2の内視鏡システム1によれば、前述の差分は、ゼロを中心とした所定範囲の値である。このため、換言すれば不感帯が設定されることにより、内視鏡カメラ10の先端部(カメラヘッド部11)に微少な回転力が付与されるのを防止する。その結果、カメラヘッド部11での微小な動きを抑制して、例えば医師などのユーザの画面酔い、または内視鏡カメラ10の経年劣化などを抑制することができる。
その他の構成および作用効果については、前述の実施の形態1と同様である。
【0110】
以上、図面を参照しながら実施の複数の形態について説明したが、本開示はかかる例に限定されないことはいうまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。また、発明の趣旨を逸脱しない範囲において、前述した実施の形態における各構成要素を任意に組み合わせてもよい。
【0111】
実施の形態2では、伝送ケーブル2の軸周りの回転力を先端部に付与する駆動装置として、モータ65を含む回転駆動装置60を挙げて説明したが(図10参照)、これに限定されない。このようなモータ65を用いた基端側でのケーブル回転による内視鏡カメラ10の先端部のズレ補正に代えて、人工筋肉(例えば導電性高分子アクチュエータ)を内視鏡カメラ10の先端部に複数配置しかつ基端側からのコントロールによる電圧印加によって内視鏡カメラ10の先端部のズレ補正を行ってもよい。
【産業上の利用可能性】
【0112】
本開示は、内視鏡の先端部分の天地方向のズレの有無を効率的に検知し、適切な医療行為の実現を支援することができる内視鏡システムとして有用である。
【符号の説明】
【0113】
1 内視鏡システム
2 伝送ケーブル
3 オートプルバック装置
4 中継器
5 モニタ
10 内視鏡カメラ
11 カメラヘッド部
12 ホルダ
13 レンズカバー
14 撮像部
15 レンズ
16 撮像センサ
17 加速度センサ
30 カメラコントロールユニット
31 プロセッサ
32 メモリ
33 入出力インターフェース
34 操作部
35 ストレージ
40 多重信号復調回路
41 信号多重伝送回路
42 カメラ同期信号発生回路
43 前置処理部
44 信号増幅処理部
45 YC分離処理・RGB変換部
46 補正処理部
47 第1ゲインレベル調整部
48 第2ゲインレベル調整部
49 エリア検出処理部
50 エリア生成部
51 霧特徴量検出データ加算・平均・保存部
52 エンコーダ処理部
53 エリア表示用信号置き換え混合・選択部
54 インジケータ生成部
55 制御部
56 データ保存部
57 外部スイッチ
58 カメラ設定変更ボタン
59 外部通信部
60 回転駆動装置
61 ケーブル保持部
62 挿通孔
63 可動軸保持部
64 可動ローラ
65 モータ
66 出力ローラ
67 受動軸保持部
68 受動ローラ
69 スライダ部
70 付勢部
図1
図2
図3
図4
図5
図6
図7A
図7B
図7C
図7D
図8A
図8B
図8C
図9
図10A
図10B
図11
図12