特許第6904860号(P6904860)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ オリンパス株式会社の特許一覧

特許6904860内視鏡システム、表示制御プログラム及び内視鏡システムの作動方法
<>
  • 特許6904860-内視鏡システム、表示制御プログラム及び内視鏡システムの作動方法 図000002
  • 特許6904860-内視鏡システム、表示制御プログラム及び内視鏡システムの作動方法 図000003
  • 特許6904860-内視鏡システム、表示制御プログラム及び内視鏡システムの作動方法 図000004
  • 特許6904860-内視鏡システム、表示制御プログラム及び内視鏡システムの作動方法 図000005
  • 特許6904860-内視鏡システム、表示制御プログラム及び内視鏡システムの作動方法 図000006
  • 特許6904860-内視鏡システム、表示制御プログラム及び内視鏡システムの作動方法 図000007
  • 特許6904860-内視鏡システム、表示制御プログラム及び内視鏡システムの作動方法 図000008
  • 特許6904860-内視鏡システム、表示制御プログラム及び内視鏡システムの作動方法 図000009
  • 特許6904860-内視鏡システム、表示制御プログラム及び内視鏡システムの作動方法 図000010
  • 特許6904860-内視鏡システム、表示制御プログラム及び内視鏡システムの作動方法 図000011
  • 特許6904860-内視鏡システム、表示制御プログラム及び内視鏡システムの作動方法 図000012
  • 特許6904860-内視鏡システム、表示制御プログラム及び内視鏡システムの作動方法 図000013
  • 特許6904860-内視鏡システム、表示制御プログラム及び内視鏡システムの作動方法 図000014
  • 特許6904860-内視鏡システム、表示制御プログラム及び内視鏡システムの作動方法 図000015
  • 特許6904860-内視鏡システム、表示制御プログラム及び内視鏡システムの作動方法 図000016
  • 特許6904860-内視鏡システム、表示制御プログラム及び内視鏡システムの作動方法 図000017
  • 特許6904860-内視鏡システム、表示制御プログラム及び内視鏡システムの作動方法 図000018
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6904860
(24)【登録日】2021年6月28日
(45)【発行日】2021年7月21日
(54)【発明の名称】内視鏡システム、表示制御プログラム及び内視鏡システムの作動方法
(51)【国際特許分類】
   A61B 1/045 20060101AFI20210708BHJP
   A61B 1/05 20060101ALI20210708BHJP
   G02B 23/24 20060101ALI20210708BHJP
【FI】
   A61B1/045 622
   A61B1/045 641
   A61B1/05
   G02B23/24 A
   G02B23/24 B
【請求項の数】15
【全頁数】20
(21)【出願番号】特願2017-171442(P2017-171442)
(22)【出願日】2017年9月6日
(65)【公開番号】特開2019-42392(P2019-42392A)
(43)【公開日】2019年3月22日
【審査請求日】2020年7月22日
(73)【特許権者】
【識別番号】000000376
【氏名又は名称】オリンパス株式会社
(74)【代理人】
【識別番号】110002907
【氏名又は名称】特許業務法人イトーシン国際特許事務所
(74)【代理人】
【識別番号】100076233
【弁理士】
【氏名又は名称】伊藤 進
(74)【代理人】
【識別番号】100101661
【弁理士】
【氏名又は名称】長谷川 靖
(74)【代理人】
【識別番号】100135932
【弁理士】
【氏名又は名称】篠浦 治
(72)【発明者】
【氏名】古畑 剛志
【審査官】 山口 裕之
(56)【参考文献】
【文献】 国際公開第2017/119351(WO,A1)
【文献】 特開2007−267929(JP,A)
【文献】 特開2013−235114(JP,A)
【文献】 特開2014−109630(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 1/045
A61B 1/05
(57)【特許請求の範囲】
【請求項1】
表示部と加速度センサを備え、把持可能な端末装置と、
前記加速度センサから入力した加速度信号に基づいて、重力方向に対する前記端末装置の回転位置を判定し、前記回転位置を出力する回転位置判定部と、
挿入部を挿入して被写体を撮像して取得した前記回転位置に応じて回転出力しない内視鏡画像に、前記回転位置に応じ、ユーザから見て、一定の方向を向くように、かつ一定の位置に、湾曲指示入力のための操作用画像を重畳して観察画像を生成し、前記観察画像を前記表示部に出力する画像出力部と、
前記表示部内において前記湾曲指示入力に対応付けられた方向へ前記観察画像が移動するように、前記回転位置及び前記湾曲指示入力に応じた湾曲信号を出力して前記挿入部に設けられた湾曲部を湾曲させる湾曲指示部と、
を有する内視鏡システム。
【請求項2】
前記湾曲指示入力がない場合、前記回転位置判定部は、前記加速度信号を取得し、重力方向に対する前記端末装置の回転位置を判定し、前記回転位置を出力し、
前記湾曲指示入力がある場合、前記回転位置判定部は、前記加速度信号を取得せず、前記回転位置を判定せず、前記回転位置を出力せず、かつ前記湾曲指示部は、前記湾曲信号を出力する、
請求項1に記載の内視鏡システム。
【請求項3】
前記湾曲指示入力に対応付けられた方向は、前記湾曲指示入力とは逆の方向である、請求項1又は2に記載の内視鏡システム。
【請求項4】
記憶部を有し、
前記記憶部は、前記回転位置に対応付けられた前記操作用画像の位置及び方向の情報を有する操作用画像テーブルを記憶し、
前記画像出力部は、前記操作用画像テーブルに基づいて、前記回転位置に応じた方向を向き、かつ前記回転位置に応じた位置に配置されるように、前記操作用画像を前記内視鏡画像に重畳する、
請求項1又は2に記載の内視鏡システム。
【請求項5】
前記記憶部は、前記回転位置及び前記湾曲指示入力に対応付けられた湾曲方向の情報を有する湾曲テーブルを記憶し、
前記湾曲指示部は、前記湾曲テーブルに基づいて、前記回転位置及び前記湾曲指示入力に応じた前記湾曲信号を決定する、
請求項4に記載の内視鏡システム。
【請求項6】
前記湾曲指示部は、
前記湾曲テーブルに基づいて、前記回転位置に応じ、前記湾曲指示入力及び前記湾曲指示入力に対応付けられた前記湾曲信号を有する湾曲指示情報を前記記憶部に記憶し、
前記湾曲指示入力があると、前記湾曲指示情報を前記記憶部から読み込み、前記湾曲指示入力に応じた前記湾曲信号を決定する、
請求項5に記載の内視鏡システム。
【請求項7】
前記端末装置と無線通信によって接続される本体装置を有し、
前記端末装置は、前記回転位置判定部と、前記画像出力部と、前記湾曲指示部と、前記記憶部と、をさらに有する、
請求項6に記載の内視鏡システム。
【請求項8】
前記端末装置は、タッチパネルを有し、
前記タッチパネルは、前記表示部に表示された前記操作用画像により、前記湾曲指示入力が可能である、
請求項に記載の内視鏡システム。
【請求項9】
前記本体装置は、前記挿入部を有し、
前記挿入部は、
前記湾曲信号に応じて湾曲する前記湾曲部と、
前記湾曲部よりも先端側に設けられ、前記被写体を撮像する撮像部と、
を有する、
請求項に記載の内視鏡システム。
【請求項10】
前記端末装置は、表示方向変更処理によって前記観察画像の表示方向の変更が行われているとき、前記表示方向の変更に応じ、前記湾曲信号の湾曲方向の補正を行う、請求項に記載の内視鏡システム。
【請求項11】
複数の前記端末装置を有し、
前記複数の端末装置の各々は、それぞれの前記回転位置に応じ、前記操作用画像が重畳された前記内視鏡画像を前記表示部に表示し、前記操作用画像による前記湾曲指示入力が可能である、
請求項に記載の内視鏡システム。
【請求項12】
前記操作用画像は、十字キーの画像によって構成される、請求項1又は2に記載の内視鏡システム。
【請求項13】
前記操作用画像は、ドラッグ操作領域を示す枠状の画像によって構成される、請求項1又は2に記載の内視鏡システム。
【請求項14】
把持可能な端末装置が備える加速度センサから入力した加速度信号に基づいて、重力方向に対する前記端末装置の回転位置を判定し、前記回転位置を出力する回転位置判定部のコードと、
挿入部を挿入して被写体を撮像して取得した前記回転位置に応じて回転出力しない内視鏡画像に、前記回転位置に応じ、ユーザから見て、一定の方向を向くように、かつ一定の位置に、湾曲指示入力のための操作用画像を重畳して観察画像を生成し、前記観察画像を前記端末装置が備える表示部に出力する画像出力部のコードと、
前記表示部内において前記湾曲指示入力に対応付けられた方向へ前記観察画像が移動するように、前記回転位置及び前記湾曲指示入力に応じた湾曲信号を出力して前記挿入部に設けられた湾曲部を湾曲させる湾曲指示部のコードと、
をコンピュータに実行させるための表示制御プログラム。
【請求項15】
表示部と加速度センサを備え、把持可能な端末装置を有する内視鏡システムの作動方法であって、
回転位置判定部が、前記加速度センサから入力した加速度信号に基づいて、重力方向に対する前記端末装置の回転位置を判定し、前記回転位置を出力し、
画像出力部が、前記回転位置に応じて回転出力しない内視鏡画像に、前記回転位置に応じ、ユーザから見て、一定の方向を向くように、かつ一定の位置に、湾曲指示入力のための操作用画像を重畳して観察画像を生成し、前記観察画像を前記表示部に出力し、
湾曲指示部が、前記表示部内において前記湾曲指示入力に対応付けられた方向へ前記観察画像が移動するように、前記回転位置及び前記湾曲指示入力に応じた湾曲信号を出力して挿入部に設けられた湾曲部を湾曲させる、
内視鏡システムの作動方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、内視鏡システム、表示制御プログラム及び内視鏡システムの作動方法に関する。
【背景技術】
【0002】
従来、本体装置と端末装置を有し、端末装置の表示部によって観察画像の表示及び挿入部に設けられた湾曲部の湾曲操作をすることができる内視鏡システムがある。端末装置は、ユーザが所望の方向を向けて使用したときに違和感を与えることなく観察画像の観察及び挿入部に設けられた湾曲部の湾曲操作をすることができるように、観察画像の上下方向、及び、被写体における鉛直方向に応じて観察画像の方向を変え、観察画像を表示することがある。
【0003】
例えば、特開2013−235114号公報には、タブレット型コンピュータと挿入部の先端部の各々に設けられた加速度センサの出力信号に基づいて、タブレット型コンピュータの表示部に表示される観察画像の上下方向と、被写体における鉛直方向とが一致するように観察画像を表示部に表示する、内視鏡システムが開示される。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2013−235114号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかし、従来の内視鏡システムは、加速度センサを設けることによって挿入部の先端部が大型化し、小さな被写体に挿入できないことがある。
【0006】
そこで、本発明は、観察画像の観察及び挿入部に設けられた湾曲部の湾曲操作による違和感を抑え、挿入部の先端部をより小型化することができる、内視鏡システム、表示制御プログラム及び内視鏡システムの作動方法を提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明の一態様の内視鏡システムは、表示部と加速度センサを備え、把持可能な端末装置と、前記加速度センサから入力した加速度信号に基づいて、重力方向に対する前記端末装置の回転位置を判定し、前記回転位置を出力する回転位置判定部と、挿入部を挿入して被写体を撮像して取得した前記回転位置に応じて回転出力しない内視鏡画像に、前記回転位置に応じ、ユーザから見て、一定の方向を向くように、かつ一定の位置に、湾曲指示入力のための操作用画像を重畳して観察画像を生成し、前記観察画像を前記表示部に出力する画像出力部と、前記表示部内において前記湾曲指示入力に対応付けられた方向へ前記観察画像が移動するように、前記回転位置及び前記湾曲指示入力に応じた湾曲信号を出力して前記挿入部に設けられた湾曲部を湾曲させる湾曲指示部と、を有する。
【0008】
本発明の一態様の表示制御プログラムは、把持可能な端末装置が備える加速度センサから入力した加速度信号に基づいて、重力方向に対する前記端末装置の回転位置を判定し、前記回転位置を出力する回転位置判定部のコードと、写体を撮像して取得した前記回転位置に応じて回転出力しない内視鏡画像に、前記回転位置に応じ、ユーザから見て、一定の方向を向くように、かつ一定の位置に、湾曲指示入力のための操作用画像を重畳して観察画像を生成し、前記観察画像を前記端末装置が備える表示部に出力する画像出力部のコードと、前記表示部内において前記湾曲指示入力に対応付けられた方向へ前記観察画像が移動するように、前記回転位置及び前記湾曲指示入力に応じた湾曲信号を出力して入部に設けられた湾曲部を湾曲させる湾曲指示部のコードと、をコンピュータに実行させる。
【0009】
本発明の一態様の内視鏡システムの作動方法は、表示部と加速度センサを備え、把持可能な端末装置を有する内視鏡システムの作動方法であって、回転位置判定部が、前記加速度センサから入力した加速度信号に基づいて、重力方向に対する前記端末装置の回転位置を判定し、前記回転位置を出力し、画像出力部が、前記回転位置に応じて回転出力しない内視鏡画像に、前記回転位置に応じ、ユーザから見て、一定の方向を向くように、かつ一定の位置に、湾曲指示入力のための操作用画像を重畳して観察画像を生成し、前記観察画像を前記表示部に出力し、湾曲指示部が、前記表示部内において前記湾曲指示入力に対応付けられた方向へ前記観察画像が移動するように、前記回転位置及び前記湾曲指示入力に応じた湾曲信号を出力して挿入部に設けられた湾曲部を湾曲させる。
【発明の効果】
【0010】
本発明によれば、観察画像の観察及び挿入部に設けられた湾曲部の湾曲操作による違和感を抑え、挿入部の先端部をより小型化することができる、内視鏡システム、表示制御プログラム及び内視鏡システムの作動方法を提供することができる。
【図面の簡単な説明】
【0011】
図1】本発明の実施形態に係わる、内視鏡システムの構成の一例を示すブロック図である。
図2】本発明の実施形態に係わる、内視鏡システムの端末装置の観察画像の構成の一例を説明するための図である。
図3】本発明の実施形態に係わる、内視鏡システムの動作の一例を説明するためのフローチャートである。
図4】本発明の実施形態に係わる、内視鏡システムの端末装置の加速度信号を説明するための説明図である。
図5】本発明の実施形態に係わる、内視鏡システムの端末装置の回転位置判定処理の一例を説明するための図である。
図6】本発明の実施形態に係わる、内視鏡システムの端末装置の操作用画像テーブルの一例を説明するための図である。
図7】本発明の実施形態に係わる、内視鏡システムの端末装置の湾曲テーブルの一例を説明するための図である。
図8】本発明の実施形態に係わる、内視鏡システムの端末装置の表示部に表示された内視鏡画像の一例を示す図である。
図9】本発明の実施形態に係わる、内視鏡システムの端末装置の表示部に表示された内視鏡画像の一例を示す図である。
図10】本発明の実施形態に係わる、内視鏡システムの端末装置の表示部に表示された内視鏡画像の一例を示す図である。
図11】本発明の実施形態に係わる、内視鏡システムの端末装置の表示部に表示された内視鏡画像の一例を示す図である。
図12】本発明の実施形態に係わる、内視鏡システムの端末装置の表示部に表示された内視鏡画像の一例を示す図である。
図13】本発明の実施形態に係わる、内視鏡システムの端末装置の表示部に表示された内視鏡画像の一例を示す図である。
図14】本発明の実施形態の変形例1に係わる、内視鏡システムの表示方向選択画像の一例を示す図である。
図15】本発明の実施形態の変形例1に係わる、内視鏡システムの動作の一例を説明するためのフローチャートである。
図16】本発明の実施形態の変形例1に係わる、内視鏡システムの動作の一例を説明するためのフローチャートである。
図17】本発明の実施形態の変形例2に係わる、内視鏡システムの端末装置の湾曲指示情報の一例を説明するための図である。
【発明を実施するための形態】
【0012】
以下、図面を参照しながら、本発明の実施形態を説明する。
【0013】
(構成)
図1は、本発明の実施形態に係わる、内視鏡システム1の構成の一例を示すブロック図である。
【0014】
内視鏡システム1は、本体装置2と端末装置3を有する。
【0015】
まず、本体装置2について、説明をする。本体装置2は、挿入部11とビデオプロセッサ21を有する。
【0016】
挿入部11は、ビデオプロセッサ21に取り付けられ、被写体に挿入できるように、細長状に形成される。挿入部11は、光学アダプタ12、撮像部13、画像処理部14、湾曲駆動部15及び湾曲部16を有する。
【0017】
光学アダプタ12は、挿入部11の先端部に装着される。光学アダプタ12は、被写体に応じて交換可能である。光学アダプタ12は、観察窓及び光学系を有し、被写体の戻り光を撮像部13に投影する。
【0018】
撮像部13は、挿入部11の先端部であって湾曲部16よりも先端側に設けられ、CMOS又はCCD等の撮像素子を有し、被写体を撮像する。撮像部13は、光学アダプタ12を介して入力された被写体の戻り光を撮像信号に変換し、画像処理部14に出力する。
【0019】
画像処理部14は、制御部22の制御の下、撮像部13から入力された撮像信号に画像処理を施して内視鏡画像Aを生成し、制御部22に出力する。
【0020】
湾曲駆動部15は、湾曲部16を4方向に湾曲させる4つの牽引部材によって湾曲部16と連結される。湾曲駆動部15は、牽引部材を牽引することにより、制御部22から入力された制御信号に応じた方向へ、湾曲部16を湾曲させる。例えば、上湾曲を指示する制御信号が入力されると、湾曲駆動部15は、上湾曲用の牽引部材を牽引し、挿入方向に対して挿入部11の先端部が上方に湾曲するように、湾曲部16を上湾曲させる。同様に、下湾曲、左湾曲、又は、右湾曲を指示する制御信号が入力されると、湾曲駆動部15は、制御信号に応じ、湾曲部16を下湾曲、左湾曲、又は、右湾曲させる。湾曲駆動部15は、制御信号に応じ、2つの牽引部材を同時に牽引し、例えば、左上、左下、右上、又は、右下に湾曲部16を湾曲させても構わない。
【0021】
湾曲部16は、撮像部13よりも基端側に設けられ、湾曲駆動部15の制御の下、湾曲する。
【0022】
なお、挿入部11は、先端部に図示しない照明部を有し、照明部によって被写体を照明しても構わない。
【0023】
ビデオプロセッサ21は、制御部22、表示部23、タッチパネル24、操作部31、外部I/F32を有する。
【0024】
制御部22は、内視鏡システム1内の各部の動作を制御する。制御部22は、CPU22aと記憶部22bを有する。制御部22は、画像処理部14から入力された内視鏡画像Aに基づいて、表示部23に表示させるための観察画像B1を生成し、観察画像B1を表示部23に出力する。制御部22は、通信部33を介し、画像処理部14から入力された内視鏡画像Aを端末装置3に出力する。制御部22は、通信部33を介して端末装置3から入力された湾曲信号C2を、湾曲駆動部15に出力する。
【0025】
CPU22aは、記憶部22bから読み込んだ各種プログラムを実行する。制御部22の機能は、CPU22aがプログラムを実行することによって実現される。
【0026】
記憶部22bは、RAM、ROM、フラッシュメモリ等の書換え可能な記憶素子を有する。記憶部22bは、内視鏡システム1内の各部の動作を制御するプログラム及びデータを記憶する。
【0027】
表示部23は、例えば、LCD、OLED等の表示パネルを有し、表示パネルに画像処理部14から入力された観察画像B1を表示する。
【0028】
タッチパネル24は、表示パネル上に設けられ、制御部22と接続される。ユーザが指示入力をすると、タッチパネル24は、ユーザの指示入力に応じた制御信号を制御部22に出力する。
【0029】
操作部31は、フリーズボタン、レリーズボタン、ジョイスティック、ズーム操作ボタン、メニューボタン等の操作具を有する。ユーザは、操作部31の操作により、各種の指示入力を行う。操作部31は、本体装置2に設けられるが、本体装置2に加え、挿入部11に設けられても構わない。
【0030】
外部I/F32は、LAN、メモリカード、USB等の外部接続を行う。内視鏡システム1は、外部I/F32を介し、LAN若しくはUSBを介して接続した外部機器、又は、メモリカードにアクセス可能である。
【0031】
通信部33は、例えば、WiFi等の無線通信が可能である。通信部33は、制御部22の制御の下、端末装置3と無線通信を行う。
【0032】
次に、端末装置3について説明をする。端末装置3は、例えば、タブレット等の情報端末である。端末装置3は、ユーザによって把持可能、支持具によって支持可能、又は、台又は床に載置可能に構成されても構わない。端末装置3は、通信部41、加速度センサ51、制御部61、表示部71及びタッチパネル72を有する。
【0033】
通信部41は、制御部61の制御の下、通信部33と無線通信を行う。すなわち、端末装置3は、挿入部11と無線通信によって接続される。
【0034】
加速度センサ51は、互いに直交する3軸方向の加速度をそれぞれ検出することができるように、3つのセンサを有する。加速度センサ51は、制御部61に加速度信号を出力する。加速度信号は、X軸信号、Y軸信号及びZ軸信号を含む。なお、実施形態では、加速度センサ51は、3軸センサであるが、X軸信号とY軸信号を出力する2軸センサであっても構わない。
【0035】
制御部61は、内視鏡システム1内の各部の動作を制御する。制御部61は、CPU61aと記憶部61bを有する。制御部61は、本体装置2から通信部41を介して入力された内視鏡画像Aに基づいて、観察画像B2を生成し、観察画像B2を表示部71に出力する。制御部61は、タッチパネル72を介して入力された湾曲指示入力C1に基づいて、湾曲部16を湾曲させるための制御信号である湾曲信号C2を生成し、通信部41を介して端末装置3に湾曲信号C2を出力する。
【0036】
CPU61aは、記憶部61bから読み込んだ各種プログラムを実行する。制御部61の機能は、CPU61aがプログラムを実行することによって実現される。
【0037】
記憶部61bは、RAM、ROM、フラッシュメモリ等の書換え可能な記憶素子を有する。記憶部61bは、内視鏡システム1内の各部の動作を制御するプログラム及びデータの他、回転位置判定部P1、画像出力部P2及び湾曲指示部P3の各々のプログラム、操作用画像テーブルT1、及び、湾曲テーブルT2も記憶する。
【0038】
回転位置判定部P1は、加速度センサ51から入力した加速度信号に基づいて、重力方向に対する回転位置を判定し、回転位置を出力する。
【0039】
画像出力部P2は、挿入部11を挿入して被写体を撮像して取得した内視鏡画像Aに、回転位置に応じ、ユーザから見て、一定の方向を向くように、かつ一定の位置に、湾曲指示入力C1のための操作用画像Opを重畳して観察画像B2を生成し、生成した観察画像B2を表示部71に出力する。より具体的に、画像出力部P2は、操作用画像テーブルT1に基づいて、回転位置に応じた方向を向き、かつ回転位置に応じた位置に、操作用画像Opを内視鏡画像Aに重畳する。
【0040】
湾曲指示部P3は、表示部71内において湾曲指示入力C1に対応付けられた方向へ観察画像B2が移動するように、回転位置及び湾曲指示入力C1に応じた湾曲信号C2を出力して挿入部11に設けられた湾曲部16を湾曲させる。湾曲指示入力C1に対応付けられた方向は、例えば、湾曲指示入力C1とは逆の方向である。より具体的に、湾曲指示部P3は、湾曲テーブルT2に基づいて、回転位置及び湾曲指示入力C1に応じた湾曲信号C2を決定し、湾曲信号C2を出力する。湾曲信号C2は、通信部33、41及び制御部22を介して湾曲駆動部15に入力され、湾曲部16を湾曲させる。
【0041】
操作用画像テーブルT1は、回転位置に対応付けられた操作用画像Opの位置及び方向の情報を有する。
【0042】
湾曲テーブルT2は、端末装置3の回転位置及び湾曲指示入力C1に対応付けられた湾曲信号C2の情報を有する。
【0043】
表示部71は、例えば、LCD、OLED等の表示パネルを有し、制御部61から入力された観察画像B2を表示パネルに表示する。表示部71は、長方形状に形成され、長手方向に互いに対向して延在する側部Ls1、Ls2と、短手方向に互いに対向して延在する側部Ss1、Ss2と、を有する。
【0044】
タッチパネル72は、表示パネル上に設けられ、制御部61と接続される。ユーザは、タッチパネル72に対するタッチ操作又はドラッグ操作により、各種の指示入力が可能である。例えば、ユーザが、湾曲部16の湾曲指示入力C1を入力すると、タッチパネル72は、湾曲指示入力C1に応じた制御信号を制御部61に出力する。すなわち、タッチパネル72は、表示部71に表示された操作用画像Opにより、湾曲指示入力C1が可能である。
【0045】
(観察画像B2の構成)
観察画像B2の構成について説明をする。
【0046】
図2は、本発明の実施形態に係わる、内視鏡システム1の端末装置3の観察画像B2の構成の一例を説明するための図である。図2の1点鎖線は、第1領域Q1〜第4領域Q4の各々の境界を示す仮想線である。
【0047】
図2に示すように、観察画像B2は、中心よりも側部Ls2、Ss2の交差部位側に配置される第1領域Q1、中心よりも側部Ls2、Ss1の交差部位側に配置される第2領域Q2、中心よりも側部Ls1、Ss1の交差部位側に配置される第3領域Q3、中心よりも側部Ls1、Ss2の交差部位側に配置される第4領域Q4を有する。
【0048】
図2の例では、第1領域Q1に操作用画像Opを配置している。操作用画像Opは、湾曲部16の湾曲指示入力C1の入力が可能である。操作用画像Opは、例えば、十字キーの画像によって構成される。操作用画像Opは、上湾曲を指示入力する上湾曲指示部Uと、下湾曲を指示入力する下湾曲指示部Dと、左湾曲を指示入力する左湾曲指示部Lと、右湾曲を指示入力する右湾曲指示部Rとを有する。
【0049】
操作用画像Opは、所定領域に配置される。所定領域は、端末装置3の回転位置を変えても、ユーザから見て、一定の位置にある領域である。所定領域は、端末装置3の回転位置に応じ、第1領域Q1〜第4領域Q4のいずれか1つに決定される。
【0050】
例えば、所定領域は、ユーザの利き手の近くに操作用画像Opが配置されるように設定される。より具体的に、ユーザが右利きであるとき、所定領域は、端末装置3の回転位置に応じ、ユーザから見て、右下の位置にある第1領域Q1〜第4領域Q4のいずれか1つである。ユーザが左利きであるとき、所定領域は、ユーザから見て、左下の位置にある第1領域Q1〜第4領域Q4のいずれか1つであっても構わない。所定領域は、右下又は左下の位置に限定されず、ユーザから見て、右上又は左上の位置にあっても構わない。
【0051】
操作用画像Opは、端末装置3の回転位置を変えても、ユーザから見て、一定の方向を向くように配置される。操作用画像Opの方向は、端末装置3の回転位置に応じ、第1方向〜第4方向のいずれか1つに決定される。
【0052】
例えば、第1方向では、上湾曲指示部Uが側部Ls1を向き、下湾曲指示部Dが側部Ls2を向き、右湾曲指示部Rが側部Ss2を向き、左湾曲指示部Lが側部Ss1を向くように、操作用画像Opが配置される(図2)。同様に、第2方向では、上湾曲指示部Uが側部Ss2を向くように、操作用画像Opが配置される。また、第3方向では、上湾曲指示部Uが側部Ls2を向くように、操作用画像Opが配置される。また、第4方向では、上湾曲指示部Uが側部Ss1を向くように、操作用画像Opが配置される。
【0053】
すなわち、内視鏡システム1の表示制御プログラムは、加速度センサ51から入力した加速度信号に基づいて、重力方向に対する回転位置を判定し、回転位置を出力する回転位置判定部P1のコードと、挿入部11を挿入して被写体を撮像して取得した内視鏡画像Aに、回転位置に応じ、ユーザから見て、一定の方向を向くように、かつ一定の位置に、湾曲指示入力C1のための操作用画像Opを重畳して観察画像B2を生成し、観察画像B2を表示部71に出力する画像出力部P2のコードと、表示部71内において湾曲指示入力C1に対応付けられた方向へ観察画像B2が移動するように、回転位置及び湾曲指示入力C1に応じた湾曲信号C2を出力して挿入部11に設けられた湾曲部16を湾曲させる湾曲指示部P3のコードと、をコンピュータに実行させる。
【0054】
すなわち、内視鏡システム1の表示制御方法は、加速度センサ51から入力した加速度信号に基づいて、重力方向に対する回転位置を判定し、回転位置の出力を行い、挿入部11を挿入して被写体を撮像して取得した内視鏡画像Aに、回転位置に応じ、ユーザから見て、一定の方向を向くように、かつ一定の位置に、湾曲指示入力C1のための操作用画像Opを重畳して観察画像B2を生成し、観察画像B2の表示部71への出力を行い、表示部71内において湾曲指示入力C1に対応付けられた方向へ観察画像B2が移動するように、回転位置及び湾曲指示入力C1に応じた湾曲信号C2を出力して挿入部11に設けられた湾曲部16の湾曲を行う。
【0055】
(動作)
内視鏡システム1の動作について説明をする。
【0056】
図3は、本発明の実施形態に係わる、内視鏡システム1の動作の一例を説明するためのフローチャートである。図4は、本発明の実施形態に係わる、内視鏡システム1の端末装置3の加速度信号を説明するための説明図である。図5は、本発明の実施形態に係わる、内視鏡システム1の端末装置3の回転位置判定処理の一例を説明するための図である。図6は、本発明の実施形態に係わる、内視鏡システム1の端末装置3の操作用画像テーブルT1の一例を説明するための図である。図6の右欄は、内視鏡画像A及び操作用画像Opの表示部71上の表示例を説明するためのものであり、操作用画像テーブルT1に含まれなくて構わない。
【0057】
内視鏡システム1を起動すると、通信部33、41は、互いに無線通信によって接続される。
【0058】
ユーザは、縦方向又は横方向等、所望の方向を向くように端末装置3を把持する。なお、端末装置3は、支持具によって支持されても構わないし、台又は床等に載置されても構わない。
【0059】
挿入部11を被写体内に挿入すると、光学アダプタ12を介して被写体の戻り光が撮像部13に入力される。撮像部13は、撮像信号を画像処理部14に出力する。画像処理部14は、撮像信号に各種の画像処理を施し、内視鏡画像Aを制御部22に出力する。制御部22は、通信部33、41を介し、制御部61に内視鏡画像Aを出力する。
【0060】
加速度センサ51は、制御部61に加速度信号を出力する。
【0061】
加速度信号を取得する(S1)。制御部61は、加速度センサ51から加速度信号を取得する。
【0062】
端末装置3の回転位置を判定する(S2)。制御部61は、回転位置判定部P1による回転位置判定処理を実行する。制御部61は、S1によって取得した加速度信号に基づいて、重力方向に対する端末装置3の回転位置を判定する。
【0063】
図4に示すように、X軸信号が端末装置3の短手方向の加速度を示し、Y軸信号が端末装置3の長手方向の加速度を示し、Z軸信号が端末装置3の表裏方向の加速度を示す。実施形態では、加速度信号の単位は、重力加速度である。以下、X軸信号の信号値をXといい、Y軸信号の信号値をYといい、Z軸信号の信号値をZといい、X、Y及びZの信号値を(X,Y,Z)のように表す。
【0064】
図5に示すように、加速度信号が(−1,0,0)等、−1≦X≦−0.5、かつ、−0.5≦Y<0.5であるとき、制御部61は、端末装置3の回転位置を第1回転位置であると判定する。第1回転位置では、表示部71と向かい合うユーザから見て、側部Ls1が観察画像B2の上側に位置し、側部Ls2が下側に位置し、側部Ss1が左側に位置し、側部Ss2が右側に位置する。第1回転位置では、側部Ls1よりも側部Ls2が、重力方向側に位置する(図2)。
【0065】
加速度信号が(0,−1,0)等、−0.5<X≦0.5、かつ、−1≦Y≦−0.5であるとき、制御部61は、端末装置3の回転位置を第2回転位置であると判定する。第2回転位置は、第1回転位置から左回りに90度回転した位置である。
【0066】
加速度信号が(1,0,0)等、0.5≦X≦1、かつ、−0.5<Y≦0.5であるとき、制御部61は、端末装置3の回転位置を第3回転位置であると判定する。第3回転位置は、第1回転位置から180度回転した位置である。
【0067】
加速度信号が(0,1,0)等、−0.5≦X<0.5、かつ、0.5≦Y≦1であるとき、制御部61は、端末装置3の回転位置を第4回転位置であると判定する。第4回転位置は、第1回転位置から左回りに270度回転した位置である。
【0068】
操作用画像Opを内視鏡画像Aに重畳して観察画像B2を生成する(S3)。制御部61は、画像出力部P2による画像出力処理を実行する。図6に示すように、制御部61は、S2の判定結果及び操作用画像テーブルT1に基づいて、操作用画像Opの位置及び方向を決定し、内視鏡画像A上に重畳する。例えば、操作用画像Opは、第1回転位置であるとき、第1領域Q1に第1方向を向いて重畳され、第2回転位置であるとき、第2領域Q2に第2方向を向いて重畳され、第3回転位置であるとき、第3領域Q3に第3方向を向いて重畳され、第4回転位置であるとき、第4領域Q4に第4方向を向いて重畳される。制御部61は、操作用画像Opを重畳した観察画像B2を表示部71に出力する。表示部71は、観察画像B2を表示する。
【0069】
図7は、本発明の実施形態に係わる、内視鏡システム1の端末装置3の湾曲テーブルT2の一例を説明するための図である。図7の右欄は、湾曲部16の湾曲による観察画像B2の移動方向を説明するためのものであり、湾曲テーブルT2に含まれなくても構わない。
【0070】
湾曲指示情報を記憶部61bに記憶する(S4)。制御部61は、湾曲指示部P3による湾曲指示処理を実行する。制御部61は、湾曲指示入力C1の入力に備え、S2の判定結果及び湾曲テーブルT2に基づいて、湾曲指示入力C1と、湾曲指示入力C1に応じた湾曲信号C2とを有する湾曲指示情報を記憶部61bに記憶する。
【0071】
図7に示すように、例えば、S2の判定結果が第1回転位置であるとき、制御部61は、湾曲指示入力C1「上」「下」「左」「右」及び湾曲指示入力C1に応じた湾曲信号C2「上」「下」「左」「右」を有する湾曲指示情報を、記憶部61bに記憶する。図7では、S2の判定結果が第2回転位置であるとき、湾曲指示情報は、湾曲指示入力C1「上」「下」「左」「右」及び湾曲信号C2「右」「左」「上」「下」を有する。また、S2の判定結果が第3回転位置であるとき、湾曲指示情報は、湾曲指示入力C1「上」「下」「左」「右」及び湾曲信号C2「下」「上」「右」「左」を有する。また、S2の判定結果が第4回転位置であるとき、湾曲指示情報は、湾曲指示入力C1「上」「下」「左」「右」及び湾曲信号C2「左」「右」「下」「上」を有する。
【0072】
湾曲指示入力C1があるか否かを判定する(S5)。制御部61は、タッチパネル72から湾曲指示入力C1があるか否かを判定し、湾曲指示入力C1があるとき、処理をS6に進める。一方、湾曲指示入力C1がないとき、処理は、S1に戻る。
【0073】
湾曲駆動部15に湾曲信号C2を出力する(S6)。制御部61は、湾曲指示部P3による湾曲指示処理を実行する。制御部61は、S4において、記憶部61bに保存された湾曲指示情報を読み出し、湾曲指示入力C1に応じた湾曲信号C2を決定し、通信部33、41及び制御部22を介し、湾曲駆動部15に湾曲信号C2を出力する。湾曲駆動部15は、湾曲信号C2に応じて湾曲部16を湾曲させる。
【0074】
図8から図13は、本発明の実施形態に係わる、内視鏡システム1の端末装置3の表示部71に表示された観察画像B2の一例を示す図である。図8から図13では、内視鏡画像Aの被写体を模式的に「A」と表している。
【0075】
例えば、図8に示すように、端末装置3が第1回転位置にあるとき、制御部61は、第1領域Q1に、上湾曲指示部Uが側部Ls1を向くように、操作用画像Opを配置する。制御部61は、湾曲指示入力C1「上」「下」「左」「右」及び湾曲信号C2「上」「下」「左」「右」である湾曲指示情報を記憶部61bに記憶する。ユーザが、上湾曲指示部Uをタッチ操作すると、制御部61は、記憶部61bから湾曲指示情報を読み込み、湾曲指示入力C1「上」に応じ、上湾曲を指示する湾曲信号C2を決定する。制御部61は、通信部33、41、制御部22を介し、上湾曲を指示する湾曲信号C2を湾曲駆動部15に出力する。湾曲駆動部15は、上湾曲を指示する湾曲信号C2に応じ、湾曲部16を上湾曲させる。
【0076】
図9に示すように、湾曲部16が上湾曲すると、表示部71に表示された観察画像B2は、ユーザから見て、下方向へ移動する。
【0077】
例えば、図10に示すように、端末装置3が第4回転位置にあるとき、制御部61は、第4領域Q4に、上湾曲指示部Uが側部Ss1を向くように、操作用画像Opを配置する。制御部61は、湾曲指示入力C1「上」「下」「左」「右」及び湾曲信号C2「左」「右」「下」「上」である湾曲指示情報を記憶部61bに記憶する。ユーザが右湾曲指示部Rをタッチ操作すると、制御部61は、湾曲指示入力C1「右」に応じ、上湾曲を指示する湾曲信号C2を決定して湾曲駆動部15に出力し、湾曲部16を上湾曲させる。
【0078】
図11に示すように、湾曲部16が上湾曲すると、観察画像B2は、ユーザから見て左方向へ移動する。
【0079】
例えば、図12に示すように、端末装置3が第2回転位置にあるとき、制御部61は、第3領域Q3に、上湾曲指示部Uが側部Ls2を向くように、操作用画像Opを配置する。制御部61は、湾曲指示入力C1「上」「下」「左」「右」及び湾曲信号C2「下」「上」「右」「左」である湾曲指示情報を記憶部61bに記憶する。ユーザが上湾曲指示部Uをタッチ操作すると、制御部61は、湾曲指示入力C1「上」に応じ、下湾曲を指示する湾曲信号C2「下」を決定して湾曲駆動部15に出力し、湾曲部16を下湾曲させる。
【0080】
図13に示すように、湾曲部16が下湾曲すると、観察画像B2は、ユーザから見て下方向へ移動する。
【0081】
すなわち、湾曲指示部P3は、湾曲テーブルT2に基づいて、回転位置に応じ、湾曲指示入力C1及び湾曲指示入力C1に対応付けられた湾曲信号C2を有する湾曲指示情報を記憶部61bに記憶し、湾曲指示入力C1があると、湾曲指示情報を記憶部61bから読み込み、湾曲指示入力C1に応じた湾曲信号C2を決定する。
【0082】
これにより、内視鏡システム1では、端末装置3をどの方向へ向けても、ユーザから見て、一定の位置に、一定の方向を向くように、操作用画像Opが配置され、操作用画像Opの操作が簡便である。
【0083】
また、内視鏡システム1では、端末装置3をどの方向へ向けても、湾曲指示入力C1に対応付けられた方向へ観察画像B2が移動し、ユーザに違和感を与えない。
【0084】
また、挿入部11の先端部に加速度センサ51を要しないため、挿入部11の先端部を小型化できる。
【0085】
実施形態によれば、内視鏡システム1は、観察画像B2の観察及び湾曲部16の湾曲操作による違和感を抑え、挿入部11の先端部をより小型化することができる。
【0086】
(実施形態の変形例1)
実施形態では、観察画像B2の表示方向を変更せずに表示部71に表示するが、観察画像B2の表示方向を変更して表示部71に表示するように構成しても構わない。
【0087】
図14は、本発明の実施形態の変形例1に係わる、内視鏡システム1の表示方向選択画像B3の一例を示す図である。本変形例では、他の実施形態及び変形例と同じ構成については、説明を省略する。
【0088】
図14に示すように、内視鏡システム1は、表示部23に表示方向選択画像B3を表示可能である。
【0089】
表示方向選択画像B3は、ボタン画像「切」「左右反転」「上下反転」「回転」を有する。
【0090】
ボタン画像「左右反転」「上下反転」「回転」の各々のタッチ操作があると、制御部22は、タッチ操作に応じ、表示方向変更処理を制御する表示方向変更情報を記憶部22bに記憶する。また、ボタン画像「切」のタッチ操作があると、制御部22は、表示方向変更情報を記憶部22bから削除する。
【0091】
次に、記憶部22bに表示方向変更情報が記憶されている場合の動作について、説明をする。
【0092】
図15及び図16は、本発明の実施形態の変形例1に係わる、内視鏡システム1の動作の一例を説明するためのフローチャートである。
【0093】
図15に示すように、制御部22は、S11〜S13の処理を行う。
【0094】
記憶部22bから表示方向変更情報を取得する(S11)。制御部22は、記憶部22bから表示方向変更情報を取得する。
【0095】
端末装置3に表示方向変更情報を出力する(S12)。制御部22は、S11において取得した表示方向変更情報を、通信部33を介し、端末装置3に出力する。
【0096】
端末装置3に表示方向変更処理された内視鏡画像Aを出力する(S13)。制御部22は、画像処理部14に表示方向変更情報を出力して表示方向変更処理を指示する。画像処理部14は、入力された指示に応じ、「左右反転」「上下反転」「回転」等の表示方向変更処理を行い、内視鏡画像Aを制御部22に出力する。内視鏡画像Aが入力されると、制御部22は、通信部33を介し、端末装置3に内視鏡画像Aを出力する。
【0097】
図16に示すように、端末装置3は、S21〜S26の処理を行う。
【0098】
S21〜S23の処理は、S1〜S3の処理と同じであるため、説明を省略する。
【0099】
表示方向変更情報を取得する(S24a)。制御部61は、通信部41を介し、本体装置2から入力された表示方向変更情報を取得する。
【0100】
表示方向変更情報に応じ、湾曲指示情報を記憶部61bに記憶する(S24b)。制御部61は、S24aによって取得した表示方向変更情報に応じて湾曲信号C2を補正し、湾曲指示情報を記憶部61bに記憶する。例えば、左右反転を指示する表示方向変更情報を取得したとき、制御部61は、湾曲指示情報に含まれる湾曲信号C2の指示方向の左右を逆にする補正を行う。上下反転を指示する表示方向変更情報を取得したとき、制御部61は、湾曲信号C2の指示方向の上下を逆にする補正を行う。回転を指示する表示方向変更情報を取得したとき、制御部61は、湾曲信号C2の指示方向を表示方向変更情報に合わせて回転する補正を行う。例えば、左回りに90度回転を指示する表示変更情報を取得したとき、制御部61は、湾曲指示入力C1「上」「下」「左」「右」の各々に応じた湾曲信号C2「上」「下」「左」「右」の各々を左回りに90度回転させ、「左」「右」「下」「上」に補正する。
【0101】
S25とS26の処理は、S5とS6の処理と同じであるため、説明を省略する。
【0102】
すなわち、端末装置3は、表示方向変更処理によって観察画像B2の表示方向の変更が行われているとき、表示方向の変更に応じ、湾曲信号C2の湾曲方向の補正を行う。
【0103】
これにより、内視鏡システム1は、表示方向を変更した観察画像B2の観察及び湾曲部16の湾曲操作による違和感を抑え、挿入部11の先端部をより小型化することができる。
【0104】
(実施形態の変形例2)
実施形態及び変形例では、端末装置3は1つであるが、複数あっても構わない。
【0105】
図17は、本発明の実施形態の変形例2に係わる、内視鏡システム1の端末装置3の湾曲指示情報の一例を説明するための図である。図17の右欄は、湾曲部16の湾曲による観察画像B2の移動方向を説明するためのものであり、湾曲指示情報に含まれなくても構わない。本変形例では、他の実施形態及び変形例と同じ構成については、説明を省略する。
【0106】
図17では、端末番号1、2〜nである、n個の端末装置3の湾曲指示情報の例である。端末装置3が複数あるとき、端末装置3の各々は、それぞれの湾曲指示情報を記憶する。以下、1つ又は複数の端末装置3を示すとき、端末装置3という。
【0107】
図17では、端末番号1は、端末装置3が第1回転位置にあり、湾曲指示入力C1「上」「下」「右」「左」の各々と湾曲信号C2「上」「下」「右」「左」の各々が対応付けられる。端末番号2は、端末装置3が第2回転位置にあり、湾曲指示入力C1「上」「下」「右」「左」の各々と湾曲信号C2「右」「左」「上」「下」の各々が対応付けられる。端末番号nは、端末装置3が第3回転位置にあり、湾曲指示入力C1「上」「下」「右」「左」の各々と湾曲信号C2「下」「上」「右」「左」の各々が対応付けられる。
【0108】
すなわち、複数の端末装置3の各々は、それぞれの回転位置に応じ、操作用画像Opが重畳された観察画像B2を表示部71に表示し、操作用画像Opによる湾曲指示入力C1が可能である。
【0109】
これにより、内視鏡システム1は、複数の端末装置3の各々によって観察画像B2の観察及び湾曲部16の湾曲操作が可能であり、観察及び湾曲操作による違和感を抑え、挿入部11の先端部をより小型化することができる。
【0110】
なお、実施形態及び変形例では、操作用画像Opは、十字キーの画像によって構成されるが、ドラッグ操作領域を示す枠状の画像によって構成されても構わない。枠状の画像によって操作用画像Opが構成される場合、ユーザから見て、枠内を下から上へ向かうドラッグ操作によって上湾曲の指示が入力され、下から上へ向かうドラッグ操作によって下湾曲の指示が入力され、左から右へ向かうドラッグ操作によって右湾曲の指示が入力され、右から左へ向かうドラッグ操作によって左湾曲の指示が入力される。
【0111】
本明細書における各「部」は、実施形態の各機能に対応する概念的なもので、必ずしも特定のハードウェアやソフトウェア・ルーチンに1対1には対応しない。したがって、本明細書では、実施形態の各機能を有する仮想的回路ブロック(部)を想定して実施形態を説明した。また、本実施形態における各手順の各ステップは、その性質に反しない限り、実行順序を変更し、複数同時に実行し、あるいは実行毎に異なった順序で実行してもよい。さらに、本実施形態における各手順の各ステップの全てあるいは一部をハードウェアにより実現してもよい。
【0112】
本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。
【符号の説明】
【0113】
1 内視鏡システム
2 本体装置
3 端末装置
11 挿入部
12 光学アダプタ
13 撮像部
14 画像処理部
15 湾曲駆動部
16 湾曲部
21 ビデオプロセッサ
22 制御部
22a CPU
22b 記憶部
23 表示部
24 タッチパネル
31 操作部
32 外部I/F
33 通信部
41 通信部
51 加速度センサ
61 制御部
61a CPU
61b 記憶部
71 表示部
72 タッチパネル
A 内視鏡画像
B1 観察画像
B2 観察画像
B3 表示方向選択画像
C1 湾曲指示入力
C2 湾曲信号
D 下湾曲指示部
L 左湾曲指示部
Ls1 側部
Ls2 側部
Op 操作用画像
P1 回転位置判定部
P2 画像出力部
P3 湾曲指示部
Q1 第1領域
Q2 第2領域
Q3 第3領域
Q4 第4領域
R 右湾曲指示部
Ss1 側部
Ss2 側部
T1 操作用画像テーブル
T2 湾曲テーブル
U 上湾曲指示部
n 端末番号
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17