特開2016-220839(P2016-220839A)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ オリンパス株式会社の特許一覧

特開2016-220839内視鏡システム及び内視鏡システムにおける内視鏡画像の表示切替方法
<>
  • 特開2016220839-内視鏡システム及び内視鏡システムにおける内視鏡画像の表示切替方法 図000003
  • 特開2016220839-内視鏡システム及び内視鏡システムにおける内視鏡画像の表示切替方法 図000004
  • 特開2016220839-内視鏡システム及び内視鏡システムにおける内視鏡画像の表示切替方法 図000005
  • 特開2016220839-内視鏡システム及び内視鏡システムにおける内視鏡画像の表示切替方法 図000006
  • 特開2016220839-内視鏡システム及び内視鏡システムにおける内視鏡画像の表示切替方法 図000007
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】特開2016-220839(P2016-220839A)
(43)【公開日】2016年12月28日
(54)【発明の名称】内視鏡システム及び内視鏡システムにおける内視鏡画像の表示切替方法
(51)【国際特許分類】
   A61B 1/04 20060101AFI20161205BHJP
   A61B 1/00 20060101ALI20161205BHJP
   G02B 23/24 20060101ALI20161205BHJP
【FI】
   A61B1/04 372
   A61B1/00 300D
   G02B23/24 B
【審査請求】未請求
【請求項の数】17
【出願形態】OL
【全頁数】16
(21)【出願番号】特願2015-109052(P2015-109052)
(22)【出願日】2015年5月28日
(71)【出願人】
【識別番号】000000376
【氏名又は名称】オリンパス株式会社
(74)【代理人】
【識別番号】100076233
【弁理士】
【氏名又は名称】伊藤 進
(74)【代理人】
【識別番号】100101661
【弁理士】
【氏名又は名称】長谷川 靖
(74)【代理人】
【識別番号】100135932
【弁理士】
【氏名又は名称】篠浦 治
(72)【発明者】
【氏名】沼田 健児
【テーマコード(参考)】
2H040
4C161
【Fターム(参考)】
2H040CA04
2H040CA12
2H040CA23
2H040DA11
2H040DA21
2H040GA02
2H040GA11
4C161BB01
4C161CC06
4C161HH55
4C161JJ17
4C161LL02
4C161NN01
4C161PP12
4C161VV03
4C161WW11
4C161XX01
4C161XX02
(57)【要約】      (修正有)
【課題】カメラ付き頭部装着型表示装置の表示部に表示する画像の表示切り替えのための操作を不要とする内視鏡システムを提供する。
【解決手段】内視鏡システムは、無線部及び挿入部を有し、検査対象内の内視鏡画像を取得する内視鏡と、無線部、カメラ部及び表示部を有するスマートグラスとを含む。例えば、スマートフォンは、カメラ部において取得されたスマートグラス画像に基づいて、スマートグラスの表示部に表示される内視鏡画像の表示制御を行う表示制御部を有する。
【選択図】図2
【特許請求の範囲】
【請求項1】
第1無線通信部及び挿入部を有し、検査対象内の内視鏡画像を取得する内視鏡と、
第2無線通信部、カメラ部及び表示部を有する頭部装着型の表示装置と、
前記カメラ部において取得されたカメラ画像に基づいて、前記表示装置の前記表示部に表示される前記内視鏡画像の表示制御を行う表示制御部と、
を有することを特徴とする内視鏡システム。
【請求項2】
前記表示制御部は、前記カメラ画像中における前記挿入部の先端部の検出処理を行い、前記検出処理の結果、前記カメラ画像中に前記挿入部の先端部の画像があるか否かに基づいて前記表示制御を行うことを特徴とする請求項1に記載の内視鏡システム。
【請求項3】
前記表示制御部は、前記挿入部の先端部の画像が前記カメラ画像中に検出されないとき、前記表示装置の前記表示部に、前記内視鏡画像を表示するように前記表示制御を行うことを特徴とする請求項2に記載の内視鏡システム。
【請求項4】
前記表示制御部は、前記挿入部の先端部の画像が前記カメラ画像中に検出されなくなった後、前記挿入部の先端部の画像が前記カメラ画像中に検出されると、前記表示装置の前記表示部に前記内視鏡画像を表示しないように前記表示制御を行うことを特徴とする請求項3に記載の内視鏡システム。
【請求項5】
前記表示制御部は、前記内視鏡画像を表示しないとき、前記表示装置の前記表示部に前記カメラ画像を表示するように前記表示制御を行うことを特徴とする請求項4に記載の内視鏡システム。
【請求項6】
前記表示制御部は、前記表示装置に設けられていることを特徴とする請求項1から5のいずれか1つに記載の内視鏡システム。
【請求項7】
第3無線通信部を有する端末装置と、
を有し、
前記表示制御部は、前記端末装置に設けられていることを特徴とする請求項1から5のいずれか1つに記載の内視鏡システム。
【請求項8】
前記表示制御部は、前記内視鏡に設けられていることを特徴とする請求項1から5のいずれか1つに記載の内視鏡システム。
【請求項9】
前記表示制御部は、通信可能な外部装置に設けられていることを特徴とする請求項1から5のいずれか1つに記載の内視鏡システム。
【請求項10】
記憶装置への前記内視鏡画像の記録制御を行う記録制御部を有することを特徴とする請求項1から9のいずれか1つに記載の内視鏡システム。
【請求項11】
前記記録制御部は、前記挿入部の先端部の画像が前記カメラ画像中に検出されないとき、前記記憶装置への前記内視鏡画像の記録を行うことを特徴とする請求項10に記載の内視鏡システム。
【請求項12】
前記記録制御部は、前記挿入部の先端部の画像が前記カメラ画像中に検出されなくなった後、前記挿入部の先端部の画像が前記カメラ画像中に検出されると、前記記憶装置への前記カメラ画像の記録を行うことを特徴とする請求項11に記載の内視鏡システム。
【請求項13】
第1無線通信部及び挿入部を有し、検査対象内の内視鏡画像を取得する内視鏡と、
第2無線通信部、カメラ部及び表示部を有する頭部装着型の表示装置と、
を有する内視鏡システムにおける内視鏡画像の表示切替方法であって、
前記カメラ部において取得されたカメラ画像に基づいて、前記表示装置の前記表示部に表示される前記内視鏡画像の表示制御を行う、
を有することを特徴とする内視鏡システムにおける内視鏡画像の表示切替方法。
【請求項14】
前記内視鏡画像の表示制御は、前記カメラ画像中における前記挿入部の先端部の検出処理を行い、前記検出処理の結果、前記カメラ画像中に前記挿入部の先端部の画像があるか否かに基づいて行われることを特徴とする請求項13に記載の内視鏡システムにおける内視鏡画像の表示切替方法。
【請求項15】
前記内視鏡画像の表示制御は、前記挿入部の先端部の画像が前記カメラ画像中に検出されないとき、前記表示装置の前記表示部に、前記内視鏡画像を表示するように行われることを特徴とする請求項14に記載の内視鏡システムにおける内視鏡画像の表示切替方法。
【請求項16】
前記内視鏡画像の表示制御は、前記挿入部の先端部の画像が前記カメラ画像中に検出されなくなった後、前記挿入部の先端部の画像が前記カメラ画像中に検出されると、前記表示装置の前記表示部に前記内視鏡画像を表示しないように行われることを特徴とする請求項15に記載の内視鏡システムにおける内視鏡画像の表示切替方法。
【請求項17】
前記内視鏡画像の表示制御は、前記内視鏡画像を表示しないとき、前記表示装置の前記表示部に前記カメラ画像を表示するように行われることを特徴とする請求項16に記載の内視鏡システムにおける内視鏡画像の表示切替方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、内視鏡システム及び内視鏡システムにおける内視鏡画像の表示切替方法に関する。
【背景技術】
【0002】
従来、内視鏡が工業分野及び医療分野で広く利用されている。内視鏡は、先端部に観察窓が設けられた細長の挿入部を有しており、検査者は、挿入部を被検体内に挿入して、被検体の内部を観察することができる。
【0003】
また、近年は、特開2014−155207号公報に開示のように、カメラ付きのスマートグラスが提案されている。スマートグラスは、所謂ウェアラブルデバイスであり、眼鏡のように、ユーザの頭部に装着されるカメラ付き頭部装着型表示装置である。よって、例えば、スマートグラスを利用することにより、ユーザが実際に見ている光景に、情報を重畳して表示させることができる。
内視鏡検査にこのようなスマートグラスを利用して、検査者であるユーザがスマートグラスを装着し、スマートグラスに内視鏡画像、検査マニュアルなどの検査時に見る必要のあるものを表示させるようにすれば、検査者は、視線を移動させないで、内視鏡画像などを見ることができるので便利であると、想定することができる。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2014−155207号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかし、スマートグラスに所望の画像を表示させるためには、ユーザは、所定の指示をスマートグラスに与えなければならず、表示されている画像の表示をさせないようにする場合にも、ユーザは、その画像の表示を消すための所定の指示をスマートグラスに与えなければならない。
【0006】
よって、上述したようにスマートグラスを内視鏡検査に利用することができるが、検査者は、状況に応じて、所望の画像の表示及び非表示の切り替え指示をスマートグラスへ与えるための操作をしなければならず、内視鏡検査において繁雑な操作が必要となる。
【0007】
そこで、本発明は、カメラ付き頭部装着型表示装置の表示部に表示する画像の表示切り替えのための操作を不要とする内視鏡システム及び内視鏡システムにおける内視鏡画像の表示切替方法を提供することを目的とする。
【課題を解決するための手段】
【0008】
本発明の一態様の内視鏡システムは、第1無線通信部及び挿入部を有し、検査対象内の内視鏡画像を取得する内視鏡と、第2無線通信部、カメラ部及び表示部を有する頭部装着型の表示装置と、前記カメラ部において取得されたカメラ画像に基づいて、前記表示装置の前記表示部に表示される前記内視鏡画像の表示制御を行う表示制御部と、を有する。
本発明の一態様の内視鏡システムにおける内視鏡画像の表示切替方法は、第1無線通信部及び挿入部を有し、検査対象内の内視鏡画像を取得する内視鏡と、第2無線通信部、カメラ部及び表示部を有する頭部装着型の表示装置と、を有する内視鏡システムにおける内視鏡画像の表示切替方法であって、前記カメラ部において取得されたカメラ画像に基づいて、前記表示装置の前記表示部に表示される前記内視鏡画像の表示制御を行う。
【発明の効果】
【0009】
本発明によれば、カメラ付き頭部装着型表示装置の表示部に表示する画像の表示切り替えのための操作を不要とする内視鏡システム及び内視鏡システムにおける内視鏡画像の表示切替方法を提供することができる。
【図面の簡単な説明】
【0010】
図1】本発明の実施の形態に係わる内視鏡システムの構成を示す構成図である。
図2】本発明の実施の形態に係わる、スマートフォン12のCPU部42によるスマートグラス13の表示制御処理の流れの例を示すフローチャートである。
図3】本発明の実施の形態に係わる、検査対象内に挿入部11aを挿入する前のスマートグラス画像61の例を示す図である。
図4】本発明の実施の形態に係わる、検査対象内に挿入部11aを挿入した状態のスマートグラス画像の例を示す図である。
図5】本発明の実施の形態に係わる、時間経過に伴う、メモリ部45に記録される画像の変化を示す図である。
【発明を実施するための形態】
【0011】
以下、図面を参照して本発明の実施の形態を説明する。
(システム構成)
図1は、本実施の形態に係わる内視鏡システムの構成を示す構成図である。
【0012】
内視鏡システム1は、内視鏡11と、スマートフォン12と、スマートグラス13と、サーバ14とを含んで構成される。
内視鏡11は、被検体の内部を観察するための内視鏡装置である。スマートフォン12は、無線によるデータ通信が可能な携帯端末である。スマートグラス13は、ユーザが眼鏡をかけるように頭部に装着可能なカメラ付き頭部装着型表示装置である。
【0013】
内視鏡11、スマートフォン12及びスマートグラス13の各々は、無線通信機能を有し、バッテリで駆動される機器であり、互いに画像データも含めて各種データを送受信することができる。
(内視鏡の構成)
内視鏡11は、細長の挿入部11aと本体部11bとを有する。挿入部11aは、例えば外径が4〜6mmで、先端側から、先端硬性部11a1、湾曲部11a2及び可撓管部11a3が順に連接されている。
【0014】
挿入部11aの先端部には、光学アダプタ10が装着されている。光学アダプタ10は、挿入部11aの先端部に着脱自在に装着することができる。光学アダプタ10は、対物レンズ部10aと、照明レンズ部10bとを有している。光学アダプタ10には、対物レンズ部10aの光学特性及び観察方向(直視又は側視)が異なる複数種類のアダプタがある。検査者であるユーザは、必要であれば、検査対象及び検査内容に応じた光学アダプタ10を選択して、挿入部11aの先端部に装着する。
【0015】
よって、光学アダプタ10が挿入部11aの先端部に装着されているときは、挿入部11aは、先端側から、光学アダプタ10、先端硬性部11a1、湾曲部11a2及び可撓管部11a3が順に連接されて構成される。
【0016】
挿入部11aの先端硬性部11a1には、図示しない観察窓に配置された対物レンズ部21と、対物レンズ部21の焦点位置に設けられた撮像素子22と、図示しない照明窓に配置された照明部23とが設けられている。
【0017】
撮像素子22は、例えばCCDイメージセンサ、CMOSイメージセンサである固体撮像装置である。撮像素子22の撮像面に、対物レンズ部21を透過した光が集光し、撮像素子22は、光電変換して生成した撮像信号を出力する。
【0018】
照明部23は、例えば発光ダイオード(LED)である発光素子を有する。照明部23は、発光素子の出射する光を照明光として、照明窓を通して出射する。
挿入部11aの先端部に光学アダプタ10が装着されている場合は、対物レンズ部10aと21を透過した光を光電変換して生成された撮像信号が、撮像素子22から出力される。また、挿入部11aの先端部に光学アダプタ10が装着されている場合は、照明部23からの照明光は、照明レンズ部10bを透過して被写体に照射される。
【0019】
挿入部11aの先端部の湾曲部11a2には、湾曲機構24が設けられている。湾曲機構24は、複数の湾曲駒を含み、所定の湾曲駒に先端が固定された湾曲ワイヤの牽引と弛緩により、挿入部11aの先端部は、上下左右方向に湾曲可能となっている。
【0020】
挿入部11aの可撓管部11a3は、細長くかつ可撓性を有する。可撓管部11a3の基端部は、本体部11bに接続されている。
本体部11bは、撮像素子駆動部25と、撮像信号処理部26と、制御部27と、入力部28と、照明駆動部29と、湾曲操作部30と、無線部31と、バッテリ制御部32と、バッテリ部33とを含む。
【0021】
撮像素子駆動部25は、撮像素子22を駆動する駆動回路である。
撮像信号処理部26は、制御部27により制御され、撮像素子駆動部25を制御すると共に、撮像素子駆動部25からの各種信号に基づいて、撮像素子22からの撮像信号を受信して画像信号を生成する回路である。
【0022】
制御部27は、中央処理装置(以下、CPUという)と、ROM、RAM、書き換え可能な不揮発性メモリを含む回路であり、内視鏡11内の各回路の制御を行う。ROMには、各種機能に応じた各種プログラムが格納されている。CPUは、ROMに記憶されたプログラムを読み出して実行することにより、各機能に応じた処理を実行する。また、制御部27は、撮像信号処理部26からの画像信号を不揮発性メモリに記録することができる。
なお、不揮発性メモリは、メモリカードなどの内視鏡11に対して脱着可能な記憶装置でもよい。
【0023】
入力部28は、ユーザが操作する操作ボタンなどの入力操作部材を有する。入力部28に対するユーザの操作に応じた操作信号は、入力部28から制御部27へ供給される。操作信号は、例えば、静止画取得、画像記録、照明部23の光量、撮像信号処理部26のゲイン、等の操作信号である。制御部27は、操作信号に応じて、撮像信号処理部26、照明駆動部29、無線部31及びバッテリ制御部32へ、各種制御信号を出力する。
照明駆動部29は、制御部27からの照明制御信号に応じて、照明部23への駆動信号を出力する。
【0024】
湾曲操作部30は、例えばジョイスティックなどの湾曲操作部材であり、ユーザが湾曲操作部30を操作することにより、各湾曲ワイヤなどの牽引と弛緩が行われて、挿入部11aの先端部の湾曲部11a2が湾曲する。
なお、湾曲制御は、電動モータなどを用いて電気的制御で行ってもよく、その場合は、スマートフォン12からの湾曲操作指示によっても、湾曲部11a2の湾曲制御が可能となる。
【0025】
無線通信部である無線部31は、無線LAN等により無線通信を行うための回路である。内視鏡11は、無線部31を利用して、スマートフォン12、スマートグラス13及びサーバ14との無線通信を行うことができる。
【0026】
また、無線部31は、制御部27の制御の下、撮像素子22で撮像して得られた画像情報、入力部28に入力された操作指示についての操作信号、バッテリ制御部32の保有するバッテリ部33のバッテリ残量やバッテリ温度、等の情報を、スマートフォン12あるいはサーバ14へ送信可能である。
【0027】
無線部31は、スマートフォン12からの照明制御コマンドを受信すると、照明駆動部29へ出力する。すなわち、照明部23は、スマートフォン12からの指示に応じて制御可能となっている。
【0028】
バッテリ制御部32は、バッテリ部33の放電及び充電を制御すると共に、バッテリ部33のバッテリの残量及びバッテリ部33の温度(すなわちバッテリ温度)の情報を収集し記憶する回路である。
【0029】
さらに、バッテリ制御部32は、バッテリ部33の使用中における、単位時間当たり消費される標準的な電力(以下、標準消費電力という)の情報も有している。
以上のように、内視鏡11は、無線通信部である無線部31及び挿入部11aを有し、検査対象内の内視鏡画像を取得し、内視鏡画像をスマートグラス13などに送信することができる。
(スマートフォンの構成)
スマートフォン12は、無線部41と、CPU部42と、タッチパネル部43と、表示部44と、メモリ部45と、カメラ部46と、バッテリ制御部47と、バッテリ部48とを有する。
【0030】
無線通信部である無線部41は、無線LAN等により無線通信を行うための回路である。スマートフォン12は、無線部41を利用して、内視鏡11、スマートグラス13及びサーバ14との、無線通信を行うことができる。
すなわち、スマートフォン12は、内視鏡11及びスマートグラス13及びサーバ14と無線通信可能な端末装置である。
【0031】
CPU部42は、CPUを含む回路である。CPU部42は、カメラ部46で撮像して得られた画像データ、内視鏡11からの内視鏡画像データ及びスマートグラス13からの画像データに対して所定の画像処理を行うと共に、メニュー表示などのグラフィック画像データを生成して、内視鏡画像などに重畳した画像を生成して、表示部44に出力する回路である。
【0032】
CPU部42は、カメラ部46の動作を制御すると共に、カメラ部46からの画像データを取得する。
CPU部42において実行される画像処理は、例えば、表示部44の仕様に応じた色空間変換、インターレース/プログレッシブ変換、ガンマ補正、等の処理である。
【0033】
また、CPU部42は、カメラ部46で取得された画像中の人の顔を認識する顔認識機能も有し、そのための顔認識処理プログラムも実行可能である。
また、CPU部42は、ユーザからの指示に応じて、各種処理を実行するが、特に、内視鏡11へのコマンド、例えば、照明制御、撮像素子制御、等の制御データを生成して、無線部41を介して内視鏡11へ送信する処理も行うことができる。
【0034】
さらに、CPU部42は、スマートグラス13への各種コマンド等の制御データを生成して、無線部41を介してスマートグラス13へ送信すると共に、内視鏡11で得られた内視鏡画像データ、カメラ部46で得られた画像データ、メニュー画面などの画像データなどをスマートグラス13へ送信する処理も行うことができる。
【0035】
タッチパネル部43は、表示部44の表示画面上に配置され、ユーザがタッチして各種操作を行うための装置である。タッチパネル部43に入力された各種操作指示、例えば照明操作、撮像操作などの操作指示信号、は、無線部41を介して、内視鏡11あるいはスマートグラス13へも送信可能である。
表示部44は、液晶表示パネルのような表示器であり、内視鏡画像、メニュー画像などを表示する。
【0036】
表示部44の表示面上に表示されたコマンドボタンの部分を、ユーザが指などで触れると、タッチパネル部43のタッチされた領域の位置座標が検出されて、CPU部42は、検出された位置座標から、表示されているボタンのいずれがタッチされたのかを判定することができる。
【0037】
メモリ部45は、ROM、RAM、書き換え可能な不揮発性メモリを含み、ROMには、CPU部42の動作する各種処理プログラムが格納されおり、RAMは、実行中のワークエリアとして利用される。メモリ部45には、後述する表示制御プログラムも格納されている。不揮発性メモリには、内視鏡画像などを記録することもできる。
カメラ部46は、CCDイメージセンサ、CMOSイメージセンサ等の撮像素子を含み、CPU部42の制御の下で動作が制御される。カメラ部46は、撮像して得られた画像データを、CPU部42へ出力する。
【0038】
バッテリ制御部47は、バッテリ部48の放電及び充電を制御すると共に、バッテリ部48のバッテリの残量及びバッテリ部48の温度(すなわちバッテリ温度)の情報を収集し記憶する回路である。
【0039】
さらに、バッテリ制御部47は、バッテリ部48のバッテリの残量及び温度のデータを、CPU部42へ出力する。
(スマートグラスの構成)
スマートグラス13は、無線部51と、CPU部52と、表示部53と、メモリ部54と、カメラ部55と、バッテリ制御部56と、バッテリ部57とを有する。
【0040】
無線通信部である無線部51は、無線LAN等により無線通信を行うための回路である。スマートグラス13は、無線部51を利用して、内視鏡11、スマートフォン12及びサーバ14との無線通信を行うことができる。
【0041】
CPU部52は、CPUを含む回路である。CPU部52は、カメラ部55で撮像して得られた画像データ、及びスマートフォン12からの画像データに対して所定の画像処理を行い、表示部53に表示する画像データを生成し、生成した画像データを、表示部53に出力する回路である。
【0042】
CPU部52は、カメラ部55の動作を制御すると共に、カメラ部55からの画像データを取得する。そして、CPU部52は、カメラ部55で得られた画像データを、無線部51を介して、スマートフォン12へ送信することができる。
CPU部52において実行される画像処理は、例えば、表示部53の仕様に応じた色空間変換、インターレース/プログレッシブ変換、ガンマ補正、等の処理である。
【0043】
また、CPU部52は、ユーザからの指示に応じて、各種処理を実行する。ユーザからの指示は、例えば、カメラ部55による画像処理により、ユーザの指の動きに応じたコマンドを検出する方法、スマートグラス13に設けられたボタン(図示せず)への操作を検出する方法、等により、行うことができる。CPU部52は、ユーザからの指示、すなわちコマンド、に応じた処理を実行する。
【0044】
同様に、CPU部52は、スマートフォン12への各種コマンド等の制御データを生成して、無線部51を介してスマートフォン12へ送信する処理も行う。
表示部53は、液晶表示パネルのような表示器であり、内視鏡画像、メニュー画像などを表示する。表示部53に表示された画像は、スマートグラス13を装着したユーザが見ることができる。
メモリ部54は、ROM、RAM、書き換え可能な不揮発性メモリを含み、ROMには、CPU部52の動作する各種処理プログラムが格納されおり、RAMは、実行中のワークエリアとして利用される。不揮発性メモリには、内視鏡画像などを記録することができる。
【0045】
カメラ部55は、CCDイメージセンサ、CMOSイメージセンサ等の撮像素子を含み、CPU部52の制御の下で動作が制御される。カメラ部55は、撮像して得られた画像データを、CPU部52へ出力する。
【0046】
バッテリ制御部56は、バッテリ部57の放電及び充電を制御すると共に、バッテリ部57のバッテリの残量及びバッテリ部57の温度(すなわちバッテリ温度)の情報を収集し記憶する回路である。バッテリ制御部56は、バッテリ部57のバッテリの残量及び温度のデータを、CPU部52へ出力する。
【0047】
スマートグラス13の表示部53に表示される画像は、カメラ部55により取得された画像であるが、スマートフォン12からの指示により、変更可能である。
具体的には、スマートグラス13の表示部53の表示変更は、スマートフォン12からの表示制御信号によっても行うことができ、後述するように、スマートフォン12からの表示制御信号により、スマートグラス13の表示部53には、スマートグラス13のカメラ部55において取得された画像、又は内視鏡11の撮像素子22で撮像して得られた内視鏡画像が、表示可能である。
以上のように、スマートグラス13は、無線通信部である無線部51、カメラ部55及び表示部53を有する頭部装着型の表示装置である。
(サーバの構成)
サーバ14は、インターネット15に接続された、コンピュータ装置である。サーバ14は、インターネット15を介して、内視鏡11、スマートフォン12及びスマートグラス13と、通信可能な外部装置である。サーバ14は、例えば無線LAN等の無線通信可能なパーソナルコンピュータである。
【0048】
サーバ14は、大容量のメモリ14aを有し、ユーザは、内視鏡11に記憶された内視鏡画像データをサーバ14へ送信してメモリ14aに記憶させたり、サーバ14のメモリ14aに記憶された検査結果情報などを読み出すことができる。
【0049】
以上のように、内視鏡システム1は、内視鏡11と、スマートフォン12と、スマートグラス13とを含んで構成され、内視鏡11と、スマートフォン12と、スマートグラス13は、図1において二点鎖線で示すように互いに通信可能である。内視鏡11と、スマートフォン12と、スマートグラス13の各々は、さらにサーバ14とも通信可能である。ユーザは、スマートグラス13を眼鏡をかけるように頭部に装着し、スマートフォン12を携帯して、内視鏡11を用いて内視鏡検査を行う。
(作用)
スマートフォン12における内視鏡画像の表示切替処理について説明する。
【0050】
検査者であるユーザは、内視鏡検査を行うとき、スマートフォン12を携帯しかつスマートグラス13を頭部に装着する。そして、ユーザは、例えば、内視鏡11の挿入部を片手で把持し、他方の手で内視鏡11の本体部を把持しながら、検査対象の内部へ挿入部11aを挿入して、検査対象の内部を観察する。
【0051】
例えば、検査開始の指示が、スマートフォン12に入力されると、スマートフォン12のCPU部42は、図2に示すプログラムをメモリ部45のROMから読み出して実行する。内視鏡11は電源がオンされて、撮像信号処理部26で生成された画像の無線部31からスマートフォン12への送信を開始する。スマートグラス13も電源がオンされて、カメラ部55で取得された画像の無線部51からスマートフォン12への送信を開始する。
【0052】
スマートグラス13の表示は、スマートフォン12からの指示により制御されるが、スマートグラス13は、電源がオンされたとき、カメラ部55の画像が、表示部53に表示され、ユーザは、スマートグラス13の表示部53に表示された画像であるスマートグラス13を頭部にかけた状態でカメラ部55の画像を見ることができる。なお、スマートグラス13が、片眼式などの所謂シースルー型である場合、すなわちユーザがスマートグラス13越しに検査対象を見ることができる場合は、CPU部52は、カメラ部55の画像を表示部53に表示しないようにしてもよい。
よって、ユーザは、スマートグラス13の表示部53に表示された、検査対象を含む画像を見ながら、検査対象への挿入部11aの挿入操作を開始することができる。
【0053】
図2は、スマートフォン12のCPU部42によるスマートグラス13の表示制御処理の流れの例を示すフローチャートである。
【0054】
検査開始が、スマートフォン12に指示されると、スマートフォン12のCPU部42は、スマートグラス13のカメラ部55において取得された画像(以下、スマートグラス画像という)の記録を開始する(S1)。スマートグラス画像の動画は、スマートフォン12のメモリ部45に記録される。
【0055】
上述したように、スマートグラス13は、電源がオンされると(あるいは所定コマンドを入力すると)、スマートグラス画像をスマートフォン12へリアルタイムで送信する。
【0056】
スマートフォン12のCPU部42は、スマートグラス13からのスマートグラス画像に対して所定の画像処理をリアルタイムで行い、その画像処理による、挿入部11aの先端部の検出処理を実行する(S2)。挿入部11aの先端部の検出処理では、スマートグラス画像中に挿入部11aの先端部が含まれるかの判定が行われる。
【0057】
スマートグラス画像中に挿入部11aの先端部が含まれるかの判定は、挿入部11aの先端部を検出する画像処理の処理結果に基づいて行うことができる。例えば、先端硬性部11a1、湾曲部11a2及び可撓管部11a3は、それぞれ所定の形状を有しており、さらに、先端硬性部11a1は、表面が金属製で光沢を有し、湾曲部11a2及び可撓管部11a3は、表面が網状であるため、画像処理により、挿入部11aを認識し、先端硬性部11a1がスマートグラス画像中にあるか否かを判定することにより、スマートグラス画像中に挿入部11aの先端部が含まれるかの判定を行うことができる。
【0058】
なお、ここでは、挿入部11aの先端部の検出を、先端硬性部11a1の検出により行っているが、光学アダプタ10の検出により行ってもよい。
さらになお、ここでは、挿入部11aの先端部、例えば先端硬性部11a1、の外周面あるいは光学アダプタ10の外周面に、所定の、色、マークあるいは文字を設け、その所定の色、所定のマークあるいは所定の文字の有無の検出により、スマートグラス画像中の、挿入部11aの先端部の検出を行うようにしてもよい。
さらになお、可撓管部11a3の先端硬性部11a1(あるいは光学アダプタ10)の外周面上に所定のマーク等を設け、その所定のマーク等の検出を行うことにより、スマートグラス画像中の、挿入部11aの先端部の検出を行うようにしてもよい。
【0059】
さらになお、挿入部11aの先端部の検出は、先端部から出射される照明光の有無に基づいて行うことにより、スマートグラス画像中の、挿入部11aの先端部の検出を行うようにしてもよい。
【0060】
さらに、可撓管部11a3の先端側部分の外周面上に、軸方向に沿って所定の間隔を持って所定のマークを複数設け、画像処理により、複数の所定のマークの数が減っていくように消えていくか否かを検出することにより、スマートグラス画像中の、挿入部11aの先端部の検出を行うようにしてもよい。 図3図4は、スマートグラス13の表示部53に表示されるスマートグラス画像61の例を示す。図3は、検査対象内に挿入部11aを挿入する前のスマートグラス画像61の例を示す図である。図4は、検査対象内に挿入部11aを挿入した状態のスマートグラス画像の例を示す図である。図3及び図4に示すスマートグラス画像61は、スマートグラス13をかけたユーザの視界の全体あるいは一部に現れて、ユーザにより見ることができる。
【0061】
図3に示すように、検査対象62は、開口部63を有し、開口部63は、挿入部11aが開口部63に挿入可能なサイズを有する。
ユーザが挿入部11aを開口部63の外側の位置で保持して、ユーザの顔が検査対象62の方向に向いているとき、スマートグラス13のカメラ部55は、図3に示すようなスマートグラス画像61を取得する。よって、ユーザは、図3に示すようなスマートグラス画像を見ることができる。
【0062】
上述したように、図3に示すスマートグラス画像61の画像データは、スマートグラス13からスマートフォン12へリアルタイムで送信されているので、スマートフォン12のCPU部42は、上述した挿入部11aの先端部の検出処理において、受信したスマートグラス画像61をリアルタイムで画像処理して、上述したような先端硬性部11a1を検出する。
【0063】
しかし、ユーザが挿入部11aを開口部63から、検査対象62内に挿入部11aの先端部を挿入すると、スマートグラス13のカメラ部55は、図4に示すようなスマートグラス画像61を取得する。図4に示すスマートグラス画像61では、先端硬性部11a1は検出されない。
【0064】
よって、CPU部42は、S2の検出処理の結果に基づいて、挿入部11aの先端部は見えているかの判定を行う(S3)。S3の判定は、S2におけるスマートグラス画像61中に挿入部11aの先端部があるかの検出結果に基づいて、行われる。
【0065】
ユーザが、挿入部11aの先端部を開口部63の外側の位置で保持しているときには、S2においてスマートグラス画像61中に挿入部11aの先端部が認識されるので、挿入部11aの先端部は見えていると判定される(S3:YES)。
【0066】
挿入部11aの先端部は見えていると判定されると(S3:YES)、CPU部42は、挿入部11aは検査対象62内にそれまで挿入されていたかを判定する(S4)。挿入部11aは検査対象62内に挿入されているかは、所定の状態フラグにより示される。初期状態では、状態フラグは、挿入部11aが検査対象62内に挿入されていないことを示す値、例えば「0」に設定されており、挿入部11aが検査対象62内に挿入されたことが検出されると、その状態フラグは、挿入部11aが検査対象62内に挿入されていることを示す値、例えば「1」に設定される。このような状態フラグを設定し、設定された状態フラグを参照することにより、CPU部42は、挿入部11aは検査対象62内にそれまで挿入されていたかを判定することができる(S4)。
【0067】
挿入部11aは検査対象62内にそれまで挿入されていなかったと判定されると(S4:NO)、処理は、S2に戻る。
S3において、挿入部11aの先端部は見えていると判定されないと(S3:NO)、CPU部42は、挿入部11aは検査対象62内にそれまで挿入されていたかを判定する(S5)。S5の判定は、上述したS4の判定と同様に行うことができる。
【0068】
なお、S2の挿入部11aの先端部の検出処理において、互いに異なる検出方法の複数の検出処理を行い、複数の検出処理の全てにおいて、挿入部11aの先端部が検出されたと判定されたときに、S3において、挿入部11aの先端部は見えていると判定するようにしてもよい。複数の検出処理は、例えば、上述した先端硬性部11a1の検出、先端硬性部11a1の外周面上の所定のマークの検出、及び先端部から出射される照明光の検出であり、3つの検出処理の全てにおいて、検出がされたときに、挿入部11aの先端部は見えていると判定される。
さらになお、複数の検出処理の各検出結果に重み付けをして、重み付けされた各検出結果に基づいて、挿入部11aの先端部は見えていると判定するようにしてもよい。
【0069】
さらになお、スマートグラス画像に加えて、内視鏡画像の画像変化の情報も加えて、挿入部11aの先端部は見えていると判定するようにしてもよい。例えば、検査対象が配管などの場合、挿入部11aが配管内に挿入されているとき、内視鏡画像において、中心から離れた画像領域では、画面の中央から外径方向に画像が移動する。よって、内視鏡画像の所定の複数(例えば2つ)の領域において、画面の中央から外径方向に向かって画像が移動するような変化があるか否かを判定し、その判定結果も加味して、挿入部11aの先端部は見えているかを判定するようにしてもよい。
【0070】
挿入部11aが検査対象62内にそれまで挿入されていなかったと判定されると(S5:NO)、CPU部42は、スマートグラス画像から内視鏡画像への表示切替の処理を行う(S6)。S6の表示切替処理により、スマートグラス13の表示部53には、それまで表示されていたスマートグラス画像に代わって、内視鏡11からの内視鏡画像が表示される。
【0071】
S3でNOかつS5でNOとなるときは、スマートグラス画像61が例えば図3から図4に変化したとき、すなわち挿入部11aの先端部が検査対象62内に挿入されたとき、である。
以上のように、S2〜S6の処理は、カメラ部55において取得されたカメラ画像であるスマートグラス画像に基づいて、スマートグラス13の表示部53に表示される内視鏡画像の表示制御を行う表示制御部を構成する。
具体的には、S2〜S6の処理では、スマートグラス画像中における挿入部11aの先端部の検出処理を行い、その検出処理の結果、スマートグラス画像中に挿入部11aの先端部の画像があるか否かに基づいて表示制御が行われる。そして、S3とS5において、挿入部11aの先端部の画像がスマートグラス画像中に検出されないとき、スマートグラス13の表示部53に、内視鏡画像を表示するように表示制御が行われる。
【0072】
CPU部42は、S6の後、内視鏡画像の記録を開始する(S7)。例えば、CPU部42は、S1においてスマートグラス画像の動画の画像データのメモリ部45への記録を開始したが、S7では、スマートグラス画像の動画に代えて、内視鏡11から受信した内視鏡画像の動画の記録を開始する。よって、ユーザは、内視鏡画像の記録開始の指示をスマートフォン12へ与えなくてもよい。
すなわち、S7の処理は、記憶装置であるメモリ部45への内視鏡画像の記録制御を行う記録制御部を構成する。挿入部11aの先端部の画像がスマートグラス画像中に検出されないとき(S3)、S7において、記憶装置であるメモリ部45への内視鏡画像の記録が行われる。
S7の後、処理は、S2へ戻る。
【0073】
その後、内視鏡11による検査対象62内の検査が行われ、挿入部11aの先端部が開口部63から引き出されない限り、S3でNOかつS5でYESとなって、処理は、S2に戻って繰り返される。
【0074】
内視鏡検査が終了し、ユーザが挿入部11aを検査対象内から引き出して、挿入部11aの先端部が開口部63から引き抜かれると、S3において、挿入部11aの先端部は見えていると判定され(S3:YES)、CPU部42は、挿入部11aは検査対象62内にそれまで挿入されていたかを判定する(S4)。
【0075】
検査が終わって挿入部11aを検査対象内から引き出されたときは、挿入部11aは検査対象62内にそれまで挿入されていたと判定され(S4:YES)、CPU部42は、内視鏡画像からスマートグラス画像への表示切替の処理を行う(S8)。
【0076】
S3でYESの後にS4でYESとなるときは、スマートグラス画像61が例えば図4から図3に変化したとき、すなわち挿入部11aの先端部が検査対象62内から引き抜かれたとき、である。
以上のように、S2,S3,S4,S8の処理は、カメラ部55において取得されたカメラ画像であるスマートグラス画像に基づいて、スマートグラス13の表示部53に表示される内視鏡画像の表示制御を行う表示制御部を構成する。
そして、S2,S3,S4,S8の処理では、挿入部11aの先端部の画像がスマートグラス画像中に検出されなくなった後、挿入部11aの先端部の画像がスマートグラス画像中に検出されると、スマートグラス13の表示部53に内視鏡画像を表示しないように表示制御が行われる。具体的には、内視鏡画像を表示しないとき、スマートグラス13の表示部53にスマートグラス画像を表示するように表示制御が行われる。
【0077】
CPU部42は、S8の後、スマートグラス画像の記録へ切り替える(S9)。例えば、CPU部42は、それまで内視鏡画像の動画の画像データのメモリ部45への記録をしていたが、S9では、内視鏡画像の動画に代えて、スマートグラス13から受信したスマートグラス画像の動画の記録を行うように、記録対象の切り替えが行われる。よって、ユーザは、スマートグラス画像の記録開始の指示をスマートフォン12へ与えなくてもよい。
すなわち、S9の処理は、挿入部11aの先端部の画像がスマートグラス画像中に検出されなくなった後、挿入部11aの先端部の画像がスマートグラス画像中に検出されると、記憶装置であるメモリ部45へのスマートグラス画像の記録を行う記録制御部を構成する。
S9の後、処理は、S2へ戻る。
【0078】
その後、内視鏡11による検査対象62内の検査が再開されれば、S3でNOとなって、上述した処理が実行される。
【0079】
内視鏡検査の終了が指示されると、CPU部42は、図2の処理を終了する。
【0080】
図5は、時間経過に伴う、メモリ部45に記録される画像の変化を示す図である。図5に示すように、時間tの軸上の時刻t1において、検査開始と共にスマートグラス画像の記録が開始される。時刻t2において、挿入部11aが検査対象内に挿入されると、内視鏡画像の記録が開始される。
【0081】
時刻t3において、挿入部11aが検査対象内から引き抜かれて、挿入部11aの先端部が検査対象の外部に見えると、内視鏡画像の記録が終了して、スマートグラス画像の記録が開始され、時刻t4において、検査の終了が指示されると、スマートグラス画像の記録も終了する。
時刻t1からt4までの動画が1つの動画ファイルとしてメモリ部45に記録される。
【0082】
以上のように、上述した実施の形態によれば、カメラ付き頭部装着型表示装置の表示部に表示する画像の表示切り替えのための操作を不要とする内視鏡システム及び内視鏡システムにおける内視鏡画像の表示切替方法を実現することができる。
【0083】
なお、上述した実施の形態では、図2に示すスマートグラス13の表示部53の表示制御は、スマートフォン12のCPU部42により行われているが、スマートグラス13のCPU部52により行うようにしてもよい。すなわち、上述した実施の形態では、図2における内視鏡画像の表示制御を行う表示制御部は、スマートフォン12に設けられているが、スマートグラス13に設けてもよい。
【0084】
例えば、スマートグラス13は、内視鏡11の無線部31から、直接あるいはスマートフォン12を介して、無線部51において内視鏡画像を受信し、CPU部52が図2の処理を実行する。
【0085】
さらになお、上述した実施の形態では、図2に示すスマートグラス13の表示部53の表示制御は、スマートフォン12のCPU部42により行われているが、内視鏡11の制御部27により行うようにしてもよい。すなわち、上述した実施の形態では、図2における内視鏡画像の表示制御を行う表示制御部は、スマートフォン12に設けられているが、内視鏡11に設けてもよい。
その場合、スマートグラス13は、スマートグラス画像を無線部51から内視鏡11へ直接あるいはスマートフォン12を介してリアルタイムで送信する。また、スマートグラス13において、内視鏡画像を表示するときは、内視鏡11から内視鏡画像は無線部51を介して受信される。
【0086】
ここでも、例えば、内視鏡11の制御部27は、直接あるいはスマートフォン12を介して、無線部31においてスマートグラス13からスマートグラス画像を受信し、制御部27が図2の処理を実行して、スマートグラス13へ表示制御信号を送信する。
【0087】
また、上述した実施の形態では、図2に示すスマートグラス13の表示部53の表示制御は、スマートフォン12のCPU部42により行われているが、サーバ14により行うようにしてもよい。すなわち、上述した実施の形態では、図2における内視鏡画像の表示制御を行う表示制御部は、スマートフォン12に設けられているが、サーバ14に設けてもよい。
その場合、スマートグラス13は、スマートグラス画像を無線部51からサーバ14へ直接あるいはスマートフォン12を介してリアルタイムで送信する。さらに、内視鏡11も、内視鏡画像を無線部31を介してサーバ14へリアルタイムで送信する。
【0088】
ここでも、例えば、スマートグラス13は、内視鏡11の無線部31から、直接あるいはスマートフォン12を介して、無線部51において内視鏡11の内視鏡画像を受信し、サーバ14が、図2の処理を実行して、スマートグラス13へ制御信号を送信するようにしてもよい。
【0089】
本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。
【符号の説明】
【0090】
1 内視鏡システム、10 光学アダプタ、10a 対物レンズ部、10b 照明レンズ部、11 内視鏡、11a 挿入部、11a1 先端硬性部、11a2 湾曲部、11a3 可撓管部、11b 本体部、12 スマートフォン、13 スマートグラス、14 サーバ、14a メモリ、15 インターネット、21 対物レンズ部、22 撮像素子、23 照明部、24 湾曲機構、25 撮像素子駆動部、26 撮像信号処理部、27 制御部、28 入力部、29 照明駆動部、30 湾曲操作部、31 無線部、32 バッテリ制御部、33 バッテリ部、41 無線部、42 CPU部、43 タッチパネル部、44 表示部、45 メモリ部、46 カメラ部、47 バッテリ制御部、48 バッテリ部、51 無線部、52 CPU部、53 表示部、54 メモリ部、55 カメラ部、56 バッテリ制御部、57 バッテリ部、61 スマートグラス画像、62 検査対象、63 開口部。
図1
図2
図3
図4
図5