特開2016-225861(P2016-225861A)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ソニー株式会社の特許一覧
特開2016-225861情報処理装置、情報処理方法、及び生体内撮像システム
<>
  • 特開2016225861-情報処理装置、情報処理方法、及び生体内撮像システム 図000011
  • 特開2016225861-情報処理装置、情報処理方法、及び生体内撮像システム 図000012
  • 特開2016225861-情報処理装置、情報処理方法、及び生体内撮像システム 図000013
  • 特開2016225861-情報処理装置、情報処理方法、及び生体内撮像システム 図000014
  • 特開2016225861-情報処理装置、情報処理方法、及び生体内撮像システム 図000015
  • 特開2016225861-情報処理装置、情報処理方法、及び生体内撮像システム 図000016
  • 特開2016225861-情報処理装置、情報処理方法、及び生体内撮像システム 図000017
  • 特開2016225861-情報処理装置、情報処理方法、及び生体内撮像システム 図000018
  • 特開2016225861-情報処理装置、情報処理方法、及び生体内撮像システム 図000019
  • 特開2016225861-情報処理装置、情報処理方法、及び生体内撮像システム 図000020
  • 特開2016225861-情報処理装置、情報処理方法、及び生体内撮像システム 図000021
  • 特開2016225861-情報処理装置、情報処理方法、及び生体内撮像システム 図000022
  • 特開2016225861-情報処理装置、情報処理方法、及び生体内撮像システム 図000023
  • 特開2016225861-情報処理装置、情報処理方法、及び生体内撮像システム 図000024
  • 特開2016225861-情報処理装置、情報処理方法、及び生体内撮像システム 図000025
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】特開2016-225861(P2016-225861A)
(43)【公開日】2016年12月28日
(54)【発明の名称】情報処理装置、情報処理方法、及び生体内撮像システム
(51)【国際特許分類】
   H04N 13/00 20060101AFI20161205BHJP
   H04N 13/04 20060101ALI20161205BHJP
   H04N 7/18 20060101ALI20161205BHJP
   A61B 1/04 20060101ALI20161205BHJP
   G03B 17/18 20060101ALI20161205BHJP
   G03B 35/08 20060101ALI20161205BHJP
   H04N 13/02 20060101ALI20161205BHJP
【FI】
   H04N13/00 220
   H04N13/00 330
   H04N13/04 090
   H04N7/18 M
   A61B1/04 370
   G03B17/18 Z
   G03B35/08
   H04N13/02 920
【審査請求】未請求
【請求項の数】15
【出願形態】OL
【全頁数】25
(21)【出願番号】特願2015-111147(P2015-111147)
(22)【出願日】2015年6月1日
(71)【出願人】
【識別番号】000002185
【氏名又は名称】ソニー株式会社
(74)【代理人】
【識別番号】100095957
【弁理士】
【氏名又は名称】亀谷 美明
(74)【代理人】
【識別番号】100096389
【弁理士】
【氏名又は名称】金本 哲男
(74)【代理人】
【識別番号】100101557
【弁理士】
【氏名又は名称】萩原 康司
(74)【代理人】
【識別番号】100128587
【弁理士】
【氏名又は名称】松本 一騎
(72)【発明者】
【氏名】上森 丈士
(72)【発明者】
【氏名】高橋 健治
(72)【発明者】
【氏名】鹿島 浩司
(72)【発明者】
【氏名】深沢 健太郎
【テーマコード(参考)】
2H059
2H102
4C161
5C054
5C061
【Fターム(参考)】
2H059AA13
2H059CA06
2H102AA31
2H102AA71
4C161AA00
4C161BB06
4C161CC06
4C161DD00
4C161NN05
4C161NN07
4C161WW13
4C161YY12
5C054CC07
5C054HA12
5C061AA06
5C061AB12
(57)【要約】
【課題】情報処理装置、情報処理方法、及び生体内撮像システムを提供する。
【解決手段】生体内の撮像に基づいて得られる立体視画像を見てユーザが知覚する視差についての評価値を特定する評価部と、前記評価値に基づいて、前記視差の調整のための撮影状況の制御を誘導するガイド情報の表示を制御する表示制御部と、を備える情報処理装置。
【選択図】図1
【特許請求の範囲】
【請求項1】
生体内の撮像に基づいて得られる立体視画像を見てユーザが知覚する視差についての評価値を特定する評価部と、
前記評価値に基づいて、前記視差の調整のための撮影状況の制御を誘導するガイド情報の表示を制御する表示制御部と、
を備える情報処理装置。
【請求項2】
前記ガイド情報は、前記視差が所定の範囲内に収まるように前記撮影状況の制御を誘導する、請求項1に記載の情報処理装置。
【請求項3】
前記ガイド情報は、撮像の対象である生体と生体内撮像装置の間の被写体距離を変更することを誘導する、請求項1に記載の情報処理装置。
【請求項4】
前記ガイド情報は、拡大率を変更することを誘導する、請求項1に記載の情報処理装置。
【請求項5】
前記評価部は、視差角に基づいて前記評価値を特定する、請求項1に記載の情報処理装置。
【請求項6】
前記評価部は、撮像の対象である生体と生体内撮像装置の間の被写体距離に基づいて前記評価値を特定する、請求項1に記載の情報処理装置。
【請求項7】
前記評価部は、前記立体視画像における前記被写体距離のうち、最大の被写体距離に対応する評価値を特定する、請求項6に記載の情報処理装置。
【請求項8】
前記評価部は、前記立体視画像における前記被写体距離のうち、最小の被写体距離に対応する評価値を特定する、請求項6に記載の情報処理装置。
【請求項9】
前記評価値に基づいて、仮想視点画像を生成する仮想視点画像生成部をさらに備える、請求項1に記載の情報処理装置。
【請求項10】
前記仮想視点画像生成部は、前記仮想視点画像にかかる視差が所定の範囲内に収まるように、前記仮想視点画像を生成する、請求項9に記載の情報処理装置。
【請求項11】
生体内の撮像に基づいて得られる立体視画像を見てユーザが知覚する視差についての評価値を特定することと、
前記評価値に基づいて、撮影状況の制御による前記評価値の調整を誘導するガイド情報の表示を制御することと、
を含む、情報処理方法。
【請求項12】
生体内を撮像する生体内撮像装置と、
前記生体内の撮像に基づいて得られる立体視画像を見てユーザが知覚する視差についての評価値を特定する評価部と、
前記評価値に基づいて、撮影状況の制御による前記視差の調整を誘導するガイド情報の表示を制御する表示制御部、
を備える情報処理装置と、
を有する、生体内撮像システム。
【請求項13】
前記生体内撮像装置は、内視鏡である、
請求項12に記載の生体内撮像システム。
【請求項14】
前記生体内撮像装置は、ビデオ顕微鏡である、
請求項12に記載の生体内撮像システム。
【請求項15】
前記生体内撮像装置を保持する保持機構をさらに備える、
請求項12に記載の生体内撮像システム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、情報処理装置、情報処理方法、及び生体内撮像システムに関する。
【背景技術】
【0002】
近年、立体視可能な立体視画像(両眼立体視画像)をユーザに提示するため、撮像により立体視画像を取得する撮像システムが、例えば医療分野等で用いられている。例えば、特許文献1には、立体視可能な立体視画像を取得するための内視鏡が開示されている。ユーザは、立体視画像を見ることで、例えば二次元画像を見る場合に比べ、より正確な状況把握を行うことが可能である。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2015−052746号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
立体視画像を3Dディスプレイ等に表示してユーザに提示する場合、例えば、立体視画像を見てユーザが知覚する視差(左右の目で見える像における差異)が大き過ぎると、表示された立体視画像が非常に見難くなり、ユーザに不快感を与えてしまう場合がある。
【0005】
そこで、本開示では、ユーザに不快感を与え難い立体視画像の取得を支援することが可能な、新規かつ改良された情報処理装置、情報処理方法、及び生体内撮像システムを提案する。
【課題を解決するための手段】
【0006】
本開示によれば、生体内の撮像に基づいて得られる立体視画像を見てユーザが知覚する視差についての評価値を特定する評価部と、前記評価値に基づいて、前記視差の調整のための撮影状況の制御を誘導するガイド情報の表示を制御する表示制御部と、を備える情報処理装置が提供される。
【0007】
また、本開示によれば、生体内の撮像に基づいて得られる立体視画像を見てユーザが知覚する視差についての評価値を特定することと、前記評価値に基づいて、前記視差の調整のための撮影状況の制御を誘導するガイド情報の表示を制御することと、を含む、情報処理方法が提供される。
【0008】
また、本開示によれば、生体内を撮像する生体内撮像装置と、前記生体内の撮像に基づいて得られる立体視画像を見てユーザが知覚する視差についての評価値を特定する評価部と、前記評価値に基づいて、前記視差の調整のための撮影状況の制御を誘導するガイド情報の表示を制御する表示制御部、を備える情報処理装置と、を有する、生体内撮像システムが提供される。
【発明の効果】
【0009】
以上説明したように本開示によれば、ユーザに不快感を与え難い立体視画像の取得を支援することが可能である。
【0010】
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
【図面の簡単な説明】
【0011】
図1】本開示の第一の実施形態にかかる内視鏡手術システムの全体構成を示す説明図である。
図2】ユーザが立体視画像を観察する様子を示す説明図である。
図3】第一の実施形態にかかるCCUの構成例を示す説明図である。
図4】被写体距離とイメージセンサ上の視差の関係を説明するための模式的な説明図である。
図5】表示制御部が立体表示装置に表示させるガイド情報、及びガイド情報を立体視画像に重畳させた画面の一例を示す説明図である。
図6】表示制御部が立体表示装置に表示させるガイド情報、及びガイド情報を立体視画像に重畳させた画面の他の一例を示す説明図である。
図7】表示制御部が立体表示装置に表示させるガイド情報、及びガイド情報を立体視画像に重畳させた画面の他の一例を示す説明図である。
図8】第一の実施形態に係る内視鏡手術システムによるガイド表示に係る動作を説明するための説明図である。
図9】第二の実施形態に係るCCUの構成例を示す説明図である。
図10】仮想視点画像生成技術による仮想視点設定例について説明するための模式的な説明図である。
図11】快適立体視条件が満たされていないと判定された場合に、表示制御部が立体表示装置に表示させるガイド情報、及びガイド情報を仮想視点画像に重畳させた画面の一例を示す説明図である。
図12】本実施形態に係る内視鏡手術システム1による仮想視点画像生成、及びガイド表示に係る動作を説明するための説明図である。
図13】第一の実施形態に変形例1を適用した場合に表示制御部が表示させるガイド情報、及び画面の一例を示す説明図である。
図14】第二の実施形態に変形例1を適用した場合に表示制御部が表示させるガイド情報、及び画面の一例を示す説明図である。
図15】CCUのハードウェア構成の一例を示す説明図である。
【発明を実施するための形態】
【0012】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【0013】
なお、説明は以下の順序で行うものとする。
<<1.第一の実施形態>>
<1−1.第一の実施形態の概要>
<1−2.第一の実施形態の構成>
<1−3.第一の実施形態の動作>
<1−4.第一の実施形態の効果>
<<2.第二の実施形態>>
<2−1.第二の実施形態の構成>
<2−2.第二の実施形態の動作>
<2−3.第二の実施形態の効果>
<<3.変形例>
<3−1.変形例1>
<3−2.変形例2>
<<4.ハードウェア構成例>>
<<5.むすび>>
【0014】
<<1.第一の実施形態>>
<1−1.第一の実施形態の概要>
(内視鏡手術システムの全体構成)
まず、図面を参照しながら本開示の第一の実施形態にかかる内視鏡手術システム(生体内撮像システム)の全体構成(概要)を説明する。図1は、本開示の第一の実施形態にかかる内視鏡手術システムの全体構成を示す説明図である。
【0015】
近年、医療現場において従来の開腹手術に代わって、内視鏡下手術が行われている。例えば、腹部の手術が行われる場合、図1で示されるような手術室に配置される内視鏡手術システム1が用いられる。従来のように腹壁を切って開腹する代わりに、トロッカ12a,12bと称される開孔器具が腹壁に数か所取り付けられ、トロッカ12a,12bに設けられている孔から内視鏡(生体内撮像装置)2、エネルギ処置具3や鉗子4等が体内に挿入される。そして、生体内を撮像する内視鏡2によってビデオ撮像され、立体表示装置9に表示された患部(腫瘍等の生体)16の画像をリアルタイムに見ながら、エネルギ処置具3等によって患部16を切除するなどの処置が行われる。内視鏡2、エネルギ処置具3や鉗子4は、術者、助手、スコピスト(内視鏡の操作者)、またはロボット等が保持している。
【0016】
このような内視鏡下手術が行われる手術室内には、内視鏡下手術のための装置類を搭載するカート14、患者が横たわる患者ベッド13、フットスイッチ15等が配置される。カート14は、医療機器として例えばカメラコントロールユニット(CCU)5、光源装置6、処置具用装置7、気腹装置8、及び立体表示装置9等の装置類を載置している。
【0017】
内視鏡2の観察光学系を通じて撮像されて取得された患部16の画像像信号がカメラケーブルを介してCCU5に伝送され、CCU5内で信号処理された後に、立体表示装置9に出力され、患部16の内視鏡画像が表示される。CCU5は、カメラケーブルを介して内視鏡2に接続される他、無線で接続してもよい。
【0018】
光源装置6は、ライトガイドケーブルを介して内視鏡2に接続され、患部16に対してさまざまな波長の光を切り替えて照射することができる。
【0019】
処置具用装置7は、例えば電気熱を用いて患部16を切断するエネルギ処置具3に対して高周波電流を出力する高周波出力装置である。
【0020】
気腹装置8は、送気、吸気手段を備え、患者体内の例えば腹部領域に空気を送気する装置である。
【0021】
フットスイッチ15は、術者や助手等のフット操作をトリガ信号として、CCU5や処置具用装置7等を制御するようになっている。
【0022】
なお、本実施形態にかかる内視鏡2は、撮像により、左目用画像と右目用画像を組み合わせた立体視画像を取得可能な所謂3D内視鏡である。内視鏡2は、例えば左右に並べられた2つのカメラ(左カメラ、右カメラ)を有し、当該2つのカメラにより左目用画像、右目用画像を取得してもよい。当該2つのカメラの光軸は交差してもよいし(光軸の輻輳角>0)、平行であってもよい(光軸の輻輳角=0)。なお、以下では、内視鏡2が有する左カメラ(左目用カメラ)と右カメラ(右目用カメラ)の光軸は平行である場合を例に挙げ、また、各カメラはピンホールカメラモデルで記述できるものとして説明を行う。
【0023】
また、本実施形態にかかる立体表示装置9は、左目用画像と右目用画像を、それぞれユーザの左目、右目に見せることが可能な所謂3Dディスプレイである。例えば、立体表示装置9は、特殊な光学特性を有する眼鏡を用いた眼鏡式の3Dディスプレイでもよいし、視差バリア等を用いた裸眼式の3Dディスプレイでもよいし、HMD(Head Mounted Display)を用いたHMD式の3Dディスプレイでもよい。なお、以下では、立体表示装置9が裸眼式の3Dディスプレイである場合を例に挙げて説明を行う。
【0024】
(背景)
以上、本実施形態にかかる内視鏡手術システム1の全体構成について説明した。続いて、本実施形態にかかる内視鏡手術システム1の創作に至った背景を説明する。
【0025】
本実施形態に係る内視鏡2のような3D内視鏡を用いた手術では、2D内視鏡を用いた場合に比べ、術者等の立体視画像を観察するユーザに眼精疲労や不快感を与えることが多い。例えば、立体視画像を見てユーザが知覚する視差が大き過ぎると、表示された立体視画像が非常に見づらくなり、ユーザに眼精疲労や不快感を与えてしまう場合がある。
【0026】
以下では、図2を参照して、ユーザが快適に(眼精疲労や不快感を受けずに)立体視可能な立体視画像の条件(以下、快適立体視条件と呼ぶ場合がある)について説明を行う。
【0027】
図2は、ユーザが立体視画像を観察する様子を示す説明図である。図2に示す参照符号92は、立体表示装置9のディスプレイ面を示している。また、図2に示す参照符号E、及びEは、それぞれユーザの右目、及び左目を示している。ユーザの右目E、左目Eが、それぞれディスプレイ面92上の点P2、P1に表示された右目用画像、左目用画像を見ることで、ディスプレイ面から離れた点S1に立体像が知覚される。以下では、ユーザの右目E、及び左目Eが点S1を見るときの輻輳角αと、ディスプレイ面92上の一点を見た時の輻輳角βの差α-βを視差角θと呼ぶ。また、ディスプレイ面92上の点P1と点P2の間の距離をディスプレイ上の視差Dと呼ぶ。また、視差角θとディスプレイ上の視差Dのいずれか、または両方をユーザが知覚する視差と呼ぶ場合がある。
【0028】
ユーザが快適に立体視を行う(立体像を知覚する)ためには、上記の視差角θとディスプレイ上の視差Dが所定の範囲内となることが望ましいことが、様々な実験・研究により知られている。例えば、視差角θの絶対値が大きい場合には、ユーザが快適に立体視を行うことが出来ず、例えば、快適な立体視が可能な視差角の絶対値は1度以下、奥行きを感じられる限界(融合限界とも呼ぶ)の視差角の絶対値は2度程度であることが知られている。また、ディスプレイ上の視差Dの絶対値がユーザの両目間隔(成人の平均値は約60〜65mm程度といわれる)より大きい場合、両目用の画像が融合せず(一つの像に見えず)、眼精疲労を起こすことが知られている。したがって、例えば、視差角θとディスプレイ上の視差Dがそれぞれ所定の範囲内であるという条件下において、ユーザは快適な立体視が可能となる。
【0029】
実際の医療現場(手術現場)において、ユーザ(術者等)が見る立体視画像は、上記の条件を満たしてない場合があり、その結果、ユーザに眼精疲労や不快感を与えてしまう場合があった。
【0030】
上記の条件は、例えば、視環境(ユーザからディスプレイまでの視距離等)を変更する、または撮影状況(内視鏡2の位置、拡大率等)を制御することで、満たすことが可能な場合がある。しかし、医療現場では、大量の機材が配置されているため、例えば立体表示装置9や術者の位置等を変更することは困難であり、視環境の変更は困難な場合が多い。
【0031】
一方、撮影状況の制御は内視鏡2の操作等により可能であるが、スコピスト(内視鏡の操作者)にとって、上記の条件が満たされているか否か、及び、どのように操作すれば上記の条件が満たされるのか、等を把握することは困難であった。
【0032】
そこで、上記事情を一着眼点にして本実施形態を創作するに至った。本実施形態による内視鏡手術システム1は、上述した条件が満たされるように、前記視差の調整のための撮影状況の制御を誘導することで、ユーザに眼精疲労や不快感を与え難い立体視画像の取得を支援することが可能である。以下、このような効果を実現するための、本実施形態に係る内視鏡手術システム1が有するCCU5−1の構成について、図3を参照して詳細に説明する。
【0033】
<1−2.第一の実施形態の構成>
図3は、本実施形態に係るCCU(カメラコントロールユニット)5−1の構成例を示す説明図である。図3に示すように、CCU5−1は、信号処理部52と、評価部54と、表示制御部58とを備える情報処理装置である。
【0034】
信号処理部52は、図1を参照して説明した内視鏡2から、生体内の撮像に基づいて得られる両眼画像(立体視画像)信号を受け取り、現像、色調整、高画質化処理、及びフォーマット変換等の信号処理を行う。また、信号処理部52は、信号処理の結果得た立体視画像を評価部54と表示制御部58に提供する。
【0035】
評価部54は、信号処理部52から、立体視画像を受け取り、当該立体視画像を見てユーザが知覚する視差についての評価値を特定する。評価部54が特定する評価値は、例えば、上述した視差角や、ディスプレイ上の視差であってもよいし、視差角や、ディスプレイ上の視差に基づいて特定される値でもよい。なお、以下では、評価部54が特定する評価値は、視差角とディスプレイ上の視差である例を説明する。評価部54は、図3に示すように、視差算出部541、被写体距離算出部542、視差角算出部544、判定部546を有する。
【0036】
視差算出部541は、信号処理部52から受け取った立体視画像(左目用画像と右目用画像)から、イメージセンサ上(画像上)の視差d[pixel]、及びディスプレイ上の視差D[mm]を算出する。例えば、視差算出部541は、周知のステレオマッチング技術等を用いて、左目用画像と右目用画像の対応点探索を行うことで、対応点ごとにイメージセンサ上の視差d[pixel]を算出することが可能である。
【0037】
また、ディスプレイ上の視差D[mm]は、イメージセンサ上の視差d[pixel]を用いて次式のように算出できる。
【0038】
【数1】
【0039】
数式(1)において、kは予め与えられるディスプレイ(立体表示装置9)の画素幅[mm]、sは画像シフト量[pixel]である。一般的に、撮像された立体視画像は、それぞれ水平方向にシフト量s[pixel]だけシフトされ、飛び出し基準面(D=0となる面)を調整した状態でディスプレイに表示される。立体視画像が光軸平行の2台のカメラで撮像されている場合は、常にdは0以上であるため、一般にシフト量sは負の値が用いられる。
【0040】
被写体距離算出部542は、図4に示す幾何学的な関係に基づき、内視鏡2から観察対象の生体(患部16)までの距離である被写体距離Z[mm]を算出する。図4は、被写体距離Zとイメージセンサ上の視差dの関係を説明するための模式的な説明図である。
【0041】
図4に示す参照符号Oは、観察対象の生体(における一点)を示している。また、参照符号C、Cは、それぞれ左カメラと右カメラの光学中心を示している。また、参照符号A、Aは、それぞれ左カメラと右カメラの光軸を示している。図4に示すように、左カメラと右カメラの光軸A、Aは互いに平行している。また、参照符号IS、ISは、左カメラと右カメラのイメージセンサ面(投影面)を示している。
【0042】
また、参照符号x、xは、それぞれ左カメラと右カメラのイメージセンサ面IS、ISにおける、観察対象の生体Oの座標(投影位置)を示している。ここで、視差算出部541により算出されるイメージセンサ上の視差d[pixel]と座標x、xには、例えば次式の関係がある。
【0043】
【数2】
【0044】
ここで、図4の幾何学的な関係より、イメージセンサ上の視差d[pixel]と、被写体距離Z[mm]の関係は、次式のようになる。
【0045】
【数3】
【0046】
数式(3)において、fは、図4に示すように、左カメラ、及び右カメラの焦点距離(各カメラの光軸中心からイメージセンサ面までの距離)fであり、Bは、図4に示すように、左カメラと右カメラの光学中心間距離(以下、基線長と呼ぶ場合がある)である。焦点距離f、及び基線長Bは、光学系パラメータとして既知の値であるとしてもよい。
【0047】
したがって、被写体距離算出部542は、例えば視差算出部541により算出されるイメージセンサ上の視差d[pixel]を数式(3)に適用して、被写体距離Z[mm]を算出することが可能である。
【0048】
また、被写体距離算出部542は、立体視画像の各位置について、被写体距離Zを算出し、算出した被写体距離Zの中から、最大被写体距離Zmaxと最小被写体距離Zminを選択する。また、被写体距離算出部542は、視差算出部541が算出したDの中から、最大被写体距離Zmaxと最小被写体距離Zminにそれぞれ対応するディスプレイ上の視差Dmaxとディスプレイ上の視差Dminを選択する。ここで、ディスプレイ上の視差Dmaxは、最大被写体距離Zmaxに対応するディスプレイ上の視差であって、ディスプレイ上の視差の最大値とは限らない。また、同様に、ディスプレイ上の視差Dminは、最小被写体距離Zminに対応するディスプレイ上の視差であって、ディスプレイ上の視差の最小値とは限らない。
【0049】
図3に戻って、視差角算出部544は、被写体距離算出部542により算出される被写体距離Zを用いて、図2を参照して説明した視差角θを算出する。
【0050】
視差角θとディスプレイ上の視差Dには次式の関係があることが知られている。
【0051】
【数4】
【0052】
数式(4)におけるLは、ユーザ(ディスプレイの観察者)からディスプレイまでの距離(視距離)である。視距離Lは、例えば典型的な医療現場における値として1〜2mの値が用いられてもよいし、ユーザによる入力、または距離センサなどにより取得されてもよい。なお、数式(4)からもわかる通り、視差角θ<0のとき(立体像がディスプレイより奥に知覚されるとき)、ディスプレイ上の視差Dは負の値をとる。
【0053】
ここで、数式(1)、(3)、(4)より、視差角θは被写体距離Zを用いて次式のように近似することができる。
【0054】
【数5】
【0055】
視差角算出部544は上記の数式(5)を用いることで、被写体距離Zに基づいて評価値である視差角θを算出することが可能である。
【0056】
なお、本実施形態に係る視差角算出部544は、立体視画像の全ての位置に対する視差角θを算出してもよいし、被写体距離算出部542が選択した最大被写体距離Zmaxと最小被写体距離Zminに対応する視差角θmaxと視差角θminだけを算出してもよい。ここで、視差角θmaxは、最大被写体距離Zmaxに対応する視差角であって、視差角の最大値とは限らない。また、同様に、視差角θminは、最小被写体距離Zminに対応する視差角であって、視差角の最小値とは限らない。
【0057】
上述のように、立体視画像における被写体距離のうち、最大の被写体距離に対応する評価値と、最小の被写体距離に対応する評価値を特定することで、後述する判定部546は、全ての位置に対する評価値に対して判定を行う必要がなく、処理が簡易になる。
【0058】
判定部546は、上述した評価値に基づいて、内視鏡2により取得される立体視画像が、快適立体視条件を満たす否かの判定を行う。例えば、判定部546は、最小被写体距離Zminに対応する視差角θminとディスプレイ上の視差Dmin、及び、最大被写体距離Zmaxに対応する視差角θmaxとディスプレイ上の視差Dmaxが、それぞれ次の数式を満たすか否かの判定により上記判定を行ってもよい。
【0059】
【数6】
【0060】
上記の数式(6)〜(9)において、閾値θthは視差角が快適立体視条件を満たすか否かを判定するための閾値であり、閾値Dthはディスプレイ上の視差が快適立体視条件を満たすか否かを判定するための閾値である。例えば、図2を参照して説明した内容に基づき、θthを1度、Dthを60mmと設定して、上記判定が行われてもよい。
【0061】
表示制御部58は、評価値に基づく上記の判定に応じて、前記視差の調整のための撮影状況の制御を誘導するガイド情報を生成し、当該ガイド情報の表示を制御する。例えば、表示制御部58は、生成したガイド情報を信号処理部52から取得した立体視画像に重畳させた画面を、図1を参照して説明した立体表示装置9に表示させる。ここで、ガイド情報は、評価値が数式(6)〜(9)を満たす(すなわち、視差が所定の範囲内に収まる)ように、観察(撮像)の対象である生体と、内視鏡2(生体内撮像装置)の間の被写体距離を変更することを誘導する情報であってもよい。
【0062】
図5は、表示制御部58が立体表示装置9に表示させるガイド情報、及びガイド情報を立体視画像に重畳させた画面の一例を示す説明図である。
【0063】
表示制御部58は、例えば図5に示すように、ガイド情報G10を立体視画像に重畳させる。ガイド情報G10は、適正な被写体距離であることを示す領域G11、被写体距離が近すぎることを示す領域G12、被写体距離が遠すぎることを示す領域G13、及び現在の被写体距離を模式的に示すマーカG14を有する。ここで、図5に示すマーカG14は、適正な被写体距離であることを示す領域G11に存在する。つまり、図5に示すガイド情報G10は、現在の被写体距離が適正であり、現在表示されている立体視画像が、快適立体視条件を満たしていることを示し、現在の撮影状況を維持することを誘導している。
【0064】
図6は、表示制御部58が立体表示装置9に表示させるガイド情報、及びガイド情報を立体視画像に重畳させた画面の他の一例を示す説明図である。図6に示すガイド情報G10における領域G11〜G13は図5を参照して説明した領域G11〜G13と同様である。ここで、図6に示すマーカG14は、被写体距離が近すぎることを示す領域G12に存在する。また、図6に示す矢印G15は、被写体距離を大きくする(内視鏡2を観察対象である生体から遠ざける)必要があることを示している。つまり、図6に示すガイド情報G10は、視差を調整するため、被写体距離を大きくするように撮影状況を制御することを誘導している。
【0065】
なお、撮影状況の制御による視差の調整を誘導するガイド情報は、図5,6の例に限定されない。例えば、図7に示すように警告メッセージ(文字情報等)による誘導も可能である。図7は、表示制御部58が立体表示装置9に表示させるガイド情報、及びガイド情報を立体視画像に重畳させた画面の他の一例を示す説明図である。図6に示すガイド情報G10における領域G11〜G13、及びマーカG14は図6における領域G11〜G13、及びマーカG14と同様である。図7に示す警告メッセージG16は、視差を調整するため、被写体距離を大きくする(内視鏡2を観察対象である生体から遠ざける)必要があることをスコピスト(内視鏡の操作者)に伝える警告メッセージである。
【0066】
なお、図6,7を参照して説明した矢印G15、警告メッセージG16は、図6,7に示すようにマーカG14等と組み合わせて用いられてもよいし、単独で用いられることで視差の調整を誘導してもよい。
【0067】
上記のようなガイド情報に従ってユーザが撮影状況を制御することで、視差が快適立体視条件を満たし、その結果、ユーザに不快感を与え難い立体視画像を取得可能となる。また、上記のようなガイド情報により、スコピストは、快適立体視条件が満たされているか否か、及び、どのように操作(撮影状況の制御)を行えば快適立体視条件が満たされるのか、を容易に把握することが可能になる。
【0068】
<1−3.第一の実施形態の動作>
以上、本開示の第一の実施形態に係る内視鏡手術システム1が有するCCU5−1の構成例について説明した。続いて、図8を参照して、本実施形態に係る内視鏡手術システム1の動作例について説明する。図8は、本実施形態に係る内視鏡手術システム1によるガイド表示に係る動作を説明するための説明図である。
【0069】
まず、評価部54は、立体視画像の各位置について被写体距離Zを算出する(S102)。続いて、評価部54は、立体視画像の各位置における被写体距離Zのうち、最小の被写体距離Zminと、最大の被写体距離Zmaxを選択する(S104)。さらに、評価部54は、選択された最小被写体距離Zmin、及び最大被写体距離Zmaxのそれぞれに対応する評価値として、視差角θminとディスプレイ上の視差Dmin、及び視差角θmaxとディスプレイ上の視差Dmaxを算出する(S106)。
【0070】
続いて、評価部54は、最小被写体距離Zminに対応する視差角θminとディスプレイ上の視差Dminが所定範囲内であるか否かを判定する(S108)。当該判定は、例えば数式(6)、(7)を用いて行われてもよい。視差角θmin、及びディスプレイ上の視差Dminが所定範囲内であった場合(S108においてYes)、評価部54は、最小被写体距離Zmaxに対応する視差角θmaxとディスプレイ上の視差Dmaxが所定範囲内であるか否かを判定する(S110)。当該判定は、例えば数式(8)、(9)を用いて行われてもよい。
【0071】
視差角θmax、及びディスプレイ上の視差Dmaxが所定範囲内であった場合(S110においてYes)、表示制御部58は、例えば図5に示したような、被写体距離が適正範囲内であることを示すガイド情報を立体表示装置9に表示させる(S112)。また、視差角θmax、及びディスプレイ上の視差Dmaxが所定範囲外であった場合(S110においてNo)、表示制御部58は、被写体距離が遠すぎること(内視鏡2を観察対象である生体に近づける必要があること)を示すガイド情報を立体表示装置9に表示させる(S114)。また、視差角θmin、及びディスプレイ上の視差Dminが所定範囲外であった場合(S108においてNo)、表示制御部58は、例えば図6,7に示したような、被写体距離が近すぎること(内視鏡2を観察対象である生体から遠ざける必要があること)を示すガイド情報を立体表示装置9に表示させる(S116)。
【0072】
<1−4.第一の実施形態の効果>
以上、第一の実施形態について説明した。本実施形態によれば、ユーザ(スコピスト)は、表示されたガイド情報に従って撮影状況の制御を行うことで、観察するユーザに眼精疲労や不快感を与え難い立体視画像を取得することが可能になる。本実施形態では、ガイド情報により被写体距離の変更(制御)を誘導する例を説明したが、上述した通り、医療現場においては変更可能なパラメータが限られているため、被写体距離の変更による視差の調整は特に医療現場において合理的かつ有効である。
【0073】
<<2.第二の実施形態>>
上述した第一の実施形態では、ユーザ(スコピスト)が撮影状況の制御を行うためのガイド情報を表示することで、観察するユーザに眼精疲労や不快感を与え難い立体視画像の取得を支援する。これに対し、以下では、第二の実施形態として、画像処理により、ユーザに与える眼精疲労や不快感が軽減されるような仮想視点画像を生成する、内視鏡手術システムの例について説明する。第二の実施形態に係る内視鏡手術システムでは、仮想視点画像を生成して表示させることで、例えば、手術等の都合上、被写体距離を適正範囲に変更できない場合であっても、ユーザに与える眼精疲労や不快感を軽減することが可能である。以下では、上記の効果を奏する第二の実施形態の構成と動作を順次詳細に説明する。
【0074】
<2−1.第二の実施形態の構成>
本開示の第二の実施形態に係る内視鏡手術システム(生体内撮像システム)は、図1を参照して説明した第一の実施形態に係る内視鏡手術システム(生体内撮像システム)1と一部において同様の構成を有するが、CCUの構成が異なる。以下では、図9を参照して、第二の実施形態に係るCCU5−2の構成について説明する。
【0075】
図9は、本実施形態に係るCCU5−2の構成例を示す説明図である。図9に示すように、本実施形態に係るCCU5−2は、信号処理部52と、評価部54と、仮想視点画像生成部56と、表示制御部59とを備える情報処理装置である。図9に示す信号処理部52、及び評価部54の構成は、それぞれ図3を参照して説明した図9に示す信号処理部52、及び評価部54の構成と実質的に同一であるため、ここでの説明は省略する。
【0076】
仮想視点画像生成部56は、評価部54が算出した評価値、及び判定部546による判定結果に基づき、仮想視点を設定し、仮想視点画像を生成する。仮想視点画像は、周知の仮想視点画像生成技術(自由視点映像生成技術)により、仮想的に設定された仮想視点の画像を実際の立体視画像から画像処理的に生成(合成)することで得られる画像である。評価値に基づいて仮想視点を適切に設定し、仮想視点画像を立体表示装置9に表示させることで、ユーザに与える眼精疲労や不快感を軽減し得る効果がある。
【0077】
例えば、仮想視点画像生成部は、仮想視点画像にかかる視差が所定の範囲内に収まるように、仮想視点を設定して、仮想視点画像を生成してもよい。例えば、視差角θとディスプレイ上の視差Dについて、数式(6)〜(9)の条件が満たされるように、数式(4)、(5)に存在する各パラメータを設定した仮想視点を設定することで、上記のような仮想視点画像の生成が実現可能である。ここで、数式(4)、(5)に含まれるパラメータのうち、視環境に関するパラメータであるディスプレイサイズの画素幅k、視距離L、シフト量sは不変であるとする。一方、数式(4)、(5)に含まれるパラメータのうち、撮影に関するパラメータである焦点距離f、及び基線長Bは仮想視点画像生成技術により、任意に設定することが可能である。以下では、仮想視点画像生成技術による仮想視点設定における焦点距離、及び基線長の設定について、図10を参照して説明を行う。
【0078】
図10は、仮想視点画像生成技術による仮想視点設定例について説明するための模式的な説明図である。図10は、実際の左カメラと右カメラよりも焦点距離、及び基線長が小さいような左仮想視点と右仮想視点が設定される例を示している。なお、数式(4)、(5)を参照すれば、焦点距離f(>0)及び基線長B(>0)が小さい程、視差角θ、及びディスプレイ上の視差Dの絶対値は小さくなり、快適立体視条件を満たしやすくなる。
【0079】
図10に示す観察対象の生体O、各カメラの光学中心C、C、各カメラの光軸A、A、各カメラのイメージセンサ面IS、IS、座標x、x、各カメラの焦点距離f、及び基線長Bは、それぞれ図4を参照して説明した通りである。図10に示す参照符号C´、C´は、それぞれ左仮想視点と右仮想視点の光学中心を示している。また、図10に示す参照符号x´、x´は、それぞれ左仮想視点と右仮想視点のイメージセンサ面IS´、IS´における、観察対象の生体Oの座標(投影位置)を示している。また、図10に示す距離f´は、左仮想視点、及び右仮想視点の焦点距離であり、図10に示す距離B´は、左仮想視点、及び右仮想視点の光学中心間距離(基線長)である。図10に示すように、実際のカメラの焦点距離fよりも仮想視点の焦点距離f´の方が小さく、実際のカメラにおける基線長Bよりも仮想視点における基線長B´の方が小さい。その結果、実際のカメラにおけるイメージセンサ上の視差(x-x)の絶対値よりも、仮想視点におけるイメージセンサ上の視差(x´-x´)の絶対値の方が小さくなっていることがわかる。
【0080】
以上のように、撮影に関するパラメータ(焦点距離、及び基線長)を任意に設定することで、視差を調整可能であり、例えば、仮想視点画像にかかる視差が所定の範囲内に収まるような仮想視点画像を生成することが可能である。
【0081】
かかる構成によれば、例えば、手術の都合等により内視鏡2を観察対象である生体に非常に近づける必要がある場合であっても、上記のように生成した仮想視点画像を表示させることで、ユーザに与える眼精疲労や不快感を軽減することが可能である。
【0082】
表示制御部59は、評価部54による判定結果、及び仮想視点画像生成部56が設定した仮想視点に応じて、ガイド情報を生成し、当該ガイド情報の表示を制御する。
【0083】
例えば、表示制御部59は、評価部54により快適立体視条件が満たされていると判定された場合は、被写体距離を維持するように誘導するガイド情報を、信号処理部52から取得した立体視画像に重畳させた画面(例えば図5)を、立体表示装置9に表示させる。
【0084】
また、表示制御部59は、評価部54により快適立体視条件が満たされていないと判定された場合は、快適立体視条件が満たされないため、仮想視点画像を生成して表示していることを示すガイド情報を生成する。また、この場合、表示制御部59は、当該ガイド情報を仮想視点画像生成部56が生成した仮想視点画像に重畳させた画面を、立体表示装置9に表示させる。
【0085】
図11は、快適立体視条件が満たされていないと判定された場合に、表示制御部59が立体表示装置9に表示させるガイド情報、及びガイド情報を仮想視点画像に重畳させた画面の一例を示す説明図である。
【0086】
図11に示すガイド情報G30は、適正な被写体距離であることを示す領域G31、被写体距離が近すぎることを示す領域G32、被写体距離が遠すぎることを示す領域G33、現在の被写体距離を模式的に示すマーカG34、及びメッセージG35を有する。ここで、図11に示すマーカG34は、被写体距離が近すぎることを示す領域G32に存在する。したがって、図11に示す例では、被写体距離が近すぎるために実際のカメラによる立体視画像では快適立体視条件が満たされず、快適立体視条件を満たすように生成された仮想視点画像が表示されている。メッセージG35は、被写体距離が快適立体視条件を満たす範囲外であるために、仮想視点画像が表示されていること(仮想視点画像表示状態)を示すメッセージである。
【0087】
上記のようなメッセージG35が表示されることにより、ユーザは、実際に内視鏡2により取得された立体視画像ではなく、画像処理により生成された仮想視点画像が表示されていること、を把握することが可能である。また、ユーザ(スコピスト)は、マーカG34が存在する領域を確認することで、どのように内視鏡2を操作すれば仮想視点画像ではなく、実際に内視鏡2により取得された立体視画像が表示されるようになるか、を把握することが可能である。
【0088】
<2−2.第二の実施形態の動作>
以上、本開示の第一の実施形態に係る内視鏡手術システム1が有するCCU5−2の構成例について説明した。続いて、図12を参照して、本実施形態に係る内視鏡手術システム1の動作例について説明する。図12は、本実施形態に係る内視鏡手術システム1による仮想視点画像生成、及びガイド表示に係る動作を説明するための説明図である。
【0089】
まず、評価部54は、立体視画像の各位置について被写体距離Zを算出する(S202)。続いて、評価部54は、立体視画像の各位置における被写体距離Zのうち、最小の被写体距離Zminと、最大の被写体距離Zmaxを選択する(S204)。さらに、評価部54は、選択された最小被写体距離Zmin、及び最大被写体距離Zmaxのそれぞれに対応する評価値として、視差角θminとディスプレイ上の視差Dmin、及び視差角θmaxとディスプレイ上の視差Dmaxを算出する(S206)。
【0090】
続いて、評価部54は、最小被写体距離Zminに対応する視差角θminとディスプレイ上の視差Dminが所定範囲内であるか否かを判定する(S208)。当該判定は、例えば数式(6)、(7)を用いて行われてもよい。視差角θmin、及びディスプレイ上の視差Dminが所定範囲内であった場合(S208においてYes)、評価部54は、最小被写体距離Zmaxに対応する視差角θmaxとディスプレイ上の視差Dmaxが所定範囲内であるか否かを判定する(S210)。当該判定は、例えば数式(8)、(9)を用いて行われてもよい。
【0091】
視差角θmax、及びディスプレイ上の視差Dmaxが所定範囲内であった場合(S210においてYes)、表示制御部59は、例えば図5に示したような、被写体距離が適正範囲内であることを示すガイド情報を立体表示装置9に表示させる(S212)。
【0092】
視差角θminとディスプレイ上の視差Dminが所定範囲外であった場合(S208においてNo)、または視差角θmaxとディスプレイ上の視差Dmaxが所定範囲外であった場合(S210においてNo)、仮想視点画像生成部56が仮想視点画像を生成する(S214)。この時、仮想視点画像生成部56は、所定範囲外となった視差角、またはディスプレイ上の視差が所定範囲内となるように、撮影に関するパラメータを設定して、仮想視点画像を生成する。
【0093】
続いて、表示制御部59は、例えば図11に示したような、被写体距離が快適立体視条件を満たす範囲外であるために、仮想視点画像が表示されていること(仮想視点画像表示状態)を示すガイド情報を立体表示装置9に表示させる(S216)。
【0094】
<2−3.第二の実施形態の効果>
以上、第二の実施形態について説明した。本実施形態によれば、仮想視点画像を生成して表示させることで、例えば、手術等の都合上、被写体距離を適正範囲に変更できない場合であっても、ユーザに与える眼精疲労や不快感を軽減することが可能である。なお、第二の実施形態による仮想視点画像生成、及び表示の機能は、ユーザ操作によりオン/オフが切り替えられてもよい。例えば、ユーザ操作により第一の実施形態と第二の実施形態が切り替えられてもよい。
【0095】
<<3.変形例>
以上、本発明の第一の実施形態、及び第二の実施形態について説明した。以下では、上記各実施形態の幾つかの変形例を説明する。なお、以下に説明する各変形例は、単独で各実施形態に適用されてもよいし、組み合わせで各実施形態に適用されてもよい。また、各変形例は、各実施形態で説明した構成に代えて適用されてもよいし、各実施形態で説明した構成に対して追加的に適用されてもよい。
【0096】
<3−1.変形例1>
上記では、被写体距離に関するガイド情報が表示され、当該ガイド情報が誘導する撮影状況の制御は、被写体距離の維持または変更である例を説明したが、本技術は上記の例に限定されない。例えば、内視鏡2が観察対象である生体内を拡大(例えば電子ズーム)して撮影可能な場合、拡大率に関するガイド情報が表示され、当該ガイド情報は、拡大率を変更することを誘導してもよい。
【0097】
ここで、拡大率をmとすると、拡大後のディスプレイ上の視差D´と、拡大前のディスプレイ上の視差Dとの関係は、次式のようになる。
【0098】
【数7】
【0099】
数式(10)のようにディスプレイ上の視差は拡大率に応じて拡大される。この時、拡大後の視差角θ´は、次式のように近似される。
【数8】
【0100】
本変形例にかかる評価部は、数式(10)、(11)を用いて、上記各実施形態と同様に評価値の算出、判定等を行う。また、本変形例にかかる表示制御部は、拡大率に関するガイド情報を生成し、当該ガイド情報の表示を制御する。
【0101】
図13は、上記第一の実施形態に本変形例を適用した場合に表示制御部が表示させるガイド情報、及び画面の一例を示す説明図である。図13に示すガイド情報G20は、適正な拡大率であることを示す領域G21、拡大率が大きすぎることを示す領域G22、及び現在の拡大率を示すマーカG23を有する。ここで、図13に示すマーカG23は、適正な拡大率であることを示す領域G21に存在する。つまり、図13に示すガイド情報G20は、現在の拡大率が適正であり、現在表示されている立体視画像が、快適立体視条件を満たしていることを示し、現在の撮影状況を維持することを誘導している。
【0102】
なお、第一の実施形態に本変形例を適用した場合に表示制御部が表示させるガイド情報は上記の例に限定されない。例えば、拡大率が大きすぎる場合には、視差を調整するための撮影状況の制御として、図6を参照して説明したような矢印や、図7を参照して説明した警告メッセージにより、拡大率を小さくすることを誘導してもよい。
【0103】
図14は、上記第二の実施形態に本変形例を適用した場合に表示制御部が表示させるガイド情報、及び画面の一例を示す説明図である。図14に示すガイド情報G40は、適正な拡大率であることを示す領域G41、拡大率が大きすぎることを示す領域G42、及び現在の拡大率を示すマーカG43、及びメッセージG44を有する。ここで、図14に示すマーカG43は、拡大率が大きすぎることを示す領域G42に存在する。したがって、図14に示す例では、拡大率が多きすぎるために実際のカメラによる立体視画像では快適立体視条件が満たされず、快適立体視条件を満たすように生成された仮想視点画像が表示されている。メッセージG44は、拡大率が快適立体視条件を満たす範囲外であるために、仮想視点画像が表示されていること(仮想視点画像表示状態)を示すメッセージである。
【0104】
本変形例によれば、拡大率を変更している場合であっても、ユーザに眼精疲労や不快感を与え難い立体視画像を取得や表示が可能となる。
【0105】
<3−2.変形例2>
上記第二の実施形態では、実際の内視鏡(生体内撮像装置)よりも基線長、及び焦点距離が小さい仮想視点を設定し、仮想視点画像を生成することで快適立体視条件を満たす例を説明したが、本技術はかかる例に限定されない。例えば、内視鏡(生体内撮像装置)が基線長や焦点距離をモータ等により物理的に制御する機構を有し、基線長や焦点距離を実際に変更する(小さくする)ことで、快適立体視条件を満たしてもよい。また、かかる場合、表示制御部は物理的に基線長や焦点距離が変更されたことを示すガイド情報を生成し、当該ガイド情報の表示を制御してもよい。
【0106】
かかる構成によれば、手術等の都合上、被写体距離を適正範囲に変更できない場合であっても、仮想視点画像ではなく、実際に内視鏡(生体内撮像装置)により取得された立体視画像により、ユーザに与える眼精疲労や不快感を軽減することが可能である。
【0107】
<<4.ハードウェア構成例>>
以上、本開示の各実施形態と各変形例を説明した。上述した評価値算出処理、判定処理、表示制御処理などの情報処理は、ソフトウェアと、以下に説明するCCU5(CCU5−1、5−2)のハードウェアとの協働により実現される。
【0108】
図15は、CCU5のハードウェア構成の一例を示す説明図である。CCU5は、例えば、FPGAボード501と、CPU502と、GPUボード5031、5032と、メモリ504と、IOコントローラ505と、記録媒体506と、インタフェース507とを備える。また、FPGAボード501、CPU502、及びGPUボード5031、5032は、例えば、バス508で接続される。FPGAボード501は、例えば、FPGAと図1の内視鏡2から入力画像信号が入力される入力インタフェースと、図1の立体表示装置9に出力画像信号が出力される出力インタフェースを含む。
【0109】
CPU502と、GPUボード5031、5032とは、例えば、関連するソフトフェアなどの各種ソフトウェアを実行して、様々な処理を行う。CPU502は、プロセッサを備えている。GPUボード5031、5032それぞれは、GPU(Graphics Processing Unit)とDRAM(Dynamic Random Access Memory)を備えている。
【0110】
メモリ504には、例えば、内視鏡2から入力画像信号に対応するデータや、立体表示装置9への出力画像信号に対応するデータなど、様々なデータが記憶される。CPU502は、メモリ504への各種データの書き込みや読み出しを制御する役目を果たす。
CPU502は、メモリ504に記憶させたデータと、GPUボード5031、5032の処理能力と、処理内容に応じて、メモリ504に記憶された画像データを分割する。そして、GPUボード5031、5032のそれぞれのGPUは、分割されて供給されてくるデータに所定の処理を施し、処理結果をCPU502に出力する。
【0111】
IOコントローラ505は、例えば、CPU502と、記録媒体506、及びインタフェース507との間の信号の伝達を制御する役目を果たす。
【0112】
記録媒体506は、記憶部(図示せず)として機能し、画像データや、各種アプリケーションなど様々なデータを記憶する。ここで、記録媒体506としては、例えば、ソリッドステートドライブなどが挙げられる。また、記録媒体506は、CCU5から着脱可能であってもよい。
【0113】
インタフェース507としては、例えば、USB(Universal Serial Bus)端子、及び処理回路や、LAN(Local Area Network)端子、及び送受信回路などが挙げられる。
【0114】
なお、CCU5のハードウェア構成は、図15に示す構成に限られない。例えば、図15では、GPUボード5031、5032の2枚である例が示されているが、2枚以上の枚数であってもよい。また、CPU502がGPUの機能を有している場合には、CCU5は、GPUボード5031、5032を備えていなくてもよい。
【0115】
<<5.むすび>>
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【0116】
例えば、上記実施形態では、最小被写体距離に対応する評価値に関する判定の後に、最大被写体距離に対応する評価値に関する判定を行って(例えば図8等参照)、判定結果に対応するガイド表示を行う例を説明したが、本技術はかかる例に限定されない。例えば、最小被写体距離に対応する評価値に関する判定と最大被写体距離に対応する評価値に関する判定の順番は逆でもよい。また、判定に用いられる評価値は、最大被写体距離や最小被写体距離に対応する評価値に限定されず、例えば被写体距離の平均値に対応する評価値や、立体視画像の中心領域から算出される評価値であってもよい。また、判定に用いられる評価値は、立体視画像のうち、ユーザが注目する領域、またはユーザが注目すると推定される領域から算出される評価値であってもよい。
【0117】
また、上記実施形態では、内視鏡が有する左カメラ(左目用カメラ)と右カメラ(右目用カメラ)の光軸が平行である例を説明したが、本技術はかかる例に限定されない。例えば、本技術は2つのカメラの光軸が交差する(光軸の輻輳角>0)場合であっても適用可能である。なお、2つのカメラの光軸が交差する場合、光軸の輻輳角を考慮して評価値を算出してもよい。また、上記第二の実施形態や、変形例2において基線長、及び焦点距離が変更されたのと同様に、仮想視点設定や物理的な制御により光軸の輻輳角を変更することで、視差を調整し、快適視差範囲を満たしてもよい。
【0118】
また、上記実施形態では、ステレオマッチング技術により得られる視差に基づいて被写体距離が算出される例を説明したが、本技術はかかる例に限定されない。例えば、生体内撮像システムが距離センシングデバイス等を備え、距離センシングデバイス等により被写体距離が取得されてもよい。
【0119】
また、上記実施形態では、説明を容易にするため、各カメラがピンホールカメラモデルで記述可能であるとして説明を行ったが、一般的なカメラ(生体内撮像装置)であっても同様のことが成り立つ。また、上記実施形態では、生体内撮像システムが備える生体内撮像装置が3D内視鏡である例を説明したが、生体内撮像システムが備える生体内撮像装置は、3D内視鏡に限定されず、例えば2以上のカメラを有するビデオ顕微鏡であってもよい。
【0120】
また、上記実施形態では、評価値(視差)に関する所定範囲は、観察するユーザが快適に立体視可能な範囲であるように設定される例を説明したが、本技術はかかる例に限定されない。例えば、上記所定範囲は、立体視可能な限界範囲であるように設定されてもよいし、十分な立体感を得られる範囲であるように設定されてもよい。また、立体視に関する不快感等には個人差が有るため、個々人に適合した範囲が上記所定範囲として用いられてもよい。また、時間の経過とともに観察するユーザに疲労がたまることを考慮して、動的に上記所定範囲が設定(更新)されてもよい。また、撮影シーンの画像解析処理により得られるシーンの奥行き分布等に基づいて、上記所定範囲が設定されてもよい。
【0121】
また、上記実施形態では、ユーザ(スコピスト)が生体内撮像装置(内視鏡)を保持し、操作する例を説明したが、本技術はかかる例に限定されない。例えば、本技術に係る生体内撮像システムは、生体内撮像装置を保持するロボット等の保持機構を備えてもよい。また、ユーザがロボット等の保持機構を制御することで当該生体内撮像装置を操作してもよいし、CCU(情報処理装置)が当該保持機構を制御することで、視差を調整し、快適視差範囲を満たしてもよい。
【0122】
また、上記実施形態における各ステップは、必ずしもフローチャート図として記載された順序に沿って時系列に処理する必要はない。例えば、上記実施形態の処理における各ステップは、フローチャート図として記載した順序と異なる順序で処理されても、並列的に処理されてもよい。
【0123】
また、本実施形態によれば、FPGAボード501、CPU502、メモリ504、などのハードウェアに、上述したCCU5の各構成と同様の機能を発揮させるためのコンピュータプログラムも提供可能である。また、該コンピュータプログラムが記録された記録媒体も提供される。
【0124】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示にかかる技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【0125】
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
生体内の撮像に基づいて得られる立体視画像を見てユーザが知覚する視差についての評価値を特定する評価部と、
前記評価値に基づいて、前記視差の調整のための撮影状況の制御を誘導するガイド情報の表示を制御する表示制御部と、
を備える情報処理装置。
(2)
前記ガイド情報は、前記視差が所定の範囲内に収まるように前記撮影状況の制御を誘導する、前記(1)に記載の情報処理装置。
(3)
前記ガイド情報は、撮像の対象である生体と生体内撮像装置の間の被写体距離を変更することを誘導する、前記(1)または(2)に記載の情報処理装置。
(4)
前記ガイド情報は、拡大率を変更することを誘導する、前記(1)〜(3)のいずれか一項に記載の情報処理装置。
(5)
前記評価部は、視差角に基づいて前記評価値を特定する、前記(1)〜(4)のいずれか一項に記載の情報処理装置。
(6)
前記評価部は、撮像の対象である生体と生体内撮像装置の間の被写体距離に基づいて前記評価値を特定する、前記(1)〜(5)のいずれか一項に記載の情報処理装置。
(7)
前記評価部は、前記立体視画像における前記被写体距離のうち、最大の被写体距離に対応する評価値を特定する、前記(6)に記載の情報処理装置。
(8)
前記評価部は、前記立体視画像における前記被写体距離のうち、最小の被写体距離に対応する評価値を特定する、前記(6)または(7)に記載の情報処理装置。
(9)
前記評価値に基づいて、仮想視点画像を生成する仮想視点画像生成部をさらに備える、前記(1)〜(8)のいずれか一項に記載の情報処理装置。
(10)
前記仮想視点画像生成部は、前記仮想視点画像にかかる視差が所定の範囲内に収まるように、前記仮想視点画像を生成する、前記(9)に記載の情報処理装置。
(11)
生体内の撮像に基づいて得られる立体視画像を見てユーザが知覚する視差についての評価値を特定することと、
前記評価値に基づいて、撮影状況の制御による前記評価値の調整を誘導するガイド情報の表示を制御することと、
を含む、情報処理方法。
(12)
生体内を撮像する生体内撮像装置と、
前記生体内の撮像に基づいて得られる立体視画像を見てユーザが知覚する視差についての評価値を特定する評価部と、
前記評価値に基づいて、撮影状況の制御による前記視差の調整を誘導するガイド情報の表示を制御する表示制御部、
を備える情報処理装置と、
を有する、生体内撮像システム。
(13)
前記生体内撮像装置は、内視鏡である、
前記(12)に記載の生体内撮像システム。
(14)
前記生体内撮像装置は、ビデオ顕微鏡である、
前記(12)に記載の生体内撮像システム。
(15)
前記生体内撮像装置を保持する保持機構をさらに備える、
前記(12)〜(14)のいずれか一項に記載の生体内撮像システム。
【符号の説明】
【0126】
1 内視鏡手術システム(生体内撮像システム)
2 内視鏡(生体内撮像装置)
5 CCU(カメラコントロールユニット)
9 立体表示装置
52 信号処理部
54 評価部
56 仮想視点画像生成部
58、59 表示制御部
541 視差算出部
542 被写体距離算出部
544 視差角算出部
546 判定部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15