特開 2023-121888 ３次元映像生成装置及び３次元映像生成方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023121888

(43)【公開日】2023-09-01

(54)【発明の名称】３次元映像生成装置及び３次元映像生成方法

(51)【国際特許分類】

   H04N 13/106 20180101AFI20230825BHJP

   H04N 13/239 20180101ALI20230825BHJP

   H04N 13/128 20180101ALI20230825BHJP

   A61B 34/00 20160101ALI20230825BHJP

   G03B 35/08 20210101ALI20230825BHJP

   H04N 13/122 20180101ALI20230825BHJP

【ＦＩ】

H04N13/106

H04N13/239

H04N13/128

A61B34/00

G03B35/08

H04N13/122

【審査請求】未請求

【請求項の数】4

【出願形態】ＯＬ

(21)【出願番号】P 2022025221

(22)【出願日】2022-02-22

(71)【出願人】

【識別番号】308036402

【氏名又は名称】株式会社ＪＶＣケンウッド

(74)【代理人】

【識別番号】100083806

【弁理士】

【氏名又は名称】三好 秀和

(74)【代理人】

【識別番号】100101247

【弁理士】

【氏名又は名称】高橋 俊一

(72)【発明者】

【氏名】生越 大輔

(72)【発明者】

【氏名】福本 誠

(72)【発明者】

【氏名】畑中 正雄

(72)【発明者】

【氏名】小暮 一輝

【テーマコード（参考）】

2H059

5C061

【Ｆターム（参考）】

2H059AA10

2H059AA17

5C061AA01

5C061AB04

5C061AB06

5C061AB14

5C061AB18

(57)【要約】

【課題】振動が少ない３次元映像データを送信することができる３次元映像送信装置を提供する。
【解決手段】右撮像部３Ｒ及び左撮像部３Ｌは、撮影者と被写体との距離が所定の距離である初期状態で、被写体上に配置した切り出し位置決定用の枠が視野内に位置するように被写体を撮像する。基準となる一方の画像を処理する右画像処理部５Ｒと左画像処理部５Ｌとのうちの一方の画像処理部は、初期状態で、枠の位置が基準となる一方の画像における画像領域における所定の位置と一致するように右画像領域と左画像領域とのうちの一方の画像領域を切り出す。右画像処理部５Ｒと左画像処理部５Ｌとのうちの他方の画像を処理する画像処理部は、初期状態で、一方の画像処理部が切り出した一方の画像領域の位置に応じて右画像領域と左画像領域とのうちの他方の画像領域を切り出す。
【選択図】図１

【特許請求の範囲】

【請求項1】

撮影者と被写体との距離が所定の距離である初期状態で、前記被写体上に配置した切り出し位置決定用の枠が視野内に位置するように前記被写体を撮像する右撮像部及び左撮像部と、
前記右撮像部より出力される右画像データを構成する各フレームにおける部分的な画像領域である右画像領域を切り出して、右切り出し画像を生成する右画像処理部と、
前記左撮像部より出力される左画像データを構成する各フレームにおける前記右画像領域と同じ大きさを有する部分的な画像領域である左画像領域を切り出して、左切り出し画像を生成する左画像処理部と、
を備え、
前記右画像処理部及び前記左画像処理部は、前記右撮像部で撮像した画像と前記左撮像部で撮像した画像の一方を基準として前記右画像領域の位置と前記左画像領域の位置を決定し、
前記基準となる一方の画像を処理する前記右画像処理部と前記左画像処理部とのうちの一方の画像処理部は、前記初期状態で、前記枠の位置が前記基準となる一方の画像における画像領域における所定の位置と一致するように前記右画像領域と前記左画像領域とのうちの一方の画像領域を切り出し、
前記右画像処理部と前記左画像処理部とのうちの他方の画像を処理する画像処理部は、前記初期状態で、前記一方の画像処理部が切り出した前記一方の画像領域の位置に応じて前記右画像領域と前記左画像領域とのうちの他方の画像領域を切り出す
３次元映像生成装置。

【請求項2】

前記右撮像部及び前記左撮像部は、互いの倍率が同じ倍率となるように連動して動作するズーム機能を備え、
前記右撮像部より出力される右画像データにおける前記枠の位置と前記左撮像部より出力される左画像データにおける前記枠の位置とに基づいて、右画像と左画像との視差量を算出する視差量算出部をさらに備え、
前記初期状態からズーム動作が行われたとき、前記他方の画像処理部は、前記一方の画像処理部が切り出した前記一方の画像領域の水平方向の位置に対し、ズーム動作前後の視差量及びズーム動作前後の枠の大きさの変化率に応じて補正した距離だけずらした位置で前記他方の画像領域を切り出す
請求項１に記載の３次元映像生成装置。

【請求項3】

前記右撮像部及び前記左撮像部は、互いの倍率が同じ倍率となるように連動して動作するズーム機能を備え、
前記右撮像部より出力される右画像データにおける前記枠の位置と前記左撮像部より出力される左画像データにおける前記枠の位置とに基づいて、右画像と左画像との視差量を算出する視差量算出部と、
前記基準となる一方の画像における前記枠の大きさが一定になるように前記右撮像部と前記左撮像部のズーム量を制御する制御部と、
をさらに備え、
前記初期状態からズーム動作が行われたとき、前記他方の画像処理部は、前記一方の画像処理部が切り出した前記一方の画像領域の水平方向の位置に対し、ズーム動作前後の視差量に応じて補正した距離だけずらした位置で前記他方の画像領域を切り出す
請求項１に記載の３次元映像生成装置。

【請求項4】

右撮像部及び左撮像部が、撮影者と被写体との距離が所定の距離である初期状態で、前記被写体上に配置した切り出し位置決定用の枠が視野内に位置するように前記被写体を撮像し、
右画像処理部が、前記右撮像部より出力される右画像データを構成する各フレームにおける部分的な画像領域である右画像領域を切り出して右切り出し画像を生成し、
左画像処理部が、前記左撮像部より出力される左画像データを構成する各フレームにおける前記右画像領域と同じ大きさを有する部分的な画像領域である左画像領域を切り出して左切り出し画像を生成し、
前記右撮像部で撮像した画像と前記左撮像部で撮像した画像のうちの一方を基準として、前記基準となる一方の画像を処理する前記右画像処理部と前記左画像処理部とのうちの一方の画像処理部が、前記初期状態で、前記枠の位置が前記基準となる一方の画像における画像領域における所定の位置と一致するように前記右画像領域と前記左画像領域とのうちの一方の画像領域を切り出し、
前記右撮像部で撮像した画像と前記左撮像部で撮像した画像のうちの他方の画像を処理する前記右画像処理部と前記左画像処理部とのうちの他方の画像処理部が、前記初期状態で、前記一方の画像処理部が切り出した前記一方の画像領域の位置に応じて前記右画像領域と前記左画像領域とのうちの他方の画像領域を切り出す
３次元映像生成方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、３次元映像生成装置及び３次元映像生成方法に関する。

【背景技術】

【0002】

特許文献１には、手術室とは離れた遠隔地にいる指導者としての医師が、手術室にいる術者を支援して患者を手術する遠隔手術支援システムが記載されている。特許文献２には、術者の頭部に装着したカメラによって患者の術部を動画撮影することが記載されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０００－２７１１４７号公報

【特許文献2】特開２０１５－２００１２号公報

【特許文献3】国際公開第２０１２／１３１９７９号

【特許文献4】特開２０１２－１８２７８６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献２に記載されているカメラをステレオカメラとして、術者が患者を手術する状況を立体的に撮影した３次元映像データを指導者が見る３次元映像表示装置へと送信すれば、指導者は、術者が患者を手術する状況を立体的に把握することが可能となる。

【0005】

術者のわずかな動作または呼吸等によって３次元映像が振動すると、指導者が見る３次元映像も振動した状態となる。すると、指導者が術部を正確に確認できなかったり、映像酔いを引き起こしたりするという不具合を招くことがある。振動が少ない３次元映像を指導者に提供することが望まれる。

【0006】

本発明は、振動が少ない３次元映像データを生成することができる３次元映像生成装置及び３次元映像生成方法を提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明は、撮影者と被写体との距離が所定の距離である初期状態で、前記被写体上に配置した切り出し位置決定用の枠が視野内に位置するように前記被写体を撮像する右撮像部及び左撮像部と、前記右撮像部より出力される右画像データを構成する各フレームにおける部分的な画像領域である右画像領域を切り出して、右切り出し画像を生成する右画像処理部と、前記左撮像部より出力される左画像データを構成する各フレームにおける前記右画像領域と同じ大きさを有する部分的な画像領域である左画像領域を切り出して、左切り出し画像を生成する左画像処理部とを備え、前記右画像処理部及び前記左画像処理部は、前記右撮像部で撮像した画像と前記左撮像部で撮像した画像の一方を基準として前記右画像領域の位置と前記左画像領域の位置を決定し、前記基準となる一方の画像を処理する前記右画像処理部と前記左画像処理部とのうちの一方の画像処理部は、前記初期状態で、前記枠の位置が前記基準となる一方の画像における画像領域における所定の位置と一致するように前記右画像領域と前記左画像領域とのうちの一方の画像領域を切り出し、前記右画像処理部と前記左画像処理部とのうちの他方の画像を処理する画像処理部は、前記初期状態で、前記一方の画像処理部が切り出した前記一方の画像領域の位置に応じて前記右画像領域と前記左画像領域とのうちの他方の画像領域を切り出す３次元映像生成装置を提供する。

【0008】

本発明は、右撮像部及び左撮像部が、撮影者と被写体との距離が所定の距離である初期状態で、前記被写体上に配置した切り出し位置決定用の枠が視野内に位置するように前記被写体を撮像し、右画像処理部が、前記右撮像部より出力される右画像データを構成する各フレームにおける部分的な画像領域である右画像領域を切り出して右切り出し画像を生成し、左画像処理部が、前記左撮像部より出力される左画像データを構成する各フレームにおける前記右画像領域と同じ大きさを有する部分的な画像領域である左画像領域を切り出して左切り出し画像を生成し、前記右撮像部で撮像した画像と前記左撮像部で撮像した画像のうちの一方を基準として、前記基準となる一方の画像を処理する前記右画像処理部と前記左画像処理部とのうちの一方の画像処理部が、前記初期状態で、前記枠の位置が前記基準となる一方の画像における画像領域における所定の位置と一致するように前記右画像領域と前記左画像領域とのうちの一方の画像領域を切り出し、前記右撮像部で撮像した画像と前記左撮像部で撮像した画像のうちの他方の画像を処理する前記右画像処理部と前記左画像処理部とのうちの他方の画像処理部が、前記初期状態で、前記一方の画像処理部が切り出した前記一方の画像領域の位置に応じて前記右画像領域と前記左画像領域とのうちの他方の画像領域を切り出す３次元映像生成方法を提供する。

【発明の効果】

【0009】

本発明の３次元映像生成装置及び３次元映像生成方法によれば、振動が少ない３次元映像データを生成することができる。

【図面の簡単な説明】

【0010】

【図1】一実施形態の３次元映像生成装置を示すブロック図である。

【図2】３次元映像受信装置の構成例を示すブロック図である。

【図3】患者を手術する術者を簡略的に示す図である。

【図4】患者の上に枠を配置した状態で患者を撮影する術者を簡略的に示す図である。

【図5】患者の上に配置する枠の一例を示す上面図である。

【図6】術者を指導する指導者を簡略的に示す図である。

【図7】３次元映像受信装置が３次元映像生成装置に送信する支援画像の一例を示す図である。

【図8】術者が視認する患者に支援画像が重畳された状態を示す図である。

【図9】初期状態で、右画像処理部及び左画像処理部が右画像及び左画像のフレームから右切り出し画像及び左切り出し画像を切り出す状態を示す図である。

【図10】術者が患者に近付いた状態で、右画像処理部及び左画像処理部が右画像及び左画像のフレームから右切り出し画像及び左切り出し画像を切り出す状態を示す図である。

【図11】ズームを制御して患者を拡大した第１の拡大状態で、右画像処理部及び左画像処理部が右画像及び左画像のフレームから右切り出し画像及び左切り出し画像を切り出す状態を示す図である。

【図12】術者が患者に近付き、さらにズームを制御して患者を拡大した第２の拡大状態で、右画像処理部及び左画像処理部が右画像及び左画像のフレームから右切り出し画像及び左切り出し画像を切り出す状態を示す図である。

【発明を実施するための形態】

【0011】

以下、一実施形態の３次元映像生成装置及び３次元映像生成方法について、添付図面を参照して説明する。図１は一実施形態の３次元映像生成装置１００を示す。図１に示す３次元映像生成装置１００と図２に示す３次元映像受信装置２００とは、遠隔手術支援システムを構成している。

【0012】

図１に示すように、３次元映像生成装置１００は、制御部１、操作部２、右撮像部３Ｒ、左撮像部３Ｌ、視差量算出部４、右画像処理部５Ｒ、左画像処理部５Ｌ、映像信号処理部６、ネットワーク送信部７を備える。また、３次元映像生成装置１００は、ネットワーク受信部８、映像表示駆動部９、左右映像表示部１０を備える。３次元映像生成装置１００は、ネットワーク受信部８、映像表示駆動部９、左右映像表示部１０を備えない構成であってもよい。

【0013】

制御部１は、図３に示す術者１１０または術者１１０をサポートする図示していない看護師等が操作部２を操作することによって、右撮像部３Ｒ及び左撮像部３Ｌによる図３に示す患者１２０の撮影の開始及び終了を制御する。患者１２０は、術部に対応する箇所が開口したドレープで覆われている。右撮像部３Ｒ及び左撮像部３Ｌはステレオカメラを構成する。右撮像部３Ｒ及び左撮像部３Ｌは、フォーカスレンズ及びズームレンズを備える。

【0014】

制御部１は、右撮像部３Ｒ及び左撮像部３Ｌにおけるフォーカス及びズームを制御する。制御部１は、操作部２による手動ズームモードとオートズームモードとの選択に応じてモードを切り替えるよう３次元映像生成装置１００を制御する。制御部１が３次元映像生成装置１００を手動ズームモードに設定しているとき、術者１１０は、操作部２を操作することによって、右撮像部３Ｒ及び左撮像部３Ｌにおけるズームを手動で調整することができる。

【0015】

左右映像表示部１０は、図３に示すような、現実空間上に仮想の視覚情報を重ねて表示する拡張現実（ＡＲ：Augmented Reality）用のゴーグル（以下、ＡＲゴーグル）であるのがよい。右撮像部３Ｒ及び左撮像部３Ｌは、術者１１０の左目１１Ｌ及び右目１１Ｒに対応するようにＡＲゴーグルに装着されている。術者１１０は撮影者である。右撮像部３Ｒと左撮像部３Ｌとの距離は左目１１Ｌと右目１１Ｒとの距離と同じであることが好ましいが、多少異なっていても構わない。右撮像部３Ｒ及び左撮像部３Ｌは、術者１１０の左目１１Ｌ及び右目１１Ｒに対応する位置から被写体である術部を撮像すればよい。

【0016】

右撮像部３Ｒ及び左撮像部３Ｌ以外の他の構成は、ＡＲゴーグル内に設けられていてもよいし、ＡＲゴーグルとは別体で手術室の任意の場所に設けられていてもよい。

【0017】

右撮像部３Ｒより出力された右画像データは、視差量算出部４及び右画像処理部５Ｒに供給される。左撮像部３Ｌより出力された左画像データは、視差量算出部４及び左画像処理部５Ｌに供給される。視差量算出部４は、右画像データと左画像データとに基づいて、右画像と左画像との視差量を算出する。視差量算出部４は、算出した視差量を左画像処理部５Ｌに供給する。図１に示す構成例においては、視差量算出部４が算出した視差量を左画像処理部５Ｌに供給しているが、右画像処理部５Ｒに供給する構成とすることもできる。

【0018】

図４に示すように、術者１１０は、患者１２０の術部を囲うような矩形状の枠１３０を患者１２０の上に配置する。右画像処理部５Ｒ及び左画像処理部５Ｌは、後述するように、それぞれ、右画像及び左画像から所定の画像領域を切り出す。枠１３０は、右画像処理部５Ｒ及び左画像処理部５Ｌが右画像及び左画像から所定の画像領域を切り出すときの切り出し位置決定用の補助具である。

【0019】

図５に示すように、右画像処理部５Ｒ及び左画像処理部５Ｌが切り出し位置を決定するための枠１３０であることを認識するため、枠１３０の例えば４つの角部には特定のパターンが描画されている。特定のパターンは図５に示す例に限定されない。枠１３０の形状は矩形状に限定されないが、枠１３０の中心を特定しやすい形状とするのがよい。枠１３０の材質は限定されない。

【0020】

右画像処理部５Ｒ及び左画像処理部５Ｌがそれぞれ右画像及び左画像から所定の部分的な右画像領域及び左画像領域を切り出した左右の画像データは、映像信号処理部６に供給される。映像信号処理部６は、左右の画像データを合成し、合成された画像データを所定の圧縮符号化方式で圧縮符号化してネットワーク送信部７に供給する。一例として、所定の圧縮符号化方式はH.264/MPEG-4 AVCである。ネットワーク送信部７は、圧縮符号化した画像データを術者左右映像データとして、ネットワークを介して、図２に示す３次元映像受信装置２００に送信する。

【0021】

左右の画像データの合成方法については、左右の画像をフレームごとに交互に配置する方法でもよいし、左右の画像を１つのフレーム内の左右または上下に配置するように結合する方法でもよい。また、左右の画像を合成せずにそれぞれ圧縮して送信してもよい。左右の画像データは、圧縮せずに伝送する構成としてもよい。

【0022】

図２に示すように、３次元映像受信装置２００は、ネットワーク受信部２１、制御部２２、操作部２３、記憶部２４、復号部２５、左右映像表示部２６、支援画像生成部２７、ネットワーク送信部２８を備える。

【0023】

ネットワーク受信部２１は、術者左右映像データを受信して制御部２２に供給する。制御部２２は、術者左右映像データを記憶部２４に一時記憶させる。記憶部２４は例えばビデオＲＡＭである。復号部２５は、記憶部２４より読み出された術者左右映像データを復号して、左右の映像データを左右映像表示部２６に供給する。

【0024】

左右映像表示部２６は、一例として、図６に示すような、指導者２９０の左目２９Ｌ及び右目２９Ｒ（図２に図示）を覆うように装着する、仮想現実（ＶＲ：Virtual Reality）用のゴーグル（以下、ＶＲゴーグル）である。左右映像表示部２６は、３次元表示可能な液晶パネル等の平面型ディスプレイであってもよい。この場合、指導者２９０は、３次元視認用のいわゆる３Ｄ眼鏡を装着する。左目２９Ｌ及び右目２９Ｒが術者左右映像データの左画像及び右画像を個別に視認することにより、指導者２９０は術者１１０が見ている術部を立体的に視認する。

【0025】

ネットワーク受信部２１から復号部２５までの構成、支援画像生成部２７、及びネットワーク送信部２８は、ＶＲゴーグル内に設けられていてもよいし、ＶＲゴーグルとは別体で指導者２９０が位置する部屋内の任意の場所に設けられていてもよい。

【0026】

指導者２９０が支援画像を選択するか支援画像を描くように操作部２３を操作すると、支援画像生成部２７は、制御部２２による制御に従って支援画像を生成して、ネットワーク送信部２８に供給する。支援画像は、記号、文字、線、図形等で構成される。支援画像生成部２７は、復号部２５より取得した左画像データまたは右画像データに基づき、支援画像のフレーム内の位置を設定する。

【0027】

図７に示す支援画像は星マーク２７０を含む。星マーク２７０は支援画像の一例である。ネットワーク送信部２８は、支援画像データを、ネットワークを介して３次元映像生成装置１００に送信する。ここでは、支援画像生成部２７は右映像データのフレーム内に星マーク２７０が存在する支援画像を生成するとする。

【0028】

図１に戻り、ネットワーク受信部８は、支援画像データを受信して映像表示駆動部９に供給する。映像表示駆動部９は、操作部２によって支援画像を重畳するように指示されていると、制御部１による制御に従って、支援画像データを左右映像表示部１０に供給する。ここでは、支援画像は術者１１０の右目１１Ｒで視認される画像として生成されているので、左右映像表示部１０は、右目１１Ｒで視認される現実空間上に仮想の視覚情報としての支援画像を表示する。制御部１には、右画像処理部５Ｒにおいて切り出す右画像領域の情報が供給される。

【0029】

すると、術者１１０は、図８に示すように、例えば術部に星マーク２７０が重畳した状態の患者１２０を視認する。支援画像は術者１１０の左目１１Ｌで視認される画像であってもよい。なお、図８～図１２においては、患者１２０を覆っているドレープを省略している。

【0030】

ここで、３次元映像生成装置１００が、振動が少ない３次元映像データである術者左右映像データを送信するために、右画像処理部５Ｒ及び左画像処理部５Ｌがそれぞれ右画像及び左画像からどのように右画像領域及び左画像領域を切り出すかについて説明する。ここでは、術者が装着する左右映像表示部１０（ＡＲゴーグル）の右撮像部３Ｒと左撮像部３Ｌは術者１１０の右目１１Ｒ及び左目１１Ｌと同じ位置にあり、指導者２９０は左右映像表示部２６としてＶＲゴーグルを装着して受信する映像を視認すると仮定する。

【0031】

図９に示すように、右撮像部３Ｒ及び左撮像部３Ｌは例えば４Ｋと称される水平３８４０画素、垂直２１６０画素の高解像度で患者１２０を撮影して、右画像及び左画像のフレーム１４０Ｒ及び１４０Ｌを生成する。このとき、右撮像部３Ｒ及び左撮像部３Ｌは、枠１３０が視野内に位置するように患者１２０を撮影する。右画像処理部５Ｒ及び左画像処理部５Ｌは、フレーム１４０Ｒ及び１４０Ｌにおける水平及び垂直方向の７０％の右画像領域及び左画像領域を切り出すように設定されているとする。

【0032】

右画像処理部５Ｒは、撮像した枠１３０に基づいて基準位置を設定し、設定した基準位置が、切り出す画像領域の所定の位置となるように右画像領域を切り出す。ここでは、枠１３０の中心を基準位置とし、基準位置が、切り出す画像領域の中心と一致するように右画像領域を切り出す例を説明する。基準位置は枠１３０に基づく位置であればよく、例えば、枠１３０上に印刷した任意の点を基準位置として設定してもよい。また、右画像処理部５Ｒは、設定した基準位置が、切り出す画像領域の所定の位置となるように右画像領域を切り出せばよく、所定の位置は、枠１３０内の画像を切り出せる位置であればよい。例えば、枠１３０の左上を基準位置として設定し、基準位置が、切り出す画像の左上の位置となるように右画像領域を切り出してもよい。

【0033】

右画像処理部５Ｒは、右画像において、基準位置である枠１３０の中心１３ｃが、切り出す画像領域の中心と一致するように右画像領域を切り出す。枠１３０の水平方向の大きさはｗ１である。よって、右画像処理部５Ｒは、フレーム１４０Ｒにおける破線で示す右画像領域１４１Ｒを切り出し、右画像領域１４１Ｒに相当する右切り出し画像１５０Ｒを映像信号処理部６に供給する。枠１３０の中心１３ｃは枠１３０の対角線の交点で得られる。

【0034】

フレーム１４０Ｒ及び１４０Ｌの左上角部の画素座標を（０，０）、切り出し開始位置である右画像領域１４１Ｒの左上角部の画素座標を（ａ，ｂ）、切出し終了位置である右下角部の画素座標を（ｍ，ｎ）とする。左画像処理部５Ｌは、右画像処理部５Ｒと同様に、フレーム１４０Ｌにおける画素座標（ａ，ｂ）を左上角部、画素座標（ｍ，ｎ）を右下角部とする破線で示す左画像領域１４１Ｌを切り出す。左画像処理部５Ｌは、左画像領域１４１Ｌに相当する左切り出し画像１５０Ｌを映像信号処理部６に供給する。

【0035】

視差量算出部４は、右画像のフレーム１４０Ｒにおける枠１３０に基づく基準位置と、左画像のフレーム１４０Ｌにおける枠１３０に基づく基準位置との水平方向の距離を視差量として算出する。以降の説明では、図９に示すように、視差量算出部４は、右画像のフレーム１４０Ｒにおける枠１３０の中心１３ｃと、左画像のフレーム１４０Ｌにおける枠１３０の中心１３ｃとの水平方向の距離（両中心１３ｃ間の画素数）ｄ１を視差量として算出する。

【0036】

なお、右撮像部３Ｒと左撮像部３Ｌの間隔及び画角は、指導者２９０が、図９に示す右切り出し画像１５０Ｒ及び左切り出し画像１５０Ｌを合成して３次元映像受信装置２００に送信した術者左右映像データの左画像及び右画像を違和感なく立体画像として視認できるように調整されている。

【0037】

図１０は、図９に示す初期状態と比較して、術者１１０が患者１２０に近付いた状態を示している。このとき、術者１１０と枠１３０との距離が短くなり、枠１３０の水平方向の大きさがｗ２、視差量がｄ２になったとする。このとき、距離ｄ１及びｄ２と枠１３０の水平方向の大きさｗ１及びｗ２との間には、次の式（１）で示す関係が成り立つ。
ｄ２／ｄ１＝ｗ２／ｗ１ …（１）

【0038】

図１０において、フレーム１４０Ｒにおける右画像領域１４１Ｒの切り出し開始位置の水平方向の画素位置をｃとすると、フレーム１４０Ｌにおける左画像領域１４１Ｌの切り出し開始位置の水平方向の画素位置もｃである。

【0039】

このように、右画像処理部５Ｒは、常時、右画像において、枠１３０の中心１３ｃが、切り出す画像領域の中心と一致するように右画像領域１４１Ｒを切り出す。左画像処理部５Ｌは、常時、左画像において、右画像領域１４１Ｒと同じ画素座標の左画像領域１４１Ｌを切り出す。術者のわずかな動作または呼吸等によって術者左右映像データとして送信する３次元映像が振動しても、枠１３０の中心１３ｃを基準として右画像領域１４１Ｒが切り出され、右画像領域１４１Ｒの位置に応じて左画像領域１４１Ｌが切り出されるから、送信される３次元映像は振動しない。

【0040】

ここでは、右画像領域１４１Ｒの位置に基づいて左画像領域１４１Ｌの位置を決定しているが、左画像領域１４１Ｌの位置に基づいて右画像領域１４１Ｒの位置を決定してもよい。

【0041】

右画像処理部５Ｒと左画像処理部５Ｌとのうちの一方の画像処理部が、初期状態で、枠１３０の中心１３ｃが画像領域の中心と一致するように画像領域を切り出す。右画像処理部５Ｒと左画像処理部５Ｌとのうちの他方の画像処理部は、初期状態で、一方の画像処理部が切り出した画像領域の位置に応じて画像領域を切り出す。

【0042】

３次元映像生成装置１００によれば、術者１１０と患者１２０との距離にかかわらず、振動が少ない３次元映像データを送信することができる。

【0043】

３次元映像生成装置１００は、操作部２の操作によって手動ズームモードに設定されているとする。図１１は、図９に示す初期状態と比較して、術者１１０と患者１２０との距離に変化はないものの、術者１１０による操作部２の手動操作に応じて制御部１が右撮像部３Ｒ及び左撮像部３Ｌにおけるズームを制御し、被写体を拡大した第１の拡大状態に移行した状態を示している。制御部１は、互いの倍率が同じ倍率となるように連動して右撮像部３Ｒ及び左撮像部３Ｌにおけるズームを制御する。

【0044】

このとき、枠１３０の水平方向の大きさは初期状態におけるｗ１からｗ３に拡大するものの、視差量に変化はないため中心間距離は初期状態と同じｄ１である。この状態で、フレーム１４０Ｌより左画像領域１４１Ｌを切り出す位置をフレーム１４０Ｒより右画像領域１４１Ｒを切り出す位置と同じ位置とすると、３次元映像受信装置２００によって所望の立体的な映像を表示することができない。所望の立体的な映像を表示するためには、フレーム１４０Ｌより左画像領域１４１Ｌを切り出す位置を補正する必要がある。

【0045】

図１１に示すように、右切り出し画像１５０Ｒと、左切り出し画像１５０Ｌとの適正な視差量をｄ３とすると、式（１）から、式（２）とする必要があることが分かる。即ち、左画像処理部５Ｌは、右切り出し画像１５０Ｒと、左切り出し画像１５０Ｌとの視差量がｄ３となるように、フレーム１４０Ｌより左画像領域１４１Ｌを切り出す位置を補正する必要がある。
ｄ３＝ｗ３／ｗ１×ｄ１ …（２）

【0046】

フレーム１４０Ｒより右画像領域１４１Ｒを切り出すときの切り出し開始位置の水平方向の画素位置をｅ、フレーム１４０Ｌより左画像領域１４１Ｌを切り出すときの切り出し開始位置の水平方向の画素位置をｆとする。画素位置ｆは式（３）で表される。
ｆ＝ｅ＋（ｄ３－ｄ１）
＝ｅ＋（ｗ３／ｗ１－１）×ｄ１ …（３）

【0047】

このように、右画像処理部５Ｒは、常時、右画像において、枠１３０の中心１３ｃが、切り出す画像領域の中心と一致するように右画像領域１４１Ｒを切り出す。左画像処理部５Ｌは、左画像において、右画像の切り出し位置に対し、視差量ｄ１をズーム動作前後における枠の大きさの変化率に応じて補正した距離だけずらした位置で左画像領域１４１Ｌを切り出す。上記説明では、初期状態に対しズーム動作によって画像を拡大した場合を例に説明したが、初期状態に対しズーム動作によって画像を縮小する場合も式（３）は成立する。

【0048】

左画像領域１４１Ｌの位置に基づいて右画像領域１４１Ｒの位置を決定する場合には、右画像において、左画像の切り出し位置をずらす左右の方向が逆となる。

【0049】

図１２は、図９に示す初期状態と比較して、術者１１０が患者１２０に近付いて術者１１０と患者１２０との距離が変化し、さらに、制御部１が右撮像部３Ｒ及び左撮像部３Ｌにおけるズームを制御して、被写体を拡大した第２の拡大状態に移行した状態を示している。このとき、枠１３０の水平方向の大きさは初期状態におけるｗ１からｗ４に拡大し、視差量はｄ４となる。

【0050】

初期状態に対して、術者１１０と患者１２０との距離がｋ倍となり、ズーム倍率をｚ倍とすると、式（４）及び（５）が成り立つ。
ｄ４／ｄ１＝１／ｋ …（４）
ｗ４／ｗ１＝ｚ／ｋ …（５）

【0051】

図１２に示すように、右切り出し画像１５０Ｒと、左切り出し画像１５０Ｌとの適正な視差量をｄ５とすると、式（１）から、式（６）とする必要があることが分かる。
ｄ５＝ｗ４／ｗ１×ｄ１…（６）

【0052】

フレーム１４０Ｒより右画像領域１４１Ｒを切り出すときの切り出し開始位置の水平方向の画素位置をｇ、フレーム１４０Ｌより左画像領域１４１Ｌを切り出すときの切り出し開始位置の水平方向の画素位置をｈとする。画素位置ｈは式（７）で表される。なお、式（７）において、ｄ１＝ｄ４とすれば式（３）と実質的に同じ式となることが分かる。
ｈ＝ｇ＋ｄ５－ｄ４
＝ｇ＋ｗ４／ｗ１×ｄ１－ｄ４ …（７）

【0053】

このように、右画像処理部５Ｒは、常時、右画像において、枠１３０の中心１３ｃが、切り出す画像領域の中心と一致するように右画像領域１４１Ｒを切り出す。左画像処理部５Ｌは、左画像において、右画像の切り出し位置に対し、ズーム動作前後の視差量及びズーム動作前後の枠の大きさの変化率に応じて補正した距離だけずらした位置で左画像領域１４１Ｌを切り出す。

【0054】

左画像領域１４１Ｌの位置に基づいて右画像領域１４１Ｒの位置を決定する場合には、右画像において、左画像の切り出し位置をずらす左右の方向が逆となる。

【0055】

３次元映像生成装置１００によれば、ズーム動作を行っても、振動が少ない３次元映像データを生成することができる。

【0056】

３次元映像生成装置１００が操作部２の操作によってオートズームモードに切り替えられた場合には、３次元映像生成装置１００は次のように動作する。制御部１は、右画像のフレーム１４０Ｒにおける枠１３０の大きさを一定に保つように、右撮像部３Ｒにおけるズームを制御する。具体的には、制御部１は右画像のフレーム１４０Ｒにおける枠１３０の水平方向の大きさを一定に保つように、右撮像部３Ｒにおけるズームを制御する。制御部１は、右撮像部３Ｒにおけるズーム量と同じズーム量とするよう左撮像部３Ｌにおけるズームを制御する。制御部１は、左画像のフレーム１４０Ｒにおける枠１３０の大きさを一定に保つように、左撮像部３Ｌにおけるズームを制御し、左撮像部３Ｌにおけるズーム量と同じズーム量とするよう右撮像部３Ｒにおけるズームを制御してもよい。

【0057】

図９と同様に、初期状態において、視差量をｄ１、枠１３０の水平方向の大きさをｗ１とする。制御部１は、初期状態の視差量ｄ１及び枠１３０の大きさｗ１を記憶する。術者１１０と患者１２０との距離が変化しても、制御部１はオートズームの制御によって枠１３０の水平方向の大きさｗ１を維持する。枠１３０の水平方向の大きさｗ１は変化しないが、視差量はｄ１からｄ６に変化したとする。

【0058】

左画像処理部５Ｌは、右切り出し画像１５０Ｒと、左切り出し画像１５０Ｌとの視差量がｄ１となるように、フレーム１４０Ｌより左画像領域１４１Ｌを切り出す位置を補正する必要がある。これは、式（７）においてｗ１＝ｗ４とした場合に相当するので、式（８）が成り立つ。
ｈ＝ｇ＋ｄ１－ｄ６ …（８）

【0059】

このように、オートズームモードによって右画像のフレーム１４０Ｒまたは左画像のフレーム１４０Ｌにおける枠１３０の大きさを一定に保つ場合には、左画像処理部５Ｌは、左画像において、右画像の切り出し位置に対し、初期状態における視差量ｄ１と、ズーム後における視差量ｄ６に応じて補正した距離だけずらした位置で左画像領域１４１Ｌを切り出す。

【0060】

３次元映像生成装置１００によれば、３次元映像生成装置１００がオートズームモードに設定されていて、被写体の大きさを一定に保つように右撮像部３Ｒ及び左撮像部３Ｌにおけるズームを制御する場合でも、振動が少ない３次元映像データを送信することができる。

【0061】

上記の説明では、制御部１が右撮像部３Ｒと左撮像部３Ｌの光学ズームを制御する構成を説明したが、ズーム機能は光学ズームに限定されることはなく、ズーム機能として画像処理によるデジタルズームが用いられてもよい。デジタルズームを用いる場合、右画像処理部５Ｒ及び左画像処理部５Ｌに画像をズームする機能を持たせればよい。

【0062】

本発明は以上説明した本実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変更可能である。

【0063】

本開示は、SDGs(Sustainable Development Goals：持続可能な開発目標)の「すべての人に健康と福祉を」の実現に貢献し、ヘルスケア製品・サービスによる価値創出に寄与する事項を含む。

【符号の説明】

【0064】

１ 制御部
２ 操作部
３Ｒ 右撮像部
３Ｌ 左撮像部
４ 視差量算出部
５Ｒ 右画像処理部
５Ｌ 左画像処理部
６ 映像信号処理部
７ ネットワーク送信部
８ ネットワーク受信部
９ 映像表示駆動部
１０ 左右映像表示部
１００ ３次元映像生成装置
１１０ 術者
１２０ 患者
１３０ 枠
２００ ３次元映像受信装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】