特許 7181589 映像処理システム及び映像処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-11-22

(45)【発行日】2022-12-01

(54)【発明の名称】映像処理システム及び映像処理装置

(51)【国際特許分類】

   H04N 7/18 20060101AFI20221124BHJP

   G06T 5/00 20060101ALI20221124BHJP

   H04N 5/232 20060101ALI20221124BHJP

【ＦＩ】

H04N7/18 K

H04N7/18 U

G06T5/00 725

H04N5/232 290

【請求項の数】 9

(21)【出願番号】P 2018219927

(22)【出願日】2018-11-26

(65)【公開番号】P2020088591

(43)【公開日】2020-06-04

【審査請求日】2021-10-06

(73)【特許権者】

【識別番号】504171134

【氏名又は名称】国立大学法人 筑波大学

(74)【代理人】

【識別番号】100106909

【弁理士】

【氏名又は名称】棚井 澄雄

(74)【代理人】

【識別番号】100188558

【弁理士】

【氏名又は名称】飯田 雅人

(74)【代理人】

【識別番号】100169764

【弁理士】

【氏名又は名称】清水 雄一郎

(74)【代理人】

【識別番号】110000925

【氏名又は名称】弁理士法人信友国際特許事務所

(72)【発明者】

【氏名】北原 格

【審査官】秦野 孝一郎

(56)【参考文献】

【文献】特開２００４－１５９１８６（ＪＰ，Ａ）

【文献】特開２００５－１９１６５５（ＪＰ，Ａ）

【文献】特開２０１０－１２２８２１（ＪＰ，Ａ）

【文献】特開２０１９－８４８５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１８

Ｇ０６Ｔ ５／００

Ｈ０４Ｎ ５／２２２－５／２５７

(57)【特許請求の範囲】

【請求項1】

任意の対象を反射する反射体と、
前記反射体によって反射された任意の対象を撮影可能なカメラと、
前記カメラから直接撮影可能な位置に存在する第一マーカと、
前記反射体によって反射した鏡像が前記カメラから撮影可能である第二マーカと、
前記カメラが出力する映像データに存在する前記第一マーカの位置から空間を把握すると共に、前記映像データから前記反射体の映像部分を切り出し、前記反射体の映像部分に含まれる前記第二マーカの形状から前記反射体によって生じた歪みを把握して、前記反射体の映像部分を平面状態に補正する映像処理装置と
を具備する、映像処理システム。

【請求項2】

前記反射体は凸面形状反射体であり、
前記映像処理装置は、前記凸面形状反射体から得られる前記鏡像において、前記凸面形状反射体の形状によって生じる前記鏡像の幾何歪みを補正することで、前記凸面形状反射体の映像部分を平面状態に補正する、請求項１に記載の映像処理システム。

【請求項3】

前記映像処理装置は、
前記映像データに写っている前記第一マーカを探し当て、カメラマーカ姿勢座標情報を出力する第一マーカ検出処理部と、
前記カメラマーカ姿勢座標情報に基づく推定演算処理を行い、前記カメラの仮想三次元空間内における座標情報であるカメラ座標情報を出力するカメラ位置推定処理部と、
前記映像データから１以上の前記反射体の部分を切り出した反射体領域映像データを出力する反射体領域抽出処理部と、
１以上の前記反射体領域映像データに写っている前記第二マーカの鏡像を探し当て、１以上の前記反射体領域映像データにおける位置情報及び姿勢情報である反射体マーカ姿勢座標情報を出力する第二マーカ検出処理部と、
１以上の前記反射体マーカ姿勢座標情報と、前記カメラマーカ姿勢座標情報と、前記カメラ座標情報に基づき、前記カメラの仮想三次元空間内における、前記１以上の前記反射体に写った前記第二マーカの位置と姿勢と歪みを含む情報である反射体姿勢座標情報を出力する反射体座標推定処理部と、
１以上の前記反射体領域映像データと、１以上の前記反射体姿勢座標情報と、前記カメラマーカ姿勢座標情報と、前記カメラ座標情報に基づき、前記反射体が向いている方向と推定される反射体視点映像データを生成すると共に、前記反射体領域映像データが前記凸面形状反射体による映像データである場合に、前記凸面形状反射体の形状によって生じる前記反射体領域映像データの幾何歪みを補正することで、前記凸面形状反射体の映像部分を平面状態に補正する、反射体映像生成処理部と
を具備する、請求項２に記載の映像処理システム。

【請求項4】

前記映像処理装置は更に、
複数の前記反射体視点映像データに基づき、被写体の仮想三次元映像データを生成する三次元形状推定処理部と
を具備する、請求項３に記載の映像処理システム。

【請求項5】

前記反射体はゴーグルである、請求項２または３または４に記載の映像処理システム。

【請求項6】

前記反射体は反射鏡である、請求項２または３または４に記載の映像処理システム。

【請求項7】

前記第一マーカと前記第二マーカは同一である、請求項５または６に記載の映像処理システム。

【請求項8】

任意の対象を反射する反射体と、前記反射体によって反射された任意の対象を撮影可能なカメラと、前記カメラから直接撮影可能な位置に存在すると共に、前記反射体によって反射した鏡像も前記カメラから撮影可能である第一マーカと、前記反射体によって反射した鏡像が前記カメラから撮影可能である第二マーカと、前記カメラが出力する映像データに存在する前記第一マーカの位置から空間を把握すると共に、前記映像データから前記反射体の映像部分を切り出し、前記反射体の映像部分に含まれる前記第二マーカの形状から前記反射体によって生じた歪みを把握して、前記反射体の映像部分を平面状態に補正する映像処理装置とを具備する映像処理システムにおける映像処理装置であり、
前記映像処理装置は、
前記映像データに写っている前記第一マーカを探し当て、カメラマーカ姿勢座標情報を出力する第一マーカ検出処理部と、
前記カメラマーカ姿勢座標情報に基づく推定演算処理を行い、前記カメラの仮想三次元空間内における座標情報であるカメラ座標情報を出力するカメラ位置推定処理部と、
前記映像データから１以上の前記反射体の部分を切り出した反射体領域映像データを出力する反射体領域抽出処理部と、
１以上の前記反射体領域映像データに写っている前記第二マーカの鏡像を探し当て、１以上の前記反射体領域映像データにおける位置情報及び姿勢情報である反射体マーカ姿勢座標情報を出力する第二マーカ検出処理部と、
１以上の前記反射体マーカ姿勢座標情報と、前記カメラマーカ姿勢座標情報と、前記カメラ座標情報に基づき、前記カメラの仮想三次元空間内における、前記１以上の前記反射体に写った前記第二マーカの位置と姿勢と歪みを含む情報である反射体姿勢座標情報を出力する反射体座標推定処理部と、
１以上の前記反射体領域映像データと、１以上の前記反射体姿勢座標情報と、前記カメラマーカ姿勢座標情報と、前記カメラ座標情報に基づき、前記反射体が向いている方向と推定される反射体視点映像データを生成すると共に、前記反射体領域映像データが凸面形状反射体による映像データである場合に、前記凸面形状反射体の形状によって生じる前記反射体領域映像データの幾何歪みを補正することで、前記凸面形状反射体の映像部分を平面状態に補正する、反射体映像生成処理部と
を具備する、映像処理装置。

【請求項9】

更に、
複数の前記反射体視点映像データに基づき、被写体の仮想三次元映像データを生成する三次元形状推定処理部と
を具備する、請求項８に記載の映像処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、映像処理システム及び映像処理装置に関する。

【背景技術】

【0002】

今日、産業用途やコンシューマ用途等で、仮想現実（Virtual Reality：以下「ＶＲ」と略す）の技術を利用したアプリケーションが広く普及し始めている。ゴーグル型ヘッドマウントディスプレイ（以下「ＨＭＤ」（Head Mount Display）と略す）に映像を映すと、ＨＭＤの装着者はあたかも自分がＨＭＤに映された映像の世界に居るような感覚を得ることができる。
このような、自己視点からの見え方を記録した一人称視点映像は、没入感の高い映像情報の記録・伝達・提示が可能である。そこで、ＶＲを、様々な作業の記録や、当該作業をＨＭＤ装着者に追体験させることによる作業の早期習得等が試みられており、またそのようなＶＲの利用が広がりつつある。

【0003】

特許文献１には、仮想空間における移動を容易に実現する情報処理装置の技術内容が開示されている。
特許文献２には、多視点からのカメラ映像から被撮像体の三次元映像を生成する技術内容が開示されている。

【先行技術文献】

【非特許文献】

【0004】

【文献】特開２０１８－１４７４９８号公報

【文献】特開２０１７－１３０００８号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

作業の習得を目的とする一人称視点映像の具体例として、外科手術が挙げられる。高度な医療技術が求められる外科手術は、これまでは患者の存在なくしては習熟が困難であったが、貴重な外科手術の一部始終を動画撮影することで、外科手術の技術の習得を早めることが可能になってきている。そして、その動画も一般的なビデオカメラで患者を遠くから撮影するものではなく、執刀医の視点で動画を撮影することができれば、執刀医の技術をより明確に確認することが期待できる。
しかし、執刀医の施術は極めて繊細で失敗は許されず、高い集中力を必要とする。このため、ビデオカメラなどの付帯物を装着した状態での施術は、ビデオカメラの重さや映像伝送ケーブルの配線が執刀医の施術を邪魔し、執刀医の集中力を阻害する原因となるため、現実に行うことは難しかった。

【0006】

本発明はかかる課題を解決し、作業者にカメラ等の重い電子デバイスなどの付帯物を装着させずに、作業者の一人称視点映像などの空間環境を記録することが可能な映像処理システム及び映像処理装置を提供することを目的とする。

【課題を解決するための手段】

【0007】

上記課題を解決するために、本発明の映像処理システムは、任意の対象を反射する反射体と、反射体によって反射された任意の対象を撮影可能なカメラと、カメラから直接撮影可能な位置に存在する第一マーカと、反射体によって反射した鏡像がカメラから撮影可能である第二マーカと、カメラが出力する映像データに存在する第一マーカの位置から空間を把握すると共に、映像データから反射体の映像部分を切り出し、反射体の映像部分に含まれる第二マーカの形状から反射体によって生じた歪みを把握して、反射体の映像部分を平面状態に補正する映像処理装置とを具備する。

【発明の効果】

【0008】

本発明によれば、作業者に重い電子デバイスを装着させるなど、映像観察点に撮像機器を配置すること無く、任意の空間点からの視野映像を生成することが出来、作業者の一人称視点映像などを記録することができる。
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

【図面の簡単な説明】

【0009】

【図1】本発明の実施形態の例である、映像処理システムの使用状態を説明する概略図である。

【図2】映像処理装置のハードウェア構成を示すブロック図である。

【図3】映像処理装置のソフトウェア機能を示すブロック図である。

【図4】全方位カメラと、マーカと、ゴーグルと、被写体の関係を示す概略図である。

【図5】本発明の変形例に係る、車両補助モニタ装置を搭載した乗用車の実施形態を示す概略図である。

【図6】本発明の第三の実施形態の例であり、本発明の映像処理システムの使用状態を説明する概略図である。

【図7】映像処理装置のソフトウェア機能の一部を示すブロック図である。

【発明を実施するための形態】

【0010】

本発明の第一の実施形態に係る映像処理システムは、執刀医等の作業者が装着するゴーグルに映る画像を全方位カメラあるいは広角度カメラで撮影する。ゴーグルは凸面鏡の特徴を有し、被写体を広角度にて反射する。そして、映像処理システムは、カメラの画像からゴーグルの部分を切り出し、ゴーグルの向きを検出して、ゴーグル装着者の視点で見る映像に変換する。

【0011】

［第一の実施形態：映像処理システム１０１：概略］
図１は、本発明の第一の実施形態の例であり、本発明の映像処理システム１０１の使用状態を説明する概略図である。図１は、手術室において執刀医１０２ａと看護師１０２ｂが被写体である患者１０３に所定の施術を施す様子を、全方位カメラ１０４で撮影する様子を表している。なお、執刀医１０２ａと看護師１０２ｂを区別しない場合は作業者１０２と総称する。

【0012】

映像処理システム１０１は、全方位カメラ１０４と、映像処理装置１０５と、マーカ１０６と、凸面鏡の特徴を有するゴーグル１０７よりなる。
全方位カメラ１０４は全天球カメラ等とも呼ばれる、３６０°の全方位を撮影可能なカメラである。撮影画像は球体形状に湾曲されているが、所定の映像処理装置で画像の湾曲や歪みを修正することで、平面状の画像として利用することができる。全方位カメラ１０４は主に監視カメラや防犯カメラ等の用途で広く普及しているカメラである。

【0013】

映像処理装置１０５は周知のパソコン等の情報処理装置で構成される。情報処理装置は映像処理装置１０５として動作するためのプログラムを読み込み、実行することで、映像処理装置１０５として機能する。
マーカ１０６は、上下左右に非対称の幾何学模様が大きく描かれたものである。このように、上下左右に非対称な模様を有するマーカを用いることによって、計算機がマーカ１０６の上下左右を明確に判別することが可能になる。このマーカ１０６は、例えば被写体の近傍に据え置かれる。図１に示すマーカ１０６は一例として、長方形の枠に四則演算の演算子が描かれている。このマーカ１０６は紙に印刷してもよいし、薄い板に描画してもよい。また、図１に示すような手術室の手術台１０８に直接印刷してもよい。なお、マーカ１０６の模様は図１に示すものに限定されない。
映像処理装置１０５は、全方位カメラ１０４とマーカ１０６との相対的な位置関係を把握することによって、映像処理装置１０５が内部で形成する仮想三次元空間の基準を設けることができる。マーカ１０６はこのために必要なものである。

【0014】

ゴーグル１０７は、執刀医１０２ａ及び看護師１０２ｂ等の、所定の作業を遂行する作業者１０２によって装着される。ゴーグル１０７のレンズは全方位カメラ１０４が撮影できるように外界風景を反射する。ゴーグル１０７のレンズが反射する外界風景を全方位カメラ１０４が捉える仕組みにはいくつかの方法が考えられる。
一つは、周知のマジックミラーを用いる方法である。ゴーグル１０７のレンズは例えば、アクリル等の透明な合成樹脂の板に、誘電多層膜や金属薄膜等の材料で構成されるハーフミラーフィルムを貼付したものである。ゴーグル１０７のレンズの表面は球面に類似する湾曲形状を有すると共に、鏡のように外界風景を反射する。すなわち、ゴーグル１０７のレンズは凸面鏡の特徴を有する。このような凸面鏡の特徴を有するゴーグル１０７は、スキーやスノーボード等のウィンタースポーツ用途として市場に流通している。
もう一つは、ゴーグル１０７のレンズに単なる鏡面仕上げされた板を採用する一方、全方位カメラ１０４に偏光カメラという、入射光のうち偏光成分のみを優先的に捉えるカメラを使用することで、ゴーグル１０７のレンズ部分だけを撮影する方法である。

【0015】

さらに、一般的に利用される、光沢面のみを有し、鏡面加工等が施されていない透明プラスチック（ポリカーボネート樹脂やアクリル樹脂が良く利用される）をそのレンズ面の材料とするゴーグル１０７と、偏光カメラ等ではない安価な市販のカメラ１０４を用いた場合でも、手術室内の、目的とする映像範囲が撮像できる場合には、本発明が適応できる。ゴーグル１０７のレンズの光沢面から得られる反射像のコントラストが低く、映像信号とノイズの比率（Ｓ／Ｎ比）が低い場合でも、ＨＤＲ（High Dynamic Range）やデヘイズ等の映像処理を施すことで、ゴーグル１０７の反射像、市販カメラ１０４の映像を用いて本発明を実施することが可能である。
なお、「ノングレア処理」「アンチグレア処理」等と呼ばれる、反射防止加工が施されたレンズは、そもそも映像の反射ができないので、本発明の実施形態の対象外である。

【0016】

全方位カメラ１０４は、マーカ１０６のみならず、作業者１０２が装着しているゴーグル１０７も撮影する。すると、ゴーグル１０７には作業者１０２が見る風景が反射して、全方位カメラ１０４に映り込む。この風景には、作業者１０２が見る被写体も含まれる。図１では、患者１０３が被写体に該当する。さらに、ゴーグル１０７にはマーカ１０６も映り込む。

【0017】

映像処理装置１０５は、ゴーグル１０７に映り込んだマーカ１０６を手がかりに、ゴーグル１０７に映り込んだ映像を切り出すと共に、映り込んだ映像に表れる歪んだ風景に補正処理を施す。そして、映像処理装置１０５が内部で形成する仮想三次元空間内におけるゴーグル１０７の座標情報と姿勢情報を算出し、ゴーグル１０７の座標情報と姿勢情報に基づいて、ゴーグル１０７を装着する作業者１０２が見ていると推定される映像を、補正処理を施した風景から切り出す。

【0018】

［映像処理装置１０５］
図２は、映像処理装置１０５のハードウェア構成を示すブロック図である。
パソコンよりなる映像処理装置１０５は、バス２０１に接続されたＣＰＵ２０２、ＲＯＭ２０３、ＲＡＭ２０４、表示部２０５、操作部２０６、不揮発性ストレージ２０７と、全方位カメラ１０４が接続されるシリアルインターフェース２０８を備える。シリアルインターフェース２０８は例えば周知のＵＳＢである。

【0019】

図３は、映像処理装置１０５のソフトウェア機能を示すブロック図である。図３中、情報処理機能ブロックを実線の枠で、データや情報を一点鎖線の枠で示している。
全方位カメラ１０４が出力する全方位撮影映像データ３０１は、第一マーカ検出処理部３０２に入力される。
第一マーカ検出処理部３０２は、不揮発性ストレージ２０７に記憶されているマーカ情報３０３に基づいて、全方位撮影映像データ３０１に写っているマーカ１０６を探し当てる。そして、全方位撮影映像データ３０１における位置情報及び姿勢情報である、全方位カメラマーカ姿勢座標情報３０４を出力する。マーカ情報３０３は、マーカ１０６の形状と大きさに関する情報よりなる。マーカ１０６の形状はマーカ１０６の画像データでもよい。
全方位カメラマーカ姿勢座標情報３０４は、全方位カメラ位置推定処理部３０５に入力される。
全方位カメラ位置推定処理部３０５は、全方位カメラマーカ姿勢座標情報３０４に基づく推定演算処理を行い、全方位カメラ１０４の仮想三次元空間内における座標情報である、全方位カメラ座標情報３０６を出力する。

【0020】

一方、全方位カメラ１０４が出力する全方位撮影映像データ３０１は、ゴーグル領域抽出処理部３０７にも入力される。
ゴーグル領域抽出処理部３０７は、全方位撮影映像データ３０１に写っているゴーグル１０７を探し当てる。そして、ゴーグル領域抽出処理部３０７は、全方位撮影映像データ３０１からゴーグル１０７の領域の部分だけ切り出した第一ゴーグル領域映像データ３０８ａ、第二ゴーグル領域映像データ３０８ｂ、…第ｎゴーグル領域映像データ３０８ｎを出力する。
全方位撮影映像データ３０１からゴーグル１０７を探し当てる方法には幾つかある。一例としては、全方位カメラ１０４に偏光カメラを採用し、全方位撮影映像データ３０１から偏光に基づく反射が強く得られる領域を探し当てる方法がある。また、ゴーグル１０７の周縁部分に近赤外線ＬＥＤを装着し、近赤外線ＬＥＤを所定の周期で点滅させることでゴーグル１０７の位置を探し当てる方法も考えられる。更に、近年急速に発達しているＡＩ（artificial intelligence：人工知能）を用いた画像認識処理で、画像データ中の凸面鏡の特徴を有する箇所を探し当てるようにしてもよい。

【0021】

ゴーグル領域抽出処理部３０７が出力する第一ゴーグル領域映像データ３０８ａ、第二ゴーグル領域映像データ３０８ｂ、…第ｎゴーグル領域映像データ３０８ｎは、第二マーカ検出処理部３０９に入力される。
第二マーカ検出処理部３０９は、第一マーカ検出処理部３０２と同様に、不揮発性ストレージ２０７に記憶されているマーカ情報３０３に基づいて、第一ゴーグル領域映像データ３０８ａ、第二ゴーグル領域映像データ３０８ｂ、…第ｎゴーグル領域映像データ３０８ｎのそれぞれに写っているマーカ１０６を探し当てる。そして、第二マーカ検出処理部３０９は、第一ゴーグル領域映像データ３０８ａ、第二ゴーグル領域映像データ３０８ｂ、…第ｎゴーグル領域映像データ３０８ｎにおける位置情報及び姿勢情報である、第一ゴーグルマーカ姿勢座標情報３１０ａ、第二ゴーグルマーカ姿勢座標情報３１０ｂ、…第ｎゴーグルマーカ姿勢座標情報３１０ｎを出力する。

【0022】

第一ゴーグルマーカ姿勢座標情報３１０ａ、第二ゴーグルマーカ姿勢座標情報３１０ｂ、…第ｎゴーグルマーカ姿勢座標情報３１０ｎは、ゴーグル座標推定処理部３１１に入力される。
ゴーグル座標推定処理部３１１は、第一ゴーグルマーカ姿勢座標情報３１０ａ、第二ゴーグルマーカ姿勢座標情報３１０ｂ、…第ｎゴーグルマーカ姿勢座標情報３１０ｎと、全方位カメラマーカ姿勢座標情報３０４と、全方位カメラ座標情報３０６に基づく推定演算処理を行う。そして、ゴーグル座標推定処理部３１１は、全方位カメラ１０４の仮想三次元空間内における、ゴーグル１０７に写ったマーカ１０６の位置と姿勢と歪みを含む情報である、第一ゴーグル姿勢座標情報３１２ａ、第二ゴーグル姿勢座標情報３１２ｂ、…第ｎゴーグル姿勢座標情報３１２ｎを出力する。

【0023】

第二マーカ検出処理部３０９の処理自体は第一マーカ検出処理部３０２と殆ど同じ処理であるが、第二マーカ検出処理部３０９で第一ゴーグル領域映像データ３０８ａ、第二ゴーグル領域映像データ３０８ｂ、…第ｎゴーグル領域映像データ３０８ｎから検出するマーカ１０６は、ゴーグル１０７によって反転され、幾何歪みが生じている。なお、これ以降、凸面鏡、平面鏡、凹面鏡を「反射鏡」と総称する。更に、反射鏡から得られる反射映像において、反射鏡の形状及び／または方向によって生じる反射映像の歪みを「幾何歪み」と定義する。なお、幾何歪みには反射鏡の形状（曲面）に由来する歪みと、反射鏡の方向に由来する射影歪みがあるが、「幾何歪み」とはこれら二種類の歪みを包含する上位概念の言葉として定義する。
一方、第一ゴーグル姿勢座標情報３１２ａ、第二ゴーグル姿勢座標情報３１２ｂ、…第ｎゴーグル姿勢座標情報３１２ｎは、第一ゴーグル領域映像データ３０８ａ、第二ゴーグル領域映像データ３０８ｂ、…第ｎゴーグル領域映像データ３０８ｎに存在するマーカ１０６の位置と姿勢のみならず、マーカ１０６の幾何歪みに関する情報も含む。マーカ１０６の幾何歪みは、ゴーグル１０７の湾曲形状に基づくものである。したがって、ゴーグル映像生成処理部３１３は、マーカ１０６の幾何歪みに関する情報を用いて、第一ゴーグル領域映像データ３０８ａ、第二ゴーグル領域映像データ３０８ｂ、…第ｎゴーグル領域映像データ３０８ｎの幾何歪みを補正して、平面状の映像データに変換することが可能である。

【0024】

そこで、ゴーグル映像生成処理部３１３は、第一ゴーグル領域映像データ３０８ａ、第二ゴーグル領域映像データ３０８ｂ、…第ｎゴーグル領域映像データ３０８ｎと、第一ゴーグル姿勢座標情報３１２ａ、第二ゴーグル姿勢座標情報３１２ｂ、…第ｎゴーグル姿勢座標情報３１２ｎと、全方位カメラマーカ姿勢座標情報３０４（Ａ）と、全方位カメラ座標情報３０６（Ｂ）を受けて、ゴーグル１０７を装着する作業者１０２が見ていると推定される映像を生成する。こうしてゴーグル映像生成処理部３１３は、第一ゴーグル視点映像データ３１４ａ、第二ゴーグル視点映像データ３１４ｂ、…第ｎゴーグル視点映像データ３１４ｎを出力する。

【0025】

更に、第一ゴーグル視点映像データ３１４ａ、第二ゴーグル視点映像データ３１４ｂ、…第ｎゴーグル視点映像データ３１４ｎは三次元形状推定処理部３１５に加えられ、三次元形状推定処理部３１５にて被写体の仮想三次元映像データ３１６が生成される。なお、三次元形状推定処理部３１５の処理は必ずしも必須のものではなく、必要に応じて行われる処理である。

【0026】

単眼のカメラである全方位カメラ１０４が出力する画像データストリームはあくまでも二次元の画像データであるため、このままでは映像処理装置１０５は三次元の被写体の向きや奥行き等を検出することはできない。
しかし、複数の作業者の視点映像が同時に取得することで、映像処理装置１０５は多視点映像を獲得することができる。そしてその結果として、映像処理装置１０５は三次元画像処理が可能になる。
映像装置１０５が三次元画像処理を行う方法は、本特許発明者による特許文献２に開示されている。

【0027】

［三次元空間におけるカメラと撮影対象とゴーグル１０７］
図４は、全方位カメラ１０４と、マーカ１０６と、ゴーグル１０７と、被写体４０１の関係を示す概略図である。
映像処理装置１０５は、全方位カメラ１０４がマーカ１０６を直接撮影することで、第一マーカ検出処理部３０２が全方位カメラ１０４とマーカ１０６との相対的な位置関係を把握する。そしてこれとは別に、映像処理装置１０５は、全方位カメラ１０４がゴーグル１０７のレンズ１０７ａを通じてマーカ１０６の鏡像Ｍ４０２と、被写体４０１の鏡像Ｍ４０３を撮影した映像データを取得する。

【0028】

ゴーグル座標推定処理部３１１は、ゴーグル１０７の向きを算出する。
マーカ１０６の鏡像には、ゴーグル１０７の曲面によって幾何歪みが生じている。ゴーグル座標推定処理部３１１は、第二マーカ検出処理部３０９を通じてこの幾何歪みを捉えて、被写体４０１の鏡像Ｍ４０３の幾何歪みを補正する手がかりとする。
ゴーグル映像生成処理部３１３は、ゴーグル座標推定処理部３１１が出力したゴーグル１０７の向きとゴーグル１０７の曲面に由来する幾何歪みに関する情報に基づき、ゴーグル１０７を装着する作業者１０２の視点で見ていると推定される映像を生成する。

【0029】

［第二の実施形態：車両補助モニタ装置］
図５は、本発明の第二の実施形態に係る、車両補助モニタ装置を搭載した乗用車の実施形態を示す概略図である。
乗用車５０１のフロントグリルには、フロントビューモニタと呼ばれる広角度カメラ５０２が装着されている。この広角度カメラ５０２に、前述の映像処理装置１０５が接続される。乗用車５０１の運転席側のダッシュボードには、映像処理装置１０５の表示部２０５が設置され、この表示部２０５が運転手の死角を補う。
図５において、乗用車５０１は車庫から出庫しようとしている。一方、壁５０３を隔てた運転手の死角に、子供５０４が自転車に乗って近づいている。
乗用車５０１の正面にはカーブミラーとも呼ばれる道路反射鏡５０５が設置されている。周知のように、道路反射鏡５０５は凸面鏡である。

【0030】

道路には「とまれ」の路面標示５０６が印字されている。この路面標示５０６は、乗用車５０１の広角度カメラ５０２から直接見えると共に、道路反射鏡５０５を通じて反射した鏡像も見える。すなわち、路面標示５０６は前述の実施形態におけるマーカ１０６の役割を担うことになる。
映像処理装置１０５は、路面標示５０６のデータをマーカ１０６として予め不揮発性ストレージ２０７に記憶しておき、広角度カメラ５０２の映像から道路反射鏡５０５の部分を切り出す。そして、運転手から死角になる領域を、道路反射鏡５０５から得られる鏡像の幾何歪みを補正した状態で、表示部２０５に表示する。

【0031】

上述の第二の実施形態には、全方位カメラ１０４の代わりに広角度カメラ５０２が使用される。但し、カメラが全方位を撮影可能であるか、あるいは広角度であるかは、必ずしも必須のものではない。広角度カメラ５０２に代えて複数のカメラを用いて必要な画角を得る構成にしてもよい。
また、上述の変形例にはゴーグル１０７が存在しない代わりに、道路反射鏡５０５という凸面鏡が存在する。

【0032】

［第三の実施形態：映像処理システム６０１：全体構成］
図６は、本発明の第三の実施形態の例であり、本発明の映像処理システム６０１の使用状態を説明する概略図である。
図６に示す映像処理システム６０１の、図１における第一の実施形態に係る映像処理システム１０１との相違点は、
＜１＞手術室の壁に、全方位カメラ１０４の位置を把握するための第一マーカ６０２が貼付されていること、
＜２＞第一の実施形態におけるマーカ１０６は、反射体であるゴーグル１０７によって反射した鏡像が全方位カメラ１０４から撮影可能である第二マーカ６０３として存在することである。

【0033】

［映像処理装置６０４］
図７は、映像処理装置６０４のソフトウェア機能の一部を示すブロック図である。
図７に示すブロック図は、図３における映像処理装置１０５の、第一マーカ検出処理部３０２と、第二マーカ検出処理部３０９のみを抜粋している。
第一マーカ検出処理部３０２には、第一マーカ６０２の特徴を示す第一マーカ情報７０１が読み込まれる。
第一マーカ検出処理部３０２は、不揮発性ストレージ２０７に記憶されている第一マーカ情報７０１に基づいて、全方位撮影映像データ３０１に写っている第一マーカ６０２を探し当てる。そして、全方位撮影映像データ３０１における位置情報及び姿勢情報である、全方位カメラマーカ姿勢座標情報３０４を出力する。

【0034】

第二マーカ検出処理部３０９には、第二マーカ６０３の特徴を示す第一マーカ情報７０２が読み込まれる。
第二マーカ検出処理部３０９は、第一マーカ検出処理部３０２と同様に、不揮発性ストレージ２０７に記憶されている第二マーカ情報７０２に基づいて、第一ゴーグル領域映像データ３０８ａ、第二ゴーグル領域映像データ３０８ｂ、…第ｎゴーグル領域映像データ３０８ｎのそれぞれに写っている第二マーカ６０３を探し当てる。そして、第二マーカ検出処理部３０９は、第一ゴーグル領域映像データ３０８ａ、第二ゴーグル領域映像データ３０８ｂ、…第ｎゴーグル領域映像データ３０８ｎにおける位置情報及び姿勢情報である、第一ゴーグルマーカ姿勢座標情報３１０ａ、第二ゴーグルマーカ姿勢座標情報３１０ｂ、…第ｎゴーグルマーカ姿勢座標情報３１０ｎを出力する。

【0035】

図６及び図７に示すように、映像処理システム６０１は、全方位カメラ１０４の位置を把握するための第一マーカ６０２と、反射体であるゴーグル１０７によって反射した鏡像が全方位カメラ１０４から撮影可能である第二マーカ６０３を有する。第一の実施形態における映像処理システム１０１は、第一マーカ６０２と第二マーカ６０３が一体化したものと考えることができる。

【0036】

［反射鏡及び反射体について］
第一の実施形態、第二の実施形態及び第三の実施形態に共通する事項として、これまで反射鏡またはゴーグル１０７の光沢面を有するレンズのような物品は凸面形状を有することを前提として説明した。しかしながら、利用範囲は限定されるものの、平面鏡や極僅かな歪みを有する凹面鏡であっても、本発明に係る映像処理システムにおいて利用することは可能である。ゴーグル映像生成処理部３１３は、反射体領域の映像データに含まれる幾何歪みを、マーカ情報３０３または第二マーカ情報７０２に基づいて補正を行う。
ここで反射体とは、反射鏡のように鏡面仕上げを有する物品のみならず、鏡面仕上げはされていないものの光沢面を有し、コントラストの薄い反射映像を得ることが可能な物品も包含する、上位概念の言葉と定義する。

【0037】

すなわち、本発明の実施形態に係る映像処理システム６０１は、
任意の対象を反射する反射体と、
反射体によって反射された任意の対象を撮影可能なカメラと、
カメラから直接撮影可能な位置に存在する第一マーカ６０２と、
反射体によって反射した鏡像がカメラから撮影可能である第二マーカ６０３と、
カメラが出力する映像データに存在する前記第一マーカの位置から空間を把握すると共に、映像データから反射体の映像部分を切り出し、反射体の映像部分に含まれる第二マーカの形状から反射体によって生じた歪みを把握して、反射体の映像部分を平面状態に補正する映像処理装置６０４と
を具備する。
そして、反射体の具体例の一つは第一の実施形態及び第三の実施形態におけるゴーグル１０７であり、もう一つは第二の実施形態における道路反射鏡５０５、すなわち凸面鏡である。また、反射体は必ずしも鏡面仕上げでなくてもよい。これら反射体の具体例は例示列挙であり、他の物品も想定し得る。例えば、図５の変形例において、道路反射鏡５０５に代えて凸面鏡の形状を有するアクリル等の反射板を乗用車５０１の正面に設置し、広角度カメラ５０２を偏光カメラで構成してもよい。

【0038】

カメラという上位概念で映像処理装置６０４を見直すと、
全方位撮影映像データ３０１は映像データであり、
全方位カメラマーカ姿勢座標情報３０４はカメラマーカ姿勢座標情報であり、
全方位カメラ位置推定処理部３０５はカメラ位置推定処理部であり、
全方位カメラ座標情報３０６はカメラ座標情報である。
反射体という上位概念で映像処理装置６０４を見直すと、
ゴーグル領域抽出処理部３０７は反射体領域抽出処理部であり、
ゴーグル座標推定処理部３１１は反射体座標推定処理部であり、
ゴーグル映像生成処理部３１３は反射体映像生成処理部である。
また、第一ゴーグル領域映像データ３０８ａ、第二ゴーグル領域映像データ３０８ｂ、…第ｎゴーグル領域映像データ３０８ｎは、第一反射体領域映像データ、第二反射体領域映像データ、…第ｎ反射体領域映像データである。
第一ゴーグルマーカ姿勢座標情報３１０ａ、第二ゴーグルマーカ姿勢座標情報３１０ｂ、…第ｎゴーグルマーカ姿勢座標情報３１０ｎは、第一反射体マーカ姿勢座標情報、第二反射体マーカ姿勢座標情報、…第ｎ反射体マーカ姿勢座標情報である。
第一ゴーグル姿勢座標情報３１２ａ、第二ゴーグル姿勢座標情報３１２ｂ、…第ｎゴーグル姿勢座標情報３１２ｎは、第一反射体姿勢座標情報、第二反射体姿勢座標情報、…第ｎ反射体姿勢座標情報である。
第一ゴーグル視点映像データ３１４ａ、第二ゴーグル視点映像データ３１４ｂ、…第ｎゴーグル視点映像データ３１４ｎは、第一反射体視点映像データ、第二反射体視点映像データ、…第ｎ反射体視点映像データである。
反射体映像生成処理部は、第一反射体領域映像データ、第二反射体領域映像データ、…第ｎ反射体領域映像データと、第一反射体姿勢座標情報、第二反射体姿勢座標情報、…第ｎ反射体姿勢座標情報と、カメラマーカ姿勢座標情報と、カメラ座標情報を受けて、反射体が向いている方向と推定される反射体視点映像データを生成する。
また、反射体映像生成処理部は、反射体領域映像データが凸面形状反射体の形状に由来する幾何歪みを含む映像データである場合に、凸面形状反射体の形状によって生じる反射体領域映像データの幾何歪みを補正することで、凸面形状反射体の映像部分を平面状態に補正する。

【0039】

本発明の実施形態においては、映像処理システム１０１を開示した。
映像処理装置１０５は、ゴーグル１０７に映る湾曲した鏡像の幾何歪みを、マーカ１０６を手がかりに補正して、ゴーグル１０７の向く方向の映像データを生成する。作業者１０２は作業の最中に重いカメラを頭部に装着する必要がなくなり、軽量なゴーグル１０７を装着するだけで、作業者１０２の視点の映像データを得ることができる。
映像処理システム１０１は、特に習得の機会が少ない外科手術の習得に大きな効果が得られるものと期待できる。また、外科手術に限らず、様々な作業の映像を、カメラを作業者１０２の頭部に装着することなく簡便に作業者視点の映像データを得ることができる。
更に、複数のゴーグル１０７や凸面鏡が被写体の周囲に存在すれば、被写体の三次元立体データを容易に得ることができる。

【0040】

以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、特許請求の範囲に記載した本発明の要旨を逸脱しない限りにおいて、他の変形例、応用例を含む。

【符号の説明】

【0041】

１０１…映像処理システム、１０２…作業者、１０２ａ…執刀医、１０２ｂ…看護師、１０３…患者、１０４…全方位カメラ、１０５…映像処理装置、１０６…マーカ、１０７…ゴーグル、１０７ａ…レンズ、１０８…手術台、２０１…バス、２０２…ＣＰＵ、２０３…ＲＯＭ、２０４…ＲＡＭ、２０５…表示部、２０６…操作部、２０７…不揮発性ストレージ、２０８…シリアルインターフェース、３０１…全方位撮影映像データ、３０２…第一マーカ検出処理部、３０３…マーカ情報、３０４…全方位カメラマーカ姿勢座標情報、３０５…全方位カメラ位置推定処理部、３０６…全方位カメラ座標情報、３０７…ゴーグル領域抽出処理部、３０８ａ…第一ゴーグル領域映像データ、３０８ｂ…第二ゴーグル領域映像データ、３０８ｎ…第ｎゴーグル領域映像データ、３０９…第二マーカ検出処理部、３１０ａ…第一ゴーグルマーカ姿勢座標情報、３１０ｂ…第二ゴーグルマーカ姿勢座標情報、３１０ｎ…第ｎゴーグルマーカ姿勢座標情報、３１１…ゴーグル座標推定処理部、３１２ａ…第一ゴーグル姿勢座標情報、３１２ｂ…第二ゴーグル姿勢座標情報、３１２ｎ…第ｎゴーグル姿勢座標情報、３１３…ゴーグル映像生成処理部、３１４ａ…第一ゴーグル視点映像データ、３１４ｂ…第二ゴーグル視点映像データ、３１４ｎ…第ｎゴーグル視点映像データ、３１５…三次元形状推定処理部、３１６…仮想三次元映像データ、４０１…被写体、５０１…乗用車、５０２…広角度カメラ、５０３…壁、５０４…子供、５０５…道路反射鏡、５０６…路面標示、６０１…映像処理システム、６０２…第一マーカ、６０３…第二マーカ、６０４…映像処理装置、７０１…第一マーカ情報、７０２…第二マーカ情報

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】