特許 6242009 広域画像に撮影領域枠を重畳表示する映像転送システム、端末、プログラム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6242009

(24)【登録日】2017年11月17日

(45)【発行日】2017年12月6日

(54)【発明の名称】広域画像に撮影領域枠を重畳表示する映像転送システム、端末、プログラム及び方法

(51)【国際特許分類】

   H04N 21/431 20110101AFI20171127BHJP

   H04N 21/6332 20110101ALI20171127BHJP

   H04N 5/225 20060101ALI20171127BHJP

【ＦＩ】

   H04N21/431

   H04N21/6332

   H04N5/225

【請求項の数】14

【全頁数】16

(21)【出願番号】特願2014-139020(P2014-139020)

(22)【出願日】2014年7月4日

(65)【公開番号】特開2016-19053(P2016-19053A)

(43)【公開日】2016年2月1日

【審査請求日】2016年12月27日

(73)【特許権者】

【識別番号】000208891

【氏名又は名称】ＫＤＤＩ株式会社

(74)【代理人】

【識別番号】100135068

【弁理士】

【氏名又は名称】早原 茂樹

(72)【発明者】

【氏名】巻渕 有哉

(72)【発明者】

【氏名】加藤 晴久

(72)【発明者】

【氏名】小林 達也

【審査官】 福西 章人

(56)【参考文献】

【文献】 特開２０１２−１０９８５２（ＪＰ，Ａ）

【文献】 特開２０１４−１０６８８８（ＪＰ，Ａ）

【文献】 特開２００３−３４６１８５（ＪＰ，Ａ）

【文献】 特開２００５−０３８０２１（ＪＰ，Ａ）

【文献】 特開２０００−１２１３５８（ＪＰ，Ａ）

【文献】 特開２０１３−００９２０２（ＪＰ，Ａ）

【文献】 特開２００６−３４００９１（ＪＰ，Ａ）

【文献】 特開２００５−０６９７５７（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ２１／００−２１／８５８

Ｈ０４Ｎ ５／７６−５／９５６

Ｈ０４Ｎ ５／２２２−５／２５７

(57)【特許請求の範囲】

【請求項1】

カメラを有する撮影側端末と、ディスプレイを有する閲覧側端末とが、ネットワークを介して接続された映像転送システムにおいて、
撮影側端末は、
閲覧側端末と共有する、当該撮影側端末のカメラに映るであろう広域画像を記憶した第１の広域画像共有記憶手段と、
前記広域画像と、カメラによって撮影された撮影画像と、の間の特徴点の点対応を計算する点対応計算手段と、
画像間の点対応から、カメラ姿勢としての射影変換行列を計算するカメラ姿勢計算手段と、
前記カメラ姿勢を、閲覧側端末へ送信するフレーム送信手段と
を有し、
閲覧側端末は、
撮影側端末と共有する前記広域画像を記憶した第２の広域画像共有記憶手段と、
前記広域画像に対して、撮影側端末から受信した前記カメラ姿勢の撮影領域枠を計算する撮影領域枠計算手段と、
前記広域画像に、前記撮影領域枠を重畳的に描画して、ディスプレイに表示する画像描画手段と
を有することを特徴とする映像転送システム。

【請求項2】

閲覧側端末の前記撮影領域枠計算手段は、フレームの４頂点を、前記カメラ姿勢の射影変換行列によって変換した四角形の枠を、前記撮影領域枠とする
ことを特徴とする請求項１に記載の映像転送システム。

【請求項3】

撮影側端末の第１の広域画像共有記憶手段は、複数の撮影画像からパノラマ画像を生成し、該パノラマ画像を閲覧側端末へ送信し、
閲覧側端末の第２の広域画像共有記憶手段は、撮影側端末から受信した前記パノラマ画像を記憶する
ことを特徴とする請求項１又は２に記載の映像転送システム。

【請求項4】

撮影側端末の前記フレーム送信手段は、前記カメラ姿勢のみを閲覧側端末へ送信し続ける中で、周期的又はユーザ選択の撮影画像をカメラ姿勢に対応付けて送信する
ことを特徴とする請求項１から３のいずれか１項に記載の映像転送システム。

【請求項5】

閲覧側端末の前記画像描画手段は、撮影側端末から受信した撮影画像を逐次連続的に、前記広域画像に重畳して描画する
ことを特徴とする請求項４に記載の映像転送システム。

【請求項6】

閲覧側端末の前記画像描画手段は、撮影側端末から受信した最新の撮影画像のみを、前記広域画像に重畳して描画する
ことを特徴とする請求項４に記載の映像転送システム。

【請求項7】

閲覧側端末の前記画像描画手段は、撮影側端末から受信した撮影画像のうち、閲覧者が指定した撮影画像のみを広域画像に重畳して描画する
ことを特徴とする請求項４に記載の映像転送システム。

【請求項8】

撮影側端末は、前記点対応計算手段に入力される撮影画像に対して、ダウンサンプリングによって１枚の撮影画像の解像度を低減させるべく変換するダウンサンプリング手段を更に有する
ことを特徴とする請求項１から７のいずれか１項に記載の映像転送システム。

【請求項9】

撮影側端末について、
前記点対応計算手段及び前記カメラ姿勢計算手段は、撮影画像が広域画像に対して点対応を計算できない場合、撮影画像と直近の他の撮影画像との間の射影変換行列と、直近の他の撮影画像と広域画像との間の射影変換行列との積を、カメラ姿勢として算出する
ことを特徴とする請求項１から８のいずれか１項に記載の映像転送システム。

【請求項10】

ディスプレイを有する閲覧側端末とネットワークを介して接続されると共に、カメラを有する撮影側端末において、
閲覧側端末と共有する、当該カメラに映るであろう広域画像を記憶した第１の広域画像共有記憶手段と、
前記広域画像と、前記カメラによって撮影された撮影画像と、の間の特徴点の点対応を計算する点対応計算手段と、
画像間の点対応から、カメラ姿勢としての射影変換行列を計算するカメラ姿勢計算手段と、
前記カメラ姿勢を、閲覧側端末へ送信するフレーム送信手段と
を有し、閲覧側端末のディスプレイに、前記広域画像に対して前記カメラ姿勢の撮影領域枠を重畳的に描画させる
ことを特徴とする撮影側端末。

【請求項11】

請求項１０に記載の撮影側端末とネットワークを介して接続されると共に、ディスプレイを有する閲覧側端末において、
撮影側端末と共有する前記広域画像を記憶した第２の広域画像共有記憶手段と、
前記広域画像に対して、撮影側端末から受信した前記カメラ姿勢の撮影領域枠を計算する撮影領域枠計算手段と、
前記広域画像に、前記撮影領域枠を重畳的に描画して、ディスプレイに表示する画像描画手段と
を有することを特徴とする閲覧側端末。

【請求項12】

ディスプレイを有する閲覧側端末とネットワークを介して接続されると共に、カメラを有する撮影側端末に搭載されたコンピュータを機能させるプログラムにおいて、
閲覧側端末と共有する、当該カメラに映るであろう広域画像を記憶した第１の広域画像共有記憶手段と、
前記広域画像と、前記カメラによって撮影された撮影画像と、の間の特徴点の点対応を計算する点対応計算手段と、
画像間の点対応から、カメラ姿勢としての射影変換行列を計算するカメラ姿勢計算手段と、
前記カメラ姿勢を、閲覧側端末へ送信するフレーム送信手段と
してコンピュータを機能させ、閲覧側端末のディスプレイに、前記広域画像に対して前記カメラ姿勢の撮影領域枠を重畳的に描画させる
ことを特徴とする撮影側端末用のプログラム。

【請求項13】

請求項１０に記載の撮影側端末とネットワークを介して接続されると共に、ディスプレイを有する閲覧側端末に搭載されたコンピュータを機能させるプログラムにおいて、
撮影側端末と共有する前記広域画像を記憶した第２の広域画像共有記憶手段と、
前記広域画像に対して、撮影側端末から受信した前記カメラ姿勢の撮影領域枠を計算する撮影領域枠計算手段と、
前記広域画像に、前記撮影領域枠を重畳的に描画して、ディスプレイに表示する画像描画手段と
してコンピュータを機能させることを特徴とする閲覧側端末用のプログラム。

【請求項14】

カメラを有する撮影側端末と、ディスプレイを有する閲覧側端末とが、ネットワークを介して接続されたシステムにおける映像転送方法において、
撮影側端末及び閲覧側端末は、相互に共有する、当該撮影側端末のカメラに映るであろう広域画像を記憶しており、
撮影側端末が、前記広域画像と、前記カメラによって撮影された撮影画像と、の間の特徴点の点対応を計算する第１のステップと、
撮影側端末が、画像間の点対応から、カメラ姿勢としての射影変換行列を計算する第２のステップと、
撮影側端末が、前記カメラ姿勢を、閲覧側端末へ送信する第３のステップと、
閲覧側端末が、前記広域画像に対して、撮影側端末から受信した前記カメラ姿勢の撮影領域枠を計算する第４のステップと、
前記広域画像に、前記撮影領域枠を重畳的に描画して、ディスプレイに表示する第５のステップと
を有することを特徴とする映像転送方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、端末間のオンラインビデオサービスの技術に関する。

【背景技術】

【0002】

図１は、オンラインビデオサービスのシステム構成図である。

【0003】

スマートフォンやタブレット等の端末の普及に伴って、地理的に離れた端末間で、ネットワークを介したオンラインビデオサービスが提供されている。図１のシステムによれば、スマートフォンやタブレットのような端末が、撮影した映像データを、ネットワークを介してリアルタイムに他方の端末へ、ストリーミングで伝送している。近年、携帯端末のようなポータブル型機器でも、ＨＤ(High-Definition)クラスの映像を撮影することができる。

【0004】

このサービスによれば、例えば機器の操作や点検や修理をする用途として、現場作業者と、遠隔の管理者（オペレータ）との間で、リアルタイムに映像を視認することができる。図１によれば、端末１は、現場作業員によって所持され、端末２は、管理者によって所持されている。端末１は、カメラによって撮影した映像を、アクセスネットワーク及びインターネットを介して、端末２へ送信する。端末２は、受信した映像データをディスプレイにリアルタイムに再生することによって、現場作業員の状況を管理者に視認させることができる。

【0005】

従来、固定設置された全方位カメラと、オペレータが撮影方向を制御可能なカメラと、作業者の頭部に装着したプロジェクタとを用いて、作業者とオペレータの視認領域とを一致させる技術がある（例えば特許文献１参照）。この技術によれば、具体的には、全方位カメラの映像から、オペレータ用カメラの撮影領域及びプロジェクタの投影領域を特定し、カメラの撮影領域への方向を示すアイコンをプロジェクタによって投影する。現場作業者は表示に従って、オペレータの撮影領域まで移動できると共に、オペレータは作業箇所の映像と作業空間全体の映像とを切り替えて確認することができる。

【0006】

また、対象物の全体像と撮影箇所とを簡易に認識させるシステムとして、ネットワークに接続したカメラの撮影方向を制御する技術もある（例えば特許文献２参照）。この技術によれば、全方位カメラで撮影したパノラマ画像上にカメラ制御パラメータから計算される映像枠を表示して、遠隔のオペレータが視覚的にカメラ方向を制御することができる。

【0007】

更に、従来、パノラマ画像を生成するために、一般に「Image Stitching」と称される技術がある。この技術によれば、互いに重複する領域のある複数の撮影画像を入力とし、それら撮影画像のカメラの移動量を算出し、その移動量に基づいて１つの座標系上に合成する。具体的には、ブリティッシュ・コロンビア大学によって公開されたアプリケーション「AutoStich」がある（例えば非特許文献１及び２参照）。これによって、撮影対象が１つの視点からの撮影画像に収まらないような広範囲であっても、１枚のパノラマ画像を生成することができる。例えば５秒間程度、カメラを動かしながら連写撮影することによって、その時間範囲で撮影された複数の撮影画像を、１枚のパノラマ画像として生成することができる。

【先行技術文献】

【特許文献】

【0008】

【特許文献1】特開２００６−１８０２７８号公報

【特許文献2】特開２０００―１０１９９１号公報

【非特許文献】

【0009】

【非特許文献1】「AutoStich: a new dimension in automatic image stitching」、[online]、［平成２６年６月１０日検索］、インターネット＜http://www.cs.bath.ac.uk/brown/autostitch/autostitch.html＞

【非特許文献2】「コンピュータビジョンのセカイ - 今そこにあるミライ」、[online]、［平成２６年６月１０日検索］、インターネット＜http://news.mynavi.jp/series/computer_vision/027/＞

【発明の概要】

【発明が解決しようとする課題】

【0010】

しかしながら、例えば撮影対象物が大きい場合や、その撮影対象物中に複数の類似形態が映り込んでいる場合、遠隔の管理者から見ると、対象物全体の中で撮影画像の領域を認識しにくくなることがある。

【0011】

特許文献１に記載の技術によれば、作業空間全体の映像と作業箇所の映像とを切り替える必要があり、両者を同時に確認することはできない。また、撮影画像が高解像度である場合や、ネットワークの伝送帯域が輻輳している場合、送信フレームレートが低下し、遠隔の管理者から見て、作業者の撮影領域をリアルタイムに視認できないという課題もあった。

【0012】

また、特許文献２に記載の技術によれば、撮影領域を表示するカメラは、遠隔のオペレータによってその撮影方向が制御されており、現場の作業者が任意方向に撮影領域を動かすような用途には適用できない。

【0013】

そこで、本発明は、低い伝送帯域であっても、被写体全体に対する撮影画像の領域を視認しやすくする映像転送システム、端末、プログラム及び方法を提供することを目的とする。

【課題を解決するための手段】

【0014】

本発明によれば、カメラを有する撮影側端末と、ディスプレイを有する閲覧側端末とが、ネットワークを介して接続された映像転送システムにおいて、
撮影側端末は、
閲覧側端末と共有する、当該撮影側端末のカメラに映るであろう広域画像を記憶した第１の広域画像共有記憶手段と、
広域画像と、カメラによって撮影された撮影画像と、の間の特徴点の点対応を計算する点対応計算手段と、
画像間の点対応から、カメラ姿勢としての射影変換行列を計算するカメラ姿勢計算手段と、
カメラ姿勢を、閲覧側端末へ送信するフレーム送信手段と
を有し、
閲覧側端末は、
撮影側端末と共有する広域画像を記憶した第２の広域画像共有記憶手段と、
広域画像に対して、撮影側端末から受信したカメラ姿勢の撮影領域枠を計算する撮影領域枠計算手段と、
広域画像に、撮影領域枠を重畳的に描画して、ディスプレイに表示する画像描画手段と
を有することを特徴とする。

【0015】

本発明の映像転送システムにおける他の実施形態によれば、
閲覧側端末の撮影領域枠計算手段は、フレームの４頂点を、カメラ姿勢の射影変換行列によって変換した四角形の枠を、撮影領域枠とすることも好ましい。

【0016】

本発明の映像転送システムにおける他の実施形態によれば、
撮影側端末の第１の広域画像共有記憶手段は、複数の撮影画像からパノラマ画像を生成し、当該パノラマ画像を閲覧側端末へ送信し、
閲覧側端末の第２の広域画像共有記憶手段は、撮影側端末から受信したパノラマ画像を記憶することも好ましい。

【0017】

本発明の映像転送システムにおける他の実施形態によれば、
撮影側端末のフレーム送信手段は、カメラ姿勢のみを閲覧側端末へ送信し続ける中で、周期的又はユーザ選択の撮影画像をカメラ姿勢に対応付けて送信することも好ましい。

【0018】

本発明の映像転送システムにおける他の実施形態によれば、
閲覧側端末の画像描画手段は、撮影側端末から受信した撮影画像を逐次連続的に、広域画像に重畳して描画することも好ましい。

【0019】

本発明の映像転送システムにおける他の実施形態によれば、
閲覧側端末の画像描画手段は、撮影側端末から受信した最新の撮影画像のみを、広域画像に重畳して描画することも好ましい。

【0020】

本発明の映像転送システムにおける他の実施形態によれば、
閲覧側端末の前記画像描画手段は、撮影側端末から受信した撮影画像のうち、閲覧者が指定した撮影画像のみを広域画像に重畳して描画することも好ましい。

【0021】

本発明の映像転送システムにおける他の実施形態によれば、
撮影側端末は、点対応計算手段に入力される撮影画像に対して、ダウンサンプリングによって１枚の撮影画像の解像度を低減させるべく変換するダウンサンプリング手段を更に有することも好ましい。

【0022】

本発明の映像転送システムにおける他の実施形態によれば、
撮影側端末について、
点対応計算手段及びカメラ姿勢計算手段は、撮影画像が広域画像に対して点対応を計算できない場合、撮影画像と直近の他の撮影画像との間の射影変換行列と、直近の他の撮影画像と広域画像との間の射影変換行列との積を、カメラ姿勢として算出する
ことも好ましい。

【0023】

本発明によれば、ディスプレイを有する閲覧側端末とネットワークを介して接続されると共に、カメラを有する撮影側端末において、
閲覧側端末と共有する、当該カメラに映るであろう広域画像を記憶した第１の広域画像共有記憶手段と、
広域画像と、カメラによって撮影された撮影画像と、の間の特徴点の点対応を計算する点対応計算手段と、
画像間の点対応から、カメラ姿勢としての射影変換行列を計算するカメラ姿勢計算手段と、
カメラ姿勢を、閲覧側端末へ送信するフレーム送信手段と
を有し、閲覧側端末のディスプレイに、広域画像に対してカメラ姿勢の撮影領域枠を重畳的に描画させる
ことを特徴とする。

【0024】

本発明によれば、前述した撮影側端末とネットワークを介して接続されると共に、ディスプレイを有する閲覧側端末において、
撮影側端末と共有する広域画像を記憶した第２の広域画像共有記憶手段と、
広域画像に対して、撮影側端末から受信したカメラ姿勢の撮影領域枠を計算する撮影領域枠計算手段と、
広域画像に、撮影領域枠を重畳的に描画して、ディスプレイに表示する画像描画手段と
を有することを特徴とする。

【0025】

本発明によれば、ディスプレイを有する閲覧側端末とネットワークを介して接続されると共に、カメラを有する撮影側端末に搭載されたコンピュータを機能させるプログラムにおいて、
閲覧側端末と共有する、当該カメラに映るであろう広域画像を記憶した第１の広域画像共有記憶手段と、
広域画像と、カメラによって撮影された撮影画像と、の間の特徴点の点対応を計算する点対応計算手段と、
画像間の点対応から、カメラ姿勢としての射影変換行列を計算するカメラ姿勢計算手段と、
カメラ姿勢を、閲覧側端末へ送信するフレーム送信手段と
してコンピュータを機能させ、閲覧側端末のディスプレイに、広域画像に対してカメラ姿勢の撮影領域枠を重畳的に描画させる
ことを特徴とする。

【0026】

本発明によれば、前述した撮影側端末とネットワークを介して接続されると共に、ディスプレイを有する閲覧側端末に搭載されたコンピュータを機能させるプログラムにおいて、
撮影側端末と共有する広域画像を記憶した第２の広域画像共有記憶手段と、
広域画像に対して、撮影側端末から受信したカメラ姿勢の撮影領域枠を計算する撮影領域枠計算手段と、
広域画像に、撮影領域枠を重畳的に描画して、ディスプレイに表示する画像描画手段と
してコンピュータを機能させることを特徴とする。

【0027】

本発明によれば、カメラを有する撮影側端末と、ディスプレイを有する閲覧側端末とが、ネットワークを介して接続されたシステムにおける映像転送方法において、
撮影側端末及び閲覧側端末は、相互に共有する、当該撮影側端末のカメラに映るであろう広域画像を記憶しており、
撮影側端末が、広域画像と、カメラによって撮影された撮影画像と、の間の特徴点の点対応を計算する第１のステップと、
撮影側端末が、画像間の点対応から、カメラ姿勢としての射影変換行列を計算する第２のステップと、
撮影側端末が、カメラ姿勢を、閲覧側端末へ送信する第３のステップと、
閲覧側端末が、広域画像に対して、撮影側端末から受信したカメラ姿勢の撮影領域枠を計算する第４のステップと、
広域画像に、撮影領域枠を重畳的に描画して、ディスプレイに表示する第５のステップと
を有することを特徴とする。

【発明の効果】

【0028】

本発明の映像転送システム、端末、プログラム及び方法によれば、低い伝送帯域であっても、被写体全体に対する撮影画像の領域を視認しやすくすることができる。

【図面の簡単な説明】

【0029】

【図1】オンラインビデオサービスのシステム構成図である。

【図2】本発明における映像転送システムの機能構成図である。

【図3】本発明における映像転送システムのシーケンス図である。

【図4】複数の撮影画像から生成されたパノラマ画像を表す広域画像である。

【図5】Homography行列に基づくinlier及びoutlierを表す画像対応図である。

【図6】撮影画像と広域画像との間で、点対応及びカメラ姿勢が計算できる場合のフレーム間関係と、計算できない場合のフレーム間関係とを表す説明図である。

【図7】本発明によって閲覧側端末に表示された第１の描画画像図である。

【図8】本発明によって閲覧側端末に表示された第２の描画画像図である。

【発明を実施するための形態】

【0030】

以下、本発明の実施の形態について、図面を用いて詳細に説明する。

【0031】

図２は、本発明における映像転送システムの機能構成図である。
図３は、本発明における映像転送システムのシーケンス図である。

【0032】

図２及び図３のシステムによれば、撮影側端末１と閲覧側端末２とが、ネットワークを介して接続されている。撮影側端末１及び閲覧側端末２は、例えばスマートフォンやタブレット又はパーソナルコンピュータのような端末である。撮影側端末１は、少なくとも、閲覧側端末２と通信する通信インタフェース１０１と、周辺状況を撮影するカメラモジュール（Ｗｅｂカメラ）１０２とを有する。また、閲覧側端末２は、少なくとも、撮影側端末１と通信する通信インタフェース２０１と、受信した映像を表示するディスプレイ２０３とを有する。勿論、カメラやディスプレイは、情報機器に組み込まれたものに限られず、外部に接続されたものであってもよい。また、情報機器としては、例えばカメラモジュール、ディスプレイ及び通信インタフェースが一体化したヘッドマウントディスプレイであってもよい。通信インタフェースは、インターネットのようなネットワークを介して、相手方端末と通信する。

【0033】

＜撮影側端末１のプログラム＞
撮影側端末１によれば、カメラモジュール１０２は、例えば連写や動画によって被写体を撮影した撮影画像（フレーム）を逐次、映像転送プログラムへ出力する。

【0034】

撮影側端末１のプログラムは、第１の広域画像共有記憶部１１と、点対応計算部１２と、カメラ姿勢計算部１３と、フレーム送信部１４と、広域画像生成部１５と、ダウンサンプリング部１６とを有する。これら機能構成部は、端末に搭載されたコンピュータを機能させるプログラムを実行することによって実現される。尚、これら機能構成部は、映像転送装置の内部構造として理解できると共に、その処理の流れは、端末の映像転送方法としても理解できる。

【0035】

［第１の広域画像共有記憶部１１］
第１の広域画像共有記憶部１１は、閲覧側端末と共有する、当該撮影側端末のカメラに映るであろう広域画像を記憶する。広域画像としては、複数の撮影画像から生成したパノラマ画像であってもよい。生成されたパノラマ画像は、閲覧側端末２へ送信される。そして、広域画像は、撮影側端末１と閲覧側端末２との両方で共有される（図３のＳ３１参照）。被写体が既知である場合は、被写体の撮影画像を撮影側端末１と閲覧側端末２とで事前に共有しておいてもよい。尚、第１の広域画像共有記憶部１１は、広域画像から予め抽出した特徴点集合を記憶しておくことも好ましい。これら特徴点集合は、点対応計算部１２によって直ぐに参照される。

【0036】

［広域画像生成部１５］
広域画像生成部１５は、カメラモジュール１０２からの撮影画像を逐次に記憶し、複数の撮影画像から１枚のパノラマ画像を生成するものであってもよい。

【0037】

図４は、複数の撮影画像から生成されたパノラマ画像を表す広域画像である。

【0038】

パノラマ画像の生成には、前述した「Image Stitching」の技術を用いることもできる。即ち、撮影画像間の位置関係の検出処理と、対応関係に基づく撮影画像のレンダリング（繋ぎ合わせ）処理とを実行する。生成されたパノラマ画像は、第１の広域画像共有記憶部１１へ出力される。

【0039】

［点対応計算部１２］
点対応計算部１２は、カメラモジュール１０２から撮影画像を入力すると共に、第１の広域画像共有記憶部１１に記憶された広域画像（パノラマ画像）を参照する。そして、点対応計算部１２は、広域画像と撮影画像との間の特徴点の点対応を計算する。具体的には、撮影画像から局所特徴量を抽出し、一方の撮影画像の特徴点ｐと広域画像の特徴点ｐ'との間の点対応Ｐ＝{(p, p')}を計算する（図３のＳ３２参照）。

【0040】

局所特徴点の抽出アルゴリズムとしては、例えばＳＩＦＴ(Scale-Invariant Feature Transform)やＳＵＲＦ(Speeded Up Robust Features)、ＯＲＢ(Oriented FAST and Rotated BRIEF)が用いられる。これらの局所特徴点は、以下の要素によって記述される。
座標ｐ＝(x,y)、方向θ、局所特徴ベクトルf
尚、点対応を検出する撮影画像及び広域画像間では、その特徴ベクトルについて同じ次元数である。

【0041】

例えば、ＳＩＦＴの場合、１枚の画像からは１２８次元の特徴点集合が抽出される。ＳＩＦＴとは、スケールスペースを用いて特徴的な局所領域を解析し、そのスケール変化及び回転に不変となる特徴ベクトルを記述する技術である。一方で、ＳＵＲＦの場合、ＳＩＦＴよりも高速処理が可能であって、１枚の画像から６４次元の特徴点集合が抽出される。また、ＯＲＢは、バイナリコードによる特徴記述としてＢＲＩＥＦ(Binary Robust Independent Elementary Features)を用いて、１つのコンテンツから２５６ビットのバイナリ特徴ベクトルの集合を抽出する。特に、ＯＲＢによれば、ＳＩＦＴやＳＵＲＦと比較して、同等以上の精度を保持すると共に、数百倍の高速化を実現することができる。

【0042】

次に、点対応計算部１２は、撮影画像の特徴点集合と広域画像の特徴点集合とをマッチングし、局所特徴点を点対応させる。撮影画像の特徴点ｐに対して、広域画像の特徴点ｐ'を対応付ける。２つの特徴点ｐ'とｐとの間の距離が短いほど、類似度が高い。

【0043】

また、点対応計算部１２は、点対応計算の精度を向上させるために、以下の方法を用いることも好ましい。
（１）局所特徴点間の距離に基づいて点対応をソートし、距離が所定閾値以下の点対応のみを用いる。
（２）局所特徴点間の距離に基づいて点対応をソートし、距離が１番目に近いものと２番目に近いものを探索し、それらの距離の比（２番目との距離に対する１番目との距離）が所定閾値以下のものを用いる。
（３）その他、計算コストに優れるバイナリ特徴量や、ＳＳＤ(Sum of Squared Difference)、正規化相互相関（ＮＣＣ）等も用いることもできる。

【0044】

そして、点対応計算部１２は、撮影画像と広域画像との間における特徴点の点対応を、カメラ姿勢計算部１３へ出力する。

【0045】

尚、他の実施形態として、点対応計算部１２は、必ずしも広域画像（パノラマ画像）全体を用いることなく、広域画像に映るサポート情報を用いるものであってもよい。サポート情報としては、例えば画像認識のための基準マーカ画像であって、例えばＱＲコード（登録商標）であってもよい。この場合、点対応計算部１２は、広域画像に映る基準マーカ画像と、撮影画像との間で点対応を計算する。

【0046】

［ダウンサンプリング部１６］
他の実施形態として、ダウンサンプリング部１６は、撮影画像に対して、ダウンサンプリング（例えばピクセル数の減少）によって１枚の撮影画像の解像度を低減させるべく変換する。低解像度に変換された撮影画像は、点対応計算部１２へ出力される。これによって、点対応計算部１２及びカメラ姿勢計算部１３の計算量を削減することができる。

【0047】

［カメラ姿勢計算部１３］
カメラ姿勢計算部１３は、点対応計算部１２から出力された撮影画像と広域画像との間の点対応を入力し、カメラ姿勢としての射影変換行列を計算する（図３のＳ３３参照）。

【0048】

カメラ姿勢計算部１３は、具体的は、点対応Ｐ＝{(p, p')}集合から、例えばＲＡＮＳＡＣ(RAndom SAmple Consensus)のようなロバスト推定アルゴリズムを用いて、広域画像を撮影画像へ変換する射影変換行列を算出する。これによって、誤った点対応を除去することができる。変換行列は、好ましくは「Homography行列（射影変換行列）」であって、最低４組の点対応が必要である。４組全ての点対応が、inlierでなければ正解のHomography行列が得られない。

【0049】

図５は、Homography行列に基づくinlier及びoutlierを表す画像対応図である。

【0050】

算出されたHomography行列を用いて撮影画像の特徴点集合を射影し、広域画像の特徴点とのユークリッド距離が所定閾値以下の対応組を正(inlier)として判定し、それ以外を否(outlier)として判定する。正(inlier)と判定された対応組数が所定閾値以上である場合、当該撮影画像が検出されたと判定し、そのHomography行列を採用する。逆に、正(inlier)と判定された対応組数が所定閾値よりも少ない場合、未検出と判定し、そのHomography行列を除去する。

【0051】

射影変換行列であるHomography行列Ｈは、以下のように表される。これは、広域画像の特徴点ｐ'＝(ｘ₁,ｙ₁)と、撮影画像の特徴点ｐ＝(ｘ₂,ｙ₂)との関係を表す。

【数1】

【0052】

Homography行列の算出には、撮影画像の特徴点集合と広域画像の特徴点集合とが用いられる。Homography行列Ｈの未知パラメータ数は、８個（h0〜h7、h8=1）であり、一組の対応点は２個の制約式を与える。従って、この行列Ｈは、４組以上の対応点があれば、最小二乗法によって算出することができる。このようなカメラ姿勢を推定する技術は、ＡＲシステムでは一般的なものである。

【0053】

そして、Homography行列Ｈを用いて、各撮影画像特徴点を射影した際に、以下のように判定する。
（１）目標画像の特徴点に対して所定閾値以下の近くに射影されれば、inlierと判定する。
（２）逆に、所定閾値よりも遠くに射影されれば、outlierと判定する。図５によれば、outlierは、破線で表されている。
この処理を複数回実行した後、inlierの数が所定閾値以上となったHomography行列Ｈのみを採用する。

【0054】

最終的に、カメラ姿勢計算部１３は、撮影画像と広域画像との間のカメラ姿勢（射影変換行列Ｈ）を、フレーム送信部１４へ出力する。

【0055】

図６は、撮影画像と広域画像との間で、点対応及びカメラ姿勢が計算できる場合のフレーム間関係と、計算できない場合のフレーム間関係とを表す説明図である。

【0056】

図６（ａ）によれば、撮影画像と広域画像との間で、点対応及びカメラ姿勢が計算できる場合の第１のフレーム間関係を表す。
広域画像に対する撮影画像のカメラ姿勢： 射影変換行列Ｈ_６１
この場合、射影変換行列の誤差が蓄積しないため、カメラ姿勢の精度が高くなる。

【0057】

図６（ｂ）によれば、撮影画像と広域画像との間で、点対応及びカメラ姿勢が計算できない場合の第２のフレーム間関係を表す。
これは、撮影画像が、広域画像に対して認識対象を見失った状態である。この場合、点対応計算部１２及びカメラ姿勢計算部１３は、撮影画像（最新の入力フレーム）と直近の他の撮影画像（バッファフレーム）との間の射影変換行列と、直近の他の撮影画像（バッファフレーム）と広域画像との間の射影変換行列との積を、カメラ姿勢として算出する。
バッファフレームに対する撮影画像のカメラ姿勢： 射影変換行列Ｈ_６５
広域画像に対するバッファフレームのカメラ姿勢： 射影変換行列Ｈ_５１
広域画像に対する撮影画像のカメラ姿勢： Ｈ_６５・Ｈ_５１
この場合、射影変換行列の誤差が蓄積し、カメラ姿勢の精度が比較的低くなる。

【0058】

［フレーム送信部１４］
フレーム送信部１４は、以下のように、基本ケースと応用ケースとがある。
（基本ケース）広域画像に対するカメラ姿勢のみを、閲覧側端末２へ送信する。即ち、撮影画像を逐次、閲覧側端末２へ送信することはない。カメラ姿勢の情報のみであれば、数十キロバイト程度の少ないデータ量であるため、低い伝送帯域であっても、連続的に送信することができる。

【0059】

従来技術によって例えば撮影画像を連続的に送信する場合、伝送経路の輻輳状態によっては送信フレームレートが低く設定されている場合が多く、１ｆｐｓ(flame per second)程度の一定間隔で送信される。この場合、閲覧側端末２では、「カクカク」とした滑らかでない映像が表示されることとなる。

【0060】

これに対し、本発明によれば、カメラ姿勢しか閲覧側端末２へ送信しないが、閲覧側端末２は、広域画像に対するそのカメラ姿勢に対応する撮影画像の位置及び形状を、ディスプレイにリアルタイムに描画することができる。

【0061】

（応用ケース）他の実施形態として、カメラ姿勢のみを閲覧側端末へ送信し続ける（基本ケース）中で、周期的又はユーザ選択の撮影画像をカメラ姿勢に対応付けて送信する（図３のＳ３４−１及びＳ３４−２参照）。これによって、閲覧側端末２は、受信した撮影画像を、カメラ姿勢に応じて変換し、広域画像に部分的に重畳することができる。結果として、広域画像全体に対する撮影領域をリアルタイムに確認しつつ、撮影領域の最新の状況を確認することができる。尚、撮影画像は、例えば、撮影側端末でユーザボタンによって選択されたものであってもよい。

【0062】

尚、撮影画像自体を周期的に送信する場合、伝送帯域が高輻輳状態（混雑状況）であるならば、その送信時間間隔を長くするように自動的に制御することも好ましい。

【0063】

＜閲覧側端末２のプログラム＞
閲覧側端末２のプログラムは、第２の広域画像共有記憶部２１と、撮影領域枠計算部２２と、画像描画部２３とを有する。これら機能構成部は、端末に搭載されたコンピュータを機能させるプログラムを実行することによって実現される。

【0064】

［第２の広域画像共有記憶部２１］
第２の広域画像共有記憶部２１は、撮影側端末１と共有する広域画像を記憶する。広域画像は、撮影側端末１から受信したパノラマ画像であってもよい。被写体が既知である場合、事前に設定しておいてもよい。

【0065】

［撮影領域枠計算部２２］
撮影領域枠計算部２２は、第２の広域画像共有記憶部２１に記憶された広域画像に対して、撮影側端末１から受信したカメラ姿勢の撮影領域枠を計算する。具体的には、フレームの４頂点を、カメラ姿勢の射影変換行列によって変換した四角形の枠を、撮影領域枠とする。但し、撮影領域を示す４点は必ずしもフレームの四隅である必要はなく、事前に指定したフレーム内の任意の４点でもよい。また、点数を限定する必要はなく、射影変換行列によって変換された１点を撮影位置（撮影領域）として計算してもよい。

【0066】

［画像描画部２３］
画像描画部２３は、広域画像に、撮影領域枠を重畳的に描画して、ディスプレイに表示する。

【0067】

図７は、本発明によって閲覧側端末に表示された第１の描画画像図である。

【0068】

図７によれば、広域画像に、撮影領域枠の線図が重畳して表示されている。これは、撮影側端末１のフレーム送信部１４が、基本ケースとして「カメラ姿勢」のみを送信した場合である。このように、広域画像に撮影領域枠の線図が重畳的に表示されるだけで、撮影側端末１のカメラが、被写体のどの位置を撮影しているか、を閲覧者はリアルタイムに認識することができる。即ち、例えば撮影対象物が大きい場合や、その撮影対象物中に複数の類似形態が映り込んでいる場合であっても、遠隔の閲覧者から見て、対象物全体の中で撮影画像の領域を認識しやすくなる。

【0069】

図８は、本発明によって閲覧側端末に表示された第２の描画画像図である。

【0070】

図８によれば、広域画像に、撮影画像が重畳して表示されている。これは、撮影側端末１のフレーム送信部１４が、応用ケースとして「カメラ姿勢＋撮影画像」を送信した場合である。具体的には、撮影画像が広域画像に重畳的に表示されると共に、カメラ姿勢に基づく撮影領域枠がリアルタイムに変化する。図８によれば、撮影側端末でユーザボタンによって選択された指差し確認部分の撮影画像が、広域画像に重畳的に表示されている。その上で更に、撮影領域枠が「ヌルヌルと（リアルタイムに）」変化して表示され続ける。

【0071】

画像描画部２３は、撮影側端末から受信した撮影画像を、以下の３つのパターンで表示することができる。
（第１のパターン）画像描画部２３は、撮影側端末１から受信した全ての撮影画像を逐次連続的に、広域画像に重畳して描画する。

【0072】

（第２のパターン）画像描画部２３は、撮影側端末１から受信した最新の撮影画像のみを、広域画像に重畳して描画する。即ち、新しい撮影画像を受信した場合、過去に受信した撮影画像の表示を除去した上で、その新しい撮影画像を広域画像に重畳的に表示する。例えば、指差し確認を行う場合、第２のパターンが適する。

【0073】

（第３のパターン）画像描画部２３は、撮影側端末１から受信した撮影画像のうち、閲覧者が指定した撮影画像のみを広域画像に重畳して描画する。例えば、スイッチのオン・オフやＬＥＤの点灯・消灯等の状況を確認する場合、第３のパターンが適する。

【0074】

前述した実施形態におけるシステム構成は、１台の撮影側端末１と、１台の閲覧側端末２とからなるものとして説明したが、勿論、撮影側端末１及び／又は閲覧側端末２が、複数台であっても構成可能である。本発明によれば、撮影側端末は、複数の閲覧側端末へ、撮影画像のカメラ姿勢を同時に送信することができる。また、閲覧側端末は、複数の撮影側端末から受信した複数のカメラ姿勢から、複数の撮影領域枠の線図を広域画像に同時に重畳して表示することができる。

【0075】

以上、詳細に説明したように、本発明の映像転送システム、端末、プログラム及び方法によれば、低い伝送帯域であっても、被写体全体に対する撮影画像の領域を視認しやすくすることができる。

【0076】

前述した本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。

【符号の説明】

【0077】

１ 撮影側端末
１０１ 通信インタフェース
１０２ カメラモジュール
１１ 第１の広域画像共有記憶部
１２ 点対応計算部
１３ カメラ姿勢計算部
１４ フレーム送信部
１５ 広域画像生成部
１６ ダウンサンプリング部
２ 閲覧側端末
２０１ 通信インタフェース
２０３ ディスプレイ
２１ 第２の広域画像共有記憶部
２２ 撮影領域枠計算部
２３ 画像描画部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】