特許 6192107 撮影動画像に指示画像を重畳することができる映像指示方法、システム、端末及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6192107

(24)【登録日】2017年8月18日

(45)【発行日】2017年9月6日

(54)【発明の名称】撮影動画像に指示画像を重畳することができる映像指示方法、システム、端末及びプログラム

(51)【国際特許分類】

   H04N 7/15 20060101AFI20170828BHJP

   H04N 21/431 20110101ALI20170828BHJP

   H04N 5/232 20060101ALI20170828BHJP

【ＦＩ】

   H04N7/15

   H04N21/431

   H04N5/232 290

【請求項の数】12

【全頁数】15

(21)【出願番号】特願2013-255496(P2013-255496)

(22)【出願日】2013年12月10日

(65)【公開番号】特開2015-115723(P2015-115723A)

(43)【公開日】2015年6月22日

【審査請求日】2016年7月7日

(73)【特許権者】

【識別番号】000208891

【氏名又は名称】ＫＤＤＩ株式会社

(74)【代理人】

【識別番号】100135068

【弁理士】

【氏名又は名称】早原 茂樹

(72)【発明者】

【氏名】荒井 大輔

(72)【発明者】

【氏名】大岸 智彦

(72)【発明者】

【氏名】小林 達也

(72)【発明者】

【氏名】辻 智弘

(72)【発明者】

【氏名】加藤 晴久

【審査官】 長谷川 素直

(56)【参考文献】

【文献】 特開２０１２−１５６８２０（ＪＰ，Ａ）

【文献】 特開２０００−２３１６２５（ＪＰ，Ａ）

【文献】 特開２０１２−０６８８８５（ＪＰ，Ａ）

【文献】 特開２０１２−２５４２４３（ＪＰ，Ａ）

【文献】 特開２００７−２０８４５８（ＪＰ，Ａ）

【文献】 特開２０００−１６５８４７（ＪＰ，Ａ）

【文献】 特開２０１３−１０９７７３（ＪＰ，Ａ）

【文献】 特開２０１２−２１６０７４（ＪＰ，Ａ）

【文献】 特開２０１２−０５９２６３（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１２／０２９９９６２（ＵＳ，Ａ１）

【文献】 米国特許出願公開第２００４／００７０６７４（ＵＳ，Ａ１）

【文献】 特開２００７−２０８７４１（ＪＰ，Ａ）

【文献】 特開２００４−１１２８２４（ＪＰ，Ａ）

【文献】 特開２００６−０４８４８４（ＪＰ，Ａ）

【文献】 特開２０１２−２０４９９１（ＪＰ，Ａ）

【文献】 特表２０１０−５１７１２９（ＪＰ，Ａ）

【文献】 倉持元陽（外2名），自然特徴点を利用した投影型デザイン支援システムの開発，映像情報メディア学会技術報告，日本，社団法人映像情報メディア学会，２０１１年 ２月１２日，Vol.35, No.8，p.49-52

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ７／１４−７／１５

Ｈ０４Ｎ ２１／００−２１／８５８

Ｈ０４Ｎ ５／２２５−５／２３２

Ｇ０６Ｆ ３／０１

Ｇ０９Ｇ ５／００

(57)【特許請求の範囲】

【請求項1】

ディスプレイ及びカメラを有する第１の端末と、ディスプレイを有する第２の端末とが、ネットワークを介して接続されたシステムにおける映像指示方法において、
第１の端末が、前記カメラによる撮影動画像を逐次、第２の端末へ送信する第１のステップと、
第２の端末が、受信した前記撮影動画像を前記ディスプレイに表示し、当該撮影動画像に対する指示静止画像をユーザに書き込ませる第２のステップと、
第２の端末が、ユーザに書き込まれた指示静止画像と、当該指示静止画像を含む範囲で前記撮影動画像を静止画像としてトリミングした撮影静止画像とを、第１の端末へ送信する第３のステップと、
第１の端末が、前記カメラによって撮影された撮影動画像に、前記撮影静止画像を射影変換（透視投影変換）又は姿勢変換をさせながらマッチングさせ、一致した部分の撮影動画像に、前記撮影静止画像と同じ射影変換又は姿勢変換をさせた前記指示静止画像を重畳させて前記ディスプレイに表示する第４のステップと
を有することを特徴とする映像指示方法。

【請求項2】

第４のステップについて、
前記撮影動画像に前記撮影静止画像がマッチングした際の射影変換行列又は姿勢変換行列を算出し、
前記指示静止画像を前記射影変換行列又は姿勢変換行列によって変換した画像を、前記撮影動画像に重畳させて表示する
ことを特徴とする請求項１に記載の映像指示方法。

【請求項3】

第１のステップについて、第１の端末は、前記撮影動画像を、所定時間幅で間引いたフレームのみを、第２の端末へ送信することを特徴とする請求項１又は２のいずれか１項に記載の映像指示方法。

【請求項4】

第１のステップについて、前記撮影動画像は、動き補償フレーム間予測方式の基準となるＩ(Intra-picture)フレームのみを、第２の端末へ送信することを特徴とする請求項３に記載の映像指示方法。

【請求項5】

第１のステップについて、第１の端末は、前記Ｉフレームのデータレートを、１つのＧＯＰ(Group Of Pictures)のデータレート以下であって比較的高いレートに設定することを特徴とする請求項４に記載の映像指示方法。

【請求項6】

前記撮影静止画像は、前記マッチングのための特徴量画像、又は、低データ量のための解像度圧縮画像であり、
前記指示静止画像は、低データ量のための解像度圧縮画像である
ことを特徴とする請求項１から５のいずれか１項に記載の映像指示方法。

【請求項7】

第２の端末に搭載されたディスプレイは、タッチパネルディスプレイであって、
第２のステップについて、第２の端末は、前記タッチパネルディスプレイ上でユーザに指によって描かれた画像を指示静止画像とする
ことを特徴とする請求項１から６のいずれか１項に記載の映像指示方法。

【請求項8】

第２の端末は、前記ディスプレイに表示された撮影動画像に、ユーザによって描かせるタッチペン入力装置を更に接続しており、
第２のステップについて、第２の端末は、前記タッチペンによってユーザに描かれた画像を指示静止画像とする
ことを特徴とする請求項１から６のいずれか１項に記載の映像指示方法。

【請求項9】

第４のステップについて、第１の端末は、ＡＲ（拡張現実、Augmented Reality）のマーカレス型・物体認識方式を適用したものであることを特徴とする請求項１から８のいずれか１項に記載の映像指示方法。

【請求項10】

ディスプレイ及びカメラを有する第１の端末と、ディスプレイを有する第２の端末とが、ネットワークを介して接続された映像指示システムにおいて、
第１の端末は、
前記カメラによる撮影動画像を逐次、第２の端末へ送信する撮影動画像送信手段と、
前記カメラによって撮影された撮影動画像に、第２の端末から受信した撮影静止画像を射影変換（透視投影変換）又は姿勢変換をさせながらマッチングさせ、一致した部分の撮影動画像に、前記撮影静止画像と同じ射影変換又は姿勢変換をさせた指示静止画像を重畳させて前記ディスプレイに表示する映像表示制御手段と
を有し、
第２の端末は、
受信した撮影動画像を前記ディスプレイに表示し、当該撮影動画像に対する指示静止画像をユーザに書き込ませる指示静止画像入力手段と、
ユーザに書き込まれた指示静止画像と、当該指示静止画像を含む範囲で前記撮影動画像を静止画像としてトリミングした撮影静止画像とを、第１の端末へ送信する指示静止画像送信手段と
を有することを特徴とする映像指示システム。

【請求項11】

ディスプレイ及びカメラを搭載した端末において、
前記カメラによる撮影動画像を逐次、相手方端末へ送信する撮影動画像送信手段と、
相手方端末から受信した撮影動画像を前記ディスプレイに表示し、当該撮影動画像に対する指示静止画像をユーザに書き込ませる指示静止画像入力手段と、
ユーザに書き込まれた指示静止画像と、当該指示静止画像を含む範囲で前記撮影動画像を静止画像としてトリミングした撮影静止画像とを、相手方端末へ送信する指示静止画像送信手段と、
前記カメラによって撮影された撮影動画像に、相手方端末から受信した撮影静止画像を射影変換（透視投影変換）又は姿勢変換をさせながらマッチングさせ、一致した部分の撮影動画像に、前記撮影静止画像と同じ射影変換又は姿勢変換をさせた指示静止画像を重畳させて前記ディスプレイに表示する映像表示制御手段と
を有することを特徴とする端末。

【請求項12】

ディスプレイ及びカメラを搭載した端末に搭載されたコンピュータを機能させるプログラムにおいて、
前記カメラによる撮影動画像を逐次、相手方端末へ送信する撮影動画像送信手段と、
相手方端末から受信した撮影動画像を前記ディスプレイに表示し、当該撮影動画像に対する指示静止画像をユーザに書き込ませる指示静止画像入力手段と、
ユーザに書き込まれた指示静止画像と、当該指示静止画像を含む範囲で前記撮影動画像を静止画像としてトリミングした撮影静止画像とを、相手方端末へ送信する指示静止画像送信手段と、
前記カメラによって撮影された撮影動画像に、相手方端末から受信した撮影静止画像を射影変換（透視投影変換）又は姿勢変換をさせながらマッチングさせ、一致した部分の撮影動画像に、前記撮影静止画像と同じ射影変換又は姿勢変換をさせた指示静止画像を重畳させて前記ディスプレイに表示する映像表示制御手段と
してコンピュータを機能させることを特徴とする端末用のプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、端末間のオンラインビデオサービスの技術に関する。

【背景技術】

【0002】

近年、スマートフォンやタブレット等の端末の普及に伴って、地理的に離れた端末間で、ネットワークを介したオンラインビデオサービスが提供されている（例えば非特許文献１参照）。このサービスによれば、例えば現場作業の用途として、現場作業員が持つ端末で撮影された映像を、遠隔の作業管理者へリアルタイムに送信することができる。これに対し、作業管理者は、映像でその作業現場の状況を認識し、音声で指示することができる。

【0003】

図１は、オンラインビデオサービスのシステム構成図である。

【0004】

図１のシステムによれば、携帯電話機やスマートフォンのような端末が、撮影した映像データを、ネットワークを介してリアルタイムに他方の端末へ、ストリーミングで伝送している。近年、携帯端末のようなポータブル型機器でも、ＨＤ(High-Definition)クラスの映像を撮影することができる。

【0005】

図１によれば、端末１は、現場作業員（被指示者）によって所持され、搭載されたカメラによってその映像が撮影される。一方で、端末２は、作業管理者（指示者）によって所持される。そして、端末１は、アクセスネットワーク及びインターネットを介して、その映像データを端末２へリアルタイムに送信する。端末２は、受信した映像データをディスプレイに再生することによって、作業管理者に対し、現場作業員の状況を視認させることができる。

【0006】

しかしながら、作業管理者にとって、音声だけでは、現場作業員に対して明確に指示できない場合も多い。例えば、作業管理者としては、現場の多種多様な機器や操作部分の位置を、現場作業員へ映像で指示することできれば望ましい。

【0007】

従来、現場作業員が、自ら所持する端末によって撮影した静止画像を、作業管理者の端末へ送信し、これに対し、作業管理者が指示情報を重畳した静止画像を、現場作業員の端末へ送信する技術がある（例えば非特許文献２参照）。これによって、作業管理者は、音声以外の静止画像によって現場作業員へ指示することができる。

【0008】

また、映像上の所定位置を特定するために、拡張現実感（ＡＲ(Augmented Reality)）の技術を適用することもできる（例えば非特許文献３、４参照）。映像の中からＡＲマーカを画像認識することよって、その位置を特定する。また、ＡＲマーカを用いることなく、多数のオブジェクト画像の中から、その映像に写るオブジェクトを検出するマーカレス型・物体認識方式を用いることもできる。

【先行技術文献】

【非特許文献】

【0009】

【非特許文献1】「Skype」、[online]、［平成２５年１１月１３日検索］、インターネット＜URL:http://www.skype.com/ja/＞

【非特許文献2】構造計画研究所、「Remote Guideware」、[online]、［平成２５年１１月１３日検索］、インターネット＜http://www4.kke.co.jp/guideware/＞

【非特許文献3】富士通、「ＡＲを利用した作業支援技術」、[online]、［平成２５年１１月１３日検索］、インターネット＜http://jp.fujitsu.com/solutions/industry/nextvalue/technology/tec_ar.html＞

【非特許文献4】ＮＴＴ技研、「ＡＲを用いた設備管理業務システム」、[online]、［平成２５年１１月１３日検索］、インターネット＜http://www.ntt.co.jp/journal/1302/files/jn201302042.pdf＞

【非特許文献5】「カメラキャリブレーションと３次元再構成」、[online]、［平成２５年１２月１０日検索］、インターネット＜http://opencv.jp/opencv-2svn/cpp/camera_calibration_and_3d_reconstruction.html＞

【非特許文献6】「３次元幾何解析」、[online]、［平成２５年１２月１０日検索］、インターネット＜http://www.ieice-hbkb.org/files/02/02gun_02hen_03.pdf＞

【発明の概要】

【発明が解決しようとする課題】

【0010】

しかしながら、非特許文献２に記載の技術によれば、現場作業員の端末に搭載されたカメラを固定しておく必要がある。撮影位置が動いた場合、作業管理者から送信された静止画像と位置のずれを生じ、現場作業員にとって、密集した機器や操作部分に対して指示された位置を認識することができない場合もある。

【0011】

非特許文献３，４に記載の技術によれば、指示画像を重畳配置する映像上の位置を特定するために、特殊なパターンが印刷されたＡＲマーカを必要とする。機器や操作部分に予めＡＲマーカを貼り付けることは、極めて手間がかかる。

【0012】

また、マーカレス型・物体認識方式の技術によれば、予め多数のオブジェクト画像を事前登録しておく必要がある。勿論、映像に写る対象物と、オブジェクト画像との形状が類似する場合、誤ったオブジェクト画像を対応付けてしまう場合もある。

【0013】

そこで、本発明は、マーカや登録オブジェクト画像を用いることなく、一方の端末のカメラに写る映像に対して、他方の端末から画像的に指示することができる映像指示方法、システム、端末及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0014】

本発明によれば、ディスプレイ及びカメラを有する第１の端末と、ディスプレイを有する第２の端末とが、ネットワークを介して接続されたシステムにおける映像指示方法において、
第１の端末が、カメラによる撮影動画像を逐次、第２の端末へ送信する第１のステップと、
第２の端末が、受信した撮影動画像をディスプレイに表示し、当該撮影動画像に対する指示静止画像をユーザに書き込ませる第２のステップと、
第２の端末が、ユーザに書き込まれた指示静止画像と、当該指示静止画像を含む範囲で撮影動画像を静止画像としてトリミングした撮影静止画像とを、第１の端末へ送信する第３のステップと、
第１の端末が、カメラによって撮影された撮影動画像に、撮影静止画像を射影変換（透視投影変換）又は姿勢変換をさせながらマッチングさせ、一致した部分の撮影動画像に、撮影静止画像と同じ射影変換又は姿勢変換をさせた指示静止画像を重畳させてディスプレイに表示する第４のステップと
を有することを特徴とする。

【0015】

本発明の映像指示方法における他の実施形態によれば、
第４のステップについて、
撮影動画像に撮影静止画像がマッチングした際の射影変換行列又は姿勢変換行列を算出し、
指示静止画像を射影変換行列又は姿勢変換行列によって変換した画像を、撮影動画像に重畳させて表示することも好ましい。

【0016】

本発明の映像指示方法における他の実施形態によれば、
第１のステップについて、第１の端末は、撮影動画像を、所定時間幅で間引いたフレームのみを、第２の端末へ送信することも好ましい。

【0017】

本発明の映像指示方法における他の実施形態によれば、
第１のステップについて、撮影動画像は、動き補償フレーム間予測方式の基準となるＩ(Intra-picture)フレームのみを、第２の端末へ送信することも好ましい。

【0018】

本発明の映像指示方法における他の実施形態によれば、
第１のステップについて、第１の端末は、Ｉフレームのデータレートを、１つのＧＯＰ(Group Of Pictures)のデータレート以下であって比較的高いレートに設定することも好ましい。

【0019】

本発明の映像指示方法における他の実施形態によれば、
撮影静止画像は、マッチングのための特徴量画像、又は、低データ量のための解像度圧縮画像であり、
指示静止画像は、低データ量のための解像度圧縮画像である
ことも好ましい。

【0020】

本発明の映像指示方法における他の実施形態によれば、
第２の端末に搭載されたディスプレイは、タッチパネルディスプレイであって、
第２のステップについて、第２の端末は、タッチパネルディスプレイ上でユーザに指によって描かれた画像を指示静止画像とする
ことも好ましい。

【0021】

本発明の映像指示方法における他の実施形態によれば、
第２の端末は、ディスプレイに表示された撮影動画像に、ユーザによって描かせるタッチペン入力装置を更に接続しており、
第２のステップについて、第２の端末は、タッチペンによってユーザに描かれた画像を指示静止画像とする
ことも好ましい。

【0022】

本発明の映像指示方法における他の実施形態によれば、
第４のステップについて、第１の端末は、ＡＲ（拡張現実、Augmented Reality）のマーカレス型・物体認識方式を適用したものであることも好ましい。

【0023】

本発明によれば、ディスプレイ及びカメラを有する第１の端末と、ディスプレイを有する第２の端末とが、ネットワークを介して接続された映像指示システムにおいて、
第１の端末は、
カメラによる撮影動画像を逐次、第２の端末へ送信する撮影動画像送信手段と、
カメラによって撮影された撮影動画像に、第２の端末から受信した撮影静止画像を射影変換（透視投影変換）又は姿勢変換をさせながらマッチングさせ、一致した部分の撮影動画像に、撮影静止画像と同じ射影変換又は姿勢変換をさせた指示静止画像を重畳させてディスプレイに表示する映像表示制御手段と
を有し、
第２の端末は、
受信した撮影動画像をディスプレイに表示し、当該撮影動画像に対する指示静止画像をユーザに書き込ませる指示静止画像入力手段と、
ユーザに書き込まれた指示静止画像と、当該指示静止画像を含む範囲で撮影動画像を静止画像としてトリミングした撮影静止画像とを、第１の端末へ送信する指示静止画像送信手段と
を有することを特徴とする。

【0024】

本発明によれば、ディスプレイ及びカメラを搭載した端末において、
カメラによる撮影動画像を逐次、相手方端末へ送信する撮影動画像送信手段と、
相手方端末から受信した撮影動画像をディスプレイに表示し、当該撮影動画像に対する指示静止画像をユーザに書き込ませる指示静止画像入力手段と、
ユーザに書き込まれた指示静止画像と、当該指示静止画像を含む範囲で撮影動画像を静止画像としてトリミングした撮影静止画像とを、相手方端末へ送信する指示静止画像送信手段と、
カメラによって撮影された撮影動画像に、相手方端末から受信した撮影静止画像を射影変換（透視投影変換）又は姿勢変換をさせながらマッチングさせ、一致した部分の撮影動画像に、撮影静止画像と同じ射影変換又は姿勢変換をさせた指示静止画像を重畳させてディスプレイに表示する映像表示制御手段と
を有することを特徴とする。

【0025】

本発明によれば、ディスプレイ及びカメラを搭載した端末に搭載されたコンピュータを機能させるプログラムにおいて、
カメラによる撮影動画像を逐次、相手方端末へ送信する撮影動画像送信手段と、
相手方端末から受信した撮影動画像をディスプレイに表示し、当該撮影動画像に対する指示静止画像をユーザに書き込ませる指示静止画像入力手段と、
ユーザに書き込まれた指示静止画像と、当該指示静止画像を含む範囲で撮影動画像を静止画像としてトリミングした撮影静止画像とを、相手方端末へ送信する指示静止画像送信手段と、
カメラによって撮影された撮影動画像に、相手方端末から受信した撮影静止画像を射影変換（透視投影変換）又は姿勢変換をさせながらマッチングさせ、一致した部分の撮影動画像に、撮影静止画像と同じ射影変換又は姿勢変換をさせた指示静止画像を重畳させてディスプレイに表示する映像表示制御手段と
してコンピュータを機能させることを特徴とする。

【発明の効果】

【0026】

本発明の映像指示方法、システム、端末及びプログラムによれば、マーカや登録オブジェクト画像を用いることなく、一方の端末のカメラに写る映像に対して、他方の端末から画像的な指示をすることができる。

【図面の簡単な説明】

【0027】

【図1】オンラインビデオサービスのシステム構成図である。

【図2】本発明におけるシーケンス図である。

【図3】本発明における撮影動画像のフレームを表す説明図である。

【図4】第１の端末によって撮影された映像を、第２の端末のディスプレイに表示した画面図である。

【図5】指示者が第２の端末に指示を書き込んでいる画面図である。

【図6】指示静止画像及び撮影静止画像を表す説明図である。

【図7】撮影静止画像の部分に指示静止画像が重畳して表示された第１の端末の画面図である。

【図8】図７について撮影対象物に対する撮影位置が平行回転移動した場合における第１の端末の画面図である。

【図9】図７について撮影対象物に対する撮影位置が射影移動した場合における第１の端末の画面図である

【図10】第１の端末及び第２の端末の機能構成図である。

【図11】送信側及び受信側の両方の機能を搭載した両用端末の機能構成図である。

【発明を実施するための形態】

【0028】

以下、本発明の実施の形態について、図面を用いて詳細に説明する。

【0029】

本発明によれば、ＡＲのマーカレス型・物体認識方式の適用について、マッチングのキーとなる「撮影静止画像」（所定範囲）を自動的に設定するものである。

【0030】

図２は、本発明におけるシーケンス図である。

【0031】

図２によれば、ディスプレイ及びカメラを有する端末１（被指示側端末）と、少なくともディスプレイを有する端末２（指示側端末）とが、ネットワークを介して接続されている。ディスプレイやカメラは、当該端末に予め搭載されたものであってもよいし、外部に接続されたものであってもよい。

【0032】

［第１のステップＳ１］端末１が、カメラによる撮影動画像を逐次、端末２へ送信する。例えば作業現場員（被指示者）によって操作される端末１は、作業状況（対象物）を、動画像（ビデオ）として撮影する。ここで、「撮影動画像」としては、所定時間幅で間引いたフレームのみを送信することが好ましい。言い換えれば、動画像を「パラパラ画像」とすることによって、端末２を操作する指示者にとって、撮影動画像を認識しやすくする。

【0033】

図３は、本発明における撮影動画像のフレームを表す説明図である。

【0034】

図３（ａ）によれば、例えばMotion JPEGの場合であって、撮影動画像は、全ての各フレームがJPEG圧縮されたものであり、単に所定時間幅でフレームを間引いたものである。

【0035】

図３（ｂ）によれば、例えば動き補償フレーム間予測方式の場合であって、複数のフレームがＧＯＰ(Group Of Pictures)単位で構成されている。ＧＯＰは、一般に、１つのＩ(Intra-picture)フレームと、複数のＰ(Predictive-picture)フレーム及びＢ(Bidirectionally-picture)フレームとから構成される。そして、本発明によれば、撮影動画像として、Ｉ(Intra-picture)フレームのみが抽出される。即ち、画像全体が符号化されたフレームのみを、パラパラ画像として送信する。

【0036】

また、Ｉフレームのデータレートを、１つのＧＯＰのデータレート以下であって比較的高いレートに設定することも好ましい。例えばＩフレーム１枚のデータレートと、ＧＯＰのデータレートとを同一にすることもできる。これによって、撮影動画像におけるパラパラ画像１枚の解像度を高くし、端末２を操作する指示者に対して、撮影動画像を細部に渡って認識しやすくすることができる。

【0037】

［第２のステップＳ２］端末２は、受信した撮影動画像をディスプレイに表示し、当該撮影動画像に対する「指示静止画像」をユーザに書き込ませる。

【0038】

図４は、第１の端末によって撮影された映像を、第２の端末のディスプレイに表示した画面図である。

【0039】

図４によれば、作業管理者（指示者）が所持する端末２には、作業現場員（被指示者）の操作する端末１によって撮影された現場状況が、動画像（パラパラ画像）として表示される。また、端末２のディスプレイの右上に、「指示書込」用ボタンが明示されている。指示者は、撮影動画像がパラパラ画像として逐次進行していく途中で、「指示書込」用ボタンを押下することによって１枚の画像を対象として、停止させることができる。

【0040】

図５は、指示者が第２の端末に指示を書き込んでいる画面図である。

【0041】

図５によれば、端末２に搭載されたディスプレイが、タッチパネルディスプレイである。そのために、端末２は、タッチパネルディスプレイ上でユーザに指によって描かれた画像を指示静止画像とすることができる。ここでは、ユーザは、キーボードのキー［Ｒ］の部分を差して、「←ココ」と描いている。

【0042】

また、他の実施形態として、端末２は、ディスプレイに表示された撮影動画像に、ユーザによって描かせるタッチペン入力装置を更に接続しているものであってもよい。この場合、端末２は、タッチペンによってユーザに描かれた画像を指示静止画像とすることができる。

【0043】

［第３のステップＳ３］端末２は、以下の２つの静止画像を抽出し、端末１へ送信する。
「指示静止画像」：ユーザに書き込まれた静止画像
「撮影静止画像」：当該指示静止画像を含む「所定範囲」で撮影動画像を静止画像としてトリミングした静止画像

【0044】

図６は、指示静止画像及び撮影静止画像を表す説明図である。

【0045】

（Ｓ３１）撮影静止画像の「所定範囲」は、指示静止画像を含むように、自動的に、例えば矩形状の所定範囲に設定される。

【0046】

「撮影静止画像」は、後述するように、画像マッチングの「キー画像」として用いられるものである。そのために、撮影静止画像は、画像そのものである必要はなく、マッチングのための特徴量画像であってもよい。特徴量画像とは、画像の局所領域から算出された特徴量であって、例えば画像内のエッジやコーナー等の局所領域から抽出される。代表的には例えばＳＩＦＴ(Scale-Invariant Feature Transform)やＳＵＲＦ(Speeded Up Robust Features)が用いられる。その他、計算コストに優れるバイナリ特徴量を用いることもできる。また、ＳＳＤ(Sum of Squared Difference)や、正規化相互相関（ＮＣＣ）でマッチングを行うための、局所的な切り出し画像（パッチ）であってもよい。

【0047】

更に、「撮影静止画像」及び「指示静止画像」は、低データ量のための解像度圧縮画像であってもよい。これら画像は、bitmap形式の画像である必要はなく、例えばJPEGのような圧縮画像であってもよい。

【0048】

（Ｓ３２）図５によれば、端末２のディスプレイの右上に、「指示送信」用ボタンが明示されている。ユーザは、指示静止画像を書き込んだ後、「指示送信」用ボタンを押下することによって、「指示静止画像」及び「撮影静止画像」が被指示側端末１へ送信される。

【0049】

［第４のステップＳ４］端末１は、カメラによって撮影された「撮影動画像」（撮影プレビュー映像）と、端末２から受信した「撮影静止画像」とをマッチングさせる。撮影動画像は常に動いているものであるので、撮影静止画像とのマッチングの追従処理は常に実行されている。そして、一致した部分の撮影動画像に「指示静止画像」を重畳させてディスプレイに表示する。具体的には、ＡＲのマーカレス型・物体認識方式を適用したものである。

【0050】

図６によれば、「撮影静止画像」を射影変換（透視投影変換）又は姿勢変換させながら撮影動画像にマッチングさせている（例えば特許文献５及び６参照）。マッチングした際に、その「射影変換行列」又は「姿勢変換行列」を算出する。そして、指示静止画像をその射影変換行列又は姿勢変換行列によって変換した画像を、撮影動画像に重畳させる。

【0051】

「射影変換」とは、平行回転移動に、平面の遠近感を表現する射影を更に加えたものである。例えば以下のような行列式によって表される。

【数1】

ｘ，ｙ：撮影静止画像におけるｘ座標及びｙ座標
ｘ'，ｙ'：マッチング先のｘ座標及びｙ座標
ｈ₁₁〜ｈ₃₃：パラメータ

【0052】

「姿勢変換」とは、三次元空間内の剛体運動として表すものであって、６自由度の姿勢行列で表現する。ここで「姿勢行列」とは、３次元特殊ユークリッド群ＳＥ（３）に属し、３自由度の３次元回転行列と３次元並進ベクトルとで表される。例えば以下のような行列式によって表される。

【数2】

Ａ：カメラの内部パラメータ
予めカメラキャリブレーションによって導出しておくことが望ましい。
しかしながら、実際の値とずれた場合であっても、最終的に姿勢行列と打ち消
し合うために、重畳表示の位置には影響しない。そのため、本発明の利用用途
の場合、一般的なカメラの値で代用することができる。
Ｒ（r11〜r33）：３次元空間内の回転を表すパラメータ
各パラメータは、オイラー角の表現によって３パラメータで表現可能である。
ｔ（t1〜t3）：３次元空間内の平行移動を表すパラメータ。
ｘ，ｙ：撮影静止画像におけるｘ座標及びｙ座標
ｘ'，ｙ'：マッチング先のｘ座標及びｙ座標

【0053】

図７は、撮影静止画像の部分に指示静止画像が重畳して表示された第１の端末の画面図である。図７によれば、撮影動画像に対して、矩形状の「撮影静止画像」と一致する部分が検出でき、その部分に「指示静止画像」を重畳して表示している。

【0054】

図８は、図７について撮影対象物に対する撮影位置が平行回転移動した場合における第１の端末の画面図である。図８によれば、撮影動画像が平行回転移動した場合であっても、マッチングの追従処理は常に実行されている。そのために、撮影動画像に対して、矩形状の「撮影静止画像」と一致する部分が検出できれば、その部分に「指示静止画像」を重畳して表示することができる。

【0055】

図９は、図７について撮影対象物に対する撮影位置が射影移動した場合における第１の端末の画面図である。図９によれば、射影変換を用いることによって、撮影対象物に対する撮影位置に追従して、指示静止画像が重畳的に表示される。

【0056】

図１０は、第１の端末及び第２の端末の機能構成図である。

【0057】

被指示側端末としての端末１は、ネットワークに接続すると共に、ディスプレイ１３及びカメラ１４とを有する。また、端末１は、撮影動画像送信部１１と、映像表示制御部１２とを有する。これら機能構成部は、端末１に搭載されたコンピュータを機能させるプログラムを実行することによって実現される。
撮影動画像送信部１１は、カメラ１４による撮影動画像を逐次、相手方端末２へ送信する（図２のＳ１と同様）。
映像表示制御部１２は、カメラ１４によって撮影された撮影動画像と、相手方端末２から受信した撮影静止画像とをマッチングさせる。そして、一致した部分の撮影動画像に、相手方端末２から受信した指示静止画像を重畳させてディスプレイ１３に表示する（図２のＳ４と同様）。

【0058】

指示側端末としての端末２は、ネットワークに接続すると共に、タッチパネルディスプレイ２３を有する。また、端末２は、指示静止画像入力部２１と、指示静止画像送信部２２とを有する。これら機能構成部は、端末２に搭載されたコンピュータを機能させるプログラムを実行することによって実現される。
指示静止画像入力部２１は、受信した撮影動画像をタッチパネルディスプレイ２３に表示し、当該撮影動画像に対する指示静止画像をユーザに書き込ませる（図２のＳ２と同様）。
指示静止画像送信部２２は、ユーザに書き込まれた指示静止画像と、当該指示静止画像を含む所定範囲で撮影動画像を静止画像としてトリミングした撮影静止画像とを、相手方端末１へ送信する（図２のＳ３１及びＳ３２と同様）。

【0059】

図１１は、送信側及び受信側の両方の機能を搭載した両用端末の機能構成図である。

【0060】

図１１によれば、両用端末３における各機能構成部は、図９における被指示側端末１及び指示側端末２の機能構成部と全く同様のものである。また、これら機能構成部は、端末３に搭載されたコンピュータを機能させるプログラムを実行することによって実現される。

【0061】

以上、詳細に説明したように、本発明の映像指示方法、システム、端末及びプログラムによれば、マーカや登録オブジェクト画像を用いることなく、一方の端末のカメラに写る映像に対して、他方の端末から画像的な指示をすることができる。

【0062】

前述した本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。

【符号の説明】

【0063】

１ 被指示側端末
１１ 撮影動画像送信部
１２ 映像表示制御部
１３ ディスプレイ
１４ カメラ
２ 指示側端末
２１ 指示静止画像入力部
２２ 指示静止画像送信部
２３ タッチパネルディスプレイ
３ 両用端末

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】