特許 6224465 映像配信システム、映像配信方法及び映像配信プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6224465

(24)【登録日】2017年10月13日

(45)【発行日】2017年11月1日

(54)【発明の名称】映像配信システム、映像配信方法及び映像配信プログラム

(51)【国際特許分類】

   H04N 21/234 20110101AFI20171023BHJP

   H04N 21/24 20110101ALI20171023BHJP

   H04N 21/266 20110101ALI20171023BHJP

   G06T 7/20 20170101ALI20171023BHJP

【ＦＩ】

   H04N21/234

   H04N21/24

   H04N21/266

   G06T7/20 300Z

【請求項の数】5

【全頁数】16

(21)【出願番号】特願2014-7223(P2014-7223)

(22)【出願日】2014年1月17日

(65)【公開番号】特開2015-136069(P2015-136069A)

(43)【公開日】2015年7月27日

【審査請求日】2016年2月16日

(73)【特許権者】

【識別番号】000004226

【氏名又は名称】日本電信電話株式会社

(74)【代理人】

【識別番号】110001634

【氏名又は名称】特許業務法人 志賀国際特許事務所

(72)【発明者】

【氏名】武田 利明

(72)【発明者】

【氏名】越智 大介

(72)【発明者】

【氏名】藤井 憲作

(72)【発明者】

【氏名】小島 明

【審査官】 富樫 明

(56)【参考文献】

【文献】 特表２０１１−５１４７８９（ＪＰ，Ａ）

【文献】 特開２００３−２０２８５７（ＪＰ，Ａ）

【文献】 特開２００９−００５２３９（ＪＰ，Ａ）

【文献】 特開２００８−１９９３７０（ＪＰ，Ａ）

【文献】 特開２００４−３１７５４８（ＪＰ，Ａ）

【文献】 白須 遼, 外2名，全方位カメラを用いた個人注目映像の生成，FIT2011 第10回情報科学技術フォーラム 講演論文集，一般社団法人 情報処理学会，２０１１年 ８月２２日，第2分冊，pp.457-464

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ２１／００−２１／８５８

Ｇ０６Ｔ ７／２０

(57)【特許請求の範囲】

【請求項1】

視聴端末の持つ画素数以上の画素数を持つ映像の一部分を切り出して前記視聴端末に配信を行う映像配信システムであって、
前記映像から特定のオブジェクトを認識して追跡するオブジェクト認識手段と、
認識した前記オブジェクトの位置情報を参照して、認識できなかった前記オブジェクトの位置情報を補完できるか否かを判断する補完判断手段と、
前記補完判断手段によって補完できると判断された際に、認識できなかった前記オブジェクトの位置情報を補完して前記オブジェクトの位置情報を出力する補完手段と、
前記オブジェクト認識手段による認識結果と、前記補完手段による補完結果とに基づいて、前記オブジェクトの追跡表示を行うための映像を生成して前記視聴端末に対して配信する配信手段と
を備え、
前記補完判断手段は、前記オブジェクトの位置情報が認識できなくなった時刻よりも前の時刻であって、最後に前記オブジェクトの位置情報を認識した時刻を基準時刻として、前記基準時刻から所定の時間以内に前記オブジェクトの位置情報があり、かつ、前記所定の時間以内の前記オブジェクトの位置情報が示す前記オブジェクトの位置が所定の範囲内であり、かつ、前記所定の時間以内の前記オブジェクトの位置情報に基づいて得られる前記オブジェクトの速度が所定の速度以内である場合に補完できると判断し、それ以外の場合に補完できないと判断することを特徴とする映像配信システム。

【請求項2】

前記補完判断手段により前記オブジェクトの位置情報を補完できないと判断された場合に、前記配信手段は、前記映像の全体画面を前記視聴端末に対して配信することを特徴とする請求項１に記載の映像配信システム。

【請求項3】

前記補完判断手段により前記オブジェクトの位置情報を補完できないと判断された場合に、前記配信手段は、現時点の画面を左右に振ることによって得られる映像を生成して前記視聴端末に対して配信することを特徴とする請求項１に記載の映像配信システム。

【請求項4】

視聴端末の持つ画素数以上の画素数を持つ映像の一部分を切り出して前記視聴端末に配信を行う映像配信システムであって、
前記映像から特定のオブジェクトを認識して追跡するオブジェクト認識ステップと、
認識した前記オブジェクトの位置情報を参照して、認識できなかった前記オブジェクトの位置情報を補完できるか否かを判断する補完判断ステップと、
前記補完判断ステップによって補完できると判断された際に、認識できなかった前記オブジェクトの位置情報を補完して前記オブジェクトの位置情報を出力する補完ステップと、
前記オブジェクト認識ステップによる認識結果と、前記補完ステップによる補完結果とに基づいて、前記オブジェクトの追跡表示を行うための映像を生成して前記視聴端末に対して配信する配信ステップと
を有し、
前記補完判断ステップにおいて、前記オブジェクトの位置情報が認識できなくなった時刻よりも前の時刻であって、最後に前記オブジェクトの位置情報を認識した時刻を基準時刻として、前記基準時刻から所定の時間以内に前記オブジェクトの位置情報があり、かつ、前記所定の時間以内の前記オブジェクトの位置情報が示す前記オブジェクトの位置が所定の範囲内であり、かつ、前記所定の時間以内の前記オブジェクトの位置情報に基づいて得られる前記オブジェクトの速度が所定の速度以内である場合に補完できると判断し、それ以外の場合に補完できないと判断することを特徴とする映像配信方法。

【請求項5】

コンピュータを、請求項１から３のいずれか１項に記載の映像配信システムとして機能させるための映像配信プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、映像配信システム、映像配信方法及び映像配信プログラムに関する。

【背景技術】

【0002】

近年、高速ネットワークインフラの整備、表示デバイス、撮像カメラなどの高性能化等に伴い、タブレット端末やスマートフォンのような画面を直接触って直感的な入力が可能な装置を備えたデバイスを用いて、デバイスの表示領域以上のサイズを持った映像や画像から自分の見たい位置や画角をインタラクティブに選んで視聴する技術が考案されている（例えば、非特許文献１参照）。
一方、撮像した画像から人物を特定し、画像内の総人数を計測する技術が開発されている（例えば、非特許文献２参照）。また、非特許文献２では、広告表示の前を通過した者のうち、広告表示を見た者の人数を特定するために、広告表示の前の領域にいる人物の画像を撮像し、この画像中に存在する人物の顔を認識して追跡する顔検出技術も示されている。

【先行技術文献】

【非特許文献】

【0003】

【非特許文献1】Mobile and Multi-device Interactive Panorama Video Distribution System, Hideaki Kimata, Daisuke Ochi, Akio Kameda, Hajime Noto, Katsuhiko Fukazawa, Akira Kojima, IEEE GCCE 2012 2012.10.2-5 Tokyo, Japan

【非特許文献2】画像処理による広告効果測定技術−人数計測技術・顔画像処理技術の応用、ＮＴＴ技術ジャーナル２０１３．１ Ｖｏｌ．２５

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、非特許文献１に示されているデバイスの表示領域以上のサイズを持った映像や画像から自分の見たい位置や画角をインタラクティブに選んで視聴する技術に非特許文献２に示されている顔検出を適用することにより、特定の人物を追跡した映像を視聴することが可能になる。

【0005】

しかしながら、非特許文献２に示される顔検出を行った際に、人物が交差して物体が隠れてしまういわゆるオクル―ジョンや、照明の点滅、個体差により、追跡すべきオブジェクト（例えば、人物の顔）の位置情報が断片的な情報になってしまうという問題がある。長い間においてオブジェクト位置情報がない場合には、オブジェクト追跡が途絶えてしまい、特定の人物を追跡する映像を視聴することが困難になるという問題が生じる。

【0006】

本発明は、このような事情に鑑みてなされたもので、デバイスの表示領域以上のサイズを持った映像や画像から自分の見たい位置や画角をインタラクティブに選んで視聴するための映像を配信する際に、特定のオブジェクト（例えば、人物）を追跡した映像を配信することができる映像配信システム、映像配信方法及び映像配信プログラムを提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明は、視聴端末の持つ画素数以上の画素数を持つ映像の一部分を切り出して前記視聴端末に配信を行う映像配信システムであって、前記映像から特定のオブジェクトを認識して追跡するオブジェクト認識手段と、認識した前記オブジェクトの位置情報を参照して、認識できなかった前記オブジェクトの位置情報を補完できるか否かを判断する補完判断手段と、前記補完判断手段によって補完できると判断された際に、認識できなかった前記オブジェクトの位置情報を補完して前記オブジェクトの位置情報を出力する補完手段と、前記オブジェクト認識手段による認識結果と、前記補完手段による補完結果とに基づいて、前記オブジェクトの追跡表示を行うための映像を生成して前記視聴端末に対して配信する配信手段とを備えたことを特徴とする。

【0008】

本発明は、前記補完判断手段により前記オブジェクトの位置情報を補完できないと判断された場合に、前記配信手段は、前記映像の全体画面を前記視聴端末に対して配信することを特徴とする。

【0009】

本発明は、前記補完判断手段により前記オブジェクトの位置情報を補完できないと判断された場合に、前記配信手段は、現時点の画面を左右に振ることによって得られる映像を生成して前記視聴端末に対して配信することを特徴とする。

【0010】

本発明は、視聴端末の持つ画素数以上の画素数を持つ映像の一部分を切り出して前記視聴端末に配信を行う映像配信システムであって、前記映像から特定のオブジェクトを認識して追跡するオブジェクト認識ステップと、認識した前記オブジェクトの位置情報を参照して、認識できなかった前記オブジェクトの位置情報を補完できるか否かを判断する補完判断ステップと、前記補完判断ステップによって補完できると判断された際に、認識できなかった前記オブジェクトの位置情報を補完して前記オブジェクトの位置情報を出力する補完ステップと、前記オブジェクト認識ステップによる認識結果と、前記補完ステップによる補完結果とに基づいて、前記オブジェクトの追跡表示を行うための映像を生成して前記視聴端末に対して配信する配信ステップとを有することを特徴とする。

【0011】

本発明は、コンピュータを、前記映像配信システムとして機能させるための映像配信プログラムである。

【発明の効果】

【0012】

本発明によれば、人物が交差して物体が隠れてしまういわゆるオクル―ジョンや、照明の点滅、個体差により、追跡すべきオブジェクト（例えば、人物）の位置情報が断片的な情報になってしまっても視聴者に対して違和感を与えることなく、特定のオブジェクトを追跡した映像を配信することができるという効果が得られる。

【図面の簡単な説明】

【0013】

【図1】本発明の一実施形態の構成を示す機能ブロック図である。

【図2】図１に示すサーバ１と端末２の詳細な構成を示すブロック図である。

【図3】映像格納部１１に記憶される横画素数が多いパノラマ映像座標の位置関係の一例を示す説明図である。

【図4】オブジェクトデータ群記憶部１３に記憶されるオブジェクトデータ群のデータ構造を示す説明図である。

【図5】補完対応する画面表示動作を示す図である。

【図6】補完可能か否かの判断を行う動作を示すフローチャートである。

【図7】図６に示す分岐判断（ステップＳ１２）を詳細化したフローチャートである。

【図8】補完可能な場合の補完方法を示す説明図である。

【図9】補完後のオブジェクトデータ群記憶部１３に記憶されるデータの一例を示す図である。

【図10】表示部２２の表示画面の例を示す図である。

【図11】状態遷移が行われる場合の画面の例を示す図である。

【図12】全体画面と画面を左右に振る動作を指示する例を示す図である。

【図13】画面を振る際の画面例を示す図である。

【図14】表示領域指定プログラム実行部１６が行う画面遷移の例を示す図である。

【発明を実施するための形態】

【0014】

以下、図面を参照して、本発明の一実施形態による映像配信システムを説明する。図１は同実施形態の構成を示す機能ブロック図である。この図において、符号１は、映像を配信するサーバである。符号２は、配信された映像を表示する端末である。符号３は、サーバ１と端末２と通信可能に接続するネットワークである。サーバ１は、コンピュータ装置としての基本機能を有しており、映像格納機能と、オブジェクト認識プログラム実行機能と、オブジェクトデータ群記憶機能と、補完判断プログラム実行機能と、補完プログラム実行機能と、表示領域指定プログラム実行機能を有する。

【0015】

端末２は、通信端末の基本機能を有しており、表示機能と、指示機能を有する。端末２は、マルチタッチディスプレイで代表される、画面表示と画面での操作ができる。ネットワーク３は、端末２から画面表示の指示をサーバ１への伝送と、サーバ１から人物位置や指定された領域に関係する映像情報を端末に配信する際に用いる。

【0016】

次に、図２を参照して、図１に示すサーバ１と端末２の詳細な構成を説明する。図２は、図１に示すサーバ１と端末２の詳細な構成を示すブロック図である。図２において、符号１１は、映像を格納しておく映像格納部である。符号１２は、オブジェクト認識を行うオブジェクト認識プログラムを実行するオブジェクト認識プログラム実行部である。符号１３は、オブジェクトデータ群を記憶するオブジェクトデータ群記憶部である。符号１４は、補完判断を行う補完判断プログラムを実行する補完判断プログラム実行部である。符号１５は、補完処理を行う補完プログラムを実行する補完プログラム実行部である。符号１６は、表示領域を指定する表示領域指定プログラムを実行する表示領域指定プログラム実行部である。符号２１は、端末２から配信領域の指示をサーバ１へ送信する指示部である。符号２２は、サーバ１から配信された映像を表示する表示部である。

【0017】

オブジェクト認識プログラム実行部１２と補完判断プログラム実行部１４と補完プログラム実行部１５は、映像配信より前に処理が実行され、オブジェクトデータ群が作られてオブジェクトデータ群記憶部１３に記憶される。オブジェクト認識プログラム実行部１２は、映像格納部１１から、映像情報、時刻を取得し、オブジェクトデータ群記憶部１３に時刻や位置情報等を書き込む。

【0018】

補完判断プログラム実行部１４は、オブジェクトデータ群記憶部１３に記憶されている時刻や位置情報等の参照を行い、条件判定により補完プログラム実行部１５の起動を行う。補完プログラム実行部１５は、起動されると時刻や位置情報等に基づいて、補完計算を行って補完計算結果（時刻や位置情報等）の書込みをオブジェクトデータ群記憶部１２に対して行う。

【0019】

表示領域指定プログラム実行部１６は、映像格納部１１から映像情報や時刻と読み出し、オブジェクトデータ群記憶部１３からオブジェクト時刻や位置情報を読み出すとともに、端末２の指示部２１から配信領域指示を受け取り、映像切り出しを行って、切り出し映像を端末２へ送信する。端末２は、配信映像を受け取り、表示部２２に表示する。また、端末２の指示部２１の操作に基づき、配信領域の指示をサーバ１に送る。

【0020】

次に、図３を参照して、映像の座標について説明する。図３は、映像格納部１１に記憶される横画素数が多いパノラマ映像座標の位置関係の一例を示す説明図である。パノラマ映像座標は、Ｘ座標０からＸ座標４７００、Ｙ座標０からＹ座標１０８０である。その中に、端末２に表示される表示画面１００がある。表示画面１００はサーバ１の表示領域指定プログラム実行部１６によって決められる。また、オブジェクト認識プログラム実行部１２により、人物Ａ１０１、人物Ｂ１０２、人物Ｃ１０２が認識されている位置の範囲である。人物Ａ１０１の顔画像認識により、人物Ａ顔座標例として、時刻、顔のＸ座標、Ｙ座標、サイズ、データ有無が取得できる。また、人物Ｂ１０２の顔画像認識により、人物Ｂ顔座標例として、時刻、顔のＸ座標、Ｙ座標、サイズ、データ有無が取得できる。また、人物Ｃ１０３の顔画像認識により、人物Ｃ顔座標例として、時刻、顔のＸ座標、Ｙ座標、サイズ、データ有無が取得できる。取得されたデータは、オブジェクトデータ群記憶部１３に記憶される。

【0021】

パノラマ映像座標は、一例であり、縦横比が異なっていてもよいし、４Ｋや８Ｋであってもよい。顔画像認識は、オブジェクト認識を説明するための一例である。オブジェクト認識プログラム実行部１２において実行されるオブジェクト認識プログラムの一例として、顔画像を認識して、位置情報を得る例を示している。顔認識の処理は、公知の処理プログラムを用いるため、詳細な処理動作の説明は省略する。

【0022】

次に、図４を参照して、オブジェクトデータ群のデータ構造について説明する。図４は、オブジェクトデータ群記憶部１３に記憶されるオブジェクトデータ群のデータ構造を示す説明図である。人物Ａの顔画像認識結果として、時刻、顔のＸ座標、Ｙ座標、顔サイズ、データ有無が記憶されている。また、人物Ｂの顔画像認識結果として、時刻、顔のＸ座標、Ｙ座標、顔サイズ、データ有無が記憶されている。人物が交差して顔が隠れてしまういわゆるオクル―ジョンや、照明の点滅、個体差により、オブジェクト認識データが欠損している状態を示している。データがある場合、「有」が書き込まれ、データがない場合、「無」が書き込まれる。また、人物Ｃの顔画像認識結果として、時刻、顔のＸ座標、Ｙ座標、顔サイズ、データ有無が記憶されている。人物が交差して顔が隠れてしまういわゆるオクル―ジョンや、照明の点滅、個体差により、顔画像認識データが欠損している。データがある場合、「有」が書き込まれ、データがない場合、「無」が書き込まれる。顔画像認識は、オブジェクト認識を説明するための一例である。

【0023】

次に、図５を参照して、補完対応する画面表示について説明する。図５は、補完対応する画面表示動作を示す図である。補完の判断については、サーバ１の補完判断プログラム実行部１４で行われる。補完判断処理は、補完の判断と画面表示との関係によって行われる。画面表示との関係では、追跡の指定とその他の指定を行うことができる。

【0024】

補完の判断においては、まず、指定オブジェクトの認識を行って（ステップＳ１）、補完できる時間帯の判断を行う（ステップＳ２）。この判断の結果、補完できる時間帯の場合、補完計算を行う（ステップＳ３）。追跡の指定と、指定オブジェクトの画面の拡大（優先）表示を行う（ステップＳ４）。また補完できない時間帯の場合、補完なし空白になる（ステップＳ５）。補完なし空白が５秒より大きいと状態遷移が行われる。

【0025】

長い時間の位置情報がない場合は、指定オブジェクトの画面を拡大（優先）（ステップＳ４）から状態遷移して、全体表示もしくは拡大して左右に振る動作を選択できる（ステップＳ６）。そして、補完できる時間帯に戻ると、状態遷移して、指定オブジェクトの画面を拡大（優先）（ステップＳ４）に戻る。画面表示のその他の指定として、全体表示もしくは拡大して左右に振る動作を選択できる（ステップＳ７）。

【0026】

次に、図６を参照して、補完可能かの否かの判断を行う動作を説明する。図６は、補完可能かの否かの判断を行う動作を示すフローチャートである。補完の判断については、サーバ１の補完判断プログラム実行部１４において行われ、各オブジェクトで補完可能か判断する。

【0027】

まず、初期値補完＝０とする（ステップＳ１１）。閾値例Ｔ＝１５秒である。そして、Ｔ秒以内にデータ有、ＡＮＤ｛位置一定範囲内 ＡＮＤ 速度一定以内｝であるかを判定する（ステップＳ１２）。この判定の結果、ＹＥＳの場合には補完可能と判断し補完方法へ進み、補完プログラム１５を起動する（ステップＳ１３）。一方、判定の結果、ＮＯであれば、補完できないと判断する（ステップＳ１４）。

【0028】

すなわち、図６に示す処理動作は、図４に示すオブジェクトデータ群を上から参照していき、最後にデータがある箇所をＴ＝０として、データ欠損部分の補完可能かの判断を行っていく。言い換えれば、上から参照してゆき、データがない箇所の１個前の箇所をＴ＝０として、データ欠損部分の補完可能かの判断を行っていく。そして、図９に示すように補完できたか、できていないかを示す情報を順次書き込みしていく。

【0029】

次に、図７を参照して、図６に示す分岐判断（ステップＳ１２）を詳細を説明する。図７は、図６に示す分岐判断（ステップＳ１２）を詳細化したフローチャートである。補完の判断については、サーバ１の補完判断プログラム実行部１４で行われる。オブジェクト認識は、オクルージョンなどで時間ごとに認識できる時間やできない時間の固まりができる特性があることから容易に判断できるプログラムになっている。

【0030】

ここでは、Ｔ秒以内にデータ有である場合について説明する。まず、初期値として、ｔ＝０、判定１_０＝１、判定２_０＝１、論理判定＝０を与える（ステップＳ２１）。閾値例として、Ｚ１＝６４０、Ｚ２＝１７１である。そして、ｔ←ｔ＋０．０１を行い、ｔを０．０１ずつ増加させる（ステップＳ２２）。

【0031】

次に、データ有もしくはｔ＝１５であるか否かを判定する（ステップＳ２３）。この判定の結果、ＹＥＳであれば終了となり、ステップＳ２５に進み、ＮＯであればステップＳ２４に進む。

【0032】

判定の結果、ＮＯの場合、０秒からｔ秒後までに一定値以内の判定を行う（ステップＳ２４）。ここで、Ｘ_ｔのＸはＸ座標値、ｔは時間情報を表している。
判定１_ｔ＝１：絶対値ＡＢＳ（Ｘ_ｔ‐Ｘ_０）＜Ｚ１
＝０：絶対値ＡＢＳ（Ｘ_ｔ‐Ｘ_０）＞＝Ｚ１
判定２_ｔ＝１：絶対値ＡＢＳ（Ｘ_ｔ‐Ｘ_{ｔ−０．０１}）＜Ｚ２
＝０：絶対値ＡＢＳ（Ｘ_ｔ‐Ｘ_{ｔ−０．０１}）＞＝Ｚ２
判定１_ｔ＝判定１_ｔ ＡＮＤ 判定１_{ｔ−０．０１}
判定２_ｔ＝判定２_ｔ ＡＮＤ 判定２_{ｔ−０．０１}
Ｘ_ｔがＮＵＬＬの場合、前値Ｘ_{ｔ−０．０１}を引き継ぐ。

【0033】

一方、判定の結果がＹＥＳの場合、論理判定＝判定１_ｔ ＡＮＤ 判定２_ｔとなる（ステップＳ２５）。これにより、
論理判定＝１ 補完可能Ｙｅｓ
論理判定＝０ 補完不可能Ｎｏ
となる。

【0034】

次に、図８を参照して、補完方法について説明する。図８は、補完可能な場合の補完方法を示す説明図である。補完については、サーバ１の補完プログラム実行部１５により行われる。補完を行う時点で、オブジェクトデータ群記憶部１３には、図８に示すオブジェクトデータ群が記憶されている。オブジェクトデータ群は、時刻、Ｘ座標、Ｙ座標、顔サイズ、データ有無が記載されている。図８においては、Ｔ０番目とＴｎ番目にデータがあり、その間のデータが欠損していることを示している。

【0035】

図８に示すように、Ｔ０番目の時刻Ｔ_０、Ｘ座標Ｘ_０、Ｙ座標Ｙ_０、顔サイズＺ_０記憶されており、Ｔｎ番目の時刻Ｔ_ｎ、Ｘ座標Ｘ_ｎ、Ｙ座標Ｙ_ｎ、顔サイズＺ_ｎが記憶されているとする。このとき、Ｔ０からＴｎ番目に次データがありｉ番目の値（位置データ）を補完によって求める。
時刻Ｔ_ｉのＸ座標とＹ座標は次式によって求める。
Ｘ座標Ｘ_ｉ＝Ｘ_０＋（Ｘ_ｎ−Ｘ_０）×｛（Ｔ_ｉ−Ｔ_０）／（Ｔ_ｎ−Ｔ_０）｝
Ｙ座標Ｙ_ｉ＝Ｙ_０＋（Ｙ_ｎ−Ｙ_０）×｛（Ｔ_ｉ−Ｔ_０）／（Ｔ_ｎ−Ｔ_０）｝
さらに、時刻Ｔ_ｉ＋１のＸ座標とＹ座標は次式である。
Ｘ座標Ｘ_ｉ＋１＝Ｘ_０＋（Ｘ_ｎ−Ｘ_０）×｛（Ｔ_ｉ＋１−Ｔ_０）／（Ｔ_ｎ−Ｔ_０）｝
Ｙ座標Ｙ_ｉ＋１＝Ｙ_０＋（Ｙ_ｎ−Ｙ_０）×｛（Ｔ_ｉ＋１−Ｔ_０）／（Ｔ_ｎ−Ｔ_０）｝
補完されたデータは、サーバ１のオブジェクトデータ群記憶部１３に上書きされる。

【0036】

図９は、補完後のオブジェクトデータ群記憶部１３に記憶されるデータの一例を示す図である。図９では、オブジェクトデータ例として、顔画像の位置情報を上書きする例を示している。人物Ａの顔画像認識結果として、時刻、顔のＸ座標、Ｙ座標、顔サイズ、データ有無が記憶されている。人物Ｂの顔画像認識結果として、時刻、顔のＸ座標、Ｙ座標、顔サイズ、データ有無が記憶されている。補完されたデータは、データ有無に「補完」と記憶される。人物Ｃの顔画像認識結果として、時刻、顔のＸ座標、Ｙ座標、顔サイズ、データ有無が記憶されている。補完されたデータは、データ有無に「補完」と記憶され、補完されなかったところのデータには、補完されていない時間として、ここでは例として１０．００秒が書きこまれている。

【0037】

次に、端末２の表示部２２に表示される画面例について説明する。図１０は、表示部２２の表示画面の例を示す図である。図１０においては、全体画面から追跡画面になるときの表示指示例を示している。全体画面において、パノラマ映像全体の縦横比率例は４７００：１０８０である。全体画面の下に各人物（人物Ａ、Ｂ、Ｃ、Ｄ）を選択する選択ボタン２０１〜２０４があり、押下することにより追跡すべき人物を選択する。左端に追跡スタート／ストップボタン２０５があり、押下によりスタートする。また、左端に演出タート／ストップボタン２０６があり、押下によりスタートする。

【0038】

追跡画面において、追跡画面拡大サイズ例として１２８０×７２０が指定されているものとし、映像の画素１２８０×７２０ピクセルを端末２に表示する例を示している。人物Ｃの中心が画面の中心の位置になるように表示される。画面の左端には追跡ストップボタン２０７があり、押下によりストップする。また、画面の左端に演出する／しないボタン２０８があり、押下により、データがない場合演出スタートする。端末２は、マルチタッチディスプレイであり、全体画面例と追跡画面例との間を状態遷移する。

【0039】

補完されていない時間が５秒より大きいと、画面遷移が始まる。補完されていない時間が５秒以下では、場面や人物の動きが小さいと想定されるため全体画面には切り替わらない。

【0040】

なお、配信領域を指示するボタン類は画面内のどこに配置されていてもよい。また、表示される画面サイズや位置は変更されてもよい。

【0041】

次に、図１１を参照して、他の表示画面例を説明する。図１１は、状態遷移が行われる場合の画面の例を示す図である。追跡時の画面は、指定人物の画面を拡大（優先）されて表示される。ここでは、追跡画面拡大サイズの例として、１２８０×７２０画素であるものとし、パノラマ映像の画素１２８０×７２０画素を端末２に表示する例を示している。表示画面においては、人物Ｃの中心が画面の中心になるように表示される。

【0042】

画面の左端に追跡ストップボタン２０７があり、押下することによりストップする。また、左端に演出する／しないボタン２０８があり、押下により、データがない場合に演出がスタートする。

【0043】

追跡時の画面から、データがない場合の表示する例を説明する。補完されていないデータがない時間が５秒より大きいと、画面が全体画面に滑らかに切り替わる。また、補完されていない時間が５秒以下では、場面や人物の動きが小さいと想定されるため全体画面には切り替わらない。

【0044】

次に、補完なし空白の場合の画面について説明する。演出しない場合にパノラマ全体画面が表示される。パノラマ全体の横縦比率例は４７００：１０８０である。一方、演出する場合に振る動作が表示される。パノラマ映像の横縦比率例は１２８０：７２０を端末２に表示し、振る速度は、１７１画素／ｓ、欠損している時間量に応じて振る動作が行われる。

【0045】

補完されていない時間が５秒以下では、場面や人物の動きが小さいと想定されるため振る動作は行われない。例えば、欠損している時間が５〜４０秒以内のＴ秒の場合、右にＴ／４秒、左にＴ／２秒、右にＴ／４秒とする。端に到達した時は、反対側に動き、Ｔ×３／４秒経過するか反対側の端に到達後、最初の位置に戻る。

【0046】

一方、４０秒より大きい場合、４０ｎ（ｎは整数）秒までは、左右に動く。左右に１７１画素／ｓで動く。残りは上記と同様にして、左右に動く。欠損している時間がＴ秒、４０ｎ＜Ｔ＜＝４０ｎ＋４０であれば右に｛Ｔ−４０ｎ）｝／４、左に｛Ｔ−４０ｎ）｝／２、右に｛Ｔ−４０ｎ）｝／４となる。端に到達した時は、反対側に動き、｛Ｔ−４０ｎ）｝３／４秒経過するか反対側の端に到達後、最初の位置に戻る。

【0047】

このように補完されている時間に応じて滑らかに動き、細部も見やすい再生の演出を提供する。端末２は、マルチタッチディスプレイであり、追跡時の画面とパノラマ全体画面の状態遷移する画面の一例である。配信領域を指示するボタン類は画面内のどこにあってもよい。また、表示される画面サイズや位置は変更されてもよい。さらに、速度は、変更されてもよい。

【0048】

次に、図１２を参照して、他の画面例を説明する。図１２は、全体画面と画面を左右に振る動作を指示する例を示す図である。全体画面例において、パノラマ全体の横縦比率例は４７００：１０８０である。全体画面の下に各人物を指定する選択ボタン２０１〜２０４がある。画面の左端に演出スタート／ストップボタン２０６があり、押下によりスタートする。振る動作の画面において、中心位置からスタートする。拡大サイズ例としては、横縦比率例は１２８０：７２０を端末に表示して、振る速度例は、１７１画素／ｓである。振る動作例から、左端に演出ストップボタン２０９があり、押下によりストップする。その場合、全体画面に移行する。

【0049】

図１２において、端末２は、マルチタッチディスプレイであり、振る動作の指定の場合に、全体画面と振る動作を指示する画面の一例を示している。配信領域を指示するボタン類は画面内のどこにあってもよい。また、表示される画面サイズや位置は変更されてもよい。さらに、速度例は、変更されてもよい。

【0050】

次に、図１３を参照して、画面を振る際の画面例について説明する。図１３は、画面を振る際の画面例を示す図である。まず、サーバ１の表示表域指定プログラム１６で表示領域が決定される。図１３において、上部分がパノラマ座標例、下部分が時間による振る動作例を示している。パノラマ座標例では、Ｘ座標０からＸ座標４７００、Ｙ座標０からＹ座標１０８０である。表示画面２１０は、拡大サイズとして１２８０×７２０画素で左右に動く。高さは、上がＹ座標１８０、下がＹ座標９００である。

【0051】

表示画面の位置中心の軌道が下部分に示されている。中点は、Ｘ座標２３５０、左がＸ座標６４０、右がＸ座標４０６０となっている。速度例として１７１画素／ｓで左右に振る。待機時間例として３５ｓ、移動時間４０ｓで１周期となり、繰り返す動作を行う。

【0052】

図１３において、端末２は、マルチタッチディスプレイであり、時間による振る動作の画面の一例を示している。表示される拡大サイズは変更されてもよい。また、待機時間や速度例は、変更されてもよい。

【0053】

次に、図１４を参照して、画面遷移の例を説明する。図１４は、表示領域指定プログラム実行部１６が行う画面遷移の例を示す図である。図１４においては、端末２の画面とパノラマ映像座標と経過時間の関係について示している。端末２の画面は、追跡画面から全体画面になり、再び追跡画面に戻る。ここでは、補完されていない時間が５秒以上の例を示している。

【0054】

追跡画面のパノラマ映像座標は、左上のＸ座標１７１０、右上のＸ座標２９９０、左上のＹ座標１８０、左下のＹ座標９００である。パノラマ全体画面のパノラマ座標例は、左上のＸ座標０、右上のＸ座標４７００、左上のＹ座標０、左下のＹ座標１０８０である。追跡画面のパノラマ座標は、左上のＸ座標１７１０、右上のＸ座標２９９０、左上のＹ座標１８０、左下のＹ座標９００である。

【0055】

補完されていない時間が５秒より大きいＴ秒とすると、追跡画面から全体画面の経過時間は、画面遷移Ｔ／４である。また、全体画面での待機時の経過時間は、待機時＝Ｔ／２である。全体画面から追跡画面の経過時間は、画面遷移Ｔ／４である。補完されていない時間が５秒以下の場合、場面や人物が動かないと想定されるため全体画面には切り替わらない。

【0056】

このように、各オブジェクトの位置情報が断片的な情報になってしまい、長い時間のオブジェクト位置情報がない場合に、オブジェクト追跡が途絶えてしまう問題点に対して、サーバ内にオブジェクト位置の補完判断プログラムと、補完プログラムと、表示領域指定プログラムと、オブジェクトデータ群を持ち、オブジェクトの位置と速度と時間の閾値において、位置情報を補完し、位置情報ある場合や補完できる場合に滑らかな追跡を行うことによって、長い時間の位置情報がない場合でもオブジェクト追跡が途絶えてしまうという問題を解決することができる。

【0057】

これを実現するために、本実施形態では、全体表示を用いることで自然に映像をつなぎ、視聴者が見ていて違和感のない映像を配信することができる。また、画面を左右に振る表示を用いることで、自然なカメラワークを付与することにより、細部まで違和感なく視聴可能になる。一例として、音楽のオーケストラ視聴では、映像全体を把握する画面が見たいとき、左右に画面を振って細部の演奏者の演奏を詳しく見たいときなどがある。

【0058】

以上説明したように、一般的な視聴端末の持つ画素数以上の画素数を持つ映像情報を格納して、映像内のオブジェクト位置を特定できるオブジェクト認識プログラムを持ち、映像の一部分を切出して端末に配信できるサーバと、サーバから送られてきた映像情報を表示し、表示する領域を指示する端末において、映像内のオブジェクト位置を特定できるオブジェクト認識プログラムにおいては、人物が交差して物体が隠れてしまういわゆるオクル―ジョンや、照明の点滅、個体差により、全く認識できない場合がある。長い時間の位置情報がない場合に、オブジェクト追跡が途絶えてしまうという問題点を有している。

【0059】

本実施形態による映像配信システムでは、オブジェクトデータ群のオブジェクトの情報有無と位置と速度と時間の閾値によりオブジェクトの位置情報を補完できる判断の場合に補完プログラムを起動する補完判断プログラムと、補完判断プログラムの起動から認識できなかったオブジェクトの位置情報を補完してオブジェクトデータ群に書き込む補完プログラムと、補完されたオブジェクトの位置情報を書き込めるオブジェクトデータ群と、端末の指示と、オブジェクトデータ群の情報有無と、映像情報の格納により、映像の一部分を切出しオブジェクト追跡表示や、映像の一部分を切出し端の画面を大きく表示できる振る表示と、全体画面表示する画面領域を決定することを特徴とする表示領域指定プログラムをサーバに持ち、サーバから送られてきた映像情報の画面表示を行い、端末の画面内のタッチパネルのボタンを押下することにより、映像の一部分を切出しオブジェクト追跡表示や、映像の一部分を切出し端の画面を大きく表示できる振る表示や、全体画面表示領域指定してオブジェクト追跡結果がない部分でも、全体表示や振る表示を用いることで自然に映像をつなぎ、視聴者が見ていて違和感のない内容にすることができる。

【0060】

このように構成することにより、長い時間に補完できない場合に、オブジェクト追跡が途絶えてしまう問題点を解決することができる。強制的に表示させると、追跡画面が切れて、追跡画面が突然始まるように表示され見にくくなるが、前述した映像配信システムでは、全体表示を用いることで自然に映像をつなぎ、視聴者が見ていて違和感がなくなる。また、サーバのプログラムにより、映像の一部分を切出し端の画面を大きく表示する領域を振ることにより、自然なカメラワークを付与することにより、細部まで違和感なく視聴可能になる。全体表示もしくは、画面を左右に振る表示を選択するのは、映像のシーンを自然に見られる感じる方を選択できるようにするためである。

【0061】

前述した実施形態における映像配信システムをコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されるものであってもよい。

【0062】

以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行ってもよい。

【産業上の利用可能性】

【0063】

人物が交差して物体が隠れてしまういわゆるオクル―ジョンや、照明の点滅、個体差により、追跡すべきオブジェクト（例えば、人物）の位置情報が断片的な情報になってしまっても視聴者に対して違和感を与えることなく、特定のオブジェクトを追跡した映像を配信することが不可欠な用途に適用できる。

【符号の説明】

【0064】

１・・・サーバ、１１・・・映像格納部、１２・・・オブジェクト認識プログラム実行部、１３・・・オブジェクトデータ群記憶部、１４・・・補完判断プログラム実行部、１５・・・補完プログラム実行部、１６・・・表示領域指定プログラム実行部、２・・・端末、２１・・・指示部、２２・・・表示部、３・・・ネットワーク

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】