(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-09-14
(45)【発行日】2023-09-25
(54)【発明の名称】映像処理方法、映像処理装置、及びプログラム
(51)【国際特許分類】
H04N 21/2343 20110101AFI20230915BHJP
【ＦＩ】
H04N21/2343
【請求項の数】
8
(21)【出願番号】P 2019175128
(22)【出願日】2019-09-26
(65)【公開番号】P2021052344
(43)【公開日】2021-04-01
【審査請求日】2022-09-05
(73)【特許権者】
【識別番号】000209751
【氏名又は名称】池上通信機株式会社
(74)【代理人】
【識別番号】110001243
【氏名又は名称】弁理士法人谷・阿部特許事務所
(72)【発明者】
【氏名】樫村 直樹
(72)【発明者】
【氏名】森本 衣舞
【審査官】大西 宏
(56)【参考文献】
【文献】特開平１１－１４６３６７（ＪＰ，Ａ）
【文献】特開２００４－１９４０２６（ＪＰ，Ａ）
【文献】特開２００６－０５０４７５（ＪＰ，Ａ）
【文献】特開２００６－１９７３２１（ＪＰ，Ａ）
【文献】特開２０１３－２２９８０６（ＪＰ，Ａ）
【文献】特開２０１６－０３６０８５（ＪＰ，Ａ）
【文献】米国特許出願公開第２００８／０２９１２６２（ＵＳ，Ａ１）
【文献】米国特許第０７８３９９２６（ＵＳ，Ｂ１）
【文献】国際公開第２０１６／１２５３７２（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ２１／００ －２１／８５８
(57)【特許請求の範囲】
【請求項1】
正方形の撮像センサを有する撮像装置からの映像を処理して、長方形の表示画面を有する機器へ配信される映像を生成するための映像処理方法であって、コンピュータが、前記撮像センサの撮像面に対応する正方形の映像領域のうち、前記表示画面と同じ形状を有し、長辺が前記映像領域の一辺と一致し、且つ中心が前記映像領域の中心と一致する第１の領域と、前記第１の領域を９０°回転して得られる第２の領域とが交わる中央部の解像度を維持しつつ、前記中央部の周囲に位置する周辺部の少なくとも一部が前記中央部より低い解像度になるように、前記撮像装置からの映像を処理するステップ
を含む、映像処理方法。
【請求項2】
前記映像を処理するステップでは、前記中央部と前記周辺部との間の境界から遠ざかるにつれて前記周辺部の解像度が低くなるように前記撮像装置からの映像を処理する請求項１に記載の映像処理方法。
【請求項3】
前記映像を処理するステップは、前記周辺部のうち、前記中央部と境界を接する第１の矩形部分を第１の解像度に設定し、前記第１の矩形部分を除いた第２の矩形部分を第２の解像度に設定することと、
前記第１の矩形部分が前記第１の解像度に、前記第２の矩形部分が前記第２の解像度になるように前記撮像装置からの映像を処理することと
を含む、請求項１又は２に記載の映像処理方法。
【請求項4】
前記映像を処理するステップは、前記第１の解像度を前記中央部の解像度より低く設定し、前記第１の解像度と前記第２の解像度とを同じに設定する第１のモードと、
前記第１の解像度を前記中央部の解像度より低く設定し、前記第２の解像度を前記第１の解像度より低く設定する第２のモードと、
前記第１の解像度を前記中央部の解像度と同じに設定し、前記第２の解像度を前記第１の解像度より低く設定する第３のモードと、
前記第１の領域の解像度を同じに設定し、残りの領域の解像度を前記第１の領域の解像度より低く設定する第４のモードと、
前記第２の領域の解像度を同じに設定し、残りの領域の解像度を前記第２の領域の解像度より低く設定する第５のモードと
のうちから１つのモードを選択するステップを含み、
前記撮像装置からの映像は、選択された前記１つのモードに従って処理される
請求項３に記載の映像処理方法。
【請求項5】
前記映像を処理するステップは、前記撮像装置からの映像を解析して被写体の動きを特定すること
を含み、
前記１つのモードは、特定された前記被写体の動きに基づいて選択される
請求項４に記載の映像処理方法。
【請求項6】
前記機器の傾きに応じて前記周辺部の一部が前記表示画面に表示される請求項１～５のいずれか１項に記載の映像処理方法。
【請求項7】
正方形の撮像センサを有する撮像装置からの映像を処理して、長方形の表示画面を有する機器へ配信される映像を生成する映像処理装置であって、前記撮像センサの撮像面に対応する正方形の映像領域のうち、前記表示画面と同じ形状を有し、長辺が前記映像領域の一辺と一致し、且つ中心が前記映像領域の中心と一致する第１の領域と、前記第１の領域を９０°回転して得られる第２の領域とが交わる中央部の解像度を維持しつつ、前記中央部の周囲に位置する周辺部の少なくとも一部が前記中央部より低い解像度になるように、前記撮像装置からの映像を処理する信号処理部を有する
映像処理装置。
【請求項8】
正方形の撮像センサを有する撮像装置からの映像を処理して、長方形の表示画面を有する機器へ配信される映像を生成するためのプログラムであって、前記撮像センサの撮像面に対応する正方形の映像領域のうち、前記表示画面と同じ形状を有し、長辺が前記映像領域の一辺と一致し、且つ中心が前記映像領域の中心と一致する第１の領域と、前記第１の領域を９０°回転して得られる第２の領域とが交わる中央部の解像度を維持しつつ、前記中央部の周囲に位置する周辺部の少なくとも一部が前記中央部より低い解像度になるように、前記撮像装置からの映像を処理するステップ
を含む処理をコンピュータに実行させる、プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、映像処理方法、映像処理装置、及びプログラムに関する。
【背景技術】
【0002】
近年、スマートフォンやタブレット端末などの端末機器を利用して映像コンテンツを視聴するユーザが増えてきている。その背景にはネットワークを介して配信される映像コンテンツの充実がある。また、テレビジョン放送向けの放送番組映像をネットワーク配信する試みも進められており、ネットワーク上に投稿された動画だけでなく、様々な映像コンテンツが端末機器で視聴できるようになってきている。
【0003】
そうした配信映像の多くは、横長の画面で視聴することを前提にした横長の映像である。そのため、端末機器を縦に構え、縦長の画面で映像を視聴する場合には、画面中央に横長の映像が縮小表示されるか、映像の中央部分から切り出された縦長の部分映像が画面一杯に拡大して表示される。縮小表示の場合には映像の細部が見にくくなり、拡大表示の場合には映像の精細度が低下してしまう。
【0004】
映像の表示に関し、下記の特許文献１には、正方形の撮像センサを利用して正方形の映像を撮像し、端末機器の姿勢に応じて正方形の映像から縦長又は横長の映像を切り出して端末機器に伝送する方法が記載されている。この方法では、縦長の画面で視聴する場合でも、横長の画面で視聴する場合でも、同じ解像度で画面一杯に映像が表示される。そのため、端末機器を縦に構えた場合でも高精細な映像が見られる。但し、この方法では、正方形の映像のうち端末機器に伝送されない部分が生じてしまう。
【0005】
正方形の映像全体を伝送する方法に関し、下記の特許文献２には、全天周カメラに搭載された正方形の撮像センサで撮像される映像全体を伝送する方法が記載されている。正方形の映像全体を伝送して受信側で映像全体を有効活用することは好ましいが、縦長又は横長の映像を切り出して伝送する場合に比べて伝送負荷が高くなる。そのため、特許文献２では、映像の中心部から外周に向けて徐々に画質を低下させ、伝送される映像の情報量を減らして伝送負荷を低減する方法が提案されている。
【先行技術文献】
【特許文献】
【0006】
【文献】特開2016-36085号公報
【文献】特開2019-102849号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
上記の通り、特許文献１の方法を適用すると、端末機器を縦に構えても、横に構えても高精細な映像が見られるけれど、伝送されない映像部分が無駄になる。一方、正方形の映像全体を有効活用できるようにすべく映像全体を伝送すると伝送負荷が高くなる。特許文献２の方法は伝送負荷の低減に寄与するものの、映像の全領域で画質の低下が生じてしまう。通常は中心付近の映像領域を視聴することが多いため、中心付近の映像領域については画質の低下を避けることが好ましい。
【0008】
上記の事情に鑑みて考案された本開示の１つの観点によれば、本開示の目的は、通常視聴時の画質低下を抑えつつ映像の伝送負荷を低減することができる映像処理方法、映像処理装置、及びプログラムを提供することにある。
【課題を解決するための手段】
【0009】
本開示の一態様によれば、正方形の撮像センサを有する撮像装置からの映像を処理して、長方形の表示画面を有する機器へ配信される映像を生成するための映像処理方法であって、コンピュータが、撮像センサの撮像面に対応する正方形の映像領域のうち、表示画面と同じ形状を有し、長辺が映像領域の一辺と一致し、且つ中心が映像領域の中心と一致する第１の領域と、第１の領域を９０°回転して得られる第２の領域とが交わる中央部の解像度を維持しつつ、中央部の周囲に位置する周辺部の少なくとも一部が中央部より低い解像度になるように、撮像装置からの映像を処理するステップを含む、映像処理方法が提供される。
【発明の効果】
【0010】
本開示によれば、通常視聴時の画質低下を抑えつつ映像の伝送負荷を低減することができる。
【図面の簡単な説明】
【0011】
【図1】本開示の一実施形態に係るシステムについて説明するための図である。
【図2】撮像装置の変形例について説明するための図である。
【図3】映像処理装置のハードウェアについて説明するためのブロック図である。
【図4】端末機器の機能について説明するためのブロック図である。
【図5】映像領域の区画について説明するための図である。
【図6】端末機器による表示制御について説明するための第１の図である。
【図7】端末機器による表示制御について説明するための第２の図である。
【図8】端末機器による表示制御について説明するための第３の図である。
【図9】端末機器による表示制御について説明するための第４の図である。
【図10】横向きに構えた端末機器の回転量と表示範囲の移動量との関係について説明するためのグラフである。
【図11】縦向きに構えた端末機器の回転量と表示範囲の移動量との関係について説明するためのグラフである。
【図12】映像処理装置の機能について説明するためのブロック図である。
【図13】モード情報について説明するための図表である。
【図14】画質調整方法について説明するための第１の図である。
【図15】画質調整方法について説明するための第２の図である。
【図16】本開示の一実施形態に係るモード選択方法について説明するためのフロー図である。
【図17】本開示の一実施形態に係る映像処理方法について説明するためのフロー図である。
【図18】本開示の一実施形態に係る映像配信方法について説明するためのシーケンス図である。
【発明を実施するための形態】
【0012】
以下に添付図面を参照しながら、本開示の実施形態について説明する。なお、本明細書及び図面において実質的に同一の機能を有する要素については、同一の符号を付することにより重複説明を省略する場合がある。
【0013】
【0014】
図１に示すように、本開示の一実施形態に係るシステムは、撮像システム１０、映像配信システム２０、及び端末機器３１、３２を含む。図１の例では、撮像システム１０と映像配信システム２０とを分けて記載しているが、撮像システム１０と映像配信システム２０とが１つのシステムに統合されてもよい。また、図１には２台の端末機器３１、３２が明示されているが、端末機器の数は３以上であってもよい。
【0015】
撮像システム１０は、配信用の映像を生成するためのシステムである。撮像システム１０により生成された映像は、映像配信システム２０に提供される。映像配信システム２０は、映像を配信するためのシステムである。例えば、映像配信システム２０は、ネットワークＮＷを介して端末機器３１、３２に映像を配信する。ネットワークＮＷは、ＷＡＮ（Wide Area Network）、ＬＡＮ（Local Area Network）、光通信ネットワーク、移動体通信ネットワークなど、様々なネットワーク又はそれらの組み合わせでありうる。
【0016】
端末機器３１、３２は、ネットワークＮＷを介して映像配信システム２０にアクセスし、映像配信システム２０により配信された映像を受信しうる。端末機器３１は、縦Ｈ１、横Ｗ１の幅を有するディスプレイ３１１を搭載し、受信した映像をディスプレイ３１１に表示しうる。同様に、端末機器３２は、縦Ｈ２、横Ｗ２の幅を有するディスプレイ３２１を搭載し、受信した映像をディスプレイ３２１に表示しうる。ディスプレイ３１１、３２１の縦横比は同じである（Ｈ１：Ｗ１＝Ｈ２：Ｗ２）。
【0017】
撮像システム１０は、撮像装置１１及び映像処理装置１２を含む。
【0018】
撮像装置１１は、光学系１１１、撮像センサ１１２、及び制御部１１３を有する。光学系１１１は、少なくとも１つのレンズ又は少なくとも１つのレンズ群を含み、入射した光を撮像センサ１１２へと導くための光学部材である。撮像センサ１１２は、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）イメージセンサなどの固体撮像素子である。撮像センサ１１２は、それぞれがＰＤ（Photodiode）などの光電変換素子で形成される複数の画素を有し、各画素について入射する光の強度に応じた電気信号を出力する。
【0019】
撮像センサ１１２は、縦方向（Ｙ方向）にＮ画素、横方向（Ｘ方向）にＮ画素の幅を持つ撮像領域を有する。Ｎは、例えば、２１６０、３８４０、４０９６である。撮像センサ１１２の撮像領域は縦横比が１：１の正方形状であり、この撮像領域からの出力信号に基づく映像は正方形の映像となる。制御部１１３は、撮像センサ１１２の出力信号にＡＤＣ（Analog to Digital Conversion）などの処理を施して映像信号を生成し、その映像信号を映像処理装置１２へと出力する。
【0020】
なお、図１の例では正方形の撮像領域を有する１枚の撮像センサ１１２を利用しているが、変形例として、長方形の撮像領域を有する２枚の撮像センサを組み合わせて正方形の撮像領域を実現してもよい。例えば、横３８４０画素、縦２１６０画素の幅を持つ４Ｋイメージセンサを２枚組み合わせて縦横３８４０画素の幅を持つ正方形の撮像領域を実現することができる。この変形例について、図２を参照しながら説明する。図２は、撮像装置の変形例について説明するための図である。
【0021】
図２に示すように、変形例に係る撮像装置１１は、絞り１１１ａ、レンズ１１１ｂ、プリズム１１１ｃ、撮像センサ１１２ａ、１１２ｂ、及び制御部１１３を含む。図２の破線Ａ～Ｅは、絞り１１１ａ及びレンズ１１１ｂを通ってプリズム１１１ｃに入射し、プリズム１１１ｃを通って撮像センサ１１２ａ、１１２ｂに導かれる光の光路を示す。ＲＩは、入射する光の約５０％を透過し、残りの約５０％について光路を直角に折り曲げる分波面を示す。なお、説明を容易にするため、分波面ＲＩを透過する光路及び分波面ＲＩで反射する光路の一部が省略されている。
【0022】
撮像センサ１１２ａ、１１２ｂのそれぞれは、縦方向にＭ画素、横方向にＮ画素の幅を持つ撮像領域を有する。Ｍは、Ｎ未満である。また、Ｍは、Ｎ／２以上であってよい。図２の例では、「Ｍ＞Ｎ／２」である。撮像センサ１１２ａにおける縦方向は矢印Ｐａの方向であり、紙面に垂直な方向が撮像センサ１１２ａにおける横方向である。撮像センサ１１２ｂにおける縦方向は矢印Ｐｂの方向であり、紙面に垂直な方向が撮像センサ１１２ｂにおける横方向である。
【0023】
撮像センサ１１２ａは、光路Ａと光路Ｄとの間の領域を通る光のうち、分波面ＲＩを透過する透過光が入射する位置に配置される。撮像センサ１１２ｂは、光路Ｂと光路Ｅとの間の領域を通る光のうち、分波面ＲＩで反射される反射光が入射する位置に配置される。光路Ｃは、光路Ａと光路Ｅとの間の丁度中間である。光路Ｂは、光路Ｃよりも光路Ａ寄りに位置する。光路Ｄは、光路Ｃよりも光路Ｅ寄りに位置する。そのため、光路Ｂと光路Ｄとの間の領域を通る光は、分波面ＲＩで分波され、撮像センサ１１２ａ、１１２ｂの両方に入射する。従って、撮像センサ１１２ａ、１１２ｂの両方から、光路Ｂと光路Ｄとの間の領域に対応する映像部分の信号が出力される。
【0024】
制御部１１３は、撮像センサ１１２ａ、１１２ｂからの出力信号に基づく２枚の映像を合成して合成映像を生成する。上記のように、撮像センサ１１２ａ、１１２ｂからの出力信号には、同じ映像部分の信号が含まれる。そのため、制御部１１３は、２枚の映像を合成する際、図２に示すように、同じ映像部分を含む領域（以下、重複領域）を重ね合わせ、重複領域の画素値を調整して合成映像１１３ａを生成する。重複領域の処理としては、例えば、２枚の映像から得られる画素値の平均値又は重み付き平均値を計算し、計算結果を合成映像１１３ａの画素値として利用する方法がある。なお、ＭがＮ／２の場合、重複領域に対する画素値の調整は省略される。
【0025】
本開示の実施形態に係る技術を適用可能な正方形の撮像領域は、１枚の撮像センサ１１２を利用して実装されてもよいし、上記変形例のように２枚の撮像センサ１１２ａ、１１２ｂを利用して実装されてもよい。さらに、正方形の撮像領域は、３枚以上の撮像センサを利用して実装されてもよいし、また、上記変形例におけるプリズム１１１ｃの形状及び撮像センサ１１２ａ、１１２ｂの配置は変更されてもよい。このように、本開示の実施形態に係る技術を適用するに当たり、正方形の撮像領域を実装するための実装形態は任意に採用することができ、そのような実装形態についても当然に本開示の技術的範囲に属する。
【0026】
【0027】
後述する映像処理装置１２の機能は、例えば、図３に示すハードウェア資源を用いて実現することが可能である。つまり、映像処理装置１２が有する機能は、コンピュータプログラムを用いて図３に示すハードウェアを制御することにより実現される。
【0028】
図３に示すように、映像処理装置１２は、プロセッサ１２ａ、メモリ１２ｂ、表示ＩＦ（Interface）１２ｃ、通信ＩＦ１２ｄ、及び接続ＩＦ１２ｅを有する。
【0029】
プロセッサ１２ａは、ＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）などの処理回路（Processing Circuitry）である。メモリ１２ｂは、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、フラッシュメモリなどのストレージデバイスである。
【0030】
表示ＩＦ１２ｃは、ＬＣＤ（Liquid Crystal Display）、ＥＬＤ（Electro-Luminescence Display）などのディスプレイデバイスを接続するためのインターフェースである。例えば、表示ＩＦ１２ｃは、プロセッサ１２ａ、及び／又は表示ＩＦ１２ｃに搭載されたＧＰＵにより表示を制御する。通信ＩＦ１２ｄは、ネットワークＮＷに接続するためのインターフェースである。
【0031】
接続ＩＦ１２ｅは、外部デバイスを接続するためのインターフェースである。接続ＩＦ１２ｅは、例えば、ＵＳＢ（Universal Serial Bus）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Small Computer System Interface）などである。接続ＩＦ１２ｅには、入出力インターフェースの他、記録媒体１２ｆが接続されうる。記録媒体１２ｆは、磁気記録媒体、光ディスク、光磁気ディスク、半導体メモリなどの非一時的なコンピュータ可読記録媒体（Non-transitory computer readable storage medium）でありうる。
【0032】
プロセッサ１２ａは、記録媒体１２ｆに格納されたプログラムを読み出してメモリ１２ｂに格納し、メモリ１２ｂから読み出したプログラムに従って映像処理装置１２の動作を制御しうる。映像処理装置１２の動作を制御するプログラムは、メモリ１２ｂに予め格納されてもよいし、通信ＩＦ１２ｄを介してネットワークからダウンロードされてもよい。
【0033】
図３には映像処理装置１２のハードウェアを例示したが、撮像装置１１の制御部１１３、映像配信システム２０、端末機器３１、３２の機能も、図３に示したハードウェア要素の少なくとも一部を用いて実現可能である。そのため、撮像装置１１の制御部１１３、映像配信システム２０、及び端末機器３１、３２のハードウェアについては、図３に関する上記の説明を引用することで詳細な説明を省略する。
【0034】
（端末機器の機能）
次に、図４を参照しながら、端末機器３１、３２の機能について説明する。図４は、端末機器３１の機能について説明するためのブロック図である。なお、端末機器３１、３２の機能は実質的に同じであるため、端末機器３１の機能について説明し、端末機器３２の機能については詳細な説明を省略する。
次に、図４を参照しながら、端末機器３１、３２の機能について説明する。図４は、端末機器３１の機能について説明するためのブロック図である。なお、端末機器３１、３２の機能は実質的に同じであるため、端末機器３１の機能について説明し、端末機器３２の機能については詳細な説明を省略する。
【0035】
図４に示すように、端末機器３１は、ディスプレイ３１１、記憶部３１２、センサ部３１３、余白制御部３１４、及び映像再生部３１５を有する。
【0036】
ディスプレイ３１１は、ＬＣＤ、ＥＬＤなどの表示用デバイスである。記憶部３１２の機能は、上述したメモリ１２ｂに相当するハードウェア要素により実現されうる。センサ部３１３の機能は、上述した接続ＩＦ１２ｅに接続されるセンサ類（加速度センサ、ジャイロセンサ、磁気センサなど）により実現されうる。余白制御部３１４及び映像再生部３１５の機能は、いずれも上述したプロセッサ１２ａ及び表示ＩＦ１２ｃに相当するハードウェア要素により実現されうる。
【0037】
記憶部３１２には、視聴プログラム３１２ａが格納される。視聴プログラム３１２ａは、映像配信システム２０から配信される映像を視聴するためのアプリケーションプログラムである。端末機器３１上で視聴プログラム３１２ａが実行されることで、後述する余白制御部３１４及び映像再生部３１５の機能が提供されうる。なお、視聴プログラム３１２ａの機能は、Ｗｅｂブラウザや、Ｗｅｂブラウザ上で動作するプラグインアプリケーションプログラムとして実装されてもよい。また、視聴プログラム３１２ａは、映像配信システム２０からネットワークＮＷを介してダウンロードされてもよいし、外部のアプリケーションサーバからインターネットを介してダウンロードされてもよい。
【0038】
センサ部３１３は、端末機器３１の姿勢及び動きを検知する。例えば、センサ部３１３は、ディスプレイ３１１の画面が横長となるように、ユーザが端末機器３１を横に構えているか、それとも、ディスプレイ３１１の画面が縦長となるように、ユーザが端末機器３１を縦に構えているかを検知する。以下では、説明を簡単にするため、横長画面となる端末機器３１の姿勢を「横向き」、縦長画面となる端末機器３１の姿勢を「縦向き」と表現する場合がある。例えば、図１に示した端末機器３１は「横向き」の姿勢である。
【0039】
また、センサ部３１３は、端末機器３１の動きを検知する。例えば、センサ部３１３は、画面の長手方向に平行で画面中心を通る軸を回転軸（以下、軸ＡＸ１）とする端末機器３１の回転、及び、画面の短手方向に平行で画面中心を通る軸を回転軸（以下、軸ＡＸ２）とする端末機器３１の回転を検知する。また、センサ部３１３は、画面と平行な面内で端末機器３１が回転する動き、軸ＡＸ１が平行移動する動き、軸ＡＸ２が平行移動する動きなど、端末機器３１の様々な動きを検知しうる。センサ部３１３による検知の結果は、余白制御部３１４に提供される。
【0040】
余白制御部３１４は、センサ部３１３による検知の結果に応じて、映像配信システム２０から受信される正方形の映像のうち、ディスプレイ３１１に表示される範囲及び表示方法を制御する。映像再生部３１５は、映像配信システム２０から受信される映像を再生する。例えば、映像再生部３１５は、映像配信システム２０から配信される符号化された映像信号を受信し、この映像信号を復号して得た映像をディスプレイ３１１に表示する。映像の符号化には、AVC/H.264、HEVC/H.265、Motion JPEG、AV1（AOMedia Video 1）、MPEG-2など、任意のコーデックが利用されうる。
【0041】
【0042】
まず、図５を参照しながら、映像領域の区画について説明する。図５は、映像領域の区画について説明するための図である。図５には、映像配信システム２０から配信される映像の外形が映像領域１１４として模式的に示されている。映像領域１１４は、撮像センサ１１２の撮像領域に対応し、一辺がＮ画素の長さを持つ正方形の領域である。また、映像領域１１４は、９つの領域Ａ０～Ａ８に区画される。
【0043】
領域Ａ０は、その中心が映像領域１１４の中心と一致するように配置され、且つ一辺がＰ画素の長さを持つ正方形の領域である。４つの領域Ａ１～Ａ４は、それぞれ短辺がＱ画素、長辺がＰ画素の長さを持つ長方形の領域である。４つの領域Ａ５～Ａ８は、それぞれ一辺がＱ画素の長さを持つ正方形の領域である。ここで、Ｐは下記の式（１）で与えられ、Ｑは下記の式（２）で与えられる。
【0044】
Ｐ＝Ｎ×（Ｗ１／Ｈ１） …（１）
Ｑ＝（Ｎ－Ｐ）／２ …（２）
Ｑ＝（Ｎ－Ｐ）／２ …（２）
【0045】
端末機器３１が縦向きのとき、通常は、領域Ａ０、Ａ１、Ａ３の映像がディスプレイ３１１に表示される。端末機器３１が横向きのとき、通常は、領域Ａ０、Ａ２、Ａ４の映像がディスプレイ３１１に表示される。以下では、端末機器３１が縦向きのときの領域Ａ２、Ａ４～Ａ８、及び、端末機器３１が横向きのときの領域Ａ１、Ａ３、Ａ５～Ａ８を「余白領域」と表現する場合がある。余白領域は、通常視聴時には表示されなくてもよく、余白制御部３１４による制御が介在する場合に表示されうる。
【0046】
余白制御部３１４は、図６～図９に示すように、端末機器３１の姿勢変化に応じて表示範囲を制御し、余白領域の一部をディスプレイ３１１に表示させる。図６～図９は、端末機器による表示制御について説明するための図である。
【0047】
例えば、端末機器３１を横向きに持ち、画面上端がユーザに近づく向きに端末機器３１を傾けた場合（手前側への回転）、余白制御部３１４は、図６に示すように、映像領域１１４の表示範囲を下方へ移動させる。図６の破線３１１ａは、端末機器３１を傾ける前のディスプレイ３１１の位置を示す。この動作により、ディスプレイ３１１には、余白領域の一部である領域Ａ３、Ａ６、Ａ７が表示される。以下では、この動作での軸ＡＸ１についての回転量をｔＷ１、表示範囲の移動量をＳＷ１と表記する。
【0048】
また、端末機器３１を横向きに持ち、画面上端がユーザから遠ざかる向きに端末機器３１を傾けた場合（奥側への回転）、余白制御部３１４は、図７に示すように、映像領域１１４の表示範囲を上方へ移動させる。図７の破線３１１ａは、端末機器３１を傾ける前のディスプレイ３１１の位置を示す。この動作により、ディスプレイ３１１には、余白領域の一部である領域Ａ１、Ａ５、Ａ８が表示される。以下では、この動作での軸ＡＸ１についての回転量をｔＷ２、表示範囲の移動量をＳＷ２と表記する。
【0049】
また、端末機器３１を縦向きに持ち、画面左端がユーザに近づく向きに端末機器３１を傾けた場合（左回転）、余白制御部３１４は、図８に示すように、映像領域１１４の表示範囲を右方へ移動させる。図８の破線３１１ａは、端末機器３１を傾ける前のディスプレイ３１１の位置を示す。この動作により、ディスプレイ３１１には、余白領域の一部である領域Ａ４、Ａ７、Ａ８が表示される。以下では、この動作での軸ＡＸ２についての回転量をｔＨ１、表示範囲の移動量をＳＨ１と表記する。
【0050】
また、端末機器３１を縦向きに持ち、画面左端がユーザから遠ざかる向きに端末機器３１を傾けた場合（右回転）、余白制御部３１４は、図９に示すように、映像領域１１４の表示範囲を左方へ移動させる。図９の破線３１１ａは、端末機器３１を傾ける前のディスプレイ３１１の位置を示す。この動作により、ディスプレイ３１１には、余白領域の一部である領域Ａ２、Ａ５、Ａ６が表示される。以下では、この動作での軸ＡＸ２についての回転量をｔＨ２、表示範囲の移動量をＳＨ２と表記する。
【0051】
上記のように、余白領域を表示できるようにすることで、映像配信システム２０から配信される映像の映像領域１１４を全て有効に活用できるようになる。
【0052】
ここで、人の行動パターンについて考察を加えたい。いま、箱の中に何か小さな物が入っているとしよう。箱が深く、中の物が箱の隅に隠れている場合、人は、箱を傾けたり、箱の中を覗き込んだりして中の物を確認するだろう。箱の手前側に隠れている物を探すとき、人は、箱を手前側に傾けるか、箱の奥側に顔を近づけるだろう。また、箱の奥側に隠れている物を探すとき、人は、箱の手前側を持ち上げるか、箱の手前側に顔を近づけるだろう。つまり、隠れている物を見ようとするとき、人は、隠れている物と目とを離そうとする。図６～図９に示した表示制御は、このような行動パターンを反映したものである。
【0053】
例えば、図６の表示制御によれば、端末機器３１を手前側に傾けて画面の下端をユーザの目から遠ざける操作に応じて、画面の下側に隠れている余白領域（領域Ａ３、Ａ６、Ａ７）が表示される。図７の表示制御によれば、端末機器３１を奥側に傾けて画面の上端をユーザの目から遠ざける操作に応じて、画面の上側に隠れている余白領域（領域Ａ１、Ａ５、Ａ８）が表示される。
【0054】
また、図８の表示制御によれば、端末機器３１を左回転させて画面の右端をユーザの目から遠ざける操作に応じて、画面の右側に隠れている余白領域（領域Ａ４、Ａ７、Ａ８）が表示される。図９の表示制御によれば、端末機器３１を右回転させて画面の左端をユーザの目から遠ざける操作に応じて、画面の左側に隠れている余白領域（領域Ａ２、Ａ５、Ａ６）が表示される。
【0055】
上記の表示制御を適用することで、余白領域の表示について直感的な操作インターフェースを実現することができる。上記の通り、映像配信システム２０からは正方形の映像全体が配信されるため、通常視聴時は端末機器３１を縦持ちにしても横持ちにしても高精細な映像を視聴でき、さらに、画面端の先にある余白映像をシームレスに視聴できるため、これまでにない視聴形態が実現されうる。
【0056】
以下、図１０及び図１１を参照しながら、上述した余白領域の表示制御について、さらに説明する。図１０は、横向きに構えた端末機器３１の回転量と表示範囲の移動量との関係について説明するためのグラフである。図１１は、縦向きに構えた端末機器３１の回転量と表示範囲の移動量との関係について説明するためのグラフである。
【0057】
図１０には、端末機器３１の回転量ｔＷと、ディスプレイ３１１に表示される表示範囲の移動量ＳＷとの関係を示す４つのグラフｇＷ１～ｇＷ４が示されている。
【0058】
回転量ｔＷは、図６及び図７に示した回転量ｔＷ１、ｔＷ２の大きさに対応し、図６及び図７に示した破線３１１ａの位置から、軸ＡＸ１を中心にディスプレイ３１１が手前側へ傾いたときの回転量ｔＷ１と、奥側へ傾いたときの回転量ｔＷ２とを表す。移動量ＳＷは、図６及び図７の移動量ＳＷ１、ＳＷ２に対応し、図６及び図７に示した破線３１１ａの位置から、軸ＡＸ１を中心にディスプレイ３１１が手前側へ傾いた場合における移動量ＳＷ１と、奥側へ傾いた場合における移動量ＳＷ２とを表す。
【0059】
なお、図中では通常視聴時に画面の一端側に隠れている余白領域（図６の例では領域Ａ３、Ａ６、Ａ７）が全て表示される場合の移動量ＳＷを１、余白領域が全く表示されない通常視聴時の移動量ＳＷを０としている。
【0060】
余白制御部３１４は、グラフｇＷ１～ｇＷ４のいずれかのグラフに従って上述した余白領域の表示制御を実施しうる。なお、どのグラフに従って余白制御部３１４が表示制御を実施するかはユーザが任意に選択してもよいし、映像の内容に応じて視聴プログラム３１２ａが自動的に選択してもよい。視聴プログラム３１２ａが自動的に選択する場合、後からユーザが再選択できるようにすることが好ましい。また、映像の内容に応じて視聴プログラム３１２ａがお勧めの選択肢を提示し、ユーザが選択するようにしてもよい。
【0061】
図１０（Ａ）のグラフｇＷ１、ｇＷ２では、回転量ｔＷが所定範囲（この例では０～２５°）で回転量ｔＷと移動量ＳＷとが線形関係にあり、回転量ｔＷの増加に比例して移動量ＳＷが増加する。回転量ｔＷが一定角度（この例では２５°）を超えると映像が見難くなることがあるため、一定角度に達するまでに画面の一端側に隠れていた余白領域が全て表示されるように設定されている。
【0062】
グラフｇＷ１は、回転量ｔＷが０°から立ち上がる。そのため、グラフｇＷ１に従って余白領域の表示を制御すると、端末機器３１を僅かに傾けただけでも余白領域が表示されるようになる。自然環境を映し出した映像など、映像全体を見渡すように視聴できると楽しみが増すような映像については、表示範囲を動かしやすいグラフｇＷ１に基づく表示制御が好ましい。
【0063】
グラフｇＷ２は、回転量ｔＷが所定角度（この例では１０°）に達してから立ち上がる。そのため、グラフｇＷ２に従って余白領域の表示を制御すると、端末機器３１をある程度傾けるまで通常視聴時の表示範囲が維持され、余白領域が表示されない。映像領域１１４の中心付近に主たる被写体が位置するバラエティー番組、ニュース番組、ドラマなどの映像では、端末機器３１の僅かな動きで表示範囲が動いてしまうと見難くなってしまうことがある。そのため、このような映像については、ユーザが意図的に余白領域を表示する操作を行うまで表示範囲が動かないグラフｇＷ２に基づく表示制御が好ましい。
【0064】
図１０（Ｂ）のグラフｇＷ３、ｇＷ４では、回転量ｔＷと移動量ＳＷとが非線形関係にある。
【0065】
グラフｇＷ３は、回転量ｔＷの増加に伴って滑らかに移動量ＳＷが増加する。グラフｇＷ３の曲線は、スプライン曲線やベジェ曲線など、複数の制御点を基準とする滑らかな曲線であってもよいし、高次多項式で表現される他の曲線であってもよい。
【0066】
グラフｇＷ３においては、回転量ｔＷが小さい領域で、回転量ｔＷの増加に比して移動量ＳＷが小さく、また、回転量ｔＷが大きい領域で、回転量ｔＷの増加に比して移動量ＳＷが大きい。そのため、端末機器３１を僅かに傾けると余白領域が徐々に見えてきて、傾きを大きくすると余白領域が素早く拡大する。通常視聴時には表示範囲が動きにくく、余白領域の表示を意図した操作に対しては素早く反応するため、グラフｇＷ３によれば、映像の種類によらず、ユーザに違和感を与えにくい表示制御が実現されうる。
【0067】
グラフｇＷ４は、回転量ｔＷの増加に伴って段階的に移動量ＳＷが増加する。図１０（Ｂ）の例では、回転量ｔＷが５°、１５°、２５°に達したタイミングで移動量ＳＷが増加する。なお、グラフｇＷ４では各タイミングで瞬間的に移動量ＳＷが増加しているように見えるが、各タイミングに達した時点から所定時間（例えば、１秒）が経過するまでの間に徐々に移動量ＳＷが増加するように制御されてもよい。グラフｇＷ４のように段階的に移動量ＳＷを変えられるようにすることで、余白領域を一定範囲だけ表示した状態で安定させることができ、余白領域を含む映像の安定した表示が実現されうる。
【0068】
図１１には、端末機器３１の回転量ｔＨと、ディスプレイ３１１に表示される表示範囲の移動量ＳＨとの関係を示す４つのグラフｇＨ１～ｇＨ４が示されている。
【0069】
回転量ｔＨは、図８及び図９に示した回転量ｔＨ１、ｔＨ２の大きさに対応し、図８及び図９に示した破線３１１ａの位置から、軸ＡＸ２を中心にディスプレイ３１１が左側へ回転したときの回転量ｔＨ１と、右側へ回転したときの回転量ｔＨ２とを表す。移動量ＳＨは、図８及び図９の移動量ＳＨ１、ＳＨ２に対応し、図８及び図９に示した破線３１１ａの位置から、軸ＡＸ２を中心にディスプレイ３１１が左側へ回転した場合における移動量ＳＨ１と、右側へ回転した場合における移動量ＳＨ２とを表す。
【0070】
なお、図中では通常視聴時に画面の一端側に隠れている余白領域（図８の例では領域Ａ４、Ａ７、Ａ８）が全て表示される場合の移動量ＳＨを１、余白領域が全く表示されない通常視聴時の移動量ＳＨを０としている。
【0071】
余白制御部３１４は、グラフｇＨ１～ｇＨ４のいずれかのグラフに従って上述した余白領域の表示制御を実施しうる。なお、どのグラフに従って余白制御部３１４が表示制御を実施するかはユーザが任意に選択してもよいし、映像の内容に応じて視聴プログラム３１２ａが自動的に選択してもよい。視聴プログラム３１２ａが自動的に選択する場合、後からユーザが再選択できるようにすることが好ましい。また、映像の内容に応じて視聴プログラム３１２ａがお勧めの選択肢を提示し、ユーザが選択するようにしてもよい。
【0072】
図１１（Ａ）のグラフｇＨ１、ｇＨ２では、回転量ｔＨが所定範囲（この例では０～２５°）で回転量ｔＨと移動量ＳＨとが線形関係にあり、回転量ｔＨの増加に比例して移動量ＳＨが増加する。回転量ｔＨが一定角度（この例では２５°）を超えると映像が見難くなることがあるため、一定角度に達するまでに画面の一端側に隠れていた余白領域が全て表示されるように設定されている。
【0073】
グラフｇＨ１は、上述したグラフｇＷ１と同様に、回転量ｔＨが０°から立ち上がる。そのため、グラフｇＨ１に従って余白領域の表示を制御すると、端末機器３１を僅かに傾けただけでも余白領域が表示されるようになる。グラフｇＨ２は、上述したグラフｇＷ２と同様に、回転量ｔＨが所定角度（この例では１０°）に達してから立ち上がる。そのため、グラフｇＨ２に従って余白領域の表示を制御すると、端末機器３１をある程度傾けるまで通常視聴時の表示範囲が維持され、余白領域が表示されない。
【0074】
図１１（Ｂ）のグラフｇＨ３、ｇＨ４では、回転量ｔＨと移動量ＳＨとが非線形関係にある。グラフｇＨ３は、上述したグラフｇＷ３と同様に、回転量ｔＨの増加に伴って滑らかに移動量ＳＨが増加する。そのため、端末機器３１を僅かに傾けると余白領域が徐々に見えてきて、傾きを大きくすると余白領域が素早く拡大する。グラフｇＨ４は、上述したグラフｇＷ４と同様に、回転量ｔＨの増加に伴って段階的に移動量ＳＨが増加する。そのため、余白領域を一定範囲だけ表示した状態で安定させることができ、余白領域を含む映像の安定した表示が実現されうる。
【0075】
図１０及び図１１に示したグラフに基づく表示制御は一例であり、回転量ｔＷと移動量ＳＷとの関係、及び回転量ｔＨと移動量ＳＨとの関係は上記の例に限定されない。また、回転量ｔＷと移動量ＳＷとの関係と、回転量ｔＨと移動量ＳＨとの関係とは、それぞれ独立に設定されてもよい。例えば、回転量ｔＷと移動量ＳＷとの関係をグラフｇＷ２に設定し、回転量ｔＨと移動量ＳＨとの関係をグラフｇＨ４に設定しうる。
【0076】
ここで、回転量ｔＷ、ｔＨの基準となる端末機器３１の姿勢（回転量ｔＷ、ｔＨが０°となる端末機器３１の姿勢）を設定する方法について説明する。以下、回転量ｔＷ、ｔＨの基準となる端末機器３１の姿勢を「基準姿勢」と表現することがある。
【0077】
一例として、基準姿勢は、ユーザの明示的な操作に基づいて設定されてよい。例えば、端末機器３１に対する所定の操作（ボタン押下、タッチ、タップ、フリック、ジェスチャーなど）が行われた時点で、余白制御部３１４が、その時点における端末機器３１の姿勢を基準姿勢に設定し、その時点でのセンサ部３１３からの出力を記憶部３１２に格納する。これにより、余白制御部３１４は、基準姿勢におけるセンサ部３１３の出力と、任意の時点におけるセンサ部３１３の出力とを比較して回転量ｔＷ、ｔＨを求めうる。
【0078】
他の例として、基準姿勢は、端末機器３１の起動時点における端末機器３１の姿勢に基づいて設定されてよい。例えば、余白制御部３１４は、端末機器３１の起動時点におけるセンサ部３１３からの出力を記憶部３１２に格納する。これにより、余白制御部３１４は、基準姿勢におけるセンサ部３１３の出力と、任意の時点におけるセンサ部３１３の出力とを比較して回転量ｔＷ、ｔＨを求めうる。
【0079】
次に、表示範囲を固定する操作を追加する変形例について説明する。上述したように、余白制御部３１４は、回転量ｔＷ、ｔＨにおいて表示範囲を移動させる。そのため、端末機器３１が傾いた状態では余白領域が表示されるが、端末機器３１の姿勢を基準姿勢に戻すと余白領域が表示されなくなる。従って、余白領域を表示したまま映像を視聴するには、端末機器３１を傾けた状態で維持する必要がある。この変形例では、余白領域を表示した状態で表示範囲を固定する操作を追加する。以下では、表示範囲を固定することを「ロックオン」と表現することがある。
【0080】
一例として、ロックオンは、ユーザの明示的な操作に基づいて設定されてよい。例えば、余白制御部３１４は、ユーザが端末機器３１を横向きに構えている場合に、軸ＡＸ２を回転軸とする回転操作に応じてロックオンを設定してもよい。また、余白制御部３１４は、ユーザが端末機器３１を縦向きに構えている場合に、軸ＡＸ１を回転軸とする回転操作に応じてロックオンを設定してもよい。ロックオンのトリガは、回転角が所定の閾値（例えば、１０°）を超えたこと、右回り及び左周りの両方に回転されたこと、回転角が所定の閾値を超えた状態で一定時間（例えば３秒）維持されたことなどに設定されうる。
【0081】
他の例として、ロックオンは、余白制御部３１４が自動的に設定してもよい。例えば、余白制御部３１４は、ほぼ同じ表示範囲が一定時間（例えば、１０秒）維持された場合にロックオンを設定する。このとき、余白制御部３１４は、回転量ｔＷ、ｔＨ（横向きの場合にはｔＷ、縦向きの場合にはｔＨ）を監視し、回転量ｔＷ、ｔＨの変化量が所定範囲（例えば、±２°）以内である状態が一定時間維持されたときにロックオンを設定する。また、余白制御部３１４は、通常視聴時に画面の一端側に隠れていた余白領域が全て表示された状態になったときにロックオンを設定してもよい。
【0082】
ロックオンが設定されると、余白制御部３１４は、ロックオン解除の操作が行われるまで表示範囲を維持する。ロックオン解除のトリガは、例えば、ロックオン設定時の回転操作と反対方向の回転操作が行われたこと（例えば、右回転でロックオンしたときは左回転でロックオン解除）、端末機器３１が左右に振られたこと、ロックオン解除のためのボタン操作が行われたことなどに設定されうる。なお、ロックオン及びロックオン解除のための操作は、上記の例に限定されず、実施の態様に応じて、端末機器３１に対する任意の入力操作（ボタン操作など）、或いは、ジェスチャーなどに割り当てることができる。
【0083】
上記のロックオン機能を視聴プログラム３１２ａに追加することで、余白領域を含む表示範囲を固定した状態でディスプレイ３１１の向きを自由に変えることができるようになり、余白領域の継続的な視聴を望むユーザには、より快適な視聴環境が提供されうる。
【0084】
上記のように、正方形の映像領域１１４を持つ映像全体を配信し、その映像全体を有効に活用することで、これまでにない視聴環境を提供することが可能になる。また、中央付近の映像領域をメインとしつつ、余白領域が視聴されることになるため、映像を配信する側も、そのような視聴形態に適した新たな映像表現に挑むことができる。
【0085】
但し、正方形の映像全体を配信する場合、横長の映像を配信していた従来の方式に比べると、伝送負荷が高くなる。そのため、本開示の一実施形態に係るシステムでは、伝送負荷を低減するための機能が映像処理装置１２に追加されている。
【0086】
【0087】
図１２に示すように、映像処理装置１２は、記憶部１２１、モード設定部１２２、及び信号処理部１２３を有する。記憶部１２１の機能は、上述したメモリ１２ｂにより実現されうる。モード設定部１２２及び信号処理部１２３の機能は、上述したプロセッサ１２ａにより実現されうる。
【0088】
記憶部１２１には、モード情報１２１ａが格納される。モード情報１２１ａは、映像の処理方法についての動作モードを規定する情報である。例えば、モード情報１２１ａは、図１３に示すような内容を有する。図１３は、モード情報１２１ａについて説明するための図表である。
【0089】
図１３に示すように、モード情報１２１ａは、各モードを識別するためのモード番号と、領域Ａ０～Ａ８の画質設定に関する情報とを含む。なお、図１３の図表には、備考欄が設けられ、各モードの属性に応じた名称（以下、モード名）が記載されている。また、説明の都合上、各モードに２桁のモード番号を割り当て、同じモード名に対応するモードのモード番号２桁目を同じ数字に設定している。以下の説明では、表記を簡単にするため、モード番号＃ｘｘのモードを「モード＃ｘｘ」と表記する場合がある。
【0090】
画質設定の欄は、高画質の欄、中画質の欄、低画質の欄に分けられ、高画質の欄には高画質に設定される領域の情報が含まれ、中画質の欄には中程度の画質に設定される領域の情報が含まれ、低画質の欄には低画質に設定される領域の情報が含まれる。
【0091】
映像の画質は、各フレームにおける対象領域の解像度（画素密度）や画素階調などを変えることで調整されうる。また、映像の画質は、符号化の際に、フレームレート、変換ブロック（ＭＢ（Macroblock）、ＣＴＵ（Coding Tree Unit）など）のサイズ、量子化パラメータなどを指定することで調整されうる。ここでは、符号化前の映像信号に対して画質調整の処理を施すことを想定し、高画質の領域に比べて解像度を下げた領域の画質を低画質、高画質と低画質との間の画質を中画質と呼ぶことにする。
【0092】
モード＃０１の場合、映像領域１１４のうち領域Ａ０が高画質に設定され、領域Ａ１～Ａ４が中程度の画質に設定され、領域Ａ５～Ａ８が低画質に設定される。図５に示したように、領域Ａ０は、映像領域１１４の中央に位置する一辺がＰ画素の長さを持つ正方形の領域である。領域Ａ１～Ａ４は、領域Ａ０と接し、長辺がＰ画素、短辺がＱ画素の長さを持つ長方形の領域である。領域Ａ５～Ａ８は、映像領域１１４の四隅に位置し、一辺がＱ画素の長さを持つ正方形の領域である。
【0093】
上記のように、モード＃０１では中央の領域Ａ０が高画質に設定され、領域Ａ０の周囲にある領域Ａ１～Ａ８が、領域Ａ０よりも低い画質に設定される。そのため、モード＃０１は「中央重視モード」に属する。バラエティー番組、ニュース番組、ドラマなどの映像では、主たる被写体が映像領域１１４の中央付近に位置することが多く、領域Ａ０の周囲に位置する各領域の画質を下げてもユーザは気づきにくい。また、このような映像を視聴する際、ユーザが余白領域を積極的に視聴する機会は少ないだろう。
【0094】
上記のような事情がある場合に中央重視モードは有効である。モード＃０１では、通常視聴時に表示されない領域Ａ５～Ａ８を低画質に設定して当該領域の情報量を大きく減らし、さらに、領域Ａ１～Ａ４を中画質に設定して通常視聴時に表示される映像の画質低下を抑えつつ、当該領域の情報量を減らしている。この設定により、ユーザが通常注視する領域の画質低下を抑えつつ、映像配信時の伝送負荷を低減できる。
【0095】
モード＃０２、＃０３も中央重視モードである。モード＃０２では、領域Ａ０の周囲に位置する領域Ａ１～Ａ８が全て低画質に設定される。そのため、モード＃０２は、ニュース番組など、画面中央に位置する主たる被写体にほとんど動きがない映像に適している。モード＃０３は、映像領域１１４の四隅に位置する領域Ａ５～Ａ８が中画質に設定される。そのため、モード＃０３は、画面中央に主たる被写体がいるが、ある程度、余白領域の視聴が想定される映像に適している。
【0096】
通常視聴時に表示される領域Ａ０～Ａ４の画質を重視したい場合、画質優先モードに属するモード＃１１、＃１２が適している。モード＃１１、＃１２では、領域Ａ０～Ａ４が高画質に設定される。そのため、ユーザは、端末機器３１を横向きに構えて映像を視聴しても、縦向きに構えて映像を視聴しても、通常視聴時には高画質の映像を視聴することができる。モード＃１１では、映像領域１１４の四隅に位置する領域Ａ５～Ａ８が低画質に設定され、モード＃１２では、領域Ａ５～Ａ８が中画質に設定される。モード＃１１の方が、モード＃１２に比べて映像配信時の伝送負荷が低い。
【0097】
端末機器３１を横向きに構えて映像を視聴する機会が多いと推定される映像については、横向き重視モードに属するモード＃２１～＃２３が適している。例えば、主たる被写体が横長の被写体である場合、或いは、映像領域１１４を横切る被写体がある場合、ユーザは、横長の画面で視聴する方が快適に映像を視聴できるだろう。このような映像は、端末機器３１を横向きに構えて視聴する際に通常注視する領域Ａ０、Ａ２、Ａ４が高画質に設定される横向き重視モードに適している。
【0098】
モード＃２１では、領域Ａ０、Ａ２、Ａ４が高画質に設定され、それ以外の領域Ａ１、Ａ３、Ａ５～Ａ８が低画質に設定される。モード＃２２では、領域Ａ０、Ａ２、Ａ４が高画質に設定され、それ以外の領域Ａ１、Ａ３、Ａ５～Ａ８が中画質に設定される。モード＃２３では、領域Ａ０、Ａ２、Ａ４が高画質に設定され、領域Ａ１、Ａ３が中画質に設定され、領域Ａ５～Ａ８が低画質に設定される。
【0099】
主たる被写体に高さがある場合、或いは、被写体が映像領域１１４を横切るものの上下の動きもある場合には余白領域が表示される可能性が高いため、モード＃２２、＃２３が適している。モード＃２３の方が、モード＃２２に比べて映像配信時の伝送負荷が低いため、映像領域１１４の四隅に目が行きにくい映像の場合には伝送負荷を低減する観点からはモード＃２３が好適である。
【0100】
端末機器３１を縦向きに構えて映像を視聴する機会が多いと推定される映像については、縦向き重視モードに属するモード＃３１～＃３３が適している。例えば、主たる被写体が縦長の被写体である場合、或いは、映像領域１１４を上下に移動する被写体がある場合、ユーザは、縦長の画面で視聴する方が快適に映像を視聴できるだろう。このような映像は、端末機器３１を縦向きに構えて視聴する際に通常注視する領域Ａ０、Ａ１、Ａ３が高画質に設定される横向き重視モードに適している。
【0101】
モード＃３１では、領域Ａ０、Ａ１、Ａ３が高画質に設定され、それ以外の領域Ａ２、Ａ４～Ａ８が低画質に設定される。モード＃３２では、領域Ａ０、Ａ１、Ａ３が高画質に設定され、それ以外の領域Ａ１、Ａ４～Ａ８が中画質に設定される。モード＃３３では、領域Ａ０、Ａ１、Ａ３が高画質に設定され、領域Ａ２、Ａ４が中画質に設定され、領域Ａ５～Ａ８が低画質に設定される。
【0102】
主たる被写体に横幅がある場合、或いは、被写体が映像領域１１４を上下に移動するものの横方向の動きもある場合には余白領域が表示される可能性が高いため、モード＃３２、＃３３が適している。モード＃３３の方が、モード＃３２に比べて映像配信時の伝送負荷が低いため、映像領域１１４の四隅に目が行きにくい映像の場合には伝送負荷を低減する観点からはモード＃３３が好適である。
【0103】
モード情報１２１ａには、映像領域１１４の四隅に位置する領域Ａ５～Ａ８を伝送しない四隅非伝送モードの情報も含まれている。四隅非伝送モードでは、領域Ａ５～Ａ８の画素値が一定値に設定されるなど、領域Ａ５～Ａ８の映像情報がカットされる。四隅非伝送モードに属するモード＃４１では、映像領域１１４の中央に位置する領域Ａ０が高画質に設定され、残りの領域Ａ１～Ａ４が中画質に設定される。また、モード＃４２では、領域Ａ０が高画質に設定され、残りの領域Ａ１～Ａ４が低画質に設定される。四隅非伝送モードでは余白領域の視聴が制限されるが、伝送負荷は低い。
【0104】
なお、上記のモードに加え、映像領域１１４の全てを高画質で伝送するモード、及び、映像領域１１４の四隅を除いた残りの領域Ａ０～Ａ４を全て高画質で伝送するモードを用意してもよい。前者のモードは、上述した余白領域の視聴機能を利用できるが、モード情報１２１ａに含まれる全てのモードに比べて伝送負荷が高い。後者のモードは、上述した余白領域の視聴機能を実質的に利用できない上、モード情報１２１ａの四隅非伝送モードに比べて伝送負荷が高い。
【0105】
映像処理装置１２のモード設定部１２２は、上記のモード情報１２１ａを参照して各フレームにいずれかのモードを割り当てる。モードの割り当て方法としては、１つ１つのフレームにモードを割り当てる方法、或いは、複数のフレームを含むフレーム群に同じモードを割り当てる方法などが適用されうる。フレーム群は、連続する所定数（例えば、２４枚）のフレーム、ＧＯＰ（Group Of Pictures）、或いは、全フレームなどであってよい。
【0106】
なお、映像の全フレームについて適用されるモードが予め設定されていてもよい。この場合、モード設定部１２２の機能は省略されうる。以下では、説明の都合上、連続する所定数のフレームを含むフレーム群を単位としてモード設定部１２２によりモードを割り当てる方法について説明する。
【0107】
図１２に示したように、モード設定部１２２は、モード選択機能１２２ａ、及び映像特徴解析機能１２２ｂを有する。モード選択機能１２２ａは、各フレーム群に割り当てられるモードを選択する機能である。映像特徴解析機能１２２ｂは、映像の特徴を解析する機能である。モード選択機能１２２ａは、映像特徴解析機能１２２ｂによる解析結果をモード選択に利用する。
【0108】
既に説明したように、モード情報１２１ａには、中央重視モード、画質優先モード、横向き重視モード、縦向き重視モード、及び四隅非伝送モードの情報が含まれる。なお、四隅非伝送モードは、映像の全フレームにモードを予め設定する場合に利用されうる。また、モード情報１２１ａには、同じ種類のモード（例えば、中央重視モード）について、複数のモード番号に対応する複数の具体的なモード（例えば、モード＃０１～＃０３）が用意されている。どの具体的なモードを選択するかは予め設定されてよい。
【0109】
中央重視モードは、主たる被写体など、ユーザが注視する領域が中央付近に集中している映像に対して有利である。画質優先モードは、余白領域を表示しない通常視聴時の視聴形態において全ての領域が高画質に設定されるため、ユーザが注視する領域が広い範囲に分布している映像や、被写体が移動するような映像に対して有利である。横向き重視モードは、横長の被写体を含む映像や、横方向に移動する被写体を含む映像に対して有利である。縦向き重視モードは、縦長の被写体を含む映像や、縦方向に移動する被写体を含む映像に対して有利である。
【0110】
モード設定部１２２は、映像特徴解析機能１２２ｂによって撮像装置１１から出力される映像の特徴を解析し、モード選択機能１２２ａによって、その特徴に合ったモードを選択する。例えば、モード設定部１２２は、所定の物体認識アルゴリズムを利用して映像に含まれる人や物体などの被写体を認識し、所定の物体追跡アルゴリズムを利用して被写体の動きを特定する。そして、モード設定部１２２は、モードの割り当て単位となる個々のフレーム群について、被写体の認識結果（映像領域１１４内の位置及び形状など）及び被写体の動きに関する情報を特徴情報として記憶部１２１に格納する。
【0111】
なお、モード設定部１２２が利用する物体認識アルゴリズム及び物体追跡アルゴリズムは、現時点で利用可能な任意の公知アルゴリズム又は将来時点で利用可能になる任意の公知アルゴリズムであってよい。
【0112】
モード設定部１２２は、記憶部１２１に格納した特徴情報を参照し、対象となるフレーム群において領域Ａ０に主たる被写体が収まっているフレーム数の割合を計算する。主たる被写体は、人や移動物体などに設定されうる。また、複数の人が映像に含まれる場合、主たる被写体は、発言している人や、映像領域１１４の中心に近い人に設定されうる。モード設定部１２２は、計算された割合が所定の第１閾値（９０％など）以上である場合に、対象となるフレーム群に中央重視モードを割り当てる。
【0113】
また、モード設定部１２２は、計算された閾値が第１閾値未満である場合に、主たる被写体が領域Ａ０と隣接領域（領域Ａ１～Ａ４）との間の境界を跨いでいるか、或いは、境界を跨いで移動しているかを判定する。
【0114】
主たる被写体が、領域Ａ０と領域Ａ２との間の境界及び領域Ａ０と領域Ａ４との間の境界の少なくとも一方を跨いでいるか、跨いで移動している場合、モード設定部１２２は、主たる被写体が領域Ａ１、Ａ３、Ａ５～Ａ８にはみ出すフレームを特定する。また、モード設定部１２２は、対象となるフレーム群のうち、主たる被写体が領域Ａ１、Ａ３、Ａ５～Ａ８にはみ出すフレームが占める割合を計算する。そして、モード設定部１２２は、計算した割合が第２閾値（５０％など）未満である場合、対象となるフレーム群に横向き重視モードを割り当てる。一方、計算した割合が第２閾値以上の場合、モード設定部１２２は、画質優先モードを割り当てる。
【0115】
主たる被写体が、領域Ａ０と領域Ａ１との間の境界及び領域Ａ０と領域Ａ３との間の境界の少なくとも一方を跨いでいるか、跨いで移動している場合、モード設定部１２２は、主たる被写体が領域Ａ２、Ａ４～Ａ８にはみ出すフレームを特定する。また、モード設定部１２２は、対象となるフレーム群のうち、主たる被写体が領域Ａ２、Ａ４～Ａ８にはみ出すフレームが占める割合を計算する。そして、モード設定部１２２は、計算した割合が第２閾値未満である場合、対象となるフレーム群に縦向き重視モードを割り当てる。一方、計算した割合が第２閾値以上の場合、モード設定部１２２は、画質優先モードを割り当てる。
【0116】
モード設定部１２２は、各フレーム群に割り当てたモードに関する割り当て情報を記憶部１２１に格納する。記憶部１２１に格納された割り当て情報は、信号処理部１２３により利用される。なお、上述した割り当て方法は一例であり、実施の態様に応じて任意に変形することができる。例えば、横向き重視モード及び縦向き重視モードを省略し、主たる被写体が中心付近にいるフレームの割合に応じて、中央重視モードと画質優先モードとが切り替わるように各フレーム群にモードを割り当てる仕組みに変形してもよい。このような変形についても当然に本開示の技術的範囲に属する。
【0117】
図１２に示したように、信号処理部１２３は、画質調整機能１２３ａと、符号化機能１２３ｂとを有する。信号処理部１２３は、記憶部１２１に格納された割り当て情報を参照し、画質調整機能１２３ａによって、モード設定部１２２が各フレーム群に割り当てたモードに従って各フレームの画質を調整する。また、信号処理部１２３は、符号化機能１２３ｂにより、画質調整後の映像を所定のコーデック（AVC/H.264、HEVC/H.265、Motion JPEG、AV1、MPEG-2など）に従って符号化する。符号化された映像のデータは、映像配信システム２０に提供される。
【0118】
ここで、図１４及び図１５を参照しながら、画質調整機能１２３ａによる画質調整方法について説明する。図１４及び図１５は、画質調整方法について説明するための図である。なお、図１３のモード情報１２１ａが示すように、画質が中画質又は低画質に調整されることがある領域は領域Ａ１～Ａ８に限られ、映像領域１１４の中央に位置する領域Ａ０は高画質のまま維持される。
【0119】
符号化前の映像に含まれる各フレームの画質を下げる方法としては、解像度（画素密度）を下げる方法や階調を下げる方法などがあるが、図１４及び図１５の例は、解像度を下げる方法を示している。なお、図１４及び図１５の例では、中央重視モードに属するモード＃０１が想定されている。モード＃０１は、領域Ａ１～Ａ４を中画質に調整し、領域Ａ５～Ａ８を低画質に調整するモードである。図１４及び図１５には、領域Ａ０、Ａ１、Ａ２、Ａ５の境界付近における画素配置が模式的に示されている。
【0120】
図１４（Ａ）において、領域Ａ０の１マスは１つの画素に対応する。また、領域Ａ１、Ａ２に含まれる長方形の１マスは同じ画素値を有する２つの画素に対応する。また、領域Ａ５に含まれる正方形の１マスは同じ画素値を有する４つの画素に対応する。各マスの中に記載されている数字は画素数を表す。領域Ａ１、Ａ２、Ａ５において、１つのマスの画素値は、そのマスを成す画素群に対応する複数の画素値の平均値に設定される。このように、領域Ａ０の周辺領域において複数の画素を１つに纏め、同じ画素値（平均値）を設定することで、その周辺領域の画素密度を下げることができる。
【0121】
図１４（Ａ）の例では、領域Ａ１、Ａ２の画素密度は、領域Ａ０に比べて１／２に低減される。また、領域Ａ５の画素密度は、領域Ａ０に比べて１／４に低減される。これにより、領域Ａ０の画質に比べて領域Ａ１、Ａ２の画質は低くなり、さらに、領域Ａ１、Ａ２の画質に比べて領域Ａ５の画質は低くなる。つまり、領域Ａ０が高画質、領域Ａ１、Ａ２が中画質、領域Ａ５が低画質となる。なお、中画質及び低画質に対応する画素密度は、上記の例に限定されず、実施の態様に応じて適宜変更されうる。
【0122】
ところで、図１４（Ａ）の例では、領域Ａ１のマスが縦長の長方形に設定され、領域Ａ２のマスが横長の長方形に設定されている。つまり、領域Ａ１では、画素密度の低下に伴い、縦方向の情報量だけが低減され、領域Ａ２では横方向の情報量だけが低減されている。一方、図１４（Ｂ）の例では、領域Ａ１のマスが横長の長方形に設定され、領域Ａ２のマスが縦長の長方形に設定されている。つまり、領域Ａ１では、画素密度の低下に伴い、横方向の情報量だけが低減され、領域Ａ２では縦方向の情報量だけが低減されている。
【0123】
上記の例のように、領域の位置関係に応じて特定の方向についての情報量を低減してもよい。主たる被写体の形状及びその動きによっては、画質低下を感じにくくさせる効果が期待されうる。但し、図１４の例に限らず、画素値を平均化する画素群の形状は任意の形状に設定されうる。例えば、Ｌ字型やコの字型などに設定されてもよい。
【0124】
図１４の例では各領域の画素密度が一定であったが、図１５に示すように、領域Ａ０に近い方から徐々に画素密度が低下するように設定してもよい。図１５（Ａ）の例は、図１４（Ａ）と同様に領域Ａ１において縦方向の情報量が減り、領域Ａ２において横方向の情報量が減るように画素密度を下げる方法を基本とし、領域Ａ０に近い方から順に画素密度を下げる方法を示している。図１５（Ｂ）の例は、図１４（Ｂ）に対応し、領域Ａ０に近い方から順に画素密度を下げる方法を示している。領域Ａ５については、いずれの例でも領域Ａ０から離れるほど画素密度が低くなる。
【0125】
なお、上記の画質調整方法は一例であり、実施の態様に応じて様々な変形が可能である。そうした変形例についても当然に本開示の技術的範囲に属する。
【0126】
以上、本開示の一実施形態に係るシステムについて説明した。
【0127】
［２．処理フロー］
次に、本開示の一実施形態に係るシステムで実行される処理の流れを説明する。
次に、本開示の一実施形態に係るシステムで実行される処理の流れを説明する。
【0128】
（モード選択方法）
まず、図１６を参照しながら、本開示の一実施形態に係るモード選択方法について説明する。図１６は、本開示の一実施形態に係るモード選択方法について説明するためのフロー図である。なお、図１６の例では、映像について複数の区間（連続する所定数のフレームで形成されるフレーム群など）が設定されているとする。
まず、図１６を参照しながら、本開示の一実施形態に係るモード選択方法について説明する。図１６は、本開示の一実施形態に係るモード選択方法について説明するためのフロー図である。なお、図１６の例では、映像について複数の区間（連続する所定数のフレームで形成されるフレーム群など）が設定されているとする。
【0129】
（Ｓ１０１）モード設定部１２２は、映像の全フレームに適用されるモードの指定があるか否かを判定する。モードの指定がある場合、処理はＳ１０２へと進む。一方、モードの指定がない場合、処理はＳ１０３へと進む。
【0130】
（Ｓ１０２）モード設定部１２２は、映像の全フレームに対して、指定されたモードを割り当てる。なお、指定可能なモードは、モード情報１２１ａで示される全てのモードである。例えば、中央重視モードが指定されてもよいし、四隅非伝送モードが指定されてもよい。また、特定のモード番号のモードが指定されてもよい。Ｓ１０２の処理が完了すると、図１６に示した一連の処理は終了する。
【0131】
（Ｓ１０３）モード設定部１２２は、対象区間（対象となるフレーム群など）について、所定の物体認識技術及び物体追跡技術を利用して映像の特徴を解析し、映像に含まれる人や物体などの被写体を認識すると共に、その被写体の動きを特定する。なお、モード設定部１２２が利用する物体認識アルゴリズム及び物体追跡アルゴリズムは、現時点で利用可能な任意の公知アルゴリズム又は将来時点で利用可能になる任意の公知アルゴリズムであってよい。
【0132】
（Ｓ１０４）モード設定部１２２は、横方向に移動する物体又は縦方向に移動する物体があるか否かを判定する。横方向に移動する物体又は縦方向に移動する物体がある場合、処理はＳ１０５へと進む。一方、横方向に移動する物体も、縦方向に移動する物体もない場合、処理はＳ１０６へと進む。
【0133】
（Ｓ１０５）モード設定部１２２は、横方向に移動する物体がある場合には横向き重視モードを選択し、縦方向に移動する物体がある場合には横向き重視モードを選択する。そして、モード設定部１２２は、選択したモードを対象区間に割り当てる。Ｓ１０５の処理が完了すると、処理はＳ１０９へと進む。
【0134】
（Ｓ１０６）モード設定部１２２は、領域Ａ０、Ａ２の境界及び領域Ａ０、Ａ４の境界の少なくとも一方を跨ぐ位置に物体があるか、或いは、領域Ａ０、Ａ３の境界及び領域Ａ０、Ａ１の境界の少なくとも一方を跨ぐ位置に物体があるかを判定する。いずれかの境界を跨ぐ位置に物体がある場合、処理はＳ１０７へと進む。一方、いずれの境界についても、境界を跨ぐ位置に物体がない場合、処理はＳ１０８へと進む。
【0135】
（Ｓ１０７）モード設定部１２２は、例えば、以下で述べる選択方法に従って、横向き重視モード、縦向き重視モード、及び画質優先モードのいずれかを選択する。そして、モード設定部１２２は、選択されたモードを対象区間に割り当てる。Ｓ１０７の処理が完了すると、処理はＳ１０９へと進む。
【0136】
選択方法は次の通りである。モード設定部１２２は、領域Ａ０、Ａ２の境界及び領域Ａ０、Ａ４の境界の少なくとも一方を跨ぐ位置には物体があり、且つ領域Ａ０、Ａ３の境界及び領域Ａ０、Ａ１の境界の少なくとも一方を跨ぐ位置には物体がない場合、横向き重視モードを選択する。また、モード設定部１２２は、領域Ａ０、Ａ２の境界及び領域Ａ０、Ａ４の境界の少なくとも一方を跨ぐ位置には物体がなく、且つ領域Ａ０、Ａ３の境界及び領域Ａ０、Ａ１の境界の少なくとも一方を跨ぐ位置には物体がある場合、縦向き重視モードを選択する。また、モード設定部１２２は、領域Ａ０、Ａ２の境界及び領域Ａ０、Ａ４の境界の少なくとも一方を跨ぐ位置に物体があり、且つ領域Ａ０、Ａ３の境界及び領域Ａ０、Ａ１の境界の少なくとも一方を跨ぐ位置にも物体がある場合、画質優先モードを選択する。
【0137】
（Ｓ１０８）モード設定部１２２は、中央重視モードを選択する。そして、モード設定部１２２は、対象区間に中央重視モードを割り当てる。
【0138】
（Ｓ１０９）モード設定部１２２は、映像の全区間について解析が完了したか否かを判定する。全区間について解析が完了した場合、図１６に示した一連の処理は終了する。一方、解析が完了していない区間がある場合、Ｓ１０３へと進み、その区間を対象区間としてＳ１０３以降の処理が実行される。
【0139】
【0140】
（Ｓ１１１、Ｓ１１３）信号処理部１２３は、ｋ番目（ｋ＝１，…，Ｋ）のフレームＰｋを特定するためのインデックスｋをインクリメントしながら、Ｓ１１２の処理を繰り返し実行する。インデックスｋがＫに達し、Ｓ１１２の処理が完了して処理がＳ１１３へと到達した場合、処理はＳ１１４へと進む。
【0141】
（Ｓ１１２）信号処理部１２３は、モード設定部１２２による選択されたモードに応じてフレームＰｋの画質を調整する。例えば、フレームＰｋを含む区間を対象に中央重視モード（モード＃０１）が選択されている場合、信号処理部１２３は、領域Ａ１～Ａ４の画質を中画質に調整し、領域Ａ５～Ａ８を低画質に調整する。
【0142】
（Ｓ１１４）信号処理部１２３は、所定のコーデック（AVC/H.264、HEVC/H.265、Motion JPEG、AV1、MPEG-2など）に従って画質調整後の映像を符号化する。
【0143】
（Ｓ１１５）信号処理部１２３は、符号化された映像のデータを映像配信システム２０へ送信する。なお、映像配信システム２０に対するデータ送信のタイミングは、符号化の直後でなくてよく、例えば、映像配信システム２０からの要求に応じたタイミングであってよい。Ｓ１１５の処理が完了すると、図１７に示した一連の処理は終了する。
【0144】
（応用例：映像配信方法）
次に、図１８を参照しながら、本開示の一実施形態に係る映像配信方法について説明する。図１８は、本開示の一実施形態に係る映像配信方法について説明するためのシーケンス図である。なお、図１８の例は、これまで説明してきた映像処理方法の応用例であり、端末機器３１の姿勢に応じて横向き重視モードで画質調整された映像と、縦向き重視モードで画質調整された映像とを切り替えられるようにする仕組みに関する。
次に、図１８を参照しながら、本開示の一実施形態に係る映像配信方法について説明する。図１８は、本開示の一実施形態に係る映像配信方法について説明するためのシーケンス図である。なお、図１８の例は、これまで説明してきた映像処理方法の応用例であり、端末機器３１の姿勢に応じて横向き重視モードで画質調整された映像と、縦向き重視モードで画質調整された映像とを切り替えられるようにする仕組みに関する。
【0145】
（Ｓ２０１、Ｓ２０２）映像処理装置１２は、撮像装置１１から出力されるオリジナル映像の全フレームを横向き重視モードで画質調整し、画質調整後の映像（映像＃１）を符号化する。そして、映像処理装置１２は、映像配信システム２０に横向き重視モードに対応する映像＃１を提供する。
【0146】
（Ｓ２０３、Ｓ２０４）映像処理装置１２は、Ｓ２０１で処理した映像と同じオリジナル映像の全フレームを縦向き重視モードで画質調整し、画質調整後の映像（映像＃２）を符号化する。そして、映像処理装置１２は、映像配信システム２０に縦向き重視モードに対応する映像＃２を提供する。
【0147】
（Ｓ２０５）端末機器３１は、映像配信システム２０にアクセスし、映像の配信を要求する配信要求を映像配信システム２０に送信する。このとき、端末機器３１は、端末機器３１が縦向きであるか、横向きであるかを示す姿勢情報を配信要求に含めて映像配信システム２０に送信する。
【0148】
（Ｓ２０６、Ｓ２０７）映像配信システム２０は、端末機器３１からの配信要求を受信し、その配信要求内の姿勢情報に基づいて配信する映像を選択する。図１８の例では、配信要求内の姿勢情報は、端末機器３１が横向きであることを示している。そのため、映像配信システム２０は、横向き重視モードに対応する映像＃１を端末機器３１に送信する。映像＃１は、通常視聴時に表示される領域Ａ０、Ａ２、Ａ４が高画質に設定されている。また、映像＃１には、余白領域となる領域Ａ１、Ａ３、Ａ５～Ａ８も含まれる。そのため、ユーザは、通常視聴時には高画質の映像を快適に視聴でき、さらに、余白領域も楽しむことができる。また、余白領域の画質低減により情報量が抑えられているため、映像＃１の配信にかかる伝送負荷も低く抑えられている。
【0149】
（Ｓ２０８、Ｓ２０９）ユーザが端末機器３１を縦に構えなおした場合、端末機器３１は、端末機器３１の姿勢変化を検知する。また、端末機器３１は、変化後の姿勢が一定時間継続しているかを判定する。図１８の例では、端末機器３１が縦向きの姿勢で一定時間が経過している。この場合、端末機器３１は、配信される映像の切り替えを要求する切替要求を映像配信システム２０に送信する。このとき、端末機器３１は、現在の姿勢情報を切替要求に含めて映像配信システム２０に送信する。
【0150】
（Ｓ２１０、Ｓ２１１）映像配信システム２０は、端末機器３１からの切替要求を受信し、その切替要求内の姿勢情報に基づいて配信する映像を変更する。図１８の例では、切替要求内の姿勢情報は、端末機器３１が縦向きであることを示している。そのため、映像配信システム２０は、縦向き重視モードに対応する映像＃２を端末機器３１に送信する。映像＃２は、通常視聴時に表示される領域Ａ０、Ａ１、Ａ３が高画質に設定されている。また、映像＃２には、余白領域となる領域Ａ２、Ａ４～Ａ８も含まれる。そのため、ユーザは、通常視聴時には高画質の映像を快適に視聴でき、さらに、余白領域も楽しむことができる。また、余白領域の画質低減により情報量が抑えられているため、映像＃２の配信にかかる伝送負荷も低く抑えられている。
【0151】
上記のように、同じオリジナル映像について複数のモードに対応する複数の映像を用意しておき、端末機器３１からの要求に応じて複数の映像を切り替える仕組みを設けてもよい。また、端末機器３１では、姿勢変化が一定時間継続した場合に切替要求を送信するようにすることで、端末機器３１と映像配信システム２０との間の無駄なやり取りを減らし、通信量及び処理負担を低減することができる。なお、いずれのモードでも領域Ａ０は高画質に設定されるため、横長の画面で、縦向き重視モードに対応する映像＃２を見ても十分な品質が維持されており、切替要求の遅れが気になることは少ない。
【0152】
以上、本開示の一実施形態に係るシステムで実行される処理の流れを説明した。
【0153】
［４．変形例］
次に、本開示の一実施形態に係るいくつかの変形例について紹介する。
次に、本開示の一実施形態に係るいくつかの変形例について紹介する。
【0154】
図６～図９に示したように、端末機器３１の姿勢変化に応じて余白領域が表示される。このとき、画面端の先にある余白領域の映像がどのようなものか、そのイメージがつかめると余白領域を利用しやすくなるだろう。例えば、画面端付近に余白映像のサムネイルを表示したり、画面端付近に余白領域の映像を圧縮した映像を表示したりすれば、画面端の先に続く余白領域の映像を把握しやすくなる。
【0155】
端末機器３１を縦向きに持っている場合、通常視聴時には領域Ａ０、Ａ１、Ａ３の映像が表示される。この場合、画面右端に領域Ａ４、Ａ７、Ａ８の映像を圧縮して表示し、画面左端に領域Ａ２、Ａ５、Ａ６の映像を圧縮して表示すれば、図８及び図９のような操作を行った際に視聴可能になる映像を先に把握できるようになる。なお、ここで言う圧縮は、例えば、横方向に映像が潰れたような表示にすることを意味する。また、余白領域の映像に関連するアイテムが映像とは別に表示されてもよい。
【0156】
また、上記の説明では、ネットワークＮＷを介して映像配信システム２０から端末機器３１に映像が配信されることを前提としていた。しかし、映像の配信方法は上記の例に限定されず、地上波放送又は衛星放送の電波を利用して映像が配信されるようにしてもよい。また、図１の例ではスマートフォンを模した端末機器３１、３２が記載されているが、端末機器３１、３２は、ＰＣ（Personal Computer）、テレビジョン受像器、カーナビゲーションシステム、ゲーム機、カメラ、タブレット端末、その他の電子機器であってよい。また、映像配信システム２０から配信される映像は、一般視聴者向けの配信番組であってもよいし、監視映像のような特定視聴者向けの映像であってもよい。
【0157】
上記のような変形例についても当然に本開示の技術的範囲に属する。
【0158】
以上、添付図面を参照しながら本開示の好適な実施形態について説明したが、本開示は係る例に限定されない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属する。
【符号の説明】
【0159】
１０ 撮像システム
１１ 撮像装置
１２ 映像処理装置
２０ 映像配信システム
３１、３２ 端末機器
１１１ 光学系
１１１ａ 絞り
１１１ｂ レンズ
１１１ｃ プリズム
１１２、１１２ａ、１１２ｂ 撮像センサ
１１３ 制御部
１１３ａ 合成映像
１１４ 映像領域
１２１ 記憶部
１２１ａ モード情報
１２２ モード設定部
１２３ 信号処理部
３１１、３２１ ディスプレイ
３１２ 記憶部
３１３ センサ部
３１４ 余白制御部
３１５ 映像再生部
１１ 撮像装置
１２ 映像処理装置
２０ 映像配信システム
３１、３２ 端末機器
１１１ 光学系
１１１ａ 絞り
１１１ｂ レンズ
１１１ｃ プリズム
１１２、１１２ａ、１１２ｂ 撮像センサ
１１３ 制御部
１１３ａ 合成映像
１１４ 映像領域
１２１ 記憶部
１２１ａ モード情報
１２２ モード設定部
１２３ 信号処理部
３１１、３２１ ディスプレイ
３１２ 記憶部
３１３ センサ部
３１４ 余白制御部
３１５ 映像再生部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】