IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 日本放送協会の特許一覧

<>
  • 特開-端末装置、配信装置及びプログラム 図1
  • 特開-端末装置、配信装置及びプログラム 図2
  • 特開-端末装置、配信装置及びプログラム 図3
  • 特開-端末装置、配信装置及びプログラム 図4
  • 特開-端末装置、配信装置及びプログラム 図5
  • 特開-端末装置、配信装置及びプログラム 図6
  • 特開-端末装置、配信装置及びプログラム 図7
  • 特開-端末装置、配信装置及びプログラム 図8
  • 特開-端末装置、配信装置及びプログラム 図9
  • 特開-端末装置、配信装置及びプログラム 図10
  • 特開-端末装置、配信装置及びプログラム 図11
  • 特開-端末装置、配信装置及びプログラム 図12
  • 特開-端末装置、配信装置及びプログラム 図13
  • 特開-端末装置、配信装置及びプログラム 図14
  • 特開-端末装置、配信装置及びプログラム 図15
  • 特開-端末装置、配信装置及びプログラム 図16
  • 特開-端末装置、配信装置及びプログラム 図17
  • 特開-端末装置、配信装置及びプログラム 図18
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024007667
(43)【公開日】2024-01-19
(54)【発明の名称】端末装置、配信装置及びプログラム
(51)【国際特許分類】
   H04N 21/431 20110101AFI20240112BHJP
   H04N 21/435 20110101ALI20240112BHJP
【FI】
H04N21/431
H04N21/435
【審査請求】未請求
【請求項の数】11
【出願形態】OL
(21)【出願番号】P 2022108888
(22)【出願日】2022-07-06
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.JAVASCRIPT
(71)【出願人】
【識別番号】000004352
【氏名又は名称】日本放送協会
(74)【代理人】
【識別番号】100141139
【弁理士】
【氏名又は名称】及川 周
(74)【代理人】
【識別番号】100171446
【弁理士】
【氏名又は名称】高田 尚幸
(74)【代理人】
【識別番号】100114937
【弁理士】
【氏名又は名称】松本 裕幸
(74)【代理人】
【識別番号】100171930
【弁理士】
【氏名又は名称】木下 郁一郎
(72)【発明者】
【氏名】飯田 明寛
(72)【発明者】
【氏名】大亦 寿之
【テーマコード(参考)】
5C164
【Fターム(参考)】
5C164FA06
5C164GA06
5C164MB13S
5C164PA38
5C164UA04S
5C164UB10P
5C164UB41S
5C164UB82P
5C164YA19
(57)【要約】
【課題】横長動画を縦長の表示画面で好適に視聴可能な技術を提供する。
【解決手段】端末装置は、動画を取得する動画取得部と、前記動画の再生時刻に関する情報と、当該再生時刻における表示制御に関する情報とが対応付けられた表示制御情報を少なくとも含むメタ情報を取得するメタ情報取得部と、表示部のアスペクト比についての情報が少なくとも含まれる端末情報を取得する端末情報取得部と、取得した前記メタ情報と前記端末情報とに基づき前記表示部の表示を制御する再生制御部と、前記再生制御部による制御に応じて、取得した前記動画を再生する動画再生部とを備える。
【選択図】図4
【特許請求の範囲】
【請求項1】
動画を取得する動画取得部と、
前記動画の再生時刻に関する情報と、当該再生時刻における表示制御に関する情報とが対応付けられた表示制御情報を少なくとも含むメタ情報を取得するメタ情報取得部と、
表示部のアスペクト比についての情報が少なくとも含まれる端末情報を取得する端末情報取得部と、
取得した前記メタ情報と前記端末情報とに基づき前記表示部の表示を制御する再生制御部と、
前記再生制御部による制御に応じて、取得した前記動画を再生する動画再生部と
を備える端末装置。
【請求項2】
前記表示制御情報には、拡大倍率及び拡大する位置の位置座標に関する情報が少なくとも含まれ、
前記再生制御部は、取得した前記メタ情報に含まれる前記表示制御情報に基づき、前記動画の拡大倍率及び前記表示部の表示領域における前記動画の表示位置を制御する
請求項1に記載の端末装置。
【請求項3】
前記再生制御部は、前記動画の再生時刻に応じて、前記動画の異なる位置座標に表示することにより、前記動画の異なる位置を表示する
請求項2に記載の端末装置。
【請求項4】
前記動画の再生時刻に関する情報とは、前記動画を構成するフレームに関する情報であり、
前記表示制御情報は、フレームを識別するフレーム識別情報と、当該フレームに応じた位置座標とが対応付けられ、
前記再生制御部は、前記表示制御情報に含まれる複数のフレームの間のフレームにおける位置座標を補間することにより表示位置を制御する
請求項1から請求項3のいずれか一項に記載の端末装置。
【請求項5】
前記再生制御部は、前記動画の同一フレームを、前記表示部に複数表示するよう制御し、
前記表示部に表示される複数の同一フレームは、前記動画の異なる位置座標により特定される範囲を表示する
請求項4に記載の端末装置。
【請求項6】
前記表示部に表示される複数の同一フレームは、それぞれ拡大倍率が異なる
請求項5に記載の端末装置。
【請求項7】
前記再生制御部は、複数の前記動画のそれぞれの再生時刻に基づいて、複数の前記動画を、前記表示部に表示するよう制御する
請求項5に記載の端末装置。
【請求項8】
前記再生制御部は、複数の前記動画が再生される時間差を示す情報を取得し、複数の前記動画を、取得した時間差に基づいて前記表示部に表示するよう制御する
請求項5に記載の端末装置。
【請求項9】
動画の再生時刻に関する情報と、当該再生時刻における表示制御に関する情報とが対応付けられた表示制御情報を少なくとも含むメタ情報を生成するメタ情報生成部と、
前記動画と前記メタ情報とを対応付けて記憶する動画情報記憶部と、
を備え、
端末装置からの要求に応じ、前記動画と、対応する前記メタ情報とを出力する
配信装置。
【請求項10】
コンピュータに、
動画を取得する動画取得ステップと、
前記動画の再生時刻に関する情報と、当該再生時刻における表示制御に関する情報とが対応付けられた表示制御情報を少なくとも含むメタ情報を取得するメタ情報取得ステップと、
表示部のアスペクト比についての情報が少なくとも含まれる端末情報を取得する端末情報取得ステップと、
取得した前記メタ情報と前記端末情報とに基づき前記表示部の表示を制御する再生制御ステップと、
前記再生制御ステップによる制御に応じて、取得した前記動画を再生する動画再生ステップと
を実行させるプログラム。
【請求項11】
コンピュータに、
動画の再生時刻に関する情報と、当該再生時刻における表示制御に関する情報とが対応付けられた表示制御情報を少なくとも含むメタ情報を生成するメタ情報生成ステップと、
前記動画と前記メタ情報とを対応付けて記憶する動画情報記憶ステップと、
端末装置からの要求に応じ、前記動画と、対応する前記メタ情報とを出力する出力ステップと
を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、端末装置、配信装置及びプログラムに関する。
【背景技術】
【0002】
インターネットを介して提供される動画配信サービスでは、縦方向に比べて横方向に長いアスペクト比を有する動画(以下、横長動画と記載する。)、又は横方向に比べて縦方向に長いアスペクト比を有する動画(以下、縦長動画と記載する。)のいずれかが配信されている。パソコン等の表示画面は横長で用いるのが一般的であるのに対し、スマートフォン等の携帯端末の表示画面は縦長で用いるのが一般的である。したがって、横長動画を縦長の表示画面に表示させる場合は、余白部分が大きくなり、画面全体を有効に使用することができなかった。従来、横長動画を縦長の表示画面に表示させるため、横長動画を90度回転させることにより縦長動画にする技術が知られている(例えば、特許文献1を参照)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2008―244707号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
上述したような従来技術によれば、ユーザがスマートフォン等の携帯端末を90度回転させることにより、表示画面全体を使って配信動画を視聴可能となるかもしれない。しかしながら、動画視聴のために携帯端末を90度回転させることはユーザにとって手間であり、横長動画を縦長の表示画面で視聴することに対する要望がある。
【0005】
近年、このような要望に応えるため、ユーザによるピンチイン等の操作により横長動画の一部を拡大して表示することが可能な技術が知られている。このような技術を用いれば、横長動画の一部を拡大して縦長の表示画面全体に表示することが可能となる。しかしながらユーザが手動で拡大領域を指定するため、ユーザが注視したい対象物の位置が拡大領域の外に移動したような場合には、手動で拡大領域を変更する必要があり、ユーザが注視したい対象物を追従することが困難であるといった問題があった。
【0006】
また、横長動画を縦長動画に編集してから配信するサービスも提供されるようになってきている。横長動画を縦長動画に編集してから配信する場合、ユーザが注視したい対象物(又は配信者が注視させたい対象物)を追従して拡大領域に表示することが可能となる。しかしながら編集された縦長動画を配信する場合、配信側により動画を作成する手間がかかるといった問題がある。更に端末装置が有する解像度やアスペクト比は様々であり、それぞれの端末装置で好適に表示させるためには、端末装置が有する解像度やアスペクト比ごとに複数の動画を用意し、それら複数の動画を配信しなければならないといった問題があった。
【0007】
そこで本発明は、横長動画を縦長の表示画面で好適に視聴することが可能な端末装置、配信装置及びプログラムを提供しようとするものである。
【課題を解決するための手段】
【0008】
[1]上記の課題を解決するため、本発明の一態様による端末装置は、動画を取得する動画取得部と、前記動画の再生時刻に関する情報と、当該再生時刻における表示制御に関する情報とが対応付けられた表示制御情報を少なくとも含むメタ情報を取得するメタ情報取得部と、表示部のアスペクト比についての情報が少なくとも含まれる端末情報を取得する端末情報取得部と、取得した前記メタ情報と前記端末情報とに基づき前記表示部の表示を制御する再生制御部と、前記再生制御部による制御に応じて、取得した前記動画を再生する動画再生部とを備えるものである。
【0009】
[2]また、本発明の一態様は、上記[1]に記載の端末装置において、前記表示制御情報には、拡大倍率及び拡大する位置の位置座標に関する情報が少なくとも含まれ、前記再生制御部は、取得した前記メタ情報に含まれる前記表示制御情報に基づき、前記動画の拡大倍率及び前記表示部の表示領域における前記動画の表示位置を制御するものである。
【0010】
[3]また、本発明の一態様は、上記[1]又は[2]に記載の端末装置において、前記再生制御部は、前記動画の再生時刻に応じて、前記動画の異なる位置座標に表示することにより、前記動画の異なる位置を表示するものである。
【0011】
[4]また、本発明の一態様は、上記[1]から[3]のいずれかに記載の端末装置において、前記動画の再生時刻に関する情報とは、前記動画を構成するフレームに関する情報であり、前記表示制御情報は、フレームを識別するフレーム識別情報と、当該フレームに応じた位置座標とが対応付けられ、前記再生制御部は、前記表示制御情報に含まれる複数のフレームの間のフレームにおける位置座標を補間することにより表示位置を制御するものである。
【0012】
[5]また、本発明の一態様は、上記[1]から[4]のいずれかに記載の端末装置において、前記再生制御部は、前記動画の同一フレームを、前記表示部に複数表示するよう制御し、前記表示部に表示される複数の同一フレームは、前記動画の異なる位置座標により特定される範囲を表示するものである。
【0013】
[6]また、本発明の一態様は、上記[5]に記載の端末装置において、前記表示部に表示される複数の同一フレームは、それぞれ拡大倍率が異なるものである。
【0014】
[7]また、本発明の一態様は、上記[5]又は[6]に記載の端末装置において、前記再生制御部は、複数の前記動画のそれぞれの再生時刻に基づいて、複数の前記動画を、前記表示部に表示するよう制御するものである。
【0015】
[8]また、本発明の一態様による配信装置は、上記[5]から[7]に記載の端末装置において、前記再生制御部は、複数の前記動画が再生される時間差を示す情報を取得し、複数の前記動画を、取得した時間差に基づいて前記表示部に表示するよう制御するものである。
【0016】
[9]また、本発明の一態様による配信装置は、動画の再生時刻に関する情報と、当該再生時刻における表示制御に関する情報とが対応付けられた表示制御情報を少なくとも含むメタ情報を生成するメタ情報生成部と、前記動画と前記メタ情報とを対応付けて記憶する動画情報記憶部と、を備え、端末装置からの要求に応じ、前記動画と、対応する前記メタ情報とを出力するものである。
【0017】
[10]また、本発明の一態様によるプログラムは、コンピュータに、動画を取得する動画取得ステップと、前記動画の再生時刻に関する情報と、当該再生時刻における表示制御に関する情報とが対応付けられた表示制御情報を少なくとも含むメタ情報を取得するメタ情報取得ステップと、表示部のアスペクト比についての情報が少なくとも含まれる端末情報を取得する端末情報取得ステップと、取得した前記メタ情報と前記端末情報とに基づき前記表示部の表示を制御する再生制御ステップと、前記再生制御ステップによる制御に応じて、取得した前記動画を再生する動画再生ステップとを実行させるものである。
【0018】
[11]また、本発明の一態様によるプログラムは、コンピュータに、動画の再生時刻に関する情報と、当該再生時刻における表示制御に関する情報とが対応付けられた表示制御情報を少なくとも含むメタ情報を生成するメタ情報生成ステップと、前記動画と前記メタ情報とを対応付けて記憶する動画情報記憶ステップと、端末装置からの要求に応じ、前記動画と、対応する前記メタ情報とを出力する出力ステップとを実行させるものである。
【発明の効果】
【0019】
本発明によれば、横長動画を縦長の表示画面で好適に視聴することができる。
【図面の簡単な説明】
【0020】
図1】第1の実施形態に係る動画配信システムの概要を説明するための図である。
図2】第1の実施形態に係る動画配信システムの機能構成の一例を示すブロック図である。
図3】第1の実施形態に係る配信装置の機能構成の一例を示すブロック図である。
図4】第1の実施形態に係る端末装置の機能構成の一例を示すブロック図である。
図5】第1の実施形態に係るメタ情報の一例を示す第1の図である。
図6】第1の実施形態に係るメタ情報の一例を示す第2の図である。
図7】第1の実施形態に係るメタ情報の一例を示す第3の図である。
図8】第1の実施形態に係るメタ情報の一例を示す第4の図である。
図9】第1の実施形態に係るメタ情報の一例を示す第5の図である。
図10】第1の実施形態に係るメタ情報を生成するための編集ソフトによる表示画面の一例を示す図である。
図11】第1の実施形態に係る端末装置の表示部に表示される表示画面の一例を示す図である。
図12】第1の実施形態に係る端末装置の動作の一例を示すフローチャートである。
図13】第1の実施形態に係る端末装置の内部構成の一例を示すブロック図である。
図14】第1の実施形態に係る端末装置の構成の一例を示す図である。
図15】第2の実施形態に係る動画配信システムの概要を説明するための図である。
図16】第2の実施形態に係る端末装置の機能構成の一例を示すブロック図である。
図17】第2の実施形態に係る端末装置の表示部に表示される表示画面の一例を示す第1の図である。
図18】第2の実施形態に係る端末装置の表示部に表示される表示画面の一例を示す第2の図である。
【発明を実施するための形態】
【0021】
[実施形態]
まず、実施形態の前提となる事項を説明する。
【0022】
本実施形態に係る動画配信システム1は、アスペクト比が縦方向より横方向の方が長い横長動画を配信する。放送局で制作される動画は、一般的にアスペクト比16:9である。本実施形態においては、一例としてアスペクト比16:9の動画を横長動画と記載する。一方、ユーザにより使用されるスマートフォン等の端末装置は、片手で用いられることが多く、操作性の観点から表示画面を縦向きとしたまま利用されることが多い。端末装置を利用するユーザのうち特に若年層においては、表示画面を縦向きとしたまま動画を視聴することが多い。そこで動画配信システム1は、放送局により制作された横長動画を、ユーザにより用いられる携帯端末の縦長の表示画面に好適に表示するものである。
【0023】
なお、ユーザにより用いられる端末装置の表示画面のアスペクト比は様々であり、一例として16:9、18:9、21:9等を例示することができる。本実施形態においては、端末装置の表示画面のアスペクト比は限定されない。動画配信システム1によれば、ユーザにより利用される端末装置の表示画面のアスペクト比に応じて好適な表示態様で表示する。
【0024】
本実施形態に係る動画配信システム1により配信される動画は、例えばビデオ・オン・デマンド(Video On Demand)サービス等の動画配信サービスにより配信される見逃し配信等の動画であってもよい。以下、本実施形態に係る動画配信システム1が、予め所定の記憶装置に記憶された動画を配信する場合の一例について説明する。しかしながら本実施形態に係る動画配信システム1により配信される動画はこの一例に限定されず、リアルタイム配信される動画であってもよい。
【0025】
[第1の実施形態]
以下、本発明の第1の実施形態について、図面を参照しながら説明する。
【0026】
[動画配信システム]
図1は、第1の実施形態に係る動画配信システムの概要を説明するための図である。同図を参照しながら、動画配信システム1の概要について説明する。
動画配信システム1は、端末装置30からの要求に応じて、横長動画81を端末装置30に配信する。端末装置30には、横長動画81と併せて、対応するメタ情報(メタデータ)83が配信される。メタ情報83には、動画の表示レイアウトに関する情報が含まれる。動画の表示レイアウトに関する情報とは、例えば拡大又は縮小に関する情報や、表示位置の位置座標に関する情報等である。メタ情報83は、横長動画81の配信者の演出の意図に応じて製作される。
【0027】
一例として、メタ情報83は、AIツール82により制作される。AIツール82は、横長動画81を入力として、メタ情報83を制作するよう学習された機械学習モデルである。AIツール82は学習段階において、大量の動画情報と、対応するメタ情報とを教師データとして、予め教師有り学習により学習されてもよい。AIツール82は、推論段階において横長動画81を入力として推論を行い、メタ情報83を出力する。AIツール82は、推論の結果に基づいて、更なる学習が行われてもよい。
【0028】
なお、メタ情報83は、AIツール82により制作される一例に代えて、配信者が動画編集ソフト等のアプリケーションをパソコン上で操作することにより制作されてもよい。当該動画編集ソフトは、配信者の操作に応じて、メタ情報83としてのXMLファイルを出力する。
【0029】
AIツール82又は配信者により制作されたメタ情報83は、配信サーバ(Webサーバ)に格納され、端末装置30の要求に応じて配信される。なお、1つの横長動画81から制作されるメタ情報83には、複数種類のメタ情報が含まれていてもよい。図1には、複数種類のメタ情報の一例としてメタA、メタB及びメタCが示されている。メタA、メタB及びメタCは、それぞれ演出が異なる。メタ情報に含まれる演出としては、拡大倍率や拡大箇所、拡大や移動を行うタイミング等を例示することができる。
【0030】
端末装置30には、1つの動画情報に対応する複数のメタ情報のうち、ユーザの要求に応じたメタ情報が配信されてもよい。また、端末装置30には1つの動画情報に対応する複数のメタ情報が配信され、表示制御に用いるメタ情報が端末装置30により選択される構成としてもよい。
【0031】
端末装置30は、不図示の表示部を備える。端末装置30は、取得した横長動画81、メタ情報83、及び表示部の解像度に基づき、表示部に動画を表示させる。
【0032】
図2は、第1の実施形態に係る動画配信システムの機能構成の一例を示すブロック図である。同図を参照しながら、動画配信システム1の機能構成の一例について説明する。動画配信システム1には、配信装置20と、複数の端末装置30とが含まれる。以下の説明においては、動画配信システム1に1つの配信装置20が含まれる場合の一例について説明するが、動画配信システム1には複数の配信装置20が含まれていてもよい。また、同図には、端末装置30として、端末装置30-1、端末装置30-2、…、及び端末装置30-n(nは1以上の自然数)が含まれる場合の一例について示す。
【0033】
配信装置20と、複数の端末装置30とは、所定の通信ネットワークNWを介して互いに接続される。所定の通信ネットワークとは、例えばLAN(Local Area Network)等のイーサネット(Ethernet)等であってもよい。
【0034】
端末装置30は、要求情報IREQを出力する。要求情報IREQには、ユーザが視聴を希望する動画を特定するために要する情報が含まれる。要求情報IREQには、ユーザが視聴を希望する動画の演出(すなわち、メタ情報)を特定するために要する情報が含まれていてもよい。要求情報IREQは、所定の通信ネットワークNWを介して配信装置20に出力される。
配信装置20は、所定の通信ネットワークNWを介して端末装置30から要求情報IREQを取得する。配信装置20は、複数の横長動画と、対応するメタ情報を記憶する。配信装置20は、取得した要求情報IREQに応じた横長動画に関する情報と対応するメタ情報とを少なくとも含む情報を、配信情報IVDとして出力する。
複数の端末装置30は、それぞれ配信装置20に要求情報IREQを出力する。配信装置20は、複数の端末装置30からそれぞれ要求情報IREQを取得し、取得したそれぞれの要求情報IREQに応じた配信情報IVDを、対応する端末装置30に出力する。
【0035】
なお、横長動画に関する情報と対応するメタ情報とは、それぞれ異なる記憶装置に記憶されていてもよく、それぞれ所定の識別情報が付されることにより対応付けられてもよい。横長動画に関する情報と対応するメタ情報とがそれぞれ異なる記憶装置に記憶される場合、横長動画に関する情報が記憶される記憶装置と、メタ情報が記憶される記憶装置とを総称して配信装置20と記載する。
【0036】
[配信装置]
図3は、第1の実施形態に係る配信装置の機能構成の一例を示すブロック図である。同図を参照しながら、配信装置20の機能構成の一例について説明する。
配信装置20は、メタ情報生成部21と、動画情報記憶部22と、動画送信部23と、メタ情報送信部24とを備える。
なお、配信装置20は、不図示のCPU(Central Processing Unit)、ROM(Read only memory)又はRAM(Random access memory)等の記憶装置等を備えることにより、メタ情報生成部21、動画情報記憶部22、動画送信部23及びメタ情報送信部24を備える装置として構成されていてもよい。また、配信装置20は、webサーバとして構成されていてもよいし、クラウドサーバ上に構成されていてもよい。
【0037】
メタ情報生成部21は、横長動画からメタ情報を生成する。メタ情報生成部21の一例としては、上述したAIツール82を例示することができる。ここでメタ情報は、表示制御情報を少なくとも含む。表示制御情報とは、動画の再生時刻に関する情報と、当該再生時刻における表示制御に関する情報とが対応付けられた情報である。具体的には、表示制御情報とは、動画に含まれる複数のフレームのうち所定のフレーム(以後、キーフレームと記載する場合がある。)と、当該キーフレームの拡大倍率や表示位置等の情報等の表示制御に関する情報が含まれる情報である。換言すれば、メタ情報生成部21は、動画の再生時刻に関する情報と、当該再生時刻における表示制御に関する情報とが対応付けられた表示制御情報を少なくとも含むメタ情報を生成する。
なお、一例として表示制御情報は、例えばXML(Extensible Markup Language)形式により記載されていてもよい。
【0038】
動画情報記憶部22は、配信対象となる横長動画と、メタ情報生成部21により生成されたメタ情報とを対応付けて記憶する。動画情報記憶部22は、物理的に離れた位置に存在する異なる装置を含んで構成され、動画情報とメタ情報とを対応付けて記憶していてもよい。
【0039】
なお、メタ情報生成部21は、1つの動画から複数の異なる表示制御情報を有する、複数のメタ情報を生成してもよい。この場合、1つの動画に複数のメタ情報が対応付けられる。この場合、動画情報記憶部22は、1つの動画に複数のメタ情報を対応付けて記憶してもよい。
【0040】
動画送信部23は、端末装置30からの要求に応じ、動画情報記憶部22に記憶された横長動画を出力する。メタ情報送信部24は、端末装置30からの要求に応じ、対応するメタ情報を出力する。
なお、動画送信部23が有する機能とメタ情報送信部24が有する機能は、不図示の共通の送信部に統合されていてもよい。また、横長動画と対応するメタ情報とは、それぞれ異なるタイミングで出力されてもよいし、同時に出力されてもよい。
【0041】
[端末装置]
図4は、第1の実施形態に係る端末装置の機能構成の一例を示すブロック図である。同図を参照しながら、端末装置30の機能構成の一例について説明する。端末装置30の一例としては、ユーザにより操作されるスマートフォン(スマホ)等の情報処理装置を例示することができる。しかしながら本実施形態における端末装置30はこの一例に限定されず、タブレット端末やノート型パソコン、ウェアラブル端末、その他表示部を備える情報処理端末である場合を広く含む。
【0042】
端末装置30は、動画取得部31と、メタ情報取得部32と、端末情報取得部33と、再生制御部34と、動画再生部35とを備える。端末装置30は、バスで接続された不図示のCPU、ROM又はRAM等の記憶装置等を備え、端末プログラムを実行することによって動画取得部31、メタ情報取得部32、端末情報取得部33、再生制御部34、及び動画再生部35を備える装置として機能する。
【0043】
なお、端末装置30の各機能の全てまたは一部は、ASIC(Application Specific Integrated Circuit)、PLD(Programmable Logic Device)又はFPGA(Field-Programmable Gate Array)等のハードウェアを用いて実現されてもよい。端末プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。端末プログラムは、電気通信回線を介して送信されてもよい。
【0044】
動画取得部31は、配信装置20から配信された横長動画を取得する。動画取得部31は、不図示の動画要求部により要求した動画を取得する。
メタ情報取得部32は、動画取得部31により取得された動画に対応するメタ情報を取得する。
なお、動画取得部31が有する機能とメタ情報取得部32が有する機能は、不図示の共通の取得部に統合されていてもよい。
【0045】
端末情報取得部33は、端末装置30に備えられた不図示の表示部のアスペクト比についての情報を取得する。当該表示部の一例としては、有機EL(organic electro―luminescence: OEL)ディスプレイや、液晶ディスプレイ等を例示することができる。また、端末情報取得部33は、表示部のアスペクト比についての情報に加えて、解像度に関する情報等を取得してもよい。以後、表示部のアスペクト比や解像度等のハードウェアに関する情報を端末情報と記載する。換言すれば、端末情報取得部33は、表示部の解像度についての情報が少なくとも含まれる端末情報を取得する。
なお、端末情報に含まれる情報はハードウェアに関する情報に限定されず、その他様々な情報が含まれていてもよい。
【0046】
再生制御部34は、メタ情報取得部32により取得されたメタ情報と、端末情報取得部33により取得された端末情報とに基づき、表示部の表示を制御する。
動画再生部35は、再生制御部34による制御に応じて、動画取得部31により取得された動画を再生する。
【0047】
[メタ情報]
次に、図5から図10を参照しながら、配信装置20により配信されるメタ情報の詳細について説明する。一例として、メタ情報がXMLファイルである場合について説明する。図5から図9には、XMLファイルに記載されるデータの具体例を示し、図10には、当該XMLファイルを作成する際に用いられる動画編集ソフトの一例を示す。より具体的には、図5から図9には、メタ情報が汎用的なファイルフォーマットであるFCPX(Final Cut Pro XML)形式により記載される場合の一例を示す。図5から図9において、左側に行番号を数字で示す。
【0048】
なお、XMLファイルはメタ情報の一例であり、同図を参照しながら行う説明は、本実施形態に係るメタ情報を限定するものではない、メタ情報のその他の一例としては、HTML(Hyper Text Markup Language)、SVG(Scalable Vector Graphics)、XHTML(Extensible HyperText Markup Language)、XSLT(XSL Transformations)等のマークアップ言語又はこれらの組み合わせを例示することができる。また、メタ情報はマークアップ言語により記載される場合の一例に限定されず、様々な規則に基づいたプログラム言語等により記載されてもよい。
【0049】
また、メタ情報は動画編集ソフトにより作成される場合の一例に限定されず、テキスト入力等により生成されてもよい。また、メタ情報は横長動画の種類等に応じて機械学習等のアルゴリズムにより自動生成されてもよい。
また、メタ情報は、XMLファイルそのものであってもよいし、JSON(JavaScript Object Notification)形式に変換されたファイルであってもよい。
【0050】
図5は、第1の実施形態に係るメタ情報の一例を示す第1の図である。同図を参照しながら、端末装置30に表示させる動画のフレームレートの設定の一例のうち、主要な部分について説明する。
1行目の<timecode>から、9行目の</timecode>の間には、端末装置30に表示させる動画のタイムコードの設定について記載されている。
6行目の<timebase>30</timebase>は、動画のフレームレートが“30”フレームであることを示す。
【0051】
図6は、第1の実施形態に係るメタ情報の一例を示す第2の図である。同図を参照しながら、端末装置30に表示させる動画ファイルの指定等の一例のうち、主要な部分について説明する。
1行目及び2行目では、mediaの要素として、video要素又はaudio要素のうち、video要素を用いることを示している。
3行目のトラックは、編集ソフトにおけるトラックを示している。当該トラックは、1つ以上のクリップアイテムで構成される。
4行目のクリップアイテムは、トラック内の動画ファイルを指定する。同図に示す一例では、clipitem id=“ABC.mp4 0”である動画ファイルが特定されている。
【0052】
5行目から10行目には、4行目で特定された動画ファイルの詳細が記載されている。
5行目の<name>ABC.mp4</name>は、動画ファイルの名称が“ABC.mp4”であることを示す。
6行目の<duration>17999</duration>は、動画ファイルの長さが“17999”フレームであることを示す。
7行目から10行目は、動画ファイルのフレームレートが記載されている。
8行目の<timebase>30</timebase>は、動画ファイルのフレームレートが“30”フレームであることを示す。
動画のフレームレートが“30”フレームであり、動画ファイルの長さが“17999”フレームである場合、当該動画の再生時間は、17999÷30≒600(秒)=10(分)である。
【0053】
11行目及び12行目は、タイムラインにおける動画やエフェクトの開始時刻(開始フレーム)及び終了時刻(終了フレーム)を特定する。
11行目の<start>0</start>は、タイムラインにおける動画やエフェクトの開始時刻(開始フレーム)が“0”フレーム目であることを示す。
12行目の<end>3600</end>は、タイムラインにおける動画やエフェクトの終了時刻(終了フレーム)が“3600”フレーム目であることを示す。
【0054】
14行目及び15行目は、それぞれの動画において、タイムラインに乗せる部分の開始時刻(開始フレーム)及び終了時刻(終了フレーム)を特定する。
14行目の<in>0</in>は、4行目で特定された動画において、タイムラインに乗せる部分の開始時刻(開始フレーム)が“0”フレーム目であることを示す。
15行目の<out>3600</out>は、4行目で特定された動画において、タイムラインに乗せる部分の終了時刻(終了フレーム)が“3600”フレーム目であることを示す。
【0055】
ここで、11行目及び12行目で指定した<start>及び<end>は、タイムライン内での相対時刻を表し、14行目及び15行目で指定した<in>及び<out>は、素材動画(すなわち、4行目で特定された動画)内の相対時刻を表す。
本実施形態において、フレームレートは30であるため、
<start>=0(秒)×30=0(フレーム)
<end>=120(秒)×30=3600(フレーム)
となる。すなわち、11行目及び12行目は、ライムラインにおいて0秒から120秒の範囲に動画を割り当てることを指定している。
また、
<in>=0(秒)×30=0(フレーム)
<out>=120(秒)×30=3600(フレーム)
である。すなわち、14行目及び15行目は、素材動画の0秒から120秒の範囲をタイムラインに割り当てることを指定している。
【0056】
図7は、第1の実施形態に係るメタ情報の一例を示す第3の図である。同図を参照しながら、端末装置30に表示させる動画ファイルの指定等の一例のうち、主要な部分について説明する。
1行目の<file id=“ABC.mp4 2”>は、編集に用いるファイルのファイルIDが特定される。
2行目の<duration>17982</duration>は、動画ファイルの長さが“17982”フレームであることを示す。
3行目から6行目は、動画ファイルのフレームレートが記載されている。
3行目の<timebase>30</timebase>は、動画ファイルのフレームレートが“30”フレームであることを示す。
7行目から16行目は、動画ファイルの保存場所を示す。
7行目の<name>ABC.mp4</name>は、動画のファイル名が“ABC.mp4”であることを示す。
8行目の<pathurl>file://localhost/C:/Users</pathurl>は、動画の格納場所が“file://localhost/C:/Users</pathurl”であることを示す。
13行目の<timebase>30</timebase>は、動画のフレームレートが“30”フレームであることを示す。
【0057】
17行目及び18行目では、mediaの要素として、video要素又はaudio要素のうち、video要素を用いることを示している。
19行目の<duration>17982</duration>は、動画ファイルの長さが“17982”フレームであることを示す。
20行目の<samplecharacteristics>から23行目の</samplecharacteristics>は、動画の横幅と縦幅とを示す。
21行目の<width>1080</width>は、動画の横幅“1080”ピクセルであることを示す。
22行目の<height>1920</height>は、動画の縦幅が“1920”ピクセルであることを示す。
すなわち本実施形態においては、解像度が1080×1920である縦型の動画を作成することを示している。
【0058】
図8は、第1の実施形態に係るメタ情報の一例を示す第4の図である。同図を参照しながら、エフェクトの種類とパラメータの値について説明する。
まず、6行目から11行目は、エフェクトの種類を指定する。
7行目の<name>Basic Motion</name>は、エフェクトの種類が“Basic Motion”であることを指定する。Basic Motionとは、すなわち線形のエフェクトである。
8行目の<effectid>basic</effectid>は、effectidが“basic”であることを指定する。
9行目の<effecttype>motion</effecttype>は、effecttypeが“motion”であることを指定する。
10行目の<mediatype>video</mediatype>は、mediatypeが“video”であることを指定する。
11行目の<effectcategory>motion</effectcategory>は、effectcategoryが“motion”であることを指定する。
【0059】
12行目から26行目は、エフェクトのパラメータについての値を指定している。本方式では、name要素に記載されるScale(拡大縮小)、Center(移動)のみを対象とする。
【0060】
12行目から18行目は、パラメータがスケールの場合についての値を指定している。
13行目の<name>Scale</name>は、パラメータの名前が“Scale”であることを指定している。
14行目の<parameterid>scale</parameterid>は、parameteridが“scale”であることを指定している。
15行目の<value>100</value>は、動画の拡大率のデフォルト値が“100”であることを指定している。すなわち、100以上の値では拡大、100以下の値では縮小となることを示している。
16行目の<valuemin>0</valuemin>は、動画の拡大率(100以下であるので、換言すれば縮小率)の最小値が“0”であることを指定している。
17行目の<valuemax>10000</valuemax>は、動画の拡大率の最大値が“10000”であることを指定している。
【0061】
本実施形態において、拡大又は縮小を行う場合、parameter要素のvalue値を変更することにより拡大又は縮小を行う。具体的には、クリップアイテム内でkeyframeを設定し、start値及びend値におけるvalue値を設定することにより拡大又は縮小を行う。この場合の拡大率は、keyframeのstartからendへのvalue値へ向かって線形に変位する。
【0062】
19行目から26行目は、パラメータがセンターの場合についての値を指定している。
20行目の<name>Center</name>は、パラメータの名前が“Center”であることを指定している。
21行目の<parameterid>center</parameterid>は、parameteridが“center”であることを指定している。
22行目から25行目は、動画の中心座標を示している。当該行において指定された位置を中心として拡大位置をシフトさせる。
23行目の<horiz>0</horiz>は、水平方向へのシフト量が0であることを指定している。<horiz>は、動画の中心座標のx方向(水平方向)へのシフト量(px)/動画の横幅(px)を示す。
24行目の<vert>1.07917</vert>は、垂直方向へのシフト量が“1.07917”であることを指定している。<vert>は、動画の中心座標のy方向(垂直方向)へのシフト量(px)/動画の横幅(px)を示す。
【0063】
本実施形態において、中心位置のシフトを行う場合、parameter要素のhoriz値及びvert値を変更することにより中心位置のシフトを行う。horiz値がx座標に対応し、vert値がy座標に対応する。デフォルト値がそれぞれ0であり、デフォルト値より大きい値が右又は上であり、デフォルト値より小さい値が左又は下である。具体的には、クリップアイテム内でkeyframeを設定し、start値及びend値におけるhoriz値及びvert値を設定することにより中心位置のシフトを行う。この場合の中心位置のシフトは、keyframeのstartにおけるhoriz値及びvert値から、endにおけるhoriz値及びvert値へ向かって線形に変位する。
【0064】
横長動画に対応するメタ情報のうち、横長動画の表示を制御する表示制御情報には、上述したScale(拡大縮小)及びCenter(移動)のエフェクトを指定する情報、すなわち拡大倍率及び拡大する位置の位置座標に関する情報が含まれる。横長動画のうち所定の位置を拡大して端末装置30で表示させる場合、メタ情報に含まれる表示制御情報には、拡大倍率及び拡大する位置の位置座標に関する情報が少なくとも含まれる。再生制御部34は、取得したメタ情報に含まれる表示制御情報に基づき、動画の拡大倍率及び表示部の表示領域における動画の表示位置を制御する。
また、再生時刻に応じて拡大対象となる範囲の位置座標を変更することにより、端末装置30が有する縦長の表示画面に拡大表示する位置(すなわち、ユーザが興味を有している位置)を追従することができる。再生制御部34は、動画の再生時刻に応じて、動画の異なる位置座標を拡大表示することにより、動画の異なる位置を表示する。
【0065】
図9は、第1の実施形態に係るメタ情報の一例を示す第5の図である。同図を参照しながら、キーフレームを用いた中心位置のシフトの一例について説明する。
2行目から7行目は、エフェクトのパラメータとしてCenter(すなわち、中心位置のシフト)を用いることを示している。
2行目の<name>Center</name>は、パラメータの名前が“Center”であることを指定している。
3行目の<parameterid>center</parameterid>は、parameteridが“center”であることを指定している。
4行目から7行目は、動画の中心座標を示している。当該行において指定された位置を中心として拡大位置をシフトさせる。
5行目の<horiz>0.393153</horiz>は、水平方向へのシフト量が“0.393153”であることを指定している。
6行目の<vert>-0.121555</vert>は、垂直方向へのシフト量が“-0.121555”であることを指定している。
【0066】
8行目から14行目では、所定のフレームを指定し、当該フレームにおける中心点のシフト量を指定している。
9行目の<when>2700</when>は、“2700”フレーム目での中心点のシフト量を指定することを示している。
10行目から13行目は、“2700”フレーム目における動画の中心座標を示している。“2700”フレーム目において、当該行において指定された位置を中心として拡大位置をシフトさせる。
11行目の<horiz>1.12458</horiz>は、水平方向へのシフト量が“1.12458”であることを指定している。
12行目の<vert>0.284795</vert>は、垂直方向へのシフト量が“0.284795”であることを指定している。
【0067】
15行目から21行目では、所定のフレームを指定し、当該フレームにおける中心点のシフト量を指定している。
16行目の<when>2902</when>は、“2902”フレーム目での中心点のシフト量を指定することを示している。
17行目から20行目は、“2902”フレーム目における動画の中心座標を示している。“2902”フレーム目において、当該行において指定された位置を中心として拡大位置をシフトさせる。
18行目の<horiz>0.953153</horiz>は、水平方向へのシフト量が“0.953153”であることを指定している。
12行目の<vert>0.284795</vert>は、垂直方向へのシフト量が“0.284795”であることを指定している。
すなわち2700フレーム目における垂直方向の位置と、2902フレーム目における垂直方向の位置とは、“0.284795”で同一のため、2700フレーム目から2902フレーム目において動画の中心点は水平方向にのみシフトされる。
【0068】
上述したように、メタ情報には、フレームが特定され、当該フレームにおける位置座標と対応付けられて記載される。本実施形態において、動画の再生時刻に関する情報とは、動画を構成するフレームに関する情報である。また、フレームを特定するための情報をフレーム識別情報とも記載する。すなわち、メタ情報に含まれる表示制御情報は、フレームを識別するフレーム識別情報と、当該フレームに応じた位置座標とが対応付けられて記載される。再生制御部34は、表示制御情報に含まれる複数のフレームの間のフレームにおける位置座標を補間することにより表示位置を制御する。当該補間により、スムーズに表示対象を追従することができる。
【0069】
図10は、第1の実施形態に係るメタ情報を生成するための編集ソフトによる表示画面の一例を示す図である。同図を参照しながら、編集ソフトによるメタ情報の生成の一例について説明する。同図に示す表示画面D10は、編集ソフトによる表示画面の一例である。
符号D11は、media要素を示す。media要素にはvideo要素とaudio要素がある。
符号D12は、編集ソフトにおけるtrackを示す。trackは、1つ以上のクリップアイテムにより構成される。trackには、複数のクリップアイテムが含まれていてもよい。
符号D13は、clipitemを示す。clipitemでは、トラック内における動画ファイルが指定される。
【0070】
[表示画面]
図11は、第1の実施形態に係る端末装置の表示部に表示される表示画面の一例を示す図である。同図を参照しながら、端末装置30が備える表示部に表示される表示画面の一例について説明する。図11(A)は、配信装置20により配信される動画の一例を示し、図11(B)は、端末装置30の表示部に表示される表示画面の一例を示す。
【0071】
図11(A)に示すように、配信装置20により配信される動画は、縦方向より横方向の方が長いアスペクト比を有する横長動画81である。横長動画81が有する画像中、端末装置30の表示画面に表示させる領域を範囲ARとして示す。範囲ARの大きさ(拡大倍率)及び位置は上述したXMLファイルにより指定される。
同図に示した一例では、横長動画81には、サッカーの試合中継が表示されている。サッカーの試合中継に置いて、ユーザが特に興味を有する表示範囲はサッカーボールの周辺であるため、範囲ARはサッカーボールが存在する位置を中心に設定されている。なお、試合の進行とともに横長動画81中におけるサッカーボールの表示位置移動した場合、範囲ARはサッカーボールの位置を追従するよう移動してもよい。また、範囲ARはサッカーボールを中心とする一例に限定されず、ユーザが興味を有する範囲に設定されてもよい。
【0072】
ここで、追従対象となる物体や人物を追従する方法としては、従来技術を用いてもよい。従来技術としては、バウンディングボックスの8頂点の中心により求める方法等を例示することができ、参考文献[三須、他,"オブジェクト追跡と背番号認識の連携による動画像用スポーツ選手同定手法",FIT(情報科学技術フォーラム), L1-012,pp,187-189,2003]にも記載されている。
【0073】
図11(B)に示すように、端末装置30の表示部39には、横長動画81のうち、XMLファイルにより指定された範囲ARが表示される。表示部39には、図11(A)に範囲ARとして示した範囲について、上述したXMLファイルにより指定された拡大倍率で表示される。
【0074】
上述したような範囲ARの大きさ及び位置の指定は、メタ情報83に含まれるXMLファイル内の要素値をCSSプロパティ値に変換することにより行われる。具体的には、端末装置30は、動画再生開始時にXMLファイルをロードし、ロードされたXMLファイルを元にvideo要素のCSSプロパティ値をJavaScriptで制御することにより、範囲ARの大きさ及び位置の指定を行う。なお、XMLファイルは、JavaScriptが処理しやすいように、予めJSON形式に変換されていてもよい。
【0075】
まず、端末装置30は、端末情報取得部33により、JavaScriptの関数を用いて、表示部の解像度についての情報が少なくとも含まれる端末情報を取得する。解像度の取得に用いられるJavaScriptの関数としては、ピクセル値を取得する関数を用いることができる。具体的には、横幅[px(ピクセル)]を取得するため、“window.screen.width”又は“window.innerwidth”を用いることができる。また、縦幅[px]を取得するため、“window.screen.height”又は“window.innerheight”を用いることができる。その他の一例としては、“devicePixelRatio”を用いることにより、ピクセル値に代えて、論理ピクセル値と物理ピクセル値の比率を取得することができる。以下の説明においては、“window.screen.width”及び“window.screen.height”を用いる場合の一例について説明する。
【0076】
次に端末装置30は、JavaScriptの関数により取得した値と、XMLファイルに記載された値とを用いてCSSプロパティ値を設定し、制御を実行する。以下、プロパティ値の設定について、拡大/縮小の場合と移動の場合とに分けて、より詳細に説明する。
【0077】
拡大/縮小の場合、CSSプロパティ値であるscaleは、
scale=scale
として表される。左辺はCSSプロパティ値、右辺はXMLファイルに記載された値を示す。
【0078】
移動の場合、CSSプロパティ値であるheight及びwidthは、
height = vert / height * devicePixelRatio * window.screen.height
width = horiz / width * devicePixelRatio * window.screen.width
として表される。左辺はCSSプロパティ値、右辺はJavaScriptの関数により取得した値及びXMLファイルに記載された値を示す。
【0079】
端末装置30は、所定の条件式を満たしたときにCSSプロパティ値を制御する。具体的には、制御開始のための条件式は、
currentTime = start / timebase
であり、制御終了のための条件式は、
currentTime = end / timebase
である。なお、currentTimeは、video要素における動画の再生時刻である。
【0080】
図12は、第1の実施形態に係る端末装置の動作の一例を示すフローチャートである。同図を参照しながら、端末装置30が取得した横長動画をメタ情報に応じて制御し、表示部39に表示させる場合の動作の一例について説明する。
(ステップS110)端末装置30は、配信装置20から横長動画及び対応するメタ情報を取得する。
(ステップS120)端末装置30は、端末の解像度についての情報を取得する。当該解像度についての情報には、表示部39のアスペクト比についての情報が含まれる。なお、アスペクト比についての情報とは、16:6等、比率が直接的に含まれる一例に限定されず、2778×1284等、縦方向の画素数と横方向の画素数をそれぞれ示した解像度についての情報も含まれる。
【0081】
(ステップS130)端末装置30は、取得したメタ情報と解像度とに基づき、動画の再生を制御する。具体的には、端末装置30は、取得したメタ情報に含まれる拡大倍率についての情報や中心位置の座標についての情報等に基づき、取得した横長動画のフレームの少なくとも一部を、表示部39に表示させるよう制御する。
【0082】
ここで、それぞれ異なるアスペクト比や解像度を有する複数の端末装置30に、同一のアスペクト比で動画を表示させるための手順について、より具体的に説明する。本実施形態において、横長動画を縦長の表示画面に表示させる場合のアスペクト比は、配信側が設定するメタ情報に含まれる。配信側により設定されるアスペクト比を、縦横比(ratio1)と記載する。
次に、端末装置30は、自身のアスペクト比を取得する。自身のアスペクト比は、JavaScriptの関数用いて取得される。取得されたアスペクト比を、縦横比(ratio2)と記載する。
【0083】
ratio1=ratio2の場合、端末装置30は余白無しで表示する。ratio1>ratio2の場合、端末装置30は表示画面の上下に余白を設けて表示する。ratio1<ratio2の場合、端末装置30は表示画面の左右に余白を設けて表示する。当該余白は、黒で表示してもよい。
(ステップS140)端末装置30は、ステップ130により制御された動画を表示部39に表示することにより、動画を再生する。
【0084】
[端末装置の内部構成]
図13は、第1の実施形態に係る端末装置の内部構成の一例を示すブロック図である。端末装置30の少なくとも一部の機能は、コンピュータを用いて実現され得る。図示するように、そのコンピュータは、中央処理装置901と、RAM902と、ROM903と、入出力ポート904と、入出力デバイス905や906等と、バス907と、を含んで構成される。コンピュータ自体は、既存技術を用いて実現可能である。RAM902及びROM903は、半導体メモリーを含んで構成される。中央処理装置901は、RAM902やROM903等から読み込んだプログラムに含まれる命令を実行する。中央処理装置901は、各命令にしたがって、RAM902やROM903等にデータを書き込んだり、RAM902やROM903等からデータを読み出したり、算術演算や論理演算を行ったりする。RAM902及びROM903は、データやプログラムを記憶する。RAM902及びROM903に含まれる各要素は、アドレスを持ち、アドレスを用いてアクセスされ得るものである。なお、RAMは「ランダムアクセスメモリー」の略であり、ROMは「リードオンリーメモリー」の略である。入出力ポート904は、中央処理装置901が外部の入出力デバイス等とデータのやり取りを行うためのポートである。入出力デバイス905や906は、入出力デバイスである。入出力デバイス905や906は、入出力ポート904を介して中央処理装置901との間でデータをやりとりする。バス907は、コンピュータ内部で使用される共通の通信路である。例えば、中央処理装置901は、バス907を介してRAM902やROM903に記憶されたデータを読んだり、RAM902やROM903にデータを書いたりする。また、例えば、中央処理装置901は、バス907を介して入出力ポートにアクセスする。
【0085】
図14は、第1の実施形態に係る端末装置の構成の一例を示す図である。ハードウェア44とは、図13を参照しながら説明した構成の総称であり、端末装置30が物理的に備える構成をいう。ハードウェア44の上で、OS(Operating System)43が動作する。OS43は、ハードウェア44とWebブラウザ42との間に位置し、プログラムに対して標準的なインターフェイスを提供する。OS43は、ハードウェア44に含まれる各リソースの使用状況について効率的な管理を行う。
【0086】
端末装置30は、Webブラウザ42上で、Webアプリケーションプログラムを実行する。Webアプリケーションプログラムは、Webサーバ(例えば、配信装置20)から配信される。端末装置30は、Webサーバから配信されたWebアプリケーションプログラムを、ROM903に記憶する。Webアプリケーション41は、Webアプリケーションプログラムを実行することにより機能する。端末装置30は、Webブラウザ42上で、Webアプリケーションプログラムを実行することにより、図3を参照しながら説明した端末装置30として機能する。
【0087】
[第1の実施形態のまとめ]
以上説明した実施形態によれば、端末装置30は、動画取得部31を備えることにより動画を取得し、メタ情報取得部32を備えることによりメタ情報を取得し、端末情報取得部33を備えることにより表示部の解像度についての情報を取得し、再生制御部34を備えることにより取得したメタ情報と表示部の解像度に基づき表示部の表示を制御し、動画再生部35を備えることにより再生制御部34による制御に応じて取得した動画を再生する。本実施形態では、配信装置20は端末装置30に横長動画を配信する。すなわち、端末装置30は、横長動画と対応するメタ情報とを取得し、メタ情報に応じて横長動画を好適に縦長の表示画面に表示する。したがって、本実施形態によれば、端末装置30を操作するユーザは、縦長の表示画面で、横長動画を視聴することができる。
また、本実施形態によれば、横長動画と、対応するメタ情報とを配信するため、レンダリングやエンコードの製作コストを抑止することができる。また、本実施形態によれば、端末装置30が横長動画を加工して表示するため、複数のレイアウトに応じた縦長動画を配信することを要せず、複数のレイアウトに応じた縦長動画を配信する場合と比較して配信コストを抑止することができる。
【0088】
また、以上説明した実施形態によれば、メタ情報に含まれる表示制御情報には、拡大倍率及び拡大する位置の位置座標に関する情報が少なくとも含まれ、再生制御部34は、取得したメタ情報に含まれる表示制御情報に基づき、動画の拡大倍率及び表示部の表示領域における動画の表示位置を制御する。メタ情報に含まれる表示制御情報は、配信者が動画編集ソフトを制御することにより、又はAIツールにより、縦長の表示画面に合わせて好適に生成される。具体的には、表示制御情報は、横長動画のうちユーザの興味がある位置を拡大して追従してもよい。したがって、本実施形態によれば、端末装置30を操作するユーザは、横長動画のうち興味がある位置を拡大して縦長の表示画面で視聴することができる。
【0089】
また、以上説明した実施形態によれば、再生制御部34は、動画の再生時刻に応じて、動画の異なる位置座標を拡大表示することにより、動画の異なる位置を表示する。換言すれば、再生制御部34は、動画の再生時刻が進むにつれ、横長動画の異なる一部を拡大して表示する。異なる一部とは、例えば、横長動画のうちユーザの興味がある位置であってもよい。したがって、本実施形態によれば、端末装置30を操作するユーザは、横長動画のうち興味がある位置が移動した場合であっても、拡大部分が興味がある位置を追従することにより、縦長の表示画面で好適に視聴することができる。
【0090】
また、以上説明した実施形態において、動画の再生時刻に関する情報とは、動画を構成するフレームに関する情報であり、メタ情報に含まれる表示制御情報はフレームを識別するフレーム識別情報と当該フレームに応じた位置座標とが対応付けられる。再生制御部34は、表示制御情報に含まれる複数のフレームの間のフレームにおける位置座標を補間することにより表示位置を制御する。補間とは、例えば線形補間であってもよい。したがって、本実施形態によれば、複数のフレームと、当該複数のフレームにそれぞれ対応する位置座標を特定することにより、位置座標を特定したフレーム間における表示位置を保管して表示する。したがって、本実施形態によれば、全てのフレームについての位置座標を特定する必要がないため、容易にメタ情報を生成することができる。
【0091】
また、以上説明した実施形態によれば、配信装置20は、メタ情報生成部21を備えることにより横長動画からメタ情報を生成し、動画情報記憶部22を備えることにより横長動画とメタ情報とを対応付けて記憶し、端末情報取得部33及び再生制御部34を備えることにより端末装置30からの要求に応じて動画及び対応するメタ情報を出力する。すなわち、本実施形態によれば、配信装置20は、横長動画に基づきメタ情報を生成することができる。また、本実施形態によれば、配信装置20は、生成したメタ情報と横長動画とを対応付けて記憶することにより、端末装置30からの要求に応じてメタ情報と横長動画とをオンデマンド配信することができる。
【0092】
[第2の実施形態]
次に、第2の実施形態について説明する。まず、第2の実施形態が解決しようとする課題の概要について説明する。上述した第1の実施形態においては、端末装置30がメタ情報に基づいた表示制御を行うことにより横長動画の一部を好適に表示することができる。しかしながら、単に横長動画の一部を拡大しただけでは、横長動画のうちどの部分を拡大しているかが明確でないため、ユーザにとって必ずしも見やすいとは言えない場合があった。例えば、スポーツの試合において、試合の進行を俯瞰するための画面と、選手がアップされた画面とを同時に表示させたい場合があった。
また、横長動画に含まれる複数の範囲をそれぞれ拡大表示させたい場合もある、このような一例としては、オーケストラ等による音楽の演奏において、ステージ上の異なる部分(例えばステージの中央にいる指揮者が映った部分と演奏中の楽器の演者が映った部分等)に注目すべき対象が存在する場合を例示することができる。
さらに、1つの動画のうち時間軸が異なる場面を複数の画面に表示したい場合がある。換言すれば、複数の画面に、異なる再生時刻における動画を再生させたい(すなわち時間差を設けて再生させたい)場合がある。このような一例としては、例えば野球の試合中継を途中から見始めたような場合を例示することができる。例えば野球の試合中継を途中から見始めたような場合、1つの画面では現在ライブで行われている最新の試合中継を再生し、もう1つの画面では試合開始のタイミングから再生したいような場合がある。
第2の実施形態では、これらの需要を満足させるため、端末装置30が有する縦長の表示画面に、好適に表示することができるようにするものである。
【0093】
図15は、第2の実施形態に係る動画配信システムの概要を説明するための図である。同図を参照しながら、第2の実施形態に係る動画配信システム1Aの概要について説明する。動画配信システム1Aは、配信装置20から配信された横長動画に基づいて、端末装置30の表示部39に複数の動画を同期再生する。同図を参照しながら行う説明においては、端末装置30の表示部39に2つの動画を同期再生する場合の一例について説明する。しかしながら本実施形態はこの一例に限定されず、3つ以上の動画を同期再生する場合がある。
ここで、本実施形態に係る同期再生とは、2つの動画を1つの表示画面に再生することをいう。同期再生される2つの動画とは、同一のファイルから再生されるものであってもよいし、異なるファイルから再生されるものであってもよい。同一のファイルから2つの動画が再生される場合、2つの動画は同一の再生時刻を再生(すなわち時間差がない)してもよいし、異なる再生時刻を再生(すなわち時間差がある)してもよい。
【0094】
横長動画81は、端末装置30で起動するWebアプリケーション41により表示制御される。Webアプリケーション41では、1つの横長動画81を1つの素材として、複数の素材を同期・合成処理することにより、1つの表示部39に表示させるよう制御する。図15に示す一例では、横長動画81を素材811と、素材812として、2つの異なる素材として取り扱う。素材811は、横長動画と同一のアスペクト比及び拡大倍率を有する。素材812は、横長動画81のうち一部が拡大されており、アスペクト比も異なる。表示部39には、素材811及び素材812が同期して再生表示される。
【0095】
なお、図15に示す一例においては、氷上で行われるスポーツであるカーリングの競技中の画面を示す。横長動画81は、カーリングシート(リンク)と競技中の選手とを真上から俯瞰して撮影されている。横長動画81には、2つの同心円を有するハウス(目標区域)全体が表れている。素材811は、横長動画81と同一の構図である。素材812は、特にユーザが着目したい範囲であるストーン(石)及びその近傍の選手が表れている。素材812の拡大倍率及び拡大位置は、XMLファイル又はユーザ操作により決定される。XMLファイルは、横長動画81と対応付けられて端末装置30に配信されるメタ情報に含まれる。拡大倍率及び拡大位置ユーザ操作により決定される場合、端末装置30は、ユーザにより端末装置30が操作された結果得られる情報に基づいて、横長動画81の表示を制御する。ユーザ操作の具体例としては、端末装置30に備えられた不図示のタッチパネルを用いたピンチインやピンチアウト、ドラッグ、フリック(スワイプ)操作等であってもよい。表示部39には、全体及び部分の両方が、それぞれ異なる拡大倍率で表されているため、ユーザは、横長動画と同等、もしくは横長動画よりも快適に動画を視聴することができる。
【0096】
図16は、第2の実施形態に係る端末装置の機能構成の一例を示すブロック図である。同図を参照しながら、第2の実施形態に係る端末装置30Aの機能構成の一例について説明する。端末装置30Aの説明において、端末装置30と同様の構成については、端末装置30と同様の符号を付すことにより説明を省略する場合がある。端末装置30Aは、合成処理部36を更に備える点において、端末装置30とは異なる。
【0097】
合成処理部36は複数の動画の同期処理を行う。一例として合成処理部36は、動画取得部31により取得された横長動画と、再生制御部34により拡大縮小等された動画とを同期させる。具体的には、合成処理部36は、横長動画の同一フレームを複数、表示部39に同時に表示するよう同期処理を行う。
なお、合成処理部36により同期処理が行われる複数の動画は、いずれも再生制御部34により制御されてもよい。すなわち再生制御部34は、動画の同一フレームを、表示部39に複数表示するよう制御してもよい。端末装置30Aの表示部(不図示)に表示される複数の同一フレームは、横長動画の異なる位置座標により特定される範囲を表示する。表示部に表示される複数の同一フレームは、それぞれ拡大倍率が異なっていてもよい。
【0098】
ここで、合成処理部36により行われる同期処理の詳細について説明する。端末装置30の表示画面に複数の動画を同期再生させるためには、配信装置20から複数の動画を配信し、端末装置30において同期再生させる方法と、配信装置20からは1本の動画を配信し、端末装置30において複数の動画を生成して同期させる方法とが考えられる、以下、それぞれの方法を用いた場合における同期処理の詳細について説明する。
【0099】
まず、配信装置20から複数の動画を配信し、端末装置30において同期再生させる方法を用いた場合の一例について説明する。この場合、配信装置20から配信される複数の動画の時刻情報を比較し、時刻情報が異なる場合は、動画の時刻情報を基準となる動画の再生時刻に指定することにより同期再生が行われる。当該同期処理は、時刻がずれるたびに行われてもよいし、再生時刻のずれが一定期間、閾値以下になることにより同期完了としてもよい。
なお、同期処理に用いられる時刻情報としては、video要素から取得できるcurrentTime値や、Media Source Extensions(MSE)で取得できるPresentationTime値等を例示することができる。video要素から取得できるcurrentTime値は、MPEG―DASH及びMP4の動画配信形式に対応し、MSEで取得できるPresentationTime値は、MPEG―DASHの動画配信形式に対応する。
【0100】
次に、配信装置20からは1本の動画を配信し、端末装置30において複数の動画を生成して同期させる方法を用いた場合の一例について説明する。この場合、MPEG―DASHによる動画配信を対象とする。端末装置30での動画再生は、MSEを利用しvideo要素を用いて実現される。配信装置20から配信される複数の動画は、複数のvideo要素を用いて再生される。動画のセグメントはバッファに一時的に蓄積される。複数のvideo要素からセグメントを読み出す方法としては、セグメントを複数のバッファに複製し、それぞれvideo要素からそれぞれのバッファのセグメントを読み出す方法が考えられる。また、複数のvideo要素から単一のバッファのセグメントを読み出すことも考えられる。この場合、生成された複数の動画は、上述した方法により同期処理が行われる。
【0101】
端末装置30の表示画面に複数の動画を同期再生させる場合、本実施形態に係る同期処理は、再生時刻(msec)単位で処理が行われる。当該再生時刻は、動画のフレームを特定するために用いられ、例えば再生時刻に代えてフレーム番号を用いて同期処理が行われてもよい。
【0102】
なお、複数の動画を、時間差を設けて再生する場合、当該時間差を示す情報は、メタ情報83又はユーザから取得されるパラメータにより設定されてもよい。この場合、再生制御部34は、複数の動画が再生される時間差を示す情報を取得し、複数の動画を、取得した時間差に基づいて端末装置30の表示部39に表示するよう制御する。
【0103】
[表示画面の一例]
次に、図17及び図18を参照しながら、端末装置30の表示部39に表示される表示画面の一例について説明する。
【0104】
図17は、第2の実施形態に係る端末装置の表示部に表示される表示画面の一例を示す第1の図である。図17(A)、図17(B)及び図17(C)は、動画の選択時及び表示方法の選択時における表示画面を示す。ユーザは、当該表示画面に基づいた操作を行うことにより、動画の種類を選択し、選択した動画の表示方法を選択する。以下の説明においては、端末装置30の表示部39がタッチパネルの機能を有している場合の一例について説明する。ユーザは、当該タッチパネルを操作することにより、表示画面の遷移を制御し、動画の種類や表示方法を選択する。
【0105】
まず、図17(A)について説明する。表示画面D20は、端末装置30の表示部39に表示される。ユーザは、当該画面において視聴する動画を選択する。表示画面D20は、符号D21から符号D24を画面構成として有する。符号D21から符号D24は、それぞれ動画のサムネイルを表示し、かつ選択ボタンの機能を有する。符号D21は動画1に対応し、符号D22は動画2に対応し、符号D23は動画3に対応し、符号D24は動画4に対応する。符号D21から符号D24は、それぞれユーザによるタップにより選択されることで、それぞれ対応する動画が選択されたことが検出される。同図には4つの選択ボタンを表示しているが、ユーザが表示画面を下方向にスクロール操作することにより、動画5、…、動画n(nは1以上の自然数)に対応する選択ボタンを表示させてもよい。
【0106】
次に、図17(B)について説明する。表示画面D30は、端末装置30の表示部39に表示される。表示画面D20において、ユーザによりいずれかの動画が選択されると、表示画面D30に遷移する。表示画面D30は、符号D31から符号D34を画面構成として有する。符号D31は、選択された動画のサムネイルを表示する。同図に示す一例では動画1が選択されているため、符号D31には動画1のサムネイルが表示される。符号D32は、符号D31の範囲内に配置される。符号D32は、再生ボタンである。ユーザにより符号D32がタップされると動画1の再生が始まり、ユーザは再生された動画を視聴する。ここで、ユーザは、選択した動画を視聴する前に、符号D33をタップすることにより、視聴モードを選択する。符号D33は、視聴モード選択画面遷移ボタンである。符号D33がタップされると、表示部39の表示画面は、視聴モード選択画面に遷移する。なお、表示画面D30は、動画1が選択された状態における視聴モード選択画面であるが、他の動画の選択肢を表示してもよい。同図に示す一例では符号D34に、他の動画の選択肢を表示する。具体的には、符号D34には、動画2及び動画3の選択ボタンを有している。ユーザは符号D34内に存在するボタンを選択することにより、他の動画の視聴モード選択画面に遷移するよう構成してもよい。符号D34内には2つの選択ボタンを表示しているが、ユーザが表示画面を下方向にスクロール操作することにより、動画4、…、動画nに対応する選択ボタンを表示させてもよい。
【0107】
次に、図17(C)について説明する。表示画面D40は、端末装置30の表示部39に表示される。表示画面D30において、ユーザにより符号D33の視聴モード選択画面遷移ボタンが選択されると、表示画面D40に遷移する。表示画面D40は、符号D41から符号D49を画面構成として有する。符号D41は、現在の表示画面が視聴モード選択画面であることを示す。符号D42から符号D48は、視聴モード選択ボタンである。同図に示す一例では、7の視聴モードが表示されている。符号D42から符号D48は、それぞれの視聴モードに対応し、ユーザはいずれかの視聴モード選択ボタンをタップすることにより、いずれかの視聴モードを選択する。符号D49は、キャンセルボタンである。符号D49のキャンセルボタンがタップされると、表示画面D30に遷移する。
【0108】
符号D42は、おまかせ1画面(通常)モードに対応する。おまかせ1画面(通常)モードでは、端末装置30の表示部39が縦長画面の状態において、中央付近の表示位置に横長動画を再生するモードである。
符号D43は、おまかせ1画面(全面)モードに対応する。おまかせ1画面(全面)モードでは、横長動画とメタ情報とに基づいて、横長動画の一部の範囲が所定の拡大倍率で縦長の表示画面に表示される。すなわち、端末装置30の表示部39には、第1の実施形態で説明した方法により縦長動画が表示される。
【0109】
符号D44は、おまかせ2画面モードに対応する。おまかせ2画面モードでは、横長動画のうち異なる2つの範囲について、異なる拡大倍率(または同一の拡大倍率)で、同期再生がされる。すなわち、端末装置30の表示部39には、第2の実施形態で説明した方法により縦長動画が表示される。
符号D45は、おまかせ3画面モード(1)に対応する。おまかせ3画面モード(1)では、横長動画のうち異なる3つの範囲について、異なる拡大倍率(または同一の拡大倍率)で、同期再生がされる。すなわち、端末装置30の表示部39には、第2の実施形態で説明した方法を更に改良した方法により、3つの動画を同期した縦長動画が表示される。3画面モード(1)における3つの画面の配置方法は、横長の画面要素を3つ縦方向(すなわち、表示部39の長編方向)に並べた配置であってもよい。
符号D46は、おまかせ3画面モード(2)に対応する。おまかせ3画面モード(2)では、おまかせ3画面モード(1)と同様に、横長動画のうち異なる3つの範囲について、異なる拡大倍率(または同一の拡大倍率)で、同期再生がされる。おまかせ3画面モード(2)は、おまかせ3画面モード(1)と、3つの画面の配置方法が異なる。おまかせ3画面モード(2)では、例えば横長動画の全体を表示する1つの横長の画面要素と、拡大表示された2つの縦長の画面要素を有していてもよい。
【0110】
符号D47は、手動操作1画面モードに対応する。手動操作1画面モードでは、1つの画面において、ユーザがタッチパネルのスクリーンを操作(ピンチイン、ピンチアウト、ドラッグ、フリック(スワイプ)等)することにより、拡大倍率や拡大位置を変更するモードである。端末装置30は、ユーザによる操作により取得された情報に基づき、動画の表示を制御する。
符号D48は、手動操作2画面モードに対応する。手動操作2画面モードでは、ユーザがタッチパネルのスクリーンを操作することにより、拡大倍率や拡大位置を変更する点において手動操作1画面モードと同様である。手動操作2画面モードは、2つの画面要素を有する点において手動操作1画面モードとは異なる。2つの画面要素のうち1つの画面要素は横長動画の全体を表示しており、他の画面要素は手動操作1画面モードと同様に拡大や移動操作可能なよう構成されていてもよい。全体画面のうち、拡大表示している部分をバウンディングボックスで囲う等の表示をしてもよい。
【0111】
図18は、第2の実施形態に係る端末装置の表示部に表示される表示画面の一例を示す第2の図である。図18(A)及び図18(B)は、第2の実施形態に係る複数の表示画面の画面は位置の一例を示す図である。図18(A)及び図18(B)に示す表示画面は、いずれも、上述した表示画面D30において、符号D32の再生ボタンが選択されることにより表示される。なお、第2の実施形態に係る端末装置30Aは、複数の動画を同期再生することが可能であり、2つ又は3つの動画を同期再生する場合の一例に限定されない。以下の説明においては、端末装置30Aの表示部39に2つ又は3つの表示画面が表示される場合の一例について説明する。
【0112】
図18(A)は、2つの動画が同期再生される場合の一例を示す図である。表示画面D50は、端末装置30の表示部39に表示される。例えばユーザにより、上述した符号D44が選択された場合であって符号D32の再生ボタンが選択された場合、表示部39には表示画面D50が表示される。表示画面D50は、符号D51と符号D52とを画面の構成要素として備える。符号D51には横長動画の一部である第1の動画が表示され、符号D52には横長動画の一部である第2の動画が表示される。
【0113】
図18(B)は、3つの動画が同期再生される場合の一例を示す図である。表示画面D60は、端末装置30の表示部39に表示される。例えばユーザにより、上述した符号D45又は符号46が選択された場合であって符号D32の再生ボタンが選択された場合、表示部39には表示画面D60が表示される。表示画面D60は、符号D61と、符号D62と、符号D63とを画面の構成要素として備える。符号D61には横長動画の一部である第1の動画が表示され、符号D62には横長動画の一部である第2の動画が表示され、符号D63には横長動画の一部である第3の動画が表示される。
【0114】
[第2の実施形態のまとめ]
以上説明した実施形態によれば、第2の実施形態に係る端末装置30Aにおける再生制御部34は、動画の同一フレームを、表示部39に複数表示するよう制御する。また、端末装置30Aの表示部39に表示される複数の同一フレームは、横長動画の異なる位置座標により特定される範囲を表示する。すなわち本実施形態によれば、横長動画に複数の拡大したい範囲が含まれる場合、複数の範囲をそれぞれ拡大表示することができる。また、本実施形態によれば、複数の動画を同期再生することができるため、横長動画の全体と、一部の部分とを同時に再生することができる。したがって、ユーザは、拡大されている部分が全体のどの部分であるか認識できるため、より快適に横長動画を縦長の表示部39で視聴することができる。
【0115】
また、以上説明した実施形態によれば、表示部39に表示される複数の同一フレームは、それぞれ拡大倍率が異なる。したがって、横長動画に、複数の拡大したい(させたい)範囲がある場合であっても、それぞれ異なる拡大倍率で表示させることにより、表示部39により多くの情報を表示させることができる。よって、ユーザは、より快適に横長動画を縦長の表示部39で視聴することができる。
【0116】
また、以上説明した実施形態によれば、再生制御部34は、複数の動画のそれぞれの再生時刻に基づいて、複数の動画を、表示部39に表示するよう制御する。すなわち、本実施形態によれば、再生時刻に基づいた同期処理を行うことができる。本実施形態によれば、再生時刻に基づいて同期処理を行うため、容易に2つの動画を1つの表示部39に表示させることができる。
【0117】
また、以上説明した実施形態によれば、再生制御部34は、複数の動画が再生される時間差を示す情報を取得し、複数の動画を、取得した時間差に基づいて表示部39に表示するよう制御する。すなわち、本実施形態によれば、1つの動画ファイルに基づいて、異なる再生時刻における場面を同時に再生することができる。なお、当該時間差は、メタ情報83により設定されることで動画の配信者が設定することもできるし、パラメータにより設定されることで動画の視聴者が設定することもできる。したがって、本実施形態によれば、様々な表示態様で動画を表示することが出来、動画視聴に関する様々な要望を満足することができる。
【0118】
なお、上述した実施形態における動画配信システム1が備える各部の機能全体あるいはその一部は、これらの機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。
【0119】
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶部のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバーやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【0120】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。また、本発明はこうした実施形態に何ら限定されるものではなく、本発明の趣旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
【符号の説明】
【0121】
1 動画配信システム
20 配信装置
21 メタ情報生成部
22 動画情報記憶部
23 動画送信部
24 メタ情報送信部
30 端末装置
31 動画取得部
32 メタ情報取得部
33 端末情報取得部
34 再生制御部
35 動画再生部
36 合成処理部
39 表示部
41 Webアプリケーション
42 Webブラウザ
43 OS
44 ハードウェア
81 横長動画
82 AIツール
83 メタ情報
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18