特表 2024-517702 シングルストリームを利用して関心領域の高画質映像を提供する方法、コンピュータ装置、およびコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-04-23

(54)【発明の名称】シングルストリームを利用して関心領域の高画質映像を提供する方法、コンピュータ装置、およびコンピュータプログラム

(51)【国際特許分類】

   H04N 21/234 20110101AFI20240416BHJP

   H04N 21/4728 20110101ALI20240416BHJP

【ＦＩ】

H04N21/234

H04N21/4728

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023565548

(86)(22)【出願日】2022-04-26

(85)【翻訳文提出日】2023-10-25

(86)【国際出願番号】 KR2022005936

(87)【国際公開番号】W WO2022231267

(87)【国際公開日】2022-11-03

(31)【優先権主張番号】10-2021-0053517

(32)【優先日】2021-04-26

(33)【優先権主張国・地域又は機関】KR

(81)【指定国・地域】

(71)【出願人】

【識別番号】505205812

【氏名又は名称】ネイバー コーポレーション

【氏名又は名称原語表記】ＮＡＶＥＲ Ｃｏｒｐｏｒａｔｉｏｎ

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】チャン，ジュン－キ

(72)【発明者】

【氏名】キム，ソンホ

(72)【発明者】

【氏名】チョ，ソンテク

(72)【発明者】

【氏名】ビョン，ウ－シク

(72)【発明者】

【氏名】アン，ジェチョル

【テーマコード（参考）】

5C164

【Ｆターム（参考）】

5C164MB42S

5C164SB01P

5C164SB21S

5C164UD44P

(57)【要約】

シングルストリームを利用して関心領域の高画質映像を提供する方法、コンピュータ装置、およびコンピュータプログラムを提供する。映像提供方法は、原本映像で関心領域を設定する段階、前記原本映像を利用して高画質映像と低画質映像を生成する段階、前記高画質映像と前記低画質映像を利用して前記関心領域と前記関心領域以外の残りの領域を再構成する段階、および再構成された前記関心領域と前記残りの領域をシングルストリームで配信する段階を含む。

【特許請求の範囲】

【請求項1】

コンピュータ装置で実行される映像提供方法であって、
前記コンピュータ装置は、メモリに含まれるコンピュータ読み取り可能な命令を実行するように構成される少なくとも１つのプロセッサを含み、
前記映像提供方法は、
前記少なくとも１つのプロセッサにより、原本映像で関心領域を設定する段階、
前記少なくとも１つのプロセッサにより、前記原本映像を利用して高画質映像と低画質映像を生成する段階、
前記少なくとも１つのプロセッサにより、前記高画質映像と前記低画質映像を利用して前記関心領域と前記関心領域以外の残りの領域を再構成する段階、および
前記少なくとも１つのプロセッサにより、再構成された前記関心領域と前記残りの領域をシングルストリームで配信する段階
を含む、映像提供方法。

【請求項2】

前記映像提供方法は、
１台のカメラを利用した単一配信環境において前記高画質映像と前記低画質映像で再構成された映像を提供すること
を特徴とする、請求項１に記載の映像提供方法。

【請求項3】

前記生成する段階は、
配信映像の最大解像度を設定する段階、
前記最大解像度に基づいて高画質解像度と低画質解像度を決定する段階、および
前記原本映像のサイズ調整によって前記高画質解像度の映像と前記低画質解像度の映像を生成する段階
を含む、請求項１に記載の映像提供方法。

【請求項4】

前記再構成する段階は、
前記高画質映像から前記関心領域に該当する部分である高画質グリッド領域を抽出する段階、
前記低画質映像から前記残りの領域に該当する部分である低画質グリッド領域を抽出する段階、および
前記高画質グリッド領域と前記低画質グリッド領域を配信映像として再構成する段階
を含む、請求項１に記載の映像提供方法。

【請求項5】

前記再構成する段階は、
前記関心領域と前記残りの領域を区分するための座標情報を生成する段階
をさらに含み、
前記配信する段階は、
前記再構成された映像と前記座標情報をプレイヤへの中継のためのエンコーダサーバに伝達する段階
を含む、請求項４に記載の映像提供方法。

【請求項6】

前記再構成された配信映像は、前記シングルストリームを受信したプレイヤで前記関心領域と前記残りの領域に分離され、同じ比率で再結合された後に再生されること
を特徴とする、請求項４に記載の映像提供方法。

【請求項7】

前記設定する段階は、
前記原本映像を、複数の領域に分割されたグリッド（ｇｒｉｄ）形態の映像であるグリッド映像として提供する段階、および
前記グリッド映像から選択された特定の領域を前記関心領域として設定する段階
を含む、請求項１に記載の映像提供方法。

【請求項8】

前記提供する段階は、
複数のグリッド形態のうちで配信端管理者によって選択されたグリッド形態の映像を提供すること
を特徴とする、請求項７に記載の映像提供方法。
を特徴とする映像提供方法。

【請求項9】

前記グリッド形態は、
前記原本映像のタイプまたは前記原本映像内のオブジェクトの数や位置に基づいて決定されること
を特徴とする、請求項７に記載の映像提供方法。

【請求項10】

前記設定する段階は、
前記原本映像に対する物体検出によって、事前に定められたカテゴリや種類のオブジェクトを含む領域を前記関心領域として設定すること
を特徴とする、請求項１に記載の映像提供方法。

【請求項11】

請求項１～１０のうちのいずれか一項に記載の映像提供方法を前記コンピュータ装置に実行させるためにコンピュータ読み取り可能な記録媒体に記録される、コンピュータプログラム。

【請求項12】

コンピュータ装置であって、
メモリに含まれるコンピュータ読み取り可能な命令を実行するように構成される少なくとも１つのプロセッサ
を含み、
前記少なくとも１つのプロセッサは、
原本映像で関心領域を設定し、
前記原本映像を利用して高画質映像と低画質映像を生成し、
前記高画質映像と前記低画質映像を利用して前記関心領域と前記関心領域以外の残りの領域を再構成し、
再構成された前記関心領域と前記残りの領域をシングルストリームで配信すること
を特徴とする、コンピュータ装置。

【請求項13】

前記少なくとも１つのプロセッサは、
１つのカメラを利用した単一配信環境において、前記高画質映像と前記低画質映像で再構成された映像を提供すること
を特徴とする、請求項１２に記載のコンピュータ装置。

【請求項14】

前記少なくとも１つのプロセッサは、
配信映像の最大解像度を設定し、
前記最大解像度に基づいて高画質解像度と低画質解像度を決定し、
前記原本映像のサイズ調整によって前記高画質解像度の映像と前記低画質解像度の映像を生成すること
を特徴とする、請求項１２に記載のコンピュータ装置。

【請求項15】

前記少なくとも１つのプロセッサは、
前記高画質映像から前記関心領域に該当する部分である高画質グリッド領域を抽出し、
前記低画質映像から前記残りの領域に該当する部分である低画質グリッド領域を抽出し、
前記高画質グリッド領域と前記低画質グリッド領域を配信映像として再構成することを特徴とする、
請求項１２に記載のコンピュータ装置。

【請求項16】

前記少なくとも１つのプロセッサは、
前記関心領域と前記残りの領域を区分するための座標情報を生成し、
前記再構成された映像と前記座標情報をプレイヤへの中継のためのエンコーダサーバに伝達すること
を特徴とする、請求項１５に記載のコンピュータ装置。

【請求項17】

前記再構成された配信映像は、前記シングルストリームを受信したプレイヤで前記関心領域と前記残りの領域に分離され、同じ比率で再結合された後に再生されること
を特徴とする、請求項１５に記載のコンピュータ装置。

【請求項18】

前記少なくとも１つのプロセッサは、
前記原本映像を、複数の領域に分割されたグリッド形態の映像であるグリッド映像として提供した後、前記グリッド映像から選択された特定の領域を前記関心領域として設定すること
を特徴とする、請求項１２に記載のコンピュータ装置。

【請求項19】

前記少なくとも１つのプロセッサは、
前記原本映像のタイプまたは前記原本映像内のオブジェクトの数または位置に基づいて前記グリッド形態を決定すること
を特徴とする、請求項１８に記載のコンピュータ装置。

【請求項20】

前記少なくとも１つのプロセッサは、
前記原本映像に対する物体検出によって、事前に定められたカテゴリや種類のオブジェクトを含む領域を前記関心領域として設定すること
を特徴とする、請求項１２に記載のコンピュータ装置。

【発明の詳細な説明】

【技術分野】

【0001】

下の説明は、高画質映像サービスを提供する技術に関する。

【背景技術】

【0002】

超高速通信網の利用者の急増にともない、通信網を介した新規サービスの開発やサービスアイテムの多様化が急激に進んでいる。このような通信網を利用したサービスのうちでも最も一般的なサービスが動画サービスであると言える。

【0003】

例えば、韓国登録特許第１０－０８２７１９８号公報（登録日２００８年４月２５日）「動画リンクサービスを提供する装置およびその方法」には、携帯電話端末を利用してインターネット上でリンクされた動画を移動中に鑑賞することができる動画リンクサービスを提供する技術が開示されている。

【0004】

クライアント－サーバ方式の動画サービスシステムは、エンコーダサーバからの動画ストリーミングをリアルタイムでクライアントに配信する構造であって、ライブ配信環境では、カメラなどに入力された映像をエンコードし、オーディオデータとともにリアルタイムでクライアントまで配信する方式が採用されている。

【発明の概要】

【発明が解決しようとする課題】

【0005】

単一配信環境でシングルストリームを使用して関心領域に対して高画質を提供し、それ以外の残りの領域に対しては低画質を提供する方法およびシステムを提供する。

【課題を解決するための手段】

【0006】

コンピュータ装置で実行される映像提供方法であって、前記コンピュータ装置は、メモリに含まれるコンピュータ読み取り可能な命令を実行するように構成される少なくとも１つのプロセッサを含み、前記映像提供方法は、前記少なくとも１つのプロセッサにより、原本映像で関心領域を設定する段階、前記少なくとも１つのプロセッサにより、前記原本映像を利用して高画質映像と低画質映像を生成する段階、前記少なくとも１つのプロセッサにより、前記高画質映像と前記低画質映像を利用して前記関心領域と前記関心領域以外の残りの領域を再構成する段階、および前記少なくとも１つのプロセッサにより、再構成された前記関心領域と前記残りの領域をシングルストリームで配信する段階を含む、映像提供方法を提供する。

【0007】

一側面によると、前記映像提供方法は、１台のカメラを利用した単一配信環境において前記高画質映像と前記低画質映像で再構成された映像を提供してよい。

【0008】

他の側面によると、前記生成する段階は、配信映像の最大解像度を設定する段階、前記最大解像度に基づいて高画質解像度と低画質解像度を決定する段階、および前記原本映像のサイズ調整によって前記高画質解像度の映像と前記低画質解像度の映像を生成する段階を含んでよい。

【0009】

また他の側面によると、前記再構成する段階は、前記高画質映像から前記関心領域に該当する部分である高画質グリッド領域を抽出する段階、前記低画質映像から前記残りの領域に該当する部分である低画質グリッド領域を抽出する段階、および前記高画質グリッド領域と前記低画質グリッド領域を配信映像として再構成する段階を含んでよい。

【0010】

また他の側面によると、前記再構成する段階は、前記関心領域と前記残りの領域を区分するための座標情報を生成する段階をさらに含み、前記配信する段階は、前記再構成された映像と前記座標情報をプレイヤへの中継のためのエンコーダサーバに伝達する段階を含んでよい。

【0011】

また他の側面によると、前記再構成された配信映像は、前記シングルストリームを受信したプレイヤで前記関心領域と前記残りの領域に分離され、同じ比率で再結合された後に再生されてよい。

【0012】

また他の側面によると、前記設定する段階は、前記原本映像を、複数の領域に分割されたグリッド（ｇｒｉｄ）形態の映像であるグリッド映像として提供する段階、および前記グリッド映像から選択された特定の領域を前記関心領域として設定する段階を含んでよい。

【0013】

また他の側面によると、前記提供する段階は、複数のグリッド形態のうちで、配信端管理者によって選択されたグリッド形態の映像を提供してよい。

【0014】

また他の側面によると、前記グリッド形態は、前記原本映像のタイプまたは前記原本映像内のオブジェクトの数または位置に基づいて決定されてよい。

【0015】

さらに他の側面によると、前記設定する段階は、前記原本映像に対する物体検出によって、予め定められたカテゴリや種類のオブジェクトを含む領域を前記関心領域として設定してよい。

【0016】

前記映像提供方法を前記コンピュータ装置に実行させるためにコンピュータ読み取り可能な記録媒体に記録される、コンピュータプログラムを提供する。

【0017】

コンピュータ装置であって、メモリに含まれるコンピュータ読み取り可能な命令を実行するように構成される少なくとも１つのプロセッサを含み、前記少なくとも１つのプロセッサは、原本映像で関心領域を設定し、前記原本映像を利用して高画質映像と低画質映像を生成し、前記高画質映像と前記低画質映像を利用して前記関心領域と前記関心領域以外の残りの領域を再構成し、再構成された前記関心領域と前記残りの領域をシングルストリームで配信することを特徴とする、コンピュータ装置を提供する。

【発明の効果】

【0018】

本発明の実施形態によると、単一配信環境においてシングルストリームを使用して関心領域に対して高画質を提供し、それ以外の残りの領域に対して低画質を提供することにより、比較的低いビットレートでも高画質映像をサービスすることができ、サービス品質（ＱｏＳ）と体感品質（ＱｏＥ）を保障することができる。

【図面の簡単な説明】

【0019】

【図1】本発明の一実施形態における、ネットワーク環境の一例を示した図である。

【図2】本発明の一実施形態における、コンピュータ装置の一例を示したブロック図である。

【図3】本発明の一実施形態における、映像サービスを提供する過程の例を示した図である。

【図4】本発明の一実施形態における、単一配信環境の例を示した図である。

【図5】本発明の一実施形態における、映像提供方法の例を示したフローチャートである。

【図6】本発明の一実施形態における、映像再構成過程を説明するための例示図である。

【図7】本発明の一実施形態における、映像再構成過程を説明するための例示図である。

【図8】本発明の一実施形態における、映像再構成過程を説明するための例示図である。

【図9】本発明の一実施形態における、映像再構成過程を説明するための例示図である。

【図10】本発明の一実施形態における、映像再生過程を説明するための例示図である。

【図11】本発明の一実施形態における、映像再生過程を説明するための例示図である。

【発明を実施するための形態】

【0020】

以下、本発明の実施形態について、添付の図面を参照しながら詳しく説明する。

【0021】

本発明の実施形態は、高画質映像サービスを提供する技術に関する。

【0022】

本明細書で具体的に開示される事項を含む実施形態は、シングルストリームを使用して関心領域に対して高画質を提供し、それ以外の残りの領域に対して低画質を提供することができる。

【0023】

本発明の実施形態に係る映像提供システムは、少なくとも１つのコンピュータ装置によって実現されてよく、本発明の実施形態に係る映像提供方法は、映像提供システムに含まれる少なくとも１つのコンピュータ装置によって実行されてよい。このとき、コンピュータ装置においては、本発明の一実施形態に係るコンピュータプログラムがインストールされて実行されてよく、コンピュータ装置は、実行されたコンピュータプログラムの制御にしたがって、本発明の実施形態に係る映像提供方法を実行してよい。上述したコンピュータプログラムは、コンピュータ装置と結合して映像提供方法をコンピュータに実行させるために、コンピュータ読み取り可能な記録媒体に記録されてよい。

【0024】

図１は、本発明の一実施形態における、ネットワーク環境の例を示した図である。図１のネットワーク環境は、複数の電子機器１１０、１２０、１３０、１４０、複数のサーバ１５０、１６０、およびネットワーク１７０を含む例を示している。このような図１は、発明の説明のための一例に過ぎず、電子機器の数やサーバの数が図１のように限定されることはない。また、図１のネットワーク環境は、本実施形態に適用可能な環境のうちの一例を説明したものに過ぎず、本実施形態に適用可能な環境が図１のネットワーク環境に限定されることはない。

【0025】

複数の電子機器１１０、１２０、１３０、１４０は、コンピュータ装置によって実現される固定端末や移動端末であってよい。複数の電子機器１１０、１２０、１３０、１４０の例としては、スマートフォン、携帯電話、ナビゲーション、ＰＣ（ｐｅｒｓｏｎａｌ ｃｏｍｐｕｔｅｒ）、ノート型ＰＣ、デジタル放送用端末、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、ＰＭＰ（Ｐｏｒｔａｂｌｅ Ｍｕｌｔｉｍｅｄｉａ Ｐｌａｙｅｒ）、タブレットなどがある。一例として、図１では、電子機器１１０の例としてスマートフォンを示しているが、本発明の実施形態において、電子機器１１０は、実質的に無線または有線通信方式を利用し、ネットワーク１７０を介して他の電子機器１２０、１３０、１４０および／またはサーバ１５０、１６０と通信することのできる多様な物理的なコンピュータ装置のうちの１つを意味してよい。

【0026】

通信方式が限定されることはなく、ネットワーク１７０が含むことのできる通信網（一例として、移動通信網、有線インターネット、無線インターネット、放送網）を利用する通信方式だけではなく、機器間の近距離無線通信が含まれてもよい。例えば、ネットワーク１７０は、ＰＡＮ（ｐｅｒｓｏｎａｌ ａｒｅａ ｎｅｔｗｏｒｋ）、ＬＡＮ（ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ）、ＣＡＮ（ｃａｍｐｕｓ ａｒｅａ ｎｅｔｗｏｒｋ）、ＭＡＮ（ｍｅｔｒｏｐｏｌｉｔａｎ ａｒｅａ ｎｅｔｗｏｒｋ）、ＷＡＮ（ｗｉｄｅ ａｒｅａ ｎｅｔｗｏｒｋ）、ＢＢＮ（ｂｒｏａｄｂａｎｄ ｎｅｔｗｏｒｋ）、インターネットなどのネットワークのうちの１つ以上の任意のネットワークを含んでよい。さらに、ネットワーク１７０は、バスネットワーク、スターネットワーク、リングネットワーク、メッシュネットワーク、スター－バスネットワーク、ツリーまたは階層的ネットワークなどを含むネットワークトポロジのうちの任意の１つ以上を含んでもよいが、これらに限定されることはない。

【0027】

サーバ１５０、１６０それぞれは、複数の電子機器１１０、１２０、１３０、１４０とネットワーク１７０を介して通信して命令、コード、ファイル、コンテンツ、サービスなどを提供する１つ以上のコンピュータ装置によって実現されてよい。例えば、サーバ１５０は、ネットワーク１７０を介して接続した複数の電子機器１１０、１２０、１３０、１４０にサービス（一例として、映像サービス、コンテンツ提供サービス、グループ通話サービス、メッセージングサービス、メールサービス、ソーシャルネットワークサービス、地図サービス、翻訳サービス、検索サービスなど）を提供するシステムであってよい。

【0028】

図２は、本発明の一実施形態における、コンピュータ装置の例を示したブロック図である。上述した複数の電子機器１１０、１２０、１３０、１４０それぞれやサーバ１５０、１６０それぞれは、図２に示したコンピュータ装置２００によって実現されてよい。

【0029】

このようなコンピュータ装置２００は、図２に示すように、メモリ２１０、プロセッサ２２０、通信インタフェース２３０、および入力／出力インタフェース２４０を含んでよい。メモリ２１０は、コンピュータ読み取り可能な記録媒体であって、ＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、ＲＯＭ（ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）、およびディスクドライブのような永続的大容量記録装置を含んでよい。ここで、ＲＯＭやディスクドライブのような永続的大容量記録装置は、メモリ２１０とは区分される別の永続的記録装置としてコンピュータ装置２００に含まれてもよい。また、メモリ２１０には、オペレーティングシステムと、少なくとも１つのプログラムコードが記録されてよい。このようなソフトウェア構成要素は、メモリ２１０とは別のコンピュータ読み取り可能な記録媒体からメモリ２１０にロードされてよい。このような別のコンピュータ読み取り可能な記録媒体は、フロッピー（登録商標）ドライブ、ディスク、テープ、ＤＶＤ／ＣＤ－ＲＯＭドライブ、メモリカードなどのコンピュータ読み取り可能な記録媒体を含んでよい。他の実施形態において、ソフトウェア構成要素は、コンピュータ読み取り可能な記録媒体ではない通信インタフェース２３０を通じてメモリ２１０にロードされてもよい。例えば、ソフトウェア構成要素は、ネットワーク１７０を介して受信されるファイルによってインストールされるコンピュータプログラムに基づいてコンピュータ装置２００のメモリ２１０にロードされてよい。

【0030】

プロセッサ２２０は、基本的な算術、ロジック、および入出力演算を実行することにより、コンピュータプログラムの命令を処理するように構成されてよい。命令は、メモリ２１０または通信インタフェース２３０によって、プロセッサ２２０に提供されてよい。例えば、プロセッサ２２０は、メモリ２１０のような記録装置に記録されたプログラムコードにしたがって受信される命令を実行するように構成されてよい。

【0031】

通信インタフェース２３０は、ネットワーク１７０を介してコンピュータ装置２００が他の装置（一例として、上述した記録装置）と互いに通信するための機能を提供してよい。一例として、コンピュータ装置２００のプロセッサ２２０がメモリ２１０のような記録装置に記録されたプログラムコードにしたがって生成した要求や命令、データ、ファイルなどが、通信インタフェース２３０の制御にしたがってネットワーク１７０を介して他の装置に伝達されてよい。これとは逆に、他の装置からの信号や命令、データ、ファイルなどが、ネットワーク１７０を経てコンピュータ装置２００の通信インタフェース２３０を通じてコンピュータ装置２００に受信されてよい。通信インタフェース２３０を通じて受信された信号や命令、データなどは、プロセッサ２２０やメモリ２１０に伝達されてよく、ファイルなどは、コンピュータ装置２００がさらに含むことのできる記録媒体（上述した永続的記録装置）に記録されてよい。

【0032】

入力／出力インタフェース２４０は、入力／出力装置２５０とのインタフェースのための手段であってよい。例えば、入力装置は、マイク、キーボード、またはマウスなどの装置を、出力装置は、ディスプレイ、スピーカのような装置を含んでよい。他の例として、入力／出力インタフェース２４０は、タッチスクリーンのように入力と出力のための機能が１つに統合された装置とのインタフェースのための手段であってもよい。入力／出力装置２５０は、コンピュータ装置２００と１つの装置で構成されてもよい。

【0033】

また、他の実施形態において、コンピュータ装置２００は、図２の構成要素よりも少ないか多くの構成要素を含んでもよい。しかし、大部分の従来技術的構成要素を明確に図に示す必要はない。例えば、コンピュータ装置２００は、上述した入力／出力装置２５０のうちの少なくとも一部を含むように実現されてもよいし、トランシーバ、データベースなどのような他の構成要素をさらに含んでもよい。

【0034】

図３は、本発明の一実施形態における、映像サービスを提供する過程の一例を示した図である。

【0035】

図３は、配信サーバ３１０、エンコーダサーバ３２０、およびプレイヤ３３０をそれぞれ示している。ここで、配信サーバ３１０およびエンコーダサーバ３２０は、映像サービスを提供するためにサーバ装置においてインストールされて実行されるソフトウェアモジュールであってよい。また、プレイヤ３３０は、動画再生のためにユーザの端末装置においてインストールされて実行されるソフトウェアモジュールであってよい。ここで、ソフトウェアモジュールは、コンピュータ装置２００においてインストールされて実行されるコンピュータプログラムに対応してよい。

【0036】

図４を参照すると、配信サーバ３１０は、映像配信の役割を担うサーバ装置であって、例えば、録画および配信のためのＯＢＳ（ｏｐｅｎ ｂｒｏａｄｃａｓｔｅｒ ｓｏｆｔｗａｒｅ）モジュールを含んでよい。配信サーバ３１０は、単一配信環境において１つのカメラ３０１を利用して実現されてよく、１台のカメラ３０１で撮影された映像を単一チャネルでエンコーダサーバ３２０に伝達してよい。

【0037】

カメラとは関係なく、オーディオチャネルは、同じ入力を使用してよく、オーディオも単一チャンネルのオーディオを使用してよい。

【0038】

特に、１台のカメラ３０１だけで実現される単一配信環境において比較的低いビットレートで高画質映像を提供するために、配信サーバ３１０は、配信しようとする映像に対して関心領域は高画質映像で構成し、残りの領域は低画質映像で構成する映像再構成を実行した後、再構成された映像をシングルストリームでエンコーダサーバ３２０に伝達してよい。エンコーダサーバ３２０への送信情報には、再構成された映像と高画質領域に対する座標情報が含まれてよい。

【0039】

図５は、本発明の一実施形態における、映像提供方法の一例を示したフローチャートである。

【0040】

本実施形態に係る映像提供方法は、上述した配信サーバ３１０を実現するコンピュータ装置２００によって実行されてよい。この場合、コンピュータ装置２００のプロセッサ２２０は、メモリ２１０に含まれるオペレーティングシステムのコードと、少なくとも１つのプログラムのコードとによる制御命令（ｉｎｓｔｒｕｃｔｉｏｎ）を実行するように実現されてよい。ここで、プロセッサ２２０は、コンピュータ装置２００に記録されたコードが提供する制御命令にしたがってコンピュータ装置２００が図５の方法に含まれる段階５１０～５４０を実行するようにコンピュータ装置２００を制御してよい。

【0041】

段階５１０で、コンピュータ装置２００は、単一カメラで撮影された原本映像で関心領域（ＲＯＩ）を設定してよい。関心領域は、手動設定方法によって、配信サーバ３１０側の管理者、すなわち、配信者によって直接設定されてよい。実施形態によっては、カメラのフォーカシング位置に対応する一定サイズの領域を関心領域として自動設定してもよい。また他の例として、コンピュータ装置２００は、物体検出（ｏｂｊｅｃｔ ｄｅｔｅｃｔｉｏｎ）アルゴリズムを利用したオブジェクト検出結果に基づいて関心領域を自動設定することも可能である。例えば、事前に定められたカテゴリやタイプのオブジェクトを検出し、このオブジェクトを含む一定サイズの領域を関心領域として設定してよい。

【0042】

段階５２０で、コンピュータ装置２００は、原本映像を利用して高画質映像と低画質映像を生成してよい。コンピュータ装置２００は、原本映像のサイズ調整（ｓｃａｌｉｎｇ）によって高画質映像と低画質映像をそれぞれ生成してよい。このとき、コンピュータ装置２００は、配信映像の最大解像度に基づいて、第１解像度である高画質映像の解像度と第１解像度よりも低い第２解像度である低画質映像の解像度を決定してよい。コンピュータ装置２００は、原本映像を第１解像度と第２解像度にそれぞれダウンスケーリング（ｄｏｗｎｓｃａｌｉｎｇ）し、第１解像度の映像は高画質映像として、第２解像度の映像は低画質映像として利用してよい。

【0043】

段階５３０で、コンピュータ装置２００は、高画質映像と低画質映像を利用して原本映像を再構成してよい。コンピュータ装置２００は、高画質映像から関心領域に該当する部分を抽出し、低画質映像から残りの領域に該当する部分を抽出して、１つの映像となるように再構成してよい。すなわち、コンピュータ装置２００は、関心領域は高画質映像で、残りの領域は低画質映像で構成する方法によって映像再構成を実行してよい。

【0044】

段階５４０で、コンピュータ装置２００は、再構成された映像をシングルストリームで配信してよい。コンピュータ装置２００は、単一配信環境においてシングルストリームを使用し、最終配信映像において関心領域だけが高画質で再構成された映像をエンコーダサーバ３２０に伝達してよい。

【0045】

図６～９は、本発明の一実施形態における、映像再構成過程を説明するための例示図である。

【0046】

図６を参照すると、コンピュータ装置２００は、原本映像６００を、複数の領域に分割されたグリッド（ｇｒｉｄ）形態の映像（以下、「グリッド映像」という）６１０で提供してよい。このとき、グリッド映像から選択された特定の領域を関心領域６０１として設定してよい。

【0047】

コンピュータ装置２００は、ＵＩ／ＵＸ的に部分領域の選択が可能なグリッド映像６１０を出力し、グリッド映像６１０において配信者が希望する領域を関心領域６０１として設定してよい。

【0048】

グリッド映像６１０は、事前に定められたグリッド形態で提供されてよく、例えば、２分割された２－グリッド映像、４分割された４－グリッド映像、９分割された９－グリッド映像などで提供されてよい。

【0049】

グリッド映像６１０を提供するためのグリッド形態は、デフォルト設定されていてもよいし、複数のグリッド形態のうちで送信者によって選択されたグリッド形態が適用されてもよい。

【0050】

実施形態によっては、原本映像６００に基づいてグリッド形態が決定されることも可能である。例えば、映像のタイプ、映像内のオブジェクトの数や位置などによってグリッド形態が異なるように適用されてよい。

【0051】

コンピュータ装置２００は、配信者によって選択された領域を基準とし、固定的または可変的に関心領域６０１を設定してよい。

【0052】

コンピュータ装置２００は、配信者が初期に選択した位置の領域、例えば、左下端領域を固定位置とし、カメラの移動とは関係なく、この位置の領域を関心領域６０１として設定してよい。すなわち、カメラの視線が移動したとしても、映像の左下端領域が関心領域６０１として設定されるようになる。

【0053】

実施形態によっては、配信者が初期に選択した位置の領域内のオブジェクトを基準オブジェクトとし、カメラの移動にともなって基準オブジェクトを追跡しながら基準オブジェクトが位置する領域を関心領域６０１として設定してよい。例えば、配信者が、ブーケが位置する左下端領域を初期関心領域として設定した場合、その後のカメラの移動にともなってブーケが映像の右上端でキャッチされたとすると、これにともなって関心領域６０１が右上端領域に変更されてよい。

【0054】

コンピュータ装置２００は、関心領域６０１の設定が完了すると、原本映像６００を利用して高画質映像と低画質映像を生成してよい。

【0055】

原本映像６００、すなわち、カメラで撮影された映像が４Ｋ（２１６０×３８４０）であると仮定する。

【0056】

コンピュータ装置２００は、配信映像の最大解像度を設定してよく、例えば、１０８０ｐを最大解像度として設定してよい。これは、最終配信映像として再構成された映像の解像度が、最大解像度１０８０ｐと同じであるか、最大解像度１０８０ｐよりも低くなければならないことを意味する。

【0057】

コンピュータ装置２００は、配信映像の最大解像度に基づいて、高画質映像の解像度と低画質映像の解像度を決定してよい。高画質映像の解像度は最大解像度１０８０ｐ未満でなければならず、高画質領域がどれだけ割り当てられるかによって低画質映像の解像度が決定されてよい。

【0058】

例えば、図６に示すように、４つの領域に分割されたグリッド映像６１０で左下端領域が関心領域６０１として設定された場合、高画質映像の解像度は１４４０×２５６０（グリッドサイズ７２０×１２８０）、低画質映像の解像度は９６０×１２８０（グリッドサイズ４８０×６４０）に決定されてよい。

【0059】

図７に示すように、コンピュータ装置２００は、解像度が２１６０×３８４０の原本映像６００をダウンスケールして高画質解像度１４４０×２５６０の映像７００を生成してよい。

【0060】

同様に、図８に示すように、コンピュータ装置２００は、解像度が２１６０×３８４０の原本映像６００をダウンスケールして低画質解像度９６０×１２８０の映像８００を生成してよい。

【0061】

次に、図９を参照すると、コンピュータ装置２００は、原本映像６００から生成された高画質映像７００と低画質映像８００を利用した映像再構成（ｃｏｍｐｏｓｉｔｉｏｎ）によって最終配信映像９００を生成してよい。

【0062】

より詳しく説明すると、コンピュータ装置２００は、高画質映像７００をグリッド映像６１０と同じグリッド形態に分割し、関心領域（左下端領域）に該当する高画質グリッド領域を抽出する。

【0063】

この後、コンピュータ装置２００は、低画質映像８００をグリッド映像６１０と同じグリッド形態に分割し、関心領域以外の残りの領域（左上端領域、右上端領域、右下端領域）に該当する低画質グリッド領域を抽出する。

【0064】

コンピュータ装置２００は、高画質映像７００から抽出されたグリッド領域と低画質映像８００から抽出されたグリッド領域を最終配信映像９００として再構成してよい。

【0065】

このとき、再構成された最終配信映像９００の合計は最大解像度以下であり、残りの領域は黒色で塗りつぶされてよい。

【0066】

すなわち、コンピュータ装置２００は、最終配信映像９００として関心領域だけが高画質で再構成された映像をエンコーダサーバ３２０に伝達してよい。

【0067】

コンピュータ装置２００は、再構成された最終配信映像９００の座標情報、すなわち、高画質グリッド領域と低画質グリッド領域それぞれの座標情報を生成し、最終配信映像９００とともにエンコーダサーバ３２０に伝達してよい。

【0068】

このとき、コンピュータ装置２００は、シングルストリームで高画質グリッド領域と低画質グリッド領域を同時に送信してよい。

【0069】

図１０～１１は、本発明の一実施形態における、映像再生過程を説明するための例示図である。

【0070】

エンコーダサーバ３２０は、配信サーバ３１０から伝達された最終配信映像９００と座標情報をプレイヤ３３０に中継する役割を担う。

【0071】

図１０を参照すると、プレイヤ３３０は、エンコーダサーバ３２０から送信された最終配信映像９００と座標情報を参照しながら、シングルストリームから高画質グリッド領域１００１と低画質グリッド領域１００２を分離してよい。

【0072】

プレイヤ３３０は、エンコーダサーバ３２０から受信した最終配信映像９００に対して、高画質グリッド領域１００１と低画質グリッド領域１００２を分離するための座標情報を利用して後処理（ｐｏｓｔ ｐｒｏｃｅｓｓｉｎｇ）を実行してよい。映像を提供するプラットフォームに応じて多様なグラフィックエンジン、例えば、ＯｐｅｎＧＬなどを使用して最終配信映像９００を後処理してよい。

【0073】

プレイヤ３３０は、図１１に示すように、シングルストリームから分離された高画質グリッド領域１００１と低画質グリッド領域１００２を同じ比率で再結合してよい。プレイヤ３３０は、高画質グリッド領域１００１をダウンスケーリングし、低画質グリッド領域１００２をアップスケーリング（ｕｐｓｃａｌｉｎｇ）することにより、同じ比率で再結合された映像１１００を再生してよい。

【0074】

プレイヤ３３０は、再結合映像１１００を再生するときに、ユーザが再生中の再結合映像１１００において関心領域に設定された部分を拡大したとしても、この部分については高画質の映像を出力することができる。

【0075】

このように、本発明の実施形態によると、単一配信環境においてシングルストリームを使用して関心領域に対して高画質を提供し、それ以外の残りの領域に対して低画質を提供することにより、比較的低いビットレートでも高画質の映像をサービスすることができ、サービス品質（ＱｏＳ）と体感品質（ＱｏＥ）を保障することができる。

【0076】

上述した装置は、ハードウェア構成要素、ソフトウェア構成要素、および／またはハードウェア構成要素とソフトウェア構成要素との組み合わせによって実現されてよい。例えば、実施形態で説明された装置および構成要素は、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ、マイクロコンピュータ、ＦＰＧＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサ、または命令を実行して応答することができる様々な装置のように、１つ以上の汎用コンピュータまたは特殊目的コンピュータを利用して実現されてよい。処理装置は、オペレーティングシステム（ＯＳ）およびＯＳ上で実行される１つ以上のソフトウェアアプリケーションを実行してよい。また、処理装置は、ソフトウェアの実行に応答し、データにアクセスし、データを記録、操作、処理、および生成してもよい。理解の便宜のために、１つの処理装置が使用されるとして説明される場合もあるが、当業者であれば、処理装置が複数個の処理要素および／または複数種類の処理要素を含んでもよいことが理解できるであろう。例えば、処理装置は、複数個のプロセッサまたは１つのプロセッサおよび１つのコントローラを含んでよい。また、並列プロセッサのような、他の処理構成も可能である。

【0077】

ソフトウェアは、コンピュータプログラム、コード、命令、またはこれらのうちの１つ以上の組み合わせを含んでもよく、思うままに動作するように処理装置を構成したり、独立的または集合的に処理装置に命令したりしてよい。ソフトウェアおよび／またはデータは、処理装置に基づいて解釈されたり、処理装置に命令またはデータを提供したりするために、いかなる種類の機械、コンポーネント、物理装置、コンピュータ記録媒体または装置に具現化されてよい。ソフトウェアは、ネットワークによって接続されたコンピュータシステム上に分散され、分散された状態で記録されても実行されてもよい。ソフトウェアおよびデータは、１つ以上のコンピュータ読み取り可能な記録媒体に記録されてよい。

【0078】

実施形態に係る方法は、多様なコンピュータ手段によって実行可能なプログラム命令の形態で実現されてコンピュータ読み取り可能な媒体に記録されてよい。このとき、媒体は、コンピュータによって実行可能なプログラムを継続して記録するものであってもよいし、実行またはダウンロードのために一時的に記録するものであってもよい。また、媒体は、単一または複数のハードウェアが結合した形態の多様な記録手段または格納手段であってよく、あるコンピュータシステムに直接接続させる媒体はもちろん、ネットワーク上に分散して存在するものであってもよい。媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク、および磁気テープのような磁気媒体、ＣＤ－ＲＯＭ、ＤＶＤのような光媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような光磁気媒体、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令が記録されるように構成されたものが挙げられる。また、他の媒体の例として、アプリケーションを流通するアプリストアや、その他の多様なソフトウェアを供給したり流通したりするサイト、サーバなどで管理する記録媒体や格納媒体も含まれる。

【0079】

以上のように、実施形態を、限定された実施形態および図面に基づいて説明したが、当業者であれば、上述した記載から多様な修正および変形が可能であろう。例えば、説明された技術が、説明された方法とは異なる順序で実行されたり、かつ／あるいは、説明されたシステム、構造、装置、回路などの構成要素が、説明された方法とは異なる形態で結合されたりまたは組み合わされたり、他の構成要素または均等物によって対置されたり置換されたとしても、適切な結果を達成することができる。

【0080】

したがって、異なる実施形態であっても、特許請求の範囲と均等なものであれば、添付の特許請求の範囲に属する。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【国際調査報告】