特許7431514映像通話サービスの品質をリアルタイムで測定する方法およびシステム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-02-06
(45)【発行日】2024-02-15
(54)【発明の名称】映像通話サービスの品質をリアルタイムで測定する方法およびシステム
(51)【国際特許分類】
H04N 17/00 20060101AFI20240207BHJP
H04N 7/14 20060101ALI20240207BHJP
【ＦＩ】
H04N17/00 A
H04N7/14 110
【請求項の数】
10
(21)【出願番号】P 2019108788
(22)【出願日】2019-06-11
(65)【公開番号】P2020010321
(43)【公開日】2020-01-16
【審査請求日】2022-05-25
(31)【優先権主張番号】10-2018-0076566
(32)【優先日】2018-07-02
(33)【優先権主張国・地域又は機関】KR
(73)【特許権者】
【識別番号】516014409
【氏名又は名称】ライン プラス コーポレーション
【氏名又は名称原語表記】ＬＩＮＥ Ｐｌｕｓ Ｃｏｒｐｏｒａｔｉｏｎ
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100091214
【弁理士】
【氏名又は名称】大貫 進介
(72)【発明者】
【氏名】イ ドンウォン
【審査官】長谷川 素直
(56)【参考文献】
【文献】韓国公開特許第１０－２００８－００９９９０３（ＫＲ，Ａ）
【文献】特開平０６－３０３５９４（ＪＰ，Ａ）
【文献】国際公開第２００９／０２５０２７（ＷＯ，Ａ１）
【文献】米国特許出願公開第２００８／０１３７９６８（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ １７／００－１７／０６
Ｈ０４Ｎ ７／１４－７／１５
Ｈ０４Ｎ ２１／００－２１／８５８
Ｈ０４Ｎ １９／００－１９／９８
(57)【特許請求の範囲】
【請求項1】
送信端末の映像通話品質測定方法であって、映像通話サービスに従って、原本映像に含まれる原本フレームを加工する加工工程、
受信端末との映像通話のために、カメラから得られるリアルタイム映像フレームを、前記加工された原本フレームのうちの少なくとも一部で代替する代替工程、および
前記映像通話サービスの品質指標の算出のために、前記代替された少なくとも一部の原本フレームを前記受信端末との映像通話のためのフレームとし、前記映像通話サービスを経て前記受信端末に送信する送信工程
を含み、前記原本映像に含まれる原本フレームは、前記原本フレームのためのインデックスを含むように生成され、
前記映像通話サービスの品質指標は、
前記代替された少なくとも一部の原本フレームのそれぞれに対して同じインデックスをもつ前記原本映像の原本フレームを互いに比較して、ＦＲ（Ｆｕｌｌ－Ｒｅｆｅｒｅｎｃｅ）方式によって第１品質指標を算出し、
前記代替された少なくとも一部の原本フレームと、前記代替された少なくとも一部の原本フレームのそれぞれと関連するタイムスタンプに基づいて、ＮＲ（Ｎｏ－Ｒｅｆｅｒｅｎｃｅ）方式によって第２品質指標を算出し、
前記第１品質指標と前記第２品質指標とを組み合わせて前記映像通話サービスの最終的な品質指標を生成すること、
によって得られる、映像通話品質測定方法。
【請求項2】
前記加工工程は、前記原本映像に含まれる原本フレームのそれぞれを、前記映像通話サービスのフレームレートおよび解像度のうちの少なくとも一方によって加工する、請求項１に記載の映像通話品質測定方法。
【請求項3】
前記送信工程は、前記受信端末または前記受信端末と連係する分析端末で前記代替された少なくとも一部の原本フレームに基づいて前記映像通話サービスの品質指標が算出されるように、前記代替された少なくとも一部の原本フレームを、前記映像通話サービスを経て前記受信端末に送信する、請求項１に記載の映像通話品質測定方法。
【請求項4】
前記タイムスタンプは、対応する原本フレームが前記送信端末から送信された時刻と、前記対応する原本フレームが前記受信端末で受信された時刻のうちの少なくとも一方を含む、請求項１に記載の映像通話品質測定方法。
【請求項5】
受信端末の映像通話品質測定方法であって、送信端末から、映像通話サービスを経て、原本映像に含まれる原本フレームのうちの少なくとも一部の原本フレームを受信する受信工程であって、前記少なくとも一部の原本フレームは、前記映像通話サービスのために前記送信端末のカメラから得られるリアルタイム映像フレームを、前記送信端末で前記少なくとも一部の原本フレームに代替することにより、前記映像通話サービスを経て受信される、受信工程、および
前記代替された少なくとも一部の原本フレームに基づいて、前記映像通話サービスの品質を測定するように処理する処理工程
を含み、前記原本映像に含まれる原本フレームは、前記原本フレームのためのインデックスを含むように生成され、
前記映像通話サービスの品質を測定することは、
前記代替された少なくとも一部の原本フレームのそれぞれに対して同じインデックスをもつ前記原本映像の原本フレームを互いに比較して、ＦＲ方式によって第１品質指標を算出し、
前記代替された少なくとも一部の原本フレームと、前記代替された少なくとも一部の原本フレームのそれぞれと関連するタイムスタンプに基づいて、ＮＲ方式によって第２品質指標を算出し、
前記第１品質指標と前記第２品質指標とを組み合わせて前記映像通話サービスの最終的な品質指標を生成すること、
によって行われる、映像通話品質測定方法。
【請求項6】
前記処理工程は、前記代替された少なくとも一部の原本フレームに基づいて前記映像通話サービスの品質を測定する分析端末に、前記代替された少なくとも一部の原本フレームを送信することを含み、
前記分析端末によって、前記第１品質指標が算出され、前記第２品質指標が算出され、前記映像通話サービスの前記最終的な品質指標が生成される、請求項５に記載の映像通話品質測定方法。
【請求項7】
請求項１乃至６のうちのいずれか一項に記載の方法をコンピュータに実行させるためのコンピュータプログラム。
【請求項8】
コンピュータで実現される送信端末であって、映像通話サービスに従って、原本映像に含まれる原本フレームを加工する加工手段、
受信端末との映像通話のために、カメラから得られるリアルタイム映像フレームを、前記加工された原本フレームのうちの少なくとも一部で代替する代替手段、および
前記映像通話サービスの品質指標の算出のために、前記代替された少なくとも一部の原本フレームを前記受信端末との映像通話のためのフレームとし、前記映像通話サービスを経て前記受信端末に送信する送信手段、
を含み、前記原本映像に含まれる原本フレームは、前記原本フレームのためのインデックスを含むように生成され、
前記映像通話サービスの品質指標は、
前記代替された少なくとも一部の原本フレームのそれぞれに対して同じインデックスをもつ前記原本映像の原本フレームを互いに比較して、ＦＲ方式によって第１品質指標を算出し、
前記代替された少なくとも一部の原本フレームと、前記代替された少なくとも一部の原本フレームのそれぞれと関連するタイムスタンプに基づいて、ＮＲ方式によって第２品質指標を算出し、
前記第１品質指標と前記第２品質指標とを組み合わせて前記映像通話サービスの最終的な品質指標を生成すること、
によって得られる、送信端末。
【請求項9】
前記送信手段は、前記受信端末または前記受信端末と連係する分析端末で前記代替された少なくとも一部の原本フレームに基づいて前記映像通話サービスの品質指標が算出されるように、前記代替された少なくとも一部の原本フレームを、前記映像通話サービスを経て前記受信端末に送信する、請求項８に記載の送信端末。
【請求項10】
コンピュータで実現される受信端末であって、送信端末から、映像通話サービスを経て、原本映像に含まれる原本フレームのうちの少なくとも一部の原本フレームを受信する受信手段であって、前記少なくとも一部の原本フレームは、前記映像通話サービスのために、前記送信端末のカメラから得られるリアルタイム映像フレームを、前記送信端末で前記少なくとも一部の原本フレームに代替することにより、前記映像通話サービスを経て受信される、受信手段、および
前記代替された少なくとも一部の原本フレームに基づいて、前記映像通話サービスの品質を測定するように処理する処理手段、
を含み、前記原本映像に含まれる原本フレームは、前記原本フレームのためのインデックスを含むように生成され、
前記映像通話サービスの品質を測定することは、
前記代替された少なくとも一部の原本フレームのそれぞれに対して同じインデックスをもつ前記原本映像の原本フレームを互いに比較して、ＦＲ方式によって第１品質指標を算出し、
前記代替された少なくとも一部の原本フレームと、前記代替された少なくとも一部の原本フレームのそれぞれと関連するタイムスタンプに基づいて、ＮＲ方式によって第２品質指標を算出し、
前記第１品質指標と前記第２品質指標とを組み合わせて前記映像通話サービスの最終的な品質指標を生成すること、
によって行われる、受信端末。
【発明の詳細な説明】
【技術分野】
【0001】
以下の説明は、映像通話サービスの品質をリアルタイムで測定する方法およびシステムに関し、より詳細には、映像通話中に送信端末のカメラリアルタイム映像フレームを原本映像で代替して送信し、受信端末で受信した原本映像を分析して映像通話サービスの品質を測定することができる、映像通話品質測定方法および映像通話品質測定システムを提供する。
【背景技術】
【0002】
モバイルインターネット環境の発展によって高速／大容量モバイルサービスが普遍化している。特に、音声中心であった従来の通話から映像を利用した通話へと迅速に変化している。さらに、映像通話環境では、多様なサービスの開発によって新たなビジネスモデルが論議されているが、これに伴って映像通話サービスの品質に対する基準および評価方法を設ける必要性が提議されている。サービスの品質に問題が発生した場合には迅速な原因把握と対処が必要となり、最終利用者に提供されるサービス品質が一定の水準を満たしているかを評価したりモニタリングしたりすることも必要となる。
【0003】
一方、実際のユーザが実感するモバイル映像通話サービスの品質測定に対する要求が継続して増加しているが、従来の研究や標準はＩＰＴＶやストリーミングビデオサービスのような単方向サービスに焦点が当てられてり、映像通話のようなリアルタイム双方向サービスへの適用には難点が多い。例えば、特許文献１は、高性能の計測器を利用せずに符号化された大容量ビデオコンテンツの損失をフレームに含まれた単位構造に基づいて測定することができる映像品質測定装置および方法を開示している。さらに、様々な客観評価方法は、アクセス方法によって互いに異なる形態の品質を評価するため、映像通話サービスの全般的な品質を表すには不十分である。
【先行技術文献】
【特許文献】
【0004】
【文献】韓国公開特許第１０－２０１８－００４５７２６号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
映像通話中に送信端末のカメラリアルタイム映像フレームを原本映像で代替して送信し、受信端末で受信した原本映像を分析して映像通話サービスの品質を測定することができる、映像通話品質測定方法および映像通話品質測定システムを提供する。
【0006】
受信される原本映像の原本フレームと原本フレームごとのインデックスおよびタイムスタンプに基づき、ＦＲ（Ｆｕｌｌ－Ｒｅｆｅｒｅｎｃｅ）方式およびＮＲ（Ｎｏ－Ｒｅｆｅｒｅｎｃｅ）方式の両方について品質指標を生成することができる、映像通話品質測定方法および映像通話品質測定システムを提供する。
【0007】
位置を基盤としてカメラから得られるリアルタイム映像フレームを原本映像で代替する方式によって、映像通話中の端末にコンテンツを提供することができる、コンテンツ提供方法およびコンテンツ提供システムを提供する。
【課題を解決するための手段】
【0008】
送信端末の映像通話品質測定方法であって、映像通話サービスに従って、原本映像に含まれる原本フレームを加工する加工工程、受信端末との映像通話のために、カメラから得られるリアルタイム映像フレームを、前記加工された原本フレームのうちの少なくとも一部で代替する代替工程、および前記映像通話サービスの品質指標の算出のために、前記代替された少なくとも一部の原本フレームを前記受信端末との映像通話のためのフレームとし、前記映像通話サービスを経て前記受信端末に送信する送信工程を含む、映像通話品質測定方法を提供する。
【0009】
一側面によると、前記加工工程は、前記原本映像に含まれる原本フレームのそれぞれを、前記映像通話サービスのフレームレートおよび解像度のうちの少なくとも一方によって加工することを特徴としてよい。
【0010】
他の側面によると、前記送信工程は、前記受信端末または前記受信端末と連係する分析端末で前記代替された少なくとも一部の原本フレームに基づいて前記映像通話サービスの品質指標が算出されるように、前記代替された少なくとも一部の原本フレームを、前記映像通話サービスを経て前記受信端末に送信することを特徴としてよい。
【0011】
また他の側面によると、前記受信端末または前記受信端末と連係する分析端末で、前記代替された少なくとも一部の原本フレームと前記原本映像に含まれる原本フレームとを互いに比較してＦＲ（Ｆｕｌｌ－Ｒｅｆｅｒｅｎｃｅ）方式によって第１品質指標が算出され、前記代替された少なくとも一部の原本フレームに基づいてＮＲ（Ｎｏ－Ｒｅｆｅｒｅｎｃｅ）方式によって第２品質指標が算出され、前記第１品質指標と前記第２品質指標とを組み合わせて前記映像通話サービスの最終品質指標が生成されることを特徴としてよい。
【0012】
また他の側面によると、前記原本映像に含まれる原本フレームは、前記原本フレームのためのインデックスを含むように生成され、前記受信端末または前記分析端末で、前記代替された少なくとも一部の原本フレームのそれぞれに対して同じインデックスをもつ前記原本映像の原本フレームを互いに比較し、前記ＦＲ方式によって前記第１品質指標が算出されることを特徴としてよい。
【0013】
また他の側面によると、前記受信端末または前記分析端末で、前記代替された少なくとも一部の原本フレームおよび前記代替された少なくとも一部の原本フレームのそれぞれと関連するタイムスタンプに少なくとも基づき、前記ＮＲ方式によって前記第２品質指標を算出することを特徴としてよい。
【0014】
さらに他の側面によると、前記タイムスタンプは、対応する原本フレームが前記送信端末から送信された時刻と、前記対応する原本フレームが前記受信端末に受信された時刻のうちの少なくとも一方を含むことを特徴としてよい。
【0015】
受信端末の映像通話品質測定方法であって、送信端末から、映像通話サービスを経て、原本映像に含まれる原本フレームのうちの少なくとも一部の原本フレームを受信する受信工程であって、前記少なくとも一部の原本フレームは、前記映像通話サービスのために前記送信端末のカメラから得られるリアルタイム映像フレームを前記送信端末で前記少なくとも一部の原本フレームに代替することにより、前記映像通話サービスを経て受信される受信工程、および前記代替された少なくとも一部の原本フレームに基づいて、前記映像通話サービスの品質を測定するように処理する処理工程を含む、映像通話品質測定方法を提供する。
【0016】
第１端末と第２端末との映像通話中にコンテンツを提供するコンテンツ提供方法であって、位置別の原本映像をデータベースに記録する記録工程、映像通話を実施中の前記第１端末および前記第２端末のうちの少なくとも一方の位置情報を取得する取得工程、前記取得した位置情報に対応する原本映像を、前記データベースから検出する検出工程、および前記第１端末および前記第２端末のうちの少なくとも一方が、カメラから得られるリアルタイム映像フレームを、前記検出された原本映像の少なくとも一部の原本フレームで代替して表示または送信するように、前記検出された原本映像を前記第１端末および前記第２端末のうちの少なくとも一方に送信する送信工程を含む、コンテンツ提供方法を提供する。
【0017】
前記方法をコンピュータに実行させるためのコンピュータプログラムを提供する。
【0018】
コンピュータで実現される送信端末であって、映像通話サービスに従って原本映像に含まれる原本フレームを加工する加工手段、および受信端末との映像通話のために、カメラから得られるリアルタイム映像フレームを、前記加工された原本フレームのうちの少なくとも一部で代替し、前記映像通話サービスの品質指標の算出のために、前記代替された少なくとも一部の原本フレームを前記受信端末との映像通話のためのフレームとし、前記映像通話サービスを経て前記受信端末に送信する送信手段を含む、送信端末を提供する。
【0019】
コンピュータで実現される受信端末であって、送信端末から、映像通話サービスを経て、原本映像に含まれる原本フレームのうちの少なくとも一部の原本フレームを受信する受信手段であって、前記少なくとも一部の原本フレームは、前記映像通話サービスのために、前記送信端末のカメラから得られるリアルタイム映像フレームを、前記送信端末で前記少なくとも一部の原本フレームに代替することにより、前記映像通話サービスを経て受信される受信手段、および前記代替された少なくとも一部の原本フレームに基づいて、前記映像通話サービスの品質を測定するように処理する処理手段とを含む、受信端末を提供する。
【発明の効果】
【0020】
映像通話中に送信端末のカメラリアルタイム映像フレームを原本映像で代替して送信し、受信端末で受信した原本映像を分析して映像通話サービスの品質を測定することができる。
【0021】
受信される原本映像の原本フレームと原本フレームごとのインデックスおよびタイムスタンプに基づき、ＦＲ（Ｆｕｌｌ－Ｒｅｆｅｒｅｎｃｅ）方式およびＮＲ（Ｎｏ－Ｒｅｆｅｒｅｎｃｅ）方式の両方について品質指標を生成することができる。
【0022】
位置を基盤としてカメラから得られるリアルタイム映像フレームを原本映像で代替する方式により、映像通話中の端末にコンテンツを提供することができる。
【図面の簡単な説明】
【0023】
【図1】本発明の一実施形態における、ネットワーク環境の例を示した図である。
【図2】本発明の一実施形態における、コンピュータ装置の例を示したブロック図である。
【図3】本発明の一実施形態における、映像通話品質測定過程の例を示した図である。
【図4】本発明の一実施形態における、送信端末の観点から見た映像通話品質測定方法の例を示したフローチャートである。
【図5】本発明の一実施形態における、受信端末の観点から見た映像通話品質測定方法の例を示したフローチャートである。
【図6】本発明の一実施形態における、ＦＲ方式の品質評価を説明するための例を示した図である。
【図7】本発明の一実施形態における、ＮＲ方式の品質評価を説明するための例を示した図である。
【図8】本発明の一実施形態において、コンテンツ提供方法の例を示したフローチャートである。
【発明を実施するための形態】
【0024】
以下、実施形態について、添付の図面を参照しながら詳しく説明する。
【0025】
本発明の実施形態に係るシステムは、以下で説明される少なくとも１つのコンピュータ装置によって実現されてよく、本発明の実施形態に係る方法は、以下で説明される少なくとも１つのコンピュータ装置によって実行されてよい。このとき、コンピュータ装置においては、本発明の一実施形態に係るコンピュータプログラムがインストールされて実行されてよく、コンピュータ装置は、実行されたコンピュータプログラムの制御に従って本発明の実施形態に係る方法を実行してよい。上述したコンピュータプログラムは、コンピュータ装置と結合して本発明の実施形態に係る方法をコンピュータ装置に実行させるためにコンピュータ読み取り可能な記録媒体に記録されてよい。
【0026】
図１は、本発明の一実施形態における、ネットワーク環境の例を示した図である。図１のネットワーク環境は、複数の電子機器１１０、１２０、１３０、１４０、複数のサーバ１５０、１６０、およびネットワーク１７０を含む例を示している。このような図１は、発明の説明のための一例に過ぎず、電子機器の数やサーバの数が図１のように限定されることはない。また、図１のネットワーク環境は、本実施形態に適用可能な環境のうちの一例に過ぎず、本実施形態に適用可能な環境が図１のネットワーク環境に限定されることはない。
【0027】
複数の電子機器１１０、１２０、１３０、１４０は、コンピュータ装置によって実現される固定端末や移動端末であってよい。複数の電子機器１１０、１２０、１３０、１４０の例としては、スマートフォン、携帯電話、ナビゲーション、ＰＣ（ｐｅｒｓｏｎａｌ ｃｏｍｐｕｔｅｒ）、ノート型ＰＣ、デジタル放送用端末、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、ＰＭＰ（Ｐｏｒｔａｂｌｅ Ｍｕｌｔｉｍｅｄｉａ Ｐｌａｙｅｒ）、タブレットなどがある。一例として、図１では、電子機器１（１１０）の例としてスマートフォンを示しているが、本発明の実施形態において、電子機器１（１１０）は、実質的に無線または有線通信方式を利用し、ネットワーク１７０を介して他の電子機器１２０、１３０、１４０および／またはサーバ１５０、１６０と通信することのできる多様な物理的なコンピュータ装置のうちの１つを意味してよい。
【0028】
通信方式が限定されることはなく、ネットワーク１７０が含むことができる通信網（一例として、移動通信網、有線インターネット、無線インターネット、放送網）を利用する通信方式だけではなく、機器間の近距離無線通信が含まれてよい。例えば、ネットワーク１７０は、ＰＡＮ（ｐｅｒｓｏｎａｌ ａｒｅａ ｎｅｔｗｏｒｋ）、ＬＡＮ（ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ）、ＣＡＮ（ｃａｍｐｕｓ ａｒｅａ ｎｅｔｗｏｒｋ）、ＭＡＮ（ｍｅｔｒｏｐｏｌｉｔａｎ ａｒｅａ ｎｅｔｗｏｒｋ）、ＷＡＮ（ｗｉｄｅ ａｒｅａ ｎｅｔｗｏｒｋ）、ＢＢＮ（ｂｒｏａｄｂａｎｄ ｎｅｔｗｏｒｋ）、インターネットなどのネットワークのうちの１つ以上の任意のネットワークを含んでよい。さらに、ネットワーク１７０は、バスネットワーク、スターネットワーク、リングネットワーク、メッシュネットワーク、スター－バスネットワーク、ツリーまたは階層的ネットワークなどを含むネットワークトポロジのうちの任意の１つ以上を含んでもよいが、これらに限定されることはない。
【0029】
サーバ１５０、１６０のそれぞれは、複数の電子機器１１０、１２０、１３０、１４０とネットワーク１７０を介して通信して命令、コード、ファイル、コンテンツ、サービスなどを提供する１つ以上のコンピュータ装置によって実現されてよい。例えば、サーバ１５０は、ネットワーク１７０を介して接続した複数の電子機器１１０、１２０、１３０、１４０にサービス（一例として、映像通話サービス、金融サービス、決済サービス、ソーシャルネットワークサービス、メッセージングサービス、検索サービス、メールサービス、コンテンツ提供サービスなど）を提供するシステムであってよい。
【0030】
図２は、本発明の一実施形態における、コンピュータ装置の例を示したブロック図である。上述した複数の電子機器１１０、１２０、１３０、１４０のそれぞれやサーバ１５０、１６０のそれぞれは、図２に示されたコンピュータ装置２００によって実現されてよく、本発明の実施形態に係る方法は、このようなコンピュータ装置２００によって実行されてよい。
【0031】
このとき、図２に示すように、コンピュータ装置２００は、メモリ２１０、プロセッサ２２０、通信インタフェース２３０、および入力／出力インタフェース２４０を含んでよい。メモリ２１０は、コンピュータ読み取り可能な記録媒体であって、ＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、ＲＯＭ（ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）、およびディスクドライブのような永続的大容量記録装置を含んでよい。ここで、ＲＯＭやディスクドライブのような永続的大容量記録装置は、メモリ２１０とは区分される別の永続的記録装置としてコンピュータ装置２００に含まれてもよい。また、メモリ２１０には、オペレーティングシステムと、少なくとも１つのプログラムコードが記録されてよい。このようなソフトウェア構成要素は、メモリ２１０とは別のコンピュータ読み取り可能な記録媒体からメモリ２１０にロードされてよい。このような別のコンピュータ読み取り可能な記録媒体は、フロッピー（登録商標）ドライブ、ディスク、テープ、ＤＶＤ／ＣＤ－ＲＯＭドライブ、メモリカードなどのコンピュータ読み取り可能な記録媒体を含んでよい。他の実施形態において、ソフトウェア構成要素は、コンピュータ読み取り可能な記録媒体ではない通信インタフェース２３０を通じてメモリ２１０にロードされてもよい。例えば、ソフトウェア構成要素は、ネットワーク１７０を介して受信されたファイルによってインストールされるコンピュータプログラムに基づいてコンピュータ装置２００のメモリ２１０にロードされてよい。
【0032】
プロセッサ２２０は、基本的な算術、ロジック、および入出力演算を実行することにより、コンピュータプログラムの命令を処理するように構成されてよい。命令は、メモリ２１０または通信インタフェース２３０によって、プロセッサ２２０に提供されてよい。例えば、プロセッサ２２０は、メモリ２１０のような記録装置に記録されたプログラムコードに従って受信される命令を実行するように構成されてよい。
【0033】
通信インタフェース２３０は、ネットワーク１７０を介してコンピュータ装置２００が他の装置（一例として、上述した記録装置）と互いに通信するための機能を提供してよい。一例として、コンピュータ装置２００のプロセッサ２２０がメモリ２１０のような記録装置に記録されたプログラムコードに従って生成した要求や命令、データ、ファイルなどが、通信インタフェース２３０の制御に従ってネットワーク１７０を介して他の装置に伝達されてよい。これとは逆に、他の装置からの信号や命令、データ、ファイルなどが、ネットワーク１７０を介してコンピュータ装置２００の通信インタフェース２３０を通じてコンピュータ装置２００に受信されてよい。通信インタフェース２３０を通じて受信された制御信号や命令、データなどは、プロセッサ２２０やメモリ２１０に伝達されてよく、ファイルなどは、コンピュータ装置２００がさらに含むことのできる記録媒体（上述した永続的記録装置）に記録されてよい。
【0034】
入力／出力インタフェース２４０は、入力／出力装置２５０とのインタフェースのための手段であってよい。例えば、入力装置は、マイク、キーボード、カメラ、またはマウスなどの装置を、出力装置は、ディスプレイ、スピーカなどのような装置を含んでよい。他の例として、入力／出力インタフェース２４０は、タッチスクリーンのように入力と出力のための機能が１つに統合された装置とのインタフェースのための手段であってもよい。入力／出力装置２５０は、コンピュータ装置２００と１つの装置で構成されてもよい。
【0035】
また、他の実施形態において、コンピュータ装置２００は、図２の構成要素よりも少ないか多くの構成要素を含んでもよい。しかし、大部分の従来技術的構成要素を明確に図に示す必要はない。例えば、コンピュータ装置２００は、上述した入力／出力装置２５０のうちの少なくとも一部を含むように実現されてもよいし、トランシーバやデータベースなどのような他の構成要素をさらに含んでもよい。
【0036】
図３は、本発明の一実施形態における、映像通話品質測定過程の例を示した図である。図３は、第１端末３１０と第２端末３２０が映像通話を行っている状況であると仮定する。第１端末３１０と第２端末３２０のそれぞれは、映像通話のためのメディア（映像やオーディオなど）の送信端末であると同時に受信端末であってよく、図３の実施形態では、送信端末としての第１端末３１０が受信端末としての第２端末３２０にメディアを伝達する過程について説明する。
【0037】
一般的な映像通話の過程では、第１端末３１０は、カメラ３１１で撮影された映像の信号である入力信号３１２を、エンコーダおよびパケタイザ３１３によってエンコードおよびパケット化して、メディアストリームを生成し、生成されたメディアストリームは、ネットワーク１７０を介して第２端末３２０に伝達される。映像通話サービスの種類によっては、メディアストリームは、映像通話サービスを提供するサーバ（図示せず）を経て第１端末３１０から第２端末３２０に送信されることもある。このとき、第２端末３２０は、第１端末３１０から受信されるメディアストリームを、デコーダおよびデパケタイザ３２１によってデコードおよびデパケット化して、出力信号３２２を生成する。一般的な映像通話の過程であれば、第２端末３２０は、出力信号３２２を出力部３２３から出力するが、これが、映像通話のための映像やオーディオなどを第２端末３２０から出力することとなる。第２端末３２０も、同じような方法によって第１端末３１０に映像通話のための映像やオーディオなどを伝達し、第１端末３１０が映像やオーディオなどを出力することにより、第１端末３１０と第２端末３２０との間に映像通話サービス提供が成立するようになる。
【0038】
一方、本実施形態では、映像通話サービスの品質を測定するために、第１端末３１０は、入力信号３１２の代わりに、第１格納場所３１４に格納されていた原本映像を第２端末３２０に送信してよい。まず、第１端末３１０は、原本映像を原本映像加工部３１５で加工してよい。例えば、予め生成された原本映像と、映像通話サービスのフレームレートおよび／または解像度などとが互いに合わない場合があるため、第１端末３１０は、原本映像加工部３１５において、原本映像のフレームレートおよび解像度が、品質を測定しようとする映像通話サービスのフレームレートおよび解像度に対応するように、原本映像に含まれる原本フレームを加工してよい。より具体的な例として、カメラに入力される映像のフレームレートが１５ｆｐｓ（ｆｒａｍｅ ｐｅｒ ｓｅｃｏｎｄ）であり、原本映像のフレームレートが３０ｆｐｓである場合、原本映像を１フレームずつ飛ばしながら代替してよい。原本映像に含まれる原本フレームのインデックスが「１、２、３、４、５、６、７、・・・」のように付与されている場合、「１、３、５、７、・・・」の原本フレームで、カメラに入力される映像のフレームを代替することができる。また、第１端末３１０は、入力信号３１２として含まれるリアルタイム映像フレームを、加工された原本フレームのうちの少なくとも一部で代替してよい。この場合、代替された少なくとも一部の原本フレームに含まれる入力信号３１２が、エンコードおよびパケット化されて第２端末３２０に送信されてよい。
【0039】
第２端末３２０は、メディアストリームの形態で送信された入力信号をデコードおよびデパケット化することで、代替された少なくとも一部の原本フレームを含む出力信号３２２を得ることができ、代替された少なくとも一部の原本フレームに基づいて、映像通話サービスの品質を測定することができる。このとき、映像通話サービスの品質を測定するために、代替された少なくとも一部の原本フレームが分析モジュール３３０に伝達されてよい。実施形態によっては、分析モジュール３３０は、第２端末３２０に含まれてもよく、第２端末３２０と連係する別の分析端末（図示せず）に含まれてもよい。図３では、分析モジュール３３０が第２端末３２０に含まれる場合を仮定している。
【0040】
このとき、図３の実施形態では、分析モジュール３３０がＦＲ（Ｆｕｌｌ－Ｒｅｆｅｒｅｎｃｅ）モデル３３１、ＲＲ（Ｒｅｄｕｃｅｄ－Ｒｅｆｅｒｅｎｃｅ）モデル３３２、およびＮＲ（Ｎｏ－Ｒｅｆｅｒｅｎｃｅ）モデル３３３と、第２格納場所３３４を含む例を示している。実施形態によっては、ＲＲ（Ｒｅｄｕｃｅｄ－Ｒｅｆｅｒｅｎｃｅ）モデル３３２は省略されてもよく、第２格納場所３３４は、分析モジュール３３０ではなく第２端末３２０の別の場所や上述した別の分析端末に含まれてもよい。
【0041】
ＦＲモデル３３１は、代替された少なくとも一部の原本フレームに含まれるインデックスを利用し、第２格納場所３３４に格納された原本映像に含まれる原本フレームから、同じインデックスの原本フレームを見つけ出して互いに比較するＦＲ方式によって、映像通話サービスの品質に対する第１品質指標を算出することができる。ＦＲ方式は、原本映像と処理映像の両方が分かっている場合、これらを直接比較して受信された処理映像の品質を測定する方法であり、一例として、ピーク信号対雑音比（ＰＳＮＲ：Ｐｅａｋ Ｓｉｇｎａｌ－ｔｏ－Ｎｏｉｓｅ Ｒａｔｉｏ）もこれに含まれると言える。このようなＦＲ方式は、原本映像（一例として、第２格納場所３３４に格納された原本映像）と処理映像（代替された少なくとも一部の原本フレーム）の両方を用いるため、比較的正確に人間が認識する画質を測定することはできるが、実際の応用においては原本映像が存在しない場合が多いため、適用範囲は制限される。ＦＲ方式は、ピクセル（ｐｉｘｅｌ）別の歪み（ノイズ）程度を測定するＰＳＮＲから人間の視覚システム（Ｈｕｍａｎ Ｖｉｓｕａｌ Ｓｙｓｔｅｍ：ＨＶＳ）を考慮する方式やマシンラーニングによって評価する方式など、多様な方法が存在する。一実施形態において、インターネット技術特別調査委員会（Ｉｎｔｅｒｎｅｔ Ｅｎｇｉｎｅｅｒｉｎｇ Ｔａｓｋ Ｆｏｒｃｅ：ＩＥＴＦ）で標準化が進められている「Ｖｉｄｅｏ Ｃｏｄｅｃ Ｔｅｓｔｉｎｇ ａｎｄ Ｑｕａｌｉｔｙ Ｍｅａｓｕｒｅｍｅｎｔ（ｄｒａｆｔ－ｉｅｔｆ－ｎｅｔｖｃ－ｔｅｓｔｉｎｇ－０１）」で採択される方法がＦＲ方式として使用されてよい。この標準化は２０１６年２月から始まり、使用されたＦＲ方式は、現在まで開発された方式の中でも学術的にも実際の使用においてもその性能が証明された。ＦＲ方式は、フレーム内（ｉｎｔｒａ－ｆｒａｍｅ）映像の歪み程度を適切に評価することは可能であるが、フレーム間（ｉｎｔｅｒ－ｆｒａｍｅ）の歪み、すなわち、画面スキップ（ｓｋｉｐ）、画面フリーズ（ｆｒｅｅｚｉｎｇ）、ジャーキネス（ｊｅｒｋｉｎｅｓｓ）などのような歪みの評価には困難があるという短所がある。本発明の実施形態では、インターネット状況の変化が著しいモバイル環境を考慮し、ＦＲ方式だけではなくＮＲ方式をハイブリッドに組み合わせて評価を行う。
【0042】
また、ＮＲモデル３３３は、ＦＲ方式では測定が困難である画面スキップ、画面フリーズ、ブラックネス（ｂｌａｃｋｎｅｓｓ）程度などを評価するために、ＮＲ方式によって映像通話サービスの品質に対する第２品質指標を算出してよい。ＮＲ方式は、原本映像に関するいかなる情報も利用せず、処理映像のみを利用して品質を評価する方式である。原本映像が必要ないため適用範囲は極めて多様ではあるものの、処理映像だけで画質を測定することは容易でない。しかし、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）のようなブロック基盤の符号化方法で特徴的に現われる低周波領域のブロック化現象や高周波領域の波型雑音などを測定する方法に関する研究が進められている。一方、ＮＲ方式は、映像に雑音が常に存在するという仮定を前提とする。このような仮定は、画質測定エラーが発生する危険性を内包しており、映像内にチェス盤が存在する場合、歪みが全くなかったとしてもブロック型の雑音として認識される現象がその一例であるが、本発明の実施形態では、測定映像および／または原本映像を指定することができるため、このようなエラーをなくすことができる。このようなＮＲ方式の品質評価は、受信された映像と映像内のインデックス（一例として、時間情報）を利用することで、映像通話サービスのフレームレート（ｆｒａｍｅ ｒａｔｅ）、解像度、実際に送信されたフレームの間隔、映像スキップ、映像フリーズ、ブラックネス、ジャーキネスなど、一般的なＮＲ方式によって測定されるメトリック（ｍｅｔｒｉｃ）のうちの１つを測定して評価する。測定メトリック中の遅延（ｄｅｌａｙ）測定方式は、正確な単方向遅延のために送信端末と受信端末とを時間同期化させる方式と、受信端末で再生される映像信号をカメラに再挿入して送信端末に戻すループバック（ｌｏｏｐｂａｃｋ）方式とがある。同期化方式の場合、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）を使用する方式が一般的であるが、衛星を受信しない室内で測定する場合にはネットワークタイププロトコル（ＮＴＰ：Ｎｅｔｗｏｒｋ Ｔｉｍｅ ｐｒｏｔｏｃｏｌ）を用いる方式が利用されることもある。同期化された送信端末から送るタイムスタンプＮ値が、受信された端末のタイムスタンプＭ値から探知されれば、遅延はＭ－Ｎ値として計算されてよい。複数回の遅延測定を行うことで平均や標準偏差などの統計的特性を評価してよい。ループバック方式の場合、回路スイッチ（ｃｉｒｃｕｉｔ ｓｗｉｔｃｈ）方式の通話で主に使用されるが、ネットワーク特性が変化するパケットスイッチ（ｐａｃｋｅｔ ｓｗｉｔｃｈ）方式では多少のジッタ（ｊｉｔｔｅｒ）が発生することがある。しかし、インターネットを介した映像通話サービスのほとんどには約４００～７００ｍｓの遅延が生じるため、ループバック方式の不正確性は約１０％となる。遅延の値は大体の趨勢をみる程度のものであるため、この程度の不正確性は許容範囲内である。同期化がなされていない送信端末から送るタイムスタンプＮ値が、受信された端末からループバックされ、再び送信端末のタイムスタンプＬ値で探知されれば、遅延（Ｌ－Ｎ）／２値として計算されてよい。この場合にも、複数回の遅延測定を行うことで平均や標準偏差などの統計的特性を評価してよい。遅延の値を絶対評価手段ではなく相対評価手段、例えば、標準偏差、ピーク／平均の比率（ｐｅａｋ／ｍｅａｎ ｒａｔｉｏ）などのようなサービス安全性の評価手段として使用すれば、ループバック方式も意味のあるメトリックを提供することができる。Ｈ．２６Ｘ、ＭＰＥＧなどのブロック－離散コサイン変換（ＤＣＴ：Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）映像符号化の場合、大部分は８×８または４×４に固定されたブロックで変換符号化を実行するため、ブロック型雑音もこの構造で発生するようになり、この性質を利用してブロック型雑音を中心に映像に含まれた雑音水準を推定する方法が活発に研究されている。本発明の実施形態では、ソーベル（Ｓｏｂｅｌ）演算によって映像に存在するエッジを抽出し、エッジとエッジ内部のエネルギーの比率を垂直および水平軸に対して計算して歪みの程度を測定する。さらに、ブロックの平坦度（ｆｌａｔｎｅｓｓ）、人間の視覚システム特性に基づいたテクスチャマスキング（ｔｅｘｔｕｒｅ ｍａｓｋｉｎｇ）効果、輝度適応（ｌｕｍｉｎａｎｃｅ ａｄａｐｔｉｏｎ）を考慮して評価性能を高めてもよい。受信映像のフレームカウント（ｆｒａｍｅ ｃｏｕｎｔ）情報の規則性に基づいて映像スキップとフレームレートを判別してよい。例えば、フレームカウントが「１、３、５、７、・・・」のように２ずつ増加する場合、原本映像のフレームレートである３０ｆｐｓ（ｆｒａｍｅ ｐｅｒ ｓｅｃｏｎｄ）の１／２であることが分かる。フレームカウントが規則的に増加しなければ、ネットワーク環境の不安定によるパケットエラー（ｐａｃｋｅｔ ｅｒｒｏｒ）が発生して映像スキップが発生したことが分かる。１単位時間にスキップされたフレームの比率を計算すれば、統計的特性を利用してスキップ程度を測定することができる。複数のスキップが発生すれば、タイムスタンプ（ｔｉｍｅ ｓｔａｍｐ）情報と比例してフレームカウントが増加せずに階段式に増加し、映像フリーズが発生する。一定時間内のそれぞれのフリーズ比率と全体フリーズの比率に適合する加重合（ｗｅｉｇｈｔ ｓｕｍ）を出せば、停止フリーズを測定することができる。
【0043】
一方、ＲＲ方式とは、原本映像と処理映像の両方は存在しないが、それぞれの映像から抽出した特徴（ｆｅａｔｕｒｅｓ）を用いて処理映像の品質を測定する方式である。このようなＲＲ方式の使用のために、第１端末３１０は、代替された少なくとも一部の原本フレームのそれぞれから特徴を抽出して第２端末３２０に送信してよく、ＲＲ（Ｒｅｄｕｃｅｄ－Ｒｅｆｅｒｅｎｃｅ）モデル３３２は、第２端末３２０が受信した特徴を利用して処理映像の品質を測定することができる。これに関して２つの形態の応用が考えられる。一実施形態は、受信側での品質評価である。単方向通信網の場合、符号化された動画データとともに原本映像の特徴を送信すれば、受信側では圧縮された動画を復号化し、復号化された動画から処理映像の特徴を抽出する。そして、このような処理映像の特徴と原本映像の特徴とを互いに比較して処理映像の品質を測定してよい。他の実施形態は、送信側での品質評価である。双方向通信網の場合、受信側で復号化された動画の特徴を抽出した後、リターンチャネルを介して抽出された特徴を送信側に送信し、送信側で原本映像の特徴とリターンされた処理映像の特徴とを比較して処理映像の品質をモニタリングしてよい。
【0044】
図４は、本発明の一実施形態における、送信端末の観点から見た映像通話品質測定方法の例を示したフローチャートである。本実施形態に係る映像通話品質測定方法は、一例として、上述した送信端末である第１端末３１０を実現するコンピュータ装置２００によって実行されてよい。例えば、コンピュータ装置２００のプロセッサ２２０は、メモリ２１０が含むオペレーティングシステムのコードと少なくとも１つのプログラムのコードとによる制御命令（ｉｎｓｔｒｕｃｔｉｏｎ）を実行するように実現されてよい。ここで、プロセッサ２２０は、コンピュータ装置２００に記録されたコードが提供する制御命令に従ってコンピュータ装置２００が図４の方法に含まれる段階４１０～段階４３０を実行するようにコンピュータ装置２００を制御してよい。図４では、このようなコンピュータ装置２００によって実現された第１端末３１０が図４の方法を実行する実施形態について説明する。
【0045】
段階４１０において、第１端末３１０は、映像通話サービスに従って、原本映像に含まれる原本フレームを加工することができる。上述したように、原本映像に対する加工は、代替される原本映像を、映像通話サービスを経て第２端末３２０に送信するために、映像通話サービスのフレームレートおよび／または解像度などに適合するように原本映像の原本フレームを加工する過程であってよい。
【0046】
段階４２０において、第１端末３１０は、受信端末との映像通話のためにカメラから得られるリアルタイム映像フレームを、加工された原本フレームのうちの少なくとも一部に代替することができる。例えば、３０ｆｐｓの原本映像を１５ｆｐｓの映像通話サービスで送信するために、原本映像の２つの原本フレームごとに１つの原本フレームが、カメラから得られるリアルタイム映像フレームのそれぞれに対応して代替されてよい。受信端末は、上述した第２端末３２０に対応してよい。
【0047】
段階４３０において、第１端末３１０は、映像通話サービスの品質指標の算出のために、代替された少なくとも一部の原本フレームを、受信端末との映像通話のためのフレームとして使用して、映像通話サービスを経て受信端末に送信することができる。例えば、第１端末３１０は、段階４３０において、受信端末または受信端末と連係する分析端末で代替された少なくとも一部の原本フレームに基づいて映像通話サービスの品質指標を算出するように、代替された少なくとも一部の原本フレームを、映像通話サービスを経て受信端末に送信してよい。このような代替された原本フレームの送信は、受信端末である第２端末３２０に、上述したようなＦＲ方式、ＲＲ方式、および／またはＮＲ方式によって映像通話サービスの品質を測定することができる能力を提供してよい。
【0048】
一実施形態として、受信端末または分析端末は、代替された少なくとも一部の原本フレームと、原本映像に含まれる原本フレームとを互いに比較してＦＲ方式によって第１品質指標を算出し、代替された少なくとも一部の原本フレームに基づいて、ＮＲ方式によって第２品質指標を算出し、第１品質指標と第２品質指標とを組み合わせて映像通話サービスの最終品質指標を生成してよい。例えば、原本映像に含まれる原本フレームは、原本フレームのためのインデックスを含むように生成されてよい。このようなインデックスは、原本フレームの再生と関連する時間情報および／または順序情報を含んでよい。このとき、受信端末または分析端末は、代替された少なくとも一部の原本フレームのそれぞれに対して同じインデックスをもつ原本映像の原本フレームを互いに比較し、ＦＲ方式によって第１品質指標を算出してよい。また、受信端末または分析端末は、代替された少なくとも一部の原本フレームおよび該代替された少なくとも一部の原本フレームのそれぞれと関連するタイムスタンプに少なくとも基づき、ＮＲ方式によって第２品質指標を算出してよい。このとき、タイムスタンプは、対応する原本フレームが送信端末である第１端末３１０から送信された時刻と、対応する原本フレームが受信端末に受信された時刻のうちの少なくとも一方を含んでよい。
【0049】
図５は、本発明の一実施形態における、受信端末の観点から見た映像通話品質測定方法の例を示したフローチャートである。本実施形態に係る映像通話品質測定方法は、一例として、上述した受信端末である第２端末３２０を実現するコンピュータ装置２００によって実行されてよい。例えば、コンピュータ装置２００のプロセッサ２２０は、メモリ２１０が含むオペレーティングシステムのコードと少なくとも１つのプログラムのコードとによる制御命令（ｉｎｓｔｒｕｃｔｉｏｎ）を実行するように実現されてよい。ここで、プロセッサ２２０は、コンピュータ装置２００に記録されたコードが提供する制御命令に従ってコンピュータ装置２００が図５の方法に含まれる段階５１０および段階５２０を実行するようにコンピュータ装置２００を制御してよい。図５では、このようなコンピュータ装置２００によって実現された第２端末３２０が図５の方法を実行する実施形態について説明する。
【0050】
段階５１０において、第２端末３２０は、送信端末から、映像通話サービスを経て、原本映像に含まれる原本フレームのうちの少なくとも一部の原本フレームを受信することができる。ここで、送信端末は、上述した第１端末３１０に対応してよく、少なくとも一部の原本フレームは、映像通話サービスのために送信端末のカメラから得られたリアルタイム映像フレームを、送信端末が少なくとも一部の原本フレームに代替することにより、映像通話サービスを経て受信されてよい。
【0051】
段階５２０において、第２端末３２０は、代替された少なくとも一部の原本フレームに基づいて映像通話サービスの品質を測定するように処理することができる。品質の測定が第２端末３２０とは別の分析端末によってなされる場合、第２端末３２０は、段階５２０において、代替された少なくとも一部の原本フレームを分析端末に伝達するだけでよい。図５では、第２端末３２０が品質の測定を直接処理する実施形態について説明しており、このために、段階５２０が段階５２１～段階５２３を含む実施形態について説明する。別の分析端末が活用される場合、段階５２１～段階５２３は段階５２０とは分離され、分析端末によって実行されてよい。
【0052】
段階５２１において、第２端末３２０は、代替された少なくとも一部の原本フレームと、原本映像に含まれる原本フレームとを互いに比較し、ＦＲ方式によって第１品質指標を算出してよい。上述したように、原本映像に含まれる原本フレームは、原本フレームのためのインデックスを含むように生成されてよく、このとき、インデックスは、原本フレームの再生と関連する時間情報および／または順序情報を含んでよい。この場合、第２端末３２０は、段階５２１において、代替された少なくとも一部の原本フレームのそれぞれに対して同じインデックスをもつ原本映像の原本フレームを互いに比較し、ＦＲ方式によって第１品質指標を算出してよい。
【0053】
段階５２２において、第２端末３２０は、代替された少なくとも一部の原本フレームに基づき、ＮＲ方式によって第２品質指標を算出してよい。このとき、第２端末３２０は、代替された少なくとも一部の原本フレームおよび該代替された少なくとも一部の原本フレームのそれぞれと関連するタイムスタンプに少なくとも基づき、ＮＲ方式によって第２品質指標を算出してよい。
【0054】
段階５２３において、第２端末３２０は、第１品質指標と第２品質指標とを組み合わせて映像通話サービスの最終品質指標を生成してよい。ＦＲ方式によって算出された第１品質指標は、上述したように、フレーム間の歪み、すなわち、画面スキップ、画面フリーズ、ジャーキネスなどのような歪みを評価することが困難である反面、ＮＲ方式によって算出された第２品質指標は、映像通話サービスのフレームレート、解像度、実際に送信されたフレームの間隔、映像スキップ、映像フリーズ、ブラックネス、ジャーキネスなどのような多様な指標の測定が可能である。したがって、このような第１および第２品質指標を組み合わせた最終品質指標は、インターネット状況の変化が著しいモバイル環境でも、映像通話サービス品質を正確に測定することが可能となる。
【0055】
図６は、本発明の一実施形態における、ＦＲ方式の品質評価を説明するための例を示した図である。送信端末６１０と受信端末６２０との間に映像通話が連結されると、一定の安定化時間（ｔｉｍｅ ｓｔａｂｌｅ）の後、送信端末６１０は映像を受信端末６２０に送信する。このとき、送信端末６１０は、映像通話サービスに適合するように原本映像６３０を加工し、原本映像６３０の原本フレームを受信端末６２０に送信してよい。図６では、３０ｆｐｓの原本映像６３０を１５ｆｐｓの映像通話サービスを経て送信するために、２つの原本フレームごとに１つの原本フレームを送信する例について説明している。言い換えれば、「１、２、３、４、５、６、７、・・・」のインデックスで原本映像６３０の原本フレームを識別するとき、「１、３、５、７、・・・」の原本フレームが送信端末６１０から受信端末６２０に送信されてよい。このとき、受信端末６２０は、受信された原本フレーム６４０と、受信端末６２０が取得した原本映像の原本フレームのうちで受信された原本フレーム６４０と同じインデックスをもつ原本フレーム６５０とを互いに比較することにより、ＦＲ方式の評価６６０を処理してよい。
【0056】
図７は、本発明の一実施形態における、ＮＲ方式の品質評価を説明するための例を示した図である。図７は、図６と同じように、送信端末６１０が映像通話サービスに適合するように原本映像６３０を加工して原本映像６３０の原本フレームを受信端末６２０に送信することにより、受信端末６２０が原本フレーム６４０を受信した例について示している。また、図７では、原本フレーム６４０のそれぞれが受信された時刻に関する情報を含むタイムスタンプ７１０を利用することで、ＮＲ方式の評価７２０を処理することについて示している。
【0057】
言い換えれば、受信端末６２０が受信された原本映像６３０の原本フレームを「１、３、５、７、・・・」のインデックスで識別するとき、インデックス変化の統計的特性、例えば、画面がフリーズした間隔や回数などの比率を線形あるいは非線形で組み合わせることで、画面スキップや画面フリーズを測定してよい。また、受信端末６２０が受信された原本映像６３０の原本フレームを「０、６７、１３３、２００、・・・」のタイムスタンプで識別するとき、タイムスタンプの間隔、受信された原本フレームの動き変化度を利用してジャーキネスを測定してよい。
【0058】
一方、他の実施形態として、映像通話中の映像の代替は、映像通話中であるユーザにコンテンツを提供するための技術としても活用可能である。
【0059】
図８は、本発明の一実施形態における、コンテンツ提供方法の例を示したフローチャートである。図８の実施形態に係るコンテンツ提供方法は、上述した少なくとも１つのコンピュータ装置２００によって実現されてよく、コンテンツ提供サーバによって実行されてよい。このようなコンテンツ提供サーバは、第１端末と第２端末との映像通話中にコンテンツを提供するように実現されてよい。例えば、コンピュータ装置２００のプロセッサ２２０は、メモリ２１０が含むオペレーティングシステムのコードと少なくとも１つのプログラムのコードとによる制御命令（ｉｎｓｔｒｕｃｔｉｏｎ）を実行するように実現されてよい。ここで、プロセッサ２２０は、コンピュータ装置２００に記録されたコードが提供する制御命令に従ってコンピュータ装置２００が図８の方法に含まれる段階８１０～段階８４０を実行するようにコンピュータ装置２００を制御してよい。
【0060】
段階８１０において、コンピュータ装置２００は、位置別の原本映像をデータベースに記録することができる。原本映像は、コンテンツ提供サーバがユーザに提供しようとする映像コンテンツを含んでよい。このような位置別の原本映像は、該当の位置と関連する情報を含んでよく、特定の位置と関連するコンテンツ提供者によって登録されてよい。
【0061】
段階８２０において、コンピュータ装置２００は、映像通話を実施している第１端末および第２端末のうちの少なくとも一方の位置情報を取得することができる。このような位置情報は、基本的に、第１端末および第２端末のうちの少なくとも一方から受信されるＧＰＳ座標に基づいて取得されてよいが、第１端末および第２端末のうちの少なくとも一方の室内位置などを把握するためのＷｉ－Ｆｉ信号の強度やビーコン情報などを活用して取得されてもよい。
【0062】
段階８３０において、コンピュータ装置２００は、取得した位置情報に対応する原本映像を、データベースから検出することができる。例えば、位置情報によって識別される場所Ａと関連されて登録された原本映像Ｂを、データベースから検出することができる。
【0063】
段階８４０において、コンピュータ装置２００は、第１端末および第２端末のうちの少なくとも一方が、カメラから得られるリアルタイム映像フレームを、検出された原本映像の少なくとも一部の原本フレームで代替して表示または送信するように、検出された原本映像を第１端末および第２端末のうちの少なくとも一方に送信することができる。この場合、第１端末および第２端末のうちの少なくとも一方は、送信された原本映像に含まれる原本フレームを、映像通話サービスのフレームレートおよび解像度のうちの少なくとも一方によって加工し、加工された原本フレームのうちの少なくとも一部の原本フレームで、カメラから得られるリアルタイム映像フレームを代替して表示または送信することにより、映像通話中に第１端末および／または第２端末で原本映像によるコンテンツを表示することができる。したがって、第１端末および第２端末のうちの少なくとも一方のディスプレイには、既存の映像通話のためにカメラから得られるリアルタイム映像ではない、加工された原本映像が表示されてよく、第１端末および第２端末のうちの少なくとも一方は、自身の現在位置や場所と関連する情報、または映像通話の相手の現在位置や場所と関連する情報を映像コンテンツの形態で得ることが可能となる。
【0064】
このように、本発明の実施形態によると、映像通話中に送信端末のカメラリアルタイム映像フレームを原本映像に代替して送信し、受信端末で受信した原本映像を分析して映像通話サービスの品質を測定することができる。また、受信される原本映像の原本フレームと、原本フレームごとのインデックスおよびタイムスタンプに基づき、ＦＲ方式およびＮＲ方式の両方について品質指標を生成することができる。これだけでなく、位置を基盤としてカメラから得られるリアルタイム映像フレームを原本映像に代替する方式により、映像通話中の端末にコンテンツを提供することができる。
【0065】
上述したシステムまたは装置は、ハードウェア構成要素、またはハードウェア構成要素とソフトウェア構成要素との組み合わせによって実現されてよい。例えば、実施形態で説明された装置および構成要素は、例えば、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ、マイクロコンピュータ、ＦＰＧＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサ、または命令を実行して応答することができる様々な装置のように、１つ以上の汎用コンピュータまたは特殊目的コンピュータを利用して実現されてよい。処理装置は、オペレーティングシステム（ＯＳ）およびＯＳ上で実行される１つ以上のソフトウェアアプリケーションを実行してよい。また、処理装置は、ソフトウェアの実行に応答し、データにアクセスし、データを記録、操作、処理、および生成してもよい。理解の便宜のために、１つの処理装置が使用されるとして説明される場合もあるが、当業者は、処理装置が複数個の処理要素および／または複数種類の処理要素を含んでもよいことが理解できるであろう。例えば、処理装置は、複数個のプロセッサまたは１つのプロセッサおよび１つのコントローラを含んでよい。また、並列プロセッサのような、他の処理構成も可能である。
【0066】
ソフトウェアは、コンピュータプログラム、コード、命令、またはこれらのうちの１つ以上の組み合わせを含んでもよく、思うままに動作するように処理装置を構成したり、独立的または集合的に処理装置に命令したりしてよい。ソフトウェアおよび／またはデータは、処理装置に基づいて解釈されたり、処理装置に命令またはデータを提供したりするために、いかなる種類の機械、コンポーネント、物理装置、仮想装置、コンピュータ記録媒体または装置に具現化されてよい。ソフトウェアは、ネットワークによって接続されたコンピュータシステム上に分散され、分散された状態で記録されても実行されてもよい。ソフトウェアおよびデータは、１つ以上のコンピュータ読み取り可能な記録媒体に記録されてよい。
【0067】
実施形態に係る方法は、多様なコンピュータ手段によって実行可能なプログラム命令の形態で実現されてコンピュータ読み取り可能な媒体に記録されてよい。前記コンピュータ読み取り可能な媒体は、プログラム命令、データファイル、データ構造などを単独でまたは組み合わせて含んでよい。媒体は、コンピュータで実行可能なプログラムを継続して記録するものであっても、実行またはダウンロードのために一時記録するものであってもよい。また、媒体は、単一または複数のハードウェアが結合した形態の多様な記録手段または格納手段であってよく、あるコンピュータシステムに直接接続する媒体に限定されることはなく、ネットワーク上に分散して存在するものであってもよい。媒体の例としては、ハードディスク、フロッピディスク、磁気テープのような磁気媒体、ＣＤ－ＲＯＭ、ＤＶＤのような光媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような光磁気媒体、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどを含み、プログラム命令が記録されるように構成されたものであってよい。また、媒体の他の例として、アプリケーションを配布するアプリケーションストアやその他の多様なソフトウェアを供給または配布するサイト、サーバなどで管理する記録媒体または格納媒体が挙げられる。プログラム命令の例には、コンパイラによって生成されるもののような機械語コードだけでなく、インタプリタなどを使用してコンピュータによって実行されることのできる高級言語コードを含む。
【0068】
以上のように、実施形態を、限定された実施形態および図面に基づいて説明したが、当業者であれば、上述した記載から多様な修正および変形が可能であろう。例えば、説明された技術が、説明された方法とは異なる順序で実行されたり、かつ／あるいは、説明されたシステム、構造、装置、回路などの構成要素が、説明された方法とは異なる形態で結合されたりまたは組み合わされたり、他の構成要素または均等物によって代替されたり置換されたとしても、適切な結果を達成することができる。
【0069】
したがって、異なる実施形態であっても、特許請求の範囲と均等なものであれば、添付される特許請求の範囲に属する。
【符号の説明】
【0070】
３１０：第１端末
３２０：第２端末
３３０：分析モジュール
３２０：第２端末
３３０：分析モジュール
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
