IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ LINE株式会社の特許一覧

<>
  • 特許-映像通話品質測定方法およびシステム 図1
  • 特許-映像通話品質測定方法およびシステム 図2
  • 特許-映像通話品質測定方法およびシステム 図3
  • 特許-映像通話品質測定方法およびシステム 図4
  • 特許-映像通話品質測定方法およびシステム 図5
  • 特許-映像通話品質測定方法およびシステム 図6
  • 特許-映像通話品質測定方法およびシステム 図7
  • 特許-映像通話品質測定方法およびシステム 図8
  • 特許-映像通話品質測定方法およびシステム 図9
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-02-24
(45)【発行日】2022-03-04
(54)【発明の名称】映像通話品質測定方法およびシステム
(51)【国際特許分類】
   H04N 17/00 20060101AFI20220225BHJP
【FI】
H04N17/00 Z
【請求項の数】 20
(21)【出願番号】P 2017154440
(22)【出願日】2017-08-09
(65)【公開番号】P2018026815
(43)【公開日】2018-02-15
【審査請求日】2020-08-06
(31)【優先権主張番号】10-2016-0102938
(32)【優先日】2016-08-12
(33)【優先権主張国・地域又は機関】KR
(73)【特許権者】
【識別番号】321003371
【氏名又は名称】LINE株式会社
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【弁理士】
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】クァック ジョンナム
【審査官】佐野 潤一
(56)【参考文献】
【文献】特開2006-180294(JP,A)
【文献】特開2005-184749(JP,A)
【文献】特開2009-171334(JP,A)
【文献】特開2014-120830(JP,A)
【文献】特開2016-072727(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 17/00
H04N 21/00
H04N 7/18
(57)【特許請求の範囲】
【請求項1】
プログラムであって、映像通話品質測定装置に、
第1電子機器とネットワークを介して映像通話を進行している第2電子機器の表示画面をキャプチャする段階であって、前記キャプチャされた表示画面は、第1電子機器側フレームイメージおよび第2電子機器側フレームイメージを含み、前記第1電子機器側フレームイメージは第1時間値を含み、前記第2電子機器側フレームイメージは第2時間値を含む、段階、
前記キャプチャされた表示画面を分析し、前記第1電子機器側フレームイメージに含まれた前記第1時間値および前記第2電子機器側フレームイメージに含まれた前記第2時間値を抽出する段階、
前記抽出された第1時間値および前記抽出された第2時間値を利用して映像通話品質を示す少なくとも1つのパラメータを計算する段階
を実行させ
前記映像通話は、前記第1電子機器と前記第2電子機器それぞれが同じソース映像を映像通話の相手に送信して行われるテスト映像通話を含む、プログラム。
【請求項2】
前記ソース映像が含む複数のフレームは、予め設定された時間間隔の連続的な時間値を順次に含む、請求項1に記載のプログラム。
【請求項3】
前記第1電子機器側フレームイメージは、前記テスト映像通話のために前記第1電子機器から前記第2電子機器に送信されるソース映像が含むフレームのうちの第1フレームとして、前記第2電子機器の画面のうちの少なくとも一部に前記第1フレームに対応する前記第1時間値と共に表示され、
前記第2電子機器側フレームイメージは、前記テスト映像通話のために前記第2電子機器から前記第1電子機器に送信されるソース映像が含むフレームのうちの第2フレームとして、前記第2電子機器の画面のうちの少なくとも一部に前記第2フレームに対応する前記第2時間値と共に表示される、請求項2に記載のプログラム。
【請求項4】
前記少なくとも1つのパラメータを計算する段階は、
前記第2時間値と前記第1時間値の差値を前記第2電子機器と前記第1電子機器との間のエンドツーエンド遅延のためのパラメータとして計算する、請求項1乃至3のいずれか一項に記載のプログラム。
【請求項5】
前記キャプチャする段階は、
順次に複数の表示画面をキャプチャし、
前記少なくとも1つのパラメータを計算する段階は、
前記複数の表示画面それぞれから抽出される複数の第1時間値に基づき、前記ソース映像の互いに連続するフレームに対応する第1時間値間の差値を計算し、前記計算された差値のうちの最小値の逆数をフレームレートのためのパラメータとして計算する、請求項1に記載のプログラム。
【請求項6】
前記少なくとも1つのパラメータを計算する段階は、
前記計算された差値を前記ソース映像のフレーム間のフレーム間隔として利用し、前記フレーム間隔に対する移動平均および累積分布のうちの少なくとも1つをパラメータとして計算する、請求項5に記載のプログラム。
【請求項7】
前記プログラムは、前記映像通話品質測定装置に、
前記ソース映像に含まれたフレームのうちから前記第1電子機器側フレームイメージに対応するフレームを決定する段階、
前記第1電子機器側フレームイメージと前記決定されたフレーム間のピーク信号対雑音比を計算する段階、
をさらに実行させる、請求項1に記載のプログラム。
【請求項8】
前記キャプチャする段階は、
前記映像通話品質測定装置が含むカメラを利用して前記第2電子機器の表示画面を撮影することによって入力される映像を前記キャプチャされた表示画面として生成する、請求項1乃至7のいずれか一項に記載のプログラム。
【請求項9】
映像通話品質測定装置であって、
コンピュータで読み取り可能な命令を実行するように実現される少なくとも1つのプロセッサ
を含み、
前記少なくとも1つのプロセッサは、
第1電子機器とネットワークを介して映像通話を進行している第2電子機器の表示画面をキャプチャし、前記キャプチャされた表示画面は、第1電子機器側フレームイメージおよび第2電子機器側フレームイメージを含み、前記第1電子機器側フレームイメージは第1時間値を含み、前記第2電子機器側フレームイメージは第2時間値を含み、
前記キャプチャされた表示画面を分析し、前記第1電子機器側フレームイメージに含まれた前記第1時間値および前記第2電子機器側フレームイメージに含まれた前記第2時間値を抽出し、
前記抽出された第1時間値および前記抽出された第2時間値を利用して映像通話品質を示す少なくとも1つのパラメータを計算
前記映像通話は、前記第1電子機器と前記第2電子機器それぞれが同じソース映像を映像通話の相手に送信して行われるテスト映像通話を含む、映像通話品質測定装置。
【請求項10】
前記ソース映像が含む複数のフレームは、予め設定された時間間隔の連続的な時間値を順次に含む、請求項9に記載の映像通話品質測定装置。
【請求項11】
前記第1電子機器側フレームイメージは、前記テスト映像通話のために前記第1電子機器から前記第2電子機器に送信されるソース映像が含むフレームのうちの第1フレームとして、前記第2電子機器の画面のうちの少なくとも一部に前記第1フレームに対応する前記第1時間値と共に表示され、
前記第2電子機器側フレームイメージは、前記テスト映像通話のために前記第2電子機器から前記第1電子機器に送信されるソース映像が含むフレームのうちの第2フレームとして、前記第2電子機器の画面のうちの少なくとも一部に前記第2フレームに対応する前記第2時間値と共に表示される、請求項10に記載の映像通話品質測定装置。
【請求項12】
前記少なくとも1つのプロセッサは、前記少なくとも1つのパラメータを計算するために、
前記第2時間値と前記第1時間値の差値を前記第2電子機器と前記第1電子機器との間のエンドツーエンド遅延のためのパラメータとして計算する、請求項9乃至11のいずれか一項に記載の映像通話品質測定装置。
【請求項13】
前記少なくとも1つのプロセッサは、
順次に複数の表示画面をキャプチャし、
前記少なくとも1つのパラメータを計算するために、
前記複数の表示画面それぞれから抽出される複数の第1時間値に基づき、前記ソース映像の互いに連続するフレームに対応する第1時間値間の差値を計算し、前記計算された差値のうちの最小値の逆数をフレームレートのためのパラメータとして計算する、請求項9に記載の映像通話品質測定装置。
【請求項14】
前記少なくとも1つのプロセッサは、前記少なくとも1つのパラメータを計算するために、
前記計算された差値を前記ソース映像のフレーム間のフレーム間隔として利用し、前記フレーム間隔に対する移動平均および累積分布のうちの少なくとも1つをパラメータとして計算する、請求項13に記載の映像通話品質測定装置。
【請求項15】
前記少なくとも1つのプロセッサは、
前記ソース映像に含まれたフレームのうちから前記第1電子機器側フレームイメージに対応するフレームを決定し、
前記第1電子機器側フレームイメージと前記決定されたフレーム間のピーク信号対雑音比パラメータを計算する、
請求項9に記載の映像通話品質測定装置。
【請求項16】
前記第2電子機器の表示画面を撮影するカメラ
をさらに含み、
前記少なくとも1つのプロセッサは、
前記カメラを通じて入力される映像を前記キャプチャされた表示画面として生成する、請求項9乃至15のいずれか一項に記載の映像通話品質測定装置。
【請求項17】
映像通話品質測定装置の映像通話品質測定方法であって、
第1電子機器とネットワークを介して映像通話を進行している第2電子機器の表示画面をキャプチャするように前記第2電子機器を制御する段階であって、前記キャプチャされた表示画面は、第1電子機器側フレームイメージおよび第2電子機器側フレームイメージを含み、前記第1電子機器側フレームイメージは第1時間値を含み、前記第2電子機器側フレームイメージは第2時間値を含む、段階、
前記キャプチャされた表示画面を分析し、前記第1電子機器側フレームイメージに含まれた前記第1時間値および前記第2電子機器側フレームイメージに含まれた前記第2時間値を抽出するように前記第2電子機器を制御する段階、
前記抽出された第1時間値および前記抽出された第2時間値を利用して映像通話品質を示す少なくとも1つのパラメータを計算するように前記第2電子機器を制御する段階
を含
前記映像通話は、前記第1電子機器と前記第2電子機器それぞれが同じソース映像を映像通話の相手に送信して行われるテスト映像通話を含む、映像通話品質測定方法。
【請求項18】
前記ソース映像が含む複数のフレームは、予め設定された時間間隔の連続的な時間値を順次に含む、請求項17に記載の映像通話品質測定方法。
【請求項19】
前記第1電子機器側フレームイメージは、前記テスト映像通話のために前記第1電子機器から前記第2電子機器に送信されるソース映像が含むフレームのうちの第1フレームとして、前記第2電子機器の画面のうちの少なくとも一部に前記第1フレームに対応する前記第1時間値と共に表示され、
前記第2電子機器側フレームイメージは、前記テスト映像通話のために前記第2電子機器から前記第1電子機器に送信されるソース映像が含むフレームのうちの第2フレームとして、前記第2電子機器の画面のうちの少なくとも一部に前記第2フレームに対応する前記第2時間値と共に表示される、請求項18に記載の映像通話品質測定方法。
【請求項20】
前記少なくとも1つのパラメータを計算する段階は、
前記第2時間値と前記第1時間値の差値を前記第2電子機器と前記第1電子機器との間のエンドツーエンド遅延のためのパラメータとして計算する、請求項17乃至19のいずれか一項に記載の映像通話品質測定方法。
【発明の詳細な説明】
【技術分野】
【0001】
以下の説明は、映像通話品質測定方法およびシステム、電子機器と結合して映像通話品質測定方法を実行させるためにコンピュータで読み取り可能な記録媒体に格納されたコンピュータプログラムに関する。
【背景技術】
【0002】
映像通話とは、画面で相手の顔を見ながら会話ができる通話であって、映像と音を伝達しながらリアルタイムで意思をやり取りできるようにする。
【0003】
このような映像通話の品質を示す要素の例として、映像通話サービスを提供するサービス提供者が提示するフレームレート(frame per second:FPS)が挙げられる。しかし、実際の映像通話の品質は、ネットワーク環境などのような多様な要素によって変化することがあり、実際の映像通話サービスでは、サービス提供者が提示するFPSによる映像通話品質を維持するには困難があるという問題がある。これにより、サービス提供者が提示するフレームレートのような要素では、映像通話の品質を正確に示すことができないという問題がある。
【0004】
さらに、映像通話の品質を測定する方法として、レファレンス映像を利用する従来技術が存在する。例えば、特許文献1は、映像通話呼の通話品質測定方法および装置に関するものであって、着信側映像端末から代替映像を発信側映像端末に送信すると、発信側映像端末が発信側映像通話品質測定器に代替映像を送信し、発信側映像通話品質測定器は、代替映像とレファレンス映像を比較することで通話品質を測定する技術について開示している。しかし、このような従来技術は、送信される映像と比較映像を比べて映像通話の品質を測定するだけで、映像通話品質測定のための客観的なパラメータを提示することはできないという問題を抱えている。
【先行技術文献】
【特許文献】
【0005】
【文献】韓国公開特許第10-2008-0099903号
【文献】PCT/KR/2014/010167
【文献】US2014/0019540A1
【文献】US2013/0332543A1
【文献】US2013/0260893
【発明の概要】
【0006】
第1電子機器とネットワークを介して映像通話を進行している第2電子機器の表示画面に表示される第1電子機器側フレームイメージと第2電子機器側フレームイメージが特定の時間値を含むようにし、第2電子機器の表示画面をキャプチャしてこのような特定の時間値を抽出および活用することで映像通話の品質を測定するための客観的なパラメータを提示することができる、映像通話品質測定方法およびシステム、電子機器と結合して映像通話品質測定方法を実行させるためにコンピュータで読み取り可能な記録媒体に格納されたコンピュータプログラムを提供する。
【0007】
第1電子機器と第2電子機器間のエンドツーエンド遅延(end-to-end delay)、フレームレート(frame per second:FPS)、フレーム間隔(frame interval)、ピーク信号対雑音比(peak signal-to-noise ratio:PSNR)のような多様な客観的なパラメータを提供することができる、映像通話品質測定方法およびシステム、電子機器と結合して映像通話品質測定方法を実行させるためにコンピュータで読み取り可能な記録媒体に格納されたコンピュータプログラムを提供する。
【課題を解決するための手段】
【0008】
映像通話品質測定装置の映像通話品質測定方法であって、第1電子機器とネットワークを介して映像通話を進行している第2電子機器の表示画面をキャプチャする段階(前記キャプチャされた表示画面は、前記第1電子機器側フレームイメージおよび前記第2電子機器側フレームイメージを含み、前記第1電子機器側フレームイメージは第1時間値を含み、前記第2電子機器側フレームイメージは第2時間値を含む)、前記キャプチャされた表示画面を分析し、前記第1電子機器側フレームイメージに含まれた前記第1時間値および前記第2電子機器側フレームイメージに含まれた前記第2時間値を抽出する段階、および前記抽出された第1時間値および前記抽出された第2時間値を利用して映像通話品質を示す少なくとも1つのパラメータを計算する段階を含む、映像通話品質測定方法を提供する。
【0009】
映像通話品質測定装置であって、コンピュータで読み取り可能な命令を実行するように実現される少なくとも1つのプロセッサを含み、前記少なくとも1つのプロセッサは、第1電子機器とネットワークを介して映像通話を進行している第2電子機器の表示画面をキャプチャし(前記キャプチャされた表示画面は、前記第1電子機器側フレームイメージおよび前記第2電子機器側フレームイメージを含み、前記第1電子機器側フレームイメージは第1時間値を含み、前記第2電子機器側フレームイメージは第2時間値を含む)、前記キャプチャされた表示画面を分析し、前記第1電子機器側フレームイメージに含まれた前記第1時間値および前記第2電子機器側フレームイメージに含まれた前記第2時間値を抽出し、前記抽出された第1時間値および前記抽出された第2時間値を利用して映像通話品質を示す少なくとも1つのパラメータを計算する、映像通話品質測定装置を提供する。
【0010】
電子機器と結合して映像通話品質測定方法を実行させるためにコンピュータで読み取り可能な記録媒体に格納されたコンピュータプログラムであって、前記映像通話品質測定方法は、第1電子機器とネットワークを介して映像通話を進行している第2電子機器の表示画面をキャプチャするように前記第2電子機器を制御する段階(前記キャプチャされた表示画面は、前記第1電子機器側フレームイメージおよび前記第2電子機器側フレームイメージを含み、前記第1電子機器側フレームイメージは第1時間値を含み、前記第2電子機器側フレームイメージは第2時間値を含む)、前記キャプチャされた表示画面を分析し、前記第1電子機器側フレームイメージに含まれた前記第1時間値および前記第2電子機器側フレームイメージに含まれた前記第2時間値を抽出するように前記第2電子機器を制御する段階、および前記抽出された第1時間値および前記抽出された第2時間値を利用して映像通話品質を示す少なくとも1つのパラメータを計算するように前記第2電子機器を制御する段階を含む、コンピュータプログラムを提供する。
【発明の効果】
【0011】
第1電子機器とネットワークを介して映像通話を進行している第2電子機器の表示画面に表示される第1電子機器側フレームイメージと第2電子機器側フレームイメージが特定の時間値を含むようにし、第2電子機器の表示画面をキャプチャしてこのような特定の時間値を抽出および活用することで、映像通話の品質を測定するための客観的なパラメータを提示することができる。
【0012】
第1電子機器と第2電子機器間のエンドツーエンド遅延(end-to-end delay)、フレームレート(frame per second:FPS)、フレーム間隔(frame interval)、ピーク信号対雑音比(peak signal-to-noise ratio:PSNR)のような多様な客観的なパラメータを提供することができる。
【図面の簡単な説明】
【0013】
図1】本発明の一実施形態における、ネットワーク環境の例を示した図である。
図2】本発明の一実施形態における、電子機器およびサーバの内部構成を説明するためのブロック図である。
図3】本発明の一実施形態において、映像通話品質測定のための全体システムの例を示した図である。
図4】本発明の一実施形態における、第2電子機器330の表示画面の例を示した図である。
図5】本発明の一実施形態における、電子機器のプロセッサが含むことのできる構成要素の例を示したブロック図である。
図6】本発明の一実施形態における、電子機器が実行することのできる方法の例を示したフローチャートである。
図7】本発明の一実施形態における、エンドツーエンド遅延を計算する例を示した図である。
図8】本発明の一実施形態における、フレーム間隔の例を示した図である。
図9】本発明の一実施形態における、第2電子機器が実行することのできる方法の例を示したフローチャートである。
【発明を実施するための形態】
【0014】
以下、実施形態について、添付の図面を参照しながら詳しく説明する。
【0015】
本発明の実施形態に係る映像通話品質測定方法は、以下で説明される電子機器によって実現されてよく、本発明の実施形態に係る映像通話品質測定方法は、電子機器によって実行されてよい。一実施形態として、電子機器は、映像通話を実行する第1電子機器および第2電子機器とは異なる別の映像通話品質測定装置として実現され、第2電子機器の表示画面をキャプチャして映像通話品質測定のためのパラメータを計算してもよい。他の実施形態として、電子機器は、第2電子機器に対応してよく、本発明の一実施形態に係るコンピュータプログラムとして実現されるアプリケーションがインストールされて駆動する機器であってもよい。この場合、電子機器は、駆動するアプリケーションの制御にしたがって本発明の一実施形態に係る映像通話品質測定方法を実行してよい。コンピュータプログラムは、電子機器と結合して映像通話品質測定方法を実行させるためにコンピュータで読み取り可能な記録媒体に格納されてよい。
【0016】
図1は、本発明の一実施形態における、ネットワーク環境の例を示した図である。図1のネットワーク環境は、複数の電子機器110、120、130、140、複数のサーバ150、160、およびネットワーク170を含む例を示している。このような図1は、発明の説明のための一例に過ぎず、電子機器の数やサーバの数が図1のように限定されることはない。
【0017】
複数の電子機器110、120、130、140は、コンピュータ装置によって実現される固定端末や移動端末であってよい。複数の電子機器110、120、130、140の例としては、スマートフォン、携帯電話、ナビゲーション、PC(personal computer)、ノート型パンコン、デジタル放送用端末、PDA(Personal Digital Assistant)、PMP(Portable Multimedia Player)、タブレットなどがある。また、他の実施形態として、複数の電子機器110、120、130、140のうちの少なくとも1つは、映像通話品質測定のために実現される別の映像通話品質測定装置であってもよい。一例として、図1では、電子機器1(110)の例としてスマートフォンの形状を示しているが、本発明の実施形態では、実質的に、無線または有線通信方式を利用し、ネットワーク170を介して他の電子機器120、130、140および/またはサーバ150、160と通信することのできる多様な機器のうちの1つを意味してよい。
【0018】
通信方式が限定されることはなく、ネットワーク170が含むことのできる通信網(一例として、移動通信網、有線インターネット、無線インターネット、放送網)を活用する通信方式だけではなく、機器間の近距離無線通信が含まれてもよい。例えば、ネットワーク170は、PAN(personal area network)、LAN(local area network)、CAN(campus area network)、MAN(metropolitan area network)、WAN(wide area network)、BBN(broadband network)、インターネットなどのネットワークのうちの1つ以上の任意のネットワークを含んでよい。さらに、ネットワーク170は、バスネットワーク、スターネットワーク、リングネットワーク、メッシュネットワーク、スター-バスネットワーク、ツリーまたは階層的ネットワークなどを含むネットワークトポロジのうちの任意の1つ以上を含んでもよいが、これらに限定されることはない。
【0019】
サーバ150、160それぞれは、複数の電子機器110、120、130、140とネットワーク170を介して通信して命令、コード、ファイル、コンテンツ、サービスなどを提供するコンピュータ装置または複数のコンピュータ装置によって実現されてよい。例えば、サーバ150は、ネットワーク170を介して接続した複数の電子機器110、120、130、140に第1サービスを提供するシステムであってよく、サーバ160も、ネットワーク170を介して接続した複数の電子機器110、120、130、140に第2サービスを提供するシステムであってよい。より具体的な例として、サーバ150は、第1サービスとして映像通話サービスを複数の電子機器110、120、130、140に提供するシステムであってよい。また、サーバ160は、第2サービスとして映像通話サービスのためのアプリケーションや映像通話品質測定のためのアプリケーションのインストールファイルを複数の電子機器110、120、130、140に提供するシステムであってよい。
【0020】
図2は、本発明の一実施形態における、電子機器およびサーバの内部構成を説明するためのブロック図である。図2では、電子機器に対する例として電子機器1(110)の内部構成、さらにサーバ150の内部構成について説明する。また、他の電子機器120、130、140やサーバ160も、上述した電子機器1(110)またはサーバ150と同一または類似の内部構成を有してよい。
【0021】
電子機器1(110)とサーバ150は、メモリ211、221、プロセッサ212、222、通信モジュール213、223、および入力/出力インタフェース214、224を含んでよい。メモリ211、221は、コンピュータで読み取り可能な記録媒体であって、RAM(random access memory)、ROM(read only memory)、およびディスクドライブのような永久大容量記憶装置を含んでよい。ここで、ROMやディスクドライブのような永久大容量記憶装置は、メモリ211、221とは区分される別の永久格納装置として電子機器1(110)やサーバ150に含まれてもよい。また、メモリ211、221には、オペレーティングシステムと、少なくとも1つのプログラムコード(一例として、電気機器1(110)にインストールされ駆動するブラウザや特定のサービスの提供のために電子機器1(110)にインストールされたアプリケーションなどのためのコード)が格納されてよい。このようなソフトウェア構成要素は、メモリ211、221とは別のコンピュータで読み取り可能な記録媒体からロードされてよい。このような別のコンピュータで読み取り可能な記録媒体は、フロッピー(登録商標)ドライブ、ディスク、テープ、DVD/CD-ROMドライブ、メモリカードなどのコンピュータで読み取り可能な記録媒体を含んでよい。他の実施形態において、ソフトウェア構成要素は、コンピュータで読み取り可能な記録媒体ではない通信モジュール213、223を通じてメモリ211、221にロードされてもよい。例えば、少なくとも1つのプログラムは、開発者またはアプリケーションのインストールファイルを配布するファイル配布システム(一例として、上述したサーバ150)がネットワーク170を介して提供するファイルによってインストールされるプログラム(一例として、上述したアプリケーション)に基づいてメモリ211、221にロードされてよい。
【0022】
プロセッサ212、222は、基本的な算術、ロジック、および入出力演算を実行することにより、コンピュータプログラムの命令を処理するように構成されてよい。命令は、メモリ211、221または通信モジュール213、223によって、プロセッサ212、222に提供されてよい。例えば、プロセッサ212、222は、メモリ211、221のような記録装置に格納されたプログラムコードにしたがって受信される命令を実行するように構成されてよい。
【0023】
通信モジュール213、223は、ネットワーク170を介して電子機器1(110)とサーバ150とが互いに通信するための機能を提供してもよいし、電子機器1(110)および/またはサーバ150が他の電子機器(一例として、電子機器2(120))または他のサーバ(一例として、サーバ160)と通信するための機能を提供してもよい。一例として、電子機器1(110)のプロセッサ212がメモリ211のような記録装置に格納されたプログラムコードにしたがって生成した要求が、通信モジュール213の制御にしたがってネットワーク170を介してサーバ150に伝達されてよい。これとは逆に、サーバ150のプロセッサ222の制御にしたがって提供される制御信号や命令、コンテンツ、ファイルなどが、通信モジュール223とネットワーク170を経て電子機器1(110)の通信モジュール213を通じて電子機器1(110)に受信されてもよい。例えば、通信モジュール213を通じて受信されたサーバ150の制御信号や命令、コンテンツ、ファイルなどは、プロセッサ212やメモリ211に伝達されてよく、コンテンツやファイルなどは、電子機器1(110)がさらに含むことのできる格納媒体(上述した永久記憶装置)に格納されてよい。
【0024】
入力/出力インタフェース214は、入力/出力装置215とのインタフェースのための手段であってよい。例えば、入力装置は、キーボードまたはマウスなどの装置を含んでよく、出力装置は、ディスプレイのような装置を含んでよい。他の例として、入出力インタフェース214は、タッチスクリーンのように入力と出力のための機能が1つに統合された装置とのインタフェースのための手段であってもよい。入力/出力装置215は、電子機器1(110)と1つの装置で構成されてもよい。また、サーバ150の入力/出力インタフェース224は、サーバ150と接続するかサーバ150が含むことのできる入力または出力のための装置(図示せず)とのインタフェースのための手段であってよい。より具体的な例として、電子機器1(110)のプロセッサ212は、メモリ211にロードされたコンピュータプログラムの命令を処理するにあたり、サーバ150や電子機器2(120)が提供するデータを利用して構成されるサービス画面やコンテンツが入力/出力インタフェース214を通じてディスプレイに表示されてよい。
【0025】
また、他の実施形態において、電子機器1(110)およびサーバ150は、図2の構成要素よりも多くの構成要素を含んでもよい。しかし、大部分の従来技術的構成要素を明確に図に示す必要はない。例えば、電子機器1(110)は、上述した入力/出力装置215のうちの少なくとも一部を含むように実現されてもよいし、トランシーバ、GPS(Global Positioning System)モジュール、カメラ、各種センサ、データベースなどのような他の構成要素をさらに含んでもよい。より具体的な例として、電子機器1(110)がスマートフォンのである場合、一般的にスマートフォンが含んでいる加速度センサやジャイロセンサ、カメラ、物理的な各種ボタン、タッチパネルを利用したボタン、入力/出力ポート、振動のための振動器などの多様な構成要素が電子機器1(110)にさらに含まれるように実現されてよい。
【0026】
図3は、本発明の一実施形態における、映像通話品質測定のための全体システムの例を示した図である。図3は、映像通話品質測定装置310、第1電子機器320、第2電子機器330、および映像通話サービスサーバ340を示している。映像通話品質測定装置310、第1電子機器320、および第2電子機器330それぞれは、上述した電子機器1(110)のように実現されてよく、映像通話サービスサーバ340は、上述したサーバ150のように実現されてよい。
【0027】
ここで、第1電子機器320および第2電子機器330は、ネットワーク170を介して映像通話を行う2つの端末であってよく、映像通話のための映像を送受信してよい。ここで、映像通話サービスサーバ340は、第1電子機器320と第2電子機器330との間で映像通話が成り立つようにサービスを提供する装置であってよい。本発明の実施形態は、どのように映像通話を提供するかに関する技術を説明するものではなく、2つの端末間の映像通話を提供するための技術は当業者にとって自明な技術として理解されるはずであるため、詳しい説明は省略する。
【0028】
ただし、本発明の実施形態において、第1電子機器320および第2電子機器330間で送受信される映像のフレームそれぞれは、予め設定された時間値を含んでよく、第1電子機器320および第2電子機器330における映像のフレームそれぞれは、対応する時間値と共に第1電子機器320および第2電子機器330の画面に表示されてよい。
【0029】
ここで、映像通話品質測定装置310は、少なくとも映像のフレームが含む時間値を抽出および活用して映像通話の品質を示すパラメータを計算してよい。このために、映像通話品質測定装置310は、第2電子機器330の表示画面をキャプチャしてよい。言い換えれば、映像通話品質測定装置310がキャプチャする第2電子機器330の表示画面には、第1電子機器320が第2電子機器330に送信したフレームイメージと第1時間値が表示されてよく、第2電子機器330が第1電子機器320に送信するフレームイメージと第2時間値が表示されてよい。このとき、映像通話品質測定装置310は、映像処理によってキャプチャされた表示画面を分析して第1時間値と第2時間値を抽出してよく、抽出された第1、2時間値を利用して映像通話品質の測定のための多様なパラメータを計算してよい。
【0030】
図4は、本発明の一実施形態における、第2電子機器330の表示画面の例を示した図である。図4の表示画面410は、第2電子機器330の画面例であって、第1電子機器320から受信した第1電子機器320側フレームイメージ411と、第2電子機器330から第1電子機器320に送信するための映像の第2電子機器330側フレームイメージ412が表示されることを示している。また、第1電子機器320側フレームイメージ411は第1時間値413を含み、第1時間値413が表示画面410にさらに表示されることを示しており、第2電子機器330側フレームイメージ412は第2時間値414を含み、第2時間値414が表示画面410にさらに表示されることを示している。
【0031】
ここで、映像通話品質測定装置310は、カメラ420を含んでよく、カメラ420を利用して第2電子機器330の表示画面410を撮影およびキャプチャしてよい。また、映像通話品質測定装置310は、キャプチャした表示画面410から第1時間値と第2時間値を抽出してよく、抽出された第1時間値と抽出された第2時間値に基づいて映像通話品質の測定のための多様なパラメータを計算してよい。さらに、時間の流れによって表示画面410に示されるフレームイメージと時間値は変化するようになる。したがって、映像通話品質測定装置310は、持続的に表示画面410を撮影およびキャプチャして持続的に時間値を抽出して活用してよい。一例として、映像通話サービスのサービス提供者が30FPSで映像通話をサービスしていると提示した場合、映像通話品質測定装置310は、30FPSで表示画面410をキャプチャしてよい。言い換えれば、表示画面410に対して1秒あたり30フレームをキャプチャするようになる。
【0032】
図5は、本発明の一実施形態における、電子機器のプロセッサが含むことのできる構成要素の例を示したブロック図であり、図6は、本発明の一実施形態における、電子機器が実行することのできる方法の例を示したフローチャートである。
【0033】
本実施形態に係る電子機器1(110)は、図3および図4を参照しながら説明した映像通話品質測定装置に対応してよく、このような電子機器1(110)のプロセッサ212は、図5に示すように、表示画面キャプチャ部510、時間値抽出部520、およびパラメータ計算部530を含んでよい。また、プロセッサ212は、実施形態によって、フレーム決定部540およびピーク信号対雑音比計算部550を選択的にさらに含んでもよい。
【0034】
このようなプロセッサ212およびプロセッサ212の構成要素は、図6の映像通話品質測定方法が含む段階610~650を実行してよい。このとき、プロセッサ212およびプロセッサ212の構成要素は、メモリ211が含むオペレーティングシステムのコードや少なくとも1つのプログラムのコードによる制御命令を実行するように実現されてよい。ここで、プロセッサ212の構成要素は、電子機器1(110)に格納されたコードが提供する制御命令にしたがってプロセッサ212によって実行される、プロセッサ212の互いに異なる機能の表現であってよい。例えば、プロセッサ212が上述した制御命令にしたがって表示画面をキャプチャするように電子機器1(110)を制御するプロセッサ212の機能的表現として表示画面キャプチャ部510が使用されてよい。
【0035】
段階610で、表示画面キャプチャ部510は、第1電子機器とネットワークを介して映像通話を進行している第2電子機器の表示画面をキャプチャしてよい。第1電子機器と第2電子機器は、上述した図3および図4を参照しながら説明した第1電子機器320および第2電子機器330にそれぞれ対応してよく、ネットワークは、図1および図2を参照しながら説明したネットワーク170に対応してよい。ここで、キャプチャされた表示画面は、第1電子機器側フレームイメージおよび第2電子機器側フレームイメージを含んでよく、第1電子機器側フレームイメージは第1時間値を、第2電子機器側フレームイメージは第2時間値をそれぞれ含んでよい。
【0036】
段階620で、時間値抽出部520は、第1電子機器側フレームイメージを分析して第1時間値を抽出してよく、第2電子機器側フレームイメージを分析して第2時間値を抽出してよい。第1時間値は、キャプチャされた表示画面に表示された第1電子機器側フレームイメージを識別することのできる値であってよく、第2時間値は、キャプチャされた表示画面に表示された第2電子機器側フレームイメージを識別することのできる値であってよい。
【0037】
より具体的な実施形態として、第1電子機器と第2電子機器間の映像通話は、第1電子機器と第2電子機器それぞれが同じソース映像を映像通話の相手に送信して行われるテスト映像通話を含んでよいが、このとき、ソース映像が含む複数のフレームは、予め設定された時間間隔の連続的な時間値を順次に含んでよい。例えば、ソース映像の1番目フレームは「00:00:00:010」のように00時00分00秒10ミリ秒のような時間値を含み、次のフレームである2番目フレームは「00:00:00:020」のように00時00分00秒20ミリ秒のような時間値を含んでよい。このとき、2つの時間値の時間間隔は10ミリ秒となる。この場合、第1電子機器側フレームイメージは、テスト映像通話のために第1電子機器から第2電子機器に送信されるソース映像が含むフレームのうちの第1フレームとして、第2電子機器の画面のうちの少なくとも一部に第1フレームに対応する第1時間値と共に表示されてよい。また、第2電子機器側フレームイメージは、テスト映像通話のために第2電子機器から第1電子機器に送信されるソース映像が含むフレームのうちの第2フレームとして、第2電子機器の画面のうちの少なくとも一部に第2フレームに対応する第2時間値と共に表示されてよい。このような第1、2フレームと第1、2時間値が表示された例は、図4を参照しながら説明したとおりである。
【0038】
段階630で、パラメータ計算部530は、抽出された第1時間値および抽出された第2時間値を利用して映像通話品質を示す少なくとも1つのパラメータを計算してよい。
【0039】
例えば、パラメータ計算部530は、第2時間値と第1時間値の差値を第2電子機器と第1電子機器間のエンドツーエンド遅延(end-to-end delay)のためのパラメータとして計算してよい。第2電子機器の表示画面に同時に表示される第1電子機器側フレームイメージと第2電子機器側フレームイメージは、ネットワーク上の遅延やその他の遅延によってソース映像の同じフレームにならない可能性が高い。したがって、第1電子機器側フレームイメージと第2電子機器側フレームイメージは、互いに異なる時間値を有するようになり、このような互いに異なる時間値の差値を利用して第1電子機器と第2電子機器間の全体遅延を計算できるようになる。
【0040】
図7は、本発明の一実施形態における、エンドツーエンド遅延を計算する例を示した図である。図7は、図4の画面410で時間値として「00:00:00:100」710と「00:00:00:200」720がそれぞれ表示された例を示している。このとき、時間値抽出部520は、キャプチャされた表示画面から第1時間値「00:00:00:100」と第2時間値「00:00:00:200」をそれぞれ抽出してよい。このような時間値の抽出は、イメージからテキストを抽出するための周知の映像分析技法のうちの1つが利用されてよい。
【0041】
この場合、パラメータ計算部530は、点線ボックス730に示すように、第2時間値「00:00:00:200」と第1時間値「00:00:00:100」の差値を計算し、エンドツーエンド遅延として100ミリ秒を導き出してよい。言い換えれば、第2電子機器330から第2時間値「00:00:00:200」であるフレームイメージを送信するときに、ネットワーク遅延などによって第1電子機器320では第1時間値「00:00:00:100」であるフレームイメージが受信されることで、互いに異なる時間値を有するフレームイメージが第2電子機器330の表示画面410に同時に表示されるようになる。したがって、このような第2時間値と第1時間値の差値は、映像通話で2つの端末(第1電子機器320と第2電子機器330)間に実際に発生した遅延値として活用することが可能となる。
【0042】
再び図5および図6を参照すると、表示画面キャプチャ部510は、複数の表示画面を順次にキャプチャしてよい。ここで、パラメータ計算部530は、複数の表示画面それぞれから抽出される複数の第1時間値に基づき、ソース映像の互いに連続するフレームに対応する第1時間値の差値を計算し、計算された差値のうちの最小値の逆数をフレームレート(frame per second:FPS)のためのパラメータとして計算してよい。
【0043】
図8は、本発明の一実施形態における、フレーム間隔の例を示した図である。図8は、送信側から50FPSでソース映像のフレームを送信する例を示している。1秒あたり50フレームを送信するために、送信側は、20ミリ秒の間隔でフレームが送信されるようにデータを送信する。正確に20ミリ秒の間隔でフレームを送信することは実際に困難でもあるが、ネットワーク遅延や障害により、受信側は一定の間隔でフレームを受信することができない。このとき、パラメータ計算部530は、キャプチャした複数の表示画面から複数の第1時間値を抽出してよく、このような第1時間値の差値を連続するフレーム(一例として、フレームnとフレームn-1)間のフレーム間隔(frame interval)として計算してよい。ここで、パラメータ計算部530は、最小の差値、言い換えれば、最小のフレーム間隔の逆数をフレームレートとして計算してよい。例えば、最小のフレーム間隔が100ミリ秒であれば、100ミリ秒の逆数によって10(=1000/100)FPSがフレームレートとして計算されてよい。言い換えれば、サービス提供者が提示するフレームレートが50FPSであったとしても、ユーザの観点で実際に測定されるフレームレートは10FPSと測定されるようになる。図8の例のように、25ミリ秒がフレーム間隔の最小値であれば、40(=1000/25)FPSが測定されたフレームレートとなる。
【0044】
再び図5および図6を参照すると、パラメータ計算部530は、計算された差値をソース映像のフレーム間のフレーム間隔(frame interval)として利用し、フレーム間隔に対する移動平均および累積分布のうちの少なくとも1つをパラメータとして計算してよい。フレーム間隔では、映像がユーザにどのくらい円滑に見えるかを決定してよく、このようなフレーム間隔をvfdt(video frame delta)と定義してよい。ここで、vfdt(n)とは、互いに連続するフレームnとフレームn-1間のフレーム間隔を意味してよい。また、vfdt(n)の移動平均をMA(n)と、vfdt1からvfdt(n)までの累積分布をCDF(n)と定義してよい。
【0045】
この場合、移動平均MA(n)は、一例として、以下の数式(1)のように計算されてよい。
【0046】
MA(n)=a×MA(n-1)+b×vfdt(n)・・・(1)
【0047】
ここで、「a」は過去値の比重のための加重値を、「b」は現在値の比重のための加重値をそれぞれ意味してよく、現在値の比重を大きくするほど、フレーム間隔が一定しない程度が移動平均MA(n)に相対的にさらに大きく反映されてよい。一例として、aは0.9の値を、bは0.1の値を有するように予め設定されてよく、aとbの合計は「1」の値を有してよい。計算された移動平均を時間をX-軸として有するグラフに示す場合、体感品質の変化観察が可能となる。
【0048】
また、累積分布CDF(n)は、ネットワーク障害や機能開発によって体感品質の改善の可否を比較するときに利用されてよい。累積分布CDF(n)が1つの値で維持されるほど、映像が相対的に一定に再生されることを意味してよく、累積分布CDF(n)の中間値が低いほど、相対的にFPSが高いことを意味してよい。
【0049】
再び図5および図6を参照すると、段階640で、フレーム決定部540は、ソース映像に含まれたフレームのうち、第1電子機器側フレームイメージに対応するフレームを決定してよい。例えば、映像通話品質測定装置310は、ソース映像を予め格納していてよく、キャプチャされた表示画面の第1電子機器側フレームイメージに対応するフレームをソース映像が含むフレームのうちから決定してよい。より具体的な例として、フレーム決定部540は、第1電子機器側フレームイメージに含まれた時間値と同じ時間値を有するフレームを、ソース映像が含むフレームのうちから探し出してよい。
【0050】
段階650で、ピーク信号対雑音比計算部550は、第1電子機器側フレームイメージと決定されたフレーム間のピーク信号対雑音比(peak signal-to-noise ratio:PSNR)を計算してよい。イメージ間の品質測定のためにピーク信号対雑音比を計算する方法は、以下のURLのような周知の方式によって計算されてよい。
【0051】
「http://homepages.inf.ed.ac.uk/rbf/CVonline/LOCAL_COPIES/VELDHUIZEN/node18.html」
【0052】
以上のように、本発明の実施形態では、第1電子機器と第2電子機器間のエンドツーエンド遅延(end-to-end delay)、フレームレート(frame per second:FPS)、フレーム間隔(frame interval)、ピーク信号対雑音比(peak signal-to-noise ratio:PSNR)のような多様な客観的なパラメータを提供することができる。
【0053】
一方、以上では、第1電子機器および第2電子機器とは別の映像通話品質測定装置を利用して映像通話品質を測定する実施形態について説明したが、他の実施形態では、第2電子機器が第2電子機器にインストールされて駆動するアプリケーション(コンピュータプログラム)の制御にしたがって上述した多様なパラメータを計算することも可能である。このとき、映像通話品質測定装置が第2電子機器の表示画面をキャプチャするのではなく、第2電子機器はアプリケーションの制御にしたがって自身の表示画面をキャプチャして第1、2時間値を抽出してよく、第1、2時間値に基づいて多様なパラメータを計算してよい。一方、第2電子機器がソース映像を予め格納しているため、第2電子機器は予め格納されたソース映像のフレームのうちから選択されたフレームと第1電子機器側フレームイメージとを比較してピーク信号対雑音比を計算することも可能である。
【0054】
図9は、本発明の一実施形態における、第2電子機器が実行することのできる方法の例を示したフローチャートである。
【0055】
本実施形態に係る第2電子機器は、図3および図4を参照しながら説明した第2電子機器330に対応してよく、図1および図2を参照しながら説明した第1電子機器110のように実現されてよい。第2電子機器のプロセッサは、第2電子機器にインストールされるコンピュータプログラムの制御にしたがって図9の実施形態に係る映像通話品質測定方法が含む段階910~950を実行してよい。
【0056】
段階910で、第2電子機器のプロセッサは、第1電子機器とネットワークを介して映像通話を進行している第2電子機器の表示画面をキャプチャするように第2電子機器を制御してよい。電子機器が自身の画面をキャプチャする技術は、当業者にとって自明であると理解される。
【0057】
段階920で、第2電子機器のプロセッサは、キャプチャされた表示画面を分析し、第1電子機器側フレームイメージに含まれた第1時間値および第2電子機器側フレームイメージに含まれた第2時間値を抽出するように第2電子機器を制御してよい。例えば、第2電子機器のプロセッサは、コンピュータプログラムの制御にしたがって第2電子機器のメモリにロードされた第1、2電子機器側フレームイメージを分析して第1、2時間値を抽出してよい。
【0058】
段階930で、第2電子機器のプロセッサは、抽出された第1時間値および抽出された第2時間値を利用して映像通話品質を示す少なくとも1つのパラメータを計算するように第2電子機器を制御してよい。パラメータの例は、上述したように、エンドツーエンド遅延(end-to-end delay)、フレームレート(frame per second:FPS)、フレーム間隔(frame interval)、フレーム間隔の移動平均、および累積分布などのためのパラメータを含んでよい。
【0059】
段階940で、第2電子機器のプロセッサは、ソース映像に含まれたフレームのうち、第1電子機器側フレームイメージに対応するフレームを決定するように第2電子機器を制御してよい。
【0060】
段階950で、第2電子機器のプロセッサは、第1電子機器側フレームイメージと決定されたフレーム間のピーク信号対雑音比を計算するように第2電子機器を制御してよい。
【0061】
図9と関連して省略された内容は、図1図8を参照すれば理解できるであろう。
【0062】
このように、本発明の実施形態によると、第1電子機器とネットワークを介して映像通話を進行している第2電子機器の表示画面に表示される第1電子機器側フレームイメージと第2電子機器側フレームイメージが特定の時間値を含むようにし、第2電子機器の表示画面をキャプチャしてこのような特定の時間値を抽出および活用することで、映像通話の品質を測定するための客観的なパラメータを提示することができる。また、第1電子機器と第2電子機器間のエンドツーエンド遅延(end-to-end delay)、フレームレート(frame per second:FPS)、フレーム間隔(frame interval)、ピーク信号対雑音比(peak signal-to-noise ratio:PSNR)のような多様な客観的なパラメータを提供することができる。
【0063】
上述したシステムまたは装置は、ハードウェア構成要素、ソフトウェア構成要素、またはハードウェア構成要素とソフトウェア構成要素との組み合わせによって実現されてよい。例えば、実施形態で説明された装置および構成要素は、例えば、プロセッサ、コントローラ、ALU(arithmetic logic unit)、デジタル信号プロセッサ、マイクロコンピュータ、FPGA(field programmable gate array)、PLU(programmable logic unit)、マイクロプロセッサ、または命令を実行して応答することができる様々な装置のように、1つ以上の汎用コンピュータまたは特殊目的コンピュータを利用して実現されてよい。処理装置は、オペレーティングシステム(OS)および前記OS上で実行される1つ以上のソフトウェアアプリケーションを実行してよい。また、処理装置は、ソフトウェアの実行に応答し、データにアクセスし、データを格納、操作、処理、および生成してよい。理解の便宜のために、1つの処理装置が使用されるとして説明される場合もあるが、当業者は、処理装置が複数個の処理要素および/または複数種類の処理要素を含んでもよいことが理解できるであろう。例えば、処理装置は、複数個のプロセッサまたは1つのプロセッサおよび1つのコントローラを含んでよい。また、並列プロセッサのような、他の処理構成も可能である。
【0064】
ソフトウェアは、コンピュータプログラム、コード、命令、またはこれらのうちの1つ以上の組み合わせを含んでもよく、思うままに動作するように処理装置を構成したり、独立的または集合的に処理装置に命令したりしてよい。ソフトウェアおよび/またはデータは、処理装置に基づいて解釈されたり、処理装置に命令またはデータを提供したりするために、いかなる種類の機械、コンポーネント、物理装置、仮想装置、コンピュータ格納媒体または装置に永久的または一時的に具現化されてもよい。ソフトウェアは、ネットワークによって接続されたコンピュータシステム上に分散され、分散された状態で格納されても実行されてもよい。ソフトウェアおよびデータは、1つ以上のコンピュータで読み取り可能な記録媒体に格納されてもよい。
【0065】
実施形態に係る方法は、多様なコンピュータ手段によって実行可能なプログラム命令の形態で実現されてコンピュータで読み取り可能な媒体に記録されてよい。前記コンピュータで読み取り可能な媒体は、プログラム命令、データファイル、データ構造などを単独でまたは組み合わせて含んでよい。前記媒体に記録されるプログラム命令は、実施形態のために特別に設計されて構成されたものであってもよいし、コンピュータソフトウェア当業者に公知な使用可能なものであってもよい。コンピュータで読み取り可能な記録媒体の例としては、ハードディスク、フロッピー(登録商標)ディスク、および磁気テープのような磁気媒体、CD-ROM、DVDのような光媒体、フロプティカルディスク(floptical disk)のような光磁気媒体、およびROM、RAM、フラッシュメモリなどのようなプログラム命令を格納して実行するように特別に構成されたハードウェア装置が含まれる。プログラム命令の例は、コンパイラによって生成されるもののような機械語コードだけではなく、インタプリタなどを使用してコンピュータによって実行される高級言語コードを含む。上述したハードウェア装置は、実施形態の動作を実行するために1つ以上のソフトウェアモジュールとして動作するように構成されてもよく、その逆も同じである。
【0066】
以上のように、実施形態を、限定された実施形態と図面に基づいて説明したが、当業者であれば、上述した記載から多様な修正および変形が可能であろう。例えば、説明された技術が、説明された方法とは異なる順序で実行されたり、かつ/あるいは、説明されたシステム、構造、装置、回路などの構成要素が、説明された方法とは異なる形態で結合されたりまたは組み合わされたり、他の構成要素または均等物によって対置されたり置換されたとしても、適切な結果を達成することができる。
【0067】
したがって、異なる実施形態であっても、特許請求の範囲と均等なものであれば、添付される特許請求の範囲に属する。
【符号の説明】
【0068】
110、120、130、140:電子機器
150、160:サーバ
170:ネットワーク
図1
図2
図3
図4
図5
図6
図7
図8
図9