特許 5751648 ビデオ品質を測定する方法および装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5751648

(24)【登録日】2015年5月29日

(45)【発行日】2015年7月22日

(54)【発明の名称】ビデオ品質を測定する方法および装置

(51)【国際特許分類】

   H04N 17/02 20060101AFI20150702BHJP

   H04L 12/70 20130101ALI20150702BHJP

【ＦＩ】

   H04N17/02 A

   H04L12/70 100Z

   H04L12/70 E

【請求項の数】11

【全頁数】13

(21)【出願番号】特願2013-520938(P2013-520938)

(86)(22)【出願日】2010年7月30日

(65)【公表番号】特表2013-537748(P2013-537748A)

(43)【公表日】2013年10月3日

(86)【国際出願番号】CN2010001150

(87)【国際公開番号】WO2012012914

(87)【国際公開日】20120202

【審査請求日】2013年7月23日

(73)【特許権者】

【識別番号】501263810

【氏名又は名称】トムソン ライセンシング

【氏名又は名称原語表記】Ｔｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ

(74)【代理人】

【識別番号】100134094

【弁理士】

【氏名又は名称】倉持 誠

(74)【代理人】

【識別番号】100121175

【弁理士】

【氏名又は名称】石井 たかし

(74)【代理人】

【識別番号】100123629

【弁理士】

【氏名又は名称】吹田 礼子

(72)【発明者】

【氏名】グー，シアオドン

(72)【発明者】

【氏名】リウ，デビン

(72)【発明者】

【氏名】チエン，ジボ

【審査官】 村山 絢子

(56)【参考文献】

【文献】 特表２００９−５３３００８（ＪＰ，Ａ）

【文献】 特開平１０−１５０６６５（ＪＰ，Ａ）

【文献】 特開２００９−１６４７２７（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １３／００−１７／０６

Ｈ０４Ｌ １２／７０

(57)【特許請求の範囲】

【請求項1】

複数のフレームのうちの１つ或いは複数の連続したフレームが失われ、ビデオ・シーケンスの表示中に、前記１つ或いは複数の失われたフレームが、前記ビデオ・シーケンス内の直前のフレームによって、該直前のフレームの表示から前記１つ或いは複数の失われたフレームの直後のフレームの表示までの期間の間、置き換えられる、前記複数のフレームを含む前記ビデオ・シーケンスの品質を測定する方法において、
前記ビデオ・シーケンスの品質を、前記期間中の前記直前のフレームの安定性に関する第１のパラメータと、前記直前のフレームと前記直後のフレームとの間の連続性に関する第２のパラメータと、前記ビデオ・シーケンスのコヒーレント・モーションに関する第３のパラメータとの関数として測定することを含むことを特徴とする前記方法。

【請求項2】

前記ビデオ・シーケンスの品質は、前記第１のパラメータと前記第２のパラメータと前記第３のパラメータとの線形結合として測定され、前記線形結合の各係数は、実験によって決められる、請求項１に記載の方法。

【請求項3】

前記ビデオ・シーケンスの品質は、前記第１のパラメータと前記第２のパラメータと前記第３のパラメータとの機械学習によって測定される、請求項１に記載の方法。

【請求項4】

前記第１のパラメータは、前記直前のフレームの動きベクトルと前記期間の長さとの関数として決められる、請求項１から３のいずれか１項に記載の方法。

【請求項5】

前記第２のパラメータは、前記直前のフレームおよび前記直後のフレームの画素値と画素数との関数として決められる、請求項１から３のいずれか１項に記載の方法。

【請求項6】

前記コヒーレント・モーションは、カメラによる前記ビデオ・シーケンスの生成中のカメラ・モーションである、請求項１から３のいずれか１項に記載の方法。

【請求項7】

前記カメラ・モーションは、前記ビデオ・シーケンスの生成中の前記カメラのパン、チルト、及びズームの各動作を含む、請求項６に記載の方法。

【請求項8】

複数のフレームのうちの１つ或いは複数の連続したフレームが失われ、ビデオ・シーケンスの表示中に、前記１つ或いは複数の失われたフレームが、前記ビデオ・シーケンス内の直前のフレームによって、該直前のフレームの表示から前記１つ或いは複数の失われたフレームの直後のフレームの表示までの期間の間、置き換えられる、前記複数のフレームを含む前記ビデオ・シーケンスの品質を測定する装置において、
前記期間中の前記直前のフレームの安定性に関する第１のパラメータを得るように構成された第１の測定ユニットと、
前記直前のフレームと前記直後のフレームとの間の連続性に関する第２のパラメータを得るように構成された第２の測定ユニットと、
前記ビデオ・シーケンスのコヒーレント・モーションに関する第３のパラメータを得るように構成された第３の測定ユニットと、
前記ビデオ・シーケンスの品質の結果を、前記第１のパラメータと前記第２のパラメータと前記第３のパラメータとの関数として得るように構成された組み合わせユニットと、
を備えていることを特徴とする前記装置。

【請求項9】

前記組み合わせユニットは、前記ビデオ・シーケンスの品質の結果を、前記第１のパラメータと前記第２のパラメータと前記第３のパラメータとの線形結合によって取得し、前記線形結合の各係数は実験によって決められる、請求項８に記載の装置。

【請求項10】

前記組み合わせユニットは、前記ビデオ・シーケンスの品質の結果を、前記第１のパラメータと前記第２のパラメータと前記第３のパラメータとについてのトレーニング・マシンのマシン・トレーニングによって取得する、請求項８に記載の装置。

【請求項11】

請求項４から７のいずれか１項に記載の方法を実行できる装置。

【発明の詳細な説明】

【技術分野】

【0001】

この発明は、概して、ビデオ品質に関し、特に、フレーム損失によって歪んだビデオ・シーケンスの品質を測定する方法および装置に関する。

【背景技術】

【0002】

この欄は、後述する、及び／又は、特許請求の範囲の各請求項に記載する本発明の種々の態様に関連するであろう技術の種々の態様を読者に紹介することを意図したものである。この欄で説明する事項は、本発明の種々の態様をより良く理解することを容易にするための背景情報を読者に提供するのに役立つと確信する。従って、この欄での記載事項は、この観点から読まれるべきであり、従来技術の自認として読まれるべきではない。

【0003】

無線通信技術の急速な発展により、テレビ電話（ビデオ・フォン）、ビデオ・ストリーミング、及び、ビデオ・ブロードキャスティングを用いたビデオ通信が、益々、普及している。そのような通信プロセスに於いて、圧縮されたメディア・データのパケットが、不安定なネットワークを介して送信されることがあり、その間に、圧縮に於けるデータ損失、或いは、送信に於けるパケット損失によって、空間的、及び、時間的な歪みが生じることがある。ビット・レート適応技術とネットワークに於けるパケット損失は、知覚されるビデオ品質の劣化の起源となり得る。送信元の符号化処理の段階に於いて、時間的なダウン・サンプリングは、ビット・レート適応処理に採用される技術の１つであるが、その過程で、シーケンスは、ビデオの動きの連続性に影響を及ぼすコマ落ち（フレーム・ドロッピング）の影響を被る。

【0004】

知覚ジッターは、フレーム損失によって生じる一般的なビデオ品質劣化である。一般的に、知覚ジッターは、ビデオ・フレーム・シーケンスに於ける１つ或いは複数の連続したフレームがビデオ・ストリーミング期間中に失われて、その後の表示段階に於いて、最後に正確に受信されたフレームに置き換えられる場合に知覚される、一種の一時的なアーティファクトである。図１は、フレームのドロッピング、或いは、破棄のようなフレーム損失によって生じる知覚ジッターを示す代表的な図である。図１には、フレーム損失のプロセスとビデオ品質に対するその影響とが示されている。図１中の線はオブジェクトの移動の軌道を表しており、Ｘ軸が時間、Ｙ軸がオブジェクトの位置である。時間Ｂ_０と時間Ｂとの間のフレームがコマ落ちしている。この場合、最後に正確に受信された、時間Ｂ_０に於けるフレームが、新たなフレームが時間Ｂに於いて正確に受信されるまで表示されるので、この表示されたオブジェクトは、その期間中、静止状態を保ち、その後、即座に新しい位置にジャンプすることになる。この期間が比較的に短く、且つ、オブジェクトの動きが僅かである場合、視聴者は、オブジェクトが何をしているかを推測でき、動きの不連続性を知覚しないであろう。そうでない場合、視聴者の脳は「動きの不連続性」の現象を隠し損ね、その結果、視聴者は、この一時的なアーティファクトを認識することになる。

【0005】

知覚ジッターによって生じる一時的な劣化の知覚的影響を評価するいくつかの研究が為されている。非特許文献１に記載された特定の主観的なテストによれば、コマ落ちしたフレームの数が増加するに従って、知覚品質が低下すると結論づけられている。この結論は、非特許文献２による研究によって、知覚的影響がコンテンツに顕著に依存するという結論にまで拡張されている。非特許文献３に於ける結論は、上記２つの文献と類似してはいるが、依存するコンテンツの要素を動き活動度とし、動き活動度の低いビデオは、ジッターが存在しても、知覚品質に於いて、動き活動度の高いビデオほどは、その影響を受けないとしている。これらの前提に基づいて、定量的なモデルも提案されている。

【0006】

しかしながら、知覚ジッターに利用可能な、体系化された評価方式は未だ無い。

【先行技術文献】

【非特許文献】

【0007】

【非特許文献1】Ｙ．Ｎ．Ｑｉ， Ｍ．Ｙ．Ｄａｉ， “Ｔｈｅ Ｅｆｆｅｃｔ ｏｆ Ｆｒａｍｅ Ｆｒｅｅｚｉｎｇ ａｎｄ Ｆｒａｍｅ Ｓｋｉｐｐｉｎｇ ｏｎ Ｖｉｄｅｏ Ｑｕａｌｉｔｙ”， ２００６ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ Ｈｉｄｉｎｇ ａｎｄ Ｍｕｌｔｉｍｅｄｉａ， ｐｐ． ２３−４２６．

【非特許文献2】Ｍ．Ｇｈａｎｂａｒｉ， Ｑ．Ｈｕｙｎｈ−Ｔｈｕ， “Ｉｍｐａｃｔ ｏｆ Ｊｉｔｔｅｒ ａｎｄ Ｊｅｒｋｉｎｅｓｓ ｏｎ Ｐｅｒｃｅｉｖｅｄ Ｖｉｄｅｏ Ｑｕａｌｉｔｙ”， ２ｎｄ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｗｏｒｋｓｈｏｐ ｏｎ Ｖｉｄｅｏ Ｐｒｏｃｅｓｓｉｎｇ ａｎｄ Ｑｕａｌｉｔｙ Ｍｅｔｒｉｃｓ ｆｏｒ Ｃｏｎｓｕｍｅｒ Ｅｌｅｃｔｒｏｎｉｃｓ， Ｓｃｏｔｔｓｄａｌｅ， ＵＳＡ， ２２−２４， Ｊａｎ．２００６

【非特許文献3】Ｋ． Ｃ．Ｙａｎｇ， Ｃ．Ｃ． Ｇｕｅｓｔ， Ｋ．Ｅｌ−Ｍａｌｅｈ， Ｐ．Ｋ．Ｄａｓ， “Ｐｅｒｃｅｐｔｕａｌ Ｔｅｍｐｏｒａｌ Ｑｕａｌｉｔｙ Ｍｅｔｒｉｃ ｆｏｒ Ｃｏｍｐｒｅｓｓｅｄ Ｖｉｄｅｏ”， ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎ ｏｎ Ｍｕｌｔｉｍｅｄｉａ， Ｖｏｌ．９， Ｎｏ ．７ ， Ｎｏｖ．２００７， ｐｐ．１５２８− １５３５．

【非特許文献4】Ｌ．Ｙ．Ｄｕａｎ， Ｊ．Ｑ．Ｗａｎｇ ｅｔ ａｌ．， “Ｓｈｏｔ−Ｌｅｖｅｌ Ｃａｍｅｒａ Ｍｏｔｉｏｎ Ｅｓｔｉｍａｔｉｏｎ ｂａｓｅｄ ｏｎ ａ Ｐａｒａｍｅｔｒｉｃ Ｍｏｄｅｌ”

【発明の概要】

【0008】

本発明者等の研究によれば、複数のフレームから成るビデオ・シーケンス内の１つ或いは複数の連続したフレームが失われ、その後の表示段階で、当該ビデオ・シーケンス内の直前のフレームによって置き換えられ、且つ、その置き換えられる期間がこの直前のフレームの表示から上記１つ或いは複数の失われたフレームの直後のフレームの表示までに及ぶ場合、歪んだビデオ・シーケンスの品質は、主に次の３つのパラメータ、即ち、上記期間中の上記直前のフレームの持続性（ｓｔａｂｉｌｉｔｙ）に関するパラメータ、上記直前のフレームと上記直後のフレームとの間の連続性（ｃｏｎｔｉｎｕｉｔｙ）に関するパラメータ、及び、上記ビデオ・シーケンスのコヒーレント・モーション（ｃｏｈｅｒｅｎｔ ｍｏｔｉｏｎｓ）に関するパラメータによって影響を受けることになる。

【0009】

上述の点に鑑みて、本発明は、フレーム損失によって歪んだビデオ・シーケンスのビデオ品質を上記３つのパラメータの関数として測定する方法および装置を提供する。

【0010】

本発明の一態様は、複数のフレームのうちの１つ或いは複数の連続したフレームが失われ、ビデオ・シーケンスの表示中に、１つ或いは複数の失われたフレームが、ビデオ・シーケンス内の直前のフレームによって、直前のフレームの表示から１つ或いは複数の失われたフレームの直後のフレームの表示までの期間の間、置き換えられる、複数のフレームを含むビデオ・シーケンスの品質を測定する方法を提供する。本方法は、ビデオ・シーケンスの品質を、上記期間中の直前のフレームの持続性に関する第１のパラメータと、直前のフレームと直後のフレームとの間の連続性に関する第２のパラメータと、ビデオ・シーケンスのコヒーレント・モーションに関する第３のパラメータとの関数として測定することを含む。

【0011】

本発明の他の態様は、複数のフレームのうちの１つ或いは複数の連続したフレームが失われ、ビデオ・シーケンスの表示中に、１つ或いは複数の失われたフレームが、ビデオ・シーケンス内の直前のフレームによって、直前のフレームの表示から１つ或いは複数の失われたフレームの直後のフレームの表示までの期間の間、置き換えられる、複数のフレームを含むビデオ・シーケンスの品質を測定する装置を提供する。本装置は、上記期間中の直前のフレームの持続性に関する第１のパラメータを得るように構成された第１の測定ユニットと、直前のフレームと直後のフレームとの間の連続性に関する第２のパラメータを得るように構成された第２の測定ユニットと、ビデオ・シーケンスのコヒーレント・モーションに関する第３のパラメータを得るように構成された第３の測定ユニットと、ビデオ・シーケンスの品質の結果を第１のパラメータと第２のパラメータと第３のパラメータとの関数として得るように構成された組み合わせユニットと、を備えている。

【0012】

本発明の有利な実施形態を、特許請求の範囲の従属請求項、以下に述べる説明、及び、図面に開示する。

【図面の簡単な説明】

【0013】

本発明の例示的な実施形態を、以下の添付図面を参照して説明する。

【図1】フレームのドロッピング、或いは、破棄によって生じる知覚ジッターを示す例示的な図である。

【図2】本発明の一実施形態による、フレーム損失によって歪んだビデオ・シーケンスの知覚ジッターを測定する方法のワークフローを示すフローチャートである。

【図3】本発明の一実施形態による、フレーム損失によって歪んだビデオ・シーケンスの知覚ジッターを測定する装置の高レベルのブロック図である。

【図4】ビデオ品質の主観的なテストを行うように設計されたソフトウェア・ツールのインタフェースを示す図である。

【発明を実施するための形態】

【0014】

本発明の一実施形態を、ビデオ・ストリーム・システムに関連して説明する。本実施形態によれば、ビデオ・シーケンス内の１つ或いは複数の連続したフレームが、ストリーミング期間中に失われて、表示の際に、最後に正確に受信されたフレームによって置き換えられ、その後、当該ビデオ・シーケンス内の後続のフレームが正確に受信される場合、当該ビデオ・シーケンスの知覚ジッターは、次の３つの態様によって影響を受ける。
１）フレーム・フリーズ：１つ或いは複数の連続したフレームが失われた場合に、最後に正確に受信されたフレームの表示から次のフレームの表示までの期間中、その最後に正確に受信されたフレームが静止状態／フリーズ状態を保つことによって生じる作用。
２）動きの不連続性：上記期間中に、オブジェクトの動きが、最後に正確に受信されたフレームと次のフレームとの間の不連続性により、不連続になるという作用。例えば、視聴者がビデオのバスケット・ボールに注目している場合、動きの不連続性は、そのバスケット・ボールが、短期間の間、消えて見えなくなり、その後突然、別の場所に現れて見えることを意味する。
３）サイコロジカル・ジャーク（心理的な急な動き）：コヒーレント・モーション、特にカメラ・モーションによって生じる作用。特に、速いパン撮り（ｐａｎｎｉｎｇ）の場合に１つ或いは複数の連続したフレームが失われた場合、視聴者の知覚は著しく低下する。これは、大量の心理的な活動が生じた為に、両目と脳が急激に疲れてしまうからである。

【0015】

上述の点に鑑みて、本発明の実施形態では、歪んだビデオ・シーケンスの知覚ジッターを、上記の３つの作用のそれぞれに関する３つのパラメータの関数として測定することを提案する。

【0016】

本発明の実施形態の一態様は、フレーム損失によって歪んだビデオ・シーケンスの知覚ジッターを測定する方法を提供する。

【0017】

図２は、フレーム損失によって歪んだビデオ・シーケンスの知覚ジッターを測定する方法のワークフローを示すフローチャートである。

【0018】

図２に示されているように、本方法は、以下の各ステップを含む。
Ｓ２０１：フレーム損失によって歪んだビデオ・シーケンスのフレーム・フリーズを評価する。
Ｓ２０２：フレーム損失によって歪んだビデオ・シーケンスの動きの不連続性を評価する。
Ｓ２０３：フレーム損失によって歪んだビデオ・シーケンスのサイコロジカル・ジャークを評価する。
Ｓ２０４：上記の３つの先行する各ステップの結果を組み合わせることによって、ビデオ・シーケンスの知覚ジッターを測定する。

【0019】

変形例によれば、ステップＳ２０４に於いて、上記の３つの結果の全てではなく、上記の３つの結果から選択された２つの結果を組み合わせる。

【0020】

本発明の実施形態の他の態様は、フレーム損失によって歪んだビデオ・シーケンスの知覚ジッターを測定する装置を提供する。

【0021】

本発明の実施形態によれば、まず、上記の３つの影響の各々が当該装置によって個別に評価され、次に、その３つの別個の結果を組み合わせることによって、総合的な知覚ジッターの測定結果が得られる。

【0022】

図３は、ビデオ・シーケンスの知覚ジッターを測定する装置３００の高レベルのブロック図である。図３に示されているように、装置３００の入力は、１つ或いは複数の連続したフレームの損失を有する歪んだビデオ・シーケンスであり、その出力は、歪んだビデオ・シーケンスに於ける１つ或いは複数の連続したフレームの損失によって生じた品質劣化レベルを示す値であり、このケースでは知覚ジッターである。

【0023】

装置３００は、歪んだビデオ・シーケンスを受信して、フレーム・フリーズによって生じたビデオ・シーケンスの知覚ジッターを評価するフレーム・フリーズ評価モジュール３０１と、歪んだビデオ・シーケンスを受信して、動きの不連続性によって生じたビデオ・シーケンスの知覚ジッターを評価する動き不連続性評価モジュール３０２と、歪んだビデオ・シーケンスを受信して、サイコロジー・ジャークによって生じたビデオ・シーケンスの知覚ジッターを評価するサイコロジー・ジャーク評価モジュール３０３と、モジュール３０１，３０２及び３０３からの各出力を受信して、これらの出力を組み合わせて、フレーム損失によって生じた総合的な知覚ジッター測定結果を得る組み合わせモジュール３０４と、を有している。

【0024】

次に、装置３００の動作について詳細に説明する。

【0025】

先ず、幾つかの表記を以下に説明する。

【0026】

本実施形態についての以下の説明に於いて、元のビデオ・シーケンスをｖ＝｛ｆ_１，ｆ_２，...，ｆ_Ｎ｝と表す。フレームｆ_ｋ＋１，ｆ_ｋ＋２，...，ｆ_ｍ−１が送信期間中に失われたとすると、ストリーミングされたビデオ・シーケンス／歪んだビデオ・シーケンスをＶ’＝｛ｆ_１’，ｆ_２’，...，ｆ_Ｎ’｝と表す。
ここで、

【数1】

である。

【0027】

手短に言えば、装置３００は、元のシーケンスの（ｍ−ｋ−１）個のフレームが失われた場合に、歪んだビデオ・シーケンスに於けるフレームｆ_ｋ’とフレームｆ_ｍ’との間の一時的な品質劣化のレベルを評価するために使用される。

【0028】

以下の説明に於いて、フレーム・レートをＦＰＳとして表し、表示コンテンツが静止状態に保たれるｆ_ｋ’とｆ_ｍ’との間の期間をＴ＝（ｍ−ｋ）／ＦＰＳと表す。また、ビデオ・シーケンスＶのｉ番目のフレームに於ける（ｘ，ｙ）で示されるマクロブロックの動きベクトルをＭＶ_{ｉ，ｘ，ｙ}と表す。

【0029】

１．フレーム・フリーズ評価モジュール３０１
本発明の一実施形態によれば、フレーム・フリーズ評価モジュール３０１は、次の等式（１）によって、フレーム・フリーズによって生じたビデオの知覚ジッターを測定できる。

【数2】

【0030】

視聴者は、動きの非常に小さい極めて静的なビデオ・シーケンスに於けるフレーム・フリーズを認識しないことが分かる。上記の等式（１）に於いて、ｇ_１（ＭＶ_ｋ）により、このケースが特定される。ここで、ＭＶ_ｋは、ビデオ・シーケンスＶのｋ番目のフレームの動きベクトルの測定値である。

【数3】

【0031】

等式（１）に於いて、ｇ_２（Ｔ）は、フレーム・フリーズによって生じた知覚的影響の評価に於ける重要な要因であるフレーム・フリーズの期間Ｔを特定することに用いられる。

【数4】

【0032】

上記のように、当該期間が定数より小さい（Ｔ＜Ｃ_２）場合、人間の脳は、フレーム・フリーズの前後の映像を結び付けようとし、それによって当該期間を連続した動きに入れてしまう。この場合、視聴者は、フレーム・フリーズ自体を認識しない。

【0033】

２．動き不連続性評価モジュール３０２
ビデオ・ブラウジングに於いて、視聴者の眼球運動は、主に３つのタイプ、即ち、サッカード（ｓａｃｃａｄｅ）、固視（ｆｉｘａｔｉｏｎ）、及び、円滑な追従視（ｓｍｏｏｔｈ ｐｕｒｓｕｉｔ）に分解される。サッカードは、視聴者が視野を探索することを可能にする非常に速い眼球運動である。固視は、凝視が視野の特定領域に固定される場合の目の残留運動である。追従視の運動は、動いているオブジェクトの像を円滑に追跡する目の能力である。

【0034】

視聴者は、主に、固視／円滑な追従視の段階から情報を得る。これらの段階に於いて、人間の目は、興味あるオブジェクトの小さい領域を注視する。フレーム損失が生じると、人間の目は、新たなフレームが正確に送信されるまで、静止状態を保つ。そのため、現在注視している領域の画素値が異なれば異なるほど、それだけ、動きの不連続性に気付き易くなることが分かる。

【0035】

上述の説明に従って、動き不連続性評価モジュール３０２は、次の等式（２）によって、動きの不連続性によって生じた知覚ジッターを評価できる。

【数5】

ここで、Ｎは画素数であり、ｐ_ｉ，ｊは、フレームｆ_ｊ’に於けるｉ番目の画素の画素値を表す。

【0036】

３．サイコロジー・ジャーク評価モジュール３０３
オブジェクトの運動によって生じる動きの不連続性の影響とは異なり、サイコロジー・ジャークの影響は広範囲のカメラ・モーションによって生じる。

【0037】

図１を参照して説明したように、時間Ｂ０とＢとの間のフレームが失われると、時間Ｂに於ける新たなフレームが送信されるまで、時間Ｂ０に於けるフレームが静止状態を保つ。しかしながら、視聴者は、正確には、このようには知覚しない。ビデオ・コンテンツが時間Ｂ０に於いて突然、静止状態になると、視聴者の脳は、オブジェクトの動きが時間Ｂ０の前と同じスピードであると解釈して、時間Ｂ０とＢとに於けるコンテンツを自然に結び付けようとする。時間Ｂ０とＢとの間の期間が短い場合、脳は、「見かけ上の動き理論（ａｐｐａｒｅｎｔ ｍｏｖｅｍｅｎｔ ｔｈｅｏｒｙ）」に従って、そのように出来る。当該期間が短くない場合には、そのように出来ない。人間の脳が上記のように解釈出来るか出来ないかに関係なく、多くの心理的な活動が生じる。

【0038】

広範囲のカメラ・モーションを有するビデオ・シーケンスにフレーム損失が生じると、そのビデオ・シーケンスの各々の画素によって、この種の心理的な活動が求められる。その結果、視聴者は、この種のアーティファクトを考慮すると、疲れて不快感を覚え易くなる。本発明に於いて、この種の現象を「サイコロジー・ジャーク」と呼び、これをカメラ・モーションのレベルによって評価する。

【0039】

非特許文献４には、上述の広範囲のモーションの評価に使用可能な、いわゆる、８パラメータ・パースペクティブ動きモデル（ｅｉｇｈｔ−ｐａｒａｍｅｔｅｒ ｐｅｒｓｐｅｃｔｉｖｅ ｍｏｔｉｏｎ ｍｏｄｅｌ）が記載されている。
ｘ_ｉ’＝（ａ_０＋ａ_２ｘ_ｉ＋ａ_３ｙ_ｉ）／（１＋ａ_６ｘ_ｉ＋ａ_７ｙ_ｉ）
ｙ_ｉ’＝（ａ_１＋ａ_４ｘ_ｉ＋ａ_５ｙ_ｉ）／（１＋ａ_６ｘ_ｉ＋ａ_７ｙ_ｉ）
ここで、（ａ_０，...，ａ_７）は広範囲のモーションのパラメータであり、（ｘ_ｉ，ｙ_ｉ）は現在のフレームに於けるｉ番目の画素の空間座標を表し、（ｘ_ｉ’，ｙ_ｉ’）は前のフレームに於ける対応する画素の座標を表す。動きモデル・パラメータと記号レベルの解釈との間の関係を次のように設定する。
Ｐａｎ＝ａ_０
Ｔｉｌｔ＝ａ_１
Ｚｏｏｍ＝（ａ_２＋ａ_５）／２

【0040】

サイコロジー・ジャーク評価モジュール３０３は、上記のアルゴリズムを使用して、フレーム・フリーズによって生じた知覚ジッターを次の等式（３）によって評価できる。

【数6】

ここで、ｃ_４は、当該値を［０，１］の範囲内に正規化する係数である。

【0041】

異なる重み付け係数を相異なるカメラ動作（ｐａｎ（パン）、ｔｉｌｔ（チルト）及びｚｏｏｍ（ズーム））に適用できる。その理由は、これらのカメラ動作が知覚ジッターに相異なる種類の影響を及ぼす為である。

【0042】

４．組み合わせモジュール３０４
モジュール３０１、３０２及び３０３からの各評価出力が組み合わせモジュール３０４によって組み合わされて、総合的な知覚ジッターの測定結果が得られる。

【0043】

一例として、組み合わせモジュール３０４は、線形結合を用いて、総合的な知覚ジッターの測定結果を得ることが出来る。この線形結合は次の等式（４）によって表すことが出来る。

【数7】

ここで、３つの係数ｋ_１、ｋ_２及びｋ_３は、実験によって決定される。

【0044】

データセットＤＳ＝｛ｓ_ｉ｜ｉ＝１，２，...，Ｍ｝が、主観的なテストの記述によって収集される。このデータセットに於ける各々のサンプルｓ_ｉは、フレーム損失を有する送信されたビデオ・ショットである。Ｄ_Ｆ（ｉ）、Ｄ_Ｄ（ｉ）及びＤ_Ｐ（ｉ）は、それぞれ、ｓ_ｉのフレーム・フリーズ、動きの不連続性、及び、サイコロジー・ジャークの知覚感覚評価を表す。また、Ｊ_１（ｉ）が、等式（４）に従うサンプルｓ_ｉについての知覚ジッターの客観的評価を表すとすると、Ｊ_Ｓ（ｉ）は、そのサンプルｓ_ｉについての知覚ジッターの主観的スコアを表す。そうすると、係数ｋ_１、ｋ_２及びｋ_３は、次の等式によって求めれれる。

【数8】

【0045】

あるいは、機械学習（マシン・ラーニング）を用いても、総合的な知覚ジッターの測定結果を得ることが出来る。即ち、Ｄ_Ｆ、Ｄ_Ｄ及びＤ_Ｐを、抽出される特徴とし、知覚ジッターの総合的な評価を機械出力（マシン・アウトプット）とする。この場合、人工神経ネットワーク（アーティフィシャル・ニューラル・ネットワーク：ＡＮＮ）を、図３に示されたトレーニング・マシン３０５として採用でき、以下のように表すことが出来る。

【数9】

【0046】

組み合わせモジュール３０４に於いて、フレーム・フリーズ、動きの不連続性、及び、サイコロジー・ジャークに対する視聴者の異なる感度を示す重み付け値として、幾つかの係数が必要である。これらの係数の各値のデフォルト・セットが、当該データセットについてのトレーニングによって、提供される。しかしながら、これらの値は、個別の人用に、また、個別の適用ケース用に修正できる。

【0047】

図４は、ビデオ・シーケンスの品質の主観的なテストを行うように設計されたソフトウェア・ツールのインタフェースを示す図である。図３に示されているように、ビデオ・シーケンスからのランダムなクリップが、連続フレームの損失が当該シーケンスのランダムな位置に、且つランダムな長さで生じた状態で、表示される。

【0048】

視聴者は、以下のように、ジッターの知覚を採点することが求められる。
０：知覚的品質劣化なし。
１：品質劣化は認められるが、あまり気にならない。
２：明確な品質劣化であり、非常に気になる。

【0049】

この主観的スコアはＪ_Ｓとして表される。採点スコアを有するシーケンス全体によってデータセットＤＳが構成される。

【0050】

次に、主観的なテストについてのパラメータの設定について説明する。

【0051】

当該テストに於いて、以下の各定数が経験的に決定される。β_１＝β_２＝１，β_３＝２；ｃ_１＝１；ｃ_２＝１／１５（ｓ），ｃ_３＝１／３（ｓ）。

【0052】

主観的なテストに従って、デフォルトの値が、Ｊ_１の評価に於けるｋ_１、ｋ_２及びｋ_３の各々と、Ｊ_２の評価に於けるトレーニング・マシン・パラメータとに割り当てられる。しかしながら、フレーム・フリーズ、動きの不連続性、及び、サイコロジー・ジャークの知覚感覚は、全く相違し、独立している場合もある。即ち、サイコロジー・ジャークに非常に敏感な人もいれば、自分が注視するオブジェクトの動きの不連続性を嫌う人もいるであろう。従って、知覚ジッターの総合的な評価に対する、フレーム・フリーズ、動きの不連続性、及び、サイコロジー・ジャークの知覚感覚の寄与度は、適用ケースによって、及び、人によって全く異なる場合がある。

【0053】

柔軟性を持たせるために、一組のコンフィギュレーションがこれらのパラメータに通常のやり方で提供される。しかしながら、これらの値設定は変更できる。

【0054】

上述のように、組み合わせモジュール３０４は、線形結合、或いは、機械学習によって、総合的な知覚ジッターの評価結果を得ることが出来る。上述の２つのオプションの予測精度は、客観的評価結果（Ｊ_１／Ｊ_２）と主観的スコアＪ_Ｓとを比較することによって測定できる。このような予測精度の測定には、ピアソン相関（Ｐｅａｒｓｏｎ Ｃｏｒｒｅｌａｔｉｏｎ）を用いることが出来る。

【0055】

以下に示す表には、本発明のピアソン相関（予測精度）と、非特許文献３に於いて提案されている方法とが示されている。各予測精度は、２００サンプル（２名の視聴者）についてテストされた。

【表1】

【0056】

「ポージング・ウィズ・スキッピング（ｐａｕｓｉｎｇ ｗｉｔｈ ｓｋｉｐｐｉｎｇ）」は、不安定なネットワーク状況に於ける標準的なプレー・モードであり、ビデオが、或る期間の間、ポーズ（停止）し、その後、ビデオ情報の或る程度の損失を伴って再スタートする事象として定義されている。ポージング・ウィズ・スキッピングの一例は、ＩＰテレビ電話であり、ネットワークの通信量が多いと、ＩＰテレビ電話の表示が短期間の間フリーズし、ＩＰテレビ電話の表示が継続する場合には、或る程度のコンテンツが失われる。他の例は、一定のフレーム・スキッピング、或いは、変動するフレーム・スキッピングを伴うテレビ会議システムである。ポージング・ウィズ・スキッピングを含む処理されたビデオ・シーケンスは、対応する元のビデオ・シーケンスとほぼ同じ再生期間（ｄｕｒａｔｉｏｎ）を有する（ＶＱＥＧ ＭＭ Ｔｅｓｔ Ｐｌａｎ参照）。

【0057】

ここに提案した知覚ジッター測定方法および装置は、任意の「ポージング・ウィズ・スキッピング」状態において取り込まれる品質劣化の数値化に、そのまま適用できる。

【0058】

更に、帯域幅が制限された状況に於いてドロップすべきフレームを適応的に選択でき、且つ、ここに提案したアルゴリズムを用いて、取り込まれる品質劣化を最小に出来る。また、ビデオ・シーケンスに於ける各々のフレームの時間的な重要性は、損失フレーム数を定数に設定することによって測定できる。

【0059】

上述の各事項は、単に、本発明の実施形態を例示するものであり、当業者であれば、ここに明示的に記載されてはいないが、本発明の原理を実施する、本発明の範囲内に在る様々な別の構成を考案できることが分かるであろう。

【0060】

詳細な説明と（適切である場合は）特許請求の範囲及び各図面とに開示された各々の特徴は、単独でも、或いは、任意に組み合わせても、提供できる。各特徴は、適切である場合は）ハードウェア、ソフトウェア、或いは、両者の組み合わせに於いて実施できる。特許請求の範囲において記す参照符号は、単なる例示であり、特許請求の範囲の権利範囲について制限的な効力を有するものではない。

【図1】

【図2】

【図3】

【図4】