特許 7571893 情報処理システム、情報処理方法、及び情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-15

(45)【発行日】2024-10-23

(54)【発明の名称】情報処理システム、情報処理方法、及び情報処理装置

(51)【国際特許分類】

   H04N 21/44 20110101AFI20241016BHJP

   H04N 21/438 20110101ALI20241016BHJP

   H04N 21/4728 20110101ALI20241016BHJP

   H04N 23/60 20230101ALI20241016BHJP

【ＦＩ】

H04N21/44

H04N21/438

H04N21/4728

H04N23/60

H04N23/60 300

【請求項の数】 10

(21)【出願番号】P 2023550967

(86)(22)【出願日】2021-09-30

(86)【国際出願番号】 JP2021036285

(87)【国際公開番号】W WO2023053410

(87)【国際公開日】2023-04-06

【審査請求日】2024-03-05

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100103894

【弁理士】

【氏名又は名称】家入 健

(72)【発明者】

【氏名】大西 祥史

(72)【発明者】

【氏名】二瓶 浩一

(72)【発明者】

【氏名】岩井 孝法

【審査官】大西 宏

(56)【参考文献】

【文献】特開２００４－０６４７３７（ＪＰ，Ａ）

【文献】特開２００４－１７９９９７（ＪＰ，Ａ）

【文献】特開２０１１－１７６４９０（ＪＰ，Ａ）

【文献】特開２０２１－０６８１０２（ＪＰ，Ａ）

【文献】特表２０２０－５３０１６８（ＪＰ，Ａ）

【文献】特許第４６４３７６６（ＪＰ，Ｂ１）

【文献】国際公開第２０１５／０２５７０４（ＷＯ，Ａ１）

【文献】国際公開第２０１６／０２１１４７（ＷＯ，Ａ１）

【文献】中国特許出願公開第１１１８３２３４５（ＣＮ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２１／００ －２１／８５８

Ｈ０４Ｎ ２３／４０ －２３／７６

(57)【特許請求の範囲】

【請求項1】

ネットワークを介して配信される映像の複数の時点での符号化パラメータを取得する取得手段と、
前記複数の時点での被写体の特定部位の領域の符号化パラメータに基づいて、被写体の情報の分析結果の信頼度を推定する推定手段と、
を有する情報処理システム。

【請求項2】

前記情報処理システムは、分析手段を有し、
前記推定手段は、前記複数の時点での符号化パラメータに基づいて、前記複数の時点を含む期間における前記信頼度を推定し、
前記分析手段は、前記推定手段により推定された前記信頼度と、前記期間の前記特定部位の領域の映像とに基づいて、前記被写体の情報を算出する、
請求項１に記載の情報処理システム。

【請求項3】

前記推定手段は、前記期間に含まれる第１時点での第１符号化パラメータと、前記期間に含まれる第２時点での第２符号化パラメータと、に基づいて、前記期間における前記信頼度を推定する、
請求項２に記載の情報処理システム。

【請求項4】

前記推定手段は、前記第１符号化パラメータと前記第２符号化パラメータとの変化量が大きいほど、前記期間における前記信頼度を小さい値に決定する、
請求項３に記載の情報処理システム。

【請求項5】

前記分析手段は、前記期間の映像に基づく被写体の情報の分析結果の値のそれぞれに対して、前記期間における前記信頼度に応じた重み付けを実施し、当該重み付けした値の合計値に基づいて、前記被写体の情報を推定する、
請求項２から４のいずれか一項に記載の情報処理システム。

【請求項6】

前記複数の時点での符号化パラメータには、符号化のビットレート、符号化のフレームレート、符号化の量子化パラメータ、及び階層符号化の各階層の領域とビットレートの少なくとも一つが含まれる、
請求項１から５のいずれか一項に記載の情報処理システム。

【請求項7】

ネットワークを介して配信される映像の複数の時点での符号化パラメータを取得する処理と、
前記複数の時点での被写体の特定部位の領域の符号化パラメータに基づいて、被写体の情報の分析結果の信頼度を推定する処理と、
を実行する、情報処理方法。

【請求項8】

前記情報処理方法は、分析する処理を含み、
前記推定する処理では、前記複数の時点での符号化パラメータに基づいて、前記複数の時点を含む期間における前記信頼度を推定し、
前記分析する処理では、前記推定する処理で推定した前記信頼度と、前記期間の前記特定部位の領域の映像とに基づいて、前記被写体の情報を算出する、
請求項７に記載の情報処理方法。

【請求項9】

ネットワークを介して配信される映像の複数の時点での符号化パラメータを取得する取得手段と、
前記複数の時点での被写体の特定部位の領域の符号化パラメータに基づいて、被写体の情報の分析結果の信頼度を推定する推定手段と、
を有する情報処理装置。

【請求項10】

前記情報処理装置は、分析手段を有し、
前記推定手段は、前記複数の時点での符号化パラメータに基づいて、前記複数の時点を含む期間における前記信頼度を推定し、
前記分析手段は、前記推定手段により推定された前記信頼度と、前記期間の前記特定部位の領域の映像とに基づいて、前記被写体の情報を算出する、
請求項９に記載の情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、情報処理システム、情報処理方法、及び情報処理装置に関する。

【背景技術】

【0002】

センサで検出された情報を、ネットワークを介して収集し、収集した情報に基づいて対象の状況を判断する技術に関心が高まっている。

【0003】

この技術に関連し、特許文献１には、時系列データの中から異常値（外れ値）を除いて代表値から生体情報を解析し、異常を判定することで、計測された生体情報に含まれる異常の発生を把握できるようにする技術が開示されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０２０－０５４７２２号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献１では、符号化されて配信される映像に基づいて分析を行う場合の課題について検討されていない。そのため、特許文献１では、例えば、ネットワークの帯域の変動等により映像の画質が変動する場合に、分析の精度が低下する可能性がある。

【0006】

本開示の目的は、上述した課題を鑑み、ネットワークを介して配信される映像に基づく分析を適切に実行できる技術を提供することにある。

【課題を解決するための手段】

【0007】

本開示に係る第１の態様では、情報処理システムが、ネットワークを介して配信される映像の複数の時点での符号化パラメータを取得する取得手段と、前記複数の時点での被写体の特定部位の領域の符号化パラメータに基づいて、被写体の情報の分析結果の信頼度を推定する推定手段と、を有する。

【0008】

また、本開示に係る第２の態様では、ネットワークを介して配信される映像の複数の時点での符号化パラメータを取得する処理と、前記複数の時点での被写体の特定部位の領域の符号化パラメータに基づいて、被写体の情報の分析結果の信頼度を推定する処理と、を実行する、情報処理方法が提供される。

【0009】

また、本開示に係る第３の態様では、情報処理装置が、ネットワークを介して配信される映像の複数の時点での符号化パラメータを取得する取得手段と、前記複数の時点での被写体の特定部位の領域の符号化パラメータに基づいて、被写体の情報の分析結果の信頼度を推定する推定手段と、を有する。

【発明の効果】

【0010】

一側面によれば、ネットワークを介して配信される映像に基づく分析を適切に実行できる。

【図面の簡単な説明】

【0011】

【図1A】実施形態に係る情報処理システムの構成の一例を示す図である。

【図1B】実施形態に係る情報処理システムの構成の一例を示す図である。

【図2】実施形態に係る情報処理システムの処理の一例を示すフローチャートである。

【図3】実施形態に係る情報処理装置のハードウェア構成例を示す図である。

【図4A】実施形態に係る情報処理システムの構成例を示す図である。

【図4B】実施形態に係る情報処理システムの構成例を示す図である。

【図5】実施形態に係る情報処理システムの処理の一例を示すシーケンス図である。

【図6】実施形態に係る特定部位ＤＢの一例を示す図である。

【図7】実施形態に係る特定部位の領域の一例を示す図である。

【図8】実施形態に係る分析精度ＤＢ８０１の一例を示す図である。

【図9】実施形態に係る映像に基づく分析処理の一例を示す図である。

【発明を実施するための形態】

【0012】

本開示の原理は、いくつかの例示的な実施形態を参照して説明される。これらの実施形態は、例示のみを目的として記載されており、本開示の範囲に関する制限を示唆することなく、当業者が本開示を理解および実施するのを助けることを理解されたい。本明細書で説明される開示は、以下で説明されるもの以外の様々な方法で実装される。
以下の説明および特許請求の範囲において、他に定義されない限り、本明細書で使用されるすべての技術用語および科学用語は、本開示が属する技術分野の当業者によって一般に理解されるのと同じ意味を有する。
以下、図面を参照して、本開示の実施形態を説明する。

【0013】

＜第１実施形態＞
＜構成＞
図１Ａを参照し、実施形態に係る情報処理システム１の構成について説明する。図１Ａは、実施形態に係る情報処理システム１の構成の一例を示す図である。情報処理システム１は、取得部１１、及び推定部１２を有する。これら各部は、情報処理装置１０にインストールされた１以上のプログラムと、情報処理装置１０のプロセッサ１０１、及びメモリ１０２等のハードウェアとの協働により実現されてもよい。

【0014】

取得部１１は、装置内部の記憶部、または外部装置から各種の情報を受信（取得）する。取得部１１は、例えば、撮影装置２０で撮影されてネットワークを介して配信される映像の各時点での符号化パラメータを取得する。なお、当該符号化パラメータには、例えば、符号化のビットレート、符号化のフレームレート、符号化の量子化パラメータ（ＱＰ値）、階層符号化の各階層の領域とビットレートの少なくとも一つが含まれてもよい。

【0015】

推定部１２は、各時点での被写体の特定部位の領域の符号化パラメータに基づいて、被写体の情報の分析結果の信頼度を推定する。なお、当該特定部位は、例えば、分析の対象とされる項目（以下で、適宜「分析対象」とも称する。）の分析に用いられる部位である。例えば、映像における顔の領域に基づいて心拍数が分析される場合、分析対象は心拍数であり、特定部位は顔である。

【0016】

また、取得部１１、及び推定部１２は、図１Ｂのように１つの装置に集約されてもよい。図１Ｂの例では、情報処理システム１は、情報処理装置１０と撮影装置２０を有する。撮影装置２０は、被写体を撮影する装置であり、例えば、スマートフォン、タブレット等に内蔵されたカメラでもよい。また、撮影装置２０は、例えば、パーソナルコンピュータ等に外部バスで接続されるカメラでもよい。情報処理装置１０は、取得部１１、及び推定部１２を有する。これら各部は、情報処理装置１０にインストールされた１以上のプログラムと、情報処理装置１０のプロセッサ１０１、及びメモリ１０２等のハードウェアとの協働により実現されてもよい。

【0017】

なお、情報処理装置１０は、撮影装置２０で撮影されて符号化された映像の配信先の装置でもよいし、撮影装置２０で撮影されて符号化された映像の配信元の装置でもよい。

【0018】

＜処理＞
次に、図２を参照し、実施形態に係る情報処理システム１の処理の一例について説明する。図２は、実施形態に係る情報処理システム１の処理の一例を示すフローチャートである。

【0019】

ステップＳ１において、取得部１１は、撮影装置２０で撮影されてネットワークを介して配信される映像の各時点での符号化パラメータを取得する。続いて、推定部１２は、各時点での被写体の特定部位の領域の符号化パラメータに基づいて、被写体の情報の分析結果の信頼度を推定する（ステップＳ２）。

【0020】

（情報処理装置１０が映像の配信先の装置である場合の処理例）
情報処理装置１０が、映像の配信先の装置である場合、推定部１２は、ネットワークＮを介して、符号化された映像の情報を受信する。そして、推定部１２は、各時点での被写体の特定部位の領域の符号化パラメータに基づいて、被写体の情報の分析結果の信頼度を推定する。

【0021】

（情報処理装置１０が映像の配信元の装置である場合の処理例）
情報処理装置１０が、映像の配信元の装置である場合、取得部１１は、情報処理装置１０に内蔵された撮影装置２０から内部バスを介して映像を受信してもよい。また、取得部１１は、情報処理装置１０にケーブル等で接続された外部の（外付けの）撮影装置２０から外部バスを介して映像を受信してもよい。この場合、外部バスには、例えば、ＵＳＢ（Universal Serial Bus）ケーブル、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）ケーブル、または、ＳＤＩ（Serial Digital Interface）ケーブル等が含まれてもよい。そして、推定部１２は、各時点での被写体の特定部位の領域の符号化パラメータに基づいて、被写体の情報の分析結果の信頼度を推定する。

【0022】

＜ハードウェア構成＞
図３は、実施形態に係る情報処理装置１０のハードウェア構成例を示す図である。図３の例では、情報処理装置１０（コンピュータ１００）は、プロセッサ１０１、メモリ１０２、通信インターフェイス１０３を含む。これら各部は、バス等により接続されてもよい。メモリ１０２は、プログラム１０４の少なくとも一部を格納する。通信インターフェイス１０３は、他のネットワーク要素との通信に必要なインターフェイスを含む。

【0023】

プログラム１０４が、プロセッサ１０１及びメモリ１０２等の協働により実行されると、コンピュータ１００により本開示の実施形態の少なくとも一部の処理が行われる。メモリ１０２は、ローカル技術ネットワークに適した任意のタイプのものであってもよい。メモリ１０２は、非限定的な例として、非一時的なコンピュータ可読記憶媒体でもよい。また、メモリ１０２は、半導体ベースのメモリデバイス、磁気メモリデバイスおよびシステム、光学メモリデバイスおよびシステム、固定メモリおよびリムーバブルメモリなどの任意の適切なデータストレージ技術を使用して実装されてもよい。コンピュータ１００には１つのメモリ１０２のみが示されているが、コンピュータ１００にはいくつかの物理的に異なるメモリモジュールが存在してもよい。プロセッサ１０１は、任意のタイプのものであってよい。プロセッサ１０１は、汎用コンピュータ、専用コンピュータ、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ：Digital Signal Processor）、および非限定的な例としてマルチコアプロセッサアーキテクチャに基づくプロセッサの１つ以上を含んでよい。コンピュータ１００は、メインプロセッサを同期させるクロックに時間的に従属する特定用途向け集積回路チップなどの複数のプロセッサを有してもよい。

【0024】

本開示の実施形態は、ハードウェアまたは専用回路、ソフトウェア、ロジックまたはそれらの任意の組み合わせで実装され得る。いくつかの態様はハードウェアで実装されてもよく、一方、他の態様はコントローラ、マイクロプロセッサまたは他のコンピューティングデバイスによって実行され得るファームウェアまたはソフトウェアで実装されてもよい。

【0025】

本開示はまた、非一時的なコンピュータ可読記憶媒体に有形に記憶された少なくとも１つのコンピュータプログラム製品を提供する。コンピュータプログラム製品は、プログラムモジュールに含まれる命令などのコンピュータ実行可能命令を含み、対象の実プロセッサまたは仮想プロセッサ上のデバイスで実行され、本開示のプロセスまたは方法を実行する。プログラムモジュールには、特定のタスクを実行したり、特定の抽象データ型を実装したりするルーチン、プログラム、ライブラリ、オブジェクト、クラス、コンポーネント、データ構造などが含まれる。プログラムモジュールの機能は、様々な実施形態で望まれるようにプログラムモジュール間で結合または分割されてもよい。プログラムモジュールのマシン実行可能命令は、ローカルまたは分散デバイス内で実行できる。分散デバイスでは、プログラムモジュールはローカルとリモートの両方のストレージメディアに配置できる。

【0026】

本開示の方法を実行するためのプログラムコードは、１つ以上のプログラミング言語の任意の組み合わせで書かれてもよい。これらのプログラムコードは、汎用コンピュータ、専用コンピュータ、またはその他のプログラム可能なデータ処理装置のプロセッサまたはコントローラに提供される。プログラムコードがプロセッサまたはコントローラによって実行されると、フローチャートおよび／または実装するブロック図内の機能／動作が実行される。プログラムコードは、完全にマシン上で実行され、一部はマシン上で、スタンドアロンソフトウェアパッケージとして、一部はマシン上で、一部はリモートマシン上で、または完全にリモートマシンまたはサーバ上で実行される。

【0027】

プログラムは、様々なタイプの非一時的なコンピュータ可読媒体を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体を含む。非一時的なコンピュータ可読媒体の例には、磁気記録媒体、光磁気記録媒体、光ディスク媒体、半導体メモリ等が含まれる。磁気記録媒体には、例えば、フレキシブルディスク、磁気テープ、ハードディスクドライブ等が含まれる。光磁気記録媒体には、例えば、光磁気ディスク等が含まれる。光ディスク媒体には、例えば、ブルーレイディスク、ＣＤ（Compact Disc）－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ（Recordable）、ＣＤ－ＲＷ（ReWritable）等が含まれる。半導体メモリには、例えば、ソリッドステートドライブ、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory）等が含まれる。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

【0028】

＜第２実施形態＞
＜システム構成＞
次に、図４Ａ及び図４Ｂを参照し、実施形態に係る情報処理システム１の構成の一例について説明する。図４Ａは、実施形態に係る情報処理システム１の構成例を示す図である。図４Ａの例では、情報処理システム１は、撮影装置２０、及び情報処理装置１０を有する。なお、撮影装置２０及び情報処理装置１０の数は図４Ａの例に限定されない。

【0029】

なお、本開示の技術は、例えば、医師と患者（人間、動物）とのビデオ会議（ビデオ通話、オンライン診療）における患者の映像に基づく生体情報の測定で用いられてもよい。また、本開示の技術は、例えば、監視カメラの映像に基づく人物の分析（特定）、及び行動の分析（推定）で用いられてもよい。また、本開示の技術は、例えば、工場やプラントの監視カメラの映像に基づく製品の分析（検査）で用いられてもよい。

【0030】

図４Ａの例では、撮影装置２０、及び情報処理装置１０は、ネットワークＮにより通信できるように接続されている。ネットワークＮの例には、例えば、インターネット、移動通信システム、無線ＬＡＮ（Local Area Network）、Ｗｉ-Ｆｉ（登録商標）、ＬＡＮ、及びＢＬＥ（Bluetooth（登録商標） Low Energy）等の近距離無線通信等が含まれる。移動通信システムの例には、例えば、第５世代移動通信システム（５Ｇ）、ローカル５Ｇ、Ｂｅｙｏｎｄ ５Ｇ（６Ｇ）、第４世代移動通信システム（４Ｇ）、ＬＴＥ（Long Term Evolution）、第３世代移動通信システム（３Ｇ）等が含まれる。

【0031】

撮影装置２０は、例えば、スマートフォン、タブレット、パーソナルコンピュータ等の装置でもよい。撮影装置２０は、撮影した映像を任意の符号化方式により符号化し、ネットワークＮを介して情報処理装置１０に配信する。当該符号化方式には、例えば、Ｈ.２６５／ＨＥＶＣ（High Efficiency Video Coding）、ＡＶ１（AOMedia Video 1）、Ｈ.２６４/ＭＰＥＧ－４ ＡＶＣ（Advanced Video Coding）等が含まれてもよい。

【0032】

情報処理装置１０は、例えば、パーソナルコンピュータ、サーバ、クラウド、スマートフォン、タブレット等の装置でもよい。情報処理装置１０は、撮影装置２０から配信された映像に基づいて分析を行う。

【0033】

図４Ｂは、実施形態に係る情報処理装置１０の構成の一例を示す図である。図４Ｂの例では、図１の例と比較して、情報処理装置１０が、分析部１３を有する点が異なる。分析部１３は、情報処理装置１０にインストールされた１以上のプログラムと、情報処理装置１０のプロセッサ１０１、及びメモリ１０２等のハードウェアとの協働により実現されてもよい。分析部１３は、推定部１２により推定された信頼度と、特定部位の領域の映像とに基づいて、被写体の情報を算出する。なお、当該算出のための各処理のうち少なくとも一部の処理はクラウド等の外部装置で実行されてもよい。この場合、分析部１３は、映像を当該外部装置に送信し、当該外部装置での処理結果を当該外部装置から取得してもよい。

【0034】

（情報処理装置１０が映像の配信先の装置である場合の処理例）
情報処理装置１０が、映像の配信先の装置であり、映像に基づく分析をクラウド等の外部装置で実行させる場合、分析部１３は、配信された映像を当該外部装置に転送し、当該外部装置での処理結果を当該外部装置から取得してもよい。また、映像と、符号化パラメータに基づいて推定した信頼度とに基づく分析をクラウド等の外部装置で実行させる場合、分析部１３は、配信された映像と、推定した信頼度とを当該外部装置に転送し、当該外部装置での処理結果を当該外部装置から取得してもよい。

【0035】

（情報処理装置１０が映像の配信元の装置である場合の処理例）
情報処理装置１０が、映像の配信元の装置であり、映像に基づく分析をクラウドまたは配信先の装置等の外部装置で実行させる場合、分析部１３は、情報処理装置１０内部の符号化処理を行うモジュール等により符号化された映像を外部装置に配信し、当該外部装置での処理結果を当該外部装置から取得してもよい。また、映像と、符号化パラメータに基づいて推定した信頼度とに基づく分析をクラウド等の外部装置で実行させる場合、分析部１３は、配信された映像と、推定した信頼度とを当該外部装置に転送し、当該外部装置での処理結果を当該外部装置から取得してもよい。

【0036】

＜処理＞
次に、図５から図７を参照し、実施形態に係る情報処理システム１の処理の一例について説明する。図５は、実施形態に係る情報処理システム１の処理の一例を示すシーケンス図である。図６は、実施形態に係る特定部位ＤＢ（データベース）６０１の一例を示す図である。図７は、実施形態に係る特定部位の領域の一例を示す図である。図８は、実施形態に係る分析精度ＤＢ８０１の一例を示す図である。図９は、実施形態に係る映像に基づく分析処理の一例を示す図である。

【0037】

以下では、一例として、医師と患者とのビデオ会議（ビデオ通話、オンライン診療）において患者の映像に基づく生体情報の測定を行う場合について説明する。また、以下では、一例として、情報処理装置１０が映像の配信先の装置である医者の保持する端末である場合について説明する。患者の撮影装置２０と医師の情報処理装置１０との間で、ビデオ会議のセッションの確立等の処理は既に完了しているものとする。

【0038】

ステップＳ１０１において、撮影装置２０は、撮影装置２０で撮影された映像を符号化して、ネットワークＮを介して情報処理装置１０に配信（送信）する。ここで、撮影装置２０は、ネットワークＮで使用可能な帯域等の変動に応じて、画質を変動させて符号化させる。この場合、撮影装置２０は、例えば、ＲＴＣＰ（RTP(Real-time Transport Protocol) Control Protocol）等を用いてロスパケット数、ジッター等の、各時点におけるネットワークＮの通信品質を示す情報を情報処理装置１０や撮影装置２０及び情報処理装置１０以外の外部の装置またはシステムから取得してもよい。そして、撮影装置２０は、各時点におけるネットワークＮの通信品質を示す情報に基づいて、各時点におけるビットレート等の符号化パラメータを決定してもよい。この場合、撮影装置２０は、例えば、ネットワークＮの通信品質が高いほど、画質が高くなる符号化パラメータを決定してもよい。

【0039】

撮影装置２０は、例えば、特定のピクセル領域単位（例えば、縦１６画素×横１６画素）ごとに符号化の量子化パラメータ（ＱＰ値）を設定するマップ（ＱＰマップ）を用いて、映像の各フレームを符号化してもよい。また、撮影装置２０は、例えば、符号化方式として階層符号化（ＳＶＣ、Scalable Video Coding）を用いて、映像の各フレームを符号化してもよい。

【0040】

続いて、情報処理装置１０の推定部１２は、各期間の映像における特定部位の領域の符号化パラメータに基づいて、各期間の映像に基づく分析結果の信頼度（以下で、適宜「第１信頼度」とも称する。）をそれぞれ推定（算出、決定）する（ステップＳ１０２）。なお、第１信頼度は、符号化パラメータに応じて特定されるもので、映像に基づいた分析を行った場合に得られる分析結果の確からしさを示す値である。

【0041】

ここで、情報処理装置１０の推定部１２は、各時点における被写体の特定部位の領域の符号化パラメータに基づいて、各期間の映像に基づく分析結果の第１信頼度を算出してもよい。この場合、情報処理装置１０の推定部１２は、例えば、特定部位ＤＢ６０１を参照し、分析対象に応じた特定部位（関心領域）の情報を抽出してもよい。なお、特定部位ＤＢ６０１は、情報処理装置１０の内部の記憶装置に記憶（登録、設定）されていてもよいし、情報処理装置１０の外部のＤＢサーバ等に記憶されていてもよい。図６の例では、特定部位ＤＢ６０１には、分析対象に対応付けて、特定部位が記録されている。図６の例では、例えば、心拍数が分析される場合は、被写体の顔の領域の映像が用いられること等が規定されている。なお、分析対象は、情報処理装置１０の医師等により予め指定（選択、設定）されてもよい。予めとは、ステップＳ１０２が実施されるより前の時点であればよい。この場合、情報処理装置１０は、分析対象である生体情報の項目の一覧の中から、医師により指定（選択）されてもよい。また、分析対象は、所定のＷｅｂサイト等により予め（患者が診察を受けるより前に）患者から入力されている問診の結果に基づいて、情報処理装置１０により指定されてもよい。図７の例では、映像のフレーム７０１のうち患者の顔の領域７１１が特定部位として推定に用いられる。

【0042】

なお、特定部位は、例えば、医師に指定されてもよい。この場合、例えば、配信先装置３０は、患者の映像の表示画面上で患者の特定部位をマウス等でドラッグしながら囲う操作等で指定されてもよい。また、配信先装置３０は、被写体の特定部位の一覧の中から、医者により指定（選択）されてもよい。

【0043】

そして、情報処理装置１０の推定部１２は、例えば、期間に含まれる各時点における特定部位の領域の画質が高いほど、第１信頼度を高く決定してもよい。なお、当該画質には、例えば、符号化のビットレート、符号化のフレームレート、及び符号化のＱＰ値の少なくとも一つに基づく画質が含まれてもよい。また、情報処理装置１０の推定部１２は、例えば、期間に含まれる各時点における特定部位の領域の画質の変化が大きいほど、第１信頼度を低く決定してもよい。これは、例えば、特定部位の領域のビットレート等が、急激に増加された際、及び急激に減少された際、復号した映像にノイズが生じ、ＡＩ等による分析の精度が低下すると考えられるためである。

【0044】

この場合、情報処理装置１０の推定部１２は、例えば、各時点での画質に応じた分析精度の値に、各画質である時間長の重みを付加した加重平均と、画質の変化に応じた値とに基づいて、映像９１１に基づく分析結果の第１信頼度を算出してもよい。例えば、図９の時刻ｔ_ｃにおいて符号化パラメータの変化により特定部位の領域の画質が第１画質から第２画質に変化されたとする。この場合、映像９１１に基づく分析結果の第１信頼度Ｅ_１は、以下の式（１）のように算出されてもよい。
Ｅ_１＝｛Ｑ_１×（ｔ_ｃ－ｔ_１）＋Ｑ_２×（ｔ_１＋Ｔ－ｔ_ｃ）｝／Ｔ－Ｑ_３ ・・・（１）

【0045】

式（１）では、第１画質に応じた値Ｑ_１に時刻ｔ_１から時刻ｔ_ｃまでの時間長に応じた重みが付加され、第２画質に応じた値Ｑ_２に時刻ｔ_ｃから時刻ｔ_１＋Ｔまでの時間長に応じた重みが付加された加重平均の値から、第１画質から第２画質への変化に応じた値Ｑ_３が減算されている。なお、第１画質に応じた値Ｑ_１、第２画質に応じた値Ｑ_２、及び第１画質から第２画質への変化に応じた値Ｑ_３の値は、図８の分析精度ＤＢ８０１等に予め設定（登録）されていてもよいし、ＡＩ等により算出されてもよい。なお、図８の例では、分析精度ＤＢ８０１には、符号化パラメータに対応付けて分析精度の値が予め設定されている。なお、分析精度ＤＢ８０１は、情報処理装置１０の内部の記憶装置に記憶（登録、設定）されていてもよいし、情報処理装置１０の外部のＤＢサーバ等に記憶されていてもよい。

【0046】

続いて、情報処理装置１０の分析部１３は、推定した第１信頼度と、受信した各期間の映像とに基づいて、被写体の情報を分析する（ステップＳ１０３）。ここで、情報処理装置１０の分析部１３は、例えば、ディープラーニング等を用いるＡＩ（Artificial Intelligence）により、第１信頼度と映像とに基づいて被写体の情報を分析してもよい。

【0047】

また、情報処理装置１０の分析部１３は、例えば、ディープラーニング等を用いるＡＩにより、映像に基づいて被写体の情報を分析し、映像に基づく分析結果と、第１信頼度とに基づいて、分析結果を補正してもよい。この場合、まず、情報処理装置１０の分析部１３は、例えば、受信した映像から、開始時点が異なる特定期間長の映像を複数抽出し、抽出した複数の映像に基づいて生体情報等の推定をＡＩ等によりそれぞれ実行してもよい。なお、当該特定期間長は予め設定されていてもよい。または、当該特定期間長は、ステップＳ１０２で算出された第１信頼度に応じて決定されてもよい。この場合、当該特定期間長は、当該第１信頼度の値が低いほど、長く決定されてもよい。図９の例では、時刻ｔ_１から特定期間長Ｔまでの期間の映像９１１、時刻ｔ_２から特定期間長Ｔまでの期間の映像９１２、時刻ｔ_３から特定期間長Ｔまでの期間の映像９１３のそれぞれに基づいて、分析結果と、分析結果の第２信頼度とが算出される。なお、第２信頼度は、映像等に基づいてディープラーニング等により算出される各分析結果らしさ（確度）を示す情報である。なお、当該第２信頼度は、被写体の動き、及び色変化の周波数ピークの大きさ等に基づいて算出されてもよい。

【0048】

情報処理装置１０の分析部１３は、ある期間に対する第１信頼度及び第２信頼度の少なくとも一方が閾値以下である場合、当該期間の映像に基づく分析結果は使用しなくてもよい。この場合、情報処理装置１０の分析部１３は、当該期間の代わりに、第１信頼度及び第２信頼度の少なくとも一方が閾値以下ではない期間の映像に基づく分析を行ってもよい。この場合、例えば、時刻ｔ_１からの期間に対する第１信頼度及び第２信頼度の少なくとも一方が閾値以下の場合、情報処理装置１０の分析部１３は、時刻ｔ_４から特定期間長Ｔまでの期間の各時点の符号化パラメータに基づいて第１信頼度を算出してもよい。そして、情報処理装置１０の分析部１３は、時刻ｔ_４から特定期間長Ｔまでの期間の映像と第１信頼度とに基づいて、分析を行ってもよい。

【0049】

分析対象となる生体情報には、例えば、心拍数、呼吸数、血圧、むくみ、経皮的動脈血酸素飽和度、瞳孔の大きさ、のどの腫れ、及び歯周病の程度のうち少なくとも一つが含まれてもよい。

【0050】

情報処理装置１０の分析部１３は、患者の肌が露出している領域（例えば、顔の領域）の映像に基づいて、心拍数を推定してもよい。この場合、情報処理装置１０の分析部１３は、例えば、肌の色の変化の推移（周期）に基づいて、心拍数を推定してもよい。

【0051】

また、情報処理装置１０の分析部１３は、患者の胸部（上半身）の領域の映像に基づいて、呼吸数を推定してもよい。この場合、情報処理装置１０の分析部１３は、例えば、肩の動きの周期に基づいて、呼吸数を推定してもよい。

【0052】

また、情報処理装置１０の分析部１３は、患者の肌が露出している領域（例えば、顔の領域）の映像に基づいて、血圧を推定してもよい。この場合、情報処理装置１０の分析部１３は、例えば、顔の２ヵ所（例えば、額と頬）から推定された脈波の差及び形状に基づいて、血圧を推定してもよい。

【0053】

また、情報処理装置１０の分析部１３は、患者の肌が露出している領域（例えば、顔の領域）の映像に基づいて、経皮的動脈血酸素飽和度（ＳｐＯ２）を推定してもよい。なお、赤はヘモグロビンと酸素が結びついていると透過しやすく、青はヘモグロビンと酸素の結びつきには影響されにくい。そのため、情報処理装置１０の分析部１３は、例えば、目の下のほほ骨付近等の肌の青色と赤色の変化度合の違いに基づいて、ＳｐＯ２を推定してもよい。

【0054】

また、情報処理装置１０の分析部１３は、例えば、患者の瞼の領域の映像に基づいて、むくみの度合いを推定してもよい。また、情報処理装置１０の分析部１３は、例えば、患者の目の領域の映像に基づいて、瞳孔の大きさ（瞳孔径）を推定してもよい。また、情報処理装置１０の分析部１３は、例えば、患者の口腔内の領域の映像に基づいて、のどの腫れや歯周病の程度等を推定してもよい。

【0055】

そして、情報処理装置１０の分析部１３は、例えば、ＡＩ等により算出された各期間の映像に基づく分析結果の第２信頼度の値を、ステップＳ１０２で算出した第１信頼度に基づいて補正（更新、変更）してもよい。この場合、情報処理装置１０の分析部１３は、例えば、映像９１１に基づく分析結果の補正後の信頼度の値Ｅ_２’は、以下の式（２）のように算出されてもよい。なお、Ｅ_２は、第２信頼度の値である。
Ｅ_２’＝Ｅ_１×Ｅ_２ ・・・（２）

【0056】

そして、情報処理装置１０の分析部１３は、各分析結果に対して各分析結果の信頼度の重みを付加した加重平均等を、生体情報の値として決定してもよい。例えば、映像９１１に基づく心拍数の推定値が８３、補正後の信頼度が０．８であり、映像９１２に基づく心拍数の推定値が８５、補正後の信頼度が０．７であり、映像９１３に基づく心拍数の推定値が９０、補正後の信頼度が０．７であるとする。この場合、例えば、心拍数は（８３×０．８＋８５×０．７＋９０×０．７）／（０．８＋０．７＋０．７）≒８６と算出される。

【0057】

続いて、情報処理装置１０の分析部１３は、算出した被写体の生体情報等を出力する（ステップＳ１０４）。ここで、情報処理装置１０の分析部１３は、患者の生体情報を表示装置に表示させてもよい。

【0058】

（監視カメラである撮影装置２０の映像により人物を特定する例）
上述した例では、医師と患者とのビデオ会議において生体情報の測定を行う例について説明した。以下では、監視カメラである撮影装置２０の映像により人物を特定する例について説明する。この場合、撮影装置２０から情報処理装置１０へ撮影装置２０の映像が配信されていてもよい。

【0059】

情報処理装置１０の分析部１３は、各時点での人物の顔の領域の映像と当該各時点での人物の顔の領域の符号化パラメータとに基づいて、被写体である人物が誰であるか特定してもよい。また、情報処理装置１０の分析部１３は、各時点での人物の全身の領域の映像と当該各時点での人物の全身の領域の符号化パラメータとに基づいて、被写体である人物の行動を特定してもよい。

【0060】

（撮影装置２０の映像により製品の検査（検品）を行う例）
以下では、監視カメラである撮影装置２０の映像により製品の検査（検品）を行う例について説明する。この場合、撮影装置２０から情報処理装置１０へ撮影装置２０の映像が配信されていてもよい。情報処理装置１０の分析部１３は、各時点での製品の領域の映像と当該各時点での製品の領域の符号化パラメータとに基づいて、製品の検査をしてもよい。

【0061】

（撮影装置２０の映像により施設の点検を行う例）
以下では、ドローンや地上を自律的に移動するロボット等に搭載された撮影装置２０の映像により施設の点検を行う例について説明する。この場合、ドローン等に搭載された撮影装置２０から情報処理装置１０へ撮影装置２０の映像が配信されていてもよい。情報処理装置１０の分析部１３は、各時点での点検対象の部品の領域の映像と当該各時点での点検対象の部品の領域の符号化パラメータとに基づいて、点検対象の部品（例えば、碍子）の検査（例えば、破損、劣化度等の測定）をしてもよい。

【0062】

＜変形例＞
情報処理装置１０は、一つの筐体に含まれる装置でもよいが、本開示の情報処理装置１０はこれに限定されない。情報処理装置１０の各部は、例えば１以上のコンピュータにより構成されるクラウドコンピューティングにより実現されていてもよい。また、情報処理装置１０の少なくとも一部の処理は、例えば、他の情報処理装置１０により実現されてもよい。これらのような情報処理装置１０についても、本開示の「情報処理装置」の一例に含まれる。

【0063】

なお、本開示は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。

【0064】

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
ネットワークを介して配信される映像の複数の時点での符号化パラメータを取得する取得手段と、
前記複数の時点での被写体の特定部位の領域の符号化パラメータに基づいて、被写体の情報の分析結果の信頼度を推定する推定手段と、
を有する情報処理システム。
（付記２）
前記情報処理システムは、分析手段を有し、
前記推定手段は、前記複数の時点での符号化パラメータに基づいて、前記複数の時点を含む期間における前記信頼度を推定し、
前記分析手段は、前記推定手段により推定された前記信頼度と、前記期間の前記特定部位の領域の映像とに基づいて、前記被写体の情報を算出する、
付記１に記載の情報処理システム。
（付記３）
前記推定手段は、前記期間に含まれる第１時点での第１符号化パラメータと、前記期間に含まれる第２時点での第２符号化パラメータと、に基づいて、前記期間における前記信頼度を推定する、
付記２に記載の情報処理システム。
（付記４）
前記推定手段は、前記第１符号化パラメータと前記第２符号化パラメータとの変化量が大きいほど、前記期間における前記信頼度を小さい値に決定する、
付記３に記載の情報処理システム。
（付記５）
前記分析手段は、前記期間の映像に基づく被写体の情報の分析結果の値のそれぞれに対して、前記期間における前記信頼度に応じた重み付けを実施し、当該重み付けした値の合計値に基づいて、前記被写体の情報を推定する、
付記２から４のいずれか一項に記載の情報処理システム。
（付記６）
前記複数の時点での符号化パラメータには、符号化のビットレート、符号化のフレームレート、符号化の量子化パラメータ、及び階層符号化の各階層の領域とビットレートの少なくとも一つが含まれる、
付記１から５のいずれか一項に記載の情報処理システム。
（付記７）
ネットワークを介して配信される映像の複数の時点での符号化パラメータを取得する処理と、
前記複数の時点での被写体の特定部位の領域の符号化パラメータに基づいて、被写体の情報の分析結果の信頼度を推定する処理と、
を実行する、情報処理方法。
（付記８）
前記情報処理方法は、分析する処理を含み、
前記推定する処理では、前記複数の時点での符号化パラメータに基づいて、前記複数の時点を含む期間における前記信頼度を推定し、
前記分析する処理では、前記推定する処理で推定した前記信頼度と、前記期間の前記特定部位の領域の映像とに基づいて、前記被写体の情報を算出する、
付記７に記載の情報処理方法。
（付記９）
前記推定する処理では、前記期間に含まれる第１時点での第１符号化パラメータと、前記期間に含まれる第２時点での第２符号化パラメータと、に基づいて、前記期間における前記信頼度を推定する、
付記８に記載の情報処理方法。
（付記１０）
前記推定する処理では、前記第１符号化パラメータと前記第２符号化パラメータとの変化量が大きいほど、前記期間における前記信頼度を小さい値に決定する、
付記９に記載の情報処理方法。
（付記１１）
前記分析する処理では、前記期間の映像に基づく被写体の情報の分析結果の値のそれぞれに対して、前記期間における前記信頼度に応じた重み付けを実施し、当該重み付けした値の合計値に基づいて、前記被写体の情報を推定する、
付記８から１０のいずれか一項に記載の情報処理方法。
（付記１２）
前記複数の時点での符号化パラメータには、符号化のビットレート、符号化のフレームレート、符号化の量子化パラメータ、及び階層符号化の各階層の領域とビットレートの少なくとも一つが含まれる、
付記７から１１のいずれか一項に記載の情報処理方法。
（付記１３）
ネットワークを介して配信される映像の複数の時点での符号化パラメータを取得する取得手段と、
前記複数の時点での被写体の特定部位の領域の符号化パラメータに基づいて、被写体の情報の分析結果の信頼度を推定する推定手段と、
を有する情報処理装置。
（付記１４）
前記情報処理装置は、分析手段を有し、
前記推定手段は、前記複数の時点での符号化パラメータに基づいて、前記複数の時点を含む期間における前記信頼度を推定し、
前記分析手段は、前記推定手段により推定された前記信頼度と、前記期間の前記特定部位の領域の映像とに基づいて、前記被写体の情報を算出する、
付記１３に記載の情報処理装置。
（付記１５）
前記推定手段は、前記期間に含まれる第１時点での第１符号化パラメータと、前記期間に含まれる第２時点での第２符号化パラメータと、に基づいて、前記期間における前記信頼度を推定する、
付記１４に記載の情報処理装置。
（付記１６）
前記推定手段は、前記第１符号化パラメータと前記第２符号化パラメータとの変化量が大きいほど、前記期間における前記信頼度を小さい値に決定する、
付記１５に記載の情報処理装置。
（付記１７）
前記分析手段は、前記期間の映像に基づく被写体の情報の分析結果の値のそれぞれに対して、前記期間における前記信頼度に応じた重み付けを実施し、当該重み付けした値の合計値に基づいて、前記被写体の情報を推定する、
付記１４から１６のいずれか一項に記載の情報処理装置。
（付記１８）
前記複数の時点での符号化パラメータには、符号化のビットレート、符号化のフレームレート、符号化の量子化パラメータ、及び階層符号化の各階層の領域とビットレートの少なくとも一つが含まれる、
付記１３から１７のいずれか一項に記載の情報処理装置。

【符号の説明】

【0065】

１ 情報処理システム
１０ 情報処理装置
１０Ａ 情報処理装置
１０Ｂ 情報処理装置
１１ 取得部
１２ 推定部
１３ 分析部
２０ 撮影装置
Ｎ ネットワーク

【図1A】

【図1B】

【図2】

【図3】

【図4A】

【図4B】

【図5】

【図6】

【図7】

【図8】

【図9】