知財求人 - 知財ポータルサイト「IP Force」
特許7529052情報処理装置、情報処理システム、情報処理方法およびプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-07-29
(45)【発行日】2024-08-06
(54)【発明の名称】情報処理装置、情報処理システム、情報処理方法およびプログラム
(51)【国際特許分類】
H04N 19/85 20140101AFI20240730BHJP
【ＦＩ】
H04N19/85
【請求項の数】
9
(21)【出願番号】P 2022574987
(86)(22)【出願日】2021-01-15
(86)【国際出願番号】 JP2021001240
(87)【国際公開番号】W WO2022153480
(87)【国際公開日】2022-07-21
【審査請求日】2023-07-03
(73)【特許権者】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100149548
【弁理士】
【氏名又は名称】松沼 泰史
(74)【代理人】
【識別番号】100181135
【弁理士】
【氏名又は名称】橋本 隆史
(72)【発明者】
【氏名】バイエ フロリアン
(72)【発明者】
【氏名】篠原 悠介
(72)【発明者】
【氏名】逸身 勇人
(72)【発明者】
【氏名】二瓶 浩一
(72)【発明者】
【氏名】ヴィタル チャルヴィ
(72)【発明者】
【氏名】岩井 孝法
【審査官】岩井 健二
(56)【参考文献】
【文献】国際公開第２０２０／２４１０７４（ＷＯ，Ａ１）
【文献】国際公開第２０１８／１５５２３２（ＷＯ，Ａ１）
【文献】国際公開第２０１８／２０７３３４（ＷＯ，Ａ１）
【文献】Pylyp Prystavka et al.，Automated Object Recognition System based on Convolutional Autoencoder，10th International Conference on Advanced Computer Information Technologies (ACIT)，IEEE，2020年09月，pp.830-833
【文献】Wenrui Zhang，An Image Recognition Algorithm Based on Self-Encoding and Convolutional Neural Network Fusion，2019 International Conference on Electronic Engineering and Informatics (EEI)，IEEE，2019年11月，pp.402-407
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ １９／００ － １９／９８
(57)【特許請求の範囲】
【請求項1】
第一中間特徴データと、前記第一中間特徴データからダウンサンプリングされたデータに基づいて算出される第二中間特徴データとを含み、対象データの表現内容の特徴を示す特徴データに基づく通信データを受信する受信手段と、受信された前記通信データに基づいて復元された前記第二中間特徴データからアップサンプリングされたデータに基づいて前記第一中間特徴データを復元する特徴復元手段と、
復元された前記第一中間特徴データに基づいて前記対象データを復元する対象復元手段と、
復元された前記第二中間特徴データおよび前記第一中間特徴データの少なくとも何れかに基づいて前記対象データの表現内容に対する認識処理を行う認識手段と、
復元された前記対象データの表現内容と前記認識処理による認識結果とを示す情報を出力する出力手段と、
を備える情報処理装置。
【請求項2】
前記受信手段は、量子化された前記特徴データに基づく前記通信データを受信し、前記特徴復元手段は、量子化された前記特徴データに対して、量子化される前の前記特徴データの確率分布に従ったサンプリングに基づく脱量子化を行う脱量子化手段を備える、
請求項１に記載の情報処理装置。
【請求項3】
前記受信手段は、第一時刻ステップにおける第一対象データの表現内容の特徴を示す第一特徴データと、前記第一時刻ステップよりも遅い時刻ステップである第二時刻ステップにおける第二対象データの表現内容の特徴を示す第二特徴データとの相違を示す特徴差分データに基づく前記通信データを受信し、前記特徴復元手段は、受信された前記通信データに基づいて前記特徴差分データを復元し、復元された前記特徴差分データと、前記第一特徴データとに基づいて前記第二特徴データを復元する、
請求項１に記載の情報処理装置。
【請求項4】
前記受信手段は、量子化された前記特徴差分データに基づく前記通信データを受信し、前記特徴復元手段は、量子化された前記特徴差分データに対して、量子化される前の前記特徴差分データの確率分布に従ったサンプリングに基づく脱量子化を行う脱量子化手段を備える、
請求項３に記載の情報処理装置。
【請求項5】
前記特徴復元手段は、前記第一中間特徴データからダウンサンプリングされたデータに基づいて前記第二中間特徴データを算出する処理の逆演算に該当する処理を用いて、前記第一中間特徴データを復元する、請求項４に記載の情報処理装置。
【請求項6】
前記特徴復元手段の処理と前記対象復元手段の処理との組み合わせが、前記通信データの送信元の装置における対象データからの特徴抽出処理の逆演算に該当する処理となるように、前記通信データの送信元の装置が行う処理の設定、前記特徴復元手段が行う処理の設定、または、前記対象復元手段が行う処理の設定の少なくとも何れかを動的に更新する設定更新手段をさらに備える、請求項５に記載の情報処理装置。
【請求項7】
送信側装置と受信側装置とを備え、前記送信側装置は、
対象データを取得するデータ取得手段と、
第一中間特徴データと、前記第一中間特徴データからダウンサンプリングされたデータに基づいて算出される第二中間特徴データとを含み、前記対象データの表現内容の特徴を示す特徴データを算出する特徴抽出手段と、
前記特徴データに基づいて通信データを生成する通信データ生成手段と、
前記通信データを送信する送信手段と、
を備え、
前記受信側装置は、
前記通信データを受信する受信手段と、
受信された前記通信データに基づいて復元された前記第二中間特徴データからアップサンプリングされたデータに基づいて前記第一中間特徴データを復元する特徴復元手段と、
復元された前記第一中間特徴データに基づいて前記対象データを復元する対象復元手段と、
復元された前記第二中間特徴データおよび前記第一中間特徴データの少なくとも何れかに基づいて前記対象データの表現内容に対する認識処理を行う認識手段と、
復元された前記対象データの表現内容と前記認識処理による認識結果とを示す情報を出力する出力手段と、
を備える情報処理システム。
【請求項8】
第一中間特徴データと、前記第一中間特徴データからダウンサンプリングされたデータに基づいて算出される第二中間特徴データとを含み、対象データの表現内容の特徴を示す特徴データに基づく通信データを受信することと、受信された前記通信データに基づいて復元された前記第二中間特徴データからアップサンプリングされたデータに基づいて前記第一中間特徴データを復元することと、
復元された前記第一中間特徴データに基づいて前記対象データを復元することと、
復元された前記第二中間特徴データおよび前記第一中間特徴データの少なくとも何れかに基づいて前記対象データの表現内容に対する認識処理を行うことと、
復元された前記対象データの表現内容と前記認識処理による認識結果とを示す情報を出力することと、
を含む情報処理方法。
【請求項9】
コンピュータに、第一中間特徴データと、前記第一中間特徴データからダウンサンプリングされたデータに基づいて算出される第二中間特徴データとを含み、対象データの表現内容の特徴を示す特徴データに基づく通信データを受信することと、
受信された前記通信データに基づいて復元された前記第二中間特徴データからアップサンプリングされたデータに基づいて前記第一中間特徴データを復元することと、
復元された前記第一中間特徴データに基づいて前記対象データを復元することと、
復元された前記第二中間特徴データおよび前記第一中間特徴データの少なくとも何れかに基づいて前記対象データの表現内容に対する認識処理を行うことと、
復元された前記対象データの表現内容と前記認識処理による認識結果とを示す情報を出力することと、
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、情報処理システム、情報処理方法およびプログラムに関する。
【背景技術】
【0002】
遠隔監視システムにおいて、（ｉ）送信側での動画像データの圧縮、（ｉｉ）送信側から受信側への、圧縮された動画像データの伝送、（ｉｉｉ）受信側での動画像データの復元、および、（ｉｖ）復元された画像に対する画像認識が行われることが考えられる。
動画像データの圧縮では、深層学習ベースの動画像圧縮技術を用いることができる（非特許文献１から非特許文献３参照）。また、画像認識では、物体検出手法を用いて、画像中でターゲット（監視対象）を検出して追跡することが考えられる（非特許文献４参照）。ターゲットの検出結果は、例えば復元された画像中に表示して監視者に提示することができる。
動画像データの圧縮では、深層学習ベースの動画像圧縮技術を用いることができる（非特許文献１から非特許文献３参照）。また、画像認識では、物体検出手法を用いて、画像中でターゲット（監視対象）を検出して追跡することが考えられる（非特許文献４参照）。ターゲットの検出結果は、例えば復元された画像中に表示して監視者に提示することができる。
【先行技術文献】
【非特許文献】
【0003】
【文献】Han et al.、“Deep Generative Video Compression”、Neural Information Processing Systems (NIPS) 2019、２０１９年
【文献】Lu et al.、“DVC: An End-To-End Deep Video Compression Framework”、Computer Vision and Pattern Recognition (CVPR) 2019、２０１９年
【文献】Rippel et al.、“Learned Video Compression”、2019 IEEE International Conference on Computer Vision (ICCV)、２０１９年
【文献】Lin et. al.、“Focal Loss for Dense Object Detection”、2017 IEEE International Conference on Computer Vision (ICCV)、２０１７年
【文献】Kingma et al.、“Glow: Generative Flow with Invertible 1x1 Convolutions”、Neural Information Processing Systems (NIPS) 2018、２０１８年
【発明の概要】
【発明が解決しようとする課題】
【0004】
上記のように、動画像データを圧縮して送信し、受信データから動画像を復元し、再現された画像に対して画像認識を行う場合、動画像データの圧縮、動画像の復元、および、画像認識の各ステップにおいて、処理時間による遅延が生じ得る。遠隔監視または遠隔制御などリアルタイムの用途の場合、遅延の影響が大きい。例えば、画像認識結果復元画像上に表示する場合、ＱｏＥ（Quality Of Experience、サービスなどの体験品質）に対して、遅延の悪影響が大きいことが考えられる。
【0005】
本発明の目的の一例は、上述した課題を解決することのできる情報処理装置、情報処理システム、情報処理方法およびプログラムを提供することである。
【課題を解決するための手段】
【0006】
本発明の第一の態様によれば、情報処理装置は、第一中間特徴データと、前記第一中間特徴データからダウンサンプリングされたデータに基づいて算出される第二中間特徴データとを含み、対象データの表現内容の特徴を示す特徴データに基づく通信データを受信する受信手段と、受信された前記通信データに基づいて復元された前記第二中間特徴データからアップサンプリングされたデータに基づいて前記第一中間特徴データを復元する特徴復元手段と、復元された前記第一中間特徴データに基づいて前記対象データを復元する対象復元手段と、復元された前記第二中間特徴データおよび前記第一中間特徴データの少なくとも何れかに基づいて前記対象データの表現内容に対する認識処理を行う認識手段と、復元された前記対象データの表現内容と前記認識処理による認識結果とを示す情報を出力する出力手段と、を備える。
【0007】
本発明の第二の態様によれば、情報処理システムは、送信側装置と受信側装置とを備え、前記送信側装置は、対象データを取得するデータ取得手段と、第一中間特徴データと、前記第一中間特徴データからダウンサンプリングされたデータに基づいて算出される第二中間特徴データとを含み、前記対象データの表現内容の特徴を示す特徴データを算出する特徴抽出手段と、前記特徴データに基づいて通信データを生成する通信データ生成手段と、前記通信データを送信する送信手段と、を備え、前記受信側装置は、前記通信データを受信する受信手段と、受信された前記通信データに基づいて復元された前記第二中間特徴データからアップサンプリングされたデータに基づいて前記第一中間特徴データを復元する特徴復元手段と、復元された前記第一中間特徴データに基づいて前記対象データを復元する対象復元手段と、復元された前記第二中間特徴データおよび前記第一中間特徴データの少なくとも何れかに基づいて前記対象データの表現内容に対する認識処理を行う認識手段と、復元された前記対象データの表現内容と前記認識処理による認識結果とを示す情報を出力する出力手段と、を備える。
【0008】
本発明の第三の態様によれば、情報処理方法は、第一中間特徴データと、前記第一中間特徴データからダウンサンプリングされたデータに基づいて算出される第二中間特徴データとを含み、対象データの表現内容の特徴を示す特徴データに基づく通信データを受信することと、受信された前記通信データに基づいて復元された前記第二中間特徴データからアップサンプリングされたデータに基づいて前記第一中間特徴データを復元することと、復元された前記第一中間特徴データに基づいて前記対象データを復元することと、復元された前記第二中間特徴データおよび前記第一中間特徴データの少なくとも何れか基づいて前記対象データの表現内容に対する認識処理を行うことと、復元された前記対象データの表現内容と前記認識処理による認識結果とを示す情報を出力することと、を含む。
【0009】
本発明の第四の態様によれば、プログラムは、コンピュータに、第一中間特徴データと、前記第一中間特徴データからダウンサンプリングされたデータに基づいて算出される第二中間特徴データとを含み、対象データの表現内容の特徴を示す特徴データに基づく通信データを受信することと、受信された前記通信データに基づいて復元された前記第二中間特徴データからアップサンプリングされたデータに基づいて前記第一中間特徴データを復元することと、復元された前記第一中間特徴データに基づいて前記対象データを復元することと、復元された前記第二中間特徴データおよび前記第一中間特徴データの少なくとも何れかに基づいて前記対象データの表現内容に対する認識処理を行うことと、復元された前記対象データの表現内容と前記認識処理による認識結果とを示す情報を出力することと、を実行させるためのプログラムである。
【発明の効果】
【0010】
本発明によれば、対象データの復元処理、および、復元されるデータの表現内容に対する認識処理を行う処理時間が、比較的短くて済む。
【図面の簡単な説明】
【0011】
【図1】第一実施形態に係る情報処理システムの構成例を示す概略ブロック図である。
【図2】第一実施形態に係る特徴抽出部の構成例を示す概略ブロック図である。
【図3】第一実施形態に係る処理ステージ部の構成例を示す概略ブロック図である。
【図4】第一実施形態に係る処理ブロック部の構成例を示す概略ブロック図である。
【図5】第一実施形態に係る中間特徴生成部の構成例を示す概略ブロック図である。
【図6】第一実施形態に係る逆処理ステージ部の構成例を示す概略ブロック図である。
【図7】第一実施形態に係る逆処理ブロック部の構成例を示す概略ブロック図である。
【図8】第一実施形態に係る取得画像復元部の構成例を示す概略ブロック図である。
【図9】第一実施形態に係る認識部の構成例を示す概略ブロック図である。
【図10】第一実施形態に係る送信側装置が行う処理の手順の例を示すフローチャートである。
【図11】第一実施形態に係る受信側装置が行う処理の手順の例を示すフローチャートである。
【図12】第二実施形態に係る情報処理システムの構成例を示す概略ブロック図である。
【図13】第二実施形態に係る特徴差分算出部の構成例を示す概略ブロック図である。
【図14】第二実施形態に係る差分処理ステージ部の構成例を示す概略ブロック図である。
【図15】第二実施形態に係る差分処理ブロック部の構成例を示す概略ブロック図である。
【図16】第二実施形態に係る特徴算出部の構成例を示す概略ブロック図である。
【図17】第二実施形態に係る復元処理ステージ部の構成例を示す概略ブロック図である。
【図18】第二実施形態に係る復元処理ブロック部の構成例を示す概略ブロック図である。
【図19】第二実施形態に係る送信側装置が行う処理の手順の例を示すフローチャートである。
【図20】第二実施形態に係る受信側装置が行う処理の手順の例を示すフローチャートである。
【図21】第三実施形態に係る情報処理システムの構成の第一例を示す概略ブロック図である。
【図22】第三実施形態に係る情報処理システムの構成の第二例を示す概略ブロック図である。
【図23】第三実施形態に係る情報処理システムの構成の第三例を示す概略ブロック図である。
【図24】第四実施形態に係る情報処理装置の構成例を示す概略ブロック図である。
【図25】第五実施形態に係る情報処理システムの構成例を示す概略ブロック図である。
【図26】第六実施形態に係る情報処理方法における処理の手順の例を示すフローチャートである。
【図27】少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。
【発明を実施するための形態】
【0012】
以下、本発明の実施形態を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
以下では、情報処理システムが、画像データの送受信および画像認識を行う場合を例に説明する。ただし、以下の実施形態における送受信および認識処理の対象は画像データに限定されず、階層的に圧縮および伸長（復元）可能ないろいろなデータとすることができる。例えば、情報処理システムが、音声データの送受信および音声認識を行うようにしてもよい。あるいは、情報処理システムが、ＬｉＤＡＲ（Light Detection And Ranging）などの各種計測装置が出力する点群データを送受信および認識処理の対象としていてもよい。
以下では、情報処理システムが、画像データの送受信および画像認識を行う場合を例に説明する。ただし、以下の実施形態における送受信および認識処理の対象は画像データに限定されず、階層的に圧縮および伸長（復元）可能ないろいろなデータとすることができる。例えば、情報処理システムが、音声データの送受信および音声認識を行うようにしてもよい。あるいは、情報処理システムが、ＬｉＤＡＲ（Light Detection And Ranging）などの各種計測装置が出力する点群データを送受信および認識処理の対象としていてもよい。
【0013】
＜第一実施形態＞
図１は、第一実施形態に係る情報処理システムの構成例を示す概略ブロック図である。図１に示す構成において、情報処理システム１は、送信側装置１０と、受信側装置２０とを備える。送信側装置１０は、画像取得部１１と、特徴抽出部１２と、通信データ生成部１３と、送信部１６とを備える。通信データ生成部１３は、量子化部１４と、符号化部１５とを備える。受信側装置２０は、受信部２１と、特徴復元部２２と、取得画像復元部２６と、認識部２７と、出力部２８とを備える。特徴復元部２２は、復号部２３と、脱量子化部２４と、中間特徴生成部２５とを備える。
図１は、第一実施形態に係る情報処理システムの構成例を示す概略ブロック図である。図１に示す構成において、情報処理システム１は、送信側装置１０と、受信側装置２０とを備える。送信側装置１０は、画像取得部１１と、特徴抽出部１２と、通信データ生成部１３と、送信部１６とを備える。通信データ生成部１３は、量子化部１４と、符号化部１５とを備える。受信側装置２０は、受信部２１と、特徴復元部２２と、取得画像復元部２６と、認識部２７と、出力部２８とを備える。特徴復元部２２は、復号部２３と、脱量子化部２４と、中間特徴生成部２５とを備える。
【0014】
情報処理システム１は、画像の伝送および画像認識を行う。
送信側装置１０は、画像を取得し、取得した画像をビットストリーム（Bit Stream）等の送信用データに変換して受信側装置２０へ送信する。受信側装置２０は、送信側装置１０から受信したデータから画像を復元し、また、受信画像に対する画像認識を行う。
送信側装置１０は、画像を取得し、取得した画像をビットストリーム（Bit Stream）等の送信用データに変換して受信側装置２０へ送信する。受信側装置２０は、送信側装置１０から受信したデータから画像を復元し、また、受信画像に対する画像認識を行う。
【0015】
情報処理システム１は、自動運転車両の監視などの遠隔監視システムであってもよい。送信側装置１０が監視地点に設置され、受信側装置２０がデータセンタなど送信側装置１０から離れた地点に設置されていてもよい。受信側装置２０が、画像認識によって自動運転車両における危険を検出または予測して報知するようにしてもよい。
ただし、情報処理システム１の用途は特定の用途に限定されない。
ただし、情報処理システム１の用途は特定の用途に限定されない。
【0016】
送信側装置１０から受信側装置２０への画像の送信の際、学習モデルを用いて画像の特徴抽出を行い、抽出した特徴を示す特徴データを（必要に応じてデータ変換して）送信するようにしてもよい。そして、受信側装置２０が、受信した特徴データに基づいて画像を復元するようにしてもよい。
【0017】
一方、画像の特徴抽出、特徴からの画像の復元、および、画像認識は、何れも比較的計算量が多い。遠隔監視などリアルタイム性が求められる用途では、特に、短時間で効率的に処理を行うことが求められる。
そこで、受信側装置２０は、受信データからの画像復元の過程で生成する中間特徴データを用いて画像認識を行う。これにより、受信データから画像を復元した後、復元画像を用いて画像認識を行う場合よりも、短時間で効率的に処理を行うことができる。
受信側装置２０は、情報処理装置の例に該当する。
そこで、受信側装置２０は、受信データからの画像復元の過程で生成する中間特徴データを用いて画像認識を行う。これにより、受信データから画像を復元した後、復元画像を用いて画像認識を行う場合よりも、短時間で効率的に処理を行うことができる。
受信側装置２０は、情報処理装置の例に該当する。
【0018】
情報処理システム１において、画像の特徴が、実数を要素とするベクトルで表されてもよい。すなわち、画像の特徴を示す特徴データが特徴ベクトルの形式で示されていてもよい。特徴ベクトルは、特徴量または特徴量ベクトルとも称される。
【0019】
画像取得部１１は、画像を画像データにて取得する。例えば、画像取得部１１が、スチルカメラまたはビデオカメラ等の撮像装置を備えて動画像または静止画像を撮像するようにしてもよい。画像取得部１１が静止画像を撮像する場合、例えば所定の時間間隔で撮像を繰り返すようにしてもよい。
あるいは、撮像装置が送信側装置１０とは別の装置として構成され、画像取得部１１が撮像装置から画像データを取得するようにしてもよい。あるいは、画像取得部１１が、画像データを記録している記録媒体からが画像データを読み出すようにしてもよい。
画像取得部１１は、取得した画像データを特徴抽出部１２へ出力する。
あるいは、撮像装置が送信側装置１０とは別の装置として構成され、画像取得部１１が撮像装置から画像データを取得するようにしてもよい。あるいは、画像取得部１１が、画像データを記録している記録媒体からが画像データを読み出すようにしてもよい。
画像取得部１１は、取得した画像データを特徴抽出部１２へ出力する。
【0020】
画像取得部１１が取得する画像データのデータ形式は、特定のものに限定されない。例えば、画像取得部１１がＲＧＢピクセルデータ（RGB Pixel Data）形式の画像データを取得するようにしてもよいが、これに限定されない。ＲＧＢピクセルデータ形式は、ピクセル（画素）ごとに、赤、緑、青それぞれの値が示される画像データ形式である。
【0021】
画像取得部１１が取得する画像を取得画像と称する。取得画像を示す画像データを取得画像データと称する。取得画像データは、対象データの例に該当する。取得画像は、対象データの表現内容の例に該当する。
画像取得部１１は、取得手段の例に該当する。
画像取得部１１は、取得手段の例に該当する。
【0022】
特徴抽出部１２は、取得画像の特徴抽出を行い、特徴データを生成する。特徴データは、取得画像の視覚的な特徴を表すデータである。ここでの「視覚的な」は、画像の形式またはファイルの形式ではなく画像の表示内容に関する特徴であることを示す。上記のように、特徴データは、実数ベクトルの形式で示されていてもよい。
特徴抽出部１２は、特徴抽出手段の例に該当する。
特徴抽出部１２は、特徴抽出手段の例に該当する。
【0023】
特徴抽出部１２が、深層学習（Deep Learning）の技術を用いて得られたニューラルネットワークモデルを含んでもよい。その場合のニューラルネットワークモデルは、数学的に逆演算可能なニューラルネットワークであるインバーティブルニューラルネットワーク（Invertible Neural Network；ＩＮＮ）であってもよい。
【0024】
ただし、特徴抽出部１２の構成は、取得画像を復元可能な特徴データを生成可能なものであればよく、特定の構成に限定されない。特徴データを生成することを、特徴を抽出する、または、特徴データを抽出する、とも称する。画像データの表現内容の画像の特徴を示す特徴データを生成することを、画像データから特徴データを抽出するとも称する。
以下では、特徴抽出部１２が、逆演算可能な畳み込みニューラルネットワークによる深層学習モデルを用いて構成される場合を例に説明する。逆演算可能な畳み込みニューラルネットワークによる深層学習モデルを、インバーティブル深層畳み込みニューラルネットワークモデル（Invertible Deep Convolutional Neural Network Model）とも称する。ここでいう逆演算は、元の演算と入出力が逆になる演算である。すなわち、逆演算では、元の演算における出力値が逆演算への入力値となる場合に、元の演算における入力値と同じ値を出力する。
以下では、特徴抽出部１２が、逆演算可能な畳み込みニューラルネットワークによる深層学習モデルを用いて構成される場合を例に説明する。逆演算可能な畳み込みニューラルネットワークによる深層学習モデルを、インバーティブル深層畳み込みニューラルネットワークモデル（Invertible Deep Convolutional Neural Network Model）とも称する。ここでいう逆演算は、元の演算と入出力が逆になる演算である。すなわち、逆演算では、元の演算における出力値が逆演算への入力値となる場合に、元の演算における入力値と同じ値を出力する。
【0025】
図２は、特徴抽出部１２の構成例を示す概略ブロック図である。図２に示す構成で特徴抽出部１２は、前処理部１１１と、処理ステージ部１１２と、チャネル分割部１１３とを備える。
図２の例において、特徴抽出部１２は、３つの処理ステージ部１１２と、２つのチャネル分割部１１３とを備える。これらは、２つの処理ステージ部１１２の間のそれぞれにチャネル分割部１１３が１つずつ設けられる配置で直列に接続され、さらに、前処理部１１１に直列に接続されている。３つの処理ステージ部１１２を区別する場合、データの流れの上流側から下流側へ順に、符号１１２－１、１１２－２、１１２－３を付す。２つのチャネル分割部１１３を区別する場合、データの流れの上流側から下流側へ順に、符号１１３－１、１１３－２を付す。
ただし、特徴抽出部１２が備える処理ステージ部１１２の個数は１つ以上であればよい。特徴抽出部１２が備えるチャネル分割部１１３の個数は、処理ステージ部１１２の個数よりも１つ少なくてもよい。
図２の例において、特徴抽出部１２は、３つの処理ステージ部１１２と、２つのチャネル分割部１１３とを備える。これらは、２つの処理ステージ部１１２の間のそれぞれにチャネル分割部１１３が１つずつ設けられる配置で直列に接続され、さらに、前処理部１１１に直列に接続されている。３つの処理ステージ部１１２を区別する場合、データの流れの上流側から下流側へ順に、符号１１２－１、１１２－２、１１２－３を付す。２つのチャネル分割部１１３を区別する場合、データの流れの上流側から下流側へ順に、符号１１３－１、１１３－２を付す。
ただし、特徴抽出部１２が備える処理ステージ部１１２の個数は１つ以上であればよい。特徴抽出部１２が備えるチャネル分割部１１３の個数は、処理ステージ部１１２の個数よりも１つ少なくてもよい。
【0026】
前処理部１１１は、画像取得部１１が出力する画像データに対し、特徴抽出の前処理を行う。例えば、前処理部１１１が、画像取得部１１が出力する画像データの画像サイズを、特徴抽出部１２を構成するニューラルネットワークが受け付ける画像サイズに合わせるように、画像の加工を行うようにしてもよい。また、画像取得部が出力する画像にノイズが多く含まれる場合のノイズフィルタなど、前処理部１１１が、画像取得部１１が出力する画像データに画像フィルタを適用するようにしてもよい。
あるいは、画像取得部１１が出力する画像データをそのままニューラルネットワークに入力して特徴抽出を行える場合、特徴抽出部１２が、前処理部１１１を備えていなくてもよい。すなわち、前処理部１１１による前処理は必須ではない。
あるいは、画像取得部１１が出力する画像データをそのままニューラルネットワークに入力して特徴抽出を行える場合、特徴抽出部１２が、前処理部１１１を備えていなくてもよい。すなわち、前処理部１１１による前処理は必須ではない。
【0027】
処理ステージ部１１２の各々の出力を、中間特徴または中間特徴データとも称する。処理ステージ部１１２－１の出力を、中間特徴データＹ１と表記する。処理ステージ部１１２－２の出力を、中間特徴データＹ２と表記する。処理ステージ部１１２－３の出力を、中間特徴データＹ３と表記する。個々の中間特徴データは、特徴データの一種に該当する。
図２の例において、中間特徴データからチャネル分割されているデータも、特徴データの一種に該当する。
図２の例において、中間特徴データからチャネル分割されているデータも、特徴データの一種に該当する。
【0028】
複数の特徴データを纏めたデータを特徴データ群とも称する。図２の例では、中間特徴データＹ１からチャネル分割されたデータ、中間特徴データＹ２からチャネル分割されたデータ、および、中間特徴データＹ３が、特徴データ群に纏められている。特徴データ群は、特徴データの一種に該当する。特徴データ群を特徴データとも称する。
図３は、処理ステージ部１１２の構成例を示す概略ブロック図である。図３に示す構成において、処理ステージ部１１２は、ダウンサンプリング部１２１と、処理ブロック部１２２とを備える。
図３は、処理ステージ部１１２の構成例を示す概略ブロック図である。図３に示す構成において、処理ステージ部１１２は、ダウンサンプリング部１２１と、処理ブロック部１２２とを備える。
【0029】
図３の例において、処理ステージ部１１２は、Ｎ個の処理ブロック部１２２を備える。これらＮ個の処理ブロック部１２２が直列に接続され、さらに、ダウンサンプリング部１２１に直列に接続されている。Ｎ個の処理ブロック部を区別する場合、データの流れの上流側から下流側へ順に、符号１２２－１、・・・、１２２－Ｎを付す。
Ｎは１以上の整数であればよい。
Ｎは１以上の整数であればよい。
【0030】
ダウンサンプリング部１２１は、画素形式のデータ（画素値の並びによって示されるデータ）の入力を受けて、入力データの画像サイズ（画素数）を縮小する。具体的には、ダウンサンプリング部１２１への入力データは、前処理された画像データ、または、画素形式の特徴データ（がチャネル分割されたデータ）である。
【0031】
ダウンサンプリング部１２１が画像サイズを縮小する方法および縮小率は特定のものに限定されない。
例えば、ダウンサンプリング部１２１が、縦２個×横２個の４つの画素ごとに１つの画素に置き換えることによって、画素数が４分の１の画像に縮小するようにしてもよい。その場合、ダウンサンプリング部１２１が、４つの画素の画素値のうち最大値を選択するようにしてもよい。あるいは、ダウンサンプリング部１２１が、４つの画素の画素値の平均を算出して、サイズ縮小後の画像の画素値として用いるようにしてもよい。
例えば、ダウンサンプリング部１２１が、縦２個×横２個の４つの画素ごとに１つの画素に置き換えることによって、画素数が４分の１の画像に縮小するようにしてもよい。その場合、ダウンサンプリング部１２１が、４つの画素の画素値のうち最大値を選択するようにしてもよい。あるいは、ダウンサンプリング部１２１が、４つの画素の画素値の平均を算出して、サイズ縮小後の画像の画素値として用いるようにしてもよい。
【0032】
あるいは、出力チャネル数が、入力チャネル数の４倍に設定されていてもよい。そして、ダウンサンプリング部１２１が、縦２個×横２個の４つの画素をそれぞれ別のチャネルに割り当てるようにしてもよい。
ここでいう入力チャネル数は、ダウンサンプリング部１２１への入力データにおけるチャネルの個数である。出力チャネル数は、ダウンサンプリング部１２１からの出力データにおけるチャネルの個数である。
ここでいう入力チャネル数は、ダウンサンプリング部１２１への入力データにおけるチャネルの個数である。出力チャネル数は、ダウンサンプリング部１２１からの出力データにおけるチャネルの個数である。
【0033】
図４は、処理ブロック部１２２の構成例を示す概略ブロック図である。図４に示す構成において、処理ブロック部１２２は、アフィンチャネル変換部１３１と、チャネル分割部１３２と、畳み込み処理部１３３と、乗算部１３４と、加算部１３５と、チャネル結合部１３６とを備える。
【0034】
アフィンチャネル変換部１３１は、畳み込みニューラルネットワークにおけるアフィン層（Affine Layer）に該当する。アフィン層は、全結合層とも称される。アフィンチャネル変換部１３１は、処理ブロック部１２２への入力に対する重み付けを行う。この重み付けは、ニューラルネットワークで一般的に行われる、ニューロンモデルへの入力に対する重み付けに相当する。なお、アフィンチャネル変換部１３１が、１×１の大きさのフィルタを用いて処理を行うようにしてもよい。
【0035】
チャネル分割部１３２は、アフィンチャネル変換部１３１の出力をチャネルごとのデータに分割する。例えば、チャネル分割部１３２は、アフィンチャネル変換部１３１の出力データに含まれる各チャネルを、グループＡおよびグループＢの２つのグループの何れかに振り分ける。チャネル分割部１３２は、グループＡに振り分けたチャネルを乗算部１３４へ出力し、グループＢに振り分けたチャネルを畳み込み処理部１３３およびチャネル結合部１３６へ出力する。
【0036】
ここでいうチャネルは、個々の画像の特徴データであってもよい。チャネル分割は、個々の画像の特徴データを複数のグループの何れかに振り分けることであってもよい。例えば、アフィンチャネル変換部１３１の出力データが、複数の画像の特徴データを含み、個々の画像の特徴データがチャネルとして扱われてもよい。チャネル分割部１３２が、チャネルの分割にて、個々の画像の特徴データを複数のグループの何れかに振り分けるようにしてもよい。
【0037】
畳み込み処理部１３３は、グループＢのデータ（グループＢに振り分けられたデータ）の入力を受けて、入力されたデータに対して畳み込み処理を行う。畳み込み処理部１３３が、入力されたデータに対して畳み込み処理および非線形変換などの一連の処理を行うようにしてもよい。畳み込み処理部１３３が、畳み込みニューラルネットワークを用いて構成されていてもよい。
畳み込み処理部１３３は、処理後のデータをグループＣおよびグループＤの２つのグループに振り分ける。畳み込み処理部１３３は、グループＣに振り分けたデータを乗算部１３４に出力し、グループＤに振り分けたデータを加算部１３５に出力する。
畳み込み処理部１３３は、処理後のデータをグループＣおよびグループＤの２つのグループに振り分ける。畳み込み処理部１３３は、グループＣに振り分けたデータを乗算部１３４に出力し、グループＤに振り分けたデータを加算部１３５に出力する。
【0038】
乗算部１３４は、グループＡのデータとグループＣのデータとの入力を受けて、グループＡのデータとグループＣのデータとの要素ごとの乗算を行う。グループＡのデータとグループＣのデータとは、縦の要素数および横の要素数の何れも同じであり、乗算部１３４は、グループＡのデータとグループＣのデータとの同じ位置の要素ごとに、要素の値を乗算する。乗算部１３４は、乗算結果のデータを加算部１３５へ出力する。
【0039】
加算部１３５は、乗算部１３４からのデータとグループＤのデータとの入力を受けて、入力された乗算部１３４からのデータとグループＤのデータとを足し合わせる。具体的には、加算部１３５は、乗算部１３４からのデータとグループＤのデータとの要素ごとの加算を行う。乗算部１３４からのデータとグループＤのデータとは、縦の要素数および横の要素数の何れも同じであり、加算部１３５は、乗算部１３４からのデータとグループＤのデータとの同じ位置の要素ごとに、要素の値を加算する。加算部１３５は、加算結果のデータをチャネル結合部１３６へ出力する。
【0040】
チャネル結合部１３６は、チャネル分割部１３２が行う処理に対して逆の処理を行う。これにより、チャネル結合部１３６は、加算部１３５からの１つのデータとグループＢの１つのデータとを、１つのデータに結合する。ここでいう逆の処理は、逆演算に相当する処理である。ここでいう結合は、複数のデータを分割可能に１つのデータに纏めることであってもよい。
【0041】
特徴抽出部１２のチャネル分割部１１３の各々は、処理ステージ部１１２が出力する中間特徴の各々を２つのグループの何れかに振り分ける。これにより、チャネル分割部１１３は、処理ステージ部１１２が出力する中間特徴データから、受信側装置２０への通信データとして特徴データ群に纏めるためのデータを抽出する。上述したように、チャネルは、個々の画像の特徴データであってもよい。チャネル分割は、個々の画像の特徴データを複数のグループの何れかに振り分けることであってもよい。
図２の例のように処理ステージ部１１２とチャネル分割部１１３とを交互に設ける構成とすることで、処理ステージ部１１２およびチャネル分割部１１３による処理に対する逆処理を比較的簡単な計算で行うことができる。
図２の例のように処理ステージ部１１２とチャネル分割部１１３とを交互に設ける構成とすることで、処理ステージ部１１２およびチャネル分割部１１３による処理に対する逆処理を比較的簡単な計算で行うことができる。
【0042】
通信データ生成部１３は、特徴データに基づいて通信データを生成する。具体的には、通信データ生成部１３は、特徴抽出部１２が出力する特徴データ群を、通信データに変換する。
通信データ生成部１３は、通信データ生成手段の例に該当する。
通信データ生成部１３は、通信データ生成手段の例に該当する。
【0043】
量子化部１４は、入力画像の特徴データを量子化する。ここでいう量子化は、実数から整数への丸め（四捨五入、切り捨て、または、切り上げ）であってもよい。したがって、量子化部１４が行う特徴データの量子化は、特徴データに含まれる実数の各々を整数に変換することである。特徴データに含まれる実数は、特徴データの要素である実数ベクトルのさらに要素であってもよい。
量子化部１４は、量子化手段の例に該当する。
量子化部１４は、量子化手段の例に該当する。
【0044】
符号化部１５は、量子化された特徴データをエントロピ符号化する。ここでいうエントロピ符号化は、入力データ（入力符号）の予測確率分布に基づいて、情報エントロピを最小化するようにデータ変換（符号化）することである。符号化部１５が行う処理に、公知のエントロピ符号化アルゴリズムを用いることができる。
【0045】
符号化部１５は、エントロピ符号化によって特徴データをビットストリーム（Bit Stream、ビット列で表されるデータストリーム）に変換する。
ただし、情報処理システム１が用いる符号化方式は、エントロピ符号化方式に限定されない。ビットストリームなど通信に適したデータを生成可能ないろいろな符号化方式を、情報処理システム１に適用することができる。
ただし、情報処理システム１が用いる符号化方式は、エントロピ符号化方式に限定されない。ビットストリームなど通信に適したデータを生成可能ないろいろな符号化方式を、情報処理システム１に適用することができる。
【0046】
量子化部１４が行う量子化、および、符号化部１５が行う符号化の何れも、特定の処理に限定されない。これらの処理の組み合わせにて特徴データを送信用のビットストリームに変換可能な、いろいろな処理を用いることができる。
【0047】
送信部１６は、通信データを送信する。具体的には、送信部１６は、符号化部１５が出力するビットストリームを、通信信号にて受信側装置２０の受信部２１へ送信する。送信部１６は、送信手段の例に該当する。
送信部１６と受信部２１との間の通信方式は、特定のものに限定されない。例えば、送信部１６と受信部２１とが無線通信を行うようにしてもよいし、有線で通信を行うようにしてもよい。
送信部１６と受信部２１との間の通信方式は、特定のものに限定されない。例えば、送信部１６と受信部２１とが無線通信を行うようにしてもよいし、有線で通信を行うようにしてもよい。
【0048】
受信部２１は、取得画像の特徴データに基づく通信データを受信する。具体的には、受信部２１は、送信部１６からの信号を受信し、ビットストリームを復元する。
受信部２１は、受信手段の例に該当する。
受信部２１は、受信手段の例に該当する。
【0049】
特徴復元部２２は、受信部２１が受信した通信データに基づいて、特徴データを復元する。
特徴復元部２２は、特徴復元手段の例に該当する。
特徴復元部２２は、特徴復元手段の例に該当する。
【0050】
復号部２３は、エントロピ復号によってビットストリームを量子化された特徴データに変換する。復号部２３が行う復号は、符号化部１５が行う符号化の逆演算に該当する。
上記のように、情報処理システム１が用いる符号化方式は、エントロピ符号化方式に限定されない。受信側装置２０が行う復号はエントロピ復号に限定されず、送信側装置１０によって符号化されたデータを復号するものであればよい。
上記のように、情報処理システム１が用いる符号化方式は、エントロピ符号化方式に限定されない。受信側装置２０が行う復号はエントロピ復号に限定されず、送信側装置１０によって符号化されたデータを復号するものであればよい。
【0051】
脱量子化部２４は、復号部２３が取得する量子化された特徴データを脱量子化する。具体的には、脱量子化部２４は、特徴データに含まれる整数の各々を実数に変換する。
脱量子化部２４が整数を実数に変換する方法は、特定の方法に限定されない。例えば、脱量子化部２４が、特徴データの要素としての実数ベクトルの符号化確率を表す確率分布を予め記憶しておき、この確率分布に基づいてサンプリングを行うようにしてもよい。この場合、特徴データの要素としての実数ベクトルの符号化確率を表す確率分布は、量子化される前の特徴データの確率分布の例に該当する。
脱量子化部２４が、特徴データの確率分布を脱量子化に反映させることによって、脱量子化を高精度に行えると期待される。
あるいは、脱量子化部２４が、整数の値はそのままとし、整数データから実数データへ、データ形式のみを変更するようにしてもよい。
脱量子化部２４は、脱量子化手段の例に該当する。
脱量子化部２４が整数を実数に変換する方法は、特定の方法に限定されない。例えば、脱量子化部２４が、特徴データの要素としての実数ベクトルの符号化確率を表す確率分布を予め記憶しておき、この確率分布に基づいてサンプリングを行うようにしてもよい。この場合、特徴データの要素としての実数ベクトルの符号化確率を表す確率分布は、量子化される前の特徴データの確率分布の例に該当する。
脱量子化部２４が、特徴データの確率分布を脱量子化に反映させることによって、脱量子化を高精度に行えると期待される。
あるいは、脱量子化部２４が、整数の値はそのままとし、整数データから実数データへ、データ形式のみを変更するようにしてもよい。
脱量子化部２４は、脱量子化手段の例に該当する。
【0052】
脱量子化部２４が行う脱量子化は、理想的には量子化部１４による量子化の逆演算であるが、通常、送信側における量子化前の値を受信側で常に正確に復元することはできない。脱量子化部２４による脱量子化後の特徴データも、量子化ノイズ（量子化誤差）を含んでいると考えられる。量子化ノイズは、量子化および脱量子化に起因する誤差である。量子化ノイズを含んでいることを示す場合、「ノイジー特徴データ」、「ノイジー中間特徴データ」のように、用語に「ノイジー」（Noisy）を付加する。
【0053】
特徴データに含まれる実数の大きさが、量子化での丸め分の大きさに対して大きい場合、受信側装置２０が行う受信画像の復元および画像認識に対する、ノイジー特徴データに含まれる量子化ノイズの影響は小さい。受信側装置２０の処理に精度を要求される場合、要求される精度に応じて、特徴データに含まれる実数の大きさを大きくしてもよい。特徴データに含まれる実数の大きさを大きくすることは、例えば、取得画像における画素値の上限を大きくとって、画素値を大きい値で表すことで行われる。
脱量子化部２４による脱量子化は、量子化部１４による量子化に対する近似的な逆演算と捉えることができる。
脱量子化部２４による脱量子化は、量子化部１４による量子化に対する近似的な逆演算と捉えることができる。
【0054】
中間特徴生成部２５は、脱量子化部２４が出力するノイジー特徴データ群から、ノイジー中間特徴データを算出する。中間特徴生成部２５の演算は、理想的には特徴抽出部１２の演算の逆演算であるが、これに限定されない。中間特徴生成部２５は、情報処理システム１の用途に応じた要求精度でノイジー中間特徴データを算出できるものであればよい。
【0055】
以下では、中間特徴生成部２５が、逆演算可能な畳み込みニューラルネットワークによる深層学習モデルを用いて構成され、中間特徴生成部２５が、特徴抽出部１２のうちチャネル分割部１１３－１、処理ステージ部１１２－２、チャネル分割部１１３－２および処理ステージ部１１２－３の部分の逆モデルとなっている場合を例に説明する。ここでいう逆モデルは、逆演算を行うモデルである。すなわち、中間特徴生成部２５が、特徴抽出部１２のうち上記の部分による演算に対する逆演算を行う場合を例に説明する。
【0056】
図５は、中間特徴生成部２５の構成例を示す概略ブロック図である。図５に示す構成において、中間特徴生成部２５は、逆処理ステージ部２１１と、チャネル結合部２１２とを備える。
図５の例において、２つの逆処理ステージ部２１１と、２つのチャネル結合部２１２とが、交互に配置されて直列に接続されている。２つの逆処理ステージ部２１１を区別する場合、データの流れの上流側から下流側へ順に、符号２１１－１、２１１－２を付す。２つのチャネル結合部２１２を区別する場合、データの流れの上流側から下流側へ順に、符号２１２－１、２１２－２を付す。
図５の例において、２つの逆処理ステージ部２１１と、２つのチャネル結合部２１２とが、交互に配置されて直列に接続されている。２つの逆処理ステージ部２１１を区別する場合、データの流れの上流側から下流側へ順に、符号２１１－１、２１１－２を付す。２つのチャネル結合部２１２を区別する場合、データの流れの上流側から下流側へ順に、符号２１２－１、２１２－２を付す。
【0057】
逆処理ステージ部２１１の各々は、１つの処理ステージ部１１２の演算の逆演算を行う。逆処理ステージ部２１１－１は、処理ステージ部１１２－３の演算の逆演算を行う。逆処理ステージ部２１１－２は、処理ステージ部１１２－２の演算の逆演算を行う。
【0058】
図５の例において、中間特徴生成部２５に入力されるノイジー特徴データ群には、ノイジー中間特徴データＹ１’が含まれる。ノイジー中間特徴データＹ１’は、処理ステージ部１１２－３（図２）が出力する中間特徴データＹ３が、量子化ノイズを含んで復元されたデータである。
【0059】
チャネル結合部２１２－１の出力を、ノイジー中間特徴データＹ２’と表記する。ノイジー中間特徴データＹ２’は、処理ステージ部１１２－２が出力する中間特徴データＹ２が、量子化ノイズを含んで復元されたデータである。
チャネル結合部２１２－２の出力を、ノイジー中間特徴データＹ３’と表記する。ノイジー中間特徴データＹ３’は、処理ステージ部１１２－１が出力する中間特徴データＹ１が、量子化ノイズを含んで復元されたデータである。
チャネル結合部２１２－２の出力を、ノイジー中間特徴データＹ３’と表記する。ノイジー中間特徴データＹ３’は、処理ステージ部１１２－１が出力する中間特徴データＹ１が、量子化ノイズを含んで復元されたデータである。
【0060】
図６は、逆処理ステージ部２１１の構成例を示す概略ブロック図である。図６に示す構成において、逆処理ステージ部２１１は、逆処理ブロック部２２１と、アップサンプリング部２２２とを備える。
図６の例において、Ｎ個の逆処理ブロック部２２１が直列に接続され、さらに、アップサンプリング部２２２が直列に接続されている。Ｎ個の逆処理ブロック部２２１を区別する場合、データの流れの上流側から下流側へ順に、符号２２１－１、・・・、２２１－Ｎを付す。
図６の例において、Ｎ個の逆処理ブロック部２２１が直列に接続され、さらに、アップサンプリング部２２２が直列に接続されている。Ｎ個の逆処理ブロック部２２１を区別する場合、データの流れの上流側から下流側へ順に、符号２２１－１、・・・、２２１－Ｎを付す。
【0061】
逆処理ブロック部２２１の各々は、１つの処理ブロック部１２２の演算の逆演算を行う。逆処理ブロック部２２１－１、・・・、２２１－Ｎは、それぞれ、処理ブロック部１２２－Ｎ、・・・、１２２－１の演算の逆演算を行う。
【0062】
図７は、逆処理ブロック部２２１の構成例を示す概略ブロック図である。図７に示す構成において、逆処理ブロック部２２１は、チャネル分割部２３１と、畳み込み処理部２３２と、減算部２３３と、除算部２３４と、チャネル結合部２３５と、逆アフィンチャネル変換部２３６とを備える。
【0063】
チャネル分割部２３１は、チャネル結合部１３６の演算の逆演算を行う。これによりチャネル分割部２３１は、チャネル分割部１３２と同様の処理を行う。例えば、チャネル分割部２３１は、チャネル分割部２３１自らへの入力データに含まれる各チャネルを、チャネル分割部１３２と同様に、グループＡ’およびグループＢ’の２つのグループの何れかに振り分ける。グループＡ’は、グループＡに相当するグループである。グループＢ’は、グループＢに相当するグループである。
チャネル分割部２３１は、グループＡ’に振り分けたデータを減算部２３３へ出力し、グループＢ’に振り分けたデータを畳み込み処理部２３２およびチャネル結合部２３５へ出力する。
チャネル分割部２３１は、グループＡ’に振り分けたデータを減算部２３３へ出力し、グループＢ’に振り分けたデータを畳み込み処理部２３２およびチャネル結合部２３５へ出力する。
【0064】
畳み込み処理部２３２と、減算部２３３と除算部２３４との組み合わせにて、畳み込み処理部１３３と、乗算部１３４と、加算部１３５との組み合わせによる演算の逆演算を行う。
畳み込み処理部２３２は、畳み込み処理部１３３と同様の処理を行う。具体的には、畳み込み処理部２３２は、グループＢ’のデータの入力を受けて、入力されたデータに対して畳み込み処理を行う。畳み込み処理部１３３が、入力されたデータに対して畳み込み処理および非線形変換などの一連の処理を行う場合、畳み込み処理部２３２も、畳み込み処理部１３３と同様の一連の処理を行う。畳み込み処理部２３２が、畳み込みニューラルネットワークを用いて構成されていてもよい。
畳み込み処理部２３２は、畳み込み処理部１３３と同様の処理を行う。具体的には、畳み込み処理部２３２は、グループＢ’のデータの入力を受けて、入力されたデータに対して畳み込み処理を行う。畳み込み処理部１３３が、入力されたデータに対して畳み込み処理および非線形変換などの一連の処理を行う場合、畳み込み処理部２３２も、畳み込み処理部１３３と同様の一連の処理を行う。畳み込み処理部２３２が、畳み込みニューラルネットワークを用いて構成されていてもよい。
【0065】
畳み込み処理部２３２は、処理後のデータをグループＣ’およびグループＤ’の２つのグループに振り分ける。グループＣ’は、グループＣに相当するグループである。グループＤ’はグループＤに相当するグループである。
畳み込み処理部２３２は、グループＤ’に振り分けたデータを減算部２３３に出力し、グループＣ’に振り分けたデータを除算部２３４に出力する。
畳み込み処理部２３２は、グループＤ’に振り分けたデータを減算部２３３に出力し、グループＣ’に振り分けたデータを除算部２３４に出力する。
【0066】
減算部２３３は、加算部１３５の逆演算を行う。具体的には、減算部２３３は、グループＡ’のデータとグループＤ’のデータとの入力を受けて、入力されたグループＡ’のデータからグループＤ’のデータを減算する。さらに具体的には、減算部２３３は、グループＡ’のデータとグループＤ’のデータとの要素ごとに、グループＡ’のデータの要素の値からグループＤ’のデータの要素の値を減算する。グループＡ’のデータとグループＤ’のデータとは、縦の要素数および横の要素数の何れも同じであり、減算部２３３は、グループＡ’のデータとグループＤ’のデータとの同じ位置の要素ごとに、グループＡ’のデータの要素の値からグループＤ’のデータの要素の値を減算する。減算部２３３は、減算結果のデータを除算部２３４へ出力する。
【0067】
除算部２３４は、乗算部１３４の逆演算を行う。具体的には、除算部２３４は、減算部２３３からのデータとグループＣ’のデータとの入力を受けて、減算部２３３からのデータとグループＣ’のデータとの要素ごとに、減算部２３３からのデータの要素の値をグループＣ’のデータの要素の値で除算する。減算部２３３からのデータとグループＣ’のデータとは、縦の要素数および横の要素数の何れも同じであり、除算部２３４は、減算部２３３からのデータとグループＣ’のデータとの同じ位置の要素ごとに、減算部２３３からのデータの要素の値をグループＣ’のデータの要素の値で除算する。除算部２３４は、除算結果のデータをチャネル結合部２３５へ出力する。
【0068】
チャネル結合部２３５は、チャネル分割部２３１が行う処理に対して逆の処理を行う。これにより、チャネル結合部２３５は、除算部２３４からの１つのデータとグループＢ’の１つのデータとを、１つのデータに結合する。
チャネル結合部２３５の処理は、チャネル分割部１３２が行う処理に対する逆の処理にも該当する。
逆アフィンチャネル変換部２３６は、アフィンチャネル変換部１３１の演算の逆演算を行う。
チャネル結合部２３５の処理は、チャネル分割部１３２が行う処理に対する逆の処理にも該当する。
逆アフィンチャネル変換部２３６は、アフィンチャネル変換部１３１の演算の逆演算を行う。
【0069】
逆処理ステージ部２１１のアップサンプリング部２２２は、理想的には、ダウンサンプリング部１２１の演算の逆演算を行う。ただし、送信側におけるダウンサンプリング前のデータを受信側で常に正確に復元できない場合がある。例えば上記のように、ダウンサンプリング部１２１が、４つの画素をそれら４つの画素の画素値の平均の画素値を有する１つの画素に置き換える場合について考える。この場合、アップサンプリング部２２２は、通常、得られる１つの画素値から元の４つの画素値を算出することはできない。
【0070】
そこで、アップサンプリング部２２２が、ダウンサンプリング前のデータを近似的に復元するようにしてもよい。例えば、アップサンプリング部２２２が、入力データの各画素を縦２個×横２個の４つの画素に分割し、各画素の値を元の画素の値と同じ値に設定することによって、データ（画像データまたは特徴データ）を４倍のサイズの画像データに変換するようにしてもよい。
【0071】
中間特徴生成部２５のチャネル結合部２１２は、チャネル分割部１１３の演算に対する逆演算を行う。これにより、チャネル結合部２１２は、複数のチャネルを１つに纏めたデータを生成する。チャネル結合部２１２－１は、チャネル分割部１１３－２の演算に対する逆演算を行う。チャネル結合部２１２－２は、チャネル分割部１１３－１の演算に対する逆演算を行う。
【0072】
取得画像復元部２６は、中間特徴生成部２５が出力する中間特徴データに基づいて画像を算出する。具体的には、取得画像復元部２６は、特徴抽出部１２の処理のうち、前処理部１１１および処理ステージ部１１２－１の処理に対する逆の処理を行うことによって、取得画像を復元する。取得画像復元部２６が算出する画像を、復元画像とも称する。
取得画像復元部２６は、対象復元手段の例に該当する。取得画像復元部２６による取得画像の復元は、特徴復元部２２が復元した特徴データに基づいて取得画像データを復元する処理に該当する。
取得画像復元部２６は、対象復元手段の例に該当する。取得画像復元部２６による取得画像の復元は、特徴復元部２２が復元した特徴データに基づいて取得画像データを復元する処理に該当する。
【0073】
図８は、取得画像復元部２６の構成例を示す概略ブロック図である。図８に示す構成において、取得画像復元部２６は、逆処理ステージ部２１１と、後処理部２４１とを備える。
取得画像復元部２６の逆処理ステージ部２１１を、中間特徴生成部２５の逆処理ステージ部（図５）と区別する場合、取得画像復元部２６の逆処理ステージ部２１１を、逆処理ステージ部２１１－３と表記する。逆処理ステージ部２１１－３は、処理ステージ部１１２－１（図２）の逆モデルに該当する。
後処理部２４１は、前処理部１１１の演算の逆演算を行う。
復元画像は、取得画像に類似する。具体的には、復元画像は、取得画像に量子化ノイズが加わった画像である。
取得画像復元部２６の逆処理ステージ部２１１を、中間特徴生成部２５の逆処理ステージ部（図５）と区別する場合、取得画像復元部２６の逆処理ステージ部２１１を、逆処理ステージ部２１１－３と表記する。逆処理ステージ部２１１－３は、処理ステージ部１１２－１（図２）の逆モデルに該当する。
後処理部２４１は、前処理部１１１の演算の逆演算を行う。
復元画像は、取得画像に類似する。具体的には、復元画像は、取得画像に量子化ノイズが加わった画像である。
【0074】
認識部２７は、中間特徴生成部２５が出力するノイジー中間特徴データ群に基づいて画像認識を行う。中間特徴生成部２５が出力するノイジー中間特徴データ群は、復元画像の特徴データに相当する。認識部２７が行う画像認識は、復元画像に対する画像認識に相当する。復元画像に対する画像認識は、復元画像の元の画像である取得画像に対する画像認識といえる。
したがって、認識部２７が行う画像認識は、特徴復元部２２が復元した特徴データに基づいて、取得画像データの表現内容である取得画像に対する認識処理を行うことに該当する。認識部２７は、認識手段の例に該当する。
したがって、認識部２７が行う画像認識は、特徴復元部２２が復元した特徴データに基づいて、取得画像データの表現内容である取得画像に対する認識処理を行うことに該当する。認識部２７は、認識手段の例に該当する。
【0075】
図９は、認識部２７の構成例を示す概略ブロック図である。図９に示す構成において、認識部２７は、中間特徴処理部２５１と、アップサンプリング部２５２と、加算部２５３と、位置推定処理部２５４と、分類処理部２５５と、ＮＭＳ（Non-Maximum Suppression）処理部２５６とを備える。
図９の例において、３つの中間特徴処理部２５１それぞれに１つずつ位置推定処理部２５４および分類処理部２５５が接続されている。
図９の例において、３つの中間特徴処理部２５１それぞれに１つずつ位置推定処理部２５４および分類処理部２５５が接続されている。
【0076】
また、１つ目の中間特徴処理部２５１の出力が１つ目のアップサンプリング部２５２に入力され、そのアップサンプリング部２５２の出力と、２つ目の中間特徴処理部２５１の出力とを、１つ目の加算部２５３が画素ごとに加算している。加算後のデータが、２つ目のアップサンプリング部２５２に入力され、そのアップサンプリング部２５２の出力と、３つ目の中間特徴処理部２５１の出力とを、２つ目の加算部２５３が画素ごとに加算している。
【0077】
３つの中間特徴処理部２５１を区別する場合、上記の１つめの中間特徴処理部２５１を中間特徴処理部２５１－１と表記する。２つめの中間特徴処理部２５１を中間特徴処理部２５１－２と称する。３つめの中間特徴処理部２５１を中間特徴処理部２５１－３と称する。
【0078】
３つの位置推定処理部２５４を区別する場合、中間特徴処理部２５１－１に接続している位置推定処理部２５４を位置推定処理部２５４－１と表記する。中間特徴処理部２５１－２に接続している位置推定処理部２５４を位置推定処理部２５４－２と表記する。中間特徴処理部２５１－３に接続している位置推定処理部２５４を位置推定処理部２５４－３と表記する。
【0079】
３つの分類処理部２５５を区別する場合、中間特徴処理部２５１－１に接続している分類処理部２５５を分類処理部２５５－１と表記する。中間特徴処理部２５１－２に接続している分類処理部２５５を分類処理部２５５－２と表記する。中間特徴処理部２５１－３に接続している分類処理部２５５を分類処理部２５５－３と表記する。
【0080】
２つのアップサンプリング部２５２を区別する場合、中間特徴処理部２５１－１の出力が入力されるアップサンプリング部２５２をアップサンプリング部２５２－１と表記する。中間特徴処理部２５１－２の出力が入力されるアップサンプリング部２５２をアップサンプリング部２５２－２と表記する。
【0081】
２つの加算部２５３を区別する場合、中間特徴処理部２５１－２の出力と、アップサンプリング部２５２－１の出力とを加算する加算部２５３を、加算部２５３－１と表記する。中間特徴処理部２５１－３の出力と、アップサンプリング部２５２－２の出力とを加算する加算部２５３を、加算部２５３－２と表記する。
【0082】
中間特徴処理部２５１の各々は、ノイジー中間特徴データに含まれるノイジー中間特徴において、認識対象を検出する。中間特徴処理部２５１が認識対象を１つも検出しない場合があってもよい。また、１つの中間特徴処理部２５１が複数の認識対象を検出する場合があってもよい。
中間特徴処理部２５１が認識対象を検出する方法として、公知の方法を用いることができる。
中間特徴処理部２５１が認識対象を検出する方法として、公知の方法を用いることができる。
【0083】
アップサンプリング部２５２の各々は、逆処理ステージ部２１１のアップサンプリング部２２２（図６）と同様の処理を行う。アップサンプリング部２５２は、アップサンプリング部２２２の場合と同様、ダウンサンプリング部１２１によるダウンサンプリング前のデータを復元する。アップサンプリング部２５２が、ダウンサンプリング部１２１によるダウンサンプリング前のデータを近似的に復元するようにしてもよい。
加算部２５３の各々は、中間特徴処理部２５１の出力と、アップサンプリング部２５２の出力とを画素ごとに足し合わせる。
加算部２５３の各々は、中間特徴処理部２５１の出力と、アップサンプリング部２５２の出力とを画素ごとに足し合わせる。
【0084】
位置推定処理部２５４の各々は、中間特徴処理部２５１が検出した認識対象の復元画像における位置を推定する。
位置推定処理部２５４が認識対象の復元画像における位置を検出する方法として公知の方法を用いることができる。
位置推定処理部２５４が認識対象の復元画像における位置を検出する方法として公知の方法を用いることができる。
【0085】
分類処理部２５５は、中間特徴処理部２５１が検出した認識対象をクラス分類する。このクラス分類は、認識対象の種類の推定であってもよい。
分類処理部２５５が認識対象をクラス分類する方法として公知の方法を用いることができる。
分類処理部２５５が認識対象をクラス分類する方法として公知の方法を用いることができる。
【0086】
ＮＭＳ処理部２５６は、同じクラスとして認識された領域が画像上（ここでは復元画像上）で重なっている場合に、その重なりを解消する。ＮＭＳ処理部２５６が、重なっている同じクラスの領域のうち何れか１つを残して他を削除するようにしてもよい。あるいは、ＮＭＳ処理部２５６が、重なっている領域を、それらの領域を包含する１つの領域に置き換えるようにしてもよい。
ＮＭＳ処理部２５６が処理を行う方法として、Non-Maximum Suppressionとして公知の方法を用いるようにしてもよい。
ＮＭＳ処理部２５６が処理を行う方法として、Non-Maximum Suppressionとして公知の方法を用いるようにしてもよい。
【0087】
出力部２８は、取得画像復元部２６が生成する復元画像と、認識部２７による認識結果とを示す情報を出力する。例えば、出力部２８が表示装置を備えて復元画像を表示するようにしてもよい。そして、出力部２８が、復元画像における認識対象をバウンディングボックス（Bounding Box、その領域をちょうど囲う矩形）で囲って示し、その認識対象のクラスをバウンディングボックスの色で示すようにしてもよい。
だたし、出力部２８が、復元画像と認識結果とを出力する方法は、特定の方法に限定されない。
出力部２８が、復元画像と認識結果とを別々に出力するようにしてもよい。
出力部２８は、出力手段の例に該当する。
だたし、出力部２８が、復元画像と認識結果とを出力する方法は、特定の方法に限定されない。
出力部２８が、復元画像と認識結果とを別々に出力するようにしてもよい。
出力部２８は、出力手段の例に該当する。
【0088】
図１０は、送信側装置１０が行う処理の手順の例を示すフローチャートである。送信側装置１０が、図１０の処理を繰り返し行うようにしてもよい。例えば、送信側装置１０が、静止画像の取得を所定の周期で繰り返す場合、静止画像を取得する毎に図１０の処理を行うようにしてもよい。
【0089】
図１０の処理において、画像取得部１１は、画像を取得する（ステップＳ１０１）。上記のように、画像取得部１１が取得する画像を取得画像とも称する。
次に、特徴抽出部１２は、取得画像の特徴データを抽出する（ステップＳ１０２）。
次に、量子化部１４は、特徴データを量子化する（ステップＳ１０３）。
次に、特徴抽出部１２は、取得画像の特徴データを抽出する（ステップＳ１０２）。
次に、量子化部１４は、特徴データを量子化する（ステップＳ１０３）。
【0090】
次に、符号化部１５は、量子化された特徴データを符号化する（ステップＳ１０４）。符号化部１５は、量子化された特徴データの符号化によって、量子化された特徴データをビットストリームに変換する。
そして、送信部１６は、符号化部１５が出力するビットストリームを受信側装置２０へ送信する（ステップＳ１０５）。
ステップＳ１０５の後、送信側装置１０は、図１０の処理を終了する。
そして、送信部１６は、符号化部１５が出力するビットストリームを受信側装置２０へ送信する（ステップＳ１０５）。
ステップＳ１０５の後、送信側装置１０は、図１０の処理を終了する。
【0091】
図１１は、受信側装置２０が行う処理の手順の例を示すフローチャートである。受信側装置２０が、送信側装置１０による図１０の処理の繰り返しに応じて、図１１の処理を繰り返し行うようにしてもよい。
図１１の処理において、受信部２１は、ビットストリームを受信する（ステップＳ２０１）。
図１１の処理において、受信部２１は、ビットストリームを受信する（ステップＳ２０１）。
【0092】
次に、復号部２３は、受信部２１が受信したビットストリームを復号する（ステップＳ２０２）。上述したように、復号部２３は、送信側装置１０の符号化部１５が行う符号化の逆演算によって復号を行う。復号部２３は、ビットストリームの復号によって、量子化された特徴データを生成する。
【0093】
次に、脱量子化部２４は、ステップＳ２０２でのビットストリームの復号によって得られたデータを脱量子化することによって、ノイジー特徴データを算出する（ステップＳ２０３）。上述したように、ノイジー特徴データは、特徴抽出部１２が抽出する特徴データに量子化ノイズが加わったものといえる。
【0094】
次に、中間特徴生成部２５が、ノイジー特徴データに基づいてノイジー中間特徴データを生成する（ステップＳ２０４）。
取得画像復元部２６は、ノイジー中間特徴データに基づいて復元画像を生成する（ステップＳ２０５）。
また、認識部２７は、ノイジー中間特徴データに基づいて画像認識を行い、認識結果を算出する（ステップＳ２０６）。
そして、出力部２８は、復元画像および認識結果を出力する（ステップＳ２０７）。
ステップＳ２０７の後、受信側装置２０は、図１１の処理を終了する。
取得画像復元部２６は、ノイジー中間特徴データに基づいて復元画像を生成する（ステップＳ２０５）。
また、認識部２７は、ノイジー中間特徴データに基づいて画像認識を行い、認識結果を算出する（ステップＳ２０６）。
そして、出力部２８は、復元画像および認識結果を出力する（ステップＳ２０７）。
ステップＳ２０７の後、受信側装置２０は、図１１の処理を終了する。
【0095】
以上のように、受信部２１は、取得画像データの表現内容である取得画像の特徴を示す特徴データに基づく通信データを受信する。特徴復元部２２は、受信された通信データに基づいて特徴データを復元する。取得画像復元部２６は、復元された前記データに基づいて取得画像データを復元する。認識部２７は、復元された特徴データに基づいて取得画像データの表現内容である取得画像に対する画像認識を行う。出力部２８は、復元された対象データの表現内容と認識処理による認識結果とを示す情報を出力する。
【0096】
このように、受信側装置２０は、特徴復元部２２が復元する特徴データを、取得画像復元部２６による取得画像の復元、および、認識部２７による画像認識の両方に用いる。受信側装置２０によれば、画像を復元した後、復元された画像を用いて画像認識を行う場合との比較において、取得画像データの復元処理、および、復元されるデータの表現内容である復元画像に対する画像認識を行う処理時間が短くて済む。
【0097】
また、受信部２１は、量子化された特徴データに基づく通信データを受信する。脱量子化部２４は、量子化された特徴データに対して、量子化される前の特徴データの確率分布に従ったサンプリングに基づく脱量子化を行う。
脱量子化部２４が、特徴データの確率分布を脱量子化に反映させることによって、脱量子化を高精度に行えると期待される。
脱量子化部２４が、特徴データの確率分布を脱量子化に反映させることによって、脱量子化を高精度に行えると期待される。
【0098】
また、受信部２１は、中間特徴データＹ１と、中間特徴データＹ１からダウンサンプリング部１２１によってダウンサンプリングされたデータに基づいて算出される中間特徴データＹ２とに基づく通信データを受信する。特徴復元部２２は、中間特徴データＹ２が受信された通信データに基づいて復元されたノイジー中間特徴データＹ２’からアップサンプリング部２２２によってアップサンプリングしたデータに基づいてノイジー中間特徴データＹ３’を復元する。
このように、受信側装置２０が、異なる画像サイズの特徴データを用いて取得画像データを復元することによって、送信側装置１０での画像の圧縮率の調整が比較的容易になる。
このように、受信側装置２０が、異なる画像サイズの特徴データを用いて取得画像データを復元することによって、送信側装置１０での画像の圧縮率の調整が比較的容易になる。
【0099】
また、特徴復元部２２は、処理ステージ部１１２が、中間特徴データＹ１からダウンサンプリングされたデータに基づいて中間特徴データＹ２を算出する処理の逆演算に該当する処理を用いて、中間特徴データＹ１を復元する。
これにより、特徴復元部２２が、中間特徴データを比較的高精度に復元できると期待される。
これにより、特徴復元部２２が、中間特徴データを比較的高精度に復元できると期待される。
【0100】
＜第二実施形態＞
図１２は、第二実施形態に係る情報処理システムの構成例を示す概略ブロック図である。図２に示す構成において、情報処理システム２は、送信側装置３０と、受信側装置４０とを備える。送信側装置３０は、画像取得部１１と、特徴抽出部１２と、通信データ生成部３１と、送信部１６と、ノイジー特徴データ記憶部３５と、を備える。通信データ生成部３１は、量子化部１４と、符号化部１５と、脱量子化部３２と、特徴差分算出部３３と、特徴算出部３４とを備える。受信側装置２０は、受信部２１と、特徴復元部４１と、取得画像復元部２６と、認識部２７と、出力部２８と、ノイジー特徴データ記憶部４３とを備える。特徴復元部４１は、復号部２３と、脱量子化部２４と、中間特徴生成部２５と、特徴算出部４２とを備える。
図１２は、第二実施形態に係る情報処理システムの構成例を示す概略ブロック図である。図２に示す構成において、情報処理システム２は、送信側装置３０と、受信側装置４０とを備える。送信側装置３０は、画像取得部１１と、特徴抽出部１２と、通信データ生成部３１と、送信部１６と、ノイジー特徴データ記憶部３５と、を備える。通信データ生成部３１は、量子化部１４と、符号化部１５と、脱量子化部３２と、特徴差分算出部３３と、特徴算出部３４とを備える。受信側装置２０は、受信部２１と、特徴復元部４１と、取得画像復元部２６と、認識部２７と、出力部２８と、ノイジー特徴データ記憶部４３とを備える。特徴復元部４１は、復号部２３と、脱量子化部２４と、中間特徴生成部２５と、特徴算出部４２とを備える。
【0101】
図１２の各部のうち図１の各部に対応して同様の機能を有する部分には同一の符号（１１、１２、１４、１５、１６、２１、２３、２４、２５、２６、２７、２８）を付し、ここでは詳細な説明を省略する。
図１２に示す情報処理システム２の構成を、図１に示す情報処理システム１と比較すると、動画像を効率的に伝送し処理するための機能部が追加されている。それ以外の点では、情報処理システム２は、情報処理システム１と同様である。
図１２に示す情報処理システム２の構成を、図１に示す情報処理システム１と比較すると、動画像を効率的に伝送し処理するための機能部が追加されている。それ以外の点では、情報処理システム２は、情報処理システム１と同様である。
【0102】
第二実施形態では、画像取得部１１は、動画像、または、例えば１秒周期など比較的短い周期で繰り返し撮像される静止画像を取得する。画像取得部１１が動画像を取得する場合、動画像の各フレームのデータを取得画像データとして扱う。
取得画像データのうちの１つを第一取得画像データと称し、第一取得画像の次に撮像される取得画像のデータを第二取得画像データと称する。第一取得画像データは、第一対象データの例に該当する。第二取得画像データは、第二対象データの例に該当する。
取得画像データのうちの１つを第一取得画像データと称し、第一取得画像の次に撮像される取得画像のデータを第二取得画像データと称する。第一取得画像データは、第一対象データの例に該当する。第二取得画像データは、第二対象データの例に該当する。
【0103】
特徴抽出部１２は、画像取得部１１が取得する複数の画像（画像取得部１１が動画像を取得する場合は、動画像のフレーム）それぞれの特徴データを算出する。例えば、特徴抽出部１２は、第一取得画像データから第一特徴データを抽出し、第二取得画像データから第二特徴データを抽出する。
【0104】
通信データ生成部３１は、画像取得部１１が取得する最初の画像については、第一実施形態の通信データ生成部１３と同様、その画像の特徴データ（例えば特徴データ群）を通信データに変換する。
一方、通信データ生成部３１は、画像取得部１１が取得する２つ目以降の画像については、特徴差分データを算出し、算出した特徴差分データに基づいて通信データを生成する。特徴差分データは、特徴抽出部１２が算出する２つの特徴データの相違を示すデータである。例えば、通信データ生成部３１は、第一特徴データと第二特徴データとの相違を示す特徴差分データを算出し、算出した特徴差分データに基づいて通信データを生成する。
特に、通信データ生成部３１は、量子化部１４における量子化、および、脱量子化部３２における脱量子化によって、量子化ノイズを含むノイジー特徴差分データを生成し、ノイジー特徴差分データに基づいて通信データを生成する。
一方、通信データ生成部３１は、画像取得部１１が取得する２つ目以降の画像については、特徴差分データを算出し、算出した特徴差分データに基づいて通信データを生成する。特徴差分データは、特徴抽出部１２が算出する２つの特徴データの相違を示すデータである。例えば、通信データ生成部３１は、第一特徴データと第二特徴データとの相違を示す特徴差分データを算出し、算出した特徴差分データに基づいて通信データを生成する。
特に、通信データ生成部３１は、量子化部１４における量子化、および、脱量子化部３２における脱量子化によって、量子化ノイズを含むノイジー特徴差分データを生成し、ノイジー特徴差分データに基づいて通信データを生成する。
【0105】
脱量子化部３２は、受信側装置４０の脱量子化部２４と同じ処理を行う。これにより、脱量子化部３２は、脱量子化部２４が生成するノイジー特徴データと同じノイジー特徴データを生成する。
ノイジー特徴データ記憶部３５は、ノイジー特徴データを一時的に記憶する。ノイジー特徴データ記憶部３５が記憶するノイジー特徴データは、次の処理におけるノイジー特徴差分データの生成に用いられる。ここでいう次の処理は、画像取得部１１が取得する動画像のフレームごとの処理など、画像取得部１１が取得する画像ごとの処理のうち、次の画像に対する処理である。
特徴差分算出部３３は、ノイジー特徴差分データを算出する。ノイジー特徴差分データは、連続する処理でそれぞれ生成される特徴データと、１つ前の処理で生成されたノイジー特徴データとの差分データである。
ノイジー特徴データ記憶部３５は、ノイジー特徴データを一時的に記憶する。ノイジー特徴データ記憶部３５が記憶するノイジー特徴データは、次の処理におけるノイジー特徴差分データの生成に用いられる。ここでいう次の処理は、画像取得部１１が取得する動画像のフレームごとの処理など、画像取得部１１が取得する画像ごとの処理のうち、次の画像に対する処理である。
特徴差分算出部３３は、ノイジー特徴差分データを算出する。ノイジー特徴差分データは、連続する処理でそれぞれ生成される特徴データと、１つ前の処理で生成されたノイジー特徴データとの差分データである。
【0106】
送信側装置３０は、２つ目以降の画像の処理では、特徴データに代えてノイジー特徴差分データを量子化および符号化して得られるビットストリームを受信側装置４０へ送信する。受信側装置４０は、受信するビットストリームからノイジー特徴差分データを復元する。そして、受信側装置４０は、復元したノイジー特徴差分データと、１つ前の処理におけるノイジー特徴データとを足し合わせることによって、今回の処理におけるノイジー特徴データを算出する。それ以降の処理は、第一実施形態の受信側装置２０の場合と同様である。
受信側装置４０は、情報処理装置の例に該当する。
受信側装置４０は、情報処理装置の例に該当する。
【0107】
送信側装置３０の特徴算出部３４は、２つ目以降の画像の処理において、脱量子化部３２が算出する今回の処理におけるノイジー特徴差分データと、ノイジー特徴データ記憶部３５が記憶している前回の処理におけるノイジー特徴データとを足し合わせて、今回の処理におけるノイジー特徴データを算出する。特徴算出部３４は、ノイジー特徴データ記憶部３５が記憶している前回の処理におけるノイジー特徴データを、特徴算出部３４自らが算出した今回の処理におけるノイジー特徴データに更新する。ここでいうデータの更新は、データの上書きであってもよい。
【0108】
受信側装置４０のノイジー特徴データ記憶部４３は、送信側装置３０のノイジー特徴データ記憶部３５と同様、ノイジー特徴データを一時的に記憶する。
特徴算出部４２は、脱量子化部２４が復元する、今回の処理におけるノイジー特徴差分データと、ノイジー特徴データ記憶部４３が記憶している前回の処理におけるノイジー特徴データとを足し合わせる。これにより、特徴算出部４２は、今回の処理におけるノイジー特徴データを算出する。特徴算出部４２は、算出したノイジー特徴データを、中間特徴生成部２５へ出力する。また、特徴算出部４２は、ノイジー特徴データ記憶部４３が記憶している前回の処理におけるノイジー特徴データを、特徴算出部４２自らが算出した今回の処理におけるノイジー特徴データに更新する。
特徴算出部４２は、脱量子化部２４が復元する、今回の処理におけるノイジー特徴差分データと、ノイジー特徴データ記憶部４３が記憶している前回の処理におけるノイジー特徴データとを足し合わせる。これにより、特徴算出部４２は、今回の処理におけるノイジー特徴データを算出する。特徴算出部４２は、算出したノイジー特徴データを、中間特徴生成部２５へ出力する。また、特徴算出部４２は、ノイジー特徴データ記憶部４３が記憶している前回の処理におけるノイジー特徴データを、特徴算出部４２自らが算出した今回の処理におけるノイジー特徴データに更新する。
【0109】
図１３は、特徴差分算出部３３の構成例を示す概略ブロック図である。図１３に示す構成において、特徴差分算出部３３は、差分処理ステージ部３１１と、アップサンプリング部３１２とを備える。
図１３は、特徴差分算出部３３がインバーティブル深層畳み込みニューラルネットワークモデルを用いて構成される場合の例を示している。ただし、特徴差分算出部３３の構成は、特定のものに限定されない。
図１３は、特徴差分算出部３３がインバーティブル深層畳み込みニューラルネットワークモデルを用いて構成される場合の例を示している。ただし、特徴差分算出部３３の構成は、特定のものに限定されない。
【0110】
図１３の例において、特徴差分算出部３３は、３つの差分処理ステージ部３１１と、２つのアップサンプリング部３１２とを備える。これらは、２つの差分処理ステージ部３１１の間のそれぞれにアップサンプリング部３１２が１つずつ設けられる配置で直列に接続されている。３つの差分処理ステージ部３１１を区別する場合、データの流れの上流側から下流側へ順に、符号３１１－１、３１１－２、３１１－３を付す。２つのアップサンプリング部３１２を区別する場合、データの流れの上流側から下流側へ順に、符号３１２－１、３１２－２を付す。
【0111】
以下、現在の処理における時刻ステップを時刻ステップｔで表し、前回の処理における時刻ステップを時刻ステップｔ－１で表す。
差分処理ステージ部３１１の各々は、時刻ステップｔにおける特徴データと時刻ステップｔ－１におけるノイジー特徴データとの差分を算出する。
差分処理ステージ部３１１の各々は、時刻ステップｔにおける特徴データと時刻ステップｔ－１におけるノイジー特徴データとの差分を算出する。
【0112】
図１４は、差分処理ステージ部３１１の構成例を示す概略ブロック図である。図１４に示す構成において、差分処理ステージ部３１１は、差分処理ブロック部３２１を備える。
図１４の例において、Ｎ個の差分処理ブロック部３２１が直列に接続されている。Ｎ個の差分処理ブロック部３２１を区別する場合、データの流れの上流側から下流側へ順に、符号３２１－１、・・・、３２１－Ｎを付す。
図１４の例において、Ｎ個の差分処理ブロック部３２１が直列に接続されている。Ｎ個の差分処理ブロック部３２１を区別する場合、データの流れの上流側から下流側へ順に、符号３２１－１、・・・、３２１－Ｎを付す。
【0113】
図１５は、差分処理ブロック部３２１の構成例を示す概略ブロック図である。図１５に示す構成において、差分処理ブロック部３２１は、アフィンチャネル変換部３３１と、チャネル分割部３３２と、畳み込み処理部３３３と、乗算部３３４と、加算部３３５と、チャネル結合部３３６とを備える。
【0114】
アフィンチャネル変換部３３１、チャネル分割部３３２、乗算部３３４、加算部３３５、および、チャネル結合部３３６は、図４のアフィンチャネル変換部１３１、チャネル分割部１３２、乗算部１３４、加算部１３５、および、チャネル結合部１３６と同様である。アフィンチャネル変換部３３１は、他の差分処理ブロック部３２１からのデータ、または、特徴抽出部１２からの特徴データに対して、アフィンチャネル変換部１３１と同様の処理を行う。
【0115】
畳み込み処理部３３３は、チャネル分割部３３２からのデータと、時刻ステップｔ－１におけるノイジー特徴データと、アップサンプリング部３１２からのデータとの入力を受ける。
チャネル分割部３３２から畳み込み処理部３３３へのデータは、グループＢに相当するグループのデータである。また、畳み込み処理部３３３は、ノイジー特徴データ記憶部３５が記憶する、時刻ステップｔ－１におけるノイジー特徴データを取得する。
チャネル分割部３３２から畳み込み処理部３３３へのデータは、グループＢに相当するグループのデータである。また、畳み込み処理部３３３は、ノイジー特徴データ記憶部３５が記憶する、時刻ステップｔ－１におけるノイジー特徴データを取得する。
【0116】
畳み込み処理部３３３は、チャネル分割部３３２からのデータと、時刻ステップｔ－１におけるノイジー特徴データと、アップサンプリング部３１２からのデータとを結合し、結合したデータに対して畳み込み処理部１３３の場合と同様の処理を行う。
具体的には、畳み込み処理部３３３は、結合後のデータに対して畳み込み処理を行う。畳み込み処理部３３３が、結合後のデータに対して畳み込み処理および非線形変換などの一連の処理を行うようにしてもよい。畳み込み処理部３３３が、畳み込みニューラルネットワークを用いて構成されていてもよい。
具体的には、畳み込み処理部３３３は、結合後のデータに対して畳み込み処理を行う。畳み込み処理部３３３が、結合後のデータに対して畳み込み処理および非線形変換などの一連の処理を行うようにしてもよい。畳み込み処理部３３３が、畳み込みニューラルネットワークを用いて構成されていてもよい。
【0117】
なお、差分処理ステージ部３１１－１では、アップサンプリング部３１２からの入力が無い。そこで、差分処理ステージ部３１１－１の差分処理ブロック部３２１では、畳み込み処理部３３３が、チャネル分割部３３２からのデータと、時刻ステップｔ－１におけるノイジー特徴データとを結合するようにしてもよい。
【0118】
畳み込み処理部３３３は、処理後のデータをグループＣに相当するグループおよびグループＤに相当するグループの２つのグループに振り分ける。畳み込み処理部３３３は、グループＣに相当するグループに振り分けたデータを乗算部３３４に出力し、グループＤに相当するグループに振り分けたデータを加算部３３５に出力する。
【0119】
図１６は、特徴算出部３４の構成例を示す概略ブロック図である。図１６に示す構成において、特徴算出部３４は、復元処理ステージ部３４１と、アップサンプリング部３４２とを備える。
図１６は、特徴算出部３４がインバーティブル深層畳み込みニューラルネットワークモデルを用いて構成される場合の例を示している。ただし、特徴算出部３４の構成は、特定のものに限定されない。
図１６は、特徴算出部３４がインバーティブル深層畳み込みニューラルネットワークモデルを用いて構成される場合の例を示している。ただし、特徴算出部３４の構成は、特定のものに限定されない。
【0120】
図１６の例において、特徴算出部３４は、３つの復元処理ステージ部３４１と、２つのアップサンプリング部３４２とを備える。これらは、２つの復元処理ステージ部３４１の間のそれぞれにアップサンプリング部３４２が１つずつ設けられる配置で直列に接続されている。３つの復元処理ステージ部３４１を区別する場合、データの流れの上流側から下流側へ順に、符号３４１－１、３４１－２、３４１－３を付す。２つのアップサンプリング部３４２を区別する場合、データの流れの上流側から下流側へ順に、符号３４２－１、３４２－２を付す。
復元処理ステージ部３４１の各々は、時刻ステップｔ－１における特徴データと、時刻ステップｔにおけるノイジー特徴差分データとに基づいて、時刻ステップｔにおけるノイジー特徴データを算出する。
復元処理ステージ部３４１の各々は、時刻ステップｔ－１における特徴データと、時刻ステップｔにおけるノイジー特徴差分データとに基づいて、時刻ステップｔにおけるノイジー特徴データを算出する。
【0121】
図１７は、復元処理ステージ部３４１の構成例を示す概略ブロック図である。図１７に示す構成において、復元処理ステージ部３４１は、復元処理ブロック部３５１を備える。
図１７の例において、Ｎ個の復元処理ブロック部３５１が直列に接続されている。Ｎ個の復元処理ブロック部３５１を区別する場合、データの流れの上流側から下流側へ順に、符号３５１－１、・・・、３５１－Ｎを付す。
図１７の例において、Ｎ個の復元処理ブロック部３５１が直列に接続されている。Ｎ個の復元処理ブロック部３５１を区別する場合、データの流れの上流側から下流側へ順に、符号３５１－１、・・・、３５１－Ｎを付す。
【0122】
図１８は、復元処理ブロック部３５１の構成例を示す概略ブロック図である。図１８に示す構成において、復元処理ブロック部３５１は、チャネル分割部３６１と、畳み込み処理部３６２と、減算部３６３と、除算部３６４と、チャネル結合部３６５と、逆アフィンチャネル変換部３６６とを備える。
【0123】
チャネル分割部３６１、減算部３６３、除算部３６４、チャネル結合部３６５、および、逆アフィンチャネル変換部３６６は、逆処理ブロック部２２１のチャネル分割部２３１、減算部２３３、除算部２３４、チャネル結合部２３５、および、逆アフィンチャネル変換部２３６と同様である。チャネル分割部３６１は、他の復元処理ブロック部３５１からのデータ、または、脱量子化部２４が出力するノイジー特徴差分データに対してチャネル分割部２３１と同様の処理を行う。
【0124】
チャネル分割部３６１が行う処理は、チャネル結合部３３６が行う処理の逆処理に該当する。減算部３６３が行う演算は、加算部３３５が行う演算に対する逆演算に該当する。除算部３６４が行う演算は、乗算部３３４が行う演算に対する逆演算に該当する。チャネル結合部３６５が行う処理は、チャネル分割部３３２が行う処理の逆処理に該当する。
【0125】
畳み込み処理部３６２は、畳み込み処理部３３３と同様の処理を行う。具体的には、畳み込み処理部３６２は、チャネル分割部３６１からのデータと、時刻ステップｔ－１におけるノイジー特徴データと、アップサンプリング部３４２からのデータとの入力を受ける。
チャネル分割部３６１から畳み込み処理部３６２へのデータは、グループＢに相当するグループのデータである。また、畳み込み処理部３６２は、ノイジー特徴データ記憶部３５が記憶する、時刻ステップｔ－１におけるノイジー特徴データを取得する。
チャネル分割部３６１から畳み込み処理部３６２へのデータは、グループＢに相当するグループのデータである。また、畳み込み処理部３６２は、ノイジー特徴データ記憶部３５が記憶する、時刻ステップｔ－１におけるノイジー特徴データを取得する。
【0126】
畳み込み処理部３６２は、チャネル分割部３６１からのデータと、時刻ステップｔ－１におけるノイジー特徴データと、アップサンプリング部３４２からのデータとを結合し、結合したデータに対して畳み込み処理部３３３の場合と同様の処理を行う。
具体的には、畳み込み処理部３６２は、結合後のデータに対して畳み込み処理を行う。畳み込み処理部３６２が、結合後のデータに対して畳み込み処理および非線形変換などの一連の処理を行うようにしてもよい。畳み込み処理部３６２が、畳み込みニューラルネットワークを用いて構成されていてもよい。
具体的には、畳み込み処理部３６２は、結合後のデータに対して畳み込み処理を行う。畳み込み処理部３６２が、結合後のデータに対して畳み込み処理および非線形変換などの一連の処理を行うようにしてもよい。畳み込み処理部３６２が、畳み込みニューラルネットワークを用いて構成されていてもよい。
【0127】
畳み込み処理部３６２は、処理後のデータをグループＣに相当するグループおよびグループＤに相当するグループの２つのグループに振り分ける。畳み込み処理部３６２は、グループＤに相当するグループに振り分けたデータを減算部３６３に出力し、グループＣに相当するグループに振り分けたデータを除算部３６４に出力する。
【0128】
受信側装置４０の特徴復元部４１は、受信部２１が受信した通信データに基づいて特徴差分データを復元し、復元された特徴差分データと、ノイジー特徴データ記憶部４３が記憶する時刻ステップｔ－１におけるノイジー特徴データとに基づいて、時刻ステップｔにおける特徴データを復元する。
特徴復元部４１は、特徴復元手段の例に該当する。
特徴復元部４１は、特徴復元手段の例に該当する。
【0129】
第二実施形態では、送信側装置３０と受信側装置４０とが特徴差分データを示す通信データを送受信することにより、脱量子化部２４は、量子化された特徴差分データに対する脱量子化を行う。
第一実施形態での量子化された特徴データの脱量子化の場合と同様、脱量子化部２４が、量子化される前の特徴差分データの確率分布に従ったサンプリングに基づく脱量子化を行うようにしてもよい。例えば、脱量子化部２４が、特徴差分データの要素としての実数ベクトルの符号化確率を表す確率分布を予め記憶しておき、この確率分布に基づいてサンプリングを行うようにしてもよい。
第一実施形態での量子化された特徴データの脱量子化の場合と同様、脱量子化部２４が、量子化される前の特徴差分データの確率分布に従ったサンプリングに基づく脱量子化を行うようにしてもよい。例えば、脱量子化部２４が、特徴差分データの要素としての実数ベクトルの符号化確率を表す確率分布を予め記憶しておき、この確率分布に基づいてサンプリングを行うようにしてもよい。
【0130】
受信側装置４０の特徴算出部４２は、送信側装置３０の特徴算出部３４と同様である。送信側装置３０と受信側装置４０とで同様の処理を行ってノイジー特徴データを生成し、記憶しておく。
送信側装置３０は、ノイジー特徴差分データの算出に、ノイジー特徴データ記憶部３５が記憶しているノイジー特徴データを前回のノイジー特徴データ（時刻ステップｔ－１）として用いる。受信側装置４０は、ノイジー特徴差分データからノイジー特徴データ（時刻ステップｔ）を復元する際に、ノイジー特徴データ記憶部４３が記憶している前回のノイジー特徴データ（時刻ステップｔ－１）を用いる。
受信側装置４０が、送信側装置３０と同様の、前回のノイジー特徴データを用いて今回のノイジー特徴データを復元することによって、今回のノイジー特徴データを高精度に復元できると期待される。
送信側装置３０は、ノイジー特徴差分データの算出に、ノイジー特徴データ記憶部３５が記憶しているノイジー特徴データを前回のノイジー特徴データ（時刻ステップｔ－１）として用いる。受信側装置４０は、ノイジー特徴差分データからノイジー特徴データ（時刻ステップｔ）を復元する際に、ノイジー特徴データ記憶部４３が記憶している前回のノイジー特徴データ（時刻ステップｔ－１）を用いる。
受信側装置４０が、送信側装置３０と同様の、前回のノイジー特徴データを用いて今回のノイジー特徴データを復元することによって、今回のノイジー特徴データを高精度に復元できると期待される。
【0131】
図１９は、送信側装置３０が行う処理の手順の例を示すフローチャートである。図１９は、送信側装置３０が、動画像または連写した静止画像など、複数の画像（動画像の場合はフレーム）を受信側装置に４０に送信する場合の、１つの画像に対する処理の手順の例を示している。送信側装置３０は、画像ごとに、図１９の処理を繰り返し行う。
【0132】
１つ目の画像の送信と２つ目以降の画像の送信とでは、送信側装置３０の処理が異なるため、送受信の対象の画像が何個目の画像かの個数を、時刻ステップとして表す。例えば、送信側装置３０が、１つ目の画像を送信するための処理を行う場合、時刻ステップｔ＝１とする。
【0133】
図１９の処理において、画像取得部１１は、画像を取得する（ステップＳ３０１）。上記のように、画像取得部１１が取得する画像を取得画像とも称する。また、今回の処理の時刻ステップを、時刻ステップｔとする。ｔは正の整数である。
次に、特徴抽出部１２は、取得画像の特徴データを抽出する（ステップＳ３０２）。
次に、特徴抽出部１２は、取得画像の特徴データを抽出する（ステップＳ３０２）。
【0134】
次に、送信側装置３０は、時刻ステップｔがｔ＝１か否かを判定する（ステップＳ３０３）。すなわち、送信側装置３０は、送信対象の画像が１つ目の画像か否かを判定する。
ｔ＝１であると判定した場合（ステップＳ３０３：ＹＥＳ）、量子化部１４は、特徴データを量子化する（ステップＳ３１１）。
ｔ＝１であると判定した場合（ステップＳ３０３：ＹＥＳ）、量子化部１４は、特徴データを量子化する（ステップＳ３１１）。
【0135】
次に、符号化部１５は、量子化されたデータを符号化する（ステップＳ３３１）。ここでいう「量子化されたデータ」は、ｔ＝１のときはステップＳ３１１で量子化された特徴データである。一方、ｔ≧２のときは、「量子化されたデータ」は、ステップＳ３２２で量子化された差分データである。符号化部１５は、量子化されたデータの符号化によって、送信用のビットストリームを生成する。
【0136】
次に、送信部１６は、符号化部１５が生成したビットストリームを受信側装置４０へ送信する（ステップＳ３３２）。
次に、送信側装置３０は、時刻ステップｔがｔ＝１か否かを判定する（ステップＳ３３３）。すなわち、送信側装置３０は、ステップＳ３３２で送信した画像が、１つめの画像か否かを判定する。
次に、送信側装置３０は、時刻ステップｔがｔ＝１か否かを判定する（ステップＳ３３３）。すなわち、送信側装置３０は、ステップＳ３３２で送信した画像が、１つめの画像か否かを判定する。
【0137】
ｔ＝１であると判定した場合（ステップＳ３３３：ＹＥＳ）、脱量子化部３２は、量子化されたデータを脱量子化することによって、ノイジー特徴データを算出し、ノイジー特徴データ記憶部３５に記憶させる（ステップＳ３４１）。ｔ＝１の場合、ステップＳ３１１で量子化部１４が特徴データを量子化している。このことから、ステップＳ３４１における脱量子化によってノイジー特徴データが得られる。
ステップＳ３４１の後、送信側装置３０は、図１９の処理を終了する。
ステップＳ３４１の後、送信側装置３０は、図１９の処理を終了する。
【0138】
一方、ステップ３０３において、ｔ≧２であると送信側装置３０が判定した場合（ステップＳ３０３：ＮＯ）、特徴差分算出部３３が、特徴差分データを算出する（ステップＳ３２１）。
具体的には、特徴差分算出部３３は、ノイジー特徴データ記憶部３５が記憶しているノイジー特徴データを読み出す。このノイジー特徴データは、送信側装置３０による図１９の処理の前回の実行で得られたものであるから、時刻ステップｔ－１のノイジー特徴データである。
具体的には、特徴差分算出部３３は、ノイジー特徴データ記憶部３５が記憶しているノイジー特徴データを読み出す。このノイジー特徴データは、送信側装置３０による図１９の処理の前回の実行で得られたものであるから、時刻ステップｔ－１のノイジー特徴データである。
【0139】
そして、特徴差分算出部３３は、ステップＳ３０２で特徴抽出部１２が抽出した特徴データ（時刻ステップｔ）と、ノイジー特徴データ記憶部３５から読み出したノイジー特徴データ（時刻ステップｔ－１）とに基づいて、特徴差分データを算出する。
ステップＳ３２１の後、量子化部１４は、特徴差分データを量子化する（ステップＳ３２２）。
ステップＳ３２２の後、処理がステップＳ３３１へ進む。
ステップＳ３２１の後、量子化部１４は、特徴差分データを量子化する（ステップＳ３２２）。
ステップＳ３２２の後、処理がステップＳ３３１へ進む。
【0140】
一方、ステップＳ３３３でｔ≧２であると送信側装置３０が判定した場合（ステップＳ３３３：ＮＯ）、脱量子化部３２は、量子化されたデータを脱量子化することによって、ノイジー特徴差分データを算出する（ステップＳ３５１）。ｔ≧２の場合、ステップＳ３２２で量子化部１４が特徴差分データを量子化している。このことから、ステップＳ３５１における脱量子化によってノイジー特徴差分データが得られる。
ステップＳ３５１の後、特徴算出部３４は、ノイジー特徴データを算出し、ノイジー特徴データ記憶部３５に記憶させる（ステップＳ３５２）。
具体的には、特徴算出部３４は、ノイジー特徴データ記憶部３５が記憶しているノイジー特徴データ（時刻ステップｔ－１）を読み出す。そして、特徴算出部３４は、ステップＳ３５１で脱量子化部３２が算出したノイジー特徴差分データ（時刻ステップｔ）と、ノイジー特徴データ記憶部３５から読み出したノイジー特徴データ（時刻ステップｔ－１）とに基づいて、ノイジー特徴データ（時刻ステップｔ）を算出する。特徴算出部３４は、算出したノイジー特徴データ（時刻ステップｔ）をノイジー特徴データ記憶部３５に記憶させる。
ステップＳ３５２の後、送信側装置３０は、図１９の処理を終了する。
ステップＳ３５１の後、特徴算出部３４は、ノイジー特徴データを算出し、ノイジー特徴データ記憶部３５に記憶させる（ステップＳ３５２）。
具体的には、特徴算出部３４は、ノイジー特徴データ記憶部３５が記憶しているノイジー特徴データ（時刻ステップｔ－１）を読み出す。そして、特徴算出部３４は、ステップＳ３５１で脱量子化部３２が算出したノイジー特徴差分データ（時刻ステップｔ）と、ノイジー特徴データ記憶部３５から読み出したノイジー特徴データ（時刻ステップｔ－１）とに基づいて、ノイジー特徴データ（時刻ステップｔ）を算出する。特徴算出部３４は、算出したノイジー特徴データ（時刻ステップｔ）をノイジー特徴データ記憶部３５に記憶させる。
ステップＳ３５２の後、送信側装置３０は、図１９の処理を終了する。
【0141】
図２０は、受信側装置４０が行う処理の手順の例を示すフローチャートである。受信側装置４０が、送信側装置３０による図１９の処理の繰り返しに応じて、図２０の処理を繰り返し行う。
図２０のステップＳ４０１およびＳ４０２は、ビットストリームが特徴データを表す場合と特徴差分データを表す場合とがある点以外は、図１１のステップＳ２０１およびＳ２０２と同様である。ステップＳ４０２において、時刻ステップｔがｔ＝１の場合は、量子化された特徴データが得られる。一方、ｔ≧２の場合は、量子化された特徴差分データが得られる。
図２０のステップＳ４０１およびＳ４０２は、ビットストリームが特徴データを表す場合と特徴差分データを表す場合とがある点以外は、図１１のステップＳ２０１およびＳ２０２と同様である。ステップＳ４０２において、時刻ステップｔがｔ＝１の場合は、量子化された特徴データが得られる。一方、ｔ≧２の場合は、量子化された特徴差分データが得られる。
【0142】
ステップＳ４０２の後、受信側装置４０は、時刻ステップｔがｔ＝１か否かを判定する（ステップＳ４０３）。すなわち、受信側装置４０は、復元対象の画像が１つ目の画像か否かを判定する。
ｔ＝１であると受信側装置４０判定した場合（ステップＳ４０３：ＹＥＳ）、脱量子化部２４は、ノイジー特徴データを算出し、ノイジー特徴データ記憶部４３に記憶させる（ステップＳ４１１）。
具体的には、脱量子化部２４は、図１１のステップＳ２０３の場合と同様、ビットストリームの復号によって得られたデータを脱量子化することによって、ノイジー特徴データを算出する。そして、脱量子化部２４は、算出したノイジー特徴データをノイジー特徴データ記憶部４３に記憶させる。
ステップＳ４１１の後、処理がステップＳ４３１へ進む。
ステップＳ４３１からＳ４３４は、図１１のステップＳ２０４～Ｓ２０７と同様である。
ステップＳ４３４の後、受信側装置４０は、図２０の処理を終了する。
ｔ＝１であると受信側装置４０判定した場合（ステップＳ４０３：ＹＥＳ）、脱量子化部２４は、ノイジー特徴データを算出し、ノイジー特徴データ記憶部４３に記憶させる（ステップＳ４１１）。
具体的には、脱量子化部２４は、図１１のステップＳ２０３の場合と同様、ビットストリームの復号によって得られたデータを脱量子化することによって、ノイジー特徴データを算出する。そして、脱量子化部２４は、算出したノイジー特徴データをノイジー特徴データ記憶部４３に記憶させる。
ステップＳ４１１の後、処理がステップＳ４３１へ進む。
ステップＳ４３１からＳ４３４は、図１１のステップＳ２０４～Ｓ２０７と同様である。
ステップＳ４３４の後、受信側装置４０は、図２０の処理を終了する。
【0143】
一方、ステップＳ４０３において、ｔ≧２であると受信側装置４０が判定した場合（ステップＳ４０３：ＮＯ）、脱量子化部２４は、ステップＳ４０２でのビットストリームの復号によって得られたデータを脱量子化することによって、ノイジー特徴差分データを算出する（ステップＳ４２１）。
【0144】
次に、特徴算出部４２は、ノイジー特徴データ（時刻ステップｔ）を算出し、ノイジー特徴データ記憶部４３に記憶させる（ステップＳ４２２）。具体的には、特徴算出部４２は、ノイジー特徴データ記憶部４３が記憶しているノイジー特徴データを読み出す。このノイジー特徴データは、受信側装置４０による図２０の処理の前回の実行で得られたものであるから、時刻ステップｔ－１のノイジー特徴データである。
【0145】
そして、特徴算出部４２は、ステップＳ４２１で脱量子化部２４が算出したノイジー特徴差分データ（時刻ステップｔ）と、ノイジー特徴データ記憶部３５から読み出したノイジー特徴データ（時刻ステップｔ－１）とに基づいて、ノイジー特徴データ（時刻ステップｔ）を算出する。特徴算出部４２は、算出したノイジー特徴データをノイジー特徴データ記憶部４３に記憶させる。
ステップＳ４２２の後、処理がステップＳ４３１へ進む。
ステップＳ４２２の後、処理がステップＳ４３１へ進む。
【0146】
以上のように、受信部２１は、第一時刻ステップにおける取得画像の特徴を示す第一特徴データと、第一時刻ステップよりも遅い時刻ステップである第二時刻ステップにおける取得画像の特徴を示す第二特徴データとの相違を示す特徴差分データに基づく通信データを受信する。特徴復元部４１は、受信された通信データに基づいて特徴差分データを復元し、復元された特徴差分データと、第一特徴データとに基づいて第二特徴データを復元する。
受信側装置４０によれば、特徴差分データに基づく通信データを受信することによって、特徴データに基づく通信データを受信する場合よりも、通信量が少なくて済むと期待される。
受信側装置４０によれば、特徴差分データに基づく通信データを受信することによって、特徴データに基づく通信データを受信する場合よりも、通信量が少なくて済むと期待される。
【0147】
また、受信部２１は、量子化された差分データに基づく通信データを受信する。脱量子化部２４は、量子化された特徴差分データに対して、量子化される前の特徴差分データの確率分布に従ったサンプリングに基づく脱量子化を行う。
脱量子化部２４が、特徴差分データの確率分布を脱量子化に反映させることによって、脱量子化を高精度に行えると期待される。
脱量子化部２４が、特徴差分データの確率分布を脱量子化に反映させることによって、脱量子化を高精度に行えると期待される。
【0148】
＜第三実施形態＞
情報処理システム１または情報処理システム２において、通信データの圧縮率を動的に変化させるなど、送信側装置が行う処理の設定を動的に更新するようにしてもよい。その際、受信側装置が行う処理の設定も動的に更新するようにしてもよい。第三実施形態では、その点について説明する。
情報処理システム１または情報処理システム２において、通信データの圧縮率を動的に変化させるなど、送信側装置が行う処理の設定を動的に更新するようにしてもよい。その際、受信側装置が行う処理の設定も動的に更新するようにしてもよい。第三実施形態では、その点について説明する。
【0149】
図２１は、第三実施形態に係る情報処理システムの構成の第一例を示す概略ブロック図である。図２１に示す構成において、情報処理システム３ａは、送信側装置５１と、受信側装置５２と、設定更新装置５３とを備える。設定更新装置５３は、設定更新部５４を備える。
【0150】
送信側装置５１および受信側装置５２は、送信側装置１０および受信側装置２０であってもよい。すなわち、第一実施形態に基づいて第三実施形態を実施するようにしてもよい。あるいは、送信側装置５１および受信側装置５２は、送信側装置３０および受信側装置４０であってもよい。すなわち、第二実施形態に基づいて第三実施形態を実施するようにしてもよい。
【0151】
設定更新部５４は、送信側装置５１の処理の設定と、受信側装置５２の処理の設定とを更新する。例えば、設定更新部５４は、特徴抽出部１２の処理と、中間特徴生成部２５および取得画像復元部２６の処理とが逆演算の関係になるように、これらの処理の設定を動的に更新する。さらに例えば、設定更新部５４が、特徴抽出部１２の処理ステージ部１１２の個数と、中間特徴生成部２５および取得画像復元部２６の逆処理ステージ部２１１の個数の合計とが同じ個数になるように、これらの個数を動的に変化させるようにしてもよい。
設定更新部５４は、設定更新手段の例に該当する。
これにより、通信データの圧縮率を動的に変化させるなど処理の設定を動的に変化させることができ、かつ、受信側装置５２が、特徴データの復元を高精度に行えると期待される。
設定更新部５４は、設定更新手段の例に該当する。
これにより、通信データの圧縮率を動的に変化させるなど処理の設定を動的に変化させることができ、かつ、受信側装置５２が、特徴データの復元を高精度に行えると期待される。
【0152】
設定更新部５４が、送信側装置または受信側装置の何れかに設けられていてもよい。
図２２は、第三実施形態に係る情報処理システムの構成の第二例を示す概略ブロック図である。図２２に示す構成において、情報処理システム３ｂでは、設定更新部５４が、送信側装置５１に設けられている。それ以外の点では、情報処理システム３ｂは、情報処理システム３ａの場合と同様である。
図２２は、第三実施形態に係る情報処理システムの構成の第二例を示す概略ブロック図である。図２２に示す構成において、情報処理システム３ｂでは、設定更新部５４が、送信側装置５１に設けられている。それ以外の点では、情報処理システム３ｂは、情報処理システム３ａの場合と同様である。
【0153】
図２３は、第三実施形態に係る情報処理システムの構成の第三例を示す概略ブロック図である。図２３に示す構成において、情報処理システム３ｃでは、設定更新部５４が、受信側装置５２に設けられている。それ以外の点では、情報処理システム３ｃは、情報処理システム３ａの場合と同様である。
【0154】
＜第四実施形態＞
図２４は、第四実施形態に係る情報処理装置の構成例を示す概略ブロック図である。図２４に示す構成において、情報処理装置６１０は、受信部６１１と、特徴復元部６１２と、対象復元部６１３と、認識部６１４と、出力部６１５と、を備える。
図２４は、第四実施形態に係る情報処理装置の構成例を示す概略ブロック図である。図２４に示す構成において、情報処理装置６１０は、受信部６１１と、特徴復元部６１２と、対象復元部６１３と、認識部６１４と、出力部６１５と、を備える。
【0155】
かかる構成において、受信部６１１は、対象データの表現内容の特徴を示す特徴データに基づく通信データを受信する。特徴復元部６１２は、受信された通信データに基づいて特徴データを復元する。対象復元部６１３は、復元された特徴データに基づいて対象データを復元する。認識部６１４は、復元された特徴データに基づいて対象データの表現内容に対する認識処理を行う。出力部６１５は、復元された対象データの表現内容と認識処理による認識結果とを示す情報を出力する。
受信部６１１は、受信手段の例に該当する、特徴復元部６１２は、特徴復元手段の例に該当する。対象復元部６１３は、対象復元手段の例に該当する。認識部６１４は、認識手段の例に該当する。出力部６１５は、出力手段の例に該当する。
受信部６１１は、受信手段の例に該当する、特徴復元部６１２は、特徴復元手段の例に該当する。対象復元部６１３は、対象復元手段の例に該当する。認識部６１４は、認識手段の例に該当する。出力部６１５は、出力手段の例に該当する。
【0156】
このように、情報処理装置６１０は、特徴復元部６１２が復元する特徴データを、対象復元部６１３による対象データの復元、および、認識部６１４による認識処理の両方に用いる。情報処理装置６１０によれば、対象データを復元した後、復元された対象データを用いて認識処理を行う場合との比較において、対象データの復元処理、および、復元される対象データの表現内容に対する認識処理を行う処理時間が短くて済む。
【0157】
＜第五実施形態＞
図２５は、第五実施形態に係る情報処理システムの構成例を示す概略ブロック図である。図２５に示す構成において、情報処理システム６２０は、送信側装置６３０と受信側装置６４０とを備える。送信側装置６３０はデータ取得部６３１と、特徴抽出部６３２と、通信データ生成部６３３と、送信部６３４と、を備える。受信側装置６４０は、受信部６４１と、特徴復元部６４２と、対象復元部６４３と、認識部６４４と、出力部６４５と、を備える。
図２５は、第五実施形態に係る情報処理システムの構成例を示す概略ブロック図である。図２５に示す構成において、情報処理システム６２０は、送信側装置６３０と受信側装置６４０とを備える。送信側装置６３０はデータ取得部６３１と、特徴抽出部６３２と、通信データ生成部６３３と、送信部６３４と、を備える。受信側装置６４０は、受信部６４１と、特徴復元部６４２と、対象復元部６４３と、認識部６４４と、出力部６４５と、を備える。
【0158】
かかる構成において、データ取得部６３１は、対象データを取得する。特徴抽出部６３２は、対象データの表現内容の特徴を示す特徴データを算出する。通信データ生成部６３３は、特徴データに基づいて通信データを生成する。送信部６３４は、通信データを送信する。受信部６４１は、通信データを受信する。特徴復元部６４２は、受信された通信データに基づいて特徴データを復元する。対象復元部６４３は、復元された特徴データに基づいて対象データを復元する。認識部６４４は、復元された特徴データに基づいて対象データの表現内容に対する認識処理を行う。出力部６４５は、復元された対象データの表現内容と認識処理による認識結果とを示す情報を出力する。
【0159】
このように、受信側装置６４０は、特徴復元部６４２が復元する特徴データを、対象復元部６４３による対象データの復元、および、認識部６４４による認識処理の両方に用いる。情報処理システム６２０によれば、対象データを復元した後、復元された対象データを用いて認識処理を行う場合との比較において、対象データの復元処理、および、復元される対象データの表現内容に対する認識処理を行う処理時間が短くて済む。
【0160】
＜第六実施形態＞
図２６は、第六実施形態に係る情報処理方法における処理の手順の例を示すフローチャートである。図２６に示す処理は、通信データを取得すること（ステップＳ６１１）と、特徴データを復元すること（ステップＳ６１２）と、対象データを復元すること（ステップＳ６１３）と、認識処理を行うこと（ステップＳ６１４）と、結果を出力すること（ステップＳ６１５）とを含む。
図２６は、第六実施形態に係る情報処理方法における処理の手順の例を示すフローチャートである。図２６に示す処理は、通信データを取得すること（ステップＳ６１１）と、特徴データを復元すること（ステップＳ６１２）と、対象データを復元すること（ステップＳ６１３）と、認識処理を行うこと（ステップＳ６１４）と、結果を出力すること（ステップＳ６１５）とを含む。
【0161】
通信データを取得すること（ステップＳ６１１）では、対象データの表現内容の特徴を示す特徴データに基づく通信データを受信する。特徴データを復元すること（ステップＳ６１２）では、受信された通信データに基づいて特徴データを復元する。対象データを復元すること（ステップＳ６１３）では、復元された特徴データに基づいて対象データを復元する。認識処理を行うこと（ステップＳ６１４）では、復元された特徴データに基づいて対象データの表現内容に対する認識処理を行う。結果を出力すること（ステップＳ６１５）では、復元された対象データの表現内容と認識処理による認識結果とを示す情報を出力する。
【0162】
図２６に示す情報処理方法によればステップＳ６１２で復元する特徴データを、ステップＳ６１３での対象データの復元、および、ステップＳ６１４での認識処理の両方に用いる。図２６に示す情報処理方法によれば対象データを復元した後、復元された対象データを用いて認識処理を行う場合との比較において、対象データの復元処理、および、復元される対象データの表現内容に対する認識処理を行う処理時間が短くて済む。
【0163】
図２７は、少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。
図２７に示す構成において、コンピュータ７００は、ＣＰＵ（Central Processing Unit、中央処理装置）７１０と、主記憶装置７２０と、補助記憶装置７３０と、インタフェース７４０とを備える。
図２７に示す構成において、コンピュータ７００は、ＣＰＵ（Central Processing Unit、中央処理装置）７１０と、主記憶装置７２０と、補助記憶装置７３０と、インタフェース７４０とを備える。
【0164】
上記の送信側装置１０、受信側装置２０、送信側装置３０、受信側装置４０、送信側装置５１、受信側装置５２、設定更新装置５３、情報処理装置６１０、送信側装置６３０、および、受信側装置６４０のうち何れか１つ以上またはその一部が、コンピュータ７００に実装されてもよい。その場合、上述した各処理部の動作は、プログラムの形式で補助記憶装置７３０に記憶されている。ＣＰＵ７１０は、プログラムを補助記憶装置７３０から読み出して主記憶装置７２０に展開し、当該プログラムに従って上記処理を実行する。また、ＣＰＵ７１０は、プログラムに従って、上述した各記憶部に対応する記憶領域を主記憶装置７２０に確保する。各装置と他の装置との通信は、インタフェース７４０が通信機能を有し、ＣＰＵ７１０の制御に従って通信を行うことで実行される。
【0165】
送信側装置１０がコンピュータ７００に実装される場合、特徴抽出部１２、通信データ生成部１３およびその各部の動作は、プログラムの形式で補助記憶装置７３０に記憶されている。ＣＰＵ７１０は、プログラムを補助記憶装置７３０から読み出して主記憶装置７２０に展開し、当該プログラムに従って上記処理を実行する。
【0166】
また、ＣＰＵ７１０は、プログラムに従って、送信側装置１０の処理のための記憶領域を主記憶装置７２０に確保する。
画像取得部１１による画像データの取得は、例えば、インタフェース７４０が撮像装置を備え、ＣＰＵ７１０の制御に従って撮像を行うことで実行される。送信部１６によるデータの送信は、インタフェース７４０が通信機能を有し、ＣＰＵ７１０の制御に従って動作することで実行される。
画像取得部１１による画像データの取得は、例えば、インタフェース７４０が撮像装置を備え、ＣＰＵ７１０の制御に従って撮像を行うことで実行される。送信部１６によるデータの送信は、インタフェース７４０が通信機能を有し、ＣＰＵ７１０の制御に従って動作することで実行される。
【0167】
受信側装置２０がコンピュータ７００に実装される場合、特徴復元部２２、取得画像復元部２６、認識部２７、およびその各部の動作は、プログラムの形式で補助記憶装置７３０に記憶されている。ＣＰＵ７１０は、プログラムを補助記憶装置７３０から読み出して主記憶装置７２０に展開し、当該プログラムに従って上記処理を実行する。
【0168】
また、ＣＰＵ７１０は、プログラムに従って、受信側装置２０の処理のための記憶領域を主記憶装置７２０に確保する。
受信部２１によるデータの受信は、インタフェース７４０が通信機能を有し、ＣＰＵ７１０の制御に従って動作することで実行される。出力部２８による情報の出力は、例えば、インタフェース７４０が表示装置を備え、ＣＰＵ７１０の制御に従って画像を表示することで実行される。
受信部２１によるデータの受信は、インタフェース７４０が通信機能を有し、ＣＰＵ７１０の制御に従って動作することで実行される。出力部２８による情報の出力は、例えば、インタフェース７４０が表示装置を備え、ＣＰＵ７１０の制御に従って画像を表示することで実行される。
【0169】
送信側装置３０がコンピュータ７００に実装される場合、特徴抽出部１２、通信データ生成部３１およびその各部の動作は、プログラムの形式で補助記憶装置７３０に記憶されている。ＣＰＵ７１０は、プログラムを補助記憶装置７３０から読み出して主記憶装置７２０に展開し、当該プログラムに従って上記処理を実行する。
【0170】
また、ＣＰＵ７１０は、プログラムに従って、ノイジー特徴データ記憶部３５など送信側装置３０の処理のための記憶領域を主記憶装置７２０に確保する。
画像取得部１１による画像データの取得は、例えば、インタフェース７４０が撮像装置を備え、ＣＰＵ７１０の制御に従って撮像を行うことで実行される。送信部１６によるデータの送信は、インタフェース７４０が通信機能を有し、ＣＰＵ７１０の制御に従って動作することで実行される。
画像取得部１１による画像データの取得は、例えば、インタフェース７４０が撮像装置を備え、ＣＰＵ７１０の制御に従って撮像を行うことで実行される。送信部１６によるデータの送信は、インタフェース７４０が通信機能を有し、ＣＰＵ７１０の制御に従って動作することで実行される。
【0171】
受信側装置４０がコンピュータ７００に実装される場合、取得画像復元部２６、認識部２７、特徴復元部４１、およびその各部の動作は、プログラムの形式で補助記憶装置７３０に記憶されている。ＣＰＵ７１０は、プログラムを補助記憶装置７３０から読み出して主記憶装置７２０に展開し、当該プログラムに従って上記処理を実行する。
【0172】
また、ＣＰＵ７１０は、プログラムに従って、ノイジー特徴データ記憶部４３など受信側装置４０の処理のための記憶領域を主記憶装置７２０に確保する。
受信部２１によるデータの受信は、インタフェース７４０が通信機能を有し、ＣＰＵ７１０の制御に従って動作することで実行される。出力部２８による情報の出力は、例えば、インタフェース７４０が表示装置を備え、ＣＰＵ７１０の制御に従って画像を表示することで実行される。
受信部２１によるデータの受信は、インタフェース７４０が通信機能を有し、ＣＰＵ７１０の制御に従って動作することで実行される。出力部２８による情報の出力は、例えば、インタフェース７４０が表示装置を備え、ＣＰＵ７１０の制御に従って画像を表示することで実行される。
【0173】
情報処理装置６１０がコンピュータ７００に実装される場合、特徴復元部６１２、対象復元部６１３および認識部６１４の動作は、プログラムの形式で補助記憶装置７３０に記憶されている。ＣＰＵ７１０は、プログラムを補助記憶装置７３０から読み出して主記憶装置７２０に展開し、当該プログラムに従って上記処理を実行する。
【0174】
また、ＣＰＵ７１０は、プログラムに従って、情報処理装置６１０の処理のための記憶領域を主記憶装置７２０に確保する。
受信部６１１によるデータの受信は、インタフェース７４０が通信機能を有し、ＣＰＵ７１０の制御に従って動作することで実行される。出力部６１５による情報の出力は、例えば、インタフェース７４０が表示装置を備え、ＣＰＵ７１０の制御に従って画像を表示することで実行される。
受信部６１１によるデータの受信は、インタフェース７４０が通信機能を有し、ＣＰＵ７１０の制御に従って動作することで実行される。出力部６１５による情報の出力は、例えば、インタフェース７４０が表示装置を備え、ＣＰＵ７１０の制御に従って画像を表示することで実行される。
【0175】
送信側装置６３０がコンピュータ７００に実装される場合、特徴抽出部６３２および通信データ生成部６３３の動作は、プログラムの形式で補助記憶装置７３０に記憶されている。ＣＰＵ７１０は、プログラムを補助記憶装置７３０から読み出して主記憶装置７２０に展開し、当該プログラムに従って上記処理を実行する。
【0176】
また、ＣＰＵ７１０は、プログラムに従って、送信側装置６３０の処理のための記憶領域を主記憶装置７２０に確保する。
データ取得部６３１による対象データの取得は、インタフェース７４０が撮像装置など対象データ取得のためのデバイスを備え、ＣＰＵ７１０の制御に従って動作することで実行される。送信部６３４によるデータの送信は、インタフェース７４０が通信機能を有し、ＣＰＵ７１０の制御に従って動作することで実行される。
データ取得部６３１による対象データの取得は、インタフェース７４０が撮像装置など対象データ取得のためのデバイスを備え、ＣＰＵ７１０の制御に従って動作することで実行される。送信部６３４によるデータの送信は、インタフェース７４０が通信機能を有し、ＣＰＵ７１０の制御に従って動作することで実行される。
【0177】
受信側装置６４０がコンピュータ７００に実装される場合、特徴復元部６４２、対象復元部６４３および認識部６４４の動作は、プログラムの形式で補助記憶装置７３０に記憶されている。ＣＰＵ７１０は、プログラムを補助記憶装置７３０から読み出して主記憶装置７２０に展開し、当該プログラムに従って上記処理を実行する。
【0178】
また、ＣＰＵ７１０は、プログラムに従って、受信側装置６４０の処理のための記憶領域を主記憶装置７２０に確保する。
受信部６４１によるデータの受信は、インタフェース７４０が通信機能を有し、ＣＰＵ７１０の制御に従って動作することで実行される。出力部６４５による情報の出力は、例えば、インタフェース７４０が表示装置を備え、ＣＰＵ７１０の制御に従って画像を表示することで実行される。
受信部６４１によるデータの受信は、インタフェース７４０が通信機能を有し、ＣＰＵ７１０の制御に従って動作することで実行される。出力部６４５による情報の出力は、例えば、インタフェース７４０が表示装置を備え、ＣＰＵ７１０の制御に従って画像を表示することで実行される。
【0179】
なお、送信側装置１０、受信側装置２０、送信側装置３０、受信側装置４０、送信側装置５１、受信側装置５２、設定更新装置５３、情報処理装置６１０、送信側装置６３０、および、受信側装置６４０が行う処理の全部または一部を実行するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳ（Operating System）や周辺機器等のハードウェアを含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ（Read Only Memory）、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ（Read Only Memory）、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
【0180】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
また、上記の実施形態の一部または全部は、以下の付記のようにも記載され得るが、以下には限定されない。
また、上記の実施形態の一部または全部は、以下の付記のようにも記載され得るが、以下には限定されない。
【0181】
（付記１）
対象データの表現内容の特徴を示す特徴データに基づく通信データを受信する受信手段と、
受信された前記通信データに基づいて前記特徴データを復元する特徴復元手段と、
復元された前記特徴データに基づいて前記対象データを復元する対象復元手段と、
復元された前記特徴データに基づいて前記対象データの表現内容に対する認識処理を行う認識手段と、
復元された前記対象データの表現内容と前記認識処理による認識結果とを示す情報を出力する出力手段と、
を備える情報処理装置。
対象データの表現内容の特徴を示す特徴データに基づく通信データを受信する受信手段と、
受信された前記通信データに基づいて前記特徴データを復元する特徴復元手段と、
復元された前記特徴データに基づいて前記対象データを復元する対象復元手段と、
復元された前記特徴データに基づいて前記対象データの表現内容に対する認識処理を行う認識手段と、
復元された前記対象データの表現内容と前記認識処理による認識結果とを示す情報を出力する出力手段と、
を備える情報処理装置。
【0182】
（付記２）
前記受信手段は、量子化された前記特徴データに基づく前記通信データを受信し、
前記特徴復元手段は、量子化された前記特徴データに対して、量子化される前の前記特徴データの確率分布に従ったサンプリングに基づく脱量子化を行う脱量子化手段を備える、
付記１に記載の情報処理装置。
前記受信手段は、量子化された前記特徴データに基づく前記通信データを受信し、
前記特徴復元手段は、量子化された前記特徴データに対して、量子化される前の前記特徴データの確率分布に従ったサンプリングに基づく脱量子化を行う脱量子化手段を備える、
付記１に記載の情報処理装置。
【0183】
（付記３）
前記受信手段は、第一時刻ステップにおける第一対象データの表現内容の特徴を示す第一特徴データと、前記第一時刻ステップよりも遅い時刻ステップである第二時刻ステップにおける第二対象データの表現内容の特徴を示す第二特徴データとの相違を示す特徴差分データに基づく前記通信データを受信し、
前記特徴復元手段は、受信された前記通信データに基づいて前記特徴差分データを復元し、復元された前記特徴差分データと、前記第一特徴データとに基づいて前記第二特徴データを復元する、
付記１に記載の情報処理装置。
前記受信手段は、第一時刻ステップにおける第一対象データの表現内容の特徴を示す第一特徴データと、前記第一時刻ステップよりも遅い時刻ステップである第二時刻ステップにおける第二対象データの表現内容の特徴を示す第二特徴データとの相違を示す特徴差分データに基づく前記通信データを受信し、
前記特徴復元手段は、受信された前記通信データに基づいて前記特徴差分データを復元し、復元された前記特徴差分データと、前記第一特徴データとに基づいて前記第二特徴データを復元する、
付記１に記載の情報処理装置。
【0184】
（付記４）
前記受信手段は、量子化された前記特徴差分データに基づく前記通信データを受信し、
前記特徴復元手段は、量子化された前記特徴差分データに対して、量子化される前の前記特徴差分データの確率分布に従ったサンプリングに基づく脱量子化を行う脱量子化手段を備える、
付記３に記載の情報処理装置。
前記受信手段は、量子化された前記特徴差分データに基づく前記通信データを受信し、
前記特徴復元手段は、量子化された前記特徴差分データに対して、量子化される前の前記特徴差分データの確率分布に従ったサンプリングに基づく脱量子化を行う脱量子化手段を備える、
付記３に記載の情報処理装置。
【0185】
（付記５）
前記受信手段は、第一中間特徴データと、前記第一中間特徴データからダウンサンプリングされたデータに基づいて算出される第二中間特徴データとに基づく前記通信データを受信し、
前記特徴復元手段は、受信された前記通信データに基づいて復元された前記第二中間特徴データからアップサンプリングされたデータに基づいて前記第一中間特徴データを復元する、
付記１から４の何れか一つに記載の情報処理装置。
前記受信手段は、第一中間特徴データと、前記第一中間特徴データからダウンサンプリングされたデータに基づいて算出される第二中間特徴データとに基づく前記通信データを受信し、
前記特徴復元手段は、受信された前記通信データに基づいて復元された前記第二中間特徴データからアップサンプリングされたデータに基づいて前記第一中間特徴データを復元する、
付記１から４の何れか一つに記載の情報処理装置。
【0186】
（付記６）
前記特徴復元手段は、前記第一中間特徴データからダウンサンプリングされたデータに基づいて前記第二中間特徴データを算出する処理の逆演算に該当する処理を用いて、前記第一中間特徴データを復元する、
付記５に記載の情報処理装置。
前記特徴復元手段は、前記第一中間特徴データからダウンサンプリングされたデータに基づいて前記第二中間特徴データを算出する処理の逆演算に該当する処理を用いて、前記第一中間特徴データを復元する、
付記５に記載の情報処理装置。
【0187】
（付記７）
前記特徴復元手段の処理と前記対象復元手段の処理との組み合わせが、前記通信データの送信元の装置における対象データからの特徴抽出処理の逆演算に該当する処理となるように、前記通信データの送信元の装置が行う処理の設定、前記特徴復元手段が行う処理の設定、または、前記対象復元手段が行う処理の設定の少なくとも何れかを動的に更新する設定更新手段をさらに備える、
付記６に記載の情報処理装置。
前記特徴復元手段の処理と前記対象復元手段の処理との組み合わせが、前記通信データの送信元の装置における対象データからの特徴抽出処理の逆演算に該当する処理となるように、前記通信データの送信元の装置が行う処理の設定、前記特徴復元手段が行う処理の設定、または、前記対象復元手段が行う処理の設定の少なくとも何れかを動的に更新する設定更新手段をさらに備える、
付記６に記載の情報処理装置。
【0188】
（付記８）
送信側装置と受信側装置とを備え、
前記送信側装置は、
対象データを取得するデータ取得手段と、
前記対象データの表現内容の特徴を示す特徴データを算出する特徴抽出手段と、
前記特徴データに基づいて通信データを生成する通信データ生成手段と、
前記通信データを送信する送信手段と、
を備え、
前記受信側装置は、
前記通信データを受信する受信手段と、
受信された前記通信データに基づいて前記特徴データを復元する特徴復元手段と、
復元された前記特徴データに基づいて前記対象データを復元する対象復元手段と、
復元された前記特徴データに基づいて前記対象データの表現内容に対する認識処理を行う認識手段と、
復元された前記対象データの表現内容と前記認識処理による認識結果とを示す情報を出力する出力手段と、
を備える情報処理システム。
送信側装置と受信側装置とを備え、
前記送信側装置は、
対象データを取得するデータ取得手段と、
前記対象データの表現内容の特徴を示す特徴データを算出する特徴抽出手段と、
前記特徴データに基づいて通信データを生成する通信データ生成手段と、
前記通信データを送信する送信手段と、
を備え、
前記受信側装置は、
前記通信データを受信する受信手段と、
受信された前記通信データに基づいて前記特徴データを復元する特徴復元手段と、
復元された前記特徴データに基づいて前記対象データを復元する対象復元手段と、
復元された前記特徴データに基づいて前記対象データの表現内容に対する認識処理を行う認識手段と、
復元された前記対象データの表現内容と前記認識処理による認識結果とを示す情報を出力する出力手段と、
を備える情報処理システム。
【0189】
（付記９）
前記通信データ生成手段は、前記特徴データを量子化する量子化手段を備え、
前記特徴復元手段は、量子化された前記特徴データに対して、量子化される前の前記特徴データの確率分布に従ったサンプリングに基づく脱量子化を行う脱量子化手段を備える、
付記８に記載の情報処理システム。
前記通信データ生成手段は、前記特徴データを量子化する量子化手段を備え、
前記特徴復元手段は、量子化された前記特徴データに対して、量子化される前の前記特徴データの確率分布に従ったサンプリングに基づく脱量子化を行う脱量子化手段を備える、
付記８に記載の情報処理システム。
【0190】
（付記１０）
前記データ取得手段は、第一時刻ステップにおける第一対象データと、前記第一時刻ステップよりも遅い時刻ステップである第二時刻ステップにおける第二対象データとを取得し、
前記特徴抽出手段は、前記第一対象データの表現内容の特徴を示す第一特徴データと、前記第二対象データの表現内容の特徴を示す第二特徴データとを算出し、
前記通信データ生成手段は、前記第一特徴データと前記第二特徴データとの相違を示す特徴差分データを算出し、算出した特徴差分データに基づいて前記通信データを生成し、
前記特徴復元手段は、受信された前記通信データに基づいて前記特徴差分データを復元し、復元された前記特徴差分データと、前記第一特徴データとに基づいて前記第二特徴データを復元する、
付記８に記載の情報処理システム。
前記データ取得手段は、第一時刻ステップにおける第一対象データと、前記第一時刻ステップよりも遅い時刻ステップである第二時刻ステップにおける第二対象データとを取得し、
前記特徴抽出手段は、前記第一対象データの表現内容の特徴を示す第一特徴データと、前記第二対象データの表現内容の特徴を示す第二特徴データとを算出し、
前記通信データ生成手段は、前記第一特徴データと前記第二特徴データとの相違を示す特徴差分データを算出し、算出した特徴差分データに基づいて前記通信データを生成し、
前記特徴復元手段は、受信された前記通信データに基づいて前記特徴差分データを復元し、復元された前記特徴差分データと、前記第一特徴データとに基づいて前記第二特徴データを復元する、
付記８に記載の情報処理システム。
【0191】
（付記１１）
前記通信データ生成手段は、前記特徴差分データを量子化する量子化手段を備え、
前記特徴復元手段は、量子化された前記特徴差分データに対して、量子化される前の前記特徴差分データの確率分布に従ったサンプリングに基づく脱量子化を行う脱量子化手段を備える、
付記１０に記載の情報処理システム。
前記通信データ生成手段は、前記特徴差分データを量子化する量子化手段を備え、
前記特徴復元手段は、量子化された前記特徴差分データに対して、量子化される前の前記特徴差分データの確率分布に従ったサンプリングに基づく脱量子化を行う脱量子化手段を備える、
付記１０に記載の情報処理システム。
【0192】
（付記１２）
前記送信側装置は、
量子化誤差を含む前記特徴データであるノイジー特徴データを記憶するノイジー特徴データ記憶手段
をさらに備え、
前記通信データ生成手段は、
量子化誤差を含む前記第一特徴データである第一ノイジー特徴データを前記ノイジー特徴データ記憶手段から読み出し、前記第一ノイジー特徴データと前記第二特徴データとの相違を示す前記特徴差分データを算出する特徴差分算出手段と、
前記第一ノイジー特徴データと前記第二特徴データとの相違を示す前記特徴差分データが量子化された後脱量子化されたデータと、前記第一ノイジー特徴データとに基づいて、量子化誤差を含む前記第二特徴データである第二ノイジー特徴データを算出し、前記ノイジー特徴データ記憶手段が記憶する前記ノイジー特徴データを前記第二ノイジー特徴データに更新する特徴復元手段と、
を備える、
付記１１に記載の情報処理システム。
前記送信側装置は、
量子化誤差を含む前記特徴データであるノイジー特徴データを記憶するノイジー特徴データ記憶手段
をさらに備え、
前記通信データ生成手段は、
量子化誤差を含む前記第一特徴データである第一ノイジー特徴データを前記ノイジー特徴データ記憶手段から読み出し、前記第一ノイジー特徴データと前記第二特徴データとの相違を示す前記特徴差分データを算出する特徴差分算出手段と、
前記第一ノイジー特徴データと前記第二特徴データとの相違を示す前記特徴差分データが量子化された後脱量子化されたデータと、前記第一ノイジー特徴データとに基づいて、量子化誤差を含む前記第二特徴データである第二ノイジー特徴データを算出し、前記ノイジー特徴データ記憶手段が記憶する前記ノイジー特徴データを前記第二ノイジー特徴データに更新する特徴復元手段と、
を備える、
付記１１に記載の情報処理システム。
【0193】
（付記１３）
前記特徴抽出手段は、第一中間特徴データと、前記第一中間特徴データからダウンサンプリングされたデータに基づいて算出される第二中間特徴データとを含む前記特徴データを算出し、
前記特徴復元手段は、受信された前記通信データに基づいて復元された前記第二中間特徴データからアップサンプリングされたデータに基づいて前記第一中間特徴データを復元する、
付記８から１２の何れか一つに記載の情報処理システム。
前記特徴抽出手段は、第一中間特徴データと、前記第一中間特徴データからダウンサンプリングされたデータに基づいて算出される第二中間特徴データとを含む前記特徴データを算出し、
前記特徴復元手段は、受信された前記通信データに基づいて復元された前記第二中間特徴データからアップサンプリングされたデータに基づいて前記第一中間特徴データを復元する、
付記８から１２の何れか一つに記載の情報処理システム。
【0194】
（付記１４）
前記特徴復元手段は、前記特徴抽出手段が前記第一中間特徴データからダウンサンプリングされたデータに基づいて前記第二中間特徴データを算出する処理の逆演算に該当する処理を用いて、前記第一中間特徴データを復元する、
付記１３に記載の情報処理システム。
前記特徴復元手段は、前記特徴抽出手段が前記第一中間特徴データからダウンサンプリングされたデータに基づいて前記第二中間特徴データを算出する処理の逆演算に該当する処理を用いて、前記第一中間特徴データを復元する、
付記１３に記載の情報処理システム。
【0195】
（付記１５）
前記特徴復元手段の処理と前記対象復元手段の処理との組み合わせが、前記通信データの送信元の装置における対象データからの特徴抽出処理の逆演算に該当する処理となるように、前記通信データの送信元の装置が行う処理の設定、前記特徴復元手段が行う処理の設定、または、前記対象復元手段が行う処理の設定の少なくとも何れかを動的に更新する設定更新手段をさらに備える、
付記１４に記載の情報処理システム。
前記特徴復元手段の処理と前記対象復元手段の処理との組み合わせが、前記通信データの送信元の装置における対象データからの特徴抽出処理の逆演算に該当する処理となるように、前記通信データの送信元の装置が行う処理の設定、前記特徴復元手段が行う処理の設定、または、前記対象復元手段が行う処理の設定の少なくとも何れかを動的に更新する設定更新手段をさらに備える、
付記１４に記載の情報処理システム。
【0196】
（付記１６）
対象データの表現内容の特徴を示す特徴データに基づく通信データを受信することと、
受信された前記通信データに基づいて前記特徴データを復元することと、
復元された前記特徴データに基づいて前記対象データを復元することと、
復元された前記特徴データに基づいて前記対象データの表現内容に対する認識処理を行うことと、
復元された前記対象データの表現内容と前記認識処理による認識結果とを示す情報を出力することと、
を含む情報処理方法。
対象データの表現内容の特徴を示す特徴データに基づく通信データを受信することと、
受信された前記通信データに基づいて前記特徴データを復元することと、
復元された前記特徴データに基づいて前記対象データを復元することと、
復元された前記特徴データに基づいて前記対象データの表現内容に対する認識処理を行うことと、
復元された前記対象データの表現内容と前記認識処理による認識結果とを示す情報を出力することと、
を含む情報処理方法。
【0197】
（付記１７）
送信側装置が、対象データを取得することと、
前記送信側装置が、前記対象データの表現内容の特徴を示す特徴データを算出することと、
前記送信側装置が、前記特徴データに基づいて通信データを生成することと、
前記送信側装置が、前記通信データを送信することと、
受信側装置が、前記通信データを受信することと、
前記受信側装置が、受信された前記通信データに基づいて前記特徴データを復元することと、
前記受信側装置が、復元された前記特徴データに基づいて前記対象データを復元することと、
前記受信側装置が、復元された前記特徴データに基づいて前記対象データの表現内容に対する認識処理を行うことと、
前記受信側装置が、復元された前記対象データの表現内容と前記認識処理による認識結果とを示す情報を出力することと、
を含む情報処理方法。
送信側装置が、対象データを取得することと、
前記送信側装置が、前記対象データの表現内容の特徴を示す特徴データを算出することと、
前記送信側装置が、前記特徴データに基づいて通信データを生成することと、
前記送信側装置が、前記通信データを送信することと、
受信側装置が、前記通信データを受信することと、
前記受信側装置が、受信された前記通信データに基づいて前記特徴データを復元することと、
前記受信側装置が、復元された前記特徴データに基づいて前記対象データを復元することと、
前記受信側装置が、復元された前記特徴データに基づいて前記対象データの表現内容に対する認識処理を行うことと、
前記受信側装置が、復元された前記対象データの表現内容と前記認識処理による認識結果とを示す情報を出力することと、
を含む情報処理方法。
【0198】
（付記１８）
コンピュータに、
対象データの表現内容の特徴を示す特徴データに基づく通信データを受信することと、
受信された前記通信データに基づいて前記特徴データを復元することと、
復元された前記特徴データに基づいて前記対象データを復元することと、
復元された前記特徴データに基づいて前記対象データの表現内容に対する認識処理を行うことと、
復元された前記対象データの表現内容と前記認識処理による認識結果とを示す情報を出力することと、
を実行させるためのプログラムを記録する記録媒体。
コンピュータに、
対象データの表現内容の特徴を示す特徴データに基づく通信データを受信することと、
受信された前記通信データに基づいて前記特徴データを復元することと、
復元された前記特徴データに基づいて前記対象データを復元することと、
復元された前記特徴データに基づいて前記対象データの表現内容に対する認識処理を行うことと、
復元された前記対象データの表現内容と前記認識処理による認識結果とを示す情報を出力することと、
を実行させるためのプログラムを記録する記録媒体。
【産業上の利用可能性】
【0199】
本発明は、情報処理装置、情報処理システム、情報処理方法および記録媒体に適用してもよい。
【符号の説明】
【0200】
１、２、６２０ 情報処理システム
１０、３０、６３０ 送信側装置
１１ 画像取得部
１２、６３２ 特徴抽出部
１３、３１、６３３ 通信データ生成部
１４ 量子化部
１５ 符号化部
１６、６３４ 送信部
２０、４０、６４０ 受信側装置
２１、６１１、６４１ 受信部
２２、４１、６１２、６４２ 特徴復元部
２３ 復号部
２４、３２ 脱量子化部
２５ 中間特徴生成部
２６ 取得画像復元部
２７、６１４、６４４ 認識部
２８、６１５、６４５ 出力部
３３ 特徴差分算出部
３４、４２ 特徴算出部
３５、４３ ノイジー特徴データ記憶部
１１１ 前処理部
１１２ 処理ステージ部
１１３、１３２、２３１ チャネル分割部
１２１ ダウンサンプリング部
１２２ 処理ブロック部
１３１ アフィンチャネル変換部
１３３、２３２、３６２ 畳み込み処理部
１３４ 乗算部
１３５、２５３ 加算部
１３６、２１２、２３５、３６５ チャネル結合部
２１１ 逆処理ステージ部
２２１ 逆処理ブロック部
２２２、２５２、３１２、３４２ アップサンプリング部
２３３、３６３ 減算部
２３４、３６４ 除算部
２３６ 逆アフィンチャネル変換部
２４１ 後処理部
２５１ 中間特徴処理部
２５４ 位置推定処理部
２５５ 分類処理部
３１１ 差分処理ステージ部
３４１ 復元処理ステージ部
３５１ 復元処理ブロック部
６１０ 情報処理装置
６１３、６４３ 対象復元部
６３１ データ取得部
１０、３０、６３０ 送信側装置
１１ 画像取得部
１２、６３２ 特徴抽出部
１３、３１、６３３ 通信データ生成部
１４ 量子化部
１５ 符号化部
１６、６３４ 送信部
２０、４０、６４０ 受信側装置
２１、６１１、６４１ 受信部
２２、４１、６１２、６４２ 特徴復元部
２３ 復号部
２４、３２ 脱量子化部
２５ 中間特徴生成部
２６ 取得画像復元部
２７、６１４、６４４ 認識部
２８、６１５、６４５ 出力部
３３ 特徴差分算出部
３４、４２ 特徴算出部
３５、４３ ノイジー特徴データ記憶部
１１１ 前処理部
１１２ 処理ステージ部
１１３、１３２、２３１ チャネル分割部
１２１ ダウンサンプリング部
１２２ 処理ブロック部
１３１ アフィンチャネル変換部
１３３、２３２、３６２ 畳み込み処理部
１３４ 乗算部
１３５、２５３ 加算部
１３６、２１２、２３５、３６５ チャネル結合部
２１１ 逆処理ステージ部
２２１ 逆処理ブロック部
２２２、２５２、３１２、３４２ アップサンプリング部
２３３、３６３ 減算部
２３４、３６４ 除算部
２３６ 逆アフィンチャネル変換部
２４１ 後処理部
２５１ 中間特徴処理部
２５４ 位置推定処理部
２５５ 分類処理部
３１１ 差分処理ステージ部
３４１ 復元処理ステージ部
３５１ 復元処理ブロック部
６１０ 情報処理装置
６１３、６４３ 対象復元部
６３１ データ取得部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】