特開 2024-145685 計算機システム及びデータの圧縮方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024145685

(43)【公開日】2024-10-15

(54)【発明の名称】計算機システム及びデータの圧縮方法

(51)【国際特許分類】

   H04N 19/20 20140101AFI20241004BHJP

   H04N 19/115 20140101ALI20241004BHJP

   H04N 19/167 20140101ALI20241004BHJP

【ＦＩ】

H04N19/20

H04N19/115

H04N19/167

【審査請求】未請求

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2023058140

(22)【出願日】2023-03-31

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＰＹＴＨＯＮ

(71)【出願人】

【識別番号】000005108

【氏名又は名称】株式会社日立製作所

(74)【代理人】

【識別番号】110001678

【氏名又は名称】藤央弁理士法人

(72)【発明者】

【氏名】成子 貴洋

(72)【発明者】

【氏名】圷 弘明

【テーマコード（参考）】

5C159

【Ｆターム（参考）】

5C159MB02

5C159TA60

5C159TB18

5C159TC34

5C159TD13

(57)【要約】

【課題】送信先との間で互換性が確保された圧縮データを効率的に生成する。
【解決手段】計算機システムは、多次元データの領域毎の重要度を示す推論データを出力するモデルと、推論データに基づいて、多次元データの領域毎のデータ量を決定するためのパラメタを含む圧縮レベル情報を生成する圧縮レベル情報生成部と、圧縮レベル情報を用いた非可逆圧縮により、圧縮データの送信先との間で互換性が確保されたデータフォーマットの圧縮データを生成する圧縮器と、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

計算機システムであって、
プロセッサ、前記プロセッサに接続される記憶装置、及び前記プロセッサに接続されるインタフェースを有する、少なくとも一つの計算機を備え、
多次元データの領域毎の重要度を示す推論データを出力するモデルと、
前記推論データに基づいて、前記多次元データの領域毎のデータ量を決定するためのパラメタを含む圧縮レベル情報を生成する圧縮レベル情報生成部と、
前記圧縮レベル情報を用いた非可逆圧縮により、圧縮データの送信先との間で互換性が確保されたデータフォーマットの前記圧縮データを生成する圧縮器と、を備えることを特徴とする計算機システム。

【請求項2】

請求項１に記載の計算機システムであって、
前記圧縮レベル情報生成部は、前記推論データに基づいて、重要な領域のデータ量が多く、かつ、重要ではない領域のデータ量が少ない前記圧縮データを生成するための前記圧縮レベル情報を生成することを特徴とする計算機システム。

【請求項3】

請求項２に記載の計算機システムであって、
前記モデルの計算コストが削減されるように前記多次元データを加工する前処理を実行する前処理部を有し、
前記モデルには、前記前処理部によって加工された前記多次元データが入力されることを特徴とする計算機システム。

【請求項4】

請求項３に記載の計算機システムであって、
前記多次元データを取得する取得元と、前記前処理を制御するための前処理パラメタとを対応づけたデータを管理する前処理パラメタ管理情報を保持し、
前記前処理部は、前記多次元データの前記取得元に基づいて、前記前処理パラメタ管理情報を参照して、前記前処理パラメタを取得し、
取得された前記前処理パラメタを用いて前記前処理を実行することを特徴とする計算機システム。

【請求項5】

請求項４に記載の計算機システムであって、
前記多次元データは動画像であり、
前記前処理は、前記多次元データの解像度を下げる処理であることを特徴とする計算機システム。

【請求項6】

請求項２に記載の計算機システムであって、
前記モデルは、検出対象の重要オブジェクトを指定する、画像及びアノテーションデータの組み、検出対象の重要オブジェクトを指定する自然言語、及びこれらの少なくともいずれかを変換して得たデータの少なくともいずれかから構成される重要オブジェクト記述情報を入力とし、Ｆｅｗ－ｓｈｏｔ学習によって生成されたモデルであり、
前記多次元データの領域毎に、前記重要オブジェクトが含まれる確率を出力することを特徴とする計算機システム。

【請求項7】

請求項６に記載の計算機システムであって、
前記多次元データを取得する取得元、着目する重要オブジェクトの種別、及び、前記重要オブジェクト記述情報を関連付けた重要オブジェクト指定データを管理するための重要オブジェクト指定情報を保持し、
前記多次元データの前記取得元に対応する前記重要オブジェクト指定データに含まれる前記重要オブジェクト記述情報が、前記モデルに入力されることを特徴とする計算機システム。

【請求項8】

請求項６に記載の計算機システムであって、
前記多次元データを取得する取得元、及び着目する重要オブジェクトの種別の関連を管理するための第１の情報と、重要オブジェクトの種別、及び、前記重要オブジェクト記述情報の関連付けを管理するための第２の情報とを保持し、
前記多次元データの前記取得元に対応する前記重要オブジェクトの種別を前記第１の情報から取得し、
取得した前記重要オブジェクトの種別に対応する前記重要オブジェクト記述情報を前記第２の情報から取得し、
取得した前記重要オブジェクト記述情報が、前記モデルに入力されることを特徴とする計算機システム。

【請求項9】

請求項８に記載の計算機システムであって、
前記第１の情報を設定するためのインタフェースと、
前記第２の情報を設定するためのインタフェースと、を提供することを特徴とする計算機システム。

【請求項10】

請求項９に記載の計算機システムであって、
前記重要オブジェクト記述情報の検証を指示するためのインタフェースと、
前記重要オブジェクト記述情報を取得するためのインタフェースと、を提供することを特徴とする計算機システム。

【請求項11】

請求項５に記載の計算機システムであって、
前記圧縮レベル情報は、前記圧縮器の圧縮単位毎に、圧縮の程度を表すパラメタを含むことを特徴とする計算機システム。

【請求項12】

計算機システムが実行するデータの圧縮方法であって、
前記計算機システムは、
プロセッサ、前記プロセッサに接続される記憶装置、及び前記プロセッサに接続されるインタフェースを有する、少なくとも一つの計算機を有し、
多次元データの領域毎の重要度を示す推論データを出力するモデルを保持し、
前記データの圧縮方法は、
前記計算機システムが、前記多次元データを前記モデルに入力することによって前記推論データを取得するステップと、
前記計算機システムが、前記推論データに基づいて、前記多次元データの領域毎のデータ量を決定するためのパラメタを含む圧縮レベル情報を生成するステップと、
前記計算機システムが、前記圧縮レベル情報を用いた非可逆圧縮により、圧縮データの送信先との間で互換性が確保されたデータフォーマットの前記圧縮データを生成するステップと、を含むデータの圧縮方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、データの容量を削減するための圧縮技術に関するものである。

【背景技術】

【0002】

データの蓄積及び転送に要するコスト削減の観点から、圧縮率の高い非可逆圧縮技術が求められる。さらに、これらの非可逆圧縮技術は、高圧縮率であることに加え、圧縮に要する計算コストの抑制の観点から、高効率性が求められる。また、非可逆圧縮技術によって生成される圧縮データは、互換性の観点から、一般的に普及したデータフォーマットに準拠していることが望ましい。

【0003】

非可逆圧縮技術の例として、動画データにおいては、標準化された圧縮技術である、Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＡＶＣ）、Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＨＥＶＣ）、Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＶＶＣ）等が知られている。

【0004】

また、オートエンコーダ等のＤｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ（ＤＮＮ）を用いることで、多次元データの領域毎の重要度に基づいて、ビット割当量を領域毎に制御し、圧縮データを生成する技術が知られている（特許文献１の段落０１６９から段落０１７８）。

【0005】

産業用途のデータにおいては、データに含まれる全ての情報を、圧縮伸長後に高い忠実度で再現する必要ない場合がある。例えば、ドローンが撮影した動画データを用いて、送電鉄塔を点検するケースでは、送電鉄塔が写る領域は高い画質が求められる一方、背景の草木等の領域は画質劣化が許容できる。特許文献１によれば、送電鉄塔等の重要なオブジェクトが存在する領域は高画質にし、その他の領域を高圧縮するようにビット割当量を制御することによって、用途に適合し、かつ、圧縮率が高いデータの生成を実現できる。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２０２０－１５５０７１号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

特許文献１が開示する技術は、高い圧縮率が期待できる。しかし、ＤＮＮがどのようなビット列を圧縮データとして生成するかは、学習により決定されるため、特許文献１が開示する非可逆圧縮技術によって生成される圧縮データは、ＡＶＣ等の一般に普及したデータフォーマットとの互換性がないという課題（課題１）がある。

【課題を解決するための手段】

【0008】

本願において開示される発明の代表的な一例を示せば以下の通りである。すなわち、計算機システムであって、プロセッサ、前記プロセッサに接続される記憶装置、及び前記プロセッサに接続されるインタフェースを有する、少なくとも一つの計算機を備え、多次元データの領域毎の重要度を示す推論データを出力するモデルと、前記推論データに基づいて、前記多次元データの領域毎のデータ量を決定するためのパラメタを含む圧縮レベル情報を生成する圧縮レベル情報生成部と、前記圧縮レベル情報を用いた非可逆圧縮により、圧縮データの送信先との間で互換性が確保されたデータフォーマットの前記圧縮データを生成する圧縮器とを備える。

【発明の効果】

【0009】

本発明によれば、送信先との間で互換性が確保された圧縮データを効率的に生成することができる。上記した以外の課題、構成及び効果は、以下の実施例の説明により明らかにされる。

【図面の簡単な説明】

【0010】

【図1】実施例１のシステムの概要を説明する図である。

【図2】実施例１のシステムの構成の一例を示す図である。

【図3】実施例１の前処理パラメタ管理情報のデータ構造の一例を示す図である。

【図4】実施例１の重要オブジェクト指定情報のデータ構造の一例を示す図である。

【図5】実施例１の圧縮部が実行する重要オブジェクト指定データの登録処理の一例を説明するフローチャートである。

【図6】実施例１の圧縮部が提供する重要オブジェクト指定インタフェースの一例を示す図である。

【図7】実施例１の圧縮部が実行する圧縮処理の一例を説明するフローチャートである。

【図8】実施例１の圧縮部が実行する前処理の一例を説明するフローチャートである。

【図9】実施例１の圧縮部が実行する圧縮レベル情報生成処理の一例を説明するフローチャートである。

【図10】実施例２の重要オブジェクト指定情報のデータ構造の一例を示す図である。

【図11】実施例２の圧縮部が提供する重要オブジェクト指定インタフェースの一例を示す図である。

【図12A】実施例２の重要オブジェクト指定情報のデータ構造の別の一例を示す図である。

【図12B】実施例２の重要オブジェクト指定情報のデータ構造の別の一例を示す図である。

【図13A】実施例２の圧縮部が提供する重要オブジェクト指定インタフェースの別の一例を示す図である。

【図13B】実施例２の圧縮部が提供する重要オブジェクト指定インタフェースの別の一例を示す図である。

【発明を実施するための形態】

【0011】

なお、特許文献１に記載の技術では、前述した課題の他に、次のような課題がある。（課題２）重要オブジェクトの定義及び領域毎のビット割当量は、ＤＮＮの学習パラメタとしてハードコードされているため、重要オブジェクトの定義を変更する場合、重要オブジェクトを示す教師データを含む学習データが大量に必要となり、また、再学習に時間がかかる。（課題３）ＤＮＮは、高解像度な元データの入力を受け付け、ビット割当量の決定及び圧縮データの生成を実行するため、圧縮速度が遅い。例えば、ＤＮＮとして畳み込みニューラルネットワークを用いる場合、一般に、その計算量は、入力の解像度に比例して増加する。したがって、Ｆｕｌｌ－ＨＤ及び４Ｋ等の高解像度なデータを処理するためには多くの時間を要する。

【0012】

以下、３つの課題を解決する、本発明の実施例を図面を用いて説明する。ただし、本発明は以下に示す実施例の記載内容に限定して解釈されるものではない。本発明の思想ないし趣旨から逸脱しない範囲で、その具体的構成を変更し得ることは当業者であれば容易に理解される。

【0013】

以下に説明する発明の構成において、同一又は類似する構成又は機能には同一の符号を付し、重複する説明は省略する。

【実施例0014】

まず、実施例１のシステムの概要について、図１を用いて説明する。図１は、実施例１のシステムの概要を説明する図である。

【0015】

実施例１のシステムは、データ生成源１００、重要オブジェクト指定インタフェース１０１、及び圧縮部１０２から構成される。

【0016】

データ生成源１００は、圧縮対象のデータを生成する主体であり、例えば、動画データを生成するイメージセンサである。本実施例では、データ生成源１００が動画データを生成するイメージセンサである場合を例に説明する。

【0017】

なお、データ生成源１００及び生成されるデータは、これに限定されるものではなく、例えば、静止画データを生成するイメージセンサ、１次元の時系列データを生成する振動センサ等であってもよい。また、データ生成源１００は、センサに限られるものではなく、動画データ及び静止画データを生成する、Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ等のソフトウェアであってもよい。また、データ生成源１００のデータは、例えば、動画データの各フレームに対してＳｅｍａｎｔｉｃ Ｓｅｇｍｅｎｔａｔｉｏｎの機械学習モデルを適用して得られるＳｅｇｍｅｎｔａｔｉｏｎ Ｍａｐのように、センサ及びソフトウェア等が生成したデータを加工して得られるデータであってもよい。また、データ生成源１００のデータは、記録デバイスに格納された、動画ファイル等であってもよい。また、データ生成源１００は複数あってもよい。

【0018】

圧縮部１０２は、データ生成源１００が生成したデータを圧縮するモジュールである。圧縮部１０２は、動画のフレーム毎に圧縮データ１０３を生成してもよいし、所定の数のフレーム毎に圧縮データ１０３を生成してもよい。圧縮部１０２は、動画データ前処理部１２０、重要オブジェクト検出器１２１、圧縮レベル情報生成部１２２、及びエンコーダ１２３を含む。

【0019】

圧縮部１０２は、圧縮対象の動画データを取得した場合、当該データのフレーム（以下、元フレーム）を動画データ前処理部１２０に入力する。動画データ前処理部１２０は、入力された元フレームに対して、ダウンスケール等の前処理を実行し、解像度等が変更された加工フレームを生成する。

【0020】

重要オブジェクト検出器１２１は、重要オブジェクト指定情報２３２（図４を参照）に格納される重要オブジェクト指定データと、動画データ前処理部１２０によって生成された加工フレームとを入力として、加工フレーム内の各ピクセルについて、ピクセルが重要オブジェクトである確率を算出する。

【0021】

重要オブジェクト検出器１２１は、例えば、Ｆｅｗ－ｓｈｏｔ学習、又は、Ｚｅｒｏ－ｓｈｏｔ学習の技術を用いた、Ｓｅｍａｎｔｉｃ Ｓｅｇｍｅｎｔａｔｉｏｎの機械学習モデルである。

【0022】

圧縮レベル情報生成部１２２は、重要オブジェクト検出器１２１の処理結果に基づいて、エンコーダ１２３の圧縮単位毎に、圧縮レベル情報を計算する。

【0023】

エンコーダ１２３は、圧縮レベル情報生成部１２２によって生成された圧縮レベル情報に基づいて元フレームを圧縮し、圧縮データ１０３を生成する。エンコーダ１２３は、例えば、ＡＶＣ等の標準化された動画コーデックのエンコーダである。なお、エンコーダ１２３は、前述したソフトウェアエンコーダに限定されず、ＨＥＶＣのエンコーダであってもよいし、ハードウェアエンコーダであってもよい。

【0024】

ここで、圧縮レベル情報は、領域毎のビット割当量を制御するエンコーダ１２３のパラメタである。エンコーダ１２３がＡＶＣに準拠したエンコーダである場合、エンコーダ１２３の圧縮単位はマクロブロックであり、圧縮レベル情報は、マクロブロック毎のＱｕａｎｔｉｚａｔｉｏｎ Ｐａｒａｍｅｔｅｒの値（ＱＰ値）、マクロブロック毎のＱＰ値の差分情報、マクロブロック毎の画質の強調度合いを指定する情報等である。この場合、圧縮レベル情報生成部１２２は、例えば、重要オブジェクト検出器１２１の出力に対して、マクロブロック毎に確率の最大値を計算し、最大値が所定の閾値よりも大きいマクロブロックに対して所定のＱＰ値を割り当て、その他のマクロブロックに対して相対的に大きい所定のＱＰ値を割り当てたＱＰ値の空間分布情報を、圧縮レベル情報として生成する。なお、前述の圧縮レベル情報は一例であって、これらに限定されるものではない。

【0025】

重要オブジェクト指定情報２３２は、データ生成源１００及び重要オブジェクトの種類の組合せ毎に、重要オブジェクトを含む画像及びアノテーションデータのペアを管理する情報である。図１に示す重要オブジェクト指定情報２３２には、送電鉄塔がデータ生成源Ａの重要オブジェクトとして指定された重要オブジェクト指定データが格納されている。当該重要オブジェクト指定データには、データ生成源Ａの識別子及びユーザが指定した送電鉄塔の種別を示す識別子に対して、送電鉄塔が写る画像と、当該画像内の送電鉄塔が存在する領域を表すアノテーションデータと対応づけられている。１つのデータ生成源１００に対して複数の重要オブジェクトが指定されていてもよいし、１つの重要オブジェクトを定義する複数の重要オブジェクト指定データが登録されてもよい。重要オブジェクト指定データは、重要オブジェクト指定インタフェース１０１を介して、ユーザが設定する。

【0026】

図２を用いて実施例１のシステムの構成を説明する。図２は、実施例１のシステムの構成の一例を示す図である。

【0027】

計算機２００は、圧縮部１０２を実現するハードウェアであり、例えば、演算装置２１０、スイッチ２１１、メモリ２１２、フロントエンドインタフェース２１３、バックエンドインタフェース２１４を備える。

【0028】

フロントエンドインタフェース２１３は、データ生成源１００及び管理端末２０１と接続するためのインタフェースである。バックエンドインタフェース２１４は、ストレージ装置２０２及びネットワーク２０３と接続するためのインタフェースである。

【0029】

演算装置２１０は、計算機２００全体を制御する装置であり、例えば、ＣＰＵ （Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）のような汎用演算装置、ＧＰＵ（Ｇｒａｐｈｉｃａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）及びＦＰＧＡ （Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等のようなアクセラレータ、又はＨＥＶＣ等の標準コーデックのハードウェアエンコーダ／デコーダであり、前述したものを組み合わせもよい。演算装置２１０は、スイッチ２１１を介して、メモリ２１２等と接続する。

【0030】

メモリ２１２は、演算装置２１０が実行するプログラム及びプログラムが使用する情報を格納する。また、メモリ２１２はワークエリアとしても用いられる。実施例１のメモリ２１２には、圧縮部１０２を実現する圧縮プログラム２３０、前処理パラメタ管理情報２３１、及び重要オブジェクト指定情報２３２を格納する。なお、メモリ２１２には、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）等のプログラム及び情報が格納されてもよい。

【0031】

ストレージ装置２０２は、Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ （ＨＤＤ）及びＳｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ （ＳＳＤ）により構成されたブロックデバイスでもよいし、ファイルストレージでもよいし、コンテンツストレージでもよいし、ストレージシステム上に構築されたボリュームでもよいし、その他、データを蓄積する任意の方法で実現されてもよい。また、圧縮データを格納する必要がない場合、ストレージ装置２０２は無くてもよい。

【0032】

ネットワーク２０３は、Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ （ＬＡＮ）及びインターネット等の通信網である。圧縮部１０２は、圧縮データ１０３を、ネットワーク１０６を介して他の装置に送信できる。なお、圧縮データ１０３を他の装置に送信する必要がない場合、ネットワーク２０３は無くてもよい。

【0033】

なお、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等のハードウェアを相互に接続したハードウェアを用いて圧縮部１０２を実現してもよいし、圧縮部１０２の機能のいくつかが、ＡＳＩＣ （Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）及びＦＰＧＡとして、１つの半導体素子を用いて実現してもよい。また、仮想化技術によって実現されるＶＭ（Ｖｉｒｔｕａｌ Ｍａｃｈｉｎｅ）を用いて圧縮部１０２を実現してもよい。また、ここに示した以外の構成要素が追加されてもよい。

【0034】

なお、データ生成源１００、管理端末２０１、計算機２００、及びストレージ装置２０２は、異なるハードウェア装置あってもよいし、同一のコンピュータで動作するＶＭであってもよいし、同一のＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）上で動作する異なるコンテナであってもよいし、同一のＯＳ上で動作するアプリケーションであってもよい。また、複数の実装形態を組み合わせであってもよい。例えば、データ生成源１００はイメージセンサであり、圧縮部１０２はイメージセンサに接続され、演算装置２１０を含むエッジデバイスであり、管理端末２０１はユーザが操作可能な端末であり、ストレージ装置２０２はＨＤＤである。

【0035】

図３は、実施例１の前処理パラメタ管理情報２３１のデータ構造の一例を示す図である。

【0036】

前処理パラメタ管理情報２３１は、例えば、テーブル形式のデータであり、データ生成源３０１、ダウンスケール係数３０２、及びダウンスケールアルゴリズム３０３を含むエントリを格納する。なお、エントリに含まれるフィールドは一例であってこれに限定されない。

【0037】

データ生成源３０１は、データ生成源１００の識別子を格納するフィールドである。データ生成源１００の識別子は、例えば、ユーザによって命名された文字列、データ生成源１００に割り当てられたＭｅｄｉａ Ａｃｃｅｓｓ Ｃｏｎｔｒｏｌ（ＭＡＣ）アドレス若しくはＩｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ（ＩＰ）アドレス、又は、データ生成源１００を識別可能な任意の符号である。なお、データ生成源１００が自明である場合、エントリにはデータ生成源３０１が含まれなくてもよい。

【0038】

ダウンスケール係数３０２及びダウンスケールアルゴリズム３０３は、元フレームの変換を制御するためのパラメタを格納するフィールドである。

【0039】

図３に示す前処理パラメタ管理情報２３１には、Ｂｉｌｉｎｅａｒアルゴリズムを用いて、データ生成源Ａの元フレームの縦横の長さを１／１６に縮小する前処理を定義するエントリが設定されている。

【0040】

なお、前処理パラメタ管理情報２３１は、管理端末２０１を介して、ユーザが設定してもよいし、圧縮部１０２の起動時又は新たなデータ生成源１００の追加時に、演算装置２１０が自動的に設定してもよいし、その他の方法で設定してもよい。例えば、データ生成源１００の追加時に、演算装置２１０が、エンコーダ１２３のコーデックを確認し、確認結果に基づいて、ダウンスケール係数を決定することができる。例えば、エンコーダ１２３のコーデックがＡＶＣであり、１６ピクセル×１６ピクセルのマクロブロック単位で、圧縮レベル情報をＱＰ値により指定できる場合、エンコーダ１２３がＡＶＣのエンコーダであるという情報をもとに、演算装置２１０はダウンスケール係数３０２に１／１６を設定することができる。

【0041】

なお、ダウンスケール係数は、大きいほど、処理時間が増加するが、重要オブジェクト検出器１２１の精度は改善するというトレードオフが存在するため、マクロブロックの一片の長さの逆数とは異なる値を設定してもよい。また、ダウンスケール係数は、定数である必要はなく、フレーム毎に動的に変更してもよい。例えば、まずはダウンスケール係数が１（つまり、解像度は変更しない）で処理を行い、重要オブジェクト検出器１２１で検出された重要オブジェクトの面積が大きければ、重要オブジェクトは比較的大きいサイズで写っており、ダウンスケールしても検出に大きな影響がないと判定して、次のフレームではダウンスケール係数を１／２に減少させる、といった方法で、最小でマクロブロックの一片の長さの逆数になるまで、ダウンスケール係数を動的に調整してもよい。また、前記の調整処理を、所定のフレーム間隔で再実施してもよい。また、動的に調整する際の値のレンジを、前処理パラメタ管理情報２３１で管理してもよい。

【0042】

なお、前処理パラメタ管理情報２３１の各種フィールドの設定方法はこれに限られるものではない。

【0043】

なお、前処理パラメタ管理情報２３１は、フレームの変換に関わるパラメタを管理できるデータ構造であればよく、ＸＭＬ（Ｅｘｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）、ＹＡＭＬ（ＹＡＭＬ Ａｉｎ’ｔ ａ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）、ハッシュテーブル、及び木構造等、テーブル以外のデータ構造でもよい。

【0044】

図４は、実施例１の重要オブジェクト指定情報２３２のデータ構造の一例を示す図である。

【0045】

重要オブジェクト指定情報２３２は、例えば、テーブル形式のデータであり、データ生成源４０１、オブジェクト種類４０２、画像４０３、及びアノテーション４０４を含むエントリを格納する。なお、エントリに含まれるフィールドは一例であってこれに限定されない。

【0046】

データ生成源４０１は、データ生成源１００の識別子を格納するフィールドであり、データ生成源３０１と同一のものである。

【0047】

オブジェクト種類４０２は、重要オブジェクトの種類を表す識別子を格納するフィールドである。識別子は、例えば、ユーザが命名した文字列であるが、これに限られるものではない。また、１種類の重要オブジェクトに対して、１つの重要オブジェクト指定データを設定する場合、エントリにオブジェクト種類４０２が含まれなくてもよい。

【0048】

画像４０３及びアノテーション４０４は、重要オブジェクトを指定するための画像及びアノテーションデータを格納するフィールドである。例えば、画像４０３には、重要オブジェクトが含まれる画像が格納され、アノテーション４０４には、画像の中の重要オブジェクトが存在する領域を示すモノクロ画像（アノテーションデータ）が格納される。なお、アノテーションデータは前述したものに限定されない。例えば、重要オブジェクトが存在する領域を表すＢｏｕｎｄｉｎｇ Ｂｏｘの座標及びサイズを格納したＸＭＬデータであってもよいし、その他任意のデータフォーマットのデータでもよい。

【0049】

ここで、重要オブジェクト指定情報２３２に格納される情報の具体例を図４を用いて説明する。図４に示す重要オブジェクト指定情報２３２には、識別子「Ａ」が割り当てられたデータ生成源１００に対して、２種類の重要オブジェクト「ｏｂｊ１」、「ｏｂｊ２」に関する重要オブジェクト指定データが格納される。識別子「ｏｂｊ１」が割り当てられた重要オブジェクトは、送電鉄塔であり、２つの重要オブジェクト指定データ４１１、４１２が設定される。重要オブジェクト指定データ４１１、４１２の画像４０３には、送電鉄塔が含まれる画像が格納され、アノテーション４０４には、画像の中の送電鉄塔が存在する領域を表すモノクロ画像が格納される。識別子「ｏｂｊ２」が割り当てられた重要オブジェクトは、風力発電機であり、１つの重要オブジェクト指定データ４１３が設定される。重要オブジェクト指定データ４１３の画像４０３には風力発電機を含む画像が格納され、アノテーション４０４には画像の中の風力発電機が存在する領域を表すモノクロ画像が格納される。

【0050】

なお、重要オブジェクト指定情報２３２のデータ構造は、テーブル形式のデータに限定されず、ＸＭＬ、ＹＡＭＬ、ハッシュテーブル、及び木構造等、テーブル以外のデータ構造でもよい。

【0051】

なお、重要オブジェクト指定情報２３２は、データ生成源及びオブジェクト種類の対応付けを管理する情報と、オブジェクト種類と、画像及びアノテーションデータとの対応付けを管理する情報とに分けてもよい。このように管理することによって、重要オブジェクトの定義情報を、複数のデータ生成源１００で共有することができる。

【0052】

次に、図５から図９を用いて圧縮部１０２が実行する処理を説明する。

【0053】

図５は、実施例１の圧縮部１０２が実行する重要オブジェクト指定データの登録処理の一例を説明するフローチャートである。図６は、実施例１の圧縮部１０２が提供する重要オブジェクト指定インタフェース１０１の一例を示す図である。

【0054】

圧縮部１０２として機能する演算装置２１０は、フロントエンドインタフェース２１３を介して、管理端末２０１からリクエストを受信した場合、以下で説明する処理を開始する。なお、処理の実行契機は、前述したものに限定されず、計算機２００の起動等でもよい。

【0055】

演算装置２１０は、フロントエンドインタフェース２１３を介して、管理端末２０１に、重要オブジェクト指定データを設定するための重要オブジェクト指定インタフェース１０１を提供する（ステップＳ５０１）。ここで、図６を用いて重要オブジェクト指定インタフェース１０１について説明する。

【0056】

重要オブジェクト指定インタフェース１０１は、管理端末２０１の表示装置（図示省略）に表示される。ユーザは、管理端末２０１の入力装置（図示省略）を用いて、重要オブジェクト指定インタフェース１０１を操作する。

【0057】

重要オブジェクト指定インタフェース１０１にはテーブル６００が表示される。テーブル６００は、データ生成源６１１、オブジェクト種類６１２、画像６１３、及びアノテーション６１４を含むエントリ（重要オブジェクト指定データ）の確認及び登録を行うためのテーブルである。データ生成源６１１、オブジェクト種類６１２、画像６１３、及びアノテーション６１４は、データ生成源４０１、オブジェクト種類４０２、画像４０３、及びアノテーション４０４と同一のフィールドである。

【0058】

なお、テーブル６００には、重要オブジェクト指定情報２３２に登録されている重要オブジェクト指定データが表示されてもよい。図６のエントリ６２１、６２２、６２３は、重要オブジェクト指定情報２３２に登録されている重要オブジェクト指定データである。

【0059】

削除ボタン６０１は、テーブル６００からエントリを削除するための操作ボタンである。ユーザが削除ボタン６０１を操作した場合、重要オブジェクト指定情報２３２から、当該エントリに対応する重要オブジェクト指定データが削除される。なお、重要オブジェクト指定データの削除は、削除ボタン６０１の操作以外の操作によって削除されてよい。

【0060】

追加ボタン６０２は、テーブル６００にエントリを追加するための操作ボタンである。なお、末尾のエントリに値が設定された後、自動的にエントリが追加されるようにしてもよい。この場合、追加ボタン６０２は不要である。

【0061】

エントリ６２４は、追加ボタン６０２を操作することによって追加されたエントリである。重要オブジェクトの識別子は、ユーザが直接入力してもよいし、ドロップダウンリストを表示し、ユーザが選択できるようにしてもよい。ドロップダウンリストには、既存のオブジェクト種類の識別子と「新規」とが含まれる。「新規」が選択された場合、演算装置２１０が自動的に識別子を生成し、割り当てる。画像は、ユーザが直接ファイルパスを入力してもよいし、ユーザにフィールドに表示されるＢｒｏｗｓボタン等の操作ボタンを操作させ、選択させてもよい。アノテーションデータは、ユーザが予め生成したアノテーションデータを直接入力してもよいし、ユーザにフィールドに表示されるＢｒｏｗｓボタン等の操作ボタンを操作させ、選択させてもよい。また、アノテーション６１４がクリックされた場合に、管理端末２０１がアノテーションデータの描写画面を表示し、当該画面上で、重要オブジェクトが存在する領域を表すアノテーションデータをユーザに描写させてもよい。

【0062】

設定ボタン６０３は、テーブル６００の内容を重要オブジェクト指定情報２３２に登録するための操作ボタンである。ユーザが設定ボタン６０３を操作した場合、管理端末２０１は、テーブル６００を含む登録要求を圧縮部１０２に送信する。圧縮部１０２は、フロントエンドインタフェース２１３を介して登録要求を受信し、テーブル６００の内容にしたがって重要オブジェクト指定情報２３２を更新する。

【0063】

検証ボタン６０４は、テーブル６００の内容を検証するための操作ボタンである。ユーザが検証ボタン６０４を操作した場合、管理端末２０１は、テーブル６００の検証要求を圧縮部１０２に送信する。圧縮部１０２は、フロントエンドインタフェース２１３を介して検証要求を受信し、テーブル６００の内容を検証し、結果を管理端末２０１に応答する。管理端末２０１は、結果をフィールド６０５に表示する。例えば、圧縮部１０２は、画像６１３を重要オブジェクト検出器１２１で推論し、その結果の、アノテーション６１４に対する誤差を評価することで、テーブル６００の内容が十分であるかを検証し、結果をＯＫ又はＮＧの２値で応答することができる。ただし、検証処理の具体的内容はこれに限られるものではない。また、検証処理は管理端末２０１で実行されてもよい。また、検証結果はＯＫ又はＮＧの２値に限られるものではなく、画像６１３を重要オブジェクト検出器１２１で推論した結果を可視化した画像をフィールド６０５に表示してもよいし、その他任意の情報であってよい。

【0064】

以上が重要オブジェクト指定インタフェース１０１の説明である。なお、重要オブジェクト指定インタフェース１０１は、図６に示すものに限定されず。図示しない他の情報が表示されてもよいし、異なる操作方法でもよいし、デザインが異なってもよい。図５の説明に戻る。

【0065】

演算装置２１０は、重要オブジェクト指定インタフェース１０１を介して入力された重要オブジェクト指定データを取得し（ステップＳ５０２）、当該データに基づいて重要オブジェクト指定情報２３２を更新する（ステップＳ５０３）。その後、演算装置２１０は重要オブジェクト指定データの登録処理を終了する。

【0066】

図７は、実施例１の圧縮部１０２が実行する圧縮処理の一例を説明するフローチャートである。

【0067】

圧縮部１０２として機能する演算装置２１０は、例えば、フロントエンドインタフェース２１３を介して、新たな元フレームを受信した場合、以下で説明する圧縮処理を開始する。

【0068】

演算装置２１０は、取得した元フレームに対して前処理を実行する（ステップＳ７０１）。前処理の詳細は図８を用いて説明する。前処理では、例えば、ダウンスケール等の前処理を実行することによって加工フレームが生成される。

【0069】

演算装置２１０は、重要オブジェクト指定情報２３２から、元フレームのデータ生成源１００に関連する重要オブジェクト指定データを抽出する（ステップＳ７０２）。

【0070】

例えば、図４に示すデータ構造の重要オブジェクト指定情報２３２の場合、演算装置２１０は、データ生成源４０１に、元フレームのデータ生成源１００の識別子が格納されるエントリ（重要オブジェクト指定データ）を抽出する。データ生成源１００の識別子が「Ａ」である場合、エントリ４１１、４１２、４１３が抽出される。

【0071】

演算装置２１０は、重要オブジェクトのループ処理を開始する（ステップＳ７０３）。具体的には、演算装置２１０は、ステップＳ７０２で抽出された重要オブジェクト指定データに基づいて、重要オブジェクトの種類を特定し、特定された重要オブジェクトの種類の中から一つの種類のオブジェクトを選択する。例えば、ステップＳ７０２において、エントリ４１１、４１２、４１３が抽出された場合、演算装置２１０は、「ｏｂｊ１」及び「ｏｂｊ２」の中から１種類を選択する。この場合、２回のループ処理が実行される。

【0072】

演算装置２１０は、選択された重要オブジェクトの種別に関連する重要オブジェクト指定データから画像及びアノテーションデータを取得する（ステップＳ７０４）。「ｏｂｊ１」のループ処理の場合、演算装置２１０は、エントリ４１１、４１２の各々から画像及びアノテーションデータを取得する。

【0073】

演算装置２１０は、取得した画像及びアノテーションデータの組みをサポートセットとし、加工フレームをクエリとして重要オブジェクト検出器１２１の推論を実行する（ステップＳ７０５）。

【0074】

重要オブジェクト検出器１２１は、Ｆｅｗ－ｓｈｏｔ学習の技術を活用したＳｅｍａｎｔｉｃ Ｓｅｇｍｅｎｔａｔｉｏｎの深層学習モデルである場合、クエリ画像とサポートセットを入力として、クエリ画像の各領域について、サポートセットにより指定された重要オブジェクトが存在する確率を表す２次元テンソルを出力する。サポートセットには、画像及びアノテーションデータの組みが一つ以上含まれる。サポートセットに含まれる画像及びアノテーションデータの組みの数が多い場合、検出精度が高い。

【0075】

なお、重要オブジェクト検出器１２１はこれに限定させるものではなく、例えば、Ｆｅｗ－ｓｈｏｔ学習の技術を活用した、Ｏｂｊｅｃｔ ｄｅｔｅｃｔｉｏｎの深層学習モデルでもよい。

【0076】

また、重要オブジェクト検出器１２１の全体若しくは一部、又は、重要オブジェクト検出器１２１に追加した処理に対して、Ｆｉｎｅ－ｔｕｎｉｎｇ等の再学習処理を行ってもよい。例えば、推論処理（ステップＳ７０５）の直前のステップや、重要オブジェクト指定データの登録処理などにおいて、サポートセットを教師データとして重要オブジェクト検出器１２１のパラメタを再学習することができる。なお、Ｆｅｗ－ｓｈｏｔ学習の技術を活用したＳｅｍａｎｔｉｃ Ｓｅｇｍｅｎｔａｔｉｏｎの深層学習モデルを再学習することで、かかる再学習処理と、サポートセットによる指定とを組み合わせてもよい。また、再学習したパラメタを重要オブジェクト指定データとして管理してもよい。

【0077】

ステップＳ７０６では、特定された全ての種類の重要オブジェクトについて処理が完了したか否かが判定される。特定された全ての種類の重要オブジェクトについて処理が完了していない場合、演算装置２１０はステップＳ７０３に戻り、同様の処理を実行する。

【0078】

特定された全ての種類の重要オブジェクトについて処理が完了した場合、演算装置２１０は、各種重要オブジェクトの推論結果を用いて、圧縮レベル情報生成処理を実行する（ステップＳ７０７）。圧縮レベル情報生成処理の詳細は図９を用いて説明する。

【0079】

演算装置２１０は、元フレーム及び圧縮レベル情報に基づいて圧縮データを生成する（ステップＳ７０８）。その後、演算装置２１０は、バックエンドインタフェース２１４を介して、ストレージ装置２０２又はネットワーク２０３を介して接続される装置に送信し、処理を終了する。

【0080】

図８は、実施例１の圧縮部１０２が実行する前処理の一例を説明するフローチャートである。

【0081】

演算装置２１０は、前処理パラメタ管理情報２３１から、受信した元フレームのデータ生成源１００に対応するエントリに格納されるパラメタを取得する（ステップＳ８０１）。

【0082】

演算装置２１０は、取得したパラメタに基づいて、元フレームを加工フレームに変換し（ステップＳ８０２）、前処理を終了する。

【0083】

例えば、図４に示す前処理パラメタ管理情報２３１の場合、データ生成源Ａから受信したフレームは、Ｂｉｌｉｎｅａｒアルゴリズムに基づいて、縦横の長さが１／１６に縮小される。

【0084】

図９は、実施例１の圧縮部１０２が実行する圧縮レベル情報生成処理の一例を説明するフローチャートである。

【0085】

演算装置２１０は、重要オブジェクト検出器１２１による各種重要オブジェクトの推論結果に対して、要素毎に最大値を計算する（ステップＳ９０１）。

【0086】

例えば、図３に示す前処理パラメタ管理情報２３１と、図４に示す重要オブジェクト指定情報２３２の場合、重要オブジェクト検出器１２１は、各領域が重要オブジェクトである確率を表す２次元テンソルを、元フレームに対して縦横の長さが１／１６となる解像度で出力する。確率の２次元テンソルは、「ｏｂｊ１」及び 「ｏｂｊ２」それぞれについて算出されるため、ステップＳ９０１では、これらの要素毎の最大値をとることで、２次元テンソルの各要素が表す領域について、それが１以上の重要オブジェクトのいずれかである確率を求める。なお、複数のオブジェクトに対する確率の２次元テンソルを、１つの２次元テンソルに集約するための演算は、最大値の計算に限られるものではなく、加算等であってもよい。

【0087】

演算装置２１０は、エンコーダ１２３の圧縮単位毎に、２次元テンソルの最大値を算出し、新たな２次元テンソルを算出する（ステップＳ９０２）。

【0088】

例えば、図３に示す前処理パラメタ管理情報２３１、図４に示す重要オブジェクト指定情報２３２、エンコーダ１２３がマクロブロックサイズ１６×１６のＡＶＣである場合、ステップＳ９０１で算出した２次元テンソルは、元フレームにおける、ＡＶＣのマクロブロックの個数に１対１対応する解像度となっているため、ステップＳ９０２では単なる恒等変換となる。例えば、前処理パラメタ管理情報２３１のダウンスケール係数３０２が１／４である場合、演算装置２１０は、４×４のタイル毎に、ステップＳ９０１で算出した２次元テンソルに対して、Ｍａｘ ｐｏｏｌｉｎｇを適用することで、２次元テンソルの各要素が、圧縮単位であるマクロブロックに１対１対応するように変換する。なお、ステップＳ９０２における集約処理は、最大値の計算に限られるものではなく、平均値の計算等であってもよい。

【0089】

演算装置２１０は、ステップＳ９０２で算出した２次元テンソルに基づいて、エンコーダ１２３の圧縮レベル情報を生成する（ステップＳ９０３）。

【0090】

例えば、エンコーダ１２３がＡＶＣのエンコーダである場合、演算装置２１０は、２次元テンソルの各要素について、その値が所定の閾値（例えば、２次元テンソルの各要素値域が０－１の場合、０．５を閾値とする）を下回る場合、その要素に対応するマクロブロックのＱＰ値として所定の値を割り当て、閾値以上である場合、その要素に対応するマクロブロックのＱＰ値として相対的に小さい所定の値を割り当てた、ＱＰ値のマップを生成する。なお、閾値及び割り当てるＱＰ値は、管理端末２０１を介して、ユーザが指定してもよいし、圧縮レベル情報生成部１２２に予め設定されてもよいし、ユーザが指定した目標の画質及びビットレートとなるように、演算装置２１０が調整した値を用いてもよい。また、これらの値は、データ生成源１００及びオブジェクト毎に異なる値でもよい。

【0091】

なお、ステップＳ９０２で算出した２次元テンソルを圧縮レベル情報に変換する方法は、これに限られるものではない。例えば、重要オブジェクトが存在する領域の画質に関する、レート歪み性能が改善するように、圧縮単位毎にＱＰ値及び閾値を制御してもよい。以下に、かかる制御を二例を説明する。

【0092】

まず、第１の例を説明する。まず、マクロブロック毎にＱＰ値を変えた場合のレート歪み曲線を得る。これは、実際にマクロブロック毎にＱＰ値を振って、レートと歪みを評価することで得てもよいし、深層学習等を用いて、予測した値であってもよい。次に、第１の閾値（例えば０．５）により、ステップＳ９０２で算出した２次元テンソルをもとに、各マクロブロックを重要オブジェクトに含まれるものと、それ以外に分類する。重要オブジェクトと判定されなかったマクロブロックのうち、レート歪み性能が平均よりも高く、かつ、ステップＳ９０２で算出した２次元テンソルの値が、第１の閾値よりも小さい第２の閾値（例えば、０．２）よりも大きいマクロブロックについては、重要オブジェクトに含まれるマクロブロックとして再判定する。つまり、レート歪み特性が良く、画質を上げることによるレートの増加が小さいマクロブロックは、より緩い条件で重要オブジェクトに含まれると判定する。この判定の結果、重要オブジェクトに含まれないと判定されたマクロブロックについては、所定のＱＰ値を設定する。このＱＰ値は、固定値であってもよいし、Ｃｏｎｓｔａｎｔ Ｒａｔｅ Ｆａｃｔｏｒ及びＣｏｎｓｔａｎｔ Ｂｉｔ Ｒａｔｅ等の設定値に基づいて、エンコーダ１２３がマクロブロック毎に異なる値を割り当ててもよい。重要オブジェクトに含まれると判定されたマクロブロックについては、まず、重要領域と判定されなかったマクロブロックに割り当てた値よりも小さい、所定のＱＰ値を割り当てる。このＱＰを割り当てた結果、所定の歪みの目標値よりも、歪みが大きく、かつ、レート歪み性能が良いマクロブロックについては、ＱＰ値をさらに小さくすることにより、歪みを目標以下に減少させる。一方、このＱＰを割り当てた際に、所定の歪みの目標値よりも、歪みが小さく、かつ、レート歪み性能が悪いマクロブロックについては、ＱＰ値を大きくすることにより、歪みを目標以下に抑えつつ、レートを改善する。これらの制御により、レート歪みが良いマクロブロックにおいて、わずかなレートの増加で歪みを削減しつつ、レート歪みが悪いマクロブロックにおいて、過剰に小さくなっていた歪みを目標以下の範囲で増やして、レートの削減を実現できる。結果として、動画データ全体では、重要オブジェクトの画質に関するレート歪み性能を改善できる。

【0093】

次に、第２の例を説明する。第２の例では、圧縮対象の動画データの一部のフレームを画像６１３として利用する場合を仮定する。まず、ステップＳ９０２で算出した２次元テンソルの各要素について、その値が所定の閾値より大きい場合に、その要素に対応するマクロブロックに割り当てるＱＰ値を振って、当該動画データを圧縮する。次に、圧縮された動画データについて、アノテーション６１４で示された、オブジェクトの領域の画質を評価する。次に、圧縮された当該動画データのレートを評価する。このようにして得た、各ＱＰ値における、レートとオブジェクトの領域の画質をもとに、レート歪み性能が最もよくなるＱＰ値を選択する。

【0094】

なお、圧縮レベル情報生成処理の具体例を説明したが、処理内容はこれらに限定されるものではなく、各種重要オブジェクトの重要オブジェクト検出器１２１の推論結果を用いて、圧縮レベル情報を生成できる処理であれば、どのような処理であってもよい。

【0095】

以上のように、実施例１によれば、標準的なコーデックを用いているため互換性がある圧縮データを高速に生成できる。Ｆｅｗ－ｓｈｏｔ学習で生成した検出器（モデル）を用いることによって、重要オブジェクトの定義の変更に伴う学習データの準備及び再学習が必要なくなる。また、重要オブジェクト検出器１２１は、重要オブジェクトの検出のみを行うため、従来技術のＤＮＮより高速に学習ができる。また、解像度を下げる等の前処理を実行した加工フレームを重要オブジェクト検出器１２１に入力することによって、処理の高速化が可能となる。

【実施例0096】

実施例１では、画像とアノテーションデータの組みをオブジェクト指定データとしていたが、実施例２では、単語又は文書等の自然言語をオブジェクト指定データとする。以下、実施例１との差異を中心に実施例２について説明する。

【0097】

実施例２のシステムの構成は実施例１と同一である。実施例２の圧縮部１０２の機能構成は実施例１と同一である。実施例２の圧縮部１０２を実現するハードウェア構成は実施例１と同一である。実施例２の前処理パラメタ管理情報２３１は実施例１と同一である。

【0098】

実施例２では、ユーザが、管理端末２０１に対して提供される重要オブジェクト指定インタフェース１０１を用いて、自然言語で重要オブジェクトを指定する。例えば、送電鉄塔を重要オブジェクトとして指定する場合、ユーザは文字列「送電鉄塔」を入力する。これによって、圧縮部１０２は、送電鉄塔を重要オブジェクトとして元フレームを圧縮する。

【0099】

なお、重要オブジェクトの指定方法としては、「送電鉄塔」のように１つの単語を入力してもよいし、「錆びた送電鉄塔」のように、２つ以上の単語からなる文章を入力してもよい。また、ユーザが入力する自然言語は、英語及び日本語、どのような言語であってもよい。

【0100】

図１０は、実施例２の重要オブジェクト指定情報２３２のデータ構造の一例を示す図である。

【0101】

重要オブジェクト指定情報２３２は、例えば、テーブル形式のデータであり、データ生成源１００１及び重要オブジェクト１００２を含むエントリを格納する。なお、エントリに含まれるフィールドは一例であってこれに限定されない。

【0102】

データ生成源１００１は、データ生成源１００の識別子を格納するフィールドであり、データ生成源３０１と同一のものである。重要オブジェクト１００２は、重要オブジェクトを指定する自然言語を格納するフィールドである。

【0103】

図１０に示す重要オブジェクト指定情報２３２には、ユーザによって登録されたエントリ１０１１、１０１２が存在している。

【0104】

実施例２の重要オブジェクト指定情報２３２のエントリは、オブジェクト種類のフィールドが省略されている。これは、１つ以上の画像とアノテーションデータの組でオブジェクト指定データを構成する実施例１と異なり、自然言語でオブジェクトを指定する実施例２では、１種類のオブジェクトに対して、２つ以上のオブジェクト指定データは不要であるという考えに基づく。なお、本発明はこれに限定されるものではなく、実施例１と同様に、１種類のオブジェクトに対して、異なる自然言語を含む２つ以上のオブジェクト指定データを登録してもよい。

【0105】

実施例２の重要オブジェクト指定データの登録処理は実施例１と同一であるが、重要オブジェクト指定インタフェース１０１が異なる。図１１は、実施例２の圧縮部１０２が提供する重要オブジェクト指定インタフェース１０１の一例を示す図である。

【0106】

実施例２の重要オブジェクト指定インタフェース１０１は、実施例１と同様に、重要オブジェクト指定データの確認／登録を行うためのテーブル１１００が表示される。テーブル１１００は、データ生成源１１１１及び重要オブジェクト１１１２を含むエントリ（重要オブジェクト指定データ）を格納する。

【0107】

データ生成源１１１１はデータ生成源６１１と同一のフィールドである。重要オブジェクト１１１２は、重要オブジェクトを指定するための自然言語を格納するフィールドである。

【0108】

削除ボタン１１０１、追加ボタン１１０２、設定ボタン１１０３、及び検証ボタン１１０４は、削除ボタン６０１、追加ボタン６０２、設定ボタン６０３、及び検証ボタン６０４と同一の操作ボタンである。

【0109】

実施例２の圧縮処理の流れは実施例１と同一であるが、一部の処理内容が異なる。ステップＳ７０５では、演算装置２１０は、重要オブジェクト指定データに含まれる自然言語を重要オブジェクト検出器１２１の入力として、推論を行う。

【0110】

この場合の重要オブジェクト検出器１２１として、例えば、テキストにより対象のオブジェクトを指定できる、Ｓｅｍａｎｔｉｃ Ｓｅｇｍｅｎｔａｔｉｏｎタスクのニューラルネットワークモデルを用いることができる。そのようなニューラルネットワークモデルの中には、例えば、カンマ区切りで複数の単語を入力することにより、複数種類のオブジェクトのＳｅｍａｎｔｉｃ Ｓｅｇｍｅｎｔａｔｉｏｎを一度の推論で実行できるものがある。このような場合、ステップＳ７０３－ステップＳ７０６において、オブジェクト毎にループせずに、元フレームのデータ生成源に紐づくオブジェクトを、例えばカンマ区切りで連接した文字列を生成し、当該文字列と加工フレームを、かかる重要オブジェクト検出器１２１の入力としてもよい。また、ステップＳ７０５はこれに限られるものではなく、例えば、Ｔｅｘｔ－ｔｏ－Ｉｍａｇｅ Ｔｒａｎｓｌａｔｉｏｎの深層学習モデルにより、自然言語で説明された画像とそのアノテーションデータを生成し、それをサポートセットとして、実施例１に記載のような、Ｆｅｗ－ｓｈｏｔ学習を用いたＳｅｍａｎｔｉｃ Ｓｅｇｍｅｎｔａｔｉｏｎの深層学習モデルに入力することで、重要オブジェクトを指定してもよい。また、テキストにより対象のオブジェクトを指定できる、Ｓｅｍａｎｔｉｃ Ｓｅｇｍｅｎｔａｔｉｏｎタスクのニューラルネットワークモデルを、圧縮対象の動画の一部のフレームを入力として推論し、その結果をアノテーションデータ、当該フレームを画像とするサポートセットを、実施例１に記載のような、Ｆｅｗ－ｓｈｏｔ学習を用いたＳｅｍａｎｔｉｃ Ｓｅｇｍｅｎｔａｔｉｏｎの深層学習モデルに入力することで、重要オブジェクトを指定してもよい。

【0111】

なお、実施例１と実施例２を組み合わせてもよい。つまり、重要オブジェクト指定インタフェース１０１を介して、ユーザが、画像及びアノテーションデータの組、又は、自然言語を含む重要オブジェクト指定データを登録してもよい。この場合、ステップＳ７０５では、重要オブジェクト指定情報２３２に格納された重要オブジェクト指定データの種類に応じて、深層学習モデルが使い分けられる。また、画像及びアノテーションデータの組、自然言語、又はその両方を変換したデータを、重要オブジェクト指定情報２３２として管理してもよい。例えば、かかる変換データは、Ｆｅｗ－ｓｈｏｔ学習を用いたＳｅｍａｎｔｉｃ ｓｅｇｍｅｎｔａｔｉｏｎモデルにおいて、サポートセットに対して行われる処理を予め実行して得たテンソルデータである。以下、画像及びアノテーションデータの組、自然言語、かかる変換データなどの、オブジェクトを記述する情報を、重要オブジェクト記述情報と呼ぶ。

【0112】

この場合の重要オブジェクト指定情報２３２の例を図１２Ａ及び図１２Ｂに示す。重要オブジェクト指定情報２３２を、データ生成源及びオブジェクト種類の対応付けを管理する第１の情報１２００（図１２Ａ）と、オブジェクト種類及び重要オブジェクト記述情報の対応付けを管理する第２の情報１２１０（図１２Ｂ）とに分けて管理する場合を示す。

【0113】

第１の情報１２００は、データ生成源１２０１及びオブジェクト種類１２０２を含むエントリを格納する。第２の情報１２１０は、オブジェクト種類１２１１及び重要オブジェクト記述情報１２１２を含むエントリを格納する。重要オブジェクト記述情報１２１２は、サポートセット１２２１、自然言語１２２２、及び変換データ１２２３を含む。このように管理することによって、重要オブジェクトの定義情報を、複数のデータ生成源１００で共有することができる。

【0114】

図１３Ａ及び図１３Ｂは、図１２Ａ及び図１２Ｂが示す重要オブジェクト指定情報２３２を指定するための、重要オブジェクト指定インタフェース１０１の一例を示す図である。

【0115】

図１３Ａに示す第１のインタフェース１３００は第１の情報１２００を設定するためのインタフェースであり、図１３Ｂに示す第２のインタフェース１３３０は第２の情報１２１０を設定するためのインタフェースである。

【0116】

第１のインタフェース１３００は、データ生成源１３１１及びオブジェクト種類１３１２を入力するテーブル１３０１を含む。削除ボタン１３０２、追加ボタン１３０３、及び設定ボタン１３０４は、削除ボタン６０１、追加ボタン６０２、及び設定ボタン６０３と同一の操作ボタンである。第１のインタフェース１３００は、圧縮部１０２がデータ生成源１００からデータを受信するインタフェースに含めてもよい。つまり、データ生成源１００から圧縮部１０２へのデータの圧縮要求に、その生成データに対応するオブジェクト種類の情報を含めてもよい。

【0117】

第２のインタフェース１３３０は、オブジェクト種類１３４１、画像１３４２、アノテーション１３４３、及び自然言語１３４４を入力するテーブル１３３１を含む。削除ボタン１３３２、追加ボタン１３３３、設定ボタン１３３４、及び検証ボタン１３３５は、削除ボタン６０１、追加ボタン６０２、設定ボタン６０３、及び検証ボタン６０４と同一の操作ボタンである。

【0118】

なお、本発明は、静止画及び動画等の画像以外に、センサ値及び時間を含むセンサデータ等、種々の多次元データの圧縮に利用することができる。

【0119】

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。また、例えば、上記した実施例は本発明を分かりやすく説明するために構成を詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、各実施例の構成の一部について、他の構成に追加、削除、置換することが可能である。

【0120】

また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、本発明は、実施例の機能を実現するソフトウェアのプログラムコードによっても実現できる。この場合、プログラムコードを記録した記憶媒体をコンピュータに提供し、そのコンピュータが備えるプロセッサが記憶媒体に格納されたプログラムコードを読み出す。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施例の機能を実現することになり、そのプログラムコード自体、及びそれを記憶した記憶媒体は本発明を構成することになる。このようなプログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、光ディスク、光磁気ディスク、ＣＤ－Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどが用いられる。

【0121】

また、本実施例に記載の機能を実現するプログラムコードは、例えば、アセンブラ、Ｃ／Ｃ＋＋、ｐｅｒｌ、Ｓｈｅｌｌ、ＰＨＰ、Ｐｙｔｈｏｎ、Ｊａｖａ（登録商標）等の広範囲のプログラム又はスクリプト言語で実装できる。

【0122】

さらに、実施例の機能を実現するソフトウェアのプログラムコードを、ネットワークを介して配信することによって、それをコンピュータのハードディスクやメモリ等の記憶手段又はＣＤ－ＲＷ、ＣＤ－Ｒ等の記憶媒体に格納し、コンピュータが備えるプロセッサが当該記憶手段や当該記憶媒体に格納されたプログラムコードを読み出して実行するようにしてもよい。

【0123】

上述の実施例において、制御線や情報線は、説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。全ての構成が相互に接続されていてもよい。