特許 7540674 データ転送システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2024-08-19

(45)【発行日】2024-08-27

(54)【発明の名称】データ転送システム

(51)【国際特許分類】

   G06T 7/20 20170101AFI20240820BHJP

   H04N 21/234 20110101ALI20240820BHJP

   H04N 21/24 20110101ALI20240820BHJP

   G06T 7/00 20170101ALI20240820BHJP

   H04N 7/18 20060101ALI20240820BHJP

   A61B 5/107 20060101ALI20240820BHJP

   A61B 5/11 20060101ALI20240820BHJP

【ＦＩ】

G06T7/20

H04N21/234

H04N21/24

G06T7/00 350B

H04N7/18 K

A61B5/107 300

A61B5/11 200

【請求項の数】 4

(21)【出願番号】P 2023190618

(22)【出願日】2023-11-08

【審査請求日】2024-04-26

【早期審査対象出願】

(73)【特許権者】

【識別番号】518126409

【氏名又は名称】株式会社アジラ

(74)【代理人】

【識別番号】100176256

【弁理士】

【氏名又は名称】相田 隆敬

(72)【発明者】

【氏名】木村 大介

【審査官】吉田 千裕

(56)【参考文献】

【文献】韓国登録特許第１０－１７２２６６４（ＫＲ，Ｂ１）

【文献】特開２０１９－０１６２６８（ＪＰ，Ａ）

【文献】特開２０２２－１２７１４４（ＪＰ，Ａ）

【文献】中国特許出願公開第１１３７２３２０３（ＣＮ，Ａ）

【文献】上野 優，Ａｃｔｌｙｚｅｒエッジ・クラウド連携基盤の開発，情報処理学会 研究報告 コンピュータセキュリティ（ＣＳＥＣ） ２０２３－ＣＳＥＣ－１００ ［ｏｎｌｉｎｅ］ ，日本，情報処理学会，2023年02月27日

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／２０

Ｈ０４Ｎ ２１／２３４

Ｈ０４Ｎ ２１／２４

Ｇ０６Ｔ ７／００

Ｈ０４Ｎ ７／１８

Ａ６１Ｂ ５／１０７

Ａ６１Ｂ ５／１１

(57)【特許請求の範囲】

【請求項1】

エッジ側に設けられ、撮影手段により撮影された対象映像を取得する取得部と、
前記エッジ側に設けられ、前記対象映像に映った対象行動体の特徴点を検出する検出部と、
前記エッジ側に設けられ、前記検出された特徴点に関するオリジナルデータを低ビットレートデータに変換してクラウドに送信する変換部と、
前記クラウド上に設けられ、行動体が注目行動を行った場合の前記行動体の特徴点の変位を記憶した記憶部と、
前記クラウド上に設けられ、前記記憶された特徴点の変位と、前記低ビットレートデータに含まれる特徴点の変位と、に基づき、前記注目行動が行われたか否かの一次判定を行う判定部と、
を備え、
前記判定部は、前記一次判定において注目行動が行われたと判定した場合には、その旨を示す検知信号を前記変換部に送信し、
前記変換部は、前記検知信号に応じて、前記注目行動が行われたと判定された低ビットレートデータに対応するオリジナルデータを改めて前記クラウドに送信、又は、前記注目行動が行われたと判定された低ビットレートデータを高ビットレートデータに変換して改めて前記クラウドに送信し、
前記判定部は、前記記憶された特徴点の変位と、前記オリジナルデータ又は高ビットレートデータに含まれる特徴点の変位と、に基づき、前記注目行動が行われたか否かの二次判定を行うことを特徴とするデータ転送システム。

【請求項2】

前記エッジ側に設けられ、所定範囲を撮影するように設置された前記撮影手段により撮影されたサンプル映像を取得する学習側取得部と、
前記エッジ側に設けられ、前記サンプル映像に映ったサンプル行動体の行動を検出する学習側検出部と、
前記学習側検出部によって検出された多数の前記行動に基づき、前記所定範囲における一又は複数の通常の行動を決定する決定部と、
を更に備え、
前記判定部は、前記一次判定において、前記低ビットレートデータに含まれる特徴点の変位が前記通常の行動に相当しない場合に、前記注目行動が行われたと判定することを特徴とする請求項１に記載の注目行動呼びかけシステム。

【請求項3】

コンピュータと、行動体が注目行動を行った場合の前記行動体の特徴点の変位が記憶されたクラウドと、で協働して実行されるプログラムであって、
撮影手段により撮影された対象映像を取得するステップと、
前記対象映像に映った対象行動体の特徴点を検出するステップと、
前記検出された特徴点に関するオリジナルデータを低ビットレートデータに変換して前記クラウドに送信するステップと、
を前記コンピュータに実行させ、
前記記憶された特徴点の変位と、前記低ビットレートデータに含まれる特徴点の変位と、に基づき、前記注目行動が行われたか否かの一次判定を行うステップと、
前記一次判定において注目行動が行われたと判定した場合には、その旨を示す検知信号を前記コンピュータに送信するステップと、
を前記クラウドに実行させ、
前記検知信号に応じて、前記注目行動が行われたと判定された低ビットレートデータに対応するオリジナルデータを改めて前記クラウドに送信、又は、前記注目行動が行われたと判定された低ビットレートデータを高ビットレートデータに変換して改めて前記クラウドに送信するステップを前記コンピュータに実行させ、
前記記憶された特徴点の変位と、前記オリジナルデータ又は高ビットレートデータに含まれる特徴点の変位と、に基づき、前記注目行動が行われたか否かの二次判定を行うステップを前記クラウドに実行させるためのデータ転送プログラム。

【請求項4】

コンピュータと、行動体が注目行動を行った場合の前記行動体の特徴点の変位が記憶されたクラウドと、で協働して実行される方法であって、
前記コンピュータが、撮影手段により撮影された対象映像を取得するステップと、
前記コンピュータが、前記対象映像に映った対象行動体の特徴点を検出するステップと、
前記コンピュータが、前記検出された特徴点に関するオリジナルデータを低ビットレートデータに変換して前記クラウドに送信するステップと、
前記クラウドが、前記記憶された特徴点の変位と、前記低ビットレートデータに含まれる特徴点の変位と、に基づき、前記注目行動が行われたか否かの一次判定を行うステップと、
前記クラウドが、前記一次判定において注目行動が行われたと判定した場合には、その旨を示す検知信号を前記コンピュータに送信するステップと、
前記コンピュータが、前記検知信号に応じて、前記注目行動が行われたと判定された低ビットレートデータに対応するオリジナルデータを改めて前記クラウドに送信、又は、前記注目行動が行われたと判定された低ビットレートデータを高ビットレートデータに変換して改めて前記クラウドに送信するステップと、
前記クラウドが、前記記憶された特徴点の変位と、前記オリジナルデータ又は高ビットレートデータに含まれる特徴点の変位と、に基づき、前記注目行動が行われたか否かの二次判定を行うステップと、
を備えたことを特徴とするデータ転送方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、データ転送コスト等を低減させながら、映像に映った注目行動をクラウド上で判定することが可能なデータ転送システムに関する。

【背景技術】

【0002】

従来より、エッジ側に設けられた動物行動推定支援装置から受信した推定対象動物の時系列特徴点位置情報に基づいて、クラウド側に設けられた動物行動推定装置が推定対象動物の行動の種別を推定する動物行動推定システムが知られている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０２１－１４４６３１号

【発明の概要】

【発明が解決しようとする課題】

【0004】

上記システムでは、エッジ側に設けられた動物行動推定支援装置が、動物行動を推定するためのデータのうち不要なデータを廃棄し、有効なデータのみを最小限に圧縮して、クラウド側に設けられた動物行動推定装置に転送している。

【0005】

本発明は、上記とは異なった方法で、データ転送コスト等を低減させながら、映像に映った注目行動をクラウド上で判定することが可能なデータ転送システムを提供することを目的としている。

【課題を解決するための手段】

【0006】

本発明は、 撮影手段により撮影された対象映像を取得する取得部と、前記対象映像に映った対象行動体の特徴点を検出する検出部と、前記検出された特徴点に関するオリジナルデータを低ビットレートデータに変換してクラウドに送信する変換部と、前記クラウド上に設けられ、行動体が注目行動を行った場合の前記行動体の特徴点の変位を記憶した記憶部と、前記クラウド上に設けられ、前記記憶された特徴点の変位と、前記低ビットレートデータに含まれる特徴点の変位と、に基づき、前記注目行動が行われたか否かの一次判定を行う判定部と、前記注目行動が行われたと判定された場合に、前記クラウドと通信可能なユーザ端末に前記判定の結果を送信可能な送信部と、を備え、前記判定部は、前記一次判定において注目行動が行われたと判定した場合には、その旨を示す検知信号を前記変換部に送信し、前記変換部は、前記検知信号に応じて、前記注目行動が行われたと判定された低ビットレートデータに対応するオリジナルデータを改めて前記クラウドに送信、又は、前記注目行動が行われたと判定された低ビットレートデータを高ビットレートデータに変換して改めて前記クラウドに送信し、前記判定部は、前記記憶された特徴点の変位と、前記オリジナルデータ又は高ビットレートデータに含まれる特徴点の変位と、に基づき、前記注目行動が行われたか否かの二次判定を行うことを特徴とするデータ転送システムを提供している。

【0007】

このような構成によれば、判定の信頼性を確保しながらも、データ転送システムからクラウドへのデータ転送、クラウドからユーザ端末へのデータ転送、及び、クラウドにおけるデータ保存にかかるコストを大幅に低減させることが可能となる。

【0008】

また、本発明の別の観点では、上記データ転送システムに対応するデータ転送プログラム及びデータ転送方法を提供している。

【発明の効果】

【0009】

本発明のデータ転送システムによれば、データ転送コスト等を低減させながら、映像に映った注目行動をクラウド上で判定することが可能となる。

【図面の簡単な説明】

【0010】

【図1】本発明の実施の形態によるデータ転送システムの説明図

【図2】本発明の実施の形態による対象映像の説明図

【図3】本発明の実施の形態によるデータ転送システムのブロック図

【図4】本発明の実施の形態によるデータ転送システムのフローチャート

【発明を実施するための形態】

【0011】

以下、本発明の第１の実施の形態によるデータ転送システム１について、図１－図４を参照して説明する。

【0012】

データ転送システム１は、図１及び図２に示すように、撮影手段Ｘにより撮影された対象映像Ｙ（図２では、映像を構成するフレーム）に映った対象行動体Ｚの特徴点に関するデータを、ネットワーク通信を用いてクラウドＡ上に送信し、クラウドＡ上において注目行動が行われたか否かを判定するものである

【0013】

なお、本実施の形態では、対象行動体Ｚとして人間を採用し、理解容易のため、対象行動体Ｚを骨格だけで簡易的に表示する。

【0014】

データ転送システム１は、図３に示すように、取得部２と、検出部３と、変換部４と、記憶部５と、判定部６と、送信部７と、学習側取得部８と、学習側検出部９と、決定部１０と、を備えている。本実施の形態では、データ転送システム１は、撮影手段Ｘと一体に設けられているものとする。また、本実施の形態では、取得部２、検出部３、変換部４、送信部７、学習側取得部８、学習側検出部９、及び、決定部１０がエッジ側に設けられており、記憶部５及び判定部６がクラウドＡ側に設けられているものとする。

【0015】

取得部２は、撮影手段Ｘにより撮影された対象映像Ｙを取得する。本実施の形態では、対象映像Ｙは、撮影手段Ｘにより所定のビットレートで撮影されたものとする。

【0016】

検出部３は、対象映像Ｙに映った対象行動体Ｚの特徴点を検出する。

【0017】

特徴点としては、様々なものが考えられるが、本実施の形態では、特徴点として関節を検出する例を用いて説明を行う。

【0018】

特徴点として関節を検出する場合には、例えば、以下のような方法が考えられる。

【0019】

まず、記憶部（記憶部５であっても、他の記憶部であっても良い）に、“関節識別基準”と、“行動体識別基準”と、を記憶しておく。

【0020】

“関節識別基準”は、人間の複数の関節を識別するためのものであり、関節ごとに、それぞれを識別するための形状、方向、サイズ等を示したものである。

【0021】

“行動体識別基準”は、人間の様々なバリエーション（“歩行”、“直立”等）の “基本姿勢“、”各関節の可動域“、一の人間における”各関節間の距離“等を示したものである。

【0022】

上記“関節識別基準”に該当する複数の関節を検出した上で、“行動体識別基準”を参照して、一の対象行動体Ｚに含まれる複数の関節を特定することで、対象行動体Ｚそれぞれに含まれる関節を特定することが可能となる。

【0023】

なお、本実施の形態では、特徴点を、対象映像Ｙを構成する複数のフレームから（時系列の順番を紐付けた上で）まとめて検出するものとするが、フレームごとに個別に検出しても良い。

【0024】

変換部４は、検出された特徴点に関するオリジナルデータを低ビットレートデータに変換してクラウドＡに送信する。

【0025】

例えば、フレームレートを低下させることでオリジナルデータを低ビットレートデータに変換することが考えられるが、「画質を低下させる」、「データを圧縮する」、「不要なデータを削除する」等によりオリジナルデータを低ビットレートデータに変換しても良く、これらも本発明の「ビットレートの変換」に含まれる。

【0026】

記憶部５は、クラウドＡ上に設けられ、行動体が注目行動を行った場合の行動体の特徴点の変位を記憶している。特徴点として関節を検出する場合には、複数の関節の変位を記憶しておくことが考えられる。

【0027】

注目行動としては、例えば、転倒、殴る、蹴る等の行動が考えられ、１つに限らず複数の行動を記憶しても良い。また、注目行動としては、万引き等の“予兆行動”を記憶しても良い。また、本実施の形態によるデータ転送システム１では、注目行動以外の行動（歩行、立ち止まる等）が生じた場合の特徴点情報の変位を記憶部５に記憶しておくことを除外するものではない。

【0028】

判定部６は、クラウドＡ上に設けられ、記憶された特徴点の変位と、低ビットレートデータに含まれる特徴点の変位と、に基づき、注目行動が行われたか否かの一次判定を行う。

【0029】

例えば、検出された特徴点の変位が、注目行動の特徴点の変位と所定以上一致している場合に、「当該注目行動が行われた」と判定することが考えられる。

【0030】

送信部７は、注目行動が行われたと判定された場合に、クラウドＡと通信可能なユーザ端末Ｂに上記判定の結果を送信可能である。

【0031】

ユーザ端末Ｂとしては、スマートフォンやＰＣ等が考えられ、ユーザは、ユーザ端末Ｂに送信された判定の結果により、異常行動等の注目行動が行われたことを知得することが可能である。

【0032】

なお、注目行動の実際の状況等をユーザが確認可能とするために、データ転送システム１や撮影手段Ｘにおいて、注目行動に対応する映像をバッファリングしておき、ユーザ端末Ｂが当該映像にアクセス可能としても良い。

【0033】

ここで、本実施の形態では、判定部６は、一次判定において注目行動が行われたと判定した場合には、その旨を示す検知信号を変換部４に送信し、変換部４は、検知信号に応じて、注目行動が行われたと判定された低ビットレートデータに対応するオリジナルデータを改めてクラウドＡに送信、又は、注目行動が行われたと判定された低ビットレートデータを高ビットレートデータに変換して改めてクラウドＡに送信する。

【0034】

オリジナルデータと高ビットレートデータのどちらを送信するかについては、リアルタイム性を重視する場合には、高ビットレートデータへの変換時間が不要なオリジナルデータを送信し、コスト低減を重視する場合には、（オリジナルデータよりも低いビットレートの）高ビットレートデータを送信することが考えられる。

【0035】

そして、判定部６は、記憶された特徴点の変位と、オリジナルデータ又は高ビットレートデータに含まれる特徴点の変位と、に基づき、注目行動が行われたか否かの二次判定を行う。

【0036】

このような構成により、まずは低ビットレートデータに基づいて注目行動が行われたか否かの一次判定が行われ、注目行動が行われたと判定された場合に、オリジナルデータ又は高ビットレートデータに基づいて注目行動が行われたか否かの二次判定が行われるので、判定の信頼性を確保しながらも、データ転送システム１からクラウドＡへのデータ転送、クラウドＡからユーザ端末Ｂへのデータ転送、及び、クラウドＡにおけるデータ保存にかかるコストを大幅に低減させることが可能となる。

【0037】

なお、互いに異なる判定結果や重複した判定結果がユーザ端末Ｂに送信されることを防止するために、送信部７は、一次判定において注目行動が行われたと判定された場合には、二次判定においても注目行動が行われたと判定された場合に、判定の結果をユーザ端末Ｂに送信することが好ましい。

【0038】

ところで、低ビットレートデータに含まれる特徴点の変位に基づいて一次判定を行う構成の場合、ビットレートが低い影響で一次判定の時点で注目行動を判定し損なってしまうケースも想定される。

【0039】

そこで、本実施の形態では、学習側取得部８と、学習側検出部９と、決定部１０と、を更に備え、これらを用いて、ビットレートが低い影響で一次判定の時点で注目行動を判定し損なってしまうことを抑制する。

【0040】

学習側取得部８は、所定範囲を撮影するように設置された撮影手段Ｘにより撮影されたサンプル映像（複数のサンプル時系列画像）を取得する。

【0041】

学習側検出部９は、サンプル映像に映ったサンプル行動体の行動を検出する。

【0042】

サンプル行動体の行動の検出は、サンプル行動体が所定の行動を行った場合の特徴点の変位（各関節の動き等）を記憶部（記憶部５であっても、他の記憶部であっても良い）に記憶しておき、検出部３と同様に特徴点を検出した上で、検出された特徴点情報の変位が、記憶された特徴点の変位と所定以上一致している場合に、「当該所定の行動が行われた」と検出することが考えられる。

【0043】

なお、本実施の形態では、学習側取得部８及び学習側検出部９としては、取得部２及び検出部３がそれぞれ兼用するものとするが、別途設けても良い。

【0044】

決定部１０は、学習側検出部９によって検出された多数の行動に基づき、所定範囲における一又は複数の“通常の行動”を決定する。本実施の形態では、決定された“通常の行動”は、記憶部５に注目行動として記憶される。

【0045】

“通常の行動”は、様々な基準で決定することが可能であるが、例えば、検出された全行動の中で所定（閾値）以上の割合を有する行動を“通常の行動”として決定することが考えられる。

【0046】

そして、判定部６は、一次判定において、低ビットレートデータに含まれる特徴点の変位が“通常の行動”に相当しない場合に、注目行動が行われたと判定する。

【0047】

これにより、転倒、殴る、蹴る等の特定の行動を判定するのではなく、「“通常の行動”に相当しない」という幅を持たせた範囲で一次判定を行うこととなるので、ビットレートが低い影響で一次判定の時点で注目行動を判定し損なってしまうことが抑制される。

【0048】

なお、“通常の行動”に加えて、転倒、殴る、蹴る等の特定の行動を注目行動として記憶部５に記憶しておき、これらの特定の注目行動が行われたことの判定を並行して行っても良いことはもちろんである。

【0049】

続いて、図４のフローチャートを用いて、本実施の形態によるデータ転送の流れについて説明する。

【0050】

まず、対象映像Ｙが取得されると（Ｓ１）、対象映像Ｙに映った対象行動体Ｚの特徴点が検出される（Ｓ２）。

【0051】

続いて、検出された特徴点に関するオリジナルデータが低ビットレートデータに変換されてクラウドＡに送信される（Ｓ３）。

【0052】

続いて、クラウドＡ上の判定部６において、記憶部５に記憶された特徴点の変位と、Ｓ３で送信された低ビットレートデータに含まれる特徴点の変位と、に基づき、注目行動が行われたか否かの一次判定が行われる（Ｓ４）。

【0053】

注目行動が行われたと判定された場合には（Ｓ４：ＹＥＳ）、クラウドＡから変換部４に検知信号が送信され（Ｓ５）、変換部４において、オリジナルデータ又は高ビットレートデータが改めてクラウドＡに送信される（Ｓ６）。

【0054】

そして、クラウドＡ上の判定部６において、記憶部５に記憶された特徴点の変位と、Ｓ６で送信されたオリジナルデータ又は高ビットレートデータに含まれる特徴点の変位と、に基づき、注目行動が行われたか否かの二次判定が行われ（Ｓ７）、注目行動が行われたと判定された場合に（Ｓ７：ＹＥＳ）、ユーザ端末Ｂに判定の結果が送信される（Ｓ８）。

【0055】

以上説明したように、本実施の形態によるデータ転送システム１では、まずは低ビットレートデータに基づいて注目行動が行われたか否かの一次判定が行われ、注目行動が行われたと判定された場合に、オリジナルデータ又は高ビットレートデータに基づいて注目行動が行われたか否かの二次判定が行われる。

【0056】

このような構成によれば、判定の信頼性を確保しながらも、データ転送システム１からクラウドＡへのデータ転送、クラウドＡからユーザ端末Ｂへのデータ転送、及び、クラウドＡにおけるデータ保存にかかるコストを大幅に低減させることが可能となる。

【0057】

また、本実施の形態によるデータ転送システム１では、一次判定において、低ビットレートデータに含まれる特徴点が“通常の行動”に相当しない場合に、注目行動が行われたと判定する。

【0058】

このような構成によれば、転倒、殴る、蹴る等の特定の行動を判定するのではなく、「“通常の行動”に相当しない」という幅を持たせた範囲で一次判定を行うこととなるので、低ビットレートにした影響で一次判定の時点で注目行動を判定し損なってしまうことが抑制される。

【0059】

また、本実施の形態によるデータ転送システム１では、一次判定において注目行動が行われたと判定された場合には、二次判定においても注目行動が行われたと判定された場合に、判定の結果をユーザ端末Ｂに送信する。

【0060】

このような構成によれば、互いに異なる判定結果や重複した判定結果がユーザ端末Ｂに送信されることが防止される。

【0061】

尚、本発明のデータ転送システムは、上述した実施の形態に限定されず、特許請求の範囲に記載した範囲で種々の変形や改良が可能である。

【0062】

例えば、上記実施の形態では、撮影手段Ｘは、データ転送システム１と一体に設けられていたが、別体であることを除外するものではない。

【0063】

また、本発明は、コントローラとしての各部材が行う処理に相当する（コンピュータとクラウドで協働して実行される）プログラム及び方法や、当該プログラムを記憶した記録媒体にも応用可能である。記録媒体の場合、コンピュータ等に当該プログラムがインストールされることとなる。ここで、当該プログラムを記憶した記録媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体としては、ＣＤ－ＲＯＭ等が考えられるが、それに限定されるものではない。

【符号の説明】

【0064】

１ データ転送システム
２ 取得部
３ 検出部
４ 変換部
５ 記憶部
６ 判定部
７ 送信部
８ 学習側取得部
９ 学習側検出部
１０ 決定部
Ａ クラウド
Ｂ ユーザ端末
Ｘ 撮影手段
Ｙ 対象映像
Ｚ 対象行動体

【要約】

【課題】データ転送コスト等を低減させながら、映像に映った注目行動をクラウド上で判定することが可能なデータ転送システムを提供する。
【解決手段】データ転送システム１では、変換部４が、対象映像Ｙに映った対象行動体Ｚから検出された特徴点に関するオリジナルデータを低ビットレートデータに変換してクラウドＡに送信し、クラウドＡ上に設けられた判定部６が、低ビットレートデータに含まれる特徴点の変位に基づき、注目行動が行われたか否かの一次判定を行う。一次判定において注目行動が行われたと判定された場合には、変換部４は、注目行動が行われたと判定された低ビットレートデータに対応するオリジナルデータ又は高ビットレートデータを改めてクラウドＡに送信し、判定部６は、オリジナルデータ又は高ビットレートデータに含まれる特徴点の変位に基づき、注目行動が行われたか否かの二次判定を行う。
【選択図】図４

【図1】

【図2】

【図3】

【図4】