特開 2024-178625 データ処理装置及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024178625

(43)【公開日】2024-12-25

(54)【発明の名称】データ処理装置及びプログラム

(51)【国際特許分類】

   G06V 10/40 20220101AFI20241218BHJP

   A01K 61/90 20170101ALI20241218BHJP

【ＦＩ】

G06V10/40

A01K61/90

【審査請求】有

【請求項の数】13

【出願形態】ＯＬ

(21)【出願番号】P 2023096904

(22)【出願日】2023-06-13

(11)【特許番号】

(45)【特許公報発行日】2024-07-19

(71)【出願人】

【識別番号】501440684

【氏名又は名称】ソフトバンク株式会社

(74)【代理人】

【識別番号】110000877

【氏名又は名称】弁理士法人ＲＹＵＫＡ国際特許事務所

(72)【発明者】

【氏名】石若 裕子

【テーマコード（参考）】

2B104

5L096

【Ｆターム（参考）】

2B104AA01

2B104GA01

5L096CA04

5L096DA03

5L096HA11

5L096JA11

(57)【要約】      （修正有）

【課題】データ処理装置及びコンピュータをデータ処理装置として機能させるプログラムを提供する。
【解決手段】カメラによって撮像された動画データを、静止画データに変換するデータ処理装置１００は、オブジェクトを撮像した動画データを取得する動画データ取得部と、前記動画データにおける前記オブジェクトの時系列の動きの情報を静止画の要素に変換して、変換した前記静止画の前記要素を含む静止画データを生成するデータ生成部と、を備える。前記データ生成部は、前記動画データにおける前記オブジェクトの時系列の動きの情報を、画素値、特徴ベクトル及びエッジの少なくともいずれかによって表す前記静止画データを生成してよい。
【選択図】図８

【特許請求の範囲】

【請求項1】

オブジェクトを撮像した動画データを取得する動画データ取得部と、
前記動画データにおける前記オブジェクトの時系列の動きの情報を静止画の要素に変換して、変換した前記静止画の前記要素を含む静止画データを生成するデータ生成部と
を備える、データ処理装置。

【請求項2】

前記データ生成部は、前記動画データにおける前記オブジェクトの時系列の動きの情報を、画素値、特徴ベクトル、及びエッジの少なくともいずれかによって表す前記静止画データを生成する、請求項１に記載のデータ処理装置。

【請求項3】

前記データ生成部は、前記動画データにおける複数の前記オブジェクトの時系列の位置の変化の情報を前記静止画の前記要素に変換して、変換した前記静止画の前記要素を含む前記静止画データを生成する、請求項１に記載のデータ処理装置。

【請求項4】

前記データ生成部は、前記動画データにおける前記オブジェクトの時系列の形状変化の情報を前記静止画の前記要素に変換して、変換した前記静止画の前記要素を含む前記静止画データを生成する、請求項１に記載のデータ処理装置。

【請求項5】

前記データ生成部は、前記動画データにおける前記オブジェクトの時系列の動きの情報をテキストの要素に変換して、変換した前記テキストの前記要素を含むテキストデータを生成する、請求項１に記載のデータ処理装置。

【請求項6】

前記データ生成部は、前記動画データにおける前記オブジェクトの時系列の動きの情報をゲノムの要素に変換して、変換した前記ゲノムの前記要素を含むゲノムデータを生成する、請求項１に記載のデータ処理装置。

【請求項7】

前記データ生成部によって生成された前記静止画データを、静止画データを分類するように学習された静止画分類ネットワークに入力して、前記静止画分類ネットワークから出力された分類結果を取得する分類結果取得部と、
前記分類結果取得部が取得した前記分類結果が予め定められた条件を満たす場合に、アラートを出力するアラート出力部と
を更に備える、請求項１から６のいずれか一項に記載のデータ処理装置。

【請求項8】

動画データにおけるオブジェクトの時系列の動きの情報から変換された静止画の要素を含む静止画データを取得する変換データ取得部と、
前記静止画データから前記動画データを生成する動画データ生成部と
を更に備える、請求項１から６のいずれか一項に記載のデータ処理装置。

【請求項9】

動画データにおけるオブジェクトの時系列の動きの情報から変換された静止画の要素を含む静止画データを取得する静止画データ取得部と、
前記静止画データから前記動画データを生成する動画データ生成部と
を備えるデータ処理装置。

【請求項10】

オブジェクトを撮像した動画データを取得する動画データ取得部と、
前記動画データにおける前記オブジェクトの時系列の動きの情報をテキストの要素に変換して、変換した前記テキストの前記要素を含むテキストデータを生成するデータ生成部と
を備える、データ処理装置。

【請求項11】

オブジェクトを撮像した動画データを取得する動画データ取得部と、
前記動画データにおける前記オブジェクトの時系列の動きの情報をゲノムの要素に変換して、変換した前記ゲノムの前記要素を含むゲノムデータを生成するデータ生成部と
を備える、データ処理装置。

【請求項12】

コンピュータを、請求項１から６、９、１０、１１のいずれか一項に記載のデータ処理装置として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、データ処理装置及びプログラムに関する。

【背景技術】

【0002】

特許文献１には、魚の多様な泳動を既存の楽曲に対応する楽譜を用いて再現したトレーニングデータを自動で生成する手法について記載されている。
［先行技術文献］
［特許文献］
［特許文献１］特許第７１５２５３５号

【発明の概要】

【課題を解決するための手段】

【0003】

本発明の一実施態様によれば、データ処理装置が提供される。前記データ処理装置は、オブジェクトを撮像した動画データを取得する動画データ取得部を備えてよい。前記データ処理装置は、前記動画データにおける前記オブジェクトの時系列の動きの情報を静止画の要素に変換して、変換した前記静止画の前記要素を含む静止画データを生成するデータ生成部を備えてよい。

【0004】

前記データ処理装置において、前記データ生成部は、前記動画データにおける前記オブジェクトの時系列の動きの情報を、画素値、特徴ベクトル、及びエッジの少なくともいずれかによって表す前記静止画データを生成してよい。

【0005】

前記いずれかのデータ処理装置において、前記データ生成部は、前記動画データにおける複数の前記オブジェクトの時系列の位置の変化の情報を前記静止画の前記要素に変換して、変換した前記静止画の前記要素を含む前記静止画データを生成してよい。

【0006】

前記いずれかのデータ処理装置において、前記データ生成部は、前記動画データにおける前記オブジェクトの時系列の形状変化の情報を前記静止画の前記要素に変換して、変換した前記静止画の前記要素を含む前記静止画データを生成してよい。

【0007】

前記いずれかのデータ処理装置において、前記データ生成部は、前記動画データにおける前記オブジェクトの時系列の動きの情報をテキストの要素に変換して、変換した前記テキストの前記要素を含むテキストデータを生成してよい。

【0008】

前記いずれかのデータ処理装置において、前記データ生成部は、前記動画データにおける前記オブジェクトの時系列の動きの情報をゲノムの要素に変換して、変換した前記ゲノムの前記要素を含むゲノムデータを生成してよい。

【0009】

前記いずれかのデータ処理装置は、前記データ生成部によって生成された前記静止画データを、静止画データを分類するように学習された静止画分類ネットワークに入力して、前記静止画分類ネットワークから出力された分類結果を取得する分類結果取得部と、前記分類結果取得部が取得した前記分類結果が予め定められた条件を満たす場合に、アラートを出力するアラート出力部とを更に備えてよい。

【0010】

前記いずれかのデータ処理装置は、動画データにおけるオブジェクトの時系列の動きの情報から変換された静止画の要素を含む静止画データを取得する変換データ取得部と、前記静止画データから前記動画データを生成する動画データ生成部とを更に備えてよい。

【0011】

本発明の一実施態様によれば、データ処理装置が提供される。前記データ処理装置は、動画データにおけるオブジェクトの時系列の動きの情報から変換された静止画の要素を含む静止画データを取得する静止画データ取得部を備えてよい。前記データ処理装置は、前記静止画データから前記動画データを生成する動画データ生成部を備えてよい。

【0012】

本発明の一実施態様によれば、データ処理装置が提供される。前記データ処理装置は、オブジェクトを撮像した動画データを取得する動画データ取得部を備えてよい。前記データ処理装置は、前記動画データにおける前記オブジェクトの時系列の動きの情報をテキストの要素に変換して、変換した前記テキストの前記要素を含むテキストデータを生成するデータ生成部を備えてよい。

【0013】

本発明の一実施態様によれば、データ処理装置が提供される。前記データ処理装置は、オブジェクトを撮像した動画データを取得する動画データ取得部を備えてよい。前記データ処理装置は、前記動画データにおける前記オブジェクトの時系列の動きの情報をゲノムの要素に変換して、変換した前記ゲノムの前記要素を含むゲノムデータを生成するデータ生成部を備えてよい。

【0014】

本発明の一実施態様によれば、コンピュータを、前記データ処理装置として機能させるためのプログラムが提供される。

【0015】

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

【図面の簡単な説明】

【0016】

【図1】データ処理装置１００の一例を概略的に示す。

【図2】動画データ２００を静止画データ３００に変換する変換処理について説明するための説明図である。

【図3】複数の動画データ２００を静止画データ３００に変換する変換処理について説明するための説明図である。

【図4】複数の動画データ２００を静止画データ３００に変換する変換処理について説明するための説明図である。

【図5】動画データ２００をテキストデータ４００に変換する変換処理について説明するための説明図である。

【図6】動画データ２００をテキストデータ４００に変換する変換処理について説明するための説明図である。

【図7】動画データ２００をゲノムデータ５００に変換する変換処理について説明するための説明図である。

【図8】データ処理装置１００の機能構成の一例を概略的に示す。

【図9】データ処理装置１００として機能するコンピュータ１２００のハードウェア構成の一例を概略的に示す。

【発明を実施するための形態】

【0017】

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

【0018】

魚の養殖において、魚の状態を把握することは、無駄な餌、大量死、病気等を防ぐために、非常に重要である。しかし、養殖場を四六時中監視することは困難であり、養殖場を撮影した動画を自動的に分析して分析結果を提供するモニタリングシステムが望まれる。このようなモニタリングシステムは、魚に限らず、任意のオブジェクトに対して必要とされている。このようなモニタリングシステムは、３次元空間と時間とを有する４次元の情報を含む動画データを分析する必要があるが、動画データをそのまま分析することは、処理負荷が非常に高い。それに対して、本実施形態に係るデータ処理装置１００においては、動画データを、より低い次元のデータに変換する。例えば、データ処理装置１００は、動画データを、２次元データに変換する。

【0019】

具体例として、データ処理装置１００は、動画データを、静止画データに変換する。データ処理装置１００は、動画データに含まれる情報を、静止画の要素に変換することによって、動画データを静止画データに変換してよい。例えば、データ処理装置１００は、動画データに対するオブジェクト検出を実行し、オブジェクトの時系列の動きの情報を静止画の要素に変換することによって、動画データを静止画データに変換する。データ処理装置１００は、変換ルールを含む変換情報に従って、動画データを静止画データに変換してよい。データ処理装置１００は、変換した静止画データを分析することによってオブジェクトのモニタリングを実現してよい。これにより、処理負荷を低減することができる。また、静止画データを分析するニューラルネットワークは非常に幅広く研究されていて、多くのニューラルネットワークがすでに存在しており、そのようなニューラルネットワークを流用することを可能とすることができる。

【0020】

具体例として、データ処理装置１００は、動画データを、テキストデータに変換する。データ処理装置１００は、動画データに含まれる情報を、テキストの要素に変換することによって、動画データをテキストデータに変換してよい。例えば、データ処理装置１００は、動画データに対するオブジェクト検出を実行し、オブジェクトの時系列の動きの情報をテキストの要素に変換することによって、動画データをテキストデータに変換する。データ処理装置１００は、変換ルールを含む変換情報に従って、動画データをテキストデータに変換してよい。データ処理装置１００は、変換したテキストデータを分析することによってオブジェクトのモニタリングを実現してよい。これにより、処理負荷を低減することができる。また、テキストデータを分析するニューラルネットワークは非常に幅広く研究されていて、多くのニューラルネットワークがすでに存在しており、そのようなニューラルネットワークを流用することを可能とすることができる。

【0021】

データ処理装置１００は、動画データを、特定の文字を羅列したデータや、数字を羅列したデータに変換してもよい。データ処理装置１００は、例えば、動画データを、ゲノムデータに変換する。ゲノムデータとは、塩基配列によって構成されるデータであってよい。データ処理装置１００は、動画データに含まれる情報を、ゲノムの要素に変換することによって、動画データをゲノムデータに変換してよい。例えば、データ処理装置１００は、動画データに対するオブジェクト検出を実行し、オブジェクトの時系列の動きの情報をゲノムの要素に変換することによって、動画データをゲノムデータに変換する。データ処理装置１００は、変換ルールを含む変換情報に従って、動画データをゲノムデータに変換してよい。データ処理装置１００は、変換したゲノムデータを分析することによってオブジェクトのモニタリングを実現してよい。これにより、処理負荷を低減することができる。また、ゲノムデータを分析するニューラルネットワークは非常に幅広く研究されていて、多くのニューラルネットワークがすでに存在しており、そのようなニューラルネットワークを流用することを可能とすることができる。

【0022】

図１は、データ処理装置１００の一例を概略的に示す。データ処理装置１００は、オブジェクトを撮像した動画データを取得して、取得した動画データを、当該動画データよりも次元の低いデータに変換してよい（変換後のデータを変換データと記載する場合がある。）。動画データよりも次元の低いデータの例として、静止画データ、テキストデータ、及びゲノムデータ等が挙げられる。

【0023】

オブジェクトは、時系列に変化する任意のものであってよい。オブジェクトは、時系列に位置が変化するものであってよく、時系列に形状が変化するものであってよく、時系列に位置及び形状が変化するものであってよい。オブジェクトは、時系列に形状は変化せずに位置のみが変化するものであってもよい。オブジェクトは、時系列に位置は変化せずに形状のみが変化するものであってもよい。

【0024】

オブジェクトは、モニタリングの対象となるものであってよい。本実施形態では、オブジェクトが魚であり、モニタリング対象が魚群であるケースを主に例に挙げて説明するが、これに限られない。

【0025】

データ処理装置１００は、カメラ１０２によって撮像された動画データを取得してよい。カメラ１０２は、データ処理装置１００に内蔵されていてよい。カメラ１０２は、データ処理装置１００に外付けされてもよい。カメラ１０２は、任意のネットワークを介してデータ処理装置１００に接続されてもよい。

【0026】

データ処理装置１００は、通信端末３０から動画データを受信してもよい。通信端末３０は、例えば、カメラ３２によって撮像された動画データをデータ処理装置１００に送信する。カメラ３２は、通信端末３０に内蔵されていてよい。カメラ３２は、通信端末３０に外付けされてもよい。カメラ３２は、任意のネットワークを介して通信端末３０に接続されてもよい。

【0027】

通信端末３０は、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、タブレット端末、及びスマートフォン等であってよい。データ処理装置１００と通信端末３０とは、ネットワーク２０を介して通信してよい。ネットワーク２０は、インターネットを含んでよい。ネットワーク２０は、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）を含んでよい。ネットワーク２０は、移動体通信ネットワークを含んでよい。移動体通信ネットワークは、５Ｇ（５ｔｈ Ｇｅｎｅｒａｔｉｏｎ）通信方式、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）通信方式、３Ｇ（３ｒｄ Ｇｅｎｅｒａｔｉｏｎ）通信方式、及び６Ｇ（６ｔｈ Ｇｅｎｅｒａｔｉｏｎ）通信方式以降の通信方式のいずれに準拠していてもよい。

【0028】

データ処理装置１００は、変換データを分類するように学習された分類ネットワークを予め記憶しておいてよい。データ処理装置１００は、分類ネットワークに変換データを入力して、分類ネットワークから出力された分類結果を取得してよい。データ処理装置１００は、分類結果が予め定められた条件を満たす場合に、アラートを出力してよい。

【0029】

具体例として、データ処理装置１００は、養殖場の魚群を撮像した動画データを取得して、動画データにおける複数の魚の時系列の動きの情報を静止画の要素に変換して、変換した静止画の要素を含む静止画データを生成する。データ処理装置１００は、例えば、動画データにおける複数の魚の時系列の位置の変化の情報を静止画の要素に変換して、変換した静止画の要素を含む静止画データを生成する。データ処理装置１００は、秒単位、分単位、時間単位、日単位、週単位、月単位、及び年単位等のように、任意の時間単位毎に静止画データを生成してよい。

【0030】

例えば、データ処理装置１００は、１時間単位で静止画データを生成する。この場合、１つの静止画データには、１時間の間の複数の魚の時系列の位置の変化の特性が含まれることになる。例えば、５時間分の動画データから、５個の静止画データが生成されることになる。５時間の間、複数の魚に特に異常がなく、正常に泳いでいた場合には、５つの静止画データは、互いに類似した画像となる。それに対して、複数の魚が、４時間は正常に泳いでいたが、最後の１時間に、それまでとは異なる激しい動きをした場合、最初の４時間に対応する４つの静止画データは互いに類似した画像となるが、最後の１時間に対応する１つの静止画データは、４つの静止画データとは異なる特徴を示す画像となり得る。すなわち、静止画データを分類することによって、魚群の状態の変化をモニタリングすることができる。

【0031】

データ処理装置１００は、生成した多数の静止画データを用いた機械学習を実行することによって、静止画データを分類する静止画分類ネットワークを生成してよい。データ処理装置１００は、生成した静止画分類ネットワークに、新たに生成した静止画データを入力することによって、当該静止画データを分類してよい。

【0032】

データ処理装置１００は、既存の静止画分類ネットワークを用いてもよい。例えば、データ処理装置１００は、他の装置によって生成された静止画分類ネットワークを予め取得して記憶しておく。そして、データ処理装置１００は、以降に生成した静止画データを当該静止画分類ネットワークに入力することによって、当該静止画データを分類する。

【0033】

データ処理装置１００は、変換データから動画データを生成する機能を更に備えてもよい。データ処理装置１００は、自身が生成した変換データから、動画データを生成してよい。データ処理装置１００は、動画データを変換データに変換する際に用いた変換情報を利用して、変換データを動画データに変換してよい。

【0034】

データ処理装置１００は、他の装置が生成した変換データから、動画データを生成してもよい。データ処理装置１００は、変換データを生成した他の装置から、動画データを変換データに変換する際に用いた変換情報を受信しておき、当該変換情報を利用して、他の装置から受信した変換データを動画データに変換してよい。

【0035】

データ処理装置１００は、動画データから変換データを生成する機能は有さずに、変換データから動画データを生成する機能を有してもよい。

【0036】

図２は、動画データ２００を静止画データ３００に変換する変換処理について説明するための説明図である。ここでは、カメラ１０２が、養殖場４０の魚群を撮像した動画データ２００を、静止画データ３００に変換するケースについて説明する。

【0037】

データ処理装置１００は、カメラ１０２から動画データ２００を取得する。データ処理装置１００は、動画データ２００における魚群の時系列の動きの情報を静止画の要素に変換して、変換した静止画の要素を含む静止画データ３００を生成する。

【0038】

例えば、データ処理装置１００は、動画データ２００の１つのフレームから、静止画データ３００を構成する１つの部分３０２を生成する。データ処理装置１００は、それぞれが動画データ２００の複数のフレームのそれぞれに対応する複数の部分３０２を生成することによって、複数の部分３０２からなる静止画データ３００を生成してよい。なお、データ処理装置１００は、動画データ２００の複数のフレームから、１つの部分３０２を生成してもよい。

【0039】

データ処理装置１００は、任意の期間毎に静止画データ３００を生成してよい。例えば、１日毎に静止画データ３００を生成する場合、データ処理装置１００は、１日分の動画データ２００のフレームから、複数の部分３０２を生成することによって、１日に対応する静止画データ３００を生成する。

【0040】

データ処理装置１００は、複数のカメラによって並行して撮像された複数の動画データ２００から、静止画データ３００を生成してもよい。

【0041】

図３及び図４は、複数の動画データ２００を静止画データ３００に変換する変換処理について説明するための説明図である。ここでは、６方向から養殖場４０の魚群を撮像した６つの動画データ２００を静止画データ３００に変換するケースについて説明する。図３、図４に示す例においては、上、下、及び横の４方向（横Ａ、横Ｂ、横Ｃ、横Ｄ）から養殖場４０の魚群が撮像されている。

【0042】

図３では、あるタイミングにおける、上から撮像した動画データ２１０のフレーム２１１、下から撮像した動画データ２２０のフレーム２２１、横Ａから撮像した動画データ２３０のフレーム２３１、横Ｂから撮像した動画データ２４０のフレーム２４１、横Ｃから撮像した動画データ２５０のフレーム２５１、横Ｄから撮像した動画データ２６０のフレーム２６１を例示している。

【0043】

データ処理装置１００は、例えば、フレーム２１１から部分３１１を生成し、フレーム２２１から部分３２１を生成し、フレーム２３１から部分３３１を生成し、フレーム２４１から部分３４１を生成し、フレーム２５１から部分３５１を生成し、フレーム２６１から部分３６１を生成する。データ処理装置１００は、図４に示すように、これらを連結する。データ処理装置１００は、次のフレームについても、同様に静止画の部分を生成して、連結する。これを繰り返すことによって、データ処理装置１００は、静止画データ３００を生成する。

【0044】

なお、データ処理装置１００は、上述したように、１つのフレームから１つの部分を生成するのではなく、複数の連続するフレームから１つの部分を生成してもよい。例えば、データ処理装置１００は、上から撮像した動画データ２１０の連続する１０フレームから１つの部分３１１を生成し、下から撮像した動画データ２２０の連続する１０フレームから１つの部分３２１を生成し、横Ａから撮像した動画データ２３０の連続する１０フレームから１つの部分３３１を生成し、横Ｂから撮像した動画データ２４０の連続する１０フレームから１つの部分３４１を生成し、横Ｃから撮像した動画データ２５０の連続する１０フレームから１つの部分３５１を生成し、横Ｄから撮像した動画データ２６０の連続する１０フレームから１つの部分３６１を生成する。１０フレームというのは一例であり、フレームの数は他の数であってもよい。

【0045】

図５は、動画データ２００をテキストデータ４００に変換する変換処理について説明するための説明図である。ここでは、カメラ１０２が、養殖場４０の魚群を撮像した動画データ２００を、テキストデータ４００に変換するケースについて説明する。

【0046】

データ処理装置１００は、カメラ１０２から動画データ２００を取得する。データ処理装置１００は、動画データ２００における魚群の時系列の動きの情報をテキストの要素に変換して、変換したテキストの要素を含むテキストデータ４００を生成する。

【0047】

例えば、データ処理装置１００は、動画データ２００の１つのフレームから、テキストデータ４００を構成する１つの部分４０２を生成する。データ処理装置１００は、それぞれが動画データ２００の複数のフレームのそれぞれに対応する複数の部分４０２を生成することによって、複数の部分４０２からなるテキストデータ４００を生成してよい。なお、データ処理装置１００は、動画データ２００の複数のフレームから、１つの部分４０２を生成してもよい。

【0048】

データ処理装置１００は、任意の期間毎にテキストデータ４００を生成してよい。例えば、１日毎にテキストデータ４００を生成する場合、データ処理装置１００は、１日分の動画データ２００のフレームから、複数の部分４０２を生成することによって、１日に対応するテキストデータ４００を生成する。

【0049】

データ処理装置１００は、複数のカメラによって並行して撮像された複数の動画データ２００から、テキストデータ４００を生成してよい。ここでは、図３に示すように、６方向から養殖場４０の魚群を撮像した６つの動画データ２００をテキストデータ４００に変換するケースについて説明する。

【0050】

データ処理装置１００は、例えば、フレーム２１１から部分４１１を生成し、フレーム２２１から部分４２１を生成し、フレーム２３１から部分４３１を生成し、フレーム２４１から部分４４１を生成し、フレーム２５１から部分４５１を生成し、フレーム２６１から部分４６１を生成する。データ処理装置１００は、図６に示すように、これらを連結する。データ処理装置１００は、次のフレームについても、同様にテキストの部分を生成して、連結する。これを繰り返すことによって、データ処理装置１００は、テキストデータ４００を生成する。

【0051】

なお、データ処理装置１００は、上述したように、１つのフレームから１つの部分を生成するのではなく、複数の連続するフレームから１つの部分を生成してもよい。例えば、データ処理装置１００は、上から撮像した動画データ２１０の連続する１０フレームから１つの部分４１１を生成し、下から撮像した動画データ２２０の連続する１０フレームから１つの部分４２１を生成し、横Ａから撮像した動画データ２３０の連続する１０フレームから１つの部分４３１を生成し、横Ｂから撮像した動画データ２４０の連続する１０フレームから１つの部分４４１を生成し、横Ｃから撮像した動画データ２５０の連続する１０フレームから１つの部分４５１を生成し、横Ｄから撮像した動画データ２６０の連続する１０フレームから１つの部分４６１を生成する。１０フレームというのは一例であり、フレームの数は他の数であってもよい。

【0052】

図７は、動画データ２００をゲノムデータ５００に変換する変換処理について説明するための説明図である。ここでは、カメラ１０２が、養殖場４０の魚群を撮像した動画データ２００を、ゲノムデータ５００に変換するケースについて説明する。

【0053】

データ処理装置１００は、カメラ１０２から動画データ２００を取得する。データ処理装置１００は、動画データ２００における魚群の時系列の動きの情報をゲノムの要素に変換して、変換したゲノムの要素を含むゲノムデータ５００を生成する。

【0054】

例えば、データ処理装置１００は、動画データ２００の１つのフレームから、ゲノムデータ５００を構成する１つの部分を生成する。データ処理装置１００は、それぞれが動画データ２００の複数のフレームのそれぞれに対応する複数の部分を生成することによって、複数の部分からなるゲノムデータ５００を生成してよい。なお、データ処理装置１００は、動画データ２００の複数のフレームから、１つの部分４０２を生成してもよい。

【0055】

データ処理装置１００は、任意の期間毎にゲノムデータ５００を生成してよい。例えば、１日毎にゲノムデータ５００を生成する場合、データ処理装置１００は、１日分の動画データ２００のフレームから、複数の部分を生成することによって、１日に対応するゲノムデータ５００を生成する。

【0056】

データ処理装置１００は、静止画データ３００及びテキストデータ４００と同様に、複数のカメラによって並行して撮像された複数の動画データ２００から、ゲノムデータ５００を生成してよい。

【0057】

図８は、データ処理装置１００の機能構成の一例を概略的に示す。データ処理装置１００は、変換情報記憶部１１２、モデル記憶部１１４、動画データ取得部１１６、データ生成部１１８、分類結果取得部１２０、モデル生成部１２２、出力部１３０、変換データ取得部１４２、及び動画データ生成部１４４を備える。

【0058】

変換情報記憶部１１２は、動画データ２００を変換するための変換ルールを含む変換情報を記憶する。変換情報記憶部１１２は、予め登録された変換情報を記憶してよい。例えば、変換情報記憶部１１２は、動画データ２００を静止画データ３００に変換するための変換ルールを含む変換情報を記憶する。例えば、変換情報記憶部１１２は、動画データ２００をテキストデータ４００に変換するための変換ルールを含む変換情報を記憶する。例えば、変換情報記憶部１１２は、動画データ２００をゲノムデータ５００に変換するための変換ルールを含む変換情報を記憶する。

【0059】

モデル記憶部１１４は、変換データを分類するように学習された分類ネットワークを記憶する。モデル記憶部１１４は、予め登録された分類ネットワークを記憶してよい。モデル記憶部１１４は、例えば、他の装置によって生成された分類ネットワークを記憶する。例えば、変換情報記憶部１１２は、静止画分類ネットワークを記憶する。例えば、変換情報記憶部１１２は、テキスト分類ネットワークを記憶する。例えば、変換情報記憶部１１２は、ゲノム分類ネットワークを記憶する。

【0060】

動画データ取得部１１６は、オブジェクトを撮像した動画データ２００を取得する。動画データ取得部１１６は、変換対象の動画データ２００を取得する。動画データ取得部１１６は、カメラ１０２から動画データ２００を受信してよい。動画データ取得部１１６は、通信端末３０から動画データ２００を受信してよい。動画データ取得部１１６は、他の装置から動画データ２００を受信してもよい。動画データ取得部１１６は、可搬型の記憶デバイス等から、動画データ２００を取得してもよい。

【0061】

動画データ２００には、オブジェクトの検出結果が付帯されてもよい。動画データ２００には、オブジェクトの３次元位置の情報が付帯されてもよい。オブジェクトの３次元位置の情報は、カメラ１０２やカメラ３２とは別途配置された測距センサによる出力を用いる方法や、カメラ１０２やカメラ３２の画像解析結果を用いる方法等によって特定され得る。なお、これらに限られず、オブジェクトの３次元位置を特定することができれば、どのような手法が用いられてもよい。

【0062】

データ生成部１１８は、動画データ取得部１１６が取得した動画データ２００を変換して、変換データを生成する。データ生成部１１８は、変換情報記憶部１１２に記憶されている変換情報を用いて、動画データ２００から変換データを生成してよい。

【0063】

例えば、データ生成部１１８は、動画データ２００から、静止画データ３００を生成する。データ生成部１１８は、動画データ２００におけるオブジェクトの時系列の動きの情報を静止画の要素に変換して、変換した静止画の要素を含む静止画データ３００を生成してよい。データ生成部１１８は、動画データ２００におけるオブジェクトの時系列の動きの情報を、画素値、特徴ベクトル、及びエッジの少なくともいずれかによって表す静止画データ３００を生成してよい。このように、静止画の要素の例として、画素値、特徴ベクトル、及びエッジが挙げられるが、これらに限られない。

【0064】

データ生成部１１８は、動画データ２００における複数のオブジェクトの時系列の位置の変化の情報を静止画の要素に変換して、変換した静止画の要素を含む静止画データ３００を生成してよい。

【0065】

データ生成部１１８は、例えば、動画データ２００における複数のオブジェクトの時系列の位置の変化の情報を、画素値によって表す静止画データ３００を生成する。データ生成部１１８は、例えば、フレーム毎の、オブジェクトが存在する３次元位置の情報を、画素値の情報に変換する。具体例として、データ生成部１１８は、動画データ２００の１つのフレームについて、フレームに含まれる複数のオブジェクトのそれぞれのＸ座標、Ｙ座標、Ｚ座標を、連続する３つのピクセルの画素値として割り当てていく。これにより、静止画データ３００における当該フレームに対応する部分について、連続する３つのピクセルの画素値が、オブジェクトのＸ座標、Ｙ座標、Ｚ座標を示すことになる。データ生成部１１８は、動画データ２００の他のフレームについて、同様に画素値として割り当てていくことによって、動画データ２００に対応する静止画データ３００を生成し得る。複数のオブジェクトのそれぞれのＸ座標、Ｙ座標、Ｚ座標の情報を画素値に変換する方法は、これに限られない。既存の圧縮技術を用いて、複数のオブジェクトのそれぞれのＸ座標、Ｙ座標、Ｚ座標の情報を圧縮して、画素値に変換してもよい。フレームの区切りについては、配置によって表現してよく、フレームの区切りを示す１又は複数の画素値を用いてもよい。フレームの区切りについて、これら以外の方法を用いてもよい。

【0066】

画素値として、グレースケールが用いられてよい。これにより、動画データ２００における複数のオブジェクトの時系列の位置の変化の情報を表す、グレースケールの静止画データ３００が生成されることになる。当該静止画データ３００は、動画データ２００において、複数のオブジェクトが同じような動きをしている場合には、同じような模様が繰り返される見た目となり得る。また、当該静止画データ３００は、動画データ２００において、複数のオブジェクトが一時的に激しい動きをしている場合には、その部分が濃くなったり、薄くなったり、変化が激しくなったりすることによって、その部分が他の部分と異なることを示す見た目となり得る。

【0067】

画素値として、カラーが用いられてもよい。これにより、グレースケールを用いる場合と比較して、複数のオブジェクトの時系列の位置の変化の情報を効率的に表現することができる。カラーを用いた場合、動画データ２００における複数のオブジェクトの時系列の位置の変化の情報を表す、カラーの静止画データ３００が生成されることになる。当該静止画データ３００は、動画データ２００において、複数のオブジェクトが同じような動きをしている場合には、同じような色合いとなり得る。また、当該静止画データ３００は、動画データ２００において、複数のオブジェクトが一時的に激しい動きをしている場合には、その部分の色彩が濃くなったり、薄くなったり、色合いの変化が激しくなったりすることによって、その部分が他の部分と異なることを示す見た目となり得る。

【0068】

データ生成部１１８は、例えば、動画データ２００における複数のオブジェクトの時系列の位置の変化の情報を、特徴ベクトルによって表す静止画データ３００を生成する。データ生成部１１８は、例えば、フレーム毎の、オブジェクトが存在する３次元位置の情報を、特徴ベクトルの情報に変換する。データ生成部１１８は、特徴ベクトルを表現する方法として、位置座標、速度変化量、及び方向を数値化したベクトル等を用いてもよく、特徴そのものを学習する方法を用いてもよい。魚群等のように、対象となるオブジェクトの数が多い場合には、複数のオブジェクトの時系列の位置について、統計をとった後に、特徴ベクトルを生成してもよい。また、特徴ベクトルから統計をとって、それらをまた上位層の特徴ベクトルとしてもよい。

【0069】

データ生成部１１８は、例えば、動画データ２００における複数のオブジェクトの時系列の位置の変化の情報を、エッジによって表す静止画データ３００を生成する。データ生成部１１８は、例えば、フレーム毎の、オブジェクトが存在する３次元位置の情報を、エッジの情報に変換する。データ生成部１１８は、例えば、２値化して微分をとる方法、キャニー法、ＤＮＮ（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）によってエッジの学習やシルエットの学習をする方法等を用いて、複数のオブジェクトの時系列の位置の変化の情報と、エッジの情報との間の変換を実現してよい。

【0070】

データ生成部１１８は、動画データ２００におけるオブジェクトの時系列の形状変化の情報を静止画の要素に変換して、変換した静止画の要素を含む静止画データ３００を生成してもよい。

【0071】

データ生成部１１８は、例えば、動画データ２００におけるオブジェクトの時系列の形状変化の情報を、画素値によって表す静止画データ３００を生成する。データ生成部１１８は、例えば、フレーム毎の、オブジェクトの複数の構造点が存在する３次元位置の情報を、画素値の情報に変換する。例えば、オブジェクトが生物やロボット等である場合、オブジェクトの構造点とは、関節の位置であってよい。オブジェクトが関節を有さないものである場合、オブジェクトの構造点は、オブジェクトの動きに影響を与えるオブジェクトの各ポイントであってよい。

【0072】

具体例として、データ生成部１１８は、動画データ２００の１つのフレームについて、フレームに含まれるオブジェクトの複数の構造点のそれぞれのＸ座標、Ｙ座標、Ｚ座標を、連続する３つのピクセルの画素値として割り当てていく。これにより、静止画データ３００における当該フレームに対応する部分について、連続する３つのピクセルの画素値が、オブジェクトのＸ座標、Ｙ座標、Ｚ座標を示すことになる。データ生成部１１８は、動画データ２００の他のフレームについて、同様に画素値として割り当てていくことによって、動画データ２００に対応する静止画データ３００を生成し得る。複数のオブジェクトのそれぞれのＸ座標、Ｙ座標、Ｚ座標の情報を画素値に変換する方法は、これに限られない。既存の圧縮技術を用いて、複数のオブジェクトのそれぞれのＸ座標、Ｙ座標、Ｚ座標の情報を圧縮して、画素値に変換してもよい。フレームの区切りについては、配置によって表現してよく、フレームの区切りを示す１又は複数の画素値を用いてもよい。フレームの区切りについて、これら以外の方法を用いてもよい。

【0073】

画素値として、グレースケールが用いられてよい。これにより、動画データ２００におけるオブジェクトの時系列の形状変化の情報を表す、グレースケールの静止画データ３００が生成されることになる。当該静止画データ３００は、動画データ２００において、オブジェクトが同じような動きをしている場合には、同じような模様が繰り返される見た目となり得る。また、当該静止画データ３００は、動画データ２００において、オブジェクトが一時的に激しい動きをしている場合には、その部分が濃くなったり、薄くなったり、変化が激しくなったりすることによって、その部分が他の部分と異なることを示す見た目となり得る。

【0074】

画素値として、カラーが用いられてもよい。これにより、グレースケールを用いる場合と比較して、オブジェクトの時系列の形状変化の情報を効率的に表現することができる。カラーを用いた場合、動画データ２００におけるオブジェクトの時系列の形状変化の情報を表す、カラーの静止画データ３００が生成されることになる。当該静止画データ３００は、動画データ２００において、オブジェクトが同じような動きをしている場合には、同じような色合いとなり得る。また、当該静止画データ３００は、動画データ２００において、オブジェクトが一時的に激しい動きをしている場合には、その部分の色彩が濃くなったり、薄くなったり、色合いの変化が激しくなったりすることによって、その部分が他の部分と異なることを示す見た目となり得る。

【0075】

データ生成部１１８は、例えば、動画データ２００におけるオブジェクトの時系列の形状変化の情報を、特徴ベクトルによって表す静止画データ３００を生成する。データ生成部１１８は、例えば、フレーム毎の、オブジェクトが存在する３次元位置の情報を、特徴ベクトルの情報に変換する。

【0076】

データ生成部１１８は、例えば、動画データ２００におけるオブジェクトの時系列の形状変化の情報を、エッジによって表す静止画データ３００を生成する。データ生成部１１８は、例えば、フレーム毎の、オブジェクトが存在する３次元位置の情報を、エッジの情報に変換する。

【0077】

例えば、データ生成部１１８は、オブジェクトを複数の異なる方向から撮像した複数の動画データ２００から、静止画データ３００を生成する。ここでは、１つの動画データ２００から静止画データ３００を生成する場合と異なる点について主に説明する。データ生成部１１８は、複数の動画データ２００におけるオブジェクトの時系列の動きの情報を静止画の要素に変換して、変換した静止画の要素を含む静止画データ３００を生成してよい。データ生成部１１８は、複数の動画データ２００におけるオブジェクトの時系列の動きの情報を、画素値、特徴ベクトル、及びエッジの少なくともいずれかによって表す静止画データ３００を生成してよい。

【0078】

データ生成部１１８は、複数の動画データ２００における複数のオブジェクトの時系列の位置の変化の情報を静止画の要素に変換して、変換した静止画の要素を含む静止画データ３００を生成してよい。

【0079】

データ生成部１１８は、例えば、複数の動画データ２００における複数のオブジェクトの時系列の位置の変化の情報を、画素値によって表す静止画データ３００を生成する。データ生成部１１８は、例えば、複数の動画データ２００毎に、フレーム毎の、オブジェクトが存在する３次元位置の情報を、画素値の情報に変換する。具体例として、データ生成部１１８は、動画データ２００の１つのフレームについて、フレームに含まれる複数のオブジェクトのそれぞれのＸ座標、Ｙ座標、Ｚ座標を、連続する３つのピクセルの画素値として割り当てていく。これにより、静止画データ３００における当該フレームに対応する部分について、連続する３つのピクセルの画素値が、オブジェクトのＸ座標、Ｙ座標、Ｚ座標を示すことになる。データ生成部１１８は、動画データ２００の他のフレームについて、同様に画素値として割り当てていくことによって、動画データ２００に対応する静止画データ３００を生成し得る。

【0080】

データ生成部１１８は、例えば、複数の動画データ２００における複数のオブジェクトの時系列の位置の変化の情報を、特徴ベクトルによって表す静止画データ３００を生成する。データ生成部１１８は、例えば、複数の動画データ２００毎に、フレーム毎の、オブジェクトが存在する３次元位置の情報を、特徴ベクトルの情報に変換する。

【0081】

データ生成部１１８は、例えば、複数の動画データ２００における複数のオブジェクトの時系列の位置の変化の情報を、エッジによって表す静止画データ３００を生成する。データ生成部１１８は、例えば、複数の動画データ２００毎に、フレーム毎の、オブジェクトが存在する３次元位置の情報を、エッジの情報に変換する。

【0082】

データ生成部１１８は、複数の動画データ２００におけるオブジェクトの時系列の形状変化の情報を静止画の要素に変換して、変換した静止画の要素を含む静止画データ３００を生成してもよい。

【0083】

データ生成部１１８は、例えば、複数の動画データ２００におけるオブジェクトの時系列の形状変化の情報を、画素値によって表す静止画データ３００を生成する。データ生成部１１８は、例えば、複数の動画データ２００毎に、フレーム毎の、オブジェクトの複数の構造点が存在する３次元位置の情報を、画素値の情報に変換する。具体例として、データ生成部１１８は、動画データ２００の１つのフレームについて、フレームに含まれるオブジェクトの複数の構造点のそれぞれのＸ座標、Ｙ座標、Ｚ座標を、連続する３つのピクセルの画素値として割り当てていく。これにより、静止画データ３００における当該フレームに対応する部分について、連続する３つのピクセルの画素値が、オブジェクトのＸ座標、Ｙ座標、Ｚ座標を示すことになる。データ生成部１１８は、動画データ２００の他のフレームについて、同様に画素値として割り当てていくことによって、動画データ２００に対応する静止画データ３００を生成し得る。

【0084】

データ生成部１１８は、例えば、複数の動画データ２００におけるオブジェクトの時系列の形状変化の情報を、特徴ベクトルによって表す静止画データ３００を生成する。データ生成部１１８は、例えば、複数の動画データ２００毎に、フレーム毎の、オブジェクトが存在する３次元位置の情報を、特徴ベクトルの情報に変換する。

【0085】

データ生成部１１８は、例えば、複数の動画データ２００におけるオブジェクトの時系列の形状変化の情報を、エッジによって表す静止画データ３００を生成する。データ生成部１１８は、例えば、複数の動画データ２００毎に、フレーム毎の、オブジェクトが存在する３次元位置の情報を、エッジの情報に変換する。

【0086】

例えば、データ生成部１１８は、動画データ２００から、テキストデータ４００を生成する。データ生成部１１８は、動画データ２００におけるオブジェクトの時系列の動きの情報をテキストの要素に変換して、変換したテキストの要素を含むテキストデータ４００を生成してよい。データ生成部１１８は、動画データ２００におけるオブジェクトの時系列の動きの情報を、文字、単語、フォント、及びアスキーコードの少なくともいずれかによって表すテキストデータ４００を生成してよい。このように、テキストの要素の例として、文字、単語、フォント、及びアスキーコードが挙げられるが、これらに限られない。

【0087】

データ生成部１１８は、動画データ２００における複数のオブジェクトの時系列の位置の変化の情報をテキストの要素に変換して、変換したテキストの要素を含むテキストデータ４００を生成してよい。

【0088】

データ生成部１１８は、例えば、動画データ２００における複数のオブジェクトの時系列の位置の変化の情報を、文字によって表すテキストデータ４００を生成する。データ生成部１１８は、例えば、フレーム毎の、オブジェクトが存在する３次元位置の情報を、文字の情報に変換する。具体例として、データ生成部１１８は、動画データ２００の１つのフレームについて、フレームに含まれる複数のオブジェクトのそれぞれのＸ座標、Ｙ座標、Ｚ座標を、連続する３つの文字として割り当てていく。これにより、静止画データ３００における当該フレームに対応する部分について、連続する３つの文字が、オブジェクトのＸ座標、Ｙ座標、Ｚ座標を示すことになる。データ生成部１１８は、動画データ２００の他のフレームについて、同様に文字として割り当てていくことによって、動画データ２００に対応するテキストデータ４００を生成し得る。複数のオブジェクトのそれぞれのＸ座標、Ｙ座標、Ｚ座標の情報を文字に変換する方法は、これに限られない。既存の圧縮技術を用いて、複数のオブジェクトのそれぞれのＸ座標、Ｙ座標、Ｚ座標の情報を圧縮して、文字に変換してもよい。フレームの区切りについては、配置によって表現してよく、フレームの区切りを示す１又は複数の文字を用いてもよい。フレームの区切りについて、これら以外の方法を用いてもよい。

【0089】

文字として、日本語の文字が用いられてよい。これにより、動画データ２００における複数のオブジェクトの時系列の位置の変化の情報を表す、日本語のテキストデータ４００が生成されることになる。当該テキストデータ４００は、動画データ２００において、複数のオブジェクトが同じような動きをしている場合には、同じような文字が繰り返される、同じような内容となり得る。また、当該テキストデータ４００は、動画データ２００において、複数のオブジェクトが一時的に激しい動きをしている場合には、その部分だけ、他の部分と用いられる文字がことなることになり得る。文字として、日本以外の国の文字が用いられても良い。また、文字として、複数の国の文字が混在してもよい。

【0090】

データ生成部１１８は、例えば、動画データ２００における複数のオブジェクトの時系列の位置の変化の情報を、単語によって表すテキストデータ４００を生成する。データ生成部１１８は、例えば、フレーム毎の、オブジェクトが存在する３次元位置の情報を、単語の情報に変換する。

【0091】

データ生成部１１８は、例えば、動画データ２００における複数のオブジェクトの時系列の位置の変化の情報を、アスキーコードによって表すテキストデータ４００を生成する。データ生成部１１８は、例えば、フレーム毎の、オブジェクトが存在する３次元位置の情報を、アスキーコードの情報に変換する。

【0092】

データ生成部１１８は、例えば、動画データ２００における複数のオブジェクトの時系列の位置の変化の情報を、文字及び単語の少なくともいずれかと、フォントとによって表すテキストデータ４００を生成する。データ生成部１１８は、例えば、フレーム毎の、オブジェクトが存在する３次元位置の情報を、文字及び単語の少なくともいずれかと、フォントの情報に変換する。

【0093】

データ生成部１１８は、動画データ２００におけるオブジェクトの時系列の形状変化の情報をテキストの要素に変換して、変換したテキストの要素を含むテキストデータ４００を生成してもよい。

【0094】

データ生成部１１８は、例えば、動画データ２００におけるオブジェクトの時系列の形状変化の情報を、文字によって表すテキストデータ４００を生成する。データ生成部１１８は、例えば、フレーム毎の、オブジェクトの複数の構造点が存在する３次元位置の情報を、文字の情報に変換する。

【0095】

具体例として、データ生成部１１８は、動画データ２００の１つのフレームについて、フレームに含まれるオブジェクトの複数の構造点のそれぞれのＸ座標、Ｙ座標、Ｚ座標を、連続する３つの文字として割り当てていく。これにより、テキストデータ４００における当該フレームに対応する部分について、連続する３つの文字が、オブジェクトのＸ座標、Ｙ座標、Ｚ座標を示すことになる。データ生成部１１８は、動画データ２００の他のフレームについて、同様に文字として割り当てていくことによって、動画データ２００に対応するテキストデータ４００を生成し得る。オブジェクトの複数の構造点のそれぞれのＸ座標、Ｙ座標、Ｚ座標の情報を文字に変換する方法は、これに限られない。既存の圧縮技術を用いて、オブジェクトの複数の構造点のそれぞれのＸ座標、Ｙ座標、Ｚ座標の情報を圧縮して、文字に変換してもよい。フレームの区切りについては、配置によって表現してよく、フレームの区切りを示す１又は複数の文字を用いてもよい。フレームの区切りについて、これら以外の方法を用いてもよい。

【0096】

文字として、日本語の文字が用いられてよい。これにより、動画データ２００におけるオブジェクトの時系列の形状変化の情報を表す、日本語のテキストデータ４００が生成されることになる。当該テキストデータ４００は、動画データ２００において、オブジェクトが同じような動きをしている場合には、同じような文字が繰り返される、同じような内容となり得る。また、当該テキストデータ４００は、動画データ２００において、オブジェクトが一時的に激しい動きをしている場合には、その部分だけ、他の部分と用いられる文字が異なることになり得る。文字として、日本以外の国の文字が用いられても良い。また、文字として、複数の国の文字が混在してもよい。

【0097】

データ生成部１１８は、例えば、動画データ２００におけるオブジェクトの時系列の形状変化の情報を、単語によって表すテキストデータ４００を生成する。データ生成部１１８は、例えば、フレーム毎の、オブジェクトが存在する３次元位置の情報を、単語の情報に変換する。

【0098】

データ生成部１１８は、例えば、動画データ２００におけるオブジェクトの時系列の形状変化の情報を、アスキーコードによって表すテキストデータ４００を生成する。データ生成部１１８は、例えば、フレーム毎の、オブジェクトが存在する３次元位置の情報を、アスキーコードの情報に変換する。

【0099】

データ生成部１１８は、例えば、動画データ２００におけるオブジェクトの時系列の形状変化の情報を、文字及び単語の少なくともいずれかと、フォントとによって表すテキストデータ４００を生成する。データ生成部１１８は、例えば、フレーム毎の、オブジェクトが存在する３次元位置の情報を、文字及び単語の少なくともいずれかと、フォントの情報に変換する。

【0100】

例えば、データ生成部１１８は、オブジェクトを複数の異なる方向から撮像した複数の動画データ２００から、テキストデータ４００を生成する。ここでは、１つの動画データ２００からテキストデータ４００を生成する場合と異なる点について主に説明する。データ生成部１１８は、複数の動画データ２００におけるオブジェクトの時系列の動きの情報をテキストの要素に変換して、変換したテキストの要素を含むテキストデータ４００を生成してよい。データ生成部１１８は、複数の動画データ２００におけるオブジェクトの時系列の動きの情報を、文字、単語、フォント、及びアスキーコードの少なくともいずれかによって表すテキストデータ４００を生成してよい。

【0101】

データ生成部１１８は、複数の動画データ２００における複数のオブジェクトの時系列の位置の変化の情報をテキストの要素に変換して、変換したテキストの要素を含むテキストデータ４００を生成してよい。

【0102】

データ生成部１１８は、例えば、複数の動画データ２００における複数のオブジェクトの時系列の位置の変化の情報を、文字によって表すテキストデータ４００を生成する。データ生成部１１８は、例えば、複数の動画データ２００毎に、フレーム毎の、オブジェクトが存在する３次元位置の情報を、文字の情報に変換する。具体例として、データ生成部１１８は、動画データ２００の１つのフレームについて、フレームに含まれる複数のオブジェクトのそれぞれのＸ座標、Ｙ座標、Ｚ座標を、連続する３つの文字として割り当てていく。これにより、静止画データ３００における当該フレームに対応する部分について、連続する３つの文字が、オブジェクトのＸ座標、Ｙ座標、Ｚ座標を示すことになる。データ生成部１１８は、動画データ２００の他のフレームについて、同様に文字として割り当てていくことによって、動画データ２００に対応するテキストデータ４００を生成し得る。

【0103】

データ生成部１１８は、例えば、複数の動画データ２００における複数のオブジェクトの時系列の位置の変化の情報を、単語によって表すテキストデータ４００を生成する。データ生成部１１８は、例えば、複数の動画データ２００毎に、フレーム毎の、オブジェクトが存在する３次元位置の情報を、単語の情報に変換する。

【0104】

データ生成部１１８は、例えば、複数の動画データ２００における複数のオブジェクトの時系列の位置の変化の情報を、アスキーコードによって表すテキストデータ４００を生成する。データ生成部１１８は、例えば、複数の動画データ２００毎に、フレーム毎の、オブジェクトが存在する３次元位置の情報を、アスキーコードの情報に変換する。

【0105】

データ生成部１１８は、例えば、複数の動画データ２００における複数のオブジェクトの時系列の位置の変化の情報を、文字及び単語の少なくともいずれかと、フォントとによって表すテキストデータ４００を生成する。データ生成部１１８は、例えば、複数の動画データ２００毎に、フレーム毎の、オブジェクトが存在する３次元位置の情報を、文字及び単語の少なくともいずれかと、フォントの情報に変換する。

【0106】

データ生成部１１８は、複数の動画データ２００におけるオブジェクトの時系列の形状変化の情報をテキストの要素に変換して、変換したテキストの要素を含むテキストデータ４００を生成してもよい。

【0107】

データ生成部１１８は、例えば、複数の動画データ２００におけるオブジェクトの時系列の形状変化の情報を、文字によって表すテキストデータ４００を生成する。データ生成部１１８は、例えば、複数の動画データ２００毎に、フレーム毎の、オブジェクトの複数の構造点が存在する３次元位置の情報を、文字の情報に変換する。具体例として、データ生成部１１８は、動画データ２００の１つのフレームについて、フレームに含まれるオブジェクトの複数の構造点のそれぞれのＸ座標、Ｙ座標、Ｚ座標を、連続する３つの文字として割り当てていく。これにより、テキストデータ４００における当該フレームに対応する部分について、連続する３つの文字が、オブジェクトのＸ座標、Ｙ座標、Ｚ座標を示すことになる。データ生成部１１８は、動画データ２００の他のフレームについて、同様に文字として割り当てていくことによって、動画データ２００に対応するテキストデータ４００を生成し得る。

【0108】

データ生成部１１８は、例えば、複数の動画データ２００におけるオブジェクトの時系列の形状変化の情報を、単語によって表すテキストデータ４００を生成する。データ生成部１１８は、例えば、複数の動画データ２００毎に、フレーム毎の、オブジェクトが存在する３次元位置の情報を、単語の情報に変換する。

【0109】

データ生成部１１８は、例えば、複数の動画データ２００におけるオブジェクトの時系列の形状変化の情報を、アスキーコードによって表すテキストデータ４００を生成する。データ生成部１１８は、例えば、複数の動画データ２００毎に、フレーム毎の、オブジェクトが存在する３次元位置の情報を、アスキーコードの情報に変換する。

【0110】

データ生成部１１８は、例えば、複数の動画データ２００におけるオブジェクトの時系列の形状変化の情報を、文字及び単語の少なくともいずれかと、フォントとによって表すテキストデータ４００を生成する。データ生成部１１８は、例えば、複数の動画データ２００毎に、フレーム毎の、オブジェクトが存在する３次元位置の情報を、文字及び単語の少なくともいずれかと、フォントの情報に変換する。

【0111】

例えば、データ生成部１１８は、動画データ２００から、ゲノムデータ５００を生成する。データ生成部１１８は、動画データ２００におけるオブジェクトの時系列の動きの情報をゲノムの要素に変換して、変換したゲノムの要素を含むゲノムデータ５００を生成してよい。データ生成部１１８は、動画データ２００におけるオブジェクトの時系列の動きの情報を、塩基配列によって表すゲノムデータ５００を生成してよい。

【0112】

データ生成部１１８は、動画データ２００における複数のオブジェクトの時系列の位置の変化の情報をゲノムの要素に変換して、変換したゲノムの要素を含むゲノムデータ５００を生成してよい。

【0113】

データ生成部１１８は、例えば、動画データ２００における複数のオブジェクトの時系列の位置の変化の情報を、塩基配列によって表すゲノムデータ５００を生成する。データ生成部１１８は、例えば、フレーム毎の、オブジェクトが存在する３次元位置の情報を、塩基配列の情報に変換する。具体例として、データ生成部１１８は、動画データ２００の１つのフレームについて、フレームに含まれる複数のオブジェクトのそれぞれのＸ座標、Ｙ座標、Ｚ座標を、塩基配列として割り当てていく。これにより、ゲノムデータ５００における当該フレームに対応する部分について、連続する塩基配列が、オブジェクトのＸ座標、Ｙ座標、Ｚ座標を示すことになる。データ生成部１１８は、動画データ２００の他のフレームについて、同様に塩基配列として割り当てていくことによって、動画データ２００に対応するゲノムデータ５００を生成し得る。複数のオブジェクトのそれぞれのＸ座標、Ｙ座標、Ｚ座標の情報を塩基配列に変換する方法は、これに限られない。既存の圧縮技術を用いて、複数のオブジェクトのそれぞれのＸ座標、Ｙ座標、Ｚ座標の情報を圧縮して、塩基配列に変換してもよい。フレームの区切りについては、配置によって表現してよく、フレームの区切りを示す塩基配列を用いてもよい。フレームの区切りについて、これら以外の方法を用いてもよい。

【0114】

データ生成部１１８は、動画データ２００におけるオブジェクトの時系列の形状変化の情報をゲノムの要素に変換して、変換したゲノムの要素を含むゲノムデータ５００を生成してもよい。

【0115】

データ生成部１１８は、例えば、動画データ２００におけるオブジェクトの時系列の形状変化の情報を、塩基配列によって表すゲノムデータ５００を生成する。データ生成部１１８は、例えば、フレーム毎の、オブジェクトの複数の構造点が存在する３次元位置の情報を、塩基配列の情報に変換する。具体例として、データ生成部１１８は、動画データ２００の１つのフレームについて、フレームに含まれるオブジェクトの複数の構造点のそれぞれのＸ座標、Ｙ座標、Ｚ座標を、塩基配列として割り当てていく。これにより、ゲノムデータ５００における当該フレームに対応する部分について、塩基配列が、オブジェクトのＸ座標、Ｙ座標、Ｚ座標を示すことになる。データ生成部１１８は、動画データ２００の他のフレームについて、同様に塩基配列として割り当てていくことによって、動画データ２００に対応するゲノムデータ５００を生成し得る。オブジェクトの複数の構造点のそれぞれのＸ座標、Ｙ座標、Ｚ座標の情報を塩基配列に変換する方法は、これに限られない。既存の圧縮技術を用いて、オブジェクトの複数の構造点のそれぞれのＸ座標、Ｙ座標、Ｚ座標の情報を圧縮して、塩基配列に変換してもよい。フレームの区切りについては、配置によって表現してよく、フレームの区切りを示す塩基配列を用いてもよい。フレームの区切りについて、これら以外の方法を用いてもよい。

【0116】

例えば、データ生成部１１８は、オブジェクトを複数の異なる方向から撮像した複数の動画データ２００から、ゲノムデータ５００を生成する。ここでは、１つの動画データ２００からゲノムデータ５００を生成する場合と異なる点について主に説明する。データ生成部１１８は、複数の動画データ２００におけるオブジェクトの時系列の動きの情報をゲノムの要素に変換して、変換したゲノムの要素を含むゲノムデータ５００を生成してよい。データ生成部１１８は、複数の動画データ２００におけるオブジェクトの時系列の動きの情報を、塩基配列によって表すテキストデータ４００を生成してよい。

【0117】

データ生成部１１８は、複数の動画データ２００における複数のオブジェクトの時系列の位置の変化の情報をゲノムの要素に変換して、変換したゲノムの要素を含むゲノムデータ５００を生成してよい。

【0118】

データ生成部１１８は、例えば、複数の動画データ２００における複数のオブジェクトの時系列の位置の変化の情報を、塩基配列によって表すゲノムデータ５００を生成する。データ生成部１１８は、例えば、複数の動画データ２００毎に、フレーム毎の、オブジェクトが存在する３次元位置の情報を、塩基配列の情報に変換する。具体例として、データ生成部１１８は、動画データ２００の１つのフレームについて、フレームに含まれる複数のオブジェクトのそれぞれのＸ座標、Ｙ座標、Ｚ座標を、塩基配列として割り当てていく。これにより、静止画データ３００における当該フレームに対応する部分について、塩基配列が、オブジェクトのＸ座標、Ｙ座標、Ｚ座標を示すことになる。データ生成部１１８は、動画データ２００の他のフレームについて、同様に塩基配列として割り当てていくことによって、動画データ２００に対応するテキストデータ４００を生成し得る。
＜ゲノムデータ：複数動画：形状変化＞

【0119】

データ生成部１１８は、複数の動画データ２００におけるオブジェクトの時系列の形状変化の情報をゲノムの要素に変換して、変換したゲノムの要素を含むゲノムデータ５００を生成してもよい。

【0120】

データ生成部１１８は、例えば、複数の動画データ２００におけるオブジェクトの時系列の形状変化の情報を、塩基配列によって表すゲノムデータ５００を生成する。データ生成部１１８は、例えば、複数の動画データ２００毎に、フレーム毎の、オブジェクトの複数の構造点が存在する３次元位置の情報を、塩基配列の情報に変換する。具体例として、データ生成部１１８は、動画データ２００の１つのフレームについて、フレームに含まれるオブジェクトの複数の構造点のそれぞれのＸ座標、Ｙ座標、Ｚ座標を、塩基配列として割り当てていく。これにより、ゲノムデータ５００における当該フレームに対応する部分について、連続する３つの文字が、オブジェクトのＸ座標、Ｙ座標、Ｚ座標を示すことになる。データ生成部１１８は、動画データ２００の他のフレームについて、同様に塩基配列として割り当てていくことによって、動画データ２００に対応するゲノムデータ５００を生成し得る。

【0121】

分類結果取得部１２０は、データ生成部１１８によって生成された変換データを、モデル記憶部１１４に記憶されている分類ネットワークに入力して、分類ネットワークから出力された分類結果を取得する。分類結果取得部１２０は、例えば、分類結果取得部１２０によって生成された静止画データ３００を、静止画分類ネットワークに入力して、静止画分類ネットワークから出力された分類結果を取得する。分類結果取得部１２０は、例えば、分類結果取得部１２０によって生成されたテキストデータ４００を、テキスト分類ネットワークに入力して、テキスト分類ネットワークから出力された分類結果を取得する。分類結果取得部１２０は、例えば、分類結果取得部１２０によって生成されたゲノムデータ５００を、ゲノム分類ネットワークに入力して、ゲノム分類ネットワークから出力された分類結果を取得する。

【0122】

モデル生成部１２２は、データ生成部１１８によって生成された変換データを用いた機械学習を実行することによって、変換データを分類する分類ネットワークを生成する。モデル生成部１２２は、生成した分類ネットワークを、モデル記憶部１１４に記憶させてよい。モデル生成部１２２は、例えば、データ生成部１１８によって生成された静止画データ３００を用いた機械学習を実行することによって、静止画データを分類する静止画分類ネットワークを生成する。モデル生成部１２２は、例えば、データ生成部１１８によって生成されたテキストデータ４００を用いた機械学習を実行することによって、テキストデータを分類するテキスト分類ネットワークを生成する。モデル生成部１２２は、例えば、データ生成部１１８によって生成されたゲノムデータ５００を用いた機械学習を実行することによって、ゲノムデータを分類するゲノム分類ネットワークを生成する。

【0123】

出力部１３０は、各種出力制御を実行する。出力部１３０は、アラート出力部１３２、表示出力部１３４、及び音声出力部１３６を有してよい。

【0124】

アラート出力部１３２は、分類結果取得部１２０による分類結果に応じたアラートを出力する。アラート出力部１３２は、データ処理装置１００が備えるディスプレイにアラート情報を表示出力させたり、データ処理装置１００が備えるスピーカにアラートを音声出力させたり、通信端末３０が備えるディスプレイにアラート情報を表示出力させたり、通信端末３０が備えるスピーカにアラートを音声出力させたりしてよい。

【0125】

例えば、アラート出力部１３２は、分類結果取得部１２０が取得した分類結果が予め定められた条件を満たす場合に、アラートを出力する。例えば、動画データ取得部１１６が継続的に動画データ２００を取得しており、データ生成部１１８が継続的に変換データを生成しており、分類結果取得部１２０が継続的に分類結果を取得している状況において、アラート出力部１３２は、連続する分類結果の相違度が予め定められた閾値を超えたことに応じて、アラートを出力する。また、例えば、データ生成部１１８によって生成された変換データが複数蓄積された後、分類結果取得部１２０が、複数の変換データについて、まとめて分類結果を取得した場合において、アラート出力部１３２は、分類結果の中に、異常値を示す分類結果が含まれていた場合に、アラートを出力する。

【0126】

表示出力部１３４は、データ生成部１１８によって生成された変換データを表示出力させてよい。表示出力部１３４は、例えば、データ生成部１１８によって生成された変換データをデータ処理装置１００が備えるディスプレイに表示出力させる。表示出力部１３４は、例えば、データ生成部１１８によって生成された変換データを通信端末３０が備えるディスプレイに表示出力させる。

【0127】

例えば、表示出力部１３４は、データ生成部１１８によって生成された静止画データ３００を表示出力させる。表示出力部１３４は、データ生成部１１８によって継続的に生成された静止画データ３００を、継続的に表示出力させてもよい。例えば、表示出力部１３４は、データ生成部１１８によって生成されたテキストデータ４００を表示出力させる。表示出力部１３４は、データ生成部１１８によって継続的に生成されたテキストデータ４００を、継続的に表示出力させてもよい。例えば、表示出力部１３４は、データ生成部１１８によって生成されたゲノムデータ５００を表示出力させる。表示出力部１３４は、データ生成部１１８によって継続的に生成されたゲノムデータ５００を、継続的に表示出力させてもよい。これらによって、表示を閲覧した閲覧者に、オブジェクトに何らかの異常が発生した可能性があることに気づかせることができる。

【0128】

表示出力部１３４は、分類結果取得部１２０によって取得された分類結果を表示出力させてよい。表示出力部１３４は、例えば、分類結果取得部１２０によって取得された分類結果をデータ処理装置１００が備えるディスプレイに表示出力させる。表示出力部１３４は、例えば、分類結果取得部１２０によって取得された分類結果を通信端末３０が備えるディスプレイに表示出力させる。

【0129】

音声出力部１３６は、データ生成部１１８によって生成された変換データを音声出力させてよい。表示出力部１３４は、例えば、データ生成部１１８によって生成されたテキストデータ４００を音声出力させる。音声出力部１３６は、データ生成部１１８によって生成されたテキストデータ４００をデータ処理装置１００が備えるスピーカに音声出力させてよい。音声出力部１３６は、データ生成部１１８によって生成されたテキストデータ４００を通信端末３０が備えるスピーカに音声出力させてよい。これらによって、音声を聞いた者に、オブジェクトに何らかの異常が発生した可能性があることに気づかせることができる。

【0130】

変換データ取得部１４２は、動画データにおけるオブジェクトの時系列の動きの情報から変換された要素を含む変換データを取得する。変換データ取得部１４２は、例えば、動画データにおけるオブジェクトの時系列の動きの情報から変換された静止画の要素を含む静止画データを取得する。変換データ取得部１４２は、例えば、動画データにおけるオブジェクトの時系列の動きの情報から変換されたテキストの要素を含むテキストデータを取得する。変換データ取得部１４２は、例えば、動画データにおけるオブジェクトの時系列の動きの情報から変換されたゲノムの要素を含むゲノムデータを取得する。

【0131】

動画データ生成部１４４は、変換データ取得部１４２が取得した変換データから動画データを生成する。動画データ生成部１４４は、データ生成部１１８によって生成された変換データを変換データ取得部１４２が取得した場合、変換情報記憶部１１２に記憶されている、当該変換データの生成に用いられた変換情報を用いて、変換データから動画データを生成する。動画データ生成部１４４は、例えば、データ生成部１１８によって生成された静止画データ３００から動画データ２００を生成する。動画データ生成部１４４は、例えば、データ生成部１１８によって生成されたテキストデータ４００から動画データ２００を生成する。動画データ生成部１４４は、例えば、データ生成部１１８によって生成されたゲノムデータ５００から動画データ２００を生成する。

【0132】

他の装置によって生成された変換データを取得した場合、変換データ取得部１４２が、他の装置が当該変換データを生成する際に用いた変換情報を合わせて取得してよい。動画データ生成部１４４は、当該変換情報を用いて、当該変換データから動画データを生成してよい。動画データ生成部１４４は、例えば、他の装置によって生成された静止画データから動画データを生成する。動画データ生成部１４４は、例えば、他の装置によって生成されたテキストデータから動画データを生成する。動画データ生成部１４４は、例えば、他の装置によって生成されたゲノムデータから動画データを生成する。

【0133】

表示出力部１３４は、動画データ生成部１４４によって生成された動画データを表示出力させてよい。例えば、表示出力部１３４は、動画データ生成部１４４によって生成された動画データをデータ処理装置１００が備えるディスプレイに表示出力させる。例えば、表示出力部１３４は、動画データ生成部１４４によって生成された動画データを通信端末３０が備えるディスプレイに表示出力させる。

【0134】

なお、データ処理装置１００が変換情報記憶部１１２、モデル記憶部１１４、動画データ取得部１１６、データ生成部１１８、分類結果取得部１２０、モデル生成部１２２、出力部１３０、変換データ取得部１４２、及び動画データ生成部１４４のすべてを備えることは必須とは限らない。上述した通り、データ処理装置１００は、動画データから変換データを生成する機能を有して、変換データから動画データを生成する機能を有さなくてもよい。この場合、データ処理装置１００は、変換データ取得部１４２及び動画データ生成部１４４を備えなくてよい。また、データ処理装置１００は、変換データから動画データを生成する機能を有して、動画データから変換データを生成する機能を有さなくてもよい。この場合、データ処理装置１００は、モデル記憶部１１４、動画データ取得部１１６、データ生成部１１８、分類結果取得部１２０、及びモデル生成部１２２を備えなくてよい。

【0135】

図９は、データ処理装置１００として機能するコンピュータ１２００のハードウェア構成の一例を概略的に示す。コンピュータ１２００にインストールされたプログラムは、コンピュータ１２００を、本実施形態に係る装置の１又は複数の「部」として機能させ、又はコンピュータ１２００に、本実施形態に係る装置に関連付けられるオペレーション又は当該１又は複数の「部」を実行させることができ、及び／又はコンピュータ１２００に、本実施形態に係るプロセス又は当該プロセスの段階を実行させることができる。そのようなプログラムは、コンピュータ１２００に、本明細書に記載のフローチャート及びブロック図のブロックのうちのいくつか又はすべてに関連付けられた特定のオペレーションを実行させるべく、ＣＰＵ１２１２によって実行されてよい。

【0136】

本実施形態によるコンピュータ１２００は、ＣＰＵ１２１２、ＲＡＭ１２１４、及びグラフィックコントローラ１２１６を含み、それらはホストコントローラ１２１０によって相互に接続されている。コンピュータ１２００はまた、通信インタフェース１２２２、記憶装置１２２４、ＤＶＤドライブ、及びＩＣカードドライブのような入出力ユニットを含み、それらは入出力コントローラ１２２０を介してホストコントローラ１２１０に接続されている。ＤＶＤドライブは、ＤＶＤ－ＲＯＭドライブ及びＤＶＤ－ＲＡＭドライブ等であってよい。記憶装置１２２４は、ハードディスクドライブ及びソリッドステートドライブ等であってよい。コンピュータ１２００はまた、ＲＯＭ１２３０及びキーボードのようなレガシの入出力ユニットを含み、それらは入出力チップ１２４０を介して入出力コントローラ１２２０に接続されている。

【0137】

ＣＰＵ１２１２は、ＲＯＭ１２３０及びＲＡＭ１２１４内に格納されたプログラムに従い動作し、それにより各ユニットを制御する。グラフィックコントローラ１２１６は、ＲＡＭ１２１４内に提供されるフレームバッファ等又はそれ自体の中に、ＣＰＵ１２１２によって生成されるイメージデータを取得し、イメージデータがディスプレイデバイス１２１８上に表示されるようにする。

【0138】

通信インタフェース１２２２は、ネットワークを介して他の電子デバイスと通信する。記憶装置１２２４は、コンピュータ１２００内のＣＰＵ１２１２によって使用されるプログラム及びデータを格納する。ＤＶＤドライブは、プログラム又はデータをＤＶＤ－ＲＯＭ等から読み取り、記憶装置１２２４に提供する。ＩＣカードドライブは、プログラム及びデータをＩＣカードから読み取り、及び／又はプログラム及びデータをＩＣカードに書き込む。

【0139】

ＲＯＭ１２３０はその中に、アクティブ化時にコンピュータ１２００によって実行されるブートプログラム等、及び／又はコンピュータ１２００のハードウェアに依存するプログラムを格納する。入出力チップ１２４０はまた、様々な入出力ユニットをＵＳＢポート、パラレルポート、シリアルポート、キーボードポート、マウスポート等を介して、入出力コントローラ１２２０に接続してよい。

【0140】

プログラムは、ＤＶＤ－ＲＯＭ又はＩＣカードのようなコンピュータ可読記憶媒体によって提供される。プログラムは、コンピュータ可読記憶媒体から読み取られ、コンピュータ可読記憶媒体の例でもある記憶装置１２２４、ＲＡＭ１２１４、又はＲＯＭ１２３０にインストールされ、ＣＰＵ１２１２によって実行される。これらのプログラム内に記述される情報処理は、コンピュータ１２００に読み取られ、プログラムと、上記様々なタイプのハードウェアリソースとの間の連携をもたらす。装置又は方法が、コンピュータ１２００の使用に従い情報のオペレーション又は処理を実現することによって構成されてよい。

【0141】

例えば、通信がコンピュータ１２００及び外部デバイス間で実行される場合、ＣＰＵ１２１２は、ＲＡＭ１２１４にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インタフェース１２２２に対し、通信処理を命令してよい。通信インタフェース１２２２は、ＣＰＵ１２１２の制御の下、ＲＡＭ１２１４、記憶装置１２２４、ＤＶＤ－ＲＯＭ、又はＩＣカードのような記録媒体内に提供される送信バッファ領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、又はネットワークから受信した受信データを記録媒体上に提供される受信バッファ領域等に書き込む。

【0142】

また、ＣＰＵ１２１２は、記憶装置１２２４、ＤＶＤドライブ（ＤＶＤ－ＲＯＭ）、ＩＣカード等のような外部記録媒体に格納されたファイル又はデータベースの全部又は必要な部分がＲＡＭ１２１４に読み取られるようにし、ＲＡＭ１２１４上のデータに対し様々なタイプの処理を実行してよい。ＣＰＵ１２１２は次に、処理されたデータを外部記録媒体にライトバックしてよい。

【0143】

様々なタイプのプログラム、データ、テーブル、及びデータベースのような様々なタイプの情報が記録媒体に格納され、情報処理を受けてよい。ＣＰＵ１２１２は、ＲＡＭ１２１４から読み取られたデータに対し、本開示の随所に記載され、プログラムの命令シーケンスによって指定される様々なタイプのオペレーション、情報処理、条件判断、条件分岐、無条件分岐、情報の検索／置換等を含む、様々なタイプの処理を実行してよく、結果をＲＡＭ１２１４に対しライトバックする。また、ＣＰＵ１２１２は、記録媒体内のファイル、データベース等における情報を検索してよい。例えば、各々が第２の属性の属性値に関連付けられた第１の属性の属性値を有する複数のエントリが記録媒体内に格納される場合、ＣＰＵ１２１２は、当該複数のエントリの中から、第１の属性の属性値が指定されている条件に一致するエントリを検索し、当該エントリ内に格納された第２の属性の属性値を読み取り、それにより予め定められた条件を満たす第１の属性に関連付けられた第２の属性の属性値を取得してよい。

【0144】

上で説明したプログラム又はソフトウエアモジュールは、コンピュータ１２００上又はコンピュータ１２００近傍のコンピュータ可読記憶媒体に格納されてよい。また、専用通信ネットワーク又はインターネットに接続されたサーバシステム内に提供されるハードディスク又はＲＡＭのような記録媒体が、コンピュータ可読記憶媒体として使用可能であり、それによりプログラムを、ネットワークを介してコンピュータ１２００に提供する。

【0145】

本実施形態におけるフローチャート及びブロック図におけるブロックは、オペレーションが実行されるプロセスの段階又はオペレーションを実行する役割を持つ装置の「部」を表わしてよい。特定の段階及び「部」が、専用回路、コンピュータ可読記憶媒体上に格納されるコンピュータ可読命令と共に供給されるプログラマブル回路、及び／又はコンピュータ可読記憶媒体上に格納されるコンピュータ可読命令と共に供給されるプロセッサによって実装されてよい。専用回路は、デジタル及び／又はアナログハードウェア回路を含んでよく、集積回路（ＩＣ）及び／又はディスクリート回路を含んでよい。プログラマブル回路は、例えば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、及びプログラマブルロジックアレイ（ＰＬＡ）等のような、論理積、論理和、排他的論理和、否定論理積、否定論理和、及び他の論理演算、フリップフロップ、レジスタ、並びにメモリエレメントを含む、再構成可能なハードウェア回路を含んでよい。

【0146】

コンピュータ可読記憶媒体は、適切なデバイスによって実行される命令を格納可能な任意の有形なデバイスを含んでよく、その結果、そこに格納される命令を有するコンピュータ可読記憶媒体は、フローチャート又はブロック図で指定されたオペレーションを実行するための手段を作成すべく実行され得る命令を含む、製品を備えることになる。コンピュータ可読記憶媒体の例としては、電子記憶媒体、磁気記憶媒体、光記憶媒体、電磁記憶媒体、半導体記憶媒体等が含まれてよい。コンピュータ可読記憶媒体のより具体的な例としては、フロッピー（登録商標）ディスク、ディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリメモリ（ＥＰＲＯＭ又はフラッシュメモリ）、電気的消去可能プログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、コンパクトディスクリードオンリメモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、ブルーレイ（登録商標）ディスク、メモリスティック、集積回路カード等が含まれてよい。

【0147】

コンピュータ可読命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、又はＳｍａｌｌｔａｌｋ（登録商標）、ＪＡＶＡ（登録商標）、Ｃ＋＋等のようなオブジェクト指向プログラミング言語、及び「Ｃ」プログラミング言語又は同様のプログラミング言語のような従来の手続型プログラミング言語を含む、１又は複数のプログラミング言語の任意の組み合わせで記述されたソースコード又はオブジェクトコードのいずれかを含んでよい。

【0148】

コンピュータ可読命令は、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサ、又はプログラマブル回路が、フローチャート又はブロック図で指定されたオペレーションを実行するための手段を生成するために当該コンピュータ可読命令を実行すべく、ローカルに又はローカルエリアネットワーク（ＬＡＮ）、インターネット等のようなワイドエリアネットワーク（ＷＡＮ）を介して、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサ、又はプログラマブル回路に提供されてよい。プロセッサの例としては、コンピュータプロセッサ、処理ユニット、マイクロプロセッサ、デジタル信号プロセッサ、コントローラ、マイクロコントローラ等を含む。

【0149】

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

【0150】

特許請求の範囲、明細書、及び図面中において示した装置、システム、プログラム、及び方法における動作、手順、ステップ、及び段階などの各処理の実行順序は、特段「より前に」、「先立って」などと明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、及び図面中の動作フローに関して、便宜上「まず、」、「次に、」などを用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

【符号の説明】

【0151】

２０ ネットワーク、３０ 通信端末、３２ カメラ、４０ 養殖場、１００ データ処理装置、１０２ カメラ、１１２ 変換情報記憶部、１１４ モデル記憶部、１１６ 動画データ取得部、１１８ データ生成部、１２０ 分類結果取得部、１２２ モデル生成部、１３０ 出力部、１３２ アラート出力部、１３４ 表示出力部、１３６ 音声出力部、１４２ 変換データ取得部、１４４ 動画データ生成部、２００ 動画データ、２１０、２２０、２３０、２４０、２５０、２６０ 動画データ、２１１、２２１、２３１、２４１、２５１、２６１ フレーム、３００ 静止画データ、３０２、３１１、３２１、３３１、３４１、３５１、３６１ 部分、４００ テキストデータ、４０２、４１１、４２１、４３１、４４１、４５１、４６１ 部分、５００ ゲノムデータ、１２００ コンピュータ、１２１０ ホストコントローラ、１２１２ ＣＰＵ、１２１４ ＲＡＭ、１２１６ グラフィックコントローラ、１２１８ ディスプレイデバイス、１２２０ 入出力コントローラ、１２２２ 通信インタフェース、１２２４ 記憶装置、１２３０ ＲＯＭ、１２４０ 入出力チップ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【手続補正書】

【提出日】2024-04-30

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

オブジェクトを撮像した動画データを取得する動画データ取得部と、
前記動画データにおける前記オブジェクトの時系列の動きの情報を静止画の要素に変換して、変換した前記静止画の前記要素を含む静止画データを生成するデータ生成部と
を備え、
前記データ生成部は、前記動画データの複数のフレームのうちの１つのフレームから、一つの静止画データを構成する複数の部分のうちの１つの部分を生成すること、及び、前記動画データの複数のフレームのうちの複数のフレームから、前記一つの静止画データを構成する前記複数の部分のうちの１つの部分を生成することの少なくともいずれかを実行することによって、前記複数の部分からなる前記一つの静止画データを生成する、データ処理装置。

【請求項2】

前記データ生成部は、前記動画データの前記複数のフレームについて、前記フレームに含まれる複数の前記オブジェクトが存在する３次元位置の情報を、画素値の情報に変換することによって、前記複数の部分を生成する、請求項１に記載のデータ処理装置。

【請求項3】

前記動画データ取得部は、前記オブジェクトを複数の異なる方向から撮像する複数のカメラによって並行して撮像された複数の前記動画データを取得し、
前記データ生成部は、前記複数の動画データ毎に、フレーム毎の、複数のオブジェクトが存在する３次元位置の情報を、画素値の情報に変換することによって、前記複数の部分を生成する、請求項１に記載のデータ処理装置。

【請求項4】

前記データ生成部は、前記動画データにおける前記オブジェクトの時系列の動きの情報を、画素値、特徴ベクトル、及びエッジの少なくともいずれかによって表す前記静止画データを生成する、請求項１に記載のデータ処理装置。

【請求項5】

前記データ生成部は、前記動画データにおける複数の前記オブジェクトの時系列の位置の変化の情報を前記静止画の前記要素に変換して、変換した前記静止画の前記要素を含む前記静止画データを生成する、請求項１に記載のデータ処理装置。

【請求項6】

前記データ生成部は、前記動画データにおける前記オブジェクトの時系列の形状変化の情報を前記静止画の前記要素に変換して、変換した前記静止画の前記要素を含む前記静止画データを生成する、請求項１に記載のデータ処理装置。

【請求項7】

前記データ生成部は、前記動画データにおける前記オブジェクトの時系列の動きの情報をテキストの要素に変換して、変換した前記テキストの前記要素を含むテキストデータを生成する、請求項１に記載のデータ処理装置。

【請求項8】

前記データ生成部は、前記動画データにおける前記オブジェクトの時系列の動きの情報をゲノムの要素に変換して、変換した前記ゲノムの前記要素を含むゲノムデータを生成する、請求項１に記載のデータ処理装置。

【請求項9】

オブジェクトを撮像した動画データを取得する動画データ取得部と、
前記動画データにおける前記オブジェクトの時系列の動きの情報を静止画の要素に変換して、変換した前記静止画の前記要素を含む静止画データを生成するデータ生成部と、
前記データ生成部によって生成された前記静止画データを、静止画データを分類するように学習された静止画分類ネットワークに入力して、前記静止画分類ネットワークから出力された分類結果を取得する分類結果取得部と、
前記分類結果取得部が取得した前記分類結果が予め定められた条件を満たす場合に、アラートを出力するアラート出力部と
を備える、データ処理装置。

【請求項10】

動画データにおけるオブジェクトの時系列の動きの情報から変換された静止画の要素を含む静止画データを取得する変換データ取得部と、
前記静止画データから前記動画データを生成する動画データ生成部と
を更に備える、請求項１に記載のデータ処理装置。

【請求項11】

オブジェクトを撮像した動画データを取得する動画データ取得部と、
前記動画データにおける前記オブジェクトの時系列の動きの情報をテキストの要素に変換して、変換した前記テキストの前記要素を含むテキストデータを生成するデータ生成部と
を備え、
前記データ生成部は、前記動画データの複数のフレームのそれぞれに対応する、一つのテキストデータを構成する複数の部分を生成することによって、前記複数の部分からなる前記一つのテキストデータを生成し、
前記データ生成部は、前記動画データの前記複数のフレームについて、前記フレームに含まれる複数のオブジェクトが存在する３次元位置の情報を、文字及び単語の少なくともいずれかと、フォントの情報に変換する、データ処理装置。

【請求項12】

前記動画データ取得部は、前記オブジェクトを複数の異なる方向から撮像する複数のカメラによって並行して撮像された複数の前記動画データを取得し、
前記データ生成部は、前記複数の動画データ毎に、フレーム毎の、複数のオブジェクトが存在する３次元位置の情報を、文字及び単語の少なくともいずれかと、フォントの情報に変換することによって、前記複数の部分を生成する、請求項１１に記載のデータ処理装置。

【請求項13】

オブジェクトを撮像した動画データを取得する動画データ取得部と、
前記動画データにおける前記オブジェクトの時系列の動きの情報をテキストの要素に変換して、変換した前記テキストの前記要素を含むテキストデータを生成するデータ生成部と、
前記データ生成部によって生成された前記テキストデータを、テキストデータを分類するように学習されたテキスト分類ネットワークに入力して、前記テキスト分類ネットワークから出力された分類結果を取得する分類結果取得部と、
前記分類結果取得部が取得した前記分類結果が予め定められた条件を満たす場合に、アラートを出力するアラート出力部と
を備える、データ処理装置。

【請求項14】

オブジェクトを撮像した動画データを取得する動画データ取得部と、
前記動画データにおける前記オブジェクトの時系列の動きの情報をゲノムの要素に変換して、変換した前記ゲノムの前記要素を含むゲノムデータを生成するデータ生成部であって、前記動画データにおけるオブジェクトの時系列の動きの情報を塩基配列によって表す前記ゲノムデータを生成するデータ生成部と
を備え、
前記データ生成部は、前記動画データの複数のフレームのそれぞれに対応する、一つのゲノムデータを構成する複数の部分を生成することによって、前記複数の部分からなる前記一つのゲノムデータを生成し、
前記動画データ取得部は、前記オブジェクトを複数の異なる方向から撮像する複数のカメラによって並行して撮像された複数の動画データを取得し、
前記データ生成部は、前記複数の動画データ毎に、フレーム毎の、複数のオブジェクトが存在する３次元位置の情報を、塩基配列の情報に変換することによって、前記複数の部分を生成する、データ処理装置。

【請求項15】

オブジェクトを撮像した動画データを取得する動画データ取得部と、
前記動画データにおける前記オブジェクトの時系列の動きの情報をゲノムの要素に変換して、変換した前記ゲノムの前記要素を含むゲノムデータを生成するデータ生成部と、
前記データ生成部によって生成された前記ゲノムデータを、ゲノムデータを分類するように学習されたゲノム分類ネットワークに入力して、前記ゲノム分類ネットワークから出力された分類結果を取得する分類結果取得部と、
前記分類結果取得部が取得した前記分類結果が予め定められた条件を満たす場合に、アラートを出力するアラート出力部と
を備える、データ処理装置。

【請求項16】

コンピュータを、請求項１から１５のいずれか一項に記載のデータ処理装置として機能させるためのプログラム。

【手続補正書】

【提出日】2024-06-19

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

オブジェクトを撮像した動画データを取得する動画データ取得部と、
前記動画データにおける前記オブジェクトの時系列の動きの情報を静止画の要素に変換して、変換した前記静止画の前記要素を含む静止画データを生成するデータ生成部と
を備え、
前記データ生成部は、前記動画データの複数のフレームのうちの１つのフレームから、一つの静止画データを構成する複数の部分のうちの１つの部分を生成すること、及び、前記動画データの複数のフレームのうちの複数のフレームから、前記一つの静止画データを構成する前記複数の部分のうちの１つの部分を生成することの少なくともいずれかを実行することによって、前記複数の部分からなる前記一つの静止画データを生成し、
前記データ生成部は、前記動画データの前記複数のフレームについて、前記フレームに含まれる複数の前記オブジェクトが存在する３次元位置の情報を、画素値の情報に変換することによって、前記複数の部分を生成する、データ処理装置。

【請求項2】

オブジェクトを撮像した動画データを取得する動画データ取得部と、
前記動画データにおける前記オブジェクトの時系列の動きの情報を静止画の要素に変換して、変換した前記静止画の前記要素を含む静止画データを生成するデータ生成部と
を備え、
前記データ生成部は、前記動画データの複数のフレームのうちの１つのフレームから、一つの静止画データを構成する複数の部分のうちの１つの部分を生成すること、及び、前記動画データの複数のフレームのうちの複数のフレームから、前記一つの静止画データを構成する前記複数の部分のうちの１つの部分を生成することの少なくともいずれかを実行することによって、前記複数の部分からなる前記一つの静止画データを生成し、
前記動画データ取得部は、前記オブジェクトを複数の異なる方向から撮像する複数のカメラによって並行して撮像された複数の前記動画データを取得し、
前記データ生成部は、前記複数の動画データ毎に、フレーム毎の、複数のオブジェクトが存在する３次元位置の情報を、画素値の情報に変換することによって、前記複数の部分を生成する、データ処理装置。

【請求項3】

前記データ生成部は、前記動画データにおける複数の前記オブジェクトの時系列の位置の変化の情報を前記静止画の前記要素に変換して、変換した前記静止画の前記要素を含む前記静止画データを生成する、請求項１に記載のデータ処理装置。

【請求項4】

前記データ生成部は、前記動画データにおける前記オブジェクトの時系列の動きの情報をテキストの要素に変換して、変換した前記テキストの前記要素を含むテキストデータを生成する、請求項１に記載のデータ処理装置。

【請求項5】

前記データ生成部は、前記動画データにおける前記オブジェクトの時系列の動きの情報をゲノムの要素に変換して、変換した前記ゲノムの前記要素を含むゲノムデータを生成する、請求項１に記載のデータ処理装置。

【請求項6】

オブジェクトを撮像した動画データを取得する動画データ取得部と、
前記動画データにおける前記オブジェクトの時系列の動きの情報を静止画の要素に変換して、変換した前記静止画の前記要素を含む静止画データを生成するデータ生成部と、
前記データ生成部によって生成された前記静止画データを、静止画データを分類するように学習された静止画分類ネットワークに入力して、前記静止画分類ネットワークから出力された分類結果を取得する分類結果取得部と、
前記分類結果取得部が取得した前記分類結果が予め定められた条件を満たす場合に、アラートを出力するアラート出力部と
を備える、データ処理装置。

【請求項7】

動画データにおけるオブジェクトの時系列の動きの情報から変換された静止画の要素を含む静止画データを取得する変換データ取得部と、
前記静止画データから前記動画データを生成する動画データ生成部と
を更に備える、請求項１に記載のデータ処理装置。

【請求項8】

オブジェクトを撮像した動画データを取得する動画データ取得部と、
前記動画データにおける前記オブジェクトの時系列の動きの情報をテキストの要素に変換して、変換した前記テキストの前記要素を含むテキストデータを生成するデータ生成部と
を備え、
前記データ生成部は、前記動画データの複数のフレームのそれぞれに対応する、一つのテキストデータを構成する複数の部分を生成することによって、前記複数の部分からなる前記一つのテキストデータを生成し、
前記データ生成部は、前記動画データの前記複数のフレームについて、前記フレームに含まれる複数のオブジェクトが存在する３次元位置の情報を、文字及び単語の少なくともいずれかと、フォントの情報に変換する、データ処理装置。

【請求項9】

前記動画データ取得部は、前記オブジェクトを複数の異なる方向から撮像する複数のカメラによって並行して撮像された複数の前記動画データを取得し、
前記データ生成部は、前記複数の動画データ毎に、フレーム毎の、複数のオブジェクトが存在する３次元位置の情報を、文字及び単語の少なくともいずれかと、フォントの情報に変換することによって、前記複数の部分を生成する、請求項８に記載のデータ処理装置。

【請求項10】

オブジェクトを撮像した動画データを取得する動画データ取得部と、
前記動画データにおける前記オブジェクトの時系列の動きの情報をテキストの要素に変換して、変換した前記テキストの前記要素を含むテキストデータを生成するデータ生成部と、
前記データ生成部によって生成された前記テキストデータを、テキストデータを分類するように学習されたテキスト分類ネットワークに入力して、前記テキスト分類ネットワークから出力された分類結果を取得する分類結果取得部と、
前記分類結果取得部が取得した前記分類結果が予め定められた条件を満たす場合に、アラートを出力するアラート出力部と
を備える、データ処理装置。

【請求項11】

オブジェクトを撮像した動画データを取得する動画データ取得部と、
前記動画データにおける前記オブジェクトの時系列の動きの情報をゲノムの要素に変換して、変換した前記ゲノムの前記要素を含むゲノムデータを生成するデータ生成部であって、前記動画データにおけるオブジェクトの時系列の動きの情報を塩基配列によって表す前記ゲノムデータを生成するデータ生成部と
を備え、
前記データ生成部は、前記動画データの複数のフレームのそれぞれに対応する、一つのゲノムデータを構成する複数の部分を生成することによって、前記複数の部分からなる前記一つのゲノムデータを生成し、
前記動画データ取得部は、前記オブジェクトを複数の異なる方向から撮像する複数のカメラによって並行して撮像された複数の動画データを取得し、
前記データ生成部は、前記複数の動画データ毎に、フレーム毎の、複数のオブジェクトが存在する３次元位置の情報を、塩基配列の情報に変換することによって、前記複数の部分を生成する、データ処理装置。

【請求項12】

オブジェクトを撮像した動画データを取得する動画データ取得部と、
前記動画データにおける前記オブジェクトの時系列の動きの情報をゲノムの要素に変換して、変換した前記ゲノムの前記要素を含むゲノムデータを生成するデータ生成部と、
前記データ生成部によって生成された前記ゲノムデータを、ゲノムデータを分類するように学習されたゲノム分類ネットワークに入力して、前記ゲノム分類ネットワークから出力された分類結果を取得する分類結果取得部と、
前記分類結果取得部が取得した前記分類結果が予め定められた条件を満たす場合に、アラートを出力するアラート出力部と
を備える、データ処理装置。

【請求項13】

コンピュータを、請求項１から１２のいずれか一項に記載のデータ処理装置として機能させるためのプログラム。