特許 7510559 情報処理システム、プログラム、及び情報処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2024-06-25

(45)【発行日】2024-07-03

(54)【発明の名称】情報処理システム、プログラム、及び情報処理方法

(51)【国際特許分類】

   G01B 11/04 20060101AFI20240626BHJP

   G01G 9/00 20060101ALI20240626BHJP

   G01G 17/00 20060101ALI20240626BHJP

   G06T 7/00 20170101ALI20240626BHJP

【ＦＩ】

G01B11/04 H

G01G9/00

G01G17/00 Z

G06T7/00 350B

【請求項の数】 12

(21)【出願番号】P 2023199782

(22)【出願日】2023-11-27

【審査請求日】2023-11-27

【早期審査対象出願】

(73)【特許権者】

【識別番号】501440684

【氏名又は名称】ソフトバンク株式会社

(74)【代理人】

【識別番号】110000877

【氏名又は名称】弁理士法人ＲＹＵＫＡ国際特許事務所

(72)【発明者】

【氏名】石若 裕子

(72)【発明者】

【氏名】須田 和人

【審査官】櫻井 仁

(56)【参考文献】

【文献】国際公開第２０１９／１８８５０６（ＷＯ，Ａ１）

【文献】国際公開第２０２１／１９３３９１（ＷＯ，Ａ１）

【文献】特許第７２６５６７２（ＪＰ，Ｂ２）

【文献】特開２０２２－１７８００６（ＪＰ，Ａ）

【文献】国際公開第２０２２／２０９４３５（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｂ １１／００

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

魚をシミュレーションしたシミュレーションデータを用いて、魚の画像と、前記魚の画像空間における３次元のサイズを示す画像サイズ情報とを含むサイズＧＴ（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）データを生成するＧＴデータ生成部と、
複数の前記サイズＧＴデータを用いた機械学習を実行することによって、魚の画像を入力とし、前記魚の画像空間における３次元のサイズを示す画像サイズ情報を出力とする学習モデルを生成する学習実行部と、
複数の魚を撮像した魚撮像画像を、前記学習実行部によって生成された前記学習モデルに入力して、前記複数の魚の画像サイズ情報を取得するサイズ推定部と、
前記魚撮像画像を撮像したカメラと前記複数の魚のうちの一の魚との距離を特定し、前記複数の魚同士の相対距離を特定し、前記カメラと前記一の魚との前記距離と、前記複数の魚同士の相対距離と、前記サイズ推定部が取得した前記複数の魚の画像サイズ情報とを用いて、前記複数の魚のそれぞれについて、実空間における３次元のサイズを示す実サイズ情報を生成する実サイズ情報生成部と、
前記複数の魚のそれぞれについて、前記実サイズ情報を用いて、重量を推定する重量推定部と
を備える、情報処理システム。

【請求項2】

前記ＧＴデータ生成部は、魚をシミュレーションしたシミュレーションデータを用いて、魚の画像と、前記魚の姿勢を示す姿勢情報とを含む姿勢ＧＴデータを生成し、
前記学習実行部は、前記複数のサイズＧＴデータと、複数の前記姿勢ＧＴデータとを用いた機械学習を実行することによって、魚の画像を入力とし、前記魚の姿勢を示す姿勢情報を出力とする姿勢学習モデルと、前記魚の画像と前記姿勢情報とを入力とし、前記魚の画像空間における３次元のサイズを示す画像サイズ情報を出力とするサイズ学習モデルとを含む前記学習モデルを生成し、
前記サイズ推定部は、前記魚撮像画像を、前記姿勢学習モデルに入力し、前記姿勢学習モデルから出力された前記姿勢情報と、前記魚撮像画像とを前記サイズ学習モデルに入力して、前記魚の前記画像サイズ情報を取得する、請求項１に記載の情報処理システム。

【請求項3】

複数の魚を含む画像を入力とし、前記複数の魚同士の相対距離を出力とする相対距離学習モデルを記憶する記憶部
を備え、
前記実サイズ情報生成部は、前記魚撮像画像を前記相対距離学習モデルに入力して、前記複数の魚同士の前記相対距離を特定する、請求項１に記載の情報処理システム。

【請求項4】

前記実サイズ情報生成部は、ステレオ視によって前記カメラと前記一の魚との距離を特定する、請求項１に記載の情報処理システム。

【請求項5】

前記実サイズ情報生成部は、前記魚撮像画像に含まれる複数の魚のうち、タグが付されており、実空間における実サイズが既知である前記一の魚を、前記タグによって特定し、前記一の魚の前記実サイズに基づいて、前記カメラと前記一の魚との距離を特定する、請求項１に記載の情報処理システム。

【請求項6】

前記実サイズ情報生成部は、実空間における実サイズと前記カメラとの距離とが既知の物体を含む前記魚撮像画像を前記相対距離学習モデルに入力して、前記複数の魚及び前記物体のそれぞれ同士の相対距離を特定し、前記物体の前記実サイズ及び前記カメラとの前記距離と、前記相対距離とを用いて、前記複数の魚のそれぞれの前記実サイズ情報を生成する、請求項３に記載の情報処理システム。

【請求項7】

魚をシミュレーションしたシミュレーションデータを用いて、魚の画像と、前記魚の画像空間における３次元のサイズを示す画像サイズ情報とを含むサイズＧＴ（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）データを生成し、魚をシミュレーションしたシミュレーションデータを用いて、魚を仮想的なカメラで撮像した画像と、前記魚と前記仮想的なカメラとの距離と、前記カメラのパラメータとを含む距離ＧＴデータを生成するＧＴデータ生成部と、
複数の前記サイズＧＴデータを用いた機械学習を実行することによって、魚の画像を入力とし、前記魚の画像空間における３次元のサイズを示す画像サイズ情報を出力とする学習モデルを生成し、複数の前記距離ＧＴデータを用いた機械学習を実行することによって、魚の画像及び当該画像を撮像したカメラのパラメータを入力とし、前記魚と前記カメラとの距離を出力とする距離学習モデルを生成する学習実行部と、
複数の魚を撮像した魚撮像画像を、前記学習実行部によって生成された前記学習モデルに入力して、前記複数の魚の画像サイズ情報を取得するサイズ推定部と、
前記サイズ推定部が取得した前記複数の魚の画像サイズ情報と、前記魚撮像画像及び当該魚撮像画像を撮像したカメラのパラメータを前記距離学習モデルに入力して前記距離学習モデルから出力された前記複数の魚のそれぞれの前記カメラからの距離とに基づいて、前記複数の魚のそれぞれについて、実空間における３次元のサイズを示す実サイズ情報を生成する実サイズ情報生成部と、
前記複数の魚のそれぞれについて、前記実サイズ情報を用いて、重量を推定する重量推定部と
を備える、情報処理システム。

【請求項8】

魚をシミュレーションしたシミュレーションデータを用いて、魚の画像と、前記魚の画像空間における３次元のサイズを示す画像サイズ情報とを含むサイズＧＴ（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）データを生成するＧＴデータ生成部と、
複数の前記サイズＧＴデータを用いた機械学習を実行することによって、魚の画像を入力とし、前記魚の画像空間における３次元のサイズを示す画像サイズ情報を出力とする学習モデルを生成する学習実行部と、
複数の魚を撮像した魚撮像画像を、前記学習実行部によって生成された前記学習モデルに入力して、前記複数の魚の画像サイズ情報を取得するサイズ推定部と、
前記複数の魚に対して測距センサが光を照射することによって測定した、前記測距センサと前記複数の魚のそれぞれとの距離を示す距離情報を取得する距離情報取得部と、
前記サイズ推定部が前記複数の魚を含む前記魚撮像画像を前記学習モデルに入力して取得した前記複数の魚の画像サイズ情報と、前記距離情報取得部が取得した前記距離情報とを用いて、前記複数の魚のそれぞれについて、実空間における３次元のサイズを示す実サイズ情報を生成する実サイズ情報生成部と、
前記複数の魚のそれぞれについて、前記実サイズ情報を用いて、重量を推定する重量推定部と
を備える、情報処理システム。

【請求項9】

コンピュータを、請求項１から８のいずれか一項に記載の情報処理システムとして機能させるためのプログラム。

【請求項10】

コンピュータによって実行される情報処理方法であって、
魚をシミュレーションしたシミュレーションデータを用いて、魚の画像と、前記魚の画像空間における３次元のサイズを示す画像サイズ情報とを含むサイズＧＴ（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）データを生成するＧＴデータ生成段階と、
複数の前記サイズＧＴデータを用いた機械学習を実行することによって、魚の画像を入力とし、前記魚の画像空間における当該３次元のサイズを示す画像サイズ情報を出力とする学習モデルを生成する学習実行段階と、
複数の魚を撮像した魚撮像画像を、前記学習実行段階において生成された前記学習モデルに入力して、前記複数の魚の画像サイズ情報を取得するサイズ推定段階と、
前記魚撮像画像を撮像したカメラと前記複数の魚のうちの一の魚との距離を特定し、前記複数の魚同士の相対距離を特定し、前記カメラと前記一の魚との前記距離と、前記複数の魚同士の相対距離と、前記サイズ推定段階において取得した前記複数の魚の画像サイズ情報とを用いて、前記複数の魚のそれぞれについて、実空間における３次元のサイズを示す実サイズ情報を生成する実サイズ情報生成段階と、
前記複数の魚のそれぞれについて、前記実サイズ情報を用いて、重量を推定する重量推定段階と
を備える、情報処理方法。

【請求項11】

コンピュータによって実行される情報処理方法であって、
魚をシミュレーションしたシミュレーションデータを用いて、魚の画像と、前記魚の画像空間における３次元のサイズを示す画像サイズ情報とを含むサイズＧＴ（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）データを生成し、魚をシミュレーションしたシミュレーションデータを用いて、魚を仮想的なカメラで撮像した画像と、前記魚と前記仮想的なカメラとの距離と、前記カメラのパラメータとを含む距離ＧＴデータを生成するＧＴデータ生成段階と、
複数の前記サイズＧＴデータを用いた機械学習を実行することによって、魚の画像を入力とし、前記魚の画像空間における当該３次元のサイズを示す画像サイズ情報を出力とする学習モデルを生成し、複数の前記距離ＧＴデータを用いた機械学習を実行することによって、魚の画像及び当該画像を撮像したカメラのパラメータを入力とし、前記魚と前記カメラとの距離を出力とする距離学習モデルを生成する学習実行段階と、
複数の魚を撮像した魚撮像画像を、前記学習実行段階において生成された前記学習モデルに入力して、前記複数の魚の画像サイズ情報を取得するサイズ推定段階と、
前記サイズ推定段階において取得した前記複数の魚の画像サイズ情報と、前記複数の魚を含む前記魚撮像画像及び当該魚撮像画像を撮像したカメラのパラメータを前記距離学習モデルに入力して前記距離学習モデルから出力された前記複数の魚のそれぞれの前記カメラからの距離とに基づいて、前記複数の魚のそれぞれについて、実空間における３次元のサイズを示す実サイズ情報を生成する実サイズ情報生成段階と、
前記複数の魚のそれぞれについて、前記実サイズ情報を用いて、重量を推定する重量推定段階と
を備える、情報処理方法。

【請求項12】

コンピュータによって実行される情報処理方法であって、
魚をシミュレーションしたシミュレーションデータを用いて、魚の画像と、前記魚の画像空間における３次元のサイズを示す画像サイズ情報とを含むサイズＧＴ（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）データを生成するＧＴデータ生成段階と、
複数の前記サイズＧＴデータを用いた機械学習を実行することによって、魚の画像を入力とし、前記魚の画像空間における当該３次元のサイズを示す画像サイズ情報を出力とする学習モデルを生成する学習実行段階と、
複数の魚を撮像した魚撮像画像を、前記学習実行段階において生成された前記学習モデルに入力して、前記複数の魚の画像サイズ情報を取得するサイズ推定段階と
を備え、
前記複数の魚に対して測距センサが光を照射することによって測定した、前記測距センサと前記複数の魚のそれぞれとの距離を示す距離情報を取得する距離情報取得段階と、
前記サイズ推定段階において取得した前記複数の魚の画像サイズ情報と、前記距離情報取得段階において取得した前記距離情報とを用いて、前記複数の魚のそれぞれについて、実空間における３次元のサイズを示す実サイズ情報を生成する実サイズ情報生成段階と、
前記複数の魚のそれぞれについて、前記実サイズ情報を用いて、重量を推定する重量推定段階と
を更に備える、情報処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理システム、プログラム、及び情報処理方法に関する。

【背景技術】

【0002】

特許文献１には、回遊中の魚を撮像した撮像画像から、魚の長さ及び高さの実サイズを算出する魚体サイズ算出装置について記載されている。
［先行技術文献］
［特許文献］
［特許文献１］特許第６６９４０３９号

【発明の概要】

【課題を解決するための手段】

【0003】

本発明の一実施態様によれば、情報処理システムが提供される。前記情報処理システムは、ＧＴデータ生成部を備えてよい。前記ＧＴデータ生成部は、魚をシミュレーションしたシミュレーションデータを用いて、魚の画像と、当該魚の画像空間における３次元のサイズを示す画像サイズ情報とを含むサイズＧＴデータを生成してよい。前記情報処理システムは、学習実行部を備えてよい。前記学習実行部は、複数の前記サイズＧＴデータを用いた機械学習を実行することによって、魚の画像を入力とし、当該魚の画像空間における３次元のサイズを示す画像サイズ情報を出力とする学習モデルを生成してよい。前記情報処理システムは、サイズ推定部を備えてよい。前記サイズ推定部は、魚を撮像した魚撮像画像を、前記学習実行部によって生成された前記学習モデルに入力して、前記魚の画像サイズ情報を取得してよい。

【0004】

前記情報処理システムにおいて、前記ＧＴデータ生成部は、魚をシミュレーションしたシミュレーションデータを用いて、魚の画像と、前記魚の姿勢を示す姿勢情報とを含む姿勢ＧＴデータを生成してよく、前記学習実行部は、前記複数のサイズＧＴデータと、複数の前記姿勢ＧＴデータとを用いた機械学習を実行することによって、魚の画像を入力とし、前記魚の姿勢を示す姿勢情報を出力とする姿勢学習モデルと、前記魚の画像と前記姿勢情報とを入力とし、前記魚の画像空間における３次元のサイズを示す画像サイズ情報を出力とするサイズ学習モデルとを含む前記学習モデルを生成してよく、前記サイズ推定部は、前記魚撮像画像を、前記姿勢学習モデルに入力し、前記姿勢学習モデルから出力された前記姿勢情報と、前記魚撮像画像とを前記サイズ学習モデルに入力して、前記魚の前記画像サイズ情報を取得してよい。

【0005】

前記いずれかの情報処理システムは、前記サイズ推定部が複数の魚を含む魚撮像画像を前記学習モデルに入力して取得した前記複数の魚の画像サイズ情報を用いて、前記複数の魚のそれぞれについて、実空間における３次元のサイズを示す実サイズ情報を生成する実サイズ情報生成部と、前記複数の魚のそれぞれについて、前記実サイズ情報を用いて、重量を推定する重量推定部とを備えてよい。前記情報処理システムは、複数の魚を含む画像を入力とし、前記複数の魚同士の相対距離を出力とする相対距離学習モデルを記憶する記憶部を備えてよく、前記実サイズ情報生成部は、前記魚撮像画像を撮像したカメラと前記複数の魚のうちの一の魚との距離を特定し、前記魚撮像画像を前記相対距離学習モデルに入力して、前記複数の魚同士の相対距離を特定し、前記カメラと前記一の魚との前記距離と、前記複数の魚同士の相対距離と、前記複数の魚３０の画像サイズ情報とを用いて、前記複数の魚のそれぞれの前記実サイズ情報を生成してよい。前記実サイズ情報生成部は、ステレオ視によって前記カメラと前記一の魚との距離を特定してよい。前記実サイズ情報生成部は、前記魚撮像画像に含まれる複数の魚のうち、タグが付されており、実空間における実サイズが既知である前記一の魚を、前記タグによって特定し、前記一の魚の前記実サイズに基づいて、前記カメラと前記一の魚との距離を特定してよい。前記実サイズ情報生成部は、実空間における実サイズと前記カメラとの距離とが既知の物体を含む前記魚撮像画像を前記相対距離学習モデルに入力して、前記複数の魚及び前記物体のそれぞれ同士の相対距離を特定し、前記物体の前記実サイズ及び前記カメラとの前記距離と、前記相対距離とを用いて、前記複数の魚のそれぞれの前記実サイズ情報を生成してよい。

【0006】

前記いずれかの情報処理システムにおいて、前記ＧＴデータ生成部は、魚をシミュレーションしたシミュレーションデータを用いて、魚を仮想的なカメラで撮像した画像と、前記魚と前記仮想的なカメラとの距離と、前記カメラのパラメータとを含む距離ＧＴデータを生成してよく、前記学習実行部は、複数の前記距離ＧＴデータを用いた機械学習を実行することによって、魚の画像及び当該画像を撮像したカメラのパラメータを入力とし、前記魚と前記カメラとの距離を出力とする距離学習モデルを生成してよい。前記情報処理システムは、前記サイズ推定部が複数の魚を含む魚撮像画像を前記学習モデルに入力して取得した前記複数の魚の画像サイズ情報と、当該魚撮像画像及び当該魚撮像画像を撮像したカメラのパラメータを前記距離学習モデルに入力して前記距離学習モデルから出力された前記複数の魚のそれぞれの前記カメラからの距離とに基づいて、前記複数の魚のそれぞれについて、実空間における３次元のサイズを示す実サイズ情報を生成する実サイズ情報生成部と、前記複数の魚のそれぞれについて、前記実サイズ情報を用いて、重量を推定する重量推定部とを備えてよい。

【0007】

前記いずれかの情報処理システムは、複数の魚に対して測距センサが光を照射することによって測定した、前記測距センサと前記複数の魚のそれぞれとの距離を示す距離情報を取得する距離情報取得部と、前記サイズ推定部が前記複数の魚を含む魚撮像画像を前記学習モデルに入力して取得した前記複数の魚の画像サイズ情報と、前記距離測定部によって測定された前記複数の魚のそれぞれとの距離とを用いて、前記複数の魚のそれぞれについて、実空間における３次元のサイズを示す実サイズ情報を生成する実サイズ情報生成部と、前記複数の魚のそれぞれについて、前記実サイズ情報を用いて、重量を推定する重量推定部を備えてよい。

【0008】

本発明の一実施態様によれば、コンピュータを、前記情報処理システムとして機能させるためのプログラムが提供される。

【0009】

本発明の一実施態様によれば、コンピュータによって実行される情報処理方法が提供される。前記情報処理方法は、魚をシミュレーションしたシミュレーションデータを用いて、魚の画像と、前記魚の画像空間における３次元のサイズを示す画像サイズ情報とを含むサイズＧＴデータを生成するＧＴデータ生成段階を備えてよい。前記情報処理方法は、複数の前記サイズＧＴデータを用いた機械学習を実行することによって、魚の画像を入力とし、前記魚の画像空間における当該３次元のサイズを示す画像サイズ情報を出力とする学習モデルを生成する学習実行段階を備えてよい。前記情報処理方法は、魚を撮像した魚撮像画像を、前記学習実行段階において生成された前記学習モデルに入力して、前記魚の画像サイズ情報を取得するサイズ推定段階を備えてよい。

【0010】

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

【図面の簡単な説明】

【0011】

【図1】情報処理システム１００の一例を概略的に示す。

【図2】情報処理システム１００の機能構成の一例を概略的に示す。

【図3】情報処理システム１００の一例を概略的に示す。

【図4】情報処理システム１００の一例を概略的に示す。

【図5】情報処理システム１００の一例を概略的に示す。

【図6】情報処理システム１００の一例を概略的に示す。

【図7】情報処理システム１００、学習装置１０２、又は推定装置１０４として機能するコンピュータ１２００のハードウェア構成の一例を概略的に示す。

【発明を実施するための形態】

【0012】

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

【0013】

従来、魚のサイズ推定を行い、重さの推定を行っている。しかし、従来の魚のサイズ推定では、長さ又は尾叉長と高さのみであり、そのため、精度が低い。その理由は、魚種によっては、成長とともに、長くなっていくものもあれば、ある程度の長さまで育つと体幅（厚み）が育っていくものがある。体幅が体重推定に非常に重要となっている。しかしながら、３次元のサイズ推定は非常に難しい。特に水中ではＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ Ａｎｄ Ｒａｎｇｉｎｇ）のようなデプスセンサが有効ではない。本実施形態に係る情報処理システム１００では、水中でのサイズ推定をシミュレーションベースで行い、体重推定のＧｒｏｕｎｄ Ｔｒｕｔｈに実際の体側データを用い、カメラビジョンから体重推定を精度高く行う。

【0014】

図１は、情報処理システム１００の一例を概略的に示す。情報処理システム１００は、学習装置１０２、及び推定装置１０４によって構成されてよい。なお、情報処理システム１００が、学習装置１０２及び推定装置１０４によって構成されるのは一例であって、これに限られない。

【0015】

情報処理システム１００は、図１に例示するように２つの装置によって構成されてよく、１つの装置によって構成されてもよい。また、情報処理システム１００は、３つ以上の装置によって構成されてもよい。

【0016】

例えば、情報処理システム１００が、学習装置１０２及び推定装置１０４のうち、学習装置１０２のみを備え、推定装置１０４は、情報処理システム１００の外部の装置であってよい。情報処理システム１００が、学習装置１０２及び推定装置１０４のうち、推定装置１０４のみを備え、学習装置１０２は、情報処理システム１００の外部の装置であってもよい。

【0017】

情報処理システム１００は、ネットワーク２０を介してカメラ２００と通信してよい。ネットワーク２０は、インターネットを含んでよい。ネットワーク２０は、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）を含んでよい。ネットワーク２０は、移動体通信ネットワークを含んでよい。移動体通信ネットワークは、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）通信方式、５Ｇ（５ｔｈ Ｇｅｎｅｒａｔｉｏｎ）通信方式、３Ｇ（３ｒｄ Ｇｅｎｅｒａｔｉｏｎ）通信方式、及び６Ｇ（６ｔｈ Ｇｅｎｅｒａｔｉｏｎ）通信方式以降の通信方式のいずれに準拠していてもよい。

【0018】

情報処理システム１００は、ネットワーク２０に有線接続されてよい。情報処理システム１００は、ネットワーク２０に無線接続されてもよい。情報処理システム１００は、無線基地局を介してネットワーク２０に接続されてよい。情報処理システム１００は、Ｗｉ－Ｆｉ（登録商標）アクセスポイントを介してネットワーク２０に接続されてよい。

【0019】

学習装置１０２は、ネットワーク２０に有線接続されてよい。学習装置１０２は、ネットワーク２０に無線接続されてもよい。学習装置１０２は、無線基地局を介してネットワーク２０に接続されてよい。学習装置１０２は、Ｗｉ－Ｆｉアクセスポイントを介してネットワーク２０に接続されてよい。

【0020】

推定装置１０４は、ネットワーク２０に有線接続されてよい。推定装置１０４は、ネットワーク２０に無線接続されてもよい。推定装置１０４は、無線基地局を介してネットワーク２０に接続されてよい。推定装置１０４は、Ｗｉ－Ｆｉアクセスポイントを介してネットワーク２０に接続されてよい。

【0021】

カメラ２００は、魚３０を撮像可能な任意の場所に設置される。カメラ２００は、例えば、サイズや体重を推定する対象である、生簀等を遊泳している複数の魚３０を撮像する。カメラ２００は、ネットワーク２０に有線接続されてよい。カメラ２００は、ネットワーク２０に無線接続されてよい。カメラ２００は、無線基地局を介してネットワーク２０に接続されてよい。カメラ２００は、Ｗｉ－Ｆｉアクセスポイントを介してネットワーク２０に接続されてよい。推定装置１０４とカメラ２００とが直接接続されてもよい。推定装置１０４が、カメラ２００を内蔵してもよい。推定装置１０４がカメラ２００を内蔵する場合、推定装置１０４が、魚３０を撮像可能な任意の場所に設置されてよい。

【0022】

情報処理システム１００は、魚３０を撮像した撮像画像から、魚３０の画像空間における３次元のサイズを推定する。魚３０の３次元のサイズとは、魚３０の長さ、高さ、及び体幅であってよい。情報処理システム１００は、推定した魚３０の画像空間における３次元のサイズから、魚３０の実空間における３次元のサイズを推定する。情報処理システム１００は、推定した魚３０の実空間における３次元のサイズを用いて、魚３０の重量を推定する。

【0023】

学習装置１０２は、魚３０を撮像した撮像画像から魚３０の画像空間における３次元のサイズを推定するための学習を実行してよい。このような学習を実行するためには、魚３０の画像と当該魚３０のサイズとを含むＧＴデータが大量に必要となるが、このようなＧＴデータを大量に準備することは容易ではない。

【0024】

そこで、本実施形態に係る学習装置１０２は、魚３０をシミュレーションしたシミュレーションデータを用いて、魚３０の画像と、魚３０の画像空間における３次元のサイズを示すサイズ情報（画像サイズ情報と記載する場合がある）とを含むＧＴデータ（サイズＧＴデータと記載する場合がある）を大量に自動生成してよい。学習装置１０２は、生成した大量のサイズＧＴデータを用いた機械学習を実行することによって、魚３０の画像を入力とし、魚３０の画像空間における３次元のサイズを示す画像サイズ情報を出力とする学習モデルを生成してよい。当該学習モデルは、１匹の魚３０が含まれる画像が入力された場合、当該１匹の魚３０の画像サイズ情報を出力し、複数の魚３０が含まれる画像が入力された場合、当該複数の魚３０のそれぞれの画像サイズ情報を出力することができる。例えば、学習装置１０２は、大量のサイズＧＴデータを用いたディープラーニングを実行することによって、魚３０の画像を入力とし、魚３０の画像空間における３次元のサイズを示す画像サイズ情報を出力とするニューラルネットワーク（サイズニューラルネットワークと記載する場合がある）を生成する。学習に用いるディープネットワークとして、既存の３Ｄオブジェクト検出用のネットワークを用いてもよい。

【0025】

学習装置１０２は、魚３０の画像から魚３０の姿勢推定（Ｐｏｓｅ推定と呼ばれる場合もある）を行うための学習を行ってもよい。例えば、学習装置１０２は、魚３０をシミュレーションしたシミュレーションデータを用いて、魚３０の画像と、魚３０の姿勢を示す姿勢情報とを含むＧＴデータ（姿勢ＧＴデータと記載する場合がある）を大量に自動生成してよい。学習装置１０２は、生成した大量の姿勢ＧＴデータを用いた機械学習を実行することによって、魚３０の画像を入力とし、魚３０の姿勢を示す姿勢情報を出力とする学習モデル（姿勢学習モデルと記載する場合がある）を生成してよい。例えば、学習装置１０２は、魚３０の画像を入力とし、魚３０の姿勢情報を出力とするニューラルネットワーク（姿勢ニューラルネットワークと記載する場合がある）を生成する。学習装置１０２は、既存の人間の姿勢推定用のニューラルネットワークに対して転移学習を行うことによって、魚用の姿勢ニューラルネットワークを生成してもよい。

【0026】

そして、学習装置１０２は、魚３０の画像と魚３０の姿勢情報とを入力とし、魚３０の画像空間における３次元のサイズを示す画像サイズ情報を出力とする学習モデル（サイズ学習モデルと記載する場合がある）を生成してよい。このように、学習装置１０２は、複数のサイズＧＴデータと、複数の姿勢ＧＴデータとを用いた機械学習を実行することによって、姿勢学習モデルとサイズ学習モデルを含む学習モデル（混合学習モデルと記載する場合がある）を生成してよい。学習装置１０２は、姿勢ニューラルネットワークと、サイズニューラルネットワークとのＦｕｓｅｄネットワークを生成してよい。

【0027】

推定装置１０４は、学習装置１０２が生成した学習モデルを、学習装置１０２から受信してよい。推定装置１０４は、学習装置１０２から、姿勢学習モデル及びサイズ学習モデルを受信してよい。推定装置１０４は、学習装置１０２から、混合学習モデルを受信してよい。

【0028】

推定装置１０４は、学習装置１０２が生成した学習モデルを用いて、魚３０の撮像画像から、魚３０の画像空間における３次元のサイズを推定してよい。例えば、推定装置１０４は、複数の魚３０を撮像した魚撮像画像をカメラ２００から受信して、当該魚撮像画像を、魚３０の画像を入力とし、魚３０の画像サイズ情報を出力とする学習モデルに入力して、学習モデルから出力された魚３０の画像サイズ情報を取得してよい。

【0029】

推定装置１０４は、魚撮像画像を、姿勢学習モデルに入力し、姿勢学習モデルから出力された魚３０の姿勢情報と、魚撮像画像とをサイズ学習モデルに入力して、サイズ学習モデルから出力された魚３０の画像サイズ情報を取得してよい。推定装置１０４は、魚撮像画像を、混合学習モデルに入力して、混合学習モデルから出力された魚３０の画像サイズ情報を取得してよい。

【0030】

推定装置１０４は、魚３０の画像サイズ情報を用いて、魚３０の実空間における３次元のサイズを示す実サイズ情報を生成してよい。推定装置１０４は、魚３０の実サイズ情報を用いて、魚３０の重量を推定してよい。

【0031】

図２は、情報処理システム１００の機能構成の一例を概略的に示す。情報処理システム１００は、記憶部１１０、データ取得部１１２、シミュレーションデータ生成部１１４、ＧＴデータ生成部１１６、学習実行部１１８、サイズ推定部１２０、実サイズ情報生成部１２２、距離情報取得部１２４、重量推定部１２６、及び出力制御部１２８を備える。情報処理システム１００がこれらの全てを備えることは必須とは限らない。

【0032】

データ取得部１１２は、各種データを取得する。データ取得部１１２は、取得したデータを記憶部１１０に記憶させる。

【0033】

データ取得部１１２は、例えば、学習に用いるデータを取得する。データ取得部１１２は、例えば、魚３０をシミュレーションしたシミュレーションデータを取得する。データ取得部１１２は、遊泳している魚３０をシミュレーションしてシミュレーションデータを取得してよい。データ取得部１１２は、静止している魚３０をシミュレーションしたシミュレーションデータを取得してもよい。データ取得部１１２は、外部の装置によって生成されたシミュレーションデータを外部から受信してよい。

【0034】

データ取得部１１２は、例えば、サイズや重量を推定する対象の魚３０のデータを取得する。データ取得部１１２は、対象の魚３０をカメラ２００が撮像した魚撮像画像を、カメラ２００から受信する。データ取得部１１２は、対象となる、遊泳している魚３０をカメラ２００が撮像した魚撮像画像を、カメラ２００から受信してよい。データ取得部１１２は、対象となる、静止している魚３０をカメラ２００が撮像した魚撮像画像を、カメラ２００から受信してもよい。

【0035】

シミュレーションデータ生成部１１４は、魚３０をシミュレーションしたシミュレーションデータを生成する。シミュレーションデータ生成部１１４は、遊泳している魚３０をシミュレーションしたシミュレーションデータを生成してよい。シミュレーションデータ生成部１１４は、静止している魚３０をシミュレーションしたシミュレーションデータを生成してよい。

【0036】

シミュレーションデータは、様々な種類の様々なサイズの魚３０をシミュレーションしたデータであってよい。

【0037】

ＧＴデータ生成部１１６は、ＧＴデータを生成する。ＧＴデータ生成部１１６は、生成したＧＴデータを記憶部１１０に記憶させる。

【0038】

例えば、ＧＴデータ生成部１１６は、シミュレーションデータを用いて、魚３０の画像と、魚３０の画像空間における３次元のサイズを示す画像サイズ情報とを含むサイズＧＴデータを生成する。ＧＴデータ生成部１１６は、遊泳している魚３０の画像と、魚３０の画像空間における３次元のサイズを示す画像サイズ情報とを含むサイズＧＴデータを生成してよい。ＧＴデータ生成部１１６は、静止している魚３０の画像と、魚３０の画像空間における３次元のサイズを示す画像サイズ情報とを含むサイズＧＴデータを生成してよい。ＧＴデータ生成部１１６は、様々な種類の様々なサイズの魚３０を対象とした、複数のサイズＧＴデータを生成する。

【0039】

例えば、ＧＴデータ生成部１１６は、シミュレーションデータを用いて、魚３０の画像と、魚３０の姿勢を示す姿勢情報とを含む姿勢ＧＴデータを生成する。ＧＴデータ生成部１１６は、様々な種類の様々なサイズの魚３０の様々な姿勢を対象とした、複数の姿勢ＧＴデータを生成する。

【0040】

学習実行部１１８は、魚３０を撮像した撮像画像から魚３０の画像空間における３次元のサイズを推定するための学習を実行する。学習実行部１１８は、ＧＴデータ生成部１１６によって生成された複数のサイズＧＴデータを用いた機械学習を実行することによって、魚３０の画像を入力とし、魚３０の画像空間における３次元のサイズを示す画像サイズ情報を出力とする学習モデルを生成してよい。当該学習モデルは、１匹の魚３０が含まれる画像が入力された場合、当該１匹の魚３０の画像サイズ情報を出力し、複数の魚３０が含まれる画像が入力された場合、当該複数の魚３０のそれぞれの画像サイズ情報を出力することができる。学習実行部１１８は、複数のサイズＧＴデータを用いたディープラーニングを実行することによって、魚３０の画像を入力とし、魚３０の画像空間における３次元のサイズを示す画像サイズ情報を出力とするサイズニューラルネットワークを生成してよい。学習実行部１１８は、例えば、既存の３Ｄオブジェクト検出用のネットワークを用いたディープラーニングを実行してよい。

【0041】

学習実行部１１８は、魚３０の画像から魚３０の姿勢推定を行うための学習を行ってよい。学習実行部１１８は、ＧＴデータ生成部１１６によって生成された複数の姿勢ＧＴデータを用いた機械学習を実行することによって、魚３０の画像を入力とし、魚３０の姿勢を示す姿勢情報を出力とする姿勢学習モデルを生成してよい。姿勢学習モデルは、１匹の魚３０が含まれる画像が入力された場合、当該１匹の魚３０の姿勢情報を出力し、複数の魚３０が含まれる画像が入力された場合、当該複数の魚３０のそれぞれの姿勢情報を出力することができる。学習実行部１１８は、複数の姿勢ＧＴデータを用いたディープラーニングを実行することによって、魚３０の画像を入力とし、魚３０の姿勢情報を出力とする姿勢ニューラルネットワークを生成してよい。学習実行部１１８は、既存の人間の姿勢推定用のニューラルネットワークに対して転移学習を行うことによって、魚用の姿勢ニューラルネットワークを生成してもよい。

【0042】

学習実行部１１８は、魚３０の画像と魚３０の姿勢情報とを入力とし、魚３０の画像空間における３次元のサイズを示す画像サイズ情報を出力とするサイズ学習モデルを生成してよい。このように、学習実行部１１８は、複数のサイズＧＴデータと、複数の姿勢ＧＴデータとを用いた機械学習を実行することによって、姿勢学習モデルとサイズ学習モデルを含む混合学習モデルを生成してよい。例えば、学習実行部１１８は、姿勢ニューラルネットワークと、サイズニューラルネットワークとを混合したＦｕｓｅｄネットワークを生成する。

【0043】

サイズ推定部１２０は、データ取得部１１２が取得した、魚３０を撮像した魚撮像画像を用いて、魚撮像画像に含まれる魚３０の画像空間における３次元のサイズを推定する。サイズ推定部１２０は、魚撮像画像を、学習実行部１１８によって生成された学習モデルに入力して、学習モデルから出力された画像サイズ情報を取得してよい。サイズ推定部１２０は、取得した画像サイズ情報を記憶部１１０に記憶させる。ＧＴデータ生成部１１６は、サイズＧＴデータを大量に自動生成することができ、大量のサイズＧＴデータを用いて生成された学習モデルは、高い精度で魚３０のサイズを推定することができる。このため、サイズ推定部１２０は、高い精度で魚３０の画像空間における３次元のサイズを推定することができる。

【0044】

サイズ推定部１２０は、魚撮像画像を、学習実行部１１８によって生成された姿勢学習モデルに入力し、姿勢学習モデルから出力された姿勢情報と、魚撮像画像とを、学習実行部１１８によって生成されたサイズ学習モデルに入力して、魚３０の画像サイズ情報を取得してもよい。また、サイズ推定部１２０は、魚撮像画像を、学習実行部１１８によって生成された混合学習モデルに入力し、混合学習モデルから出力された魚３０の画像サイズ情報を取得してもよい。例えば、遊泳している魚３０を撮像した画像における魚３０は、カメラ２００に対して様々な姿勢を取り得る。例えば、魚３０の側面がカメラ２００に向いている場合は、魚３０のサイズを比較的推定しやすいが、魚３０の正面や背面がカメラ２００に向いていたり、魚３０の体が曲がっている状態で撮像されたりした場合、魚３０のサイズを推定することが比較的難しくなる。それに対して、魚３０の姿勢を推定することによって、魚３０の側面がカメラ２００に向いている状態に変換する知識を学習モデルに与えることができ、サイズ推定の精度を向上させることができる。

【0045】

実サイズ情報生成部１２２は、サイズ推定部１２０が複数の魚３０を含む魚撮像画像を学習モデルに入力した取得した複数の魚３０の画像サイズ情報を用いて、複数の魚３０のそれぞれについて、実世界における３次元のサイズを示す実サイズ情報を生成する。実サイズ情報生成部１２２は、生成した実サイズ情報を記憶部１１０に記憶させる。

【0046】

例えば、実サイズ情報生成部１２２は、複数の魚３０のうちの一の魚３０と、魚撮像画像を撮像したカメラ２００との距離を特定する。実サイズ情報生成部１２２は、複数の魚３０を含む画像を入力とし、複数の魚３０同士の相対距離を出力とする相対距離学習モデルに、魚撮像画像を入力して、複数の魚３０同士の相対距離を特定する。実サイズ情報生成部１２２は、特定したカメラ２００と一の魚３０との距離と、特定した複数の魚３０同士の相対距離と、複数の魚３０の画像サイズ情報とを用いて、複数の魚３０のそれぞれの実サイズ情報を生成する。具体例として、実サイズ情報生成部１２２は、カメラ２００と一の魚３０との距離と、複数の魚３０同士の相対距離とを用いて、カメラ２００と複数の魚３０のそれぞれとの距離を算出する。実サイズ情報生成部１２２は、カメラ２００と複数の魚３０のそれぞれとの距離と、複数の魚３０の画像サイズ情報とを用いて、複数の魚３０の実サイズ情報を生成する。

【0047】

相対距離学習モデルは、予めデータ取得部１１２が外部から取得して、記憶部１１０に記憶させてよい。相対距離学習モデルは、複数の魚３０を含む画像と、複数の魚３０を撮像したカメラとの距離とを含むＧＴデータを用いた機械学習を実行することによって生成可能である。画像に含まれる魚３０は、カメラとの距離によって明度等が異なるので、機械学習によって、画像から複数の魚３０同士の相対距離を推定する学習モデルを生成することが可能である。相対距離学習モデルは、学習実行部１１８によって生成されてもよい。例えば、ＧＴデータ生成部１１６が、シミュレーションデータを用いて、複数の魚３０を含む画像と、仮想的なカメラとの距離を含むＧＴデータを複数生成する。学習実行部１１８は、ＧＴデータ生成部１１６によって生成された複数のＧＴデータを用いた機械学習を実行することによって、相対距離学習モデルを生成する。

【0048】

実サイズ情報生成部１２２は、例えば、ステレオ視によってカメラ２００と一の魚３０との距離を特定する。実サイズ情報生成部１２２は、魚撮像画像に含まれる複数の魚３０のうち、タグが付されており、実空間における実サイズが既知である一の魚３０を、タグによって特定し、一の魚３０の実サイズに基づいて、カメラ２００と一の魚３０との距離を特定してもよい。実サイズ情報生成部１２２は、実空間における実サイズとカメラ２００との距離とが既知の物体を含む魚撮像画像を相対距離学習モデルに入力して、複数の魚及び物体のそれぞれ同士の相対距離を特定し、物体の実サイズ及びカメラ２００との距離と、当該相対距離とを用いて、複数の魚３０のそれぞれの実サイズ情報を生成してもよい。

【0049】

情報処理システム１００は、カメラパラメータを含む学習を実行することによって、複数の魚３０を含む魚撮像画像から、複数の魚３０の実サイズ情報を生成するようにしてもよい。情報処理システム１００が使用するカメラパラメータの例として、レンズの焦点距離、レンズの歪、明度、及び射影等が挙げられるが、これらに限られない。例えば、ＧＴデータ生成部１１６が、シミュレーションデータ生成部１１４によって生成されたシミュレーションデータを用いて、魚３０を仮想的なカメラで撮像した画像と、魚３０と仮想的なカメラとの距離と、カメラのパラメータとを含むＧＴデータ（距離ＧＴデータと記載する場合がある）を生成する。学習実行部１１８が、複数の距離ＧＴデータを用いた機械学習を実行することによって、魚３０の画像及び当該画像を撮像したカメラのパラメータを入力とし、魚３０とカメラとの距離を出力とする学習モデル（距離学習モデルと記載する場合がある）を生成する。そして、実サイズ情報生成部１２２が、サイズ推定部１２０が複数の魚３０を含む魚撮像画像を学習モデルに入力して取得した複数の魚３０の画像サイズ情報と、当該魚撮像画像及び当該魚撮像画像を撮像したカメラのパラメータを距離学習モデルに入力して距離学習モデルから出力された複数の魚３０のそれぞれのカメラからの距離と、に基づいて、複数の魚３０のそれぞれについて実サイズ情報を生成する。

【0050】

距離情報取得部１２４は、複数の魚３０に対して測距センサが光を照射することによって測定した、測距センサと複数の魚３０のそれぞれとの距離を示す距離情報を取得する。実サイズ情報生成部１２２は、サイズ推定部１２０が複数の魚３０を含む魚撮像画像を学習モデルに入力して取得した複数の魚３０の画像サイズ情報と、距離情報取得部１２４が取得した距離情報とを用いて、複数の魚３０のそれぞれについて実サイズ情報を生成してもよい。

【0051】

重量推定部１２６は、複数の魚３０のそれぞれについて、実サイズ情報生成部１２２によって生成された実サイズ情報を用いて、重量を推定する。重量推定部１２６は、推定した重量を記憶部１１０に記憶させる。

【0052】

例えば、重量推定部１２６は、実際に測定された魚３０の実サイズと重量とを対応付けた実サイズ重量対応データを用いる。重量推定部１２６は、実サイズ情報生成部１２２によって生成された実サイズ情報が示す実サイズを元に、実サイズ重量対応データを参照して、当該実サイズに対応する重量を、推定結果の重量とする。実サイズ重量対応データは、予めデータ取得部１１２が外部から取得して、記憶部１１０に記憶させておいてよい。

【0053】

例えば、重量推定部１２６は、実サイズ情報を入力とし、重量を出力とする重量学習モデルを用いる。重量推定部１２６は、実サイズ情報生成部１２２によって生成された実サイズ情報を、重量学習モデルに入力して、重量学習モデルから出力された重量を、推定結果の重量とする。重量学習モデルは、予めデータ取得部１１２が外部から取得して、記憶部１１０に記憶させておいてよい。重量学習モデルは、学習実行部１１８によって生成されてもよい。例えば、データ取得部１１２が、魚３０の実サイズと、魚３０の重量とを含むＧＴデータ（サイズ重量ＧＴデータと記載する場合がある）を取得し、学習実行部１１８が、複数のサイズ重量ＧＴデータを用いた機械学習を実行することによって、重量学習モデルを生成する。

【0054】

出力制御部１２８は、記憶部１１０に記憶されているデータを出力するよう制御する。出力制御部１２８は、例えば、情報処理システム１００が備えるディスプレイにデータを表示する。出力制御部１２８は、例えば、データを外部に送信出力する。

【0055】

出力制御部１２８は、サイズ推定部１２０によって推定された画像サイズ情報を出力するよう制御してよい。出力制御部１２８は、実サイズ情報生成部１２２によって生成された実サイズ情報を出力するよう制御してよい。出力制御部１２８は、重量推定部１２６によって推定された重量を出力するよう制御してよい。

【0056】

情報処理システム１００が１つの装置によって構成される場合、情報処理システム１００は、記憶部１１０、データ取得部１１２、シミュレーションデータ生成部１１４、ＧＴデータ生成部１１６、学習実行部１１８、サイズ推定部１２０、実サイズ情報生成部１２２、距離情報取得部１２４、重量推定部１２６、及び出力制御部１２８を備えてよい。情報処理システム１００が学習装置１０２及び推定装置１０４によって構成される場合、学習装置１０２が、記憶部１１０、データ取得部１１２、シミュレーションデータ生成部１１４、ＧＴデータ生成部１１６、及び学習実行部１１８を備えてよく、推定装置１０４が、記憶部１１０、サイズ推定部１２０、実サイズ情報生成部１２２、距離情報取得部１２４、重量推定部１２６、及び出力制御部１２８を備えてよい。記憶部１１０は、学習装置１０２及び推定装置１０４によって共有されてよい。学習装置１０２及び推定装置１０４のそれぞれが記憶部１１０を有してもよい。情報処理システム１００が３つ以上の装置によって構成される場合、記憶部１１０、データ取得部１１２、シミュレーションデータ生成部１１４、ＧＴデータ生成部１１６、学習実行部１１８、サイズ推定部１２０、実サイズ情報生成部１２２、距離情報取得部１２４、重量推定部１２６、及び出力制御部１２８が、３つ以上の装置に対して適切に分散配置されてよい。

【0057】

図３は、情報処理システム１００の一例を概略的に示す。図３に示す例において、情報処理システム１００は、ステレオカメラ２１０と通信可能である。ステレオカメラ２１０は、カメラ２００の一例であってよい。

【0058】

図３に例示する情報処理システム１００において、実サイズ情報生成部１２２は、ステレオカメラ２１０によるステレオ視によって、ステレオカメラ２１０と一の魚３０との距離を特定してよい。なお、図３に例示する情報処理システム１００において、実サイズ情報生成部１２２は、ステレオカメラ２１０によるステレオ視によって、ステレオカメラ２１０と、対象の複数の魚３０のそれぞれとの距離を特定してもよい。この場合、実サイズ情報生成部１２２は、複数の魚３０をステレオカメラ２１０が撮像した魚撮像画像をサイズ推定部１２０が学習モデルに入力して取得した複数の魚３０の画像サイズ情報と、特定したステレオカメラ２１０と複数の魚３０のそれぞれとの距離から、複数の魚３０のそれぞれの実サイズ情報を生成してもよい。

【0059】

図４は、情報処理システム１００の一例を概略的に示す。図４に示す例においては、複数の魚３０のうちの少なくとも１匹に、タグ３２が付されている。タグ３２が付されている魚３０は、実空間における実サイズが既知である。

【0060】

図４に例示する情報処理システム１００において、実サイズ情報生成部１２２は、魚撮像画像に含まれる複数の魚３０のうち、タグ３２が付されており、実サイズが既知である一の魚３０を、タグ３２によって特定し、当該一の魚３０の実サイズに基づいて、カメラ２００と一の魚３０との距離を特定してよい。

【0061】

図５は、情報処理システム１００の一例を概略的に示す。図５に示す例においては、魚３０が遊泳している場所に物体３４が配置されている。物体３４は、実サイズが既知であって、カメラ２００からの距離が既知の位置に配置される。例えば、魚３０が生簀内を遊泳している場合、物体３４は生簀内に配置される。図５では、物体３４の形状が立方体であるが、物体３４の形状はこれに限らず、他の形状であってもよい。

【0062】

図５に例示する情報処理システム１００において、実サイズ情報生成部１２２は、複数の魚３０と物体３４とを含む魚撮像画像を、相対距離学習モデルに入力して、複数の魚３０及び物体３４のそれぞれ同士の相対距離を特定してよい。実サイズ情報生成部１２２は、物体３４の実サイズ及びカメラ２００との距離と、特定した相対距離とを用いて、複数の魚３０のそれぞれの実サイズ情報を生成してよい。

【0063】

図６は、情報処理システム１００の一例を概略的に示す。図６に示す例において、情報処理システム１００は、測距センサ３００と通信可能である。測距センサ３００は、魚３０に対して光を照射し、魚３０からの反射光を受光することによって、測距センサ３００と魚３０との距離を測定可能である。測距センサ３００は、カメラ２００に対応する位置に配置される。記憶部１１０は、測距センサ３００とカメラ２００との位置関係の情報を記憶する。

【0064】

図６に例示する情報処理システム１００において、距離情報取得部１２４は、測距センサ３００によって測定された、測距センサ３００と複数の魚３０のそれぞれとの距離を示す距離情報を取得してよい。実サイズ情報生成部１２２は、距離情報取得部１２４が取得した距離情報と、カメラ２００と測距センサ３００との位置関係とから、カメラ２００と複数の魚３０のそれぞれとの距離を算出してよい。実サイズ情報生成部１２２は、サイズ推定部１２０が複数の魚３０を含む魚撮像画像を学習モデルに入力して取得した複数の魚３０の画像サイズ情報と、カメラ２００と複数の魚３０のそれぞれとの距離とを用いて、複数の魚３０のそれぞれについて、実サイズ情報を生成してよい。

【0065】

図７は、情報処理システム１００、学習装置１０２、又は推定装置１０４として機能するコンピュータ１２００のハードウェア構成の一例を概略的に示す。コンピュータ１２００にインストールされたプログラムは、コンピュータ１２００を、本実施形態に係る装置の１又は複数の「部」として機能させ、又はコンピュータ１２００に、本実施形態に係る装置に関連付けられるオペレーション又は当該１又は複数の「部」を実行させることができ、及び／又はコンピュータ１２００に、本実施形態に係るプロセス又は当該プロセスの段階を実行させることができる。そのようなプログラムは、コンピュータ１２００に、本明細書に記載のフローチャート及びブロック図のブロックのうちのいくつか又はすべてに関連付けられた特定のオペレーションを実行させるべく、ＣＰＵ１２１２によって実行されてよい。

【0066】

本実施形態によるコンピュータ１２００は、ＣＰＵ１２１２、ＲＡＭ１２１４、及びグラフィックコントローラ１２１６を含み、それらはホストコントローラ１２１０によって相互に接続されている。コンピュータ１２００はまた、通信インタフェース１２２２、記憶装置１２２４、ＤＶＤドライブ、及びＩＣカードドライブのような入出力ユニットを含み、それらは入出力コントローラ１２２０を介してホストコントローラ１２１０に接続されている。ＤＶＤドライブは、ＤＶＤ－ＲＯＭドライブ及びＤＶＤ－ＲＡＭドライブ等であってよい。記憶装置１２２４は、ハードディスクドライブ及びソリッドステートドライブ等であってよい。コンピュータ１２００はまた、ＲＯＭ１２３０及びキーボードのようなレガシの入出力ユニットを含み、それらは入出力チップ１２４０を介して入出力コントローラ１２２０に接続されている。

【0067】

ＣＰＵ１２１２は、ＲＯＭ１２３０及びＲＡＭ１２１４内に格納されたプログラムに従い動作し、それにより各ユニットを制御する。グラフィックコントローラ１２１６は、ＲＡＭ１２１４内に提供されるフレームバッファ等又はそれ自体の中に、ＣＰＵ１２１２によって生成されるイメージデータを取得し、イメージデータがディスプレイデバイス１２１８上に表示されるようにする。

【0068】

通信インタフェース１２２２は、ネットワークを介して他の電子デバイスと通信する。記憶装置１２２４は、コンピュータ１２００内のＣＰＵ１２１２によって使用されるプログラム及びデータを格納する。ＤＶＤドライブは、プログラム又はデータをＤＶＤ－ＲＯＭ等から読み取り、記憶装置１２２４に提供する。ＩＣカードドライブは、プログラム及びデータをＩＣカードから読み取り、及び／又はプログラム及びデータをＩＣカードに書き込む。

【0069】

ＲＯＭ１２３０はその中に、アクティブ化時にコンピュータ１２００によって実行されるブートプログラム等、及び／又はコンピュータ１２００のハードウェアに依存するプログラムを格納する。入出力チップ１２４０はまた、様々な入出力ユニットをＵＳＢポート、パラレルポート、シリアルポート、キーボードポート、マウスポート等を介して、入出力コントローラ１２２０に接続してよい。

【0070】

プログラムは、ＤＶＤ－ＲＯＭ又はＩＣカードのようなコンピュータ可読記憶媒体によって提供される。プログラムは、コンピュータ可読記憶媒体から読み取られ、コンピュータ可読記憶媒体の例でもある記憶装置１２２４、ＲＡＭ１２１４、又はＲＯＭ１２３０にインストールされ、ＣＰＵ１２１２によって実行される。これらのプログラム内に記述される情報処理は、コンピュータ１２００に読み取られ、プログラムと、上記様々なタイプのハードウェアリソースとの間の連携をもたらす。装置又は方法が、コンピュータ１２００の使用に従い情報のオペレーション又は処理を実現することによって構成されてよい。

【0071】

例えば、通信がコンピュータ１２００及び外部デバイス間で実行される場合、ＣＰＵ１２１２は、ＲＡＭ１２１４にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インタフェース１２２２に対し、通信処理を命令してよい。通信インタフェース１２２２は、ＣＰＵ１２１２の制御の下、ＲＡＭ１２１４、記憶装置１２２４、ＤＶＤ－ＲＯＭ、又はＩＣカードのような記録媒体内に提供される送信バッファ領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、又はネットワークから受信した受信データを記録媒体上に提供される受信バッファ領域等に書き込む。

【0072】

また、ＣＰＵ１２１２は、記憶装置１２２４、ＤＶＤドライブ（ＤＶＤ－ＲＯＭ）、ＩＣカード等のような外部記録媒体に格納されたファイル又はデータベースの全部又は必要な部分がＲＡＭ１２１４に読み取られるようにし、ＲＡＭ１２１４上のデータに対し様々なタイプの処理を実行してよい。ＣＰＵ１２１２は次に、処理されたデータを外部記録媒体にライトバックしてよい。

【0073】

様々なタイプのプログラム、データ、テーブル、及びデータベースのような様々なタイプの情報が記録媒体に格納され、情報処理を受けてよい。ＣＰＵ１２１２は、ＲＡＭ１２１４から読み取られたデータに対し、本開示の随所に記載され、プログラムの命令シーケンスによって指定される様々なタイプのオペレーション、情報処理、条件判断、条件分岐、無条件分岐、情報の検索／置換等を含む、様々なタイプの処理を実行してよく、結果をＲＡＭ１２１４に対しライトバックする。また、ＣＰＵ１２１２は、記録媒体内のファイル、データベース等における情報を検索してよい。例えば、各々が第２の属性の属性値に関連付けられた第１の属性の属性値を有する複数のエントリが記録媒体内に格納される場合、ＣＰＵ１２１２は、当該複数のエントリの中から、第１の属性の属性値が指定されている条件に一致するエントリを検索し、当該エントリ内に格納された第２の属性の属性値を読み取り、それにより予め定められた条件を満たす第１の属性に関連付けられた第２の属性の属性値を取得してよい。

【0074】

上で説明したプログラム又はソフトウエアモジュールは、コンピュータ１２００上又はコンピュータ１２００近傍のコンピュータ可読記憶媒体に格納されてよい。また、専用通信ネットワーク又はインターネットに接続されたサーバシステム内に提供されるハードディスク又はＲＡＭのような記録媒体が、コンピュータ可読記憶媒体として使用可能であり、それによりプログラムを、ネットワークを介してコンピュータ１２００に提供する。

【0075】

本実施形態におけるフローチャート及びブロック図におけるブロックは、オペレーションが実行されるプロセスの段階又はオペレーションを実行する役割を持つ装置の「部」を表わしてよい。特定の段階及び「部」が、専用回路、コンピュータ可読記憶媒体上に格納されるコンピュータ可読命令と共に供給されるプログラマブル回路、及び／又はコンピュータ可読記憶媒体上に格納されるコンピュータ可読命令と共に供給されるプロセッサによって実装されてよい。専用回路は、デジタル及び／又はアナログハードウェア回路を含んでよく、集積回路（ＩＣ）及び／又はディスクリート回路を含んでよい。プログラマブル回路は、例えば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、及びプログラマブルロジックアレイ（ＰＬＡ）等のような、論理積、論理和、排他的論理和、否定論理積、否定論理和、及び他の論理演算、フリップフロップ、レジスタ、並びにメモリエレメントを含む、再構成可能なハードウェア回路を含んでよい。

【0076】

コンピュータ可読記憶媒体は、適切なデバイスによって実行される命令を格納可能な任意の有形なデバイスを含んでよく、その結果、そこに格納される命令を有するコンピュータ可読記憶媒体は、フローチャート又はブロック図で指定されたオペレーションを実行するための手段を作成すべく実行され得る命令を含む、製品を備えることになる。コンピュータ可読記憶媒体の例としては、電子記憶媒体、磁気記憶媒体、光記憶媒体、電磁記憶媒体、半導体記憶媒体等が含まれてよい。コンピュータ可読記憶媒体のより具体的な例としては、フロッピー（登録商標）ディスク、ディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリメモリ（ＥＰＲＯＭ又はフラッシュメモリ）、電気的消去可能プログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、コンパクトディスクリードオンリメモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、Ｂｌｕ－ｒａｙ（登録商標）ディスク、メモリスティック、集積回路カード等が含まれてよい。

【0077】

コンピュータ可読命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、又はＳｍａｌｌｔａｌｋ（登録商標）、ＪＡＶＡ（登録商標）、Ｃ＋＋等のようなオブジェクト指向プログラミング言語、及び「Ｃ」プログラミング言語又は同様のプログラミング言語のような従来の手続型プログラミング言語を含む、１又は複数のプログラミング言語の任意の組み合わせで記述されたソースコード又はオブジェクトコードのいずれかを含んでよい。

【0078】

コンピュータ可読命令は、コンピュータ等のプログラム可能なデータ処理装置のプロセッサ、又はプログラマブル回路が、フローチャート又はブロック図で指定されたオペレーションを実行するための手段を生成するために当該コンピュータ可読命令を実行すべく、ローカルに又はローカルエリアネットワーク（ＬＡＮ）、インターネット等のようなワイドエリアネットワーク（ＷＡＮ）を介して、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサ、又はプログラマブル回路に提供されてよい。ここで、コンピュータは、ＰＣ（パーソナルコンピュータ）、タブレット型コンピュータ、スマートフォン、ワークステーション、サーバコンピュータ、汎用コンピュータ、または特殊目的のコンピュータ等であってよく、複数のコンピュータが接続されたコンピュータシステムであってもよい。このような複数のコンピュータが接続されたコンピュータシステムは分散コンピューティングシステムとも呼ばれ、広義のコンピュータである。分散コンピューティングシステムにおいては、複数のコンピュータのそれぞれがプログラムの一部ずつを実行し、必要に応じてコンピュータ間でプログラム実行中のデータを受け渡すことによって、複数のコンピュータが集合的に プログラムを実行する。

【0079】

プロセッサの例としては、コンピュータプロセッサ、中央処理装置、処理ユニット、マイクロプロセッサ、デジタル信号プロセッサ、コントローラ、マイクロコントローラ等を含む。コンピュータは、１つのプロセッサまたは複数のプロセッサを備えてよい。複数のプロセッサを備えるマルチプロセッサシステムにおいては、それぞれのプロセッサがプログラムの一部ずつを実行し、必要に応じてプロセッサ間でプログラム実行中のデータを受け渡すことによって、複数のプロセッサが集合的にプログラムを実行する。例えば、マルチタスクの実行において、複数のプロセッサのそれぞれは、タイムスライス毎にタスクスイッチすることにより各タスクの一部分ずつを細切れに実行してよい。この場合、各プロセッサが１つのプログラムのうちどの部分を実行するかは、動的に変化する。複数のプロセッサのそれぞれがプログラムのどの部分を実行するかは、マルチプロセッサを意識したプログラミングにより静的に定められてもよい。

【0080】

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

【0081】

特許請求の範囲、明細書、及び図面中において示した装置、システム、プログラム、及び方法における動作、手順、ステップ、及び段階などの各処理の実行順序は、特段「より前に」、「先立って」などと明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、及び図面中の動作フローに関して、便宜上「まず、」、「次に、」などを用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

【符号の説明】

【0082】

２０ ネットワーク、３０ 魚、３２ タグ、１００ 情報処理システム、１０２ 学習装置、１０４ 推定装置、１１０ 記憶部、１１２ データ取得部、１１４ シミュレーションデータ生成部、１１６ ＧＴデータ生成部、１１８ 学習実行部、１２０ サイズ推定部、１２２ 実サイズ情報生成部、１２４ 距離情報取得部、１２６ 重量推定部、１２８ 出力制御部、２００ カメラ、２１０ ステレオカメラ、３００ 測距センサ、１２００ コンピュータ、１２１０ ホストコントローラ、１２１２ ＣＰＵ、１２１４ ＲＡＭ、１２１６ グラフィックコントローラ、１２１８ ディスプレイデバイス、１２２０ 入出力コントローラ、１２２２ 通信インタフェース、１２２４ 記憶装置、１２３０ ＲＯＭ、１２４０ 入出力チップ

【要約】

【解決手段】魚をシミュレーションしたシミュレーションデータを用いて、魚の画像と、当該魚の画像空間における３次元のサイズを示す画像サイズ情報とを含むサイズＧＴデータを生成するＧＴデータ生成部と、複数の前記サイズＧＴデータを用いた機械学習を実行することによって、魚の画像を入力とし、当該魚の画像空間における３次元のサイズを示す画像サイズ情報を出力とする学習モデルを生成する学習実行部と、魚を撮像した魚撮像画像を、前記学習実行部によって生成された前記学習モデルに入力して、前記魚の画像サイズ情報を取得するサイズ推定部とを備える、情報処理システムを提供する。
【選択図】図１

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】