特開 2022-140776 情報処理方法、プログラムおよび情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022140776

(43)【公開日】2022-09-27

(54)【発明の名称】情報処理方法、プログラムおよび情報処理装置

(51)【国際特許分類】

   G06V 10/72 20220101AFI20220915BHJP

   G06T 7/00 20170101ALI20220915BHJP

【ＦＩ】

G06V10/72

G06T7/00 350B

【審査請求】有

【請求項の数】15

【出願形態】ＯＬ

(21)【出願番号】P 2022125232

(22)【出願日】2022-08-05

(62)【分割の表示】P 2020162573の分割

【原出願日】2020-09-28

(71)【出願人】

【識別番号】501440684

【氏名又は名称】ソフトバンク株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】石若 裕子

(57)【要約】

【課題】精度のよいトレーニングデータを容易に生成することが可能な情報処理方法、プログラムおよび情報処理装置を提案する。
【解決手段】本開示によれば、入力データとなるシミュレーション画像をコンピュータグラフィックスにより生成し、シミュレーションに用いたパラメータ情報に基づいてラベル情報を生成し、前記シミュレーション画像と前記ラベル情報とを含む正解データを生成する、ことを有する、コンピュータに実行される情報処理方法が提供される。
【選択図】図１

【特許請求の範囲】

【請求項1】

入力データとなるシミュレーション画像をコンピュータグラフィックスにより生成し、
シミュレーションに用いたパラメータ情報に基づいてラベル情報を生成し、
前記シミュレーション画像と前記ラベル情報とを含む正解データを生成する、
ことを有する、コンピュータに実行される情報処理方法。

【請求項2】

前記入力データおよび前記正解データをトレーニングデータとする機械学習に基づいて分析モデルを生成する、
ことを有する、請求項１に記載の情報処理方法。

【請求項3】

前記分析モデルを用いて撮影画像から前記ラベル情報を抽出し、
前記ラベル情報に基づいてパラメータ情報を抽出し、
前記パラメータ情報に基づいてシミュレーション画像を生成し、
前記シミュレーション画像と前記撮影画像との差分が予め設定された条件を満たすまで前記パラメータ情報を補正し、
前記条件を満たすまで補正された前記パラメータ情報に基づいて情報を推定する、
ことを有する、請求項２に記載の情報処理方法。

【請求項4】

前記シミュレーション画像は、群れの統計的性質に基づく群れモデルを用いて生成された前記群れのシミュレーション画像であり、
前記ラベル情報は、前記群れモデルに適用される前記群れのパラメータ情報に基づいて生成される、
請求項２に記載の情報処理方法。

【請求項5】

前記分析モデルを用いて、前記群れの撮影画像から前記ラベル情報を抽出し、
前記ラベル情報に基づいて前記群れのパラメータ情報を抽出し、
前記群れのパラメータ情報に基づいて、前記群れに含まれる個体の数を推定する、
ことを有する、請求項４に記載の情報処理方法。

【請求項6】

前記推定ステップは、
前記群れのパラメータ情報に基づいて前記群れのシミュレーション画像を生成し、
前記群れのシミュレーション画像と前記撮影画像との差分が予め設定された条件を満たすまで前記群れのパラメータ情報を補正し、
前記条件を満たすまで補正された前記群れのパラメータ情報に基づいて前記個体の数を推定する、
ことを有する、請求項５に記載の情報処理方法。

【請求項7】

前記群れのシミュレーション画像は給餌時の前記群れのシミュレーション画像である、
請求項５または６に記載の情報処理方法。

【請求項8】

前記シミュレーション画像は、個体の形態的特徴に基づく個体モデルを用いて生成された前記個体のシミュレーション画像であり、
前記ラベル情報は、前記個体モデルに適用される前記個体のパラメータ情報に基づいて生成される、
請求項２に記載の情報処理方法。

【請求項9】

前記分析モデルを用いて、撮影画像から個々の前記個体のラベル情報を抽出し、
個体ごとに、前記個体のラベル情報に基づいて前記個体のパラメータ情報を抽出し、
個々の前記個体のパラメータ情報に基づいて個々の前記個体を識別する、
ことを有する、請求項８に記載の情報処理方法。

【請求項10】

前記識別ステップは、
前記個体のパラメータ情報に基づいて前記個体のシミュレーション画像を生成し、
前記個体のシミュレーション画像と前記撮影画像との差分が予め設定された条件を満たすまで前記個体のパラメータ情報を補正し、
前記条件を満たすまで補正された前記個体のパラメータ情報に基づいて前記個体を識別する、
ことを有する、請求項９に記載の情報処理方法。

【請求項11】

前記個体のパラメータ情報は、前記個体の筋骨格モデルに適用されるマッスルパラメータのパラメータ情報、および、前記個体の動作特徴量を示すパラメータ情報を含む、
請求項１０に記載の情報処理方法。

【請求項12】

前記個体の撮影画像を異常行動モデルに当てはめて前記個体の異常を検出する、
ことを有する請求項９ないし１１のいずれか１項に記載の情報処理方法。

【請求項13】

前記正解データの生成ステップは、
前記シミュレーションに用いられた前記個体の位置情報に基づいて、前記個体を識別するための画像要素を生成し、
前記シミュレーション画像に前記画像要素を付加した補正画像を生成し、
前記補正画像に前記ラベル情報を付加して前記正解データを生成する、
ことを有する、請求項８ないし１２のいずれか１項に記載の情報処理方法。

【請求項14】

前記画像要素は、前記個体を囲むフレーム要素、または、前記個体を色で識別するための色要素を含む、
請求項１３に記載の情報処理方法。

【請求項15】

前記分析モデルに撮影画像を適用して、前記撮影画像に写る個々の前記個体に前記画像要素を付加し、
各個体に付された前記画像要素に基づいて個々の前記個体を個別にトラッキングする、
ことを有する、請求項１３または１４に記載の情報処理方法。

【請求項16】

入力データとなるシミュレーション画像をコンピュータグラフィックスにより生成し、
シミュレーションに用いたパラメータ情報に基づいてラベル情報を生成し、
前記シミュレーション画像と前記ラベル情報とを含む正解データを生成する、
ことをコンピュータに実現させるプログラム。

【請求項17】

入力データとなるシミュレーション画像をコンピュータグラフィックスにより生成する入力データ生成部と、
シミュレーションに用いたパラメータ情報に基づいてラベル情報を生成し、前記シミュレーション画像と前記ラベル情報とを含む正解データを生成する正解データ生成部と、
を有する情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理方法、プログラムおよび情報処理装置に関する。

【背景技術】

【0002】

ディープラーニングはコンピュータビジョンや音声認識の分野で素晴らしい結果を出している。例えば、養殖場では尾数の自動カウントが課題となっているが、ディープラーニングの手法を用いれば、このような問題が改善されると期待される。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】国際公開第２０１９／０４５０９１号

【発明の概要】

【発明が解決しようとする課題】

【0004】

ディープラーニングによる解析の精度はトレーニングデータに依存する。しかし、正確なトレーニングデータを作成することは容易ではない。また、魚の群れなどを対象とする場合には、重なり合って見えない個体が多数存在するため、ディープラーニングのみでは必要な情報を精度よく推定することは難しい。

【0005】

そこで、本開示の目的の一つは、精度のよいトレーニングデータを容易に生成することが可能な情報処理方法、プログラムおよび情報処理装置を提案することにある。また、本開示の目的の一つは、実データに含まれる情報を精度よく推定することが可能な情報処理方法、プログラムおよび情報処理装置を提案することにある。

【課題を解決するための手段】

【0006】

本開示の一側面によれば、入力データとなるシミュレーション画像をコンピュータグラフィックスにより生成し、シミュレーションに用いたパラメータ情報に基づいてラベル情報を生成し、前記シミュレーション画像と前記ラベル情報とを含む正解データを生成する、ことを有する、コンピュータに実行される情報処理方法が提供される。また、本開示によれば、前記情報処理方法をコンピュータに実行させるプログラム、および、上記情報処理方法を実行する情報処理装置が提供される。

【発明の効果】

【0007】

本開示によれば、精度のよいトレーニングデータが容易に生成される。

【図面の簡単な説明】

【0008】

【図1】図１は、情報処理の概要を説明する図である。

【図2】図２は、画像要素のバリエーションを示す図である。

【図3】図３は、画像要素のバリエーションを示す図である。

【図4】図４は、画像要素のバリエーションを示す図である。

【図5】図５は、反射像に起因するノイズを除去する機械学習を説明する図である。

【図6】図６は、影に起因するノイズを除去する機械学習を説明する図である。

【図7】図７は、群れモデル２３の一例を示す図である。

【図8】図８は、非給餌時の群れのシミュレーション画像である。

【図9】図９は、給餌時の群れのシミュレーション画像である。

【図10】図１０は、非給餌時の群れの撮影画像である。

【図11】図１１は、給餌時の群れの撮影画像である。

【図12】図１２は、個体モデルの一例を示す図である。

【図13】図１３は、個体の動作シミュレーションを示す図である。

【図14】図１４は、生け簀で飼育されるチョウザメを示す図である。

【図15】図１５は、情報処理装置の一例を示す図である。

【図16】図１６は、群れの個体数の推定処理の一例を示す図である。

【図17】図１７は、個体のトラッキングの一例を示す図である。

【図18】図１８は、個体の識別方法および異常行動の検出方法の一例を示す図である。

【図19】図１９は、情報処理方法の一例を示すフローチャートである。

【図20】図２０は、情報処理装置のハードウェア構成の一例を示す図である。

【発明を実施するための形態】

【0009】

以下に、本開示の実施形態について図面に基づいて詳細に説明する。以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。

【0010】

［１．情報処理の概要］
図１は、本開示の情報処理の概要を説明する図である。

【0011】

本開示は、ＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）を用いた新規なトレーニングデータの生成手法、および、ＣＧ画像と実データ（撮影画像）との差を埋めるＤａｔａ Ｄｒｉｖｅｎの手法を提案するものである。トレーニングデータをＣＧ画像で生成することで、精度のよいトレーニングデータを大量に生成することができる。また、実データに近似したＣＧ画像を生成することで、必要な情報をＣＧのパラメータに基づいて精度よく推定することができる。以下、本開示の詳細を説明する。

【0012】

本開示では、ターゲットＴＧの撮影画像ＣＩに基づいて、画像分析の手法により、ターゲットＴＧの分析が行われる。本開示の情報処理の手法は、水産業、農業、林業および工業などの広範な分野に適用可能である。分析対象は、技術分野および分析の目的などに応じて適切に設定される。例えば、水産業の分野では、養殖魚の尾数、生育状況、補食動作および異常行動などが分析対象となる。農業分野では、農作物の生育状況および収穫数などが分析対象となる。林業の分野では、樹木の生育状況および木材量などが分析対象となる。工業の分野では、製品の数量、不良品の有無などが分析対象となる。

【0013】

以下では、本開示の情報処理の手法が養殖魚のトラッキング、異常行動検出および尾数カウントなどに適用される例を説明する。

【0014】

［２．トレーニングデータの生成］
本開示では、コンピュータシミュレーションを用いて、群れＦＬＫおよび個体ＯＢの３次元ＣＧ画像が生成される。生成されたＣＧ画像は、ディープラーニングのトレーニングデータとして用いられる。

【0015】

トレーニングデータは、多数のデータセットを含む。各データセットは、入力データＴＩＤと正解データＴＯＤとを含む。本開示では、入力データＴＩＤとなるシミュレーション画像ＳＩがコンピュータグラフィックスにより生成される。正解データＴＯＤは、入力データＴＩＤにラベル情報を付加して生成される。ラベル情報は、正解（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）を示す情報である。ラベル情報は、シミュレーションに用いたパラメータ情報に基づいて自動的に生成される。

【0016】

シミュレーショの対象は学習の目的に応じて決定される。例えば、養殖魚の尾数をカウントする場合には、群れＦＬＫのシミュレーションが行われる。養殖魚を個別にトラッキングする場合には、個体ＯＢのシミュレーションが行われる。

【0017】

図１の例は、養殖魚のトラッキングを目的として、個体ＯＢのシミュレーション画像ＳＩが生成される例である。ラベル情報は、個体ＯＢを分類するための分類情報と、個体ＯＢの位置情報と、を含む。分類情報は、例えば、個体ＯＢの種類（魚種など）および形態的特徴（ヒレの変形、欠損、体の色、模様など）などの情報を含む。位置情報は、例えば、個体ＯＢの中心位置および個体ＯＢの存在範囲を示す情報を含む。位置情報は、例えば、３次元座標情報を用いて生成される。図１の例では、個体ＯＢの中心の座標（ｂ_ｘ、ｂ_ｙ、ｂ_ｚ）、および、個体ＯＢを内包する最小限の大きさの直方体（ｂｏｕｎｄａｒｙ ｃｕｂｅ）の奥行ｂ_ｄ、幅ｂ_ｗおよび高さｂ_ｈに関する情報が位置情報として示されている。個体ＯＢの位置情報（存在範囲を示す情報）に基づいて、個体ＯＢの大きさの情報が抽出される。

【0018】

正解データＴＯＤは、個体ＯＢを識別するための画像要素ＩＥを含むことができる。画像要素ＩＥは、例えば、ｂｏｕｎｄａｒｙ ｃｕｂｅを示すフレーム要素である。画像要素ＩＥは、シミュレーションに用いられた個体ＯＢの位置情報に基づいて自動的に生成される。図１の例では、画像要素ＩＥがｂｏｕｎｄａｒｙ ｃｕｂｅで示されたが、画像要素ＩＥはこれに限られない。画像要素ＩＥは、例えば、個体ＯＢを囲むフレーム要素、または、個体ＯＢを色で識別するための色要素を含むものとすることができる。

【0019】

図２ないし図４は、画像要素ＩＥのバリエーションを示す図である。

【0020】

図２の例は、図１に示したｂｏｕｎｄａｒｙ ｃｕｂｅを再掲したものである。図３の例は、個体ＯＢをシルエットで置換した例、または、個体ＯＢの輪郭を太線で縁取った例である。図４の例は、複数の個体ＯＢを色分けした例である。図２のｂｏｕｎｄａｒｙ ｃｕｂｅおよび図３の輪郭線は、個体ＯＢを囲むフレーム要素に相当する。図４の色分けは、色要素の付与に相当する。複数の個体ＯＢが存在する場合には、フレーム要素の色は、個体ＯＢごとに異ならせてもよく、個体ＯＢの分類情報に応じて異ならせてもよい。

【0021】

［３．ディープラーニング］
図１に戻って、本開示では、入力データＴＩＤおよび正解データＴＯＤをトレーニングデータとする機械学習（教師あり学習）がＤＮＮ（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）において行われる。学習済みのＤＮＮに入力データＲＩＤが入力されると、入力データＲＩＤにラベル情報および画像要素ＩＥを付加した出力データＲＯＤが生成される。

【0022】

例えば、撮影画像ＣＩがＤＮＮに入力されると、ＤＮＮは撮影画像ＣＩから個々の個体ＯＢを抽出する。ＤＮＮは、個々の個体ＯＢの特徴に基づいて、個々の個体ＯＢの分類情報および位置情報を生成する。ＤＮＮは、個体ＯＢごとに、分類情報および位置情報を含むラベル情報を生成する。ＤＮＮは、個々の個体ＯＢの位置情報に基づいて、個体ＯＢごとに画像要素ＩＥを生成する。ＤＮＮは、撮影画像ＣＩに各個体ＯＢの画像要素ＩＥを付加した補正画像ＣＣＩを生成する。ＤＮＮは、補正画像ＣＣＩに各個体ＯＢのラベル情報を付加して出力データＲＯＤを生成する。

【0023】

［４．ノイズの除去］
図５および図６は、ノイズを除去する機械学習を説明する図である。

【0024】

ＤＮＮによる画像解析の精度を高めるために、撮影画像ＣＩに含まれるノイズを除去する機械学習を行うことができる。例えば、生け簀の中にカメラをおいて撮影を行うと、水面ＷＳや壁面ＷＬの近くを移動する個体ＯＢの反射像ＭＩＲが水面ＷＳや壁面ＷＬに映し出される。生け簀の底には個体ＯＢの影ＳＨが投影される。このような反射像ＭＩＲおよび影ＳＨはノイズとなり、画像解析の精度を低下させる可能性がある。そのため、本開示では、例えば、反射像ＭＩＲおよび影ＳＨのシミュレーション画像ＳＩが生成され、シミュレーション画像ＳＩを用いたトレーニングデータが生成される。

【0025】

図５の例では、入力データＴＩＤとして、個体ＯＢおよび反射像ＭＩＲを含むシミュレーション画像ＳＩが生成される。正解データＴＯＤは、入力データＴＩＤから反射像ＭＩＲが除去されたシミュレーション画像ＳＩである。この入力データＴＩＤおよび正解データＴＯＤをトレーニングデータとして用いると、撮影画像ＣＩから反射像ＭＩＲを除去するＤＮＮが得られる。図５の例では、入力データＴＩＤおよび正解データＴＯＤに個体ＯＢが含まれたが、これらのデータには必ずしも個体ＯＢは含まれる必要はない。例えば、上述の入力データＴＩＤおよび正解データＴＯＤから個体ＯＢが削除されたトレーニングデータを用いても、反射像ＭＩＲを除去するＤＮＮが生成される。

【0026】

図６の例では、入力データＴＩＤとして、個体ＯＢおよび影ＳＨを含むシミュレーション画像ＳＩが生成される。正解データＴＯＤは、入力データＴＩＤから影ＳＨが除去されたシミュレーション画像ＳＩである。この入力データＴＩＤおよび正解データＴＯＤをトレーニングデータとして用いると、撮影画像ＣＩから影ＳＨを除去するＤＮＮが得られる。図６の例では、入力データＴＩＤおよび正解データＴＯＤに個体ＯＢが含まれたが、これらのデータには必ずしも個体ＯＢは含まれる必要はない。例えば、上述の入力データＴＩＤおよび正解データＴＯＤから個体ＯＢが削除されたトレーニングデータを用いても、影ＳＨを除去するＤＮＮが生成される。

【0027】

［５．シミュレーションモデル］
群れＦＬＫおよび個体ＯＢのシミュレーション画像ＳＩは、群れモデル２３（図１５参照）および個体モデル２４（図１５参照）を用いて生成することができる。群れモデル２３は、群れＦＬＫの統計的性質に基づくシミュレーションモデルである。個体モデル２４は、個体ＯＢの形態的特徴に基づくシミュレーションモデルである。以下、シミュレーションモデルの概要を説明する。

【0028】

［５－１．群れモデル］
図７は、群れモデル２３の一例を示す図である。

【0029】

群れモデル２３は、例えば、分類、整列および結合の３つの動作規則を規定したＢｏｉｄｓモデルに、給餌時の捕食動作を示す捕食者モデルを組み合わせて生成される。捕食者モデルでは、分離の動作規則が適用される混雑領域ＣＡの外側に、密集方向とは反対方向への移動を促す反発領域ＲＡが設定される。捕食者モデルは、個体ＯＢの視界に映る餌を個体ＯＢがどのように獲得するかをシミュレーションすることにより生成される（Ｆｉｓｈ Ｖｉｓｉｏｎ Ｓｉｍｕｌａｔｉｏｎ）。捕食者モデルは、個体ＯＢの種類およびケージ内の密度に応じた餌の最適化を図るために用いることもできる。

【0030】

群れモデル２３では、例えば、個体ＯＢの整列度、群れ形成度、視野角、トップスピード、餌認識速度、餌への執着度、餌を食べ続ける時間（満腹になる給餌量）、一回に餌をついばむ時間、餌を食べているときの移動速度、混雑領域ＣＡの大きさ、および、反発領域ＲＡの大きさなどが、群れＦＬＫのパラメータとして設定される。これらのパラメータは、個体ＯＢの種類や大きさによって変化する。

【0031】

図８は、非給餌時の群れＦＬＫのシミュレーション画像ＳＩである。図９は、給餌時の群れＦＬＫのシミュレーション画像ＳＩである。図１０は、非給餌時の群れＦＬＫの撮影画像ＣＩである。図１１は、給餌時の群れＦＬＫの撮影画像ＣＩである。

【0032】

図８および図１０に示すように、非給餌時には、群れＦＬＫは概ね、分離、整列および結合の３つの動作規則にしたがって動作する。そのため、狭い範囲に多数の個体ＯＢが密集する。図９および図１１に示すように、給餌時には、群れＦＬＫは、分離、整列、結合および反発の４つの動作規則にしたがって動作する。反発の動作規則によって群れＦＬＫが広がるため、群れＦＬＫの密度は低下する。

【0033】

図１０に示すように、密集した群れＦＬＫでは、重なり合って見えない個体ＯＢが多いため、正確な個体数を計数することは難しい。そのため、図８に示すようなシミュレーション画像ＳＩに基づいて個体数の推定が行われる。群れＦＬＫの形状や大きさなどはシミュレーションのパラメータを調整することで変更される。そのため、シミュレーション画像ＳＩが実データと近似するまでパラメータ情報を調整することで、精度のよい個体数の推定が可能となる。

【0034】

図１１に示すように、給餌時には群れＦＬＫの密度は低下する。そのため、給餌時の撮影画像に基づいて個体数の推定が行われてもよい。この場合、重なり合って見えない個体ＯＢの数が少なくなるので、計数が容易となる。図９に示すシミュレーション画像ＳＩと比較する際にも、群れＦＬＫが密集していないので、比較が容易である。

【0035】

［５－２．個体モデル］
図１２は、個体モデル２４の一例を示す図である。

【0036】

個体モデル２４は、個体ＯＢの体の構造に基づいて生成される。個体モデル２４としては、例えば、筋骨格モデルが用いられる。筋骨格ＳＢＭは、標準的な形状および大きさを有する個体ＯＢを解剖し、個体ＯＢの骨格と、骨格に対する筋肉の付き方と、を分析することによって得られる。図１２では、チョウザメの筋骨格ＳＢＭが示されている。筋骨格ＳＢＭからは個体ＯＢの基準モデルＲＭが再現される。基準モデルＲＭからは、１以上の変異モデルＭＭ１～ＭＭｎ（ｎは１以上の整数）が派生して生成される。基準モデルＲＭおよび変異モデルＭＭ１～ＭＭｎがそれぞれ個体モデル２４となる。個体モデル２４は、個体ＯＢの分類情報として用いられる。

【0037】

変異モデルは、形態に異常がある個体ＯＢの３次元モデルである。養殖により生まれた個体ＯＢのほとんどが、身体的異常（例えば、ヒレが曲がっている、ヒレの形状が変異している、内臓疾患を有する）を有することが知られている。そのため、個体ＯＢの変異モデルとしては、例えば、胸ヒレの異常（例えば、胸ヒレが曲がっている）、背ヒレの異常（例えば、背ヒレが曲がっている）、尾ヒレの異常（例えば、尾ヒレが曲がっている）、および、輪郭変異（例えば、通常個体と比較して頭部の輪郭が変異している）に関するモデルなどが生成される。なお、変異モデルは上記のものに限られない。どのような変異モデルを生成するかは、個体ＯＢの種類や個体ＯＢが置かれた環境などに応じて個別に決定される。

【0038】

図１３は、個体ＯＢの動作シミュレーションを示す図である。

【0039】

個体モデル２４には、動作シミュレーションによって得られた動作特徴量が紐づけられる。チョウザメの例では、流体シミュレーションによって、個体モデル２４ごとに、泳法の特徴量（動作特徴量）が抽出される。個体ＯＢの泳法は、個体ＯＢが持つ形態的特徴によって変わる。例えば、身体的異常を有する個体ＯＢは、異常を補うように泳ぐ。そのため、個体モデル２４ごとに、泳法の特徴量は異なる。泳法の特徴量は、個体ＯＢを識別するパラメータ情報として用いることができる。個体ＯＢの動作特徴量を示すパラメータ情報は、個体モデル２４に紐づけられ、分類情報として用いられる。

【0040】

図１４は、生け簀で飼育されるチョウザメを示す図である。

【0041】

養殖場のチョウザメのほとんどは何らかの身体的異常を有する。例えば、個体ＯＢ１～と個体ＯＢ４は、胸ヒレ、背ヒレおよび尾ヒレの形状が一様ではなく、輪郭も微妙に異なる。そのため、チョウザメごとに、身体的異常に応じた変異モデルを割り当てることができる。同じ変異モデルが割り当てられたチョウザメどうしでも、身体的異常の度合いは様々である。そのため、個体ＯＢの動作特徴量を示すパラメータ情報もチョウザメごとに異なる。よって、動作シミュレーションによって個々の個体ＯＢのパラメータ情報が検出されれば、検出されたパラメータ情報に基づいて個々の個体ＯＢを識別することができる。

【0042】

［６．情報処理装置の構成］
図１５は、本開示の情報処理が適用される情報処理装置１の一例を示す図である。

【0043】

情報処理装置１は、サーバなどの専用または汎用のコンピュータシステムである。前述した画像解析用のＤＮＮは分析モデル２１に含まれる。情報処理装置１は、処理装置１０と記憶装置２０とを有する。処理装置１０は、例えば、入力データ生成部１１と、正解データ生成部１２と、画像解析部１３と、シミュレーション部１４と、推定部１５と、を有する。

【0044】

シミュレーション部１４は、モデル情報２２に規定されたシミュレーションモデルを用いて、３次元のシミュレーション画像ＳＩを生成する。シミュレーション画像ＳＩは、シミュレーション結果を、ＣＧ技術を用いて、あるカメラアングルから見た画像として再現したものである。モデル情報２２には、例えば、群れモデル２３、個体モデル２４および異常行動モデル２５などが規定されている。異常行動モデル２５は、個体ＯＢの異常行動を示すシミュレーションモデルである。シミュレーション部１４は、これらのシミュレーションモデルに基づいて、群れＦＬＫおよび個体ＯＢのシミュレーション画像ＳＩを生成する。

【0045】

入力データ生成部１１は、シミュレーションに必要なパラメータ情報を生成し、シミュレーション部１４に出力する。入力データ生成部１１は、シミュレーション部１４を用いて、入力データＴＩＤとなるシミュレーション画像ＳＩをコンピュータグラフィックスにより生成する。

【0046】

正解データ生成部１２は、シミュレーションに用いたパラメータ情報に基づいてラベル情報を生成する。正解データ生成部１２は、シミュレーション画像ＳＩとラベル情報とを含む正解データＴＯＤを生成する。正解データ生成部１２は、シミュレーションに用いられた個体ＯＢの位置情報に基づいて、個体ＯＢを識別する画像要素ＩＥを生成することができる。この場合、正解データ生成部１２は、シミュレーション画像ＳＩに画像要素ＩＥを付加した補正画像ＣＳＩを生成し、補正画像ＣＳＩにラベル情報を付加して正解データＴＯＤを生成する。

【0047】

入力データ生成部１１および正解データ生成部１２によって多数のトレーニングデータが生成される。上述した入力データＴＩＤおよび正解データＴＯＤをトレーニングデータとする機械学習に基づいて分析モデル２１が生成される。分析モデル２１は、例えば、個体ＯＢの分類情報および位置情報を解析するためのＤＮＮ，群れＦＬＫのパラメータ情報を解析するためのＤＮＮ、個体ＯＢのパラメータ情報を解析するためのＤＮＮ、反射像ＭＩＲを除去するためのＤＮＮ、および、影ＳＨを除去するためのＤＮＮなどを含む。これらのＤＮＮは、要求される機能に応じた適切な学習が行われる。機械学習の手法は様々であり、ＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、Ｄｅｅｐ Ｒｅｉｎｆｏｒｃｅｍｅｎｔ ＬｅａｒｎｉｎｇおよびＴｒａｎｓｆｏｒｍｅｒなどを用いることができる。

【0048】

画像解析部１３は、分析モデル２１を用いて撮影画像ＣＩの画像解析を行う。画像解析部１３は、画像解析によって撮影画像ＣＩからラベル情報を抽出する。画像解析部１３は、抽出されたラベル情報から必要なパラメータ情報を抽出する。

【0049】

推定部１５は、画像解析部１３で抽出されたパラメータ情報をシミュレーション部１４に出力する。推定部１５は、シミュレーション部１４を用いて、抽出されたパラメータ情報に基づくシミュレーション画像ＳＩを生成する。推定部１５は、シミュレーション画像ＳＩと撮影画像ＣＩとの差分を算出する。差分が予め設定された条件を満たさない場合には、推定部１５は、パラメータ情報を補正してシミュレーション画像ＳＩを生成する。推定部１５は、差分が上記条件を満たすまでパラメータ情報の補正とシミュレーション画像ＳＩの生成とを繰り返す。推定部１５は、上記条件を満たすまで補正されたパラメータ情報に基づいて、必要な情報を推定する。

【0050】

記憶装置２０は、例えば、処理装置１０が実行するプログラム２９と、分析モデル２１と、モデル情報２２と、を記憶する。プログラム２９は、本開示の情報処理をコンピュータに実行させるプログラムである。処理装置１０は、記憶装置２０に記憶されているプログラム２９にしたがって各種の処理を行う。記憶装置２０は、処理装置１０の処理結果を一時的に記憶する作業領域として利用されてもよい。記憶装置２０は、例えば、半導体記憶媒体および磁気記憶媒体などの任意の非一過的な記憶媒体を含む。記憶装置２０は、例えば、光ディスク、光磁気ディスクまたはフラッシュメモリを含んで構成される。プログラム２９は、例えば、コンピュータにより読み取り可能な非一過的な記憶媒体に記憶されている。

【0051】

処理装置１０は、例えば、プロセッサとメモリとで構成されるコンピュータである。処理装置１０のメモリには、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）およびＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）が含まれる。処理装置１０は、プログラム２９を実行することにより、入力データ生成部１１、正解データ生成部１２、画像解析部１３、シミュレーション部１４および推定部１５として機能する。

【0052】

［７．個体数の推定処理］
図１６は、群れＦＬＫの個体数の推定処理の一例を示す図である。

【0053】

分析モデル２１は、ＤＮＮＡ、ＤＮＮＢ、ＤＮＮＣおよびＤＮＮＤを有する。ＤＮＮＡは、反射像ＭＩＲを除去するためのＤＮＮである。ＤＮＮＢは、影ＳＨを除去するためのＤＮＮである。ＤＮＮＣは、個体ＯＢの位置情報および分類情報を抽出するためのＤＮＮである。ＤＮＮＤは、群れＦＬＫのパラメータ情報を抽出するためのＤＮＮである。

【0054】

ＤＮＮＤのトレーニング用のシミュレーション画像ＳＩは、群れモデル２３を用いて生成された群れＦＬＫのシミュレーション画像である。ＤＮＮＤのトレーニングデータのラベル情報は、群れモデル２３に適用される群れＦＬＫのパラメータ情報に基づいて生成される。ＤＮＮＤに群れＦＬＫの撮影画像ＣＩを入力すると、群れＦＬＫのパラメータ情報が抽出される。ＤＮＮＣは、撮影画像ＣＩから、個々の個体ＯＢの種類、位置および大きさなどの情報を抽出する。ＤＮＮＡおよびＤＮＮＢは、撮影画像ＣＩに含まれるノイズ成分（反射像ＭＩＲ、影ＳＨ）を分離する。

【0055】

画像解析部１３は、分析モデル２１を用いて、群れＦＬＫの撮影画像ＣＩからラベル情報を抽出する。画像解析部１３は、抽出されたラベル情報に基づいて群れＦＬＫのパラメータ情報を抽出する。推定部１５は、群れＦＬＫのパラメータ情報に基づいて、群れＦＬＫに含まれる個体ＯＢの数を推定する。

【0056】

上述の推定ステップでは、まず、推定部１５は、群れＦＬＫのパラメータ情報、個体ＯＢの種類、位置および大きさに関する情報に基づいて群れＦＬＫのシミュレーション画像ＳＩを生成する。推定部１５は、群れＦＬＫのシミュレーション画像ＳＩと撮影画像ＣＩとの差分ｄｉｆｆが予め設定された条件を満たすまで群れＦＬＫのパラメータ情報を補正する。差分ｄｉｆｆは、撮影画像ＣＩの特徴量とシミュレーション画像ＳＩの特徴量との差に基づいて算出される。推定部１５は、上記条件を満たすまで補正された群れＦＬＫのパラメータ情報に基づいて個体ＯＢの数を推定する。

【0057】

推定ステップで生成されるシミュレーション画像ＳＩには、個体ＯＢの反射像ＭＩＲおよび影ＳＨが含まれる。反射像ＭＩＲの数や影ＳＨの濃さは、カメラの死角になる位置の群れＦＬＫの情報を得るための手掛かりとなる可能性がある。よって、差分ｄｉｆｆには、シミュレーション画像ＳＩに含まれる反射像ＭＩＲおよび影ＳＨと、撮影画像ＣＩに含まれる反射像ＭＩＲおよび影ＳＨと、の差分も含まれる。反射像ＭＩＲや影ＳＨについての差分情報も考慮することで精度の高い個体数の推定が可能となる。

【0058】

図１６の例では、撮影画像ＣＩおよびシミュレーション画像ＳＩとして、非給餌時の画像が用いられている。しかし、撮影画像ＣＩおよびシミュレーション画像ＳＩは、給餌時の群れＦＬＫの画像とすることもできる。捕食者モデルが適用される給餌時では、捕食者モデルが適用されない非給餌時に比べて、群れＦＬＫの密度は低い。そのため、重なり合って見えない個体ＯＢが少なくなる。よって、シミュレーション画像ＳＩと撮影画像ＣＩとの差分が精度よく検出されるようになり、個体数の推定精度も高まる。

【0059】

なお、ＤＮＮＣは個体ＯＢの種類や大きさを検出する。そのため、情報処理装置１は、計数の対象となる種類やサイズを入力するための入力手段を備えてもよい。これにより、ユーザは特定の種類または特定の大きさの個体ＯＢのみを計数することができる。

【0060】

［８．個体のトラッキング］
図１７は、個体のトラッキングの一例を示す図である。

【0061】

分析モデル２１は、ＤＮＮＡ、ＤＮＮＢ、ＤＮＮＣおよびＤＮＮＥを有する。ＤＮＮＥは、ＤＮＮＣによって抽出された個々の個体ＯＢの位置情報および分類情報に基づいて、個々の個体ＯＢに画像要素ＩＥを付加するＤＮＮである。

【0062】

画像解析部１３は、分析モデル２１に撮影画像ＣＩを適用して、撮影画像ＣＩに写る個々の個体ＯＢに画像要素ＩＥを付加する。図１７の例では、画像要素ＩＥとして、個体ＯＢごとに異なる色要素が付されている。個体ＯＢの色は、個体ＯＢの大きさおよび形状などに応じて異なる。個体ＯＢの大きさは、個体ＯＢの位置情報から抽出される。個体ＯＢの形状は、個体ＯＢの分類情報（形態的特徴）から抽出される。画像解析部１３は、個体ＯＢに付された画像要素ＩＥに基づいて、複数の個体ＯＢを検出し、個々の個体ＯＢを個別にトラッキングする。

【0063】

［９．個体の識別および異常行動の認識］
図１８は、個体の識別方法および異常行動の検出方法の一例を示す図である。

【0064】

分析モデル２１は、ＤＮＮＡ、ＤＮＮＢ、ＤＮＮＣおよびＤＮＮＦを有する。ＤＮＮＦは、個体ＯＢのパラメータ情報を抽出するためのＤＮＮである。

【0065】

ＤＮＮＦのトレーニング用のシミュレーション画像ＳＩは、個体モデル２４を用いて生成された個体ＯＢのシミュレーション画像である。ＤＮＮＦのトレーニングデータのラベル情報は、個体モデル２４に適用される個体ＯＢのパラメータ情報に基づいて生成される。ＤＮＮＦに個体ＯＢの撮影画像ＣＩを入力すると、個体ＯＢの形態的特徴（個体モデル２４）に対応したパラメータ情報が抽出される。

【0066】

画像解析部１３は、分析モデル２１を用いて、撮影画像ＣＩから個々の個体ＯＢのラベル情報を抽出する。画像解析部１３は、個体ＯＢごとに、個体ＯＢのラベル情報に基づいて個体ＯＢのパラメータ情報を抽出する。抽出される個体ＯＢのパラメータ情報には、例えば、個体ＯＢの筋骨格モデルに適用されるマッスルパラメータのパラメータ情報、および、個体モデル２４に紐づけられた、個体ＯＢの動作特徴量を示すパラメータ情報が含まれる。推定部１５は、個々の個体ＯＢのパラメータ情報に基づいて個々の個体ＯＢを識別する。

【0067】

上述の識別ステップでは、まず、推定部１５は、個体ＯＢのパラメータ情報に基づいて個体ＯＢのシミュレーション画像ＳＩを生成する。推定部１５は、個体ＯＢのシミュレーション画像と撮影画像ＣＩとの差分が予め設定された条件を満たすまで個体ＯＢのパラメータ情報を補正する。差分ｄｉｆｆは、撮影画像ＣＩの特徴量とシミュレーション画像ＳＩの特徴量との差に基づいて算出される。推定部１５は、上記条件を満たすまで補正された個体ＯＢのパラメータ情報に基づいて個体ＯＢを識別する。

【0068】

個体ＯＢの網膜パラメータを用いたシミュレーションによって異常行動を認識することができる。網膜パラメータは、例えば、個体ＯＢから見た事象の発生方向と個体ＯＢの移動方向との関係を示すパラメータである。例えば、個体ＯＢの前方に餌が落ちてきたときに、個体ＯＢが餌のある方向と全く関係ない方向に移動した場合には、個体ＯＢに異常があると推定することができる。また、内臓疾患のあるチョウザメは、餌に興味を示さずに、水面近くを不自然に漂うような異常行動をとる場合ある。そのような場合に、撮影画像ＣＩを異常行動モデル２５に当てはめて網膜パラメータを抽出し、網膜パラメータを予め設定された基準値と比較することで、個体ＯＢの異常を検出することができる。

【0069】

異常行動の検出は、餌のやりすぎによる体調不良の検出にも役立つ。そのため、異常行動の検出結果に基づいて、給餌量の調整または最適化を図ることもできる。

【0070】

［１０．情報処理方法］
図１９は、本開示の情報処理方法の一例を示すフローチャートである。

【0071】

ステップＳ１において、入力データ生成部１１は、ＣＧによって入力データＴＩＤとなるシミュレーション画像ＳＩを生成する。

【0072】

ステップＳ２において、正解データ生成部１２は、シミュレーションに用いたパラメータ情報に基づいてラベル情報を生成する。

【0073】

ステップＳ３において、正解データ生成部１２は、シミュレーション画像ＳＩとラベル情報とを含む正解データＴＯＤを生成する。

【0074】

ステップＳ４において、処理装置１０は、入力データＴＩＤおよび正解データＴＯＤをトレーニングデータとする機械学習に基づいて分析モデル２１を生成する。

【0075】

ステップＳ５において、画像解析部１３は、分析モデル２１を用いて、撮影画像ＣＩからラベル情報を抽出する。

【0076】

ステップＳ６において、画像解析部１３は、抽出されたラベル情報から、必要なパラメータ情報を抽出する。

【0077】

ステップＳ７において、画像解析部１３で抽出されたパラメータ情報をシミュレーション部１４に出力する。推定部１５は、シミュレーション部１４を用いて、抽出されたパラメータ情報に基づくシミュレーション画像ＳＩを生成する。

【0078】

ステップＳ８において、推定部１５は、シミュレーション画像ＳＩと撮影画像ＣＩとの差分を算出し、差分が予め設定された条件を満たさない場合には、パラメータ情報を補正してシミュレーション画像ＳＩを生成する。推定部１５は、差分が上記条件を満たすまでパラメータ情報の補正とシミュレーション画像ＳＩの生成とを繰り返す。

【0079】

ステップＳ９において、推定部１５は、上記条件を満たすまで補正されたパラメータ情報に基づいて、必要な情報を推定する。

【0080】

［１１．ハードウェア構成］
図２０は、情報処理装置１のハードウェア構成の一例を示す図である。

【0081】

情報処理装置１は、例えば、図２０に示すようなコンピュータシステム１０００によって実現される。コンピュータシステム１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ１３００、ＨＤＤ１４００、通信インターフェイス（Ｉ／Ｆ）１５００、入出力インターフェイス（Ｉ／Ｆ）１６００、及びメディアインターフェイス（Ｉ／Ｆ）１７００を有する。

【0082】

ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。ＲＯＭ１３００は、コンピュータシステム１０００の起動時にＣＰＵ１１００によって実行されるブートプログラムや、コンピュータシステム１０００のハードウェアに依存するプログラム等を格納する。

【0083】

ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、および、係るプログラムによって使用されるデータ等を格納する。通信インターフェイス１５００は、通信網ＮＷを介して他の機器からデータを受信してＣＰＵ１１００へ送り、ＣＰＵ１１００が生成したデータを、通信網ＮＷを介して他の機器へ送信する。

【0084】

ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやプリンタ等の出力装置、及び、キーボードやマウス等の入力装置を制御する。ＣＰＵ１１００は、入出力インターフェイス１６００を介して、入力装置からデータを取得する。また、ＣＰＵ１１００は、生成したデータを、入出力インターフェイス１６００を介して出力装置へ出力する。

【0085】

メディアインターフェイス１７００は、記録媒体１８００に格納されたプログラム又はデータを読み取り、ＲＡＭ１２００を介してＣＰＵ１１００に提供する。ＣＰＵ１１００は、係るプログラムを、メディアインターフェイス１７００を介して記録媒体１８００からＲＡＭ１２００上にロードし、ロードしたプログラムを実行する。記録媒体１８００は、例えばＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）、ＰＤ（Ｐｈａｓｅ ｃｈａｎｇｅ ｒｅｗｒｉｔａｂｌｅ Ｄｉｓｋ）等の光学記録媒体、ＭＯ（Ｍａｇｎｅｔｏ－Ｏｐｔｉｃａｌ ｄｉｓｋ）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。

【0086】

例えば、コンピュータシステム１０００が本開示の情報処理装置１として機能する場合、コンピュータシステム１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされたプログラムを実行することにより、処理装置１０の機能を実現する。ＨＤＤ１４００には、記憶装置２０内のデータが格納される。コンピュータシステム１０００のＣＰＵ１１００は、これらのプログラムを、記録媒体１８００から読み取って実行するが、他の例として、他の装置から、通信網ＮＷを介してこれらのプログラムを取得してもよい。

【0087】

［１２．効果］
上述したように、本開示の情報処理方法は、入力データ生成ステップと正解データ生成ステップとを有する。入力データ生成ステップは、入力データＴＩＤとなるシミュレーション画像ＳＩをコンピュータグラフィックスにより生成する。正解データ生成ステップは、シミュレーションに用いたパラメータ情報に基づいてラベル情報を生成し、シミュレーション画像とラベル情報とを含む正解データＴＯＤを生成する。本開示のプログラム２９は、上述の情報処理をコンピュータに実現させる。本開示の情報処理装置１は、上述の情報処理を実施する。

【0088】

この構成によれば、シミュレーションに用いたパラメータ情報に基づいて正解データＴＯＤのラベル情報が生成される。そのため、ラベル情報の精度が高い。よって、精度のよいトレーニングデータが容易に生成される。

【0089】

本開示の情報処理方法は、分析モデル生成ステップを有する。分析モデル生成ステップは、入力データＴＩＤおよび正解データＴＯＤをトレーニングデータとする機械学習に基づいて分析モデル２１を生成する。

【0090】

この構成によれば、入力データＴＩＤの生成に用いたＣＧの座標情報などは、ラベル情報に反映される。そのため、トレーニングによって得られた分析モデル２１によって、撮影画像ＣＩに写る個体ＯＢの位置、形状および大きさ、および、群れＦＬＫのパラメータ情報などが精度よく抽出される。

【0091】

本開示の情報処理方法は、ラベル情報抽出ステップと、パラメータ情報抽出ステップと、シミュレーション画像生成ステップと、パラメータ情報補正ステップと、推定ステップと、を有する。ラベル情報抽出ステップは、分析モデル２１を用いて撮影画像ＣＩからラベル情報を抽出する。パラメータ情報抽出ステップは、ラベル情報に基づいてパラメータ情報を抽出する。シミュレーション画像生成ステップは、パラメータ情報に基づいてシミュレーション画像ＳＩを生成する。パラメータ情報補正ステップは、シミュレーション画像と撮影画像ＣＩとの差分が予め設定された条件を満たすまでパラメータ情報を補正する。推定ステップは、上記条件を満たすまで補正されたパラメータ情報に基づいて情報を推定する。

【0092】

この構成によれば、分析モデル２１を用いて抽出されたパラメータ情報は、シミュレーション画像ＳＩと撮影画像ＣＩとの差分の情報に基づいて補正される。そのため、実データ（撮影画像ＣＩ）と良好に整合するパラメータ情報が得られる。そして、補正されたパラメータ情報に基づいて必要な情報が推定されるため、情報の推定精度が高まる。

【0093】

シミュレーション画像ＳＩは、群れＦＬＫの統計的性質に基づく群れモデル２３を用いて生成された群れＦＬＫのシミュレーション画像である。ラベル情報は、群れモデル２３に適用される群れＦＬＫのパラメータ情報に基づいて生成される。

【0094】

この構成によれば、群れＦＬＫの撮影画像ＣＩから群れＦＬＫのパラメータ情報が精度よく抽出される。

【0095】

本開示の情報処理方法は、ラベル情報抽出ステップと、パラメータ情報抽出ステップと、推定ステップと、を有する。ラベル情報抽出ステップは、分析モデル２１を用いて、群れＦＬＫの撮影画像ＣＩからラベル情報を抽出する。パラメータ情報抽出ステップは、抽出されたラベル情報に基づいて群れＦＬＫのパラメータ情報を抽出する。推定ステップは、群れＦＬＫのパラメータ情報に基づいて、群れＦＬＫに含まれる個体ＯＢの数を推定する。

【0096】

この構成によれば、群れＦＬＫの個体数が精度よく推定される。

【0097】

推定ステップは、シミュレーション画像生成ステップと、パラメータ情報補正ステップと、固定数推定ステップと、を有する。シミュレーション画像生成ステップは、群れＦＬＫのパラメータ情報に基づいて群れＦＬＫのシミュレーション画像ＳＩを生成する。パラメータ情報補正ステップは、群れＦＬＫのシミュレーション画像ＳＩ撮影画像ＣＩとの差分が予め設定された条件を満たすまで群れＦＬＫのパラメータ情報を補正する。固定数推定ステップは、上記条件を満たすまで補正された群れＦＬＫのパラメータ情報に基づいて個体ＯＢの数を推定する。

【0098】

この構成によれば、分析モデル２１を用いて抽出されたパラメータ情報は、シミュレーション画像ＳＩと撮影画像ＣＩとの差分の情報に基づいて補正される。そのため、実データ（撮影画像ＣＩ）と良好に整合するパラメータ情報が得られる。そして、補正されたパラメータ情報に基づいて個体数が推定されるため、個体数が精度よく推定される。

【0099】

群れＦＬＫのシミュレーション画像ＳＩは給餌時の群れＦＬＫのシミュレーション画像である。

【0100】

この構成によれば、捕食者モデルが適用される給餌時では、捕食者モデルが適用されない非給餌時に比べて、群れＦＬＫの密度は低い。そのため、重なり合って見えない個体ＯＢが少なくなる。よって、シミュレーション画像ＳＩと撮影画像ＣＩとの差分が精度よく検出されるようになり、個体数の推定精度も高まる。

【0101】

シミュレーション画像ＳＩは、個体ＯＢの形態的特徴に基づく個体モデル２４を用いて生成された個体ＯＢのシミュレーション画像である。ラベル情報は、個体モデル２４に適用される個体ＯＢのパラメータ情報に基づいて生成される。

【0102】

この構成によれば、個体ＯＢの撮影画像ＣＩから個体ＯＢのパラメータ情報が精度よく抽出される。

【0103】

本開示の情報処理方法は、ラベル情報抽出ステップと、パラメータ情報抽出ステップと、個体識別ステップと、を有する。ラベル情報抽出ステップは、分析モデル２１を用いて、撮影画像ＣＩから個々の個体ＯＢのラベル情報を抽出する。パラメータ情報抽出ステップは、個体ＯＢごとに、個体ＯＢのラベル情報に基づいて個体ＯＢのパラメータ情報を抽出する。個体識別ステップは、個々の個体ＯＢのパラメータ情報に基づいて個々の個体ＯＢを識別する。

【0104】

この構成によれば、個体ＯＢが精度よく識別される。

【0105】

識別ステップは、シミュレーション画像生成ステップと、パラメータ情報補正ステップと、個体識別ステップと、を有する。シミュレーション画像生成ステップは、個体ＯＢのパラメータ情報に基づいて個体ＯＢのシミュレーション画像ＳＩを生成する。パラメータ情報補正ステップは、個体ＯＢのシミュレーション画像ＳＩと撮影画像ＣＩとの差分が予め設定された条件を満たすまで個体ＯＢのパラメータ情報を補正する。個体識別ステップは、上記条件を満たすまで補正された個体ＯＢのパラメータ情報に基づいて個体ＯＢを識別する。

【0106】

この構成によれば、分析モデル２１を用いて抽出されたパラメータ情報は、シミュレーション画像ＳＩと撮影画像ＣＩとの差分の情報に基づいて補正される。そのため、実データ（撮影画像ＣＩ）と良好に整合するパラメータ情報が得られる。そして、補正されたパラメータ情報に基づいて個体ＯＢが識別されるため、個体ＯＢの識別精度が高い。

【0107】

個体ＯＢのパラメータ情報は、個体ＯＢの筋骨格モデルに適用されるマッスルパラメータのパラメータ情報、および、個体ＯＢの動作特徴量を示すパラメータ情報を含む。

【0108】

この構成によれば、個体ＯＢの識別が個体ＯＢの形態的特徴および動作の特徴の双方に基づいて精度よく行われる。

【0109】

本開示の情報処理方法は、異常検出ステップを有する。異常検出ステップは、個体ＯＢの撮影画像ＣＩを異常行動モデル２５に当てはめて個体ＯＢの異常を検出する。

【0110】

この構成によれば、識別された個体ＯＢの健康状態を把握することができる。

【0111】

正解データ生成ステップは、画像要素生成ステップと、補正画像生成ステップと、データ生成ステップと、を有する。画像要素生成ステップは、シミュレーションに用いられた個体ＯＢの位置情報に基づいて、個体ＯＢを識別するための画像要素ＩＥを生成する。補正画像生成ステップは、シミュレーション画像ＳＩに画像要素ＩＥを付加した補正画像ＣＳＩを生成する。データ生成ステップは、補正画像ＣＳＩにラベル情報を付加して正解データＴＯＤを生成する。

【0112】

この構成によれば、シミュレーション画像ＳＩの適切な位置に精度よく画像要素ＩＥが付加される。また、画像要素ＩＥの付加作業が自動化されるため、正解データＴＯＤの生成作業が容易になる。

【0113】

画像要素は、個体ＯＢを囲むフレーム要素、または、個体ＯＢを色で識別するための色要素を含む。

【0114】

この構成によれば、個体ＯＢが他の画像領域から明確に区別される。

【0115】

本開示の情報処理方法は、画像要素付加ステップと、トラッキングステップと、を有する。画像要素付加ステップは、分析モデル２１に撮影画像ＣＩを適用して、撮影画像ＣＩに写る個々の個体ＯＢに画像要素ＩＥを付加する。トラッキングステップは、各個体ＯＢに付された画像要素ＩＥに基づいて個々の個体ＯＢを個別にトラッキングする。

【0116】

この構成によれば、画像要素ＩＥを手掛かりとしてトラッキングを行いやすくなる。

【0117】

［１３．その他］
図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。

【0118】

以上、本願の実施形態をいくつかの図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。

【0119】

上記実施形態では、ＣＧを用いたトレーニングデータの生成手法を説明したが、この手法は、上述した例に限らず、ありとあらゆるコンピュータビジョンの認識率の向上に寄与する。ＣＧを用いた精巧な筋骨格シミュレーションの手法は、チョウザメに限らず、人および馬などにも適用できる。これにより、ＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）を用いた上記手法を様々な分野へ広く適用することができる。

【符号の説明】

【0120】

１ 情報処理装置
２１ 分析モデル
２３ 群れモデル
２４ 個体モデル
２５ 異常行動モデル
２９ プログラム
ＣＩ 撮影画像
ＣＳＩ 補正画像
ＦＬＫ 群れ
ＩＥ 画像要素
ＯＢ 個体
ＳＩ シミュレーション画像
ＴＩＤ 入力データ
ＴＯＤ 正解データ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【手続補正書】

【提出日】2022-09-02

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

分析対象となる群れの性質を示すパラメータ情報を入力として前記群れのシミュレーションを行うことにより、前記群れを或るカメラアングルから見たシミュレーション画像を生成し、
前記シミュレーション画像に紐づくラベル情報を、当該シミュレーション画像が生成された際に入力された前記パラメータ情報に基づいて生成し、
前記シミュレーション画像と前記ラベル情報とに基づいて生成された正解データの束をトレーニングデータとする機械学習に基づいて分析モデルを生成し、
前記群れを撮影した撮影画像を前記分析モデルに入力することにより前記撮影画像からパラメータ情報を抽出し、
前記撮影画像から抽出されたパラメータ情報に基づいて、前記撮影画像に写る前記群れに含まれる個体数を推定する推定ステップを実行する、
コンピュータにより実行される情報処理方法。

【請求項2】

請求項１に記載の情報処理方法であって、
前記撮影画像から抽出された前記パラメータ情報に基づいて前記シミュレーションを行うことにより、前記撮影画像と比較するための比較用シミュレーション画像を生成し、
前記比較用シミュレーション画像と前記撮影画像との差分が所定の条件を満たすまで、前記撮影画像から抽出された前記パラメータ情報を補正し、
前記推定ステップにおいては、補正された前記パラメータ情報に基づいて、前記撮影画像に写る前記群れに含まれる個体数を推定する、情報処理方法。

【請求項3】

分析対象の性質を示すパラメータ情報を入力としてシミュレーションを行うことにより、前記分析対象を或るカメラアングルから見たシミュレーション画像を生成し、
前記シミュレーション画像に紐づくラベル情報を、当該シミュレーション画像が生成された際に入力された前記パラメータ情報に基づいて生成し、
前記シミュレーション画像と前記ラベル情報とに基づいて生成された正解データの束をトレーニングデータとする機械学習に基づいて分析モデルを生成し、
前記分析対象を撮影した撮影画像を前記分析モデルに入力することにより前記撮影画像からパラメータ情報を抽出し、
前記撮影画像から抽出されたパラメータ情報に基づいて、前記撮影画像に写る前記分析対象の情報を推定する推定ステップを実行する、
コンピュータにより実行される情報処理方法。

【請求項4】

請求項３に記載の情報処理方法であって、
前記撮影画像から抽出された前記パラメータ情報に基づいて前記シミュレーションを行うことにより、前記撮影画像と比較するための比較用シミュレーション画像を生成し、
前記比較用シミュレーション画像と前記撮影画像との差分が所定の条件を満たすまで、前記撮影画像から抽出された前記パラメータ情報を補正し、
前記推定ステップにおいては、補正された前記パラメータ情報に基づいて、前記撮影画像に写る前記分析対象の情報を推定する、情報処理方法。

【請求項5】

個体の形態的特徴を示すパラメータ情報を入力とするシミュレーションを行うことにより、前記個体を或るカメラアングルから見たシミュレーション画像を生成し、
前記シミュレーション画像に紐づくラベル情報を、当該シミュレーション画像が生成された際に入力された前記パラメータ情報に基づいて生成し、
前記シミュレーション画像と前記ラベル情報とに基づいて生成された正解データの束をトレーニングデータとする機械学習に基づいて分析モデルを生成し、
前記個体を撮像した撮影画像を前記分析モデルに入力することにより前記撮影画像から前記パラメータ情報を抽出し、
前記撮影画像から抽出された前記パラメータ情報に基づいて、前記撮影画像に写る前記個体を識別する推定ステップを実行する、
コンピュータにより実行される情報処理方法。

【請求項6】

請求項５に記載の情報処理方法であって、
前記撮影画像から抽出された前記パラメータ情報に基づいて前記シミュレーションを行うことにより、前記撮影画像と比較するための比較用シミュレーション画像を生成し、
前記比較用シミュレーション画像と前記撮影画像との差分が所定の条件を満たすまで、前記撮影画像から抽出された前記パラメータ情報を補正し、
前記推定ステップにおいては、補正された前記パラメータ情報に基づいて、前記撮影画像に写る前記個体を識別する、情報処理方法。

【請求項7】

個体を分類するための分類情報及び当該個体の位置を示す位置情報を含むパラメータ情報を用いてシミュレーションを行うことにより、前記個体を或るカメラアングルから見たシミュレーション画像を生成し、
前記シミュレーション画像に紐づくラベル情報を、当該シミュレーション画像が生成された際に入力された前記パラメータ情報に基づいて生成し、
前記シミュレーション画像と前記ラベル情報とに基づいて生成された正解データの束をトレーニングデータとする機械学習に基づいて分析モデルを生成し、
群れを撮像した撮影画像を前記分析モデルに入力することにより、前記撮影画像から、前記群れに含まれる個々の前記個体の分類情報及び位置情報を抽出し、
抽出された前記個体の分類情報及び位置情報に基づいて、前記撮影画像に、当該個体を囲むフレーム要素又は当該個体を色で識別するための色要素が付加された画像を生成する、
コンピュータにより実行される情報処理方法。

【請求項8】

分析対象となる群れの性質を示すパラメータ情報を入力として前記群れのシミュレーションを行うことにより、前記群れを或るカメラアングルから見たシミュレーション画像を生成し、
前記シミュレーション画像に紐づくラベル情報を、当該シミュレーション画像が生成された際に入力された前記パラメータ情報に基づいて生成し、
前記シミュレーション画像と前記ラベル情報とに基づいて生成された正解データの束をトレーニングデータとする機械学習に基づいて分析モデルを生成し、
前記群れを撮影した撮影画像を前記分析モデルに入力することにより前記撮影画像からパラメータ情報を抽出し、
前記撮影画像から抽出されたパラメータ情報に基づいて、前記撮影画像に写る前記群れに含まれる個体数を推定する推定ステップを実行する、
ことをコンピュータに実現させるプログラム。

【請求項9】

分析対象の性質を示すパラメータ情報を入力としてシミュレーションを行うことにより、前記分析対象を或るカメラアングルから見たシミュレーション画像を生成し、
前記シミュレーション画像に紐づくラベル情報を、当該シミュレーション画像が生成された際に入力された前記パラメータ情報に基づいて生成し、
前記シミュレーション画像と前記ラベル情報とに基づいて生成された正解データの束をトレーニングデータとする機械学習に基づいて分析モデルを生成し、
前記分析対象を撮影した撮影画像を前記分析モデルに入力することにより前記撮影画像からパラメータ情報を抽出し、
前記撮影画像から抽出されたパラメータ情報に基づいて、前記撮影画像に写る前記分析対象の情報を推定する推定ステップを実行する、
ことをコンピュータに実現させるプログラム。

【請求項10】

個体の形態的特徴を示すパラメータ情報を入力とするシミュレーションを行うことにより、前記個体を或るカメラアングルから見たシミュレーション画像を生成し、
前記シミュレーション画像に紐づくラベル情報を、当該シミュレーション画像が生成された際に入力された前記パラメータ情報に基づいて生成し、
前記シミュレーション画像と前記ラベル情報とに基づいて生成された正解データの束をトレーニングデータとする機械学習に基づいて分析モデルを生成し、
前記個体を撮像した撮影画像を前記分析モデルに入力することにより前記撮影画像から前記パラメータ情報を抽出し、
前記撮影画像から抽出された前記パラメータ情報に基づいて、前記撮影画像に写る前記個体を識別する推定ステップを実行する、
ことをコンピュータに実現させるプログラム。

【請求項11】

個体を分類するための分類情報及び当該個体の位置を示す位置情報を含むパラメータ情報を用いてシミュレーションを行うことにより、前記個体を或るカメラアングルから見たシミュレーション画像を生成し、
前記シミュレーション画像に紐づくラベル情報を、当該シミュレーション画像が生成された際に入力された前記パラメータ情報に基づいて生成し、
前記シミュレーション画像と前記ラベル情報とに基づいて生成された正解データの束をトレーニングデータとする機械学習に基づいて分析モデルを生成し、
群れを撮像した撮影画像を前記分析モデルに入力することにより、前記撮影画像から、前記群れに含まれる個々の前記個体の分類情報及び位置情報を抽出し、
抽出された前記個体の分類情報及び位置情報に基づいて、前記撮影画像に、当該個体を囲むフレーム要素又は当該個体を色で識別するための色要素が付加された画像を生成する、
ことをコンピュータに実現させるプログラム。

【請求項12】

分析対象となる群れの性質を示すパラメータ情報を入力として前記群れのシミュレーションを行うことにより、前記群れを或るカメラアングルから見たシミュレーション画像を生成するシミュレーション部と、
前記シミュレーション画像に紐づくラベル情報を、当該シミュレーション画像が生成された際に入力された前記パラメータ情報に基づいて生成する正解データ生成部と、
前記シミュレーション画像と前記ラベル情報とに基づいて生成された正解データの束をトレーニングデータとする機械学習に基づいて生成された分析モデルに、前記群れを撮影した撮影画像を入力することにより、前記撮影画像からパラメータ情報を抽出する画像解析部と、
前記撮影画像から抽出されたパラメータ情報に基づいて、前記撮影画像に写る前記群れに含まれる個体数を推定する推定部と、
を有する情報処理装置。

【請求項13】

分析対象の性質を示すパラメータ情報を入力としてシミュレーションを行うことにより、前記分析対象を或るカメラアングルから見たシミュレーション画像を生成するシミュレーション部と、
前記シミュレーション画像に紐づくラベル情報を、当該シミュレーション画像が生成された際に入力された前記パラメータ情報に基づいて生成する正解データ生成部と、
前記シミュレーション画像と前記ラベル情報とに基づいて生成された正解データの束をトレーニングデータとする機械学習に基づいて生成された分析モデルに、前記分析対象を撮影した撮影画像を入力することにより、前記撮影画像からパラメータ情報を抽出する画像解析部と、
前記撮影画像から抽出されたパラメータ情報に基づいて、前記撮影画像に写る前記分析対象の情報を推定する推定部と、
を有する情報処理装置。

【請求項14】

個体の形態的特徴を示すパラメータ情報を入力とするシミュレーションを行うことにより、前記個体を或るカメラアングルから見たシミュレーション画像を生成するシミュレーション部と、
前記シミュレーション画像に紐づくラベル情報を、当該シミュレーション画像が生成された際に入力された前記パラメータ情報に基づいて生成する正解データ生成部と、
前記シミュレーション画像と前記ラベル情報とに基づいて生成された正解データの束をトレーニングデータとする機械学習に基づいて生成された分析モデルに、前記個体を撮像した撮影画像を入力することにより、前記撮影画像から前記パラメータ情報を抽出する画像解析部と、
前記撮影画像から抽出された前記パラメータ情報に基づいて、前記撮影画像に写る前記個体を識別する推定部と、
を有する情報処理装置。

【請求項15】

個体を分類するための分類情報及び当該個体の位置を示す位置情報を含むパラメータ情報を用いてシミュレーションを行うことにより、前記個体を或るカメラアングルから見たシミュレーション画像を生成するシミュレーション部と、
前記シミュレーション画像に紐づくラベル情報を、当該シミュレーション画像が生成された際に入力された前記パラメータ情報に基づいて生成する正解データ生成部と、
前記シミュレーション画像と前記ラベル情報とに基づいて生成された正解データの束をトレーニングデータとする機械学習に基づいて生成された分析モデルに、群れを撮像した撮影画像を入力することにより、前記撮影画像から、前記群れに含まれる個々の前記個体の分類情報及び位置情報を抽出し、抽出された前記個体の分類情報及び位置情報に基づいて、前記撮影画像に、当該個体を囲むフレーム要素又は当該個体を色で識別するための色要素が付加された画像を生成する画像解析部と、
を有する情報処理装置。