特表 2023-528123 水産養殖行動観察のためのカメラコントローラ

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-07-04

(54)【発明の名称】水産養殖行動観察のためのカメラコントローラ

(51)【国際特許分類】

   A01K 61/90 20170101AFI20230627BHJP

   A01K 61/10 20170101ALI20230627BHJP

【ＦＩ】

A01K61/90

A01K61/10

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2022555721

(86)(22)【出願日】2021-03-17

(85)【翻訳文提出日】2022-11-18

(86)【国際出願番号】 US2021022702

(87)【国際公開番号】W WO2021236214

(87)【国際公開日】2021-11-25

(31)【優先権主張番号】16/880,349

(32)【優先日】2020-05-21

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】516326438

【氏名又は名称】エックス デベロップメント エルエルシー

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100126480

【弁理士】

【氏名又は名称】佐藤 睦

(72)【発明者】

【氏名】ヤオ，ザオイン

(72)【発明者】

【氏名】キチカイロ，タチアナ

(72)【発明者】

【氏名】ジェームズ，バーナビー ジョン

【テーマコード（参考）】

2B104

【Ｆターム（参考）】

2B104GA01

(57)【要約】

【課題】 水産養殖の摂食行動を観察することである。
【解決手段】 カメラ（１０２）を制御して水産養殖の摂食行動を観察するための、方法、システム（１００）、及びコンピュータ記憶媒体上に符号化されたコンピュータプログラムを含む、装置である。いくつかの実施態様では、方法は、カメラ（１０２）を第１の位置に移動させること（２１０）と、第１の位置においてカメラによって捕捉された画像を取得すること（２２０）と、摂食観察モードを決定すること（２３０）と、摂食観察モード、及び画像の分析に基づいて、カメラを移動させるための第２の位置を決定すること（２４０）と、を含む。
【選択図】図１

【特許請求の範囲】

【請求項1】

カメラを第１の位置に移動させることと、
前記第１の位置において、前記カメラによって捕捉された画像を取得することと、
摂食観察モードを決定することと、
前記摂食観察モード、及び前記画像の分析に基づいて、前記カメラを移動させるための第２の位置を決定することと、を含む、方法。

【請求項2】

摂食観察モードを決定することは、前記摂食観察モードが給餌器定位モードに対応すると決定することを含み、
前記カメラを移動させるための第２の位置を決定することは、
前記画像から、魚が前記第１の位置から特定の方向に摂食している可能性が高いと決定することと、
前記魚が摂食している可能性が高い前記特定の方向に基づいて、前記第２の位置を決定することと、を含む、請求項１に記載の方法。

【請求項3】

前記画像から、魚が前記第１の位置から特定の方向に摂食している可能性が高いと決定することは、
前記画像から、ある場所において、
魚の密度が密度基準を満たす、
魚の水平遊泳速度が速度基準を満たす、
垂直に遊泳する魚の数が垂直基準を満たす、
魚が開けている口の数が口基準を満たす、及び
摂食の数が摂食基準を満たす、
のうちの１つ以上であると決定することと、
前記場所に基づいて、前記特定の方向を決定することと、を含む、請求項２に記載の方法。

【請求項4】

前記摂食観察モードが給餌器定位モードに対応すると決定することが、
給餌プロセスが開始したと決定することを含む、請求項２に記載の方法。

【請求項5】

摂食観察モードを決定することは、前記摂食観察モードが巡回モードに対応すると決定することを含み、
前記カメラを移動させるための第２の位置を決定することは、
前記画像から、餌が前記第１の位置の下方に沈んでいると決定することと、
前記第２の位置が前記第１の位置よりも深いと決定することと、を含む、請求項１に記載の方法。

【請求項6】

前記画像から、餌が前記第１の位置の下方に沈んでいると決定することは、
餌が前記画像の下部に見えていると決定することを含む、請求項５に記載の方法。

【請求項7】

摂食観察モードを決定することは、前記摂食観察モードが巡回モードに対応すると決定することを含み、
前記カメラを移動させるための第２の位置を決定することは、
前記画像から、餌が見えていないと決定することと、
前記第２の位置が前記第１の位置よりも浅いと決定することと、を含む、請求項１に記載の方法。

【請求項8】

摂食観察モードを決定することは、前記摂食観察モードが巡回モードに対応すると決定することを含み、
前記カメラを移動させるための第２の位置を決定することは、
前記画像から、餌は見えているが、前記第１の位置の下方には沈んでいないと決定することと、
魚に与えられる餌の量を増やすことと、
前記第２の位置が前記第１の位置よりも深いと決定することと、を含む、請求項１に記載の方法。

【請求項9】

前記第２の位置において、前記カメラによって捕捉された第２の画像を取得することと、
前記餌が前記第２の位置の下方に沈んでいると決定することと、
前記魚に与えられる餌の前記量を減らすことと、を含む、請求項８に記載の方法。

【請求項10】

前記摂食観察モードが巡回モードに対応すると決定することが、
給餌器定位モードが完了したと決定することを含む、請求項１に記載の方法。

【請求項11】

１つ以上のコンピュータ、及び前記１つ以上のコンピュータによって実行されたときに前記１つ以上のコンピュータに動作を実行させるように動作可能である命令を格納する１つ以上のストレージデバイスを備え、前記動作が、カメラを第１の位置に移動させることと、
前記第１の位置において、前記カメラによって捕捉された画像を取得することと、
摂食観察モードを決定することと、
前記摂食観察モード、及び前記画像の分析に基づいて、前記カメラを移動させるための第２の位置を決定することと、を含む、システム。

【請求項12】

摂食観察モードを決定することは、前記摂食観察モードが給餌器定位モードに対応すると決定することを含み、
前記カメラを移動させるための第２の位置を決定することは、
前記画像から、魚が前記第１の位置から特定の方向に摂食している可能性が高いと決定することと、
前記魚が摂食している可能性が高い前記特定の方向に基づいて、前記第２の位置を決定することと、を含む、請求項１１に記載のシステム。

【請求項13】

前記画像から、魚が前記第１の位置から特定の方向に摂食している可能性が高いと決定することは、
前記画像から、ある場所において、
魚の密度が密度基準を満たす、
魚の水平遊泳速度が速度基準を満たす、
垂直に遊泳する魚の数が垂直基準を満たす、
魚が開けている口の数が口基準を満たす、及び
摂食の数が摂食基準を満たす、
のうちの１つ以上であると決定することと、
前記場所に基づいて、前記特定の方向を決定することと、を含む、請求項１２に記載のシステム。

【請求項14】

前記摂食観察モードが給餌器定位モードに対応すると決定することが、
給餌プロセスが開始したと決定することを含む、請求項１２に記載のシステム。

【請求項15】

摂食観察モードを決定することは、前記摂食観察モードが巡回モードに対応すると決定することを含み、
前記カメラを移動させるための第２の位置を決定することは、
前記画像から、餌が前記第１の位置の下方に沈んでいると決定することと、
前記第２の位置が前記第１の位置よりも深いと決定することと、を含む、請求項１１に記載のシステム。

【請求項16】

前記画像から、餌が前記第１の位置の下方に沈んでいると決定することは、
餌が前記画像の下部に見えていると決定することを含む、請求項１５に記載のシステム。

【請求項17】

摂食観察モードを決定することは、前記摂食観察モードが巡回モードに対応すると決定することを含み、
前記カメラを移動させるための第２の位置を決定することは、
前記画像から、餌が見えていないと決定することと、
前記第２の位置が前記第１の位置よりも浅いと決定することと、を含む、請求項１１に記載のシステム。

【請求項18】

摂食観察モードを決定することは、前記摂食観察モードが巡回モードに対応すると決定することを含み、
前記カメラを移動させるための第２の位置を決定することは、
前記画像から、餌は見えているが、前記第１の位置の下方には沈んでいないと決定することと、
前記魚に与えられる餌の量を増やすことと、
前記第２の位置が前記第１の位置よりも深いと決定することと、を含む、請求項１１に記載のシステム。

【請求項19】

前記動作が、
前記第２の位置において、前記カメラによって捕捉された第２の画像を取得することと、
前記餌が前記第２の位置の下方に沈んでいると決定することと、
前記魚に与えられる餌の前記量を減らすことと、を含む、請求項１８に記載のシステム。

【請求項20】

コンピュータプログラムで符号化されたコンピュータ可読ストレージデバイスであって、前記プログラムが、１つ以上のコンピュータによって実行されたとき、前記１つ以上のコンピュータに動作を実行させる命令を含み、前記動作が、
カメラを第１の位置に移動させることと、
前記第１の位置において、前記カメラによって捕捉された画像を取得することと、
摂食観察モードを決定することと、
前記摂食観察モード、及び前記画像の分析に基づいて、前記カメラを移動させるための第２の位置を決定することと、を含む、コンピュータ可読ストレージデバイス。

【発明の詳細な説明】

【技術分野】

【0001】

本明細書は、水産養殖システムのための自動カメラコントローラに関する。

【背景技術】

【0002】

水産養殖には、魚、甲殻類、又は水生植物などの水生生物の養殖が含まれる。水産養殖では、商業漁業とは対照的に、淡水魚及び海水魚の個体数が管理された環境で養殖される。例えば、魚の養殖には、水槽、養魚池、又は海の囲いの中で魚を飼育することが含まれる。

【0003】

養殖される魚が囲いの中全体にわたって移動するときに、人間のオペレーターによって制御されたカメラシステムを使用して、それらの魚を監視することができる。カメラシステムを手動で制御する場合、オペレーターの注意の持続時間若しくは作業スケジュール、又は異常気象条件における人間のオペレーターの快適さなどの人的要因が、監視の質に影響を与える可能性がある。

【発明の概要】

【0004】

概して、本明細書に記載の主題の革新的な態様は、カメラを制御して水産養殖の摂食行動を観察することに関する。水産養殖家畜を養殖するには、家畜が成長する間中、その家畜は、給餌される必要があり得る。例えば、養殖されている鮭は、鮭が捕獲されるのに十分大きくなるまで、１日につき３～７時間、給餌される場合がある。

【0005】

摂食行動を観察することは、カメラを適切に制御して、摂食を観察することに頼る場合がある。例えば、カメラが摂食する家畜から遠すぎるところにある場合、摂食行動を観察することができない場合がある。別の例では、カメラが摂食する家畜に近すぎるところにある場合、単一の家畜がカメラの視野全体を占める場合があるため、摂食行動を観察することができない場合がある。更に別の例では、魚が摂食している深さに対して、カメラが浅すぎるか、又は深すぎるところにある場合、摂食行動を見ることができない場合がある。カメラを制御して、摂食を観察することは、カメラを配置するべき場所を決定するために、家畜及び餌の画像に頼る場合がある。例えば、カメラは、摂食している家畜を見つけるために制御され、その摂食している家畜から適切な距離に位置決めされて、摂食行動を観察することができる。

【0006】

家畜の摂食行動を観察して、有用な情報を取得することができる。例えば、摂食行動は、家畜がその家畜に与えられている餌の大部分を消費していないため、その家畜に与えられる餌の量を減らすことができることを示し得る。別の例では、摂食行動は、家畜がその家畜に与えられている餌を急速に消費してため、その家畜に与えられる餌の割合を増やすことができることを示し得る。更に別の例では、摂食行動は、家畜が予想される量の餌を消費していないことから、その家畜は不健康であり、そのためその家畜に薬を与え得ることを示し得る。

【0007】

水産養殖の摂食行動を観察するためのカメラの自動制御を提供するシステムは、摂食行動のより正確な決定を提供することができ、家畜の給餌の効率を高めることができる。例えば、自動制御により、カメラを最適に位置決めして、魚の摂食行動を示す画像を確実に捕捉することができる。別の例では、自動制御により、システムが、魚が餌のほとんどを食べている間は、餌が魚に与えられる速度を自動的に増やし、魚が餌のほとんどを食べていないときには、餌を魚に与えるのを自動的に減らすか、又は停止するのを可能にすることができる。したがって、本システムは、消費されない餌の量を減らすことによって、家畜を飼育する際に使用される餌の残り物の量を低減し、消費する魚に更に多くの餌を与えることによって収量を増やすことができる。

【0008】

本明細書に記載の主題の１つの革新的な態様は、方法に具現化されており、その方法は、カメラを第１の位置に移動させることと、第１の位置において、そのカメラによって捕捉された画像を取得することと、摂食観察モードを決定することと、摂食観察モード、及び画像の分析に基づいて、カメラを移動させるための第２の位置を決定することと、を含む。

【0009】

この態様及び他の態様の他の実施態様は、対応するシステム、装置、及びコンピュータストレージデバイス上で符号化され、この方法の動作を実施するように構成されているコンピュータプログラムを含む。１つ以上のコンピュータのシステムは、作動中にシステムにこの動作を実行させる、システム上にインストールされたソフトウェア、ファームウェア、ハードウェア、又はそれらの組み合わせによって、そのように構成されてもよい。１つ以上のコンピュータプログラムは、データ処理装置によって実行されたとき、装置にこれらの動作を実行させる命令を有することによってそのように構成されてもよい。

【0010】

上記の及び他の実施形態は、それぞれ以下の特徴のうちの１つ以上を任意に、単独に又は組み合わせて含むことができる。例えば、いくつかの態様では、摂食観察モードを決定することは、摂食観察モードが給餌器定位モードに対応すると決定することを含み、カメラを移動させるための第２の位置を決定することは、画像から、魚が第１の位置から特定の方向に摂食している可能性が高いと決定することと、魚が摂食している可能性が高い特定の方向に基づいて、第２の位置を決定することと、を含む。

【0011】

特定の態様では、画像から、魚が第１の位置から特定の方向に摂食している可能性が高いと決定することは、画像から、ある場所において、魚の密度が密度基準を満たす、魚の水平遊泳速度が速度基準を満たす、垂直に遊泳する魚の数が垂直基準を満たす、魚が開けている口の数が口基準を満たす、又は摂食の数が摂食基準を満たす、のうちの１つ以上であると決定することと、当該場所に基づいて特定の方向を決定することと、を含む。

【0012】

いくつかの実施態様では、摂食観察モードが給餌器定位モードに対応すると決定することは、給餌プロセスが開始したと決定することを含む。いくつかの態様では、摂食観察モードを決定することは、摂食観察モードが巡回モードに対応すると決定することを含み、カメラを移動させるための第２の位置を決定することは、画像から、餌が第１の位置の下方に沈んでいると決定することと、第２の位置が第１の位置よりも深いと決定することと、を含む。

【0013】

特定の態様では、画像から、餌が第１の位置の下方に沈んでいると決定することは、餌がその画像の下部に見えていると決定することを含む。いくつかの実施態様では、摂食観察モードを決定することは、摂食観察モードが巡回モードに対応すると決定することを含み、カメラを移動させるための第２の位置を決定することは、画像から、餌が見えていないと決定することと、第２の位置が第１の位置よりも浅いと決定することと、を含む。

【0014】

いくつかの態様では、摂食観察モードを決定することは、摂食観察モードが巡回モードに対応すると決定することを含み、カメラを移動させるための第２の位置を決定することは、画像から、餌は見えているが、第１の位置の下方には沈んでいないと決定することと、魚に与えられる餌の量を増やすことと、第２の位置が第１の位置よりも深いと決定することと、を含む。

【0015】

特定の態様では、動作は、第２の位置において、カメラによって捕捉された第２の画像を取得することと、餌が第２の位置の下方に沈んでいると決定することと、魚に与えられる餌の量を減らすことと、を含む。いくつかの態様では、摂食観察モードが巡回モードに対応すると決定することは、給餌器定位モードが完了したと決定することを含む。

【0016】

１つ以上の実施態様の詳細については、以下の添付図面及び説明に記述される。本開示の他の潜在的な特徴及び利点は、説明、図面、及び特許請求の範囲から明らかになるであろう。

【図面の簡単な説明】

【0017】

【図1】例示的な摂食行動監視システム、及び水生家畜を収容する囲いの略図である。

【図2】カメラを制御して水産養殖の摂食行動を観察する例示的なプロセスのフロー図である。

【図3A】水平視界を有するカメラの位置変化を例示する略図である。

【図3B】上向き視界を有するカメラの位置変化を例示する略図である。

【図4】給餌中のカメラの深さの変化を例示する略図である。

【図5】過剰給餌の観察を例示する略図である。

【0018】

様々な図面の中の類似の参照番号及び名称は、類似の要素を示す。本明細書に示されている構成要素、それらの接続及び関係、並びにそれらの機能は、例示のみを意図しており、本明細書で説明及び／又は特許請求されている実施態様を限定することを意味するものではない。

【発明を実施するための形態】

【0019】

図１は、例示的な摂食行動監視システム１００、及び水生家畜を収容する囲い１１０の略図である。参照しやすいように、デカルト座標系が用意されている。図１は、ｘｙ平面内に延在する囲い１１０を示しているが、この囲いは、ｚ方向に更に延在しており、正のｚ方向は、図面のページから外に延びている。

【0020】

家畜は、囲い１１０の範囲内で自由に遊泳する、家畜１２０などの水生動物であり得る。いくつかの実施態様では、囲い１１０内に格納された水生家畜１２０は、ひれのある魚、又は他の水生生物を含み得る。家畜１２０には、いくつかの例を挙げてみると、例えば、稚魚、鯉、鮫、鮭、及びバスが含まれ得る。

【0021】

水生家畜に加えて、囲い１１０には、水、例えば、海水、淡水、又は雨水が含まれるが、この囲いには、水生家畜にとって住むことが可能な環境を維持することができる任意の流体が含まれ得る。摂食行動監視システム１００は、センサーサブシステム１０２、センサー位置サブシステム１０４、餌制御サブシステム１０６、ウインチサブシステム１０８、及び給餌器１３０を含む。

【0022】

摂食行動監視システム１００は、水生家畜の摂食行動を監視するために使用することができる。例えば、システム１００を使用して、魚が、囲い１１０内で、摂食している場所、量、及び持続時間を決定することができる。センサーサブシステム１０２は、摂食行動を観察するために適切に位置決めされる必要があり得るため、摂食行動を観察することは、困難である場合がある。例えば、センサーサブシステム１０２が、魚が摂食している場所から遠すぎるところに位置決めされている場合、摂食行動を観察することができない。別の例では、センサーサブシステム１０２が、魚が摂食している場所に接近しすぎるところに位置決めされている場合、センサーサブシステム１０２のすぐそばを直ちに通過する魚は、当該魚ばかりでなく、他のどれかの魚が感知されるのを妨害する可能性がある。一般に、摂食を観察するための最適な距離は、摂食から６フィート離れた距離であり得る。例えば、摂食から６フィート離れた距離により、カメラが、餌を食べている複数の魚の視界を同時に有しながら、餌が沈んでいる視界を見ることが可能になり得る。この最適な距離は、様々な条件に基づいて変化する可能性がある。例えば、水がより透明であるか、又はより多くの太陽光が餌上を照らしているときに、最適な距離は、より長くなり得る。

【0023】

摂食行動監視システム１００は、観察される摂食行動に基づいて、給餌を制御することができる。例えば、システム１００は、魚がもはや餌を食べていないと決定し、これに応答して、餌の提供を停止することができる。別の例では、システム１００は、魚が餌を食べているだけでなく、餌の大部分がその魚によって食べられていないと決定し、これに応答して、その魚に与えられる餌の割合を減らすことができる。更に別の例では、システム１００は、魚が全ての餌を急速に食べていると決定し、これに応答して、その魚に与えられる餌の割合を増やすことができる。

【0024】

センサー位置サブシステム１０４は、センサーサブシステム１０２の現在の位置を記憶し、センサーサブシステムが移動される位置に対応する命令を生成できる。更に、センサー位置サブシステム１０４は、水温、溶存酸素、又は塩分のうちの１つ以上を格納することができる。いくつかの実施態様では、摂食行動監視システム１００は、囲い１１０内に限定されるのではなく、桟橋、ドック、又はブイなどの構造体に固定される。例えば、囲い１１０内に限定されるのではなく、家畜１２０は、水域を自由に動き回ることができ、摂食行動監視システム１００は、その水域の特定の領域内で家畜を監視することができる。

【0025】

センサー位置サブシステム１０４は、命令を自動的に生成できる。すなわち、センサー位置サブシステム１０４は、センサーサブシステム１０２の現在の位置又は次の位置の適合性を決定するために人間による評価又は入力を必要としない。

【0026】

センサー位置サブシステム１０４は、囲い１１０内のｘ、ｙ、及びｚ座標に対応する命令を生成する１つ以上のコンピュータを含むことができる。この命令はまた、摂食行動監視システム１００の回転軸１１２を中心とする回転に対応することもでき、その回転軸は、実質的にｙ方向に延在するコード１１４の一部分と同一空間に広がっている。そのような回転は、センサーサブシステム１０２の水平角を変化させ、水平角は、センサーサブシステムがセンサー入力を受信するｘｚ平面内の角度である。命令はまた、センサーサブシステム１０２をウインチサブシステム１０８の構成要素に接続するピンを中心とする回転にも対応することができる。このような回転により、センサーサブシステムの頂角が変化する。頂角は正のｙ軸に対して測定される。命令は、囲い１１０内のセンサーサブシステム１０２の可能な位置、水平角、及び垂直角を表すことができる。

【0027】

いくつかの実施態様では、センサー位置サブシステム１０４は、コンピュータに通信可能に結合することができ、そのコンピュータは、水生家畜の管理人にセンサーデータを提示することができ、その管理人は、家畜及び囲い１１０を観察することができる。センサー位置サブシステム１０４は、命令をウインチサブシステム１０８に通信することができる。

【0028】

センサー位置サブシステム１０４は、餌制御サブシステム１０６に通信可能に結合されている。例えば、センサー位置サブシステム１０４は、餌が給餌器１３０を介して提供されている割合を示す情報を受信することができる。別の例では、センサー位置サブシステム１０４は、餌制御サブシステム１０６に命令を提供して、餌の提供の開始、餌の提供の停止、餌が提供される割合の増加、又は餌が提供される割合の減少を行うように、餌制御サブシステム１０６が給餌器１３０を制御することを要求することができる。センサー位置サブシステム１０４は、センサーデータを使用して、餌制御サブシステム１０６を介して給餌を制御することができる。例えば、餌制御サブシステム１０６は、給餌器１３０を直接制御することができ、センサー位置サブシステム１０４は、給餌に対する変化を決定し、そして餌制御サブシステム１０６に命令して、給餌器１３０を制御し、それらの変化を行うことができる。

【0029】

センサー位置サブシステム１０４は、センサーサブシステム１０２を位置決めして、給餌器１３０に基づいて、摂食行動を観察することができる。給餌器１３０は、円形散布機、線形散布機、又は非散布機のうちの１つ以上であってもよい。円形散布機は、例えば、直径おおよそ３～１０メートル（給餌ホース内の圧力、及び餌の大きさに依存する）の餌の円形分配を生成する回転式散布機であってもよい。センサー位置サブシステム１０４は、ウインチラインが円を横断するよう構成されるように、センサーサブシステム１０２を位置決めすることができるため、カメラがペレット場所に接近する複数の観察地点が存在する。

【0030】

線形散布機は、給餌ホースを持ち上げて餌を楕円形に散布する隆起した足場であってもよい。センサー位置サブシステム１０４は、センサーサブシステム１０２を楕円の中心のより近くに位置決めすることができるが、一般に、その位置は、給餌ゾーンが線形散布機の場合よりも局所化され得ると仮定すると、それほど重要ではない可能性がある。

【0031】

非散布機は、持ち上げのない線形散布機と同様であり得る。その結果、給餌ゾーンは、非常に局所化され得、例えば、より小さくなり得、特に水面近くで渦と呼ばれることもある、魚が非常に密集した群となる場合がある。散布機を使用しない場合、センサーサブシステム１０２は、摂食行動を観察するために、魚の近くに位置決めされる必要があり得る。

【0032】

いくつかの実施態様では、餌の分散がそれほど大きくない場合、餌は、魚によって吸蔵され得、システム１００は、摂食が起こっているという証拠として、魚行動についてより多くに依拠する可能性がある。したがって、より近くに移動しても、極端な吸蔵により、あまり役立たない可能性がある。更に、あるいは、システム１００は、過剰給餌して、ペレットを見つける場合がある。餌の割合が十分に増えると、ペレットは、摂食が起きている最も低い深さで魚が食べることになる量を上回り始めるであろう。より多くの魚が水柱のより低いところに集まることになるか、又は逆にペレットが落下することになるかのいずれかである。システム１００は、過剰給餌を使用して、餌を見つけ、並びに最大許容餌割合を決定することができる。

【0033】

ウインチサブシステム１０８は、命令を受信し、１つ以上のモータを作動させて、センサーサブシステム１０２を、命令に対応する位置に移動させる。ウインチサブシステム１０８は、１つ以上のモータ、１つ以上の電源装置、及びセンサーサブシステム１０２を吊り下げるコード１１４が取り付けられている１つ以上の滑車を含むことができる。滑車は、コード１１４などのコードの動き及び方向を維持するために使用される機械である。ウインチサブシステム１０８は、単一のコード１１４を含むが、本明細書に記載されているように、センサーサブシステム１０２の移動及び回転を可能にする１つ以上のコード及び１つ以上の滑車の任意の構成を使用することができる。

【0034】

ウインチサブシステム１０８は、センサー位置サブシステム１０４から命令を受信し、１つ以上のモータを作動させて、コード１１４を動かす。コード１１４、及び取り付けられたセンサーサブシステム１０２は、ｘ、ｙ、及びｚ方向に沿って、命令に対応する位置に移動できる。

【0035】

ウインチサブシステム１０８のモータを使用して、センサーサブシステム１０２を回転させて、センサーサブシステムの水平角及び頂角を調整できる。電源装置は、ウインチサブシステムの個々の構成要素に電力を供給できる。電源装置は、様々な電圧及び電流レベルで構成要素の各々にＡＣ及びＤＣ電力を供給できる。いくつかの実施態様では、ウインチサブシステムは、ｘ、ｙ、及びｚ方向の動きを可能にするために、複数のウインチ又は複数のモータを含むことができる。

【0036】

センサーサブシステム１０２は、家畜を監視することができる１つ以上のセンサーを含むことができる。センサーサブシステム１０２は、防水性とすることができ、典型的な海流などの外力の影響に破壊されることなく耐えることができる。センサーサブシステム１０２は、センサーサブシステムのセンサーのタイプに応じて、センサーデータ、例えば、画像及びビデオ映像、熱画像、熱シグネチャを取得する１つ以上のセンサーを含むことができる。例えば、センサーサブシステム１０２は、カメラ、ＩＲセンサー、ＵＶセンサー、熱センサー、圧力センサー、ハイドロフォン、水流センサー、及び、酸素飽和又は溶解した固体の量を検出するものなどの水質センサー、のうちの１つ以上を含むことができる。

【0037】

摂食行動監視システム１００は、センサーサブシステム１０２によって捕捉されたセンサーデータをセンサーデータストレージ内に、更に格納することができる。いくつかの実施態様では、システム１００は、いくつかの例を挙げてみると、ビデオ及び画像などの媒体、並びに超音波データ、熱データ、及び圧力データなどのセンサーデータを格納することができる。更に、センサーデータには、センサーサブシステムがセンサーデータを捕捉した地理的位置に対応するＧＰＳ情報を含めることができる。

【0038】

センサーサブシステム１０２及びウインチサブシステム１０８のうちの一方又は両方は、加速度計、ジャイロスコープ、及び磁力計などの、センサーサブシステムの運動を追跡し、かつ位置を決定するための慣性測定デバイスを含むことができる。ウインチサブシステム１０８はまた、引き出され、また巻き取られたコード１１４の量の経過を追跡して、センサーサブシステム１０２の位置を推定するための別の入力を提供することもできる。いくつかの実施態様では、ウインチサブシステム１０８はまた、センサーサブシステム１０２の位置及び状態に関する入力を提供するために、コードに加えられるトルクを提供できる。いくつかの実施態様では、センサーサブシステム１０２は、自律型水中ビークル（ＡＵＶ）、例えば、係留されたＡＵＶに取り付けることができる。

【0039】

図１の例では、センサーサブシステム１０２は、囲い１１０内に完全に水没しているカメラを含むが、他の実施形態では、センサーサブシステムは、例えば、センサーサブシステムが水上に吊り下げられている間、センサーサブシステムを完全に沈めずに、センサーデータを取得することができる。囲い１１０内のセンサーサブシステム１０２の位置は、センサー位置サブシステム１０４によって生成された命令によって決定される。

【0040】

センサー位置サブシステム１０４が摂食を観察するためにセンサーサブシステム１０２を配置するための位置を決定し、かつ給餌を制御する方法を決定する場合の様々な例が示されているが、他の実施態様も可能である。例えば、センサー位置サブシステム１０４の代わりに、餌制御サブシステム１０６は、給餌を制御する方法を決定することができる。別の例では、センサーサブシステム１０２は、センサー位置サブシステム１０４及び餌制御サブシステム１０６の両方の機能を実行することができる。

【0041】

図２は、カメラを制御して水産養殖の摂食行動を観察するための例示的なプロセス２００のフロー図である。この例示的なプロセス２００は、図１のシステム１００を含む様々なシステムによって実行することができる。

【0042】

プロセス２００は、カメラを第１の位置に移動させることを含む（２１０）。例えば、センサー位置サブシステム１０４は、餌がセンサーサブシステム１０２からの画像には見えていないが、大きく密集した魚群が見え、摂食の可能性を反映している様子が遠くに見えていると決定することができ、これに応答して、ウインチサブシステム１０８に「前進せよ」という命令を送信する。

【0043】

別の例では、センサー位置サブシステム１０４は、餌は見えているが、センサーサブシステム１０２から餌までの距離が６フィートを上回っていると決定することができ、これに応答して、ウインチサブシステム１０８に「前進せよ」という命令を送信することができる。更に別の例では、センサー位置サブシステム１０４は、多くの接近した魚が見え、かつ餌が見えないため、センサーサブシステム１０２が摂食している魚によって取り囲まれている可能性が高いことを反映していると決定することができ、これに応答して、ウインチサブシステム１０８に「後退せよ」という命令を送信する。

【0044】

プロセス２００は、第１の位置において、カメラによって捕捉された画像を取得することを含む（２２０）。例えば、センサーサブシステム１０２は、餌１３２を摂食している家畜１２０の画像を捕捉することができる。別の例では、センサーサブシステム１０２は、餌１３２が落下しているが、餌１３２を摂食している家畜１２０がいない画像を捕捉することができる。更に別の例では、センサーサブシステム１０２は、餌１３２を摂食しているが、６フィートを上回る距離にいる家畜１２０の画像を捕捉することができる。

【0045】

なおも更に別の例では、センサーサブシステム１０２は、餌を示していないが、ある場所で群れている家畜１２０を示している画像を捕捉することができ、この画像は、家畜１２０がその場所で摂食している可能性が高いことを示している。最後の例では、センサーサブシステム１０２は、餌なしで多くの接近した家畜１２０を有する画像を捕捉することができ、この画像は、センサーサブシステム１０２が給餌することができないほど接近しすぎている可能性が高いことを示している。

【0046】

プロセス２００は、摂食観察モードであると決定することを含む。例えば、センサー位置サブシステム１０４は、システム１００が給餌器定位モードにあると決定することができる（２３０）。別の例では、センサー位置サブシステム１０４は、システム１００が巡回モードにあると決定することができる。いくつかの実施態様では、給餌器定位モードは、巡回モードの前に行われる可能性があり、その巡回モードは、定位モードが完了した後にのみ開始することができる。他の実施態様では、給餌器定位モード及び巡回モードは、カメラの位置が両方のモードに基づいて継続的に更新される場合に、並行して行われる場合がある。カメラの位置は、両方とも、時間の経過とともに移動する場合があり（例えば、給餌器が、ラインの変化、又は海流、風、波による漂流に起因して、移動する）、又は深さに伴って移動する場合がある（例えば、餌が下降するときに、水流がその餌を押すことに起因して）。したがって、餌経路は、垂直ではなく、上部の上流側から下部の下流側への対角線である可能性があり、カメラは、上部カメラ及び／又は下部カメラを使用して、餌経路を追跡し、カメラの位置を決定する。

【0047】

プロセス２００は、摂食観察モード、及び画像の分析に基づいて、カメラを移動させるための第２の位置を決定することを含む（２４０）。例えば、センサー位置サブシステム１０４は、餌１３２に向かってセンサーサブシステム１０２を更に前進させることを決定することができる。

【0048】

いくつかの実施態様では、摂食観察モードであると決定することは、摂食観察モードが給餌器定位モードに対応すると決定することを含み、カメラを移動させるための第２の位置を決定することは、（ｉ）画像から、魚が第１の位置から特定の方向に摂食している可能性が高いと決定すること、及び（ｉｉ）その魚が摂食している可能性が高い特定の方向に基づいて、第２の位置を決定することを含む。例えば、センサー位置サブシステム１０４は、摂食観察モードが給餌器定位に対応すると決定し、画像から、その画像が捕捉された現在の位置の正面で摂食している可能性が高いと決定し、第２の位置が現在の位置の正面にあると決定することができる。

【0049】

いくつかの実施態様では、摂食観察モード中に、給餌が行われていることを確認することは、現在の給餌割合を得ることによって行うことができる。例えば、センサー位置サブシステム１０４は、餌制御サブシステム１０６から餌割合を取得することができる。確実に給餌することには、餌が放出されているときと、餌が送達されるときとの間に遅延が生じ得るという事実によって、複雑化する可能性がある。例えば、餌は、囲い１１０から半マイル離れたところに格納される可能性があるため、囲い１１０に到着するのにいくらかの時間がかかる場合がある。

【0050】

更に、いくつかの現場では、給餌器は、給餌ホースを共有することができるため、餌は、給餌器１３０によってデューティサイクル様式で送達され得る。例えば、給餌器１３０は、３分毎に１分間、餌を提供することができる。摂食知覚信号は、魚が最も空腹であるときに、最も明確になる可能性がある。したがって、センサー位置サブシステム１０４は、センサーサブシステム１０２を位置決めして、給餌の開始時に、例えば、給餌の開始後数分で、摂食を観察することができる。

【0051】

いくつかの実施態様では、画像から、魚が第１の位置から特定の方向に摂食している可能性が高いと決定することは、画像から、ある場所において、魚の密度が密度基準を満たす、魚の水平遊泳速度が速度基準を満たす、垂直に遊泳する魚の数が垂直基準を満たす、魚が開けている口の数が口基準を満たす、及び餌の数が餌基準を満たす、のうちの１つ以上であると決定することと、当該場所に基づいて、特定の方向を決定することと、を含む。

【0052】

例えば、センサー位置サブシステム１０４は、センサーサブシステム１０２の正面のある場所において、魚の密度基準が１立方フィート当たり１匹超である、魚の水平遊泳速度が１時間当たり１０マイルの平均速度基準を満たす、垂直に遊泳する魚の数が１秒当たり２匹の魚の垂直基準を満たす、口を開けている魚の口の数が１秒当たり３匹の魚の口基準を満たす、及び餌の数が１秒当たり３ペレットの餌基準を満たす、のうちの１つ以上であると決定することができ、これに応答して、特定の方向が正面にあると決定することができる。

【0053】

いくつかの実施態様では、摂食観察モードが給餌器定位モードに対応すると決定することは、給餌プロセスが開始したと決定することを含む。例えば、センサー位置サブシステム１０４は、餌制御サブシステム１０６が餌の提供を開始したばかりであると決定することができ、これに応答して、摂食観察モードが給餌器定位モードであると決定することができる。

【0054】

いくつかの実施態様では、摂食観察モードを決定することは、摂食観察モードが巡回モードに対応すると決定することを含み、カメラを移動させるための第２の位置を決定することは、画像から、餌が第１の位置の下方に沈んでいると決定することと、第２の位置が第１の位置よりも深いと決定することと、を含む。例えば、センサー位置サブシステム１０４は、餌がセンサーサブシステム１０２の視界の下方に沈んでいると決定し、これに応答して、センサーサブシステム１０２を４、６、８フィート、又はいくらかの他の距離だけより深く位置決めすることを決定することができる。

【0055】

いくつかの実施態様では、画像から、餌が第１の位置の下方に沈んでいると決定することは、餌が画像の下部に見えていると決定することを含む。例えば、センサー位置サブシステム１０４は、画像の下部５分の１付近の餌を検出し、これに応答して、餌が第１の位置の下方に沈んでいると決定することができる。

【0056】

いくつかの実施態様では、摂食観察モードを決定することは、摂食観察モードが巡回モードに対応すると決定することを含み、カメラを移動させるための第２の位置を決定することは、画像から、餌が見えていないと決定することと、第２の位置が第１の位置よりも浅いと決定することと、を含む。例えば、センサー位置サブシステム１０４は、餌が画像内に見えていないため、全ての餌がセンサーサブシステム１０２の位置の上方で消費されている可能性が高いと決定し、これに応答して、第２の位置が現在の位置の上方８フィートにあると決定することができる。

【0057】

いくつかの実施態様では、摂食観察モードを決定することは、摂食観察モードが巡回モードに対応すると決定することを含み、カメラを移動させるための第２の位置を決定することは、画像から、餌は見えているが、第１の位置の下方には沈んでいないと決定することと、魚に与えられる餌の量を増やすことと、第２の位置が第１の位置よりも深いと決定することと、を含む。例えば、センサー位置サブシステム１０４は、全ての餌が現在の視界で消費されているため、餌が与えられる割合を増やすことができると決定し、これに応答して、餌が沈んでいて消費されていないかどうかを観察するために、餌が与えられる割合を増やし、かつセンサーサブシステム１０２をより深く再位置決めすることができると決定することができる。

【0058】

いくつかの実施態様では、プロセス２００は、第２の位置において、カメラによって捕捉された第２の画像を取得することと、餌が第２の位置の下方に沈んでいると決定することと、魚に与えられる餌の量を減らすことと、を含む。例えば、センサー位置サブシステム１０４は、画像から、餌が第２の位置の下方に沈んでいるため消費されていないと決定し、これに応答して、餌制御サブシステム１０６に命令して、餌が魚に与えられる割合を減らすことができる。

【0059】

いくつかの実施態様では、摂食観察モードが巡回モードに対応すると決定することは、給餌器定位モードが完了したと決定することを含む。例えば、センサー位置サブシステム１０４は、センサーサブシステム１０２が給餌ゾーンを中央に位置決めして餌が見えている場合に、給餌器定位モードが終了すると、巡回モードに入ることができる。

【0060】

図３Ａは、水平視界を有するカメラの位置変化を例示する略図である。図に示すように、センサーサブシステム１０２は、右側に位置決めした視界を有するカメラを含み、センサー位置サブシステム１０４は、ウインチサブシステム１０８に命令して、水平にセンサーサブシステム１０２を家畜１２０に向かって移動させる。

【0061】

いくつかの実施態様では、給餌器定位モード中に、センサーサブシステム１０２は、最初、囲い１１０の一方の最側面の浅い深さ、例えば、２メートル以下から始めて位置合わせされ得、給餌が検出されるまで、囲い１１０を横切って水平に移動することができる。例えば、センサー位置サブシステム１０４は、最初、遠くから見ることができ、かつ給餌ゾーンが近づいていることを示すものとしての高い魚密度を探し、次いで、摂食と相関する魚の平均水平遊泳速度を調べ、次いで、それらの魚が上向きに遊泳して、給餌ペレットの落下時にその給餌ペレットをキャッチする可能性があるため、垂直に遊泳する魚を探し、次いで、口を開いている魚を探し、最後に餌ペレットを探すことができる。

【0062】

餌が検出されると、センサー位置サブシステム１０４は、センサーサブシステム１０２を移動させて、１秒当たりに観察される餌の量を最大化することができる。更に、センサー位置サブシステム１０４は、センサーサブシステム１０２のパン角度を調整して、センサーサブシステム１０２の視界内の中央に摂食を配置することができる。パン角度を調整することは、摂食が観察されている間、継続的に行うことができる。

【0063】

いくつかの実施態様では、海流、給餌器の動き、送風機圧力の変化、又は海面状態の一般的な変化に起因して、給餌ゾーンは、時間の経過とともに移動する可能性があるため、センサー位置サブシステム１０４は、センサーサブシステム１０２をときどき再位置決めする場合がある。再位置決めは、センサーサブシステム１０２を最初に位置決めした同じプロセスに従うことができるが、位置が概ね正しいと仮定して、観察される餌の量の増加、又は中央の摂食活動のうちの少なくとも１つに対して、水平及びパン移動のみを使用することもできる。

【0064】

いくつかの実施態様では、システム１００は、センサーサブシステム１０２が移動するときに、餌検出イベントの分布を測定することに基づいて、給餌ゾーンを突き止める給餌器定位モードを使用することができる。センサーサブシステム１０２は、囲い１１０を横断するように移動して、例えば、３～６メートルの深さで一方の側面から他方の側面まで移動して、給餌ゾーンを突き止めることができる。給餌器１３０は、例えば、目詰まり、給餌ホースのタイムシェアリング等に起因して、餌を不均一に送達する可能性があるため、センサー位置サブシステム１０４がセンサーサブシステム１０２をゆっくりと移動させ、前後に複数回通過させる必要がある場合がある。

【0065】

センサー位置サブシステム１０４は、センサーサブシステム１０２を安定して移動させ、露出時間を（例えば、カメラフレーム／単位距離で）測定することができる。例えば、センサーサブシステム１０２が１つのスポットで２倍の長さの時間を有する場合、センサー位置サブシステム１０４は、当該スポットで２倍の餌検出回数を観察することを期待することができる。

【0066】

センサーサブシステム１０２を移動させた結果、システム１００は、最大ピークを見つけるために使用され得る確率分布を取得することができ、この場合、最大ピークの場所は、摂食行動を観察するための、センサーサブシステム１０２の最適な初期位置に対応する。最大ピークに対応する場所に到達するとすぐに、パン角度を調整して、観察される餌の数を最大化することができる。例えば、２つのカメラシステムでは、パン角度を調整して、餌が確実に見えるようにトップカメラを併用して使用しながら、サイドカメラに観察される餌の量を最大化することができる。

【0067】

給餌プロセスが進行するにつれて、サイドステレオカメラ及びトップカメラの両方を併用しながら使用して、カメラが給餌ゾーン内に留まることを確実にすることができる。給餌器１３０が作動している間に（例えば、餌制御サブシステム１０６への接続に基づいて）、餌がある閾値時間の間観察されない場合、較正モードが開始され得、その場合、その較正モードは、給餌器定位モードと同様であるが、カメラは、移動して、より短い水平距離（例えば、±５メートル）を横断する。餌が較正モード中にセンサー位置サブシステム１０４によって見つけられないが、給餌器１３０が作動している場合、そのことは、給餌ホースが閉塞していることを示している可能性があり、センサー位置サブシステム１０４は、給餌ホースが閉塞しているという例外を提起することができる。

【0068】

図３Ｂは、上向きの視界を有するカメラの位置変化を例示する略図である。図に示すように、センサーサブシステム１０２は、上向きを指す視界を有するカメラを含み、センサー位置サブシステム１０４は、ウインチサブシステム１０８に命令して、センサーサブシステム１０２を家畜１２０に向かって右に移動させる。上向きを指す視界を有するカメラは、水平視界を有するカメラについて上述したアプローチと同様のアプローチで位置決めすることができる。

【0069】

図４は、給餌中のカメラの深さの変化を例示する略図である。いくつかの実施態様では、センサーサブシステム１０２は、水柱を垂直にスキャンするように移動させて、異なる深さの経時的なマップ、及びそれらの位置での摂食行動を生成することができる。センサーサブシステム１０２を移動させるためのいくつかの重点方法がある。

【0070】

１つのアプローチとしては、水柱の全深さ、例えば、６メートル～６０メートルまでを毎回スキャンすることであり得る。ただし、センサーサブシステムは、魚の行動に悪影響を与えないようにゆっくりと移動する必要があり得るため、上部から下部までのそれぞれのスキャンが、かなりの時間を要する可能性があるという欠点があり得る。観察が時間的並びに空間的である可能性があるため、全深さをスキャンすることは、活動を更新するのにより長い時間がかかる場合があり、このため、重要な領域に焦点を当てることにより、更新の頻度を更に高めることができる。

【0071】

図４は、摂食行動、例えば、ペレット及び魚の存在／不存在を使用して、センサーサブシステム１０２が給餌中に移動する範囲を制御する別のアプローチを例示している。このアプローチにより、水柱の適切な部分の、より頻度の高いスキャニングを可能にすることができる。例えば、センサー位置サブシステム１０４は、給餌が始まる直前の深さから、給餌が終わる直後の深さまで、継続的にスキャンすることができる。

【0072】

図４の下部左のグラフは、センサーサブシステム１０２の深さが、餌が消費されている深さに対応して、時間の経過とともにどのように変化するかを示している。上下する矢印は、センサーサブシステム１０２の深さを反映しており、この上下の矢印を横断して移動する矢印は、餌が消費されているのが終了する深さを反映している。図４に示すように、魚が満腹になり、そして短時間に摂食を止めたときに、摂食の深さは増加する。

【0073】

別のアプローチとしては、内部モデルでの不確実性を使用し、水柱の特定の部分を標的にしてデータを収集することであり、例えば、魚密度の低い領域は、魚密度の高い領域よりも適切ではない可能性があり、給餌ゾーンの下部の領域は、水柱の上部よりも、観察するのにより重要である場合がある。更に別のアプローチでは、システム１００は、摂食活動レベル及び摂食の不確実性の両方を表すモデルを保持することができる。カルマンフィルタに類似する更新モデルを使用して、給餌期間にわたる魚行動の典型的な変化、及び観察された摂食などの領域知識を組み込むことができる。この組み合わされたモデルは、観察された摂食の品質の断続的な質的低下に耐性があり得、この質的低下は、例えば、魚が通過するボートに怯えることによって引き起こされる場合がある。センサーサブシステム１０２の位置決めのためのアルゴリズムは、その組み合わされたモデルを使用して、現在の摂食深さの不確実性を低減することができる。

【0074】

図５は、過剰給餌の観察を示す略図である。例えば、センサーサブシステム１０２は、６０フィートの深さで囲い１１０の下部の下方に沈んでいる餌の画像を捕捉することができる。いくつかの実施態様では、システム１００は、過剰給餌を観察することによって、最大給餌割合を決定することができる。例えば、システム１００は、魚が過剰給餌されていないため、魚が過剰給餌されるまで、餌が与えられる割合を増やすことができると決定することができる。

【0075】

より詳細には、魚が時間の任意の時点で消費することができる餌の最大量を決定するために、システム１００は、最大量を超えて給餌し、次いで、餌がもはや消費されなくなるまで減らすことができる。最大餌許容割合は、例えば、給餌方法、例えば、最大割合の９０％の餌割合と結び付けることができる。最大餌許容割合を決定することは、餌の割合をある量、例えば、５％、１０％、２０％、又は他のある量だけ上げること、及び摂食が観察されている最低地点の下方６～９フィートにセンサーサブシステム１０２を位置決めすることによって、行うことができる。魚が新しい給餌割合で餌の全て又はほとんどを消費する場合、給餌ゾーンは、下向きに移動する可能性が高いことになるが、全ての餌が食べられることが観察されることになる。

【0076】

逆に、給餌量が多すぎる場合、餌は、消費されないことになり、囲い１１０の下部まで落下する可能性がある。餌が必ずしも全て消費されていない場合、センサー位置サブシステム１０４は、餌がもはや消費されなくなるまで、餌の割合をゆっくりと減らすことができる。複雑なシステムダイナミクスを伴う大規模な魚のセットがあると仮定すると、システム１００を変化に適合させるために、十分な時間、例えば、数十分にわたって観察が行われる必要があり得る。

【0077】

システム１００は、給餌の終了を検出するために、同様に使用することができる。給餌プロセスの終了は、ペレットが消費されておらず、かつ発生した消費が無駄な給餌を正当化するのに不十分である場合であり得る。例えば、センサー位置サブシステム１０４は、過去１分間に、３０ペレット未満しか消費されず、与えられた半分も消費されなかったと決定し、これに応答して、給餌を終了することができる。

【0078】

給餌を終了するための基準は、生物学的餌変換率（例えば、バイオマスの増加）、相対成長指数、経済的餌変換率（例えば、死亡数を含むバイオマスの増加）、環境要因（例えば、溶存酸素／温度）、及び前日の摂食に基づく予測食欲を含む、様々な測定項目の最適化に依存し得るが、これらに限定されない。センサー位置サブシステム１０４は、Ａ／Ｂ実験を用いた、これらの要因の最適化に基づいて、それらの基準を較正することができる。

【0079】

多数の実施態様が説明されてきた。それでもなお、本発明の趣旨及び範囲から逸脱することなく、様々な変更がなされてもよいことが理解されよう。例えば、上記に示す様々な形式のフローを使用して、工程を並べ替えたり、追加したり、又は削除してもよい。

【0080】

本明細書に記載された発明の実施形態、及び全ての機能的動作は、デジタル電子回路内に、若しくは本明細書に開示された構造体、及びそれらの構造上の等価物を含むコンピュータソフトウェア、ファームウェア、若しくはハードウェア内に、又はそれらのうちの１つ以上の組み合わせで、実装することができる。本発明の実施形態は、１つ以上のコンピュータプログラム製品、例えば、データ処理装置により実行するための、又はデータ処理装置の動作を制御するための、コンピュータ可読媒体上に符号化されたコンピュータプログラム命令のうちの１つ以上のモジュールとして、実施されてもよい。コンピュータ可読媒体は、機械可読ストレージデバイス、機械可読ストレージ基板、メモリデバイス、機械可読伝播信号に影響を及ぼす物質の組成物、又はこれらのうちの１つ以上の組み合わせであり得る。「データ処理装置」という用語は、データを処理するための全ての装置、デバイス、及び機械を包含し、それらには、例として、プログラマブルプロセッサ、コンピュータ、又は複数のプロセッサ若しくはコンピュータが含まれる。装置は、ハードウェアに加えて、当該のコンピュータプログラムのための実行環境を作り出すコード、例えば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、又はそれらのうちの１つ以上の組み合わせを構成するコードを含むことができる。伝播信号は、人工的に生成された信号、例えば、好適な受信機装置に伝送するための情報を符号化するように生成される、機械で生成された電気的、光学的、又は電気磁気的信号である。

【0081】

コンピュータプログラム（また、プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、又はコードとしても知られている）は、コンパイル型言語又はインタープリタ型言語を含む、任意の形式のプログラミング言語で記述することができ、独立型プログラムとして、又はモジュール、コンポーネント、サブルーティン、若しくはコンピューティング環境で使用するために好適な他のユニットとして含まれる任意の形式で展開することができる。コンピュータプログラムは、必ずしもファイルシステム内のファイルに対応する必要はない。プログラムは、他のプログラム又はデータを保持するファイルの一部（例えば、マークアップ言語文書に記憶された１つ以上のスクリプト）、当該のプログラム専用の単一ファイル、又は複数の調整ファイル（例えば、１つ以上のモジュール、サブプログラム、又はコードの一部を記憶するファイル）に記憶することができる。コンピュータプログラムは、１つのコンピュータ上で、又は１つのサイトに配置された、若しくは複数のサイトに分散され通信ネットワークによって相互接続された複数のコンピュータ上で、実行されるように配備することができる。

【0082】

本明細書で説明されるプロセス及びロジックフローは、入力データを処理して出力を生成することによって機能を実行するために、１つ以上のコンピュータプログラムを実行する１つ以上のプログラマブルプロセッサによって実行され得る。プロセス及びロジックフローはまた、専用論理回路、例えば、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）又はＡＳＩＣ（特定用途向け集積回路）によって実行されてもよく、装置もまた、そのようなものとして実施されてもよい。

【0083】

コンピュータプログラムの実行に好適なプロセッサには、例として、汎用及び専用マイクロプロセッサの両方、並びに任意の種類のデジタルコンピュータのうちの任意の１つ以上のプロセッサが含まれる。概して、プロセッサは、読み取り専用メモリ若しくはランダムアクセスメモリ、又はその両方から命令及び／又はデータを受信することになる。コンピュータの必須要素は、命令を実行するためのプロセッサ、並びに命令及びデータを格納するための１つ以上のメモリデバイスである。概して、コンピュータはまた、データを格納するための１つ以上の大容量ストレージデバイス、例えば、磁気ディスク、光磁気ディスク、若しくは光ディスクを含むか、又は大容量ストレージデバイスからデータを受信、若しくはデータを転送、若しくはその両方を行うように動作可能に結合される。しかしながら、コンピュータはこのようなデバイスを有する必要はない。更に、コンピュータは、別のデバイス、例えば、ごく一部ながら例を挙げると、タブレットコンピュータ、携帯電話、携帯情報端末（ＰＤＡ）、モバイルオーディオプレーヤ、全地球測位システム（ＧＰＳ）受信機に組み込まれてもよい。コンピュータプログラム命令及びデータを格納するための好適なコンピュータ可読媒体には、全ての形態の不揮発性メモリ、媒体、及びメモリデバイスが含まれ、例としては、例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭ、及びフラッシュメモリデバイスなどの半導体メモリデバイス、例えば内蔵ハードディスク又は取り外し可能ディスクなどの磁気ディスク、光磁気ディスク、並びにＣＤ ＲＯＭディスク及びＤＶＤ－ＲＯＭディスクが挙げられる。プロセッサ及びメモリは、専用論理回路によって補足されるか、又は専用論理回路に組み込まれ得る。

【0084】

ユーザとの対話を提供するために、本発明の実施形態は、コンピュータ上で実施されてもよく、当該コンピュータは、ユーザに情報を表示するための表示デバイス、例えば、ＣＲＴ（陰極線管）若しくはＬＣＤ（液晶ディスプレイ）モニタ、並びにユーザがコンピュータに入力を提供できるキーボード及びポインティングデバイス（例えば、マウス又はトラックボール）を有する。他の種類のデバイスを利用して、ユーザとの対話を提供することもでき、例えば、ユーザに提供されるフィードバックは、任意の形態の感覚的フィードバック（例えば、視覚的フィードバック、聴覚的フィードバック、又は触覚的フィードバック）であってもよく、ユーザからの入力は、音響、音声、又は触覚入力を含む任意の形態で受信することができる。

【0085】

本発明の実施形態は、バックエンドコンポーネント（例えば、データサーバとして）を含むか、又はミドルウェアコンポーネント（例えば、アプリケーションサーバ）を含むか、又はフロントエンドコンポーネント（例えば、ユーザが本発明の実施態様と対話することができるグラフィカルユーザインターフェース若しくはウェブブラウザを有するクライアントコンピュータ）を含む、コンピューティングシステム、又は１つ以上のそのようなバックエンド、ミドルウェア、又はフロントエンドコンポーネントの任意の組み合わせで実施されてもよい。システムのコンポーネントは、デジタルデータ通信の任意の形式又は媒体、例えば、通信ネットワークによって相互接続されてもよい。通信ネットワークとしては、例えば、ローカルエリアネットワーク（「ＬＡＮ」）及びワイドエリアネットワーク（「ＷＡＮ」）（例えば、インターネット）が挙げられる。

【0086】

コンピューティングシステムは、クライアントとサーバとを含むことができる。クライアントとサーバとは、一般に、互いに離れており、典型的には通信ネットワークを介して相互作用する。クライアントとサーバとの関係は、それぞれのコンピュータで実行され、かつ互いにクライアント－サーバ関係を有している、コンピュータプログラムによって生じる。

【0087】

本明細書は、多くの特定例を含んでいるが、これらは、本発明の、又は請求され得る事項の範囲に限定したものとして解釈されるべきではなく、むしろ本発明の特定の実施形態に対して特有の特徴の説明として解釈されるべきである。別々の実施形態の文脈で本明細書に記載された特定の特徴を、単一の実施形態で組み合わせて実施することもできる。逆に、単一の実施形態の文脈で本明細書に記載された様々な特徴を、複数の実施形態で別々に、又は任意の好適な副次的組み合わせで実施することもできる。また、特徴は、特定の組み合わせで作用するものとして上述され、及び当初はそのように特許請求されてもよいが、場合によっては、特許請求された組み合わせからの１つ以上の特徴を、その組み合わせから削除することができ、特許請求された組み合わせは、副次的組み合わせ又は副次的組み合わせの変形例を対象とすることができる。

【0088】

同様に、動作が特定の順序で図面に描写されているが、これは、所望の結果を達成するために、かかる動作がその示された特定の順序、若しくは一連の順序で実行されるべきであること、又は図示された全ての動作が実行されるべきであることを要求するものとして理解されるべきではない。特定の状況では、マルチタスク及び並列処理が有利な場合がある。更に、上述した実施形態における様々なシステムコンポーネントの分離は、全ての実施形態においてこのような分離を必要とするものと理解されるべきではなく、記載されたプログラムコンポーネント及びシステムは、一般に、単一のソフトウェア製品にまとめて一体化することができるか、又は複数のソフトウェア製品にパッケージ化することができる。

【0089】

本発明の特定の実施形態が説明された。他の実施形態は、以下の特許請求の範囲内に存在する。例えば、特許請求の範囲に記載された工程は、異なる順序で実行されてもよく、望ましい結果を依然として達成することができる。

【図1】

【図2】

【図3A】

【図3B】

【図4】

【図5】

【国際調査報告】