特許 7491527 対象物状態判定装置及び対象物状態管理システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-05-20

(45)【発行日】2024-05-28

(54)【発明の名称】対象物状態判定装置及び対象物状態管理システム

(51)【国際特許分類】

   G06T 7/90 20170101AFI20240521BHJP

   G06T 7/00 20170101ALI20240521BHJP

   H04N 7/18 20060101ALI20240521BHJP

   H04N 23/60 20230101ALI20240521BHJP

【ＦＩ】

G06T7/90 D

G06T7/00 300E

H04N7/18 K

H04N23/60 500

【請求項の数】 9

(21)【出願番号】P 2020088495

(22)【出願日】2020-05-20

(65)【公開番号】P2021184117

(43)【公開日】2021-12-02

【審査請求日】2023-03-20

(73)【特許権者】

【識別番号】593226995

【氏名又は名称】清木 康

(74)【代理人】

【識別番号】100109243

【弁理士】

【氏名又は名称】元井 成幸

(72)【発明者】

【氏名】清木 康

(72)【発明者】

【氏名】ペチポン チャワキチャレオン

【審査官】新井 則和

(56)【参考文献】

【文献】特開平０４－２３８２５２（ＪＰ，Ａ）

【文献】特開２００８－２５９６７６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／９０

Ｇ０６Ｔ ７／００

Ｈ０４Ｎ ７／１８

Ｈ０４Ｎ ２３／６０

(57)【特許請求の範囲】

【請求項1】

それぞれ異なる状態に対応する複数の状態対応色領域が表記され且つ上下左右の方向を有する色－状態対応図と、状態が判定される対象物の双方が、前記色－状態対応図の上下左右の方向を合わせ且つ前記対象物を基準領域に配して撮像されたカラーの対象画像の入力に応じて、
対象画素値算出部が、前記対象画像中の前記対象物の基準領域の画素値を算出し、
色領域画素値算出部が、記憶されている前記色－状態対応図の輪郭データと前記輪郭データ内における各状態に対応する前記状態対応色領域の位置データを用い、前記対象画像中の前記色－状態対応図及びその前記状態対応色領域を抽出し、抽出した前記対象画像中の各状態に対応する前記状態対応色領域の画素値を算出し、
状態判定部が、抽出した前記対象画像中の各状態に対応する前記状態対応色領域の画素値と、前記対象画像中の前記対象物の基準領域の画素値との相関度をそれぞれ算出し、記憶されている前記各状態に対応する前記状態対応色領域の位置データと対応する各状態の状態データを用い、前記対象物の状態を最も高い相関度の状態対応色領域の状態と判定することを特徴とする対象物状態判定装置。

【請求項2】

前記対象画素値算出部が、前記対象画像中の前記対象物の基準領域の全画素に対して画素値を算出し、算出した各画素値に対して画素の対象物内識別情報と対応させて各画素値を記憶部に格納し、
前記色領域画素値算出部が、抽出した前記対象画像中の各状態に対応する前記状態対応色領域の全画素に対して画素値を算出し、算出した各画素値に対して画素の色領域内識別情報と対応させて各画素値を記憶部に格納し、
前記状態判定部が、それぞれの前記色領域内識別情報の画素と対応する各画素値と、それぞれの前記対象物内識別情報の画素と対応する各画素値との相関度を総当たりで算出し、前記対象物の状態を最も高い相関度の対象物内識別情報の画素と色領域内識別情報の画素の組み合わせに対応する状態対応色領域の状態と判定することを特徴とする請求項１記載の対象物状態判定装置。

【請求項3】

前記対象画素値算出部が、前記対象画像中の前記対象物の基準領域の全画素に対して画素値を算出し、算出した各画素値に対して画素の対象物内識別情報と対応させて各画素値を記憶部に格納し、
前記色領域画素値算出部が、抽出した前記対象画像中の各状態に対応する前記状態対応色領域の全画素に対して画素値を算出し、算出した各画素値に対して画素の色領域内識別情報と対応させて各画素値を記憶部に格納し、
前記状態判定部が、状態対応色領域毎に、それぞれの前記色領域内識別情報の画素と対応する各画素値と、それぞれの前記対象物内識別情報の画素と対応する各画素値との相関度を総当たりで算出して、相関度の平均値を取得し、前記対象物の状態を相関度の平均値が最も高い状態対応色領域の状態と判定することを特徴とする請求項１記載の対象物状態判定装置。

【請求項4】

対象画素値算出部が、前記対象画像中の前記対象物の基準領域の代表画素の画素値若しくは前記基準領域内の各画素の画素値の平均画素値を算出し、
色領域画素値算出部が、記憶されている前記色－状態対応図の輪郭データと前記輪郭データ内における各状態に対応する前記状態対応色領域の位置データを用い、前記対象画像中の前記色－状態対応図及びその前記状態対応色領域を抽出し、抽出した前記対象画像中の各状態に対応する前記状態対応色領域の代表画素の画素値若しくは前記状態対応色領域内の各画素の画素値の平均画素値を算出し、
状態判定部が、抽出した前記対象画像中の各状態に対応する前記状態対応色領域の代表画素の画素値若しくは前記状態対応色領域内の各画素の画素値の平均画素値と、前記対象画像中の前記対象物の基準領域の代表画素の画素値若しくは前記基準領域内の各画素の画素値の平均画素値との相関度をそれぞれ算出し、前記対象物の状態を最も高い相関度の状態対応色領域の状態と判定することを特徴とする請求項１記載の対象物状態判定装置。

【請求項5】

前記色－状態対応図が上下左右の方向合わせの目印となる方向目印を有し、
前記色－状態対応図と前記対象物の双方が撮像されたカラーの対象画像の入力に応じて、
方向調整処理部が、記憶されている基準方向目印と前記対象画像の方向目印を照合し、前記基準方向目印と前記方向目印の方向が合致するか否かを判定し、前記基準方向目印と前記方向目印の方向が合致しない場合に、前記色－状態対応図の上下左右の方向を合わせることを促す出力をさせ、
前記基準方向目印と前記方向目印の方向が合致する場合に、前記対象画素値算出部と前記色領域画素値算出部が画素値を算出する処理を実行することを特徴とする請求項１～４の何れかに記載の対象物状態判定装置。

【請求項6】

前記カラーの対象画像を撮像するカメラが一体的に搭載されていることを特徴とする請求項１～５の何れかに記載の対象物状態判定装置。

【請求項7】

請求項１～６の何れかに記載の対象物状態判定装置と、管理サーバを備え、
前記対象物状態判定装置が、判定した前記対象物の状態の情報と前記対象物状態判定装置の位置情報若しくは前記対象物の位置情報を前記管理サーバに送信し、
前記管理サーバが、受信した前記対象物の状態の情報と前記位置情報と受信時刻を対応させて記憶部に格納し、記憶部に格納している地図データの前記位置情報に対応する位置に前記対象物の状態の情報に対応する対応情報を示して、出力部で表示する若しくは通信インターフェイスと通信回線を介してユーザー端末に提示する若しくはその双方を行うことを特徴とする対象物状態管理システム。

【請求項8】

前記管理サーバが、受信した複数の前記対象物の状態の情報と前記位置情報と受信時刻を対応させて記憶部に格納し、
前記管理サーバが、前記対象物の状態の情報、前記位置情報、前記受信時刻のうちの１つ若しくは複数の組み合わせの検索条件の入力に応じて、前記検索条件に該当する少なくとも前記対象物の状態の情報とこれと対応する前記位置情報を抽出し、前記地図データの抽出した前記位置情報に対応する位置に前記対象物の状態の情報に対応する対応情報を示して、出力部で表示する若しくは通信インターフェイスと通信回線を介してユーザー端末に提示する若しくはその双方を行うことを特徴とする請求項７記載の対象物状態管理システム。

【請求項9】

コンピュータを対象物状態判定装置として機能させる対象物状態判定プログラムであって、
前記コンピュータに、
色－状態対応図の輪郭データと、前記輪郭データ内における各状態に対応する状態対応色領域の位置データと、前記各状態に対応する前記状態対応色領域の位置データと対応する各状態の状態データを記憶させ、
それぞれ異なる状態に対応する複数の状態対応色領域が表記された色－状態対応図と、状態が判定される対象物の双方が、前記対象物を基準領域に配して撮像されたカラーの対象画像の入力に応じて、前記対象画像中の前記対象物の基準領域の画素値を算出させると共に、前記対象画像中の前記色－状態対応図及びその前記状態対応色領域を抽出させ、抽出した前記対象画像中の各状態に対応する前記状態対応色領域の画素値を算出させ、
抽出した前記対象画像中の各状態に対応する前記状態対応色領域の画素値と、前記対象画像中の前記対象物の基準領域の画素値との相関度をそれぞれ算出させ、
前記対象物の状態を最も高い相関度の状態対応色領域の状態と判定させることを特徴とする対象物状態判定プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像した対象物の状態を対象物の色に基づき判定する対象物状態判定装置及び対象物状態管理システムに関する。

【背景技術】

【0002】

従来、カメラで撮像した対象物の状態を対象物の色に基づき判定する装置として、特許文献１、２の装置がある。特許文献１の装置は、青果物に対応する標準色分布パターンの各単位画素の基準色値を予め記憶し、カメラで撮影した青果物のカラー画像の各単位画素の色値を記憶する対応各単位画素の基準色値と比較し、比較結果に応じて青果物の品質を検定するようになっている。

【0003】

また、特許文献２の装置は、外光の影響を除くために、被写体の画像を取得するカメラで光源部から光線を照射して取得した画像と光源部から光線を照射せずに取得した画像の２種類の画像を取得してこれらの画像の差分画像を生成し、差分画像の対象領域において設定した期待値に基づく閾値と比較し、被写体の色の変化の度合いを判定して顔色を判定するようになっている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開平４－２３８２５２号

【文献】特開２００８－２５９６７６号

【発明の概要】

【発明が解決しようとする課題】

【0005】

ところで、カメラで撮像した対象物の状態を対象物の色に基づき判定する処理では、カメラで撮像した対象物のカラー画像は太陽光や照明光のような外光の影響を受けるため、通常、外光の影響を除くようにキャリブレーション処理を行って比較する画素値を補正し、対象物の状態と対応する基準画素値と補正した画素値を対比し、補正した画素値に最も近い基準画素値に対応する対象物の状態として判定する処理を行っている。また、特許文献２では、外光の影響を除くために、外光以外の光線を人工的な光源部で被写体に照射し、光線照射の画像と非照射の画像の２種類の画像の差分画像を生成し、この差分画像による色の変化の度合いに基づき顔色を判定する処理を行っている。

【0006】

即ち、対象物の状態と対応する基準画素値と、カメラで撮像したカラー画像の画素値を対比する場合、外光の影響を除くための複雑なキャリブレーション処理が必要とされるか、又は、特許文献２のように、人工的な光源部で対象物に光線を照射して２種類の画像を取得し、更にこれらの差分画像を取得するという複雑な構造と処理を行うことが必要とされる。また、対象物の状態と対応する基準画素値と、カメラで撮像したカラー画像の画素値を対比する際に、外光の影響を除くキャリブレーション処理を行う場合、外光の影響を正確に取り除く処理は一般的に難しいため、キャリブレーション処理の誤差に起因する状態の判定ミスも懸念される。

【0007】

本発明は上記課題に鑑み提案するものであり、外光のような配光条件を撮像画像から取り除く複雑なキャリブレーション処理の必要が無く、キャリブレーション処理の誤差に起因する状態の判定ミスを無くすことができる対象物状態判定装置及び対象物状態管理システムを提供することを目的とする。

【課題を解決するための手段】

【0008】

本発明の対象物状態判定装置は、それぞれ異なる状態に対応する複数の状態対応色領域が表記され且つ上下左右の方向を有する色－状態対応図と、状態が判定される対象物の双方が、前記色－状態対応図の上下左右の方向を合わせ且つ前記対象物を基準領域に配して撮像されたカラーの対象画像の入力に応じて、対象画素値算出部が、前記対象画像中の前記対象物の基準領域の画素値を算出し、色領域画素値算出部が、記憶されている前記色－状態対応図の輪郭データと前記輪郭データ内における各状態に対応する前記状態対応色領域の位置データを用い、前記対象画像中の前記色－状態対応図及びその前記状態対応色領域を抽出し、抽出した前記対象画像中の各状態に対応する前記状態対応色領域の画素値を算出し、状態判定部が、抽出した前記対象画像中の各状態に対応する前記状態対応色領域の画素値と、前記対象画像中の前記対象物の基準領域の画素値との相関度をそれぞれ算出し、記憶されている前記各状態に対応する前記状態対応色領域の位置データと対応する各状態の状態データを用い、前記対象物の状態を最も高い相関度の状態対応色領域の状態と判定することを特徴とする。
これによれば、異なる状態に対応する複数の状態対応色領域が表記された色－状態対応図と状態が判定される対象物の双方が同一の画像内に撮像されたカラー対象画像に基づき、例えばサンゴの健全～白化の状態など対象物の健全度等の状態を判定することから、外光のような配光条件を撮像画像から取り除く複雑なキャリブレーション処理の必要が無く、撮像した対象物の状態を判定することができる。また、キャリブレーション処理が不要であることから、キャリブレーション処理の誤差に起因する状態の判定ミスを無くすことができ、撮像した対象物の状態を正確に判定することができる。また、異なる状態に対応する複数の状態対応色領域が表記された色－状態対応図を使用可能な適宜の対象物に適用することが可能であり、多様な対象物に対する健全度等の状態を判定することができる。また、例えば防水ケースにスマートフォン等の対象物状態判定装置を収容してカメラで海中のサンゴ等の対象画像を撮像する場合等にも、色－状態対応図と状態が判定される対象物の双方が一緒に撮像されたカラーの対象画像を基礎に状態を判定することから、色－状態対応図と対象物を別に撮像した場合等のような配光条件の相違に影響されることなく、正確な状態判定を行うことが可能である。また、各状態の状態データは、例えば状態対応色領域のカラーの基準画素値のデータのような色値データと直接の対応付けはされずに記憶され、状態対応色領域の位置データと対応付けして記憶されているだけであるから、異なる状態に対応する複数の状態対応色領域が表記された色－状態対応図の色領域の色と、格納する各状態の状態データを変更することにより、異種の対象物の状態判定を同一の装置構成で行うことができ、柔軟性、汎用性に非常に優れる。

【0009】

本発明の対象物状態判定装置は、前記対象画素値算出部が、前記対象画像中の前記対象物の基準領域の全画素に対して画素値を算出し、算出した各画素値に対して画素の対象物内識別情報と対応させて各画素値を記憶部に格納し、前記色領域画素値算出部が、抽出した前記対象画像中の各状態に対応する前記状態対応色領域の全画素に対して画素値を算出し、算出した各画素値に対して画素の色領域内識別情報と対応させて各画素値を記憶部に格納し、前記状態判定部が、それぞれの前記色領域内識別情報の画素と対応する各画素値と、それぞれの前記対象物内識別情報の画素と対応する各画素値との相関度を総当たりで算出し、前記対象物の状態を最も高い相関度の対象物内識別情報の画素と色領域内識別情報の画素の組み合わせに対応する状態対応色領域の状態と判定することを特徴とする。
これによれば、状態判定部が、それぞれの色領域内識別情報の画素と対応する各画素値と、それぞれの対象物内識別情報の画素と対応する各画素値との相関度を総当たりで算出し、対象物の状態を最も高い相関度の対象物内識別情報の画素と色領域内識別情報の画素の組み合わせに対応する状態対応色領域の状態と判定することにより、撮像した対象物の状態をより正確且つ確実に判定することができる。

【0010】

本発明の対象物状態判定装置は、前記対象画素値算出部が、前記対象画像中の前記対象物の基準領域の全画素に対して画素値を算出し、算出した各画素値に対して画素の対象物内識別情報と対応させて各画素値を記憶部に格納し、前記色領域画素値算出部が、抽出した前記対象画像中の各状態に対応する前記状態対応色領域の全画素に対して画素値を算出し、算出した各画素値に対して画素の色領域内識別情報と対応させて各画素値を記憶部に格納し、前記状態判定部が、状態対応色領域毎に、それぞれの前記色領域内識別情報の画素と対応する各画素値と、それぞれの前記対象物内識別情報の画素と対応する各画素値との相関度を総当たりで算出して、相関度の平均値を取得し、前記対象物の状態を相関度の平均値が最も高い状態対応色領域の状態と判定することを特徴とする。
これによれば、状態判定部が、状態対応色領域毎に、それぞれの色領域内識別情報の画素と対応する各画素値と、それぞれの対象物内識別情報の画素と対応する各画素値との相関度を総当たりで算出して、相関度の平均値を取得し、対象物の状態を相関度の平均値が最も高い状態対応色領域の状態と判定することにより、撮像した対象物の状態をより正確且つ確実に判定することができる。

【0011】

本発明の対象物状態判定装置は、対象画素値算出部が、前記対象画像中の前記対象物の基準領域の代表画素の画素値若しくは前記基準領域内の各画素の画素値の平均画素値を算出し、色領域画素値算出部が、記憶されている前記色－状態対応図の輪郭データと前記輪郭データ内における各状態に対応する前記状態対応色領域の位置データを用い、前記対象画像中の前記色－状態対応図及びその前記状態対応色領域を抽出し、抽出した前記対象画像中の各状態に対応する前記状態対応色領域の代表画素の画素値若しくは前記状態対応色領域内の各画素の画素値の平均画素値を算出し、状態判定部が、抽出した前記対象画像中の各状態に対応する前記状態対応色領域の代表画素の画素値若しくは前記状態対応色領域内の各画素の画素値の平均画素値と、前記対象画像中の前記対象物の基準領域の代表画素の画素値若しくは前記基準領域内の各画素の画素値の平均画素値との相関度をそれぞれ算出し、前記対象物の状態を最も高い相関度の状態対応色領域の状態と判定することを特徴とする。
これによれば、状態判定部が、抽出した対象画像中の各状態に対応する状態対応色領域の代表画素の画素値若しくは状態対応色領域内の各画素の画素値の平均画素値と、対象画像中の対象物の基準領域の代表画素の画素値若しくは基準領域内の各画素の画素値の平均画素値との相関度をそれぞれ算出し、対象物の状態を最も高い相関度の状態対応色領域の状態と判定することにより、より簡単な処理で撮像した対象物の状態を判定することができ、対象物状態判定装置の判定処理に要する演算処理量、ハードウェア資源を低減することができる。

【0012】

本発明の対象物状態判定装置は、前記色－状態対応図が上下左右の方向合わせの目印となる方向目印を有し、前記色－状態対応図と前記対象物の双方が撮像されたカラーの対象画像の入力に応じて、方向調整処理部が、記憶されている基準方向目印と前記対象画像の方向目印を照合し、前記基準方向目印と前記方向目印の方向が合致するか否かを判定し、前記基準方向目印と前記方向目印の方向が合致しない場合に、前記色－状態対応図の上下左右の方向を合わせることを促す出力をさせ、前記基準方向目印と前記方向目印の方向が合致する場合に、前記対象画素値算出部と前記色領域画素値算出部が画素値を算出する処理を実行することを特徴とする。
これによれば、基準方向目印と方向目印の照合により、色－状態対応図の上下左右の方向を確実に合わせることができ、色－状態対応図の上下左右の方向が合っていない状態での画素値の算出等の誤処理を無くすことができる。また、色－状態対応図の上下左右の方向を合わせることを促す出力、例えば色－状態対応図の上下左右の方向が合っていない旨の警告、再度の画像入力の促しのメッセージ等の表示により、対象画像の撮像を行う操作者に対して、色－状態対応図の上下左右の方向を合わせることへの注意喚起を行うことができ、方向性を有する色－状態対応図の使用の仕方への啓発を行うことができる。

【0013】

本発明の対象物状態判定装置は、前記カラーの対象画像を撮像するカメラが一体的に搭載されていることを特徴とする。
これによれば、対象物状態判定装置の操作者は、一体的な対象物状態判定装置に対する操作のみで、対象画像のカメラでの撮像、対象物の状態の判定に対応する入力を行うことができ、操作者の操作性、利便性を高めることができる。また、対象物状態判定装置の操作者は、その場で視認している対象物の状態の判定結果をリアルタイムで認識することができる。

【0014】

本発明の対象物状態管理システムは、本発明の対象物状態判定装置と、管理サーバを備え、前記対象物状態判定装置が、判定した前記対象物の状態の情報と前記対象物状態判定装置の位置情報若しくは前記対象物の位置情報を前記管理サーバに送信し、前記管理サーバが、受信した前記対象物の状態の情報と前記位置情報と受信時刻を対応させて記憶部に格納し、記憶部に格納している地図データの前記位置情報に対応する位置に前記対象物の状態の情報に対応する対応情報を示して、出力部で表示する若しくは通信インターフェイスと通信回線を介してユーザー端末に提示する若しくはその双方を行うことを特徴とする。
これによれば、管理サーバにおいて、例えばサンゴ礁等のような対象物の位置毎の状態をデータベース化して蓄積することができると共に、地図上の位置に対応して対象物の状態を示し、地図領域内の対象物の場所ごとの状態を高い一覧性で利用者に認識させることができる。また、管理サーバは、対象物の状態の情報を示す画像の収集および収集した画像の処理を能動的に行う必要がなく、世界中等の広域な領域からサンゴの健康状態等の対象物の状態の情報を獲得することができ、少ない処理能力で対象物の位置毎の状態をデータベース化して蓄積することができる。また、世界規模での大局的なサンゴの健全性の状態の表示など、地図データの広域な領域における対象物の状態の情報の大局的な表示、提示を行うことができる。

【0015】

本発明の対象物状態管理システムは、前記管理サーバが、受信した複数の前記対象物の状態の情報と前記位置情報と受信時刻を対応させて記憶部に格納し、前記管理サーバが、前記対象物の状態の情報、前記位置情報、前記受信時刻のうちの１つ若しくは複数の組み合わせの検索条件の入力に応じて、前記検索条件に該当する少なくとも前記対象物の状態の情報とこれと対応する前記位置情報を抽出し、前記地図データの抽出した前記位置情報に対応する位置に前記対象物の状態の情報に対応する対応情報を示して、出力部で表示する若しくは通信インターフェイスと通信回線を介してユーザー端末に提示する若しくはその双方を行うことを特徴とする。
これによれば、対象物の状態の情報、位置情報、受信時刻を検索条件とし、検索条件を充足するものだけの対象物の状態の情報の分布を表示、提示することにより、利用者が、時間的な条件や地理的な条件に対応する対象物間での状態の情報の比較・分析を行うことができる。

【0016】

本発明の対象物状態判定プログラムは、コンピュータを対象物状態判定装置として機能させる対象物状態判定プログラムであって、前記コンピュータに、前記色－状態対応図の輪郭データと、前記輪郭データ内における各状態に対応する前記状態対応色領域の位置データと、前記各状態に対応する前記状態対応色領域の位置データと対応する各状態の状態データを記憶させ、それぞれ異なる状態に対応する複数の状態対応色領域が表記された色－状態対応図と、状態が判定される対象物の双方が、前記対象物を基準領域に配して撮像されたカラーの対象画像の入力に応じて、前記対象画像中の前記対象物の基準領域の画素値を算出させると共に、前記対象画像中の前記色－状態対応図及びその前記状態対応色領域を抽出させ、抽出した前記対象画像中の各状態に対応する前記状態対応色領域の画素値を算出させ、抽出した前記対象画像中の各状態に対応する前記状態対応色領域の画素値と、前記対象画像中の前記対象物の基準領域の画素値との相関度をそれぞれ算出させ、前記対象物の状態を最も高い相関度の状態対応色領域の状態と判定させることを特徴とする。
これによれば、異なる状態に対応する複数の状態対応色領域が表記された色－状態対応図と状態が判定される対象物の双方が同一の画像内に撮像されたカラー対象画像に基づき、例えばサンゴの健全～白化の状態など対象物の健全度等の状態を判定することから、外光のような配光条件を撮像画像から取り除く複雑なキャリブレーション処理の必要が無く、撮像した対象物の状態を判定することができる。また、キャリブレーション処理が不要であることから、キャリブレーション処理の誤差に起因する状態の判定ミスを無くすことができ、撮像した対象物の状態を正確に判定することができる。また、異なる状態に対応する複数の状態対応色領域が表記された色－状態対応図を使用可能な適宜の対象物に適用することが可能であり、多様な対象物に対する健全度等の状態を判定することができる。また、各状態の状態データは、例えば状態対応色領域のカラーの基準画素値のデータのような色値データと直接の対応付けはされずに記憶され、状態対応色領域の位置データと対応付けして記憶されているだけであるから、異なる状態に対応する複数の状態対応色領域が表記された色－状態対応図の色領域の色と、格納する各状態の状態データを変更することにより、異種の対象物の状態判定を同一の構成で行うことができ、柔軟性、汎用性に非常に優れる。

【発明の効果】

【0017】

本発明によれば、外光のような配光条件を撮像画像から取り除く複雑なキャリブレーション処理の必要が無く、撮像した対象物の状態を判定することができ、キャリブレーション処理の誤差に起因する状態の判定ミスを無くすことができる。

【図面の簡単な説明】

【0018】

【図1】本発明による実施形態の対象物状態判定装置の構成を示すブロック図。

【図2】本発明による実施形態の対象物状態管理システムの構成を示すブロック図。

【図3】実施形態における対象物状態判定・管理処理の第１例を示すフローチャート。

【図4】対象物と色－状態対応図が一緒に撮像された対象画像の例を示す模式説明図。

【図5】（ａ）は基準領域の画素と対象物内識別情報を説明する説明図、（ｂ）は状態対応色領域の画素と色領域内識別情報を説明する説明図。

【図6】地図データの対応する位置に示す対象物の状態の対応情報を示す画面例の模式図。

【図7】実施形態における対象物状態判定・管理処理の第２例を示すフローチャート。

【図8】変形例の対象物状態判定・管理処理を示すフローチャート。

【図9】実施形態の変形例の対象物状態判定装置の構成を示すブロック図。

【図10】対象物と変形例の色－状態対応図が一緒に撮像された対象画像の例を示す模式説明図。

【図11】実施形態の変形例の対象物状態判定装置の処理例を示すフローチャート。

【図12】実施形態の変形例の管理サーバの処理例を示すフローチャート。

【発明を実施するための形態】

【0019】

〔実施形態の対象物状態判定装置及び対象物状態管理システム〕
本発明による実施形態の対象物状態判定装置１は、例えばスマートフォン等の携帯情報端末、ノート型パソコン、防水ケースに収容された携帯情報端末、或いは防水性を備える専用機器等で構成され、図１及び図２に示すように、ＭＰＵ、ＣＰＵ等の演算制御部２と、フラッシュメモリ、ＥＥＰＲＯＭ、ＲＯＭ、ＲＡＭ、ＨＤＤ等で構成される記憶部３と、タッチパネル、マウス、キーボード等の入力部４と、ディスプレイ、入力部４と兼用のタッチパネルディスプレイ等の出力部５と、カラー画像を撮像するカメラ６と、対象物状態判定装置１の位置情報を取得するＧＰＳセンサ７と、通信回線１００を介して管理サーバ１１に所定データを送信する通信インターフェイス８を備える。尚、本実施形態の対象物状態判定装置１は、カラー画像を撮像するカメラ６が一体的に搭載された端末、機器等とするが、カラー画像を撮像する別体のカメラが対象物状態判定装置１に有線又は無線で接続され、対象物状態判定装置１に別体のカメラが撮像した画像が入力される構成としてもよく、又、対象物状態判定装置１に別体のカメラが撮像した画像が入力されると共に、対象物状態判定装置１に一体的に搭載されたカメラからも撮像画像が入力される構成としてもよい。

【0020】

記憶部３は、演算制御部２に所定処理を実行させる所定の制御プログラムを制御プログラム記憶部３１に記憶しており、制御プログラムの一つとして対象物状態判定プログラムを対象物状態判定プログラム記憶部３１１に記憶している。演算制御部２は、格納された対象物状態判定プログラムと協働し、所定の対象物状態判定処理を実行する。

【0021】

記憶部３は、それぞれ異なる状態に対応する複数の状態対応色領域ＣＡが表記され且つ上下左右の方向を有するコーラルチャート等の色－状態対応図ＣＦの輪郭データを格納する色－状態対応図輪郭データ記憶部３２を有する。色－状態対応図輪郭データ記憶部３２に格納される輪郭データは、色－状態対応図ＣＦの正面視の形状に対応する適宜の形状の輪郭データとすることが可能であり、例えばコーラルチャート等の正方形の形状、長方形の形状、六角形等の四角形以外の多角形の形状、楕円形の形状、円形の形状、半円形若しくは半楕円形の形状、直線状や弧状の帯状の形状等とすることが可能である。また、色－状態対応図輪郭データ記憶部３２に格納される輪郭データは、一種又は複数種とすることが可能であり、複数種の輪郭データを格納する場合には、これに応じて、後述する状態対応色領域の位置データと状態データも各種の輪郭データにそれぞれ対応させて記憶部３に格納する。

【0022】

記憶部３は、格納された色－状態対応図ＣＦの輪郭データ内における各状態に対応する状態対応色領域ＣＡの位置データを格納する状態対応色領域位置データ記憶部３３を有する。状態対応色領域位置データ記憶部３３に格納される位置データには、輪郭データ内の色領域を特定可能な適宜の位置データを設定することが可能であり、例えば輪郭データに対するＸＹ座標の原点を輪郭データ内或いは輪郭データの外に設定し、この原点に基づき輪郭データの範囲を含む所定の最大値を有するＸ座標と所定の最大値を有するＹ座標を設定し、Ｘ座標とＹ座標の組み合わせ群の範囲を特定の状態対応色領域の位置データとして設定する構成、或いは矩形の輪郭データの縦辺と横辺をそれぞれ０～１００％で規定し、例えば縦辺の１０～２０％と横辺の２０～３０％の範囲を特定の状態対応色領域の位置データとして設定する構成、或いは、円形、半円形、弧状で帯状の輪郭データに対して中心点を輪郭データの中心若しくは半円形や弧状の中心に設定し、例えば１０度～２０度に含まれ且つ原点からの距離が所定長さ範囲以内の範囲を特定の状態対応色領域ＣＡの位置データとして設定する構成等とすることが可能である。

【0023】

記憶部３は、格納された各状態に対応する状態対応色領域の位置データと対応する対象物の各状態の状態データを格納する状態データ記憶部３４を有する。状態データ記憶部３４には、それぞれの状態対応色領域の位置データと対応させて例えば健全、やや健全性に劣る、健全性が低下している、不健全等の健全性の状態、鮮度の状態、生育性の状態等の適用可能な適宜の状態データを格納することが可能である。

【0024】

更に、記憶部３は、基準領域画素値記憶部３５、状態対応色領域画素値記憶部３６、状態判定結果記憶部３７を有する。基準領域画素値記憶部３５には、対象画像中の対象物ＯＢの基準領域ＲＡの全画素６１に対して算出された画素値が、各画素６１の対象物内識別情報OB1-1、OB1-2、OB1-3、…、OB2-2、…、OB3-3等とそれぞれ対応させられてテーブル形式等で格納される（図４、図５（ａ）参照）。

【0025】

状態対応色領域画素値記憶部３６には、対象画像中の色－状態対応図ＣＦの各状態に対応する状態対応色領域ＣＡの全画素６２に対して算出された画素値が、各画素６２の色領域内識別情報CA1 1-1、CA1 1-2、…、CA1 2-2、…、CA1 3-3（状態対応色領域ＣＡ１に対応）や色領域内識別情報CA2 1-1、CA2 1-2、…、CA2 2-2、…、CA2 3-3（状態対応色領域ＣＡ２に対応）と対応させられてテーブル形式等で格納される（図４、図５（ｂ）参照）。また、色－状態対応図ＣＦの各状態に対応する状態対応色領域ＣＡには、同属異種の対象に対して、複数種の各種の対象に対する各状態に対応する状態対応色領域ＣＡを設けても良好であり、例えば図４の上辺左端から右側に向かって６個を赤色系種の同属対象に対する各状態の状態対応色領域ＣＡ１（Ｕ）～ＣＡ６（Ｕ）、上辺右端から下側に向かって６個を黄色系種の同属対象に対する各状態の状態対応色領域ＣＡ１（Ｒ）～ＣＡ６（Ｒ）、下辺右端から左側に向かって６個を緑色系種の同属対象に対する各状態の状態対応色領域ＣＡ１（Ｄ）～ＣＡ６（Ｄ）、下辺左端から上側に向かって６個を青色系種の同属対象に対する各状態の状態対応色領域ＣＡ１（Ｌ）～ＣＡ６（ＤＬ）のようにしてもよい。また、色－状態対応図ＣＦがサンゴのコーラルチャートとする場合、色－状態対応図ＣＦの各状態に対応する状態対応色領域ＣＡ（ＣＡ１、ＣＡ２、ＣＡ３、…）はサンゴの健全度のレベルを表し、例えば所定種のサンゴの健全度のレベルをＣＡ１（Ｕ）：白化）、ＣＡ２（Ｕ）：危険、ＣＡ３（Ｕ）：準危険、ＣＡ４（Ｕ）：中健全、ＣＡ５（Ｕ）：準健全、ＣＡ６（Ｕ）：健全、のように健全度のレベルを示す。本実施形態の対象物状態判定装置１では、この色－状態対応図ＣＦを用いて対象の健全度等の状態を言語化して認識、出力することが可能である。

【0026】

状態判定結果記憶部３７には、対象物状態判定処理の結果として、対象物ＯＢの状態と最も高い相関度の状態対応色領域ＣＡの状態と、最も高い相関度の状態対応色領域ＣＡの状態と判定した時点或いはカメラ６で撮像された対象画像を認識した時点等の状態判定処理中の所定時点の対象物状態判定装置１の位置情報が対応させられ、或いはこれらの対象物ＯＢの状態と最も高い相関度の状態対応色領域ＣＡの状態と位置情報に対象物ＯＢの対象画像が対応させられ、判定順等の識別情報を付したテーブル形式等で格納される。

【0027】

演算制御部２は、対象物状態判定プログラムと協働し、対象画素値算出部２１、色領域画素値算出部２２、状態判定部２３、判定結果送信部２４としてそれぞれ所定の処理を実行する。対象画素値算出部２１は、対象物状態判定装置１の出力部５に表示されるカラーの対象画像中の対象物ＯＢの基準領域ＲＡを認識し、基準領域ＲＡの全画素６１に対してそれぞれカラーの画素値を算出し、算出した各画素値に対して画素６１の対象物内識別情報OB1-1、OB1-2、OB1-3、…、OB2-2、…、OB3-3等と対応させて各画素値を基準領域画素値記憶部３５に格納する。ここで、基準領域ＲＡの位置と認識の仕方は適宜であり、例えばカラーの対象画像の中心位置の付近の領域を対象画像の縦辺の１００分率で４８～５２％等の所定比率範囲と横辺の１００分率で４８～５２％の所定比率範囲を設定範囲として認識し、この認識した領域を基準領域ＲＡとして認識する、或いは画像の解像度毎等に設定された中心位置付近に配置される複数個の画素で構成される領域を基準領域ＲＡとして設定しておき、この領域に対応する対象画像中の領域を基準領域ＲＡとして認識する等とすることが可能である。また、各画素６１に対して算出するカラーの画素値は、ＲＧＢ値又はＨＳＶ値など適宜のものを適用することが可能である。

【0028】

色領域画素値算出部２２は、色－状態対応図輪郭データ記憶部３２に記憶されている色－状態対応図ＣＦの輪郭データと、状態対応色領域位置データ記憶部３３に記憶されている色－状態対応図ＣＦの輪郭データ内における各状態に対応する各状態対応色領域ＣＡの位置データを用い、対象画像中の色－状態対応図ＣＦ及びその状態対応色領域ＣＡ１、ＣＡ２、…を抽出し、抽出した対象画像中の各状態に対応する状態対応色領域ＣＡ１、ＣＡ２、…の全画素６２に対してそれぞれカラーの画素値を算出し、算出した各画素値に対して画素６２の色領域内識別情報CA1 1-1、CA1 1-2、…、CA1 2-2、…、CA1 3-3、CA2 1-1、CA2 1-2、…、CA2 2-2、…、CA2 3-3等と対応させて各画素値を状態対応色領域画素値記憶部３６に格納する。各画素６２に対して算出するカラーの画素値は、例えば画素６１のカラーの画素値に対応させ、ＲＧＢ値又はＨＳＶ値など適宜のものを適用することが可能である。

【0029】

状態判定部２３は、抽出した対象画像中の各状態に対応する状態対応色領域ＣＡ１、ＣＡ２、…のそれぞれの色領域内識別情報CA1 1-1、CA1 1-2、…、CA1 2-2、…、CA1 3-3、CA2 1-1、CA2 1-2、…、CA2 2-2、…、CA2 3-3等の画素６２と対応する各画素値と、対象画像中の対象物ＯＢの基準領域ＲＡのそれぞれの対象物内識別情報OB1-1、OB1-2、OB1-3、…、OB2-2、…、OB3-3等の画素６１と対応する各画素値との相関度を総当たりで算出し、最も高い相関度の対象物内識別情報の画素６１と色領域内識別情報の画素６２の組み合わせに対応する当該色領域内識別情報に対応する状態対応色領域ＣＡを特定し、状態データ記憶部３４に記憶されている各状態に対応する状態対応色領域ＣＡ１、ＣＡ２、…の位置データと対応する対象物ＯＢの各状態の状態データを用い、特定した状態対応色領域ＣＡに対応する健全度等の状態として対象物ＯＢの状態を判定する。更に、状態判定部２３は、対象物状態判定処理の結果として、対象物ＯＢの状態と最も高い相関度が高く対象物ＯＢの状態と判定された状態対応色領域ＣＡの状態の情報と、最も高い相関度の状態対応色領域ＣＡの状態を判定した時点或いはカメラ６で撮像された対象画像を演算制御部２が認識した時点等の状態判定処理中の所定時点の対象物状態判定装置１の位置情報をＧＰＳセンサ７で取得して対応させ、或いはこれらの状態対応色領域ＣＡの状態と位置情報に対象物ＯＢの対象画像を更に対応させ、状態判定結果記憶部３７に格納する。尚、位置情報として、対象物状態判定装置１の位置情報に代えて、対象物判定装置１に入力等される対象物の位置情報を用いてもよい。

【0030】

判定結果送信部２４は、状態判定部２３の判定処理で取得した対象物ＯＢの状態と最も高い相関度が高く対象物ＯＢの状態と判定された状態対応色領域ＣＡの状態の情報、換言すれば判定した対象物ＯＢの状態の情報と、状態判定処理中の所定時点の対象物状態判定装置１の位置情報、更に必要に応じて、対象物ＯＢの対象画像等の所定データを加え、通信インターフェイス８を介して管理サーバ１１に送信する。

【0031】

対象物状態判定装置１と共に対象物状態管理システムを構成する管理サーバ１１は、図２に示すように、ＭＰＵ、ＣＰＵ等の演算制御部１２と、ＲＯＭ、ＲＡＭ、ＨＤＤ等で構成される記憶部１３と、マウス、キーボード、タッチパネル等の入力部１４と、ディスプレイ、プリンター等の出力部１５と、タイマー１６と、通信回線１００を介して対象物状態判定装置１やユーザー端末１０１と通信する通信インターフェイス１７を備える。

【0032】

管理サーバ１１の記憶部１３は、演算制御部１２に所定処理を実行させる所定の制御プログラムを制御プログラム記憶部１３１に記憶しており、制御プログラムの一つとして対象物状態管理プログラムを対象物状態管理プログラム記憶部１３１１に記憶している。演算制御部１２は、格納された対象物状態管理プログラムと協働し、所定の対象物状態管理処理を実行する。

【0033】

記憶部１３は、地図データを格納する地図データ記憶部１３２と、対象物状態情報記憶部１３３を有する。対象物状態情報記憶部１３３には、対象物状態判定装置１から受信した対象物ＯＢの状態の情報と、状態判定処理中の所定時点の対象物状態判定装置１の位置情報と、必要に応じて加えられた対象物ＯＢの対象画像等の所定データと、タイマー１６によって認識したこれらのデータの受信時刻が対応させられ、格納順等の識別情報を付したテーブル形式等で格納される。

【0034】

演算制御部１２は、対象物状態管理プログラムと協働し、対象物状態情報処理部１２１として所定の処理を実行する。対象物状態情報処理部１２１は、対象物状態判定装置１から受信した対象物ＯＢの状態の情報と、状態判定処理中の所定時点の対象物状態判定装置１の位置情報と、必要に応じて加えられた対象物ＯＢの対象画像等の所定データを、タイマー１６によって認識したこれらのデータの受信時刻と対応させ、対象物状態情報記憶部１３３に格納する。複数或いは多数の対象物状態判定装置１から送信される対象物状態情報記憶部１３３に格納される対象物ＯＢの状態の情報、位置情報等のデータは、対象物状態情報記憶部１３３に蓄積され、地図データ記憶部１３３の地図データと連携するようにデータベース化される。

【0035】

また、対象物状態情報処理部１２１は、入力部１４からの表示入力に応じて、地図データ記憶部１３２に格納された地図データと、対象物状態情報記憶部１３３に格納された対象物ＯＢの状態の情報及びこれに対応する対象物状態判定装置１の位置情報を用い、地図データの位置情報に対応する位置に対象物ＯＢの状態の情報に対応する対応情報、例えば当該位置情報のサンゴ等の対象物の健全度のレベル情報を示して、出力部１５のディスプレイで表示する。

【0036】

更に、対象物状態情報処理部１２１は、通信回線１００を介して接続されるパーソナルコンピュータ或いはスマートフォン等のユーザー端末１０１やスマートフォン等の対象物状態判定装置１からの提示要求の受信に応じて、地図データ記憶部１３２に格納された地図データと、対象物状態情報記憶部１３３に格納された対象物ＯＢの状態の情報及びこれに対応する対象物状態判定装置１の位置情報を用い、地図データの位置情報に対応する位置に対象物ＯＢの状態の情報に対応する対応情報、例えば当該位置情報のサンゴ等の対象物の健全度のレベル情報を示して、通信インターフェイス１７と通信回線１００を介してユーザー端末１０１や対象物状態判定装置１に提示する。尚、本発明における管理サーバから対応情報が示されるユーザー端末には、ユーザー端末１０１とスマートフォン等の対象物状態判定装置１の双方が含まれる。

【0037】

次に、本実施形態の対象物状態判定装置１及び対象物状態管理システムで実行される対象物状態判定・管理処理の第１例について説明する（図３参照）。先ず、対象物状態判定装置１の操作者が、対象物ＯＢを基準領域ＲＡに配して対象物ＯＢと色－状態対応図ＣＦを一緒にカメラ６で撮像して、カラーの対象画像を取得し、対象物状態判定装置１に対象画像を入力する（Ｓ１１）。ここで色－状態対応図ＣＦは、コーラルチャート等のそれぞれ異なる状態に対応する複数の状態対応色領域が表記され且つ上下左右の方向を有するものであり、コーラルチャート以外にも本発明の趣旨の範囲内で適宜のものとすることが可能である。そして、対象物ＯＢと色－状態対応図ＣＦを一緒にカメラ６で撮像する際には、色－状態対応図ＣＦの上下左右の方向を対象物状態判定装置１の上下左右の方向に合わせ、且つ対象物ＯＢを基準領域ＲＡに配し、色－状態対応図ＣＦが基準領域ＲＡに重ならないようにして対象物ＯＢと色－状態対応図ＣＦを一緒に撮像し、このように撮像されたカラーの対象画像が対象物状態判定装置１に入力される。

【0038】

対象物状態判定装置１の対象画素値算出部２１は、上述のようにカメラ６で撮像されたカラーの対象画像の入力に応じて、対象画像中の対象物ＯＢの基準領域ＲＡの全画素６１のカラーの画素値を算出し、各画素６１の対象物内識別情報OB1-1、OB1-2、OB1-3、…、OB2-2、…、OB3-3等と対応させて各画素値を基準領域画素値記憶部３５に格納する（Ｓ１２）。また、この処理と併せて、色領域画素値算出部２２は、色－状態対応図ＣＦの輪郭データと輪郭データ内における各状態に対応する状態対応色領域ＣＡの位置データを用い、対象画像中の色－状態対応図ＣＦ及びその状態対応色領域ＣＡ１、ＣＡ２、…を抽出し、抽出した各状態に対応する状態対応色領域ＣＡ１、ＣＡ２、…の全画素６２に対してカラーの画素値を算出し、各画素６２の色領域内識別情報CA1 1-1、CA1 1-2、…、CA1 2-2、…、CA1 3-3、CA2 1-1、CA2 1-2、…、CA2 2-2、…、CA2 3-3等と対応させて各画素値を状態対応色領域画素値記憶部３６に格納する（Ｓ１３）。

【0039】

その後、状態判定部２３は、抽出した対象画像中の各状態に対応する状態対応色領域ＣＡ１、ＣＡ２、…のそれぞれの色領域内識別情報CA1 1-1、CA1 1-2、…、CA1 2-2、…、CA1 3-3、CA2 1-1、CA2 1-2、…、CA2 2-2、…、CA2 3-3等の画素６２と対応する各画素値と、対象画像中の対象物ＯＢの基準領域ＲＡのそれぞれの対象物内識別情報OB1-1、OB1-2、OB1-3、…、OB2-2、…、OB3-3等の画素６１と対応する各画素値との相関度を総当たりで算出し（Ｓ１４）、最も高い相関度の対象物内識別情報の画素６１と色領域内識別情報の画素６２の組み合わせに対応する当該色領域内識別情報に対応する状態対応色領域ＣＡを特定し、状態データ記憶部３４に記憶されている各状態に対応する状態対応色領域ＣＡ１、ＣＡ２、…の位置データと対応する対象物ＯＢの各状態の状態データを用い、特定した状態対応色領域ＣＡに対応する健全度等の状態として対象物ＯＢの状態を判定する（Ｓ１５）。

【0040】

そして、状態判定部２３は、対象物状態判定処理の結果として、対象物ＯＢの状態と最も高い相関度が高く対象物ＯＢの状態と判定された状態対応色領域ＣＡの状態の情報と、最も高い相関度の状態対応色領域ＣＡの状態を判定した時点或いはカメラ６で撮像された対象画像を演算制御部２が認識した時点等の状態判定処理中の所定時点の対象物状態判定装置１の位置情報をＧＰＳセンサ７で取得して対応させ、或いはこれらの状態対応色領域ＣＡの状態と位置情報に対象物ＯＢの対象画像を更に対応させ、状態判定結果記憶部３７に格納する。また、判定結果送信部２４は、判定した対象物ＯＢの状態の情報と、状態判定処理中の所定時点の対象物状態判定装置１の位置情報、更に必要に応じて、対象物ＯＢの対象画像等の所定データを加え、通信インターフェイス８を介して管理サーバ１１に送信する（Ｓ１６）。

【0041】

管理サーバ１１の対象物状態情報処理部１２１は、対象物状態判定装置１から受信した対象物ＯＢの状態の情報と、状態判定処理中の所定時点の対象物状態判定装置１の位置情報と、必要に応じて加えられた対象物ＯＢの対象画像等の所定データを、タイマー１６によって認識したこれらのデータの受信時刻と対応させ、対象物状態情報記憶部１３３に格納する（Ｓ１７）。

【0042】

そして、対象物状態情報処理部１２１は、対象物状態情報処理部１２１は、入力部１４からの表示入力に応じて、地図データ記憶部１３２に格納された地図データと、対象物状態情報記憶部１３３に格納された対象物ＯＢの状態の情報及びこれに対応する対象物状態判定装置１の位置情報を用い、地図データの位置情報に対応する位置に対象物ＯＢの状態の情報に対応する対応情報を示して、出力部１５のディスプレイで表示する。また、対象物状態情報処理部１２１は、ユーザー端末１０１や対象物状態判定装置１からの提示要求の受信に応じて、地図データ記憶部１３２に格納された地図データと、対象物状態情報記憶部１３３に格納された対象物ＯＢの状態の情報及びこれに対応する対象物状態判定装置１の位置情報を用い、地図データの位置情報に対応する位置に対象物ＯＢの状態の情報に対応する対応情報を示して、通信インターフェイス１７と通信回線１００を介してユーザー端末１０１や対象物状態判定装置１に提示する（Ｓ１８）。好適には、表示或いは提示する対応情報として又は対応情報に加えて、タイマー１６によって認識したデータの受信時刻を対応情報の年月日を示すものとして示すと良好である。

【0043】

この出力部１５で表示される或いはユーザー端末１０１等の表示部１０１ａ等で提示される画面例を図６に示す。図６の画面例では、表示部１０１ａに特定の地域の地図ＭＡＰ－１が示され、対象物ＯＢの状態の情報に対応する対応情報を提示可能な位置Ｐ１、Ｐ２、Ｐ３、Ｐ４が示される。そして、操作者が見たい場所の位置Ｐ１等を指定入力すると、対象物ＯＢの状態の情報に対応する対応情報ＣＩ－００１等が表示される。

【0044】

次に、本実施形態の対象物状態判定装置１及び対象物状態管理システムを変形して実行される対象物状態判定・管理処理の第２例について説明する（図７参照）。第２例のＳ２１～Ｓ２３の処理は第１例のＳ１１～Ｓ１３と同様の処理、第２例のＳ２６～Ｓ２８の処理は第１例のＳ１６～Ｓ１８と同様の処理を行うが、Ｓ２４、Ｓ２５の処理が第１例と異なる。

【0045】

第２例のＳ２４の処理では、状態判定部２３が、状態対応色領域ＣＡ１の色領域内識別情報CA1 1-1、CA1 1-2、…、CA1 2-2、…、CA1 3-3等の画素６２と対応する各画素値と、対象物内識別情報OB1-1、OB1-2、OB1-3、…、OB2-2、…、OB3-3等の画素と対応する各画素値との相関度を総当たりで算出して、相関度の平均値を取得し、更に、状態対応色領域ＣＡ２の色領域内識別情報CA2 1-1、CA2 1-2、…、CA2 2-2、…、CA2 3-3等の画素６２と対応する各画素値と、対象物内識別情報OB1-1、OB1-2、OB1-3、…、OB2-2、…、OB3-3等の画素と対応する各画素値との相関度を総当たりで算出して、相関度の平均値を取得するようにして、状態対応色領域ＣＡ１、ＣＡ２、…毎に、それぞれの色領域内識別情報の画素６２と対応する各画素値と、対象物内識別情報OB1-1、OB1-2、OB1-3、…、OB2-2、…、OB3-3等の画素と対応する各画素値との相関度を総当たりで算出して、相関度の平均値を取得する（Ｓ２４）。

【0046】

そして、状態判定部２３は、相関度の平均値が最も高い状態対応色領域ＣＡを特定し、状態データ記憶部３４に記憶されている各状態に対応する状態対応色領域ＣＡ１、ＣＡ２、…の位置データと対応する対象物ＯＢの各状態の状態データを用い、特定した状態対応色領域ＣＡに対応する健全度等の状態として対象物ＯＢの状態を判定する（Ｓ２５）。

【0047】

本実施形態によれば、異なる状態に対応する複数の状態対応色領域ＣＡが表記された色－状態対応図ＣＦと状態が判定される対象物ＯＢの双方が撮像されたカラー対象画像に基づき、対象物ＯＢの健全度等の状態を判定することから、外光のような配光条件を撮像画像から取り除く複雑なキャリブレーション処理の必要が無く、撮像した対象物ＯＢの状態を判定することができる。また、キャリブレーション処理が不要であることから、キャリブレーション処理の誤差に起因する状態の判定ミスを無くすことができ、撮像した対象物ＯＢの状態を正確に判定することができる。また、例えば防水ケースにスマートフォン等の対象物状態判定装置１を収容してカメラ６で海中のサンゴ等の対象画像を撮像する場合等にも、色－状態対応図ＣＦと状態が判定される対象物ＯＢの双方が一緒に撮像されたカラーの対象画像を基礎に状態を判定することから、色－状態対応図ＣＦと対象物ＯＢを別に撮像した場合等のような配光条件の相違に影響されることなく、正確な状態判定を行うことが可能である。

【0048】

また、異なる状態に対応する複数の状態対応色領域ＣＡが表記された色－状態対応図ＣＦを使用可能な適宜の対象物ＯＢに適用することが可能であり、多様な対象物に対する健全度等の状態を判定することができる。また、各状態の状態データは、例えば状態対応色領域のカラーの基準画素値のデータのような色値データと直接の対応付けはされずに記憶され、状態対応色領域ＣＡの位置データと対応付けして記憶されているだけであるから、異なる状態に対応する複数の状態対応色領域ＣＡが表記された色－状態対応図ＣＦの色領域の色と、格納する各状態の状態データを変更することにより、異種の対象物の状態判定を同一の装置構成で行うことができ、柔軟性、汎用性に非常に優れる。

【0049】

また、状態判定部２３が、それぞれの色領域内識別情報の画素６２と対応する各画素値と、それぞれの対象物内識別情報の画素６１と対応する各画素値との相関度を総当たりで算出し、対象物ＯＢの状態を最も高い相関度の対象物内識別情報の画素６１と色領域内識別情報の画素６２の組み合わせに対応する状態対応色領域ＣＡの状態と判定する第１例の処理により、撮像した対象物ＯＢの状態をより正確且つ確実に判定することができる。また、状態判定部２３が、状態対応色領域ＣＡ毎に、それぞれの色領域内識別情報の画素６２と対応する各画素値と、それぞれの対象物内識別情報の画素６１と対応する各画素値との相関度を総当たりで算出して、相関度の平均値を取得し、対象物の状態を相関度の平均値が最も高い状態対応色領域ＣＡの状態と判定する第２例の処理により、撮像した対象物ＯＢの状態をより正確且つ確実に判定することができる。

【0050】

また、対象物状態判定装置１にカラーの対象画像を撮像するカメラ６を一体的に搭載する場合には、対象物状態判定装置１の操作者は、一体的な対象物状態判定装置１に対する操作のみで、対象画像のカメラ６での撮像、対象物ＯＢの状態の判定に対応する入力を行うことができ、操作者の操作性、利便性を高めることができる。また、対象物状態判定装置１の操作者は、その場で視認している対象物ＯＢの状態の判定結果をリアルタイムで認識することができる。

【0051】

また、管理サーバ１１において、例えばサンゴ礁等のような対象物ＯＢの位置毎の状態をデータベース化して蓄積することができると共に、地図上の位置に対応して対象物ＯＢの状態を言葉や対象物ＯＢの状態の情報の種別に対応して管理サーバ１１の記憶部１３に設定されているアイコン等の絵等で示し、地図領域内の対象物ＯＢの場所ごとの状態を高い一覧性で利用者に認識させることができる。また、管理サーバ１１が、対象物状態判定装置１から受信するデータを、地図上の位置に対応して対象物ＯＢの状態を示すように即時、リアルタイムで反映すれば刻々と変化する対象物の状態変化を示すことができる。また、管理サーバ１１は、対象物ＯＢの状態の情報を示す画像の収集および収集した画像の処理を能動的に行う必要がなく、世界中等の広域な領域からサンゴの健康状態等の対象物ＯＢの状態の情報を獲得することができ、少ない処理能力で対象物ＯＢの位置毎の状態をデータベース化して蓄積することができる。また、世界規模での大局的なサンゴの健全性の状態の表示など、地図データの広域な領域における対象物ＯＢの状態の情報の大局的な表示、提示を行うことができる。

【0052】

〔本明細書開示発明の包含範囲〕
本明細書開示の発明は、発明として列記した各発明、実施形態の他に、適用可能な範囲で、これらの部分的な内容を本明細書開示の他の内容に変更して特定したもの、或いはこれらの内容に本明細書開示の他の内容を付加して特定したもの、或いはこれらの部分的な内容を部分的な作用効果が得られる限度で削除して上位概念化して特定したものを包含する。そして、本明細書開示の発明には下記変形例や追記した内容も含まれる。

【0053】

例えば本発明の対象物状態判定装置及び対象物状態管理システムによる対象物状態判定・管理処理の変形例として図８に示すような処理を行ってもよい。図８の変形例の処理では、Ｓ３１の処理は第１例のＳ１１と基本的に同様の処理を行い、Ｓ３６～Ｓ３８の処理は第１例のＳ１６～Ｓ１８と基本的に同様の処理を行うが、Ｓ３２～Ｓ３５の処理が第１例と異なる。

【0054】

変形例のＳ３２の処理では、対象物状態判定装置１の対象画素値算出部２１は、カメラ６で撮像されたカラーの対象画像の入力に応じて、対象画像中の対象物ＯＢの基準領域ＲＡの縦横のそれぞれの中心に位置する画素６１等の基準領域ＲＡの代表画素の画素値を算出し、若しくは対象画像中の対象物ＯＢの基準領域ＲＡの各画素６１、換言すれば全画素６１の画素値の平均画素値を算出し、算出した代表画素のカラーの画素値若しくは基準領域ＲＡの各画素６１の画素値のカラーの平均画素値を基準領域画素値記憶部３５に格納する（Ｓ３２）。

【0055】

また、この処理と併せて、色領域画素値算出部２２は、色－状態対応図輪郭データ記憶部３２に格納された色－状態対応図ＣＦの輪郭データと、状態対応色領域位置データ記憶部３３に格納された輪郭データ内における各状態に対応する状態対応色領域ＣＡの位置データを用い、対象画像中の色－状態対応図ＣＦ及びその状態対応色領域ＣＡ１、ＣＡ２、…を抽出し、抽出した対象画像中の各状態に対応する各状態対応色領域ＣＡ１、ＣＡ２、…の縦横のそれぞれの中心に位置する画素６１等の各状態対応色領域ＣＡ１、ＣＡ２、…の代表画素の画素値を算出し、若しくは対象画像中の各状態対応色領域ＣＡ１、ＣＡ２、…のそれぞれの各画素６１、換言すれば各状態対応色領域ＣＡ１、ＣＡ２、…毎の全画素６２の画素値の平均画素値を算出し、算出した各状態対応色領域ＣＡ１、ＣＡ２、…毎の代表画素のカラーの画素値若しくはカラーの平均画素値を状態対応色領域画素値記憶部３６に格納する（Ｓ３３）。

【0056】

そして、状態判定部２３は、抽出した対象画像中の各状態に対応する状態対応色領域ＣＡ１、ＣＡ２、…の代表画素の画素値若しくは状態対応色領域ＣＡ１、ＣＡ２、…内の各画素６２の画素値の平均画素値と、対象画像中の対象物ＯＢの基準領域ＲＡの代表画素の画素値若しくは基準領域ＲＡ内の各画素６１の画素値の平均画素値との相関度をそれぞれ算出し（Ｓ３４）、最も高い相関度の状態対応色領域ＣＡを特定し、状態データ記憶部３４に記憶されている各状態に対応する状態対応色領域ＣＡ１、ＣＡ２、…の位置データと対応する対象物ＯＢの各状態の状態データを用い、特定した状態対応色領域ＣＡに対応する健全度等の状態として対象物ＯＢの状態を判定する（Ｓ３５）。

【0057】

この変形例の対象物状態判定装置及び対象物状態管理システムとその処理によれば、より簡単な処理で撮像した対象物ＯＢの状態を判定することができ、対象物状態判定装置１の判定処理に要する演算処理量、ハードウェア資源を低減することができる。

【0058】

また、実施形態の対象物判定装置１の変形例として、図９に示すように、対象物判定装置１の演算制御部２を対象物状態判定プログラムと協働して方向調整処理部２５として動作させると共に、記憶部２に方向目印の正規の上下左右方向の基準を示す基準方向目印を記憶する基準方向目印記憶部３８を設け、対象物判定装置１が入力されたカラーの対象画像の色－状態対応図ＣＦの上下左右の方向が合っていない場合、上下左右の方向を合わせることを促す構成とするとより好適である。

【0059】

この変形例の対象物判定装置１の処理では、色－状態対応図ＣＦとして上下左右の方向合わせの目印となる方向目印ＣＦＤを有する色－状態対応図ＣＦを用い（図１０参照）、図１１に示すように、対象物判定装置１が、カメラ６で撮像された色－状態対応図ＣＦと対象物ＯＢの双方が撮像されたカラーの対象画像の入力に応じて、方向調整処理部２５が、基準方向目印記憶部３８に記憶されている基準方向目印と対象画像の方向目印ＣＦＤをパターンマッチング等で照合し、基準方向目印と方向目印ＣＦＤの方向が合致するか否かを判定し（Ｓ０１）、基準方向目印と方向目印ＣＦＤの方向が合致しない場合に、色－状態対応図ＣＦの上下左右の方向を合わせることを促す出力を出力部５で実行し（Ｓ０２）、基準方向目印と方向目印ＣＦＤの方向が合致する場合に、対象画素値算出部２１と色領域画素値算出部２２が画素値を算出する処理を実行する（Ｓ０３）。

【0060】

この変形例によれば、基準方向目印と方向目印ＣＦＤの照合により、色－状態対応図ＣＦの上下左右の方向を確実に合わせることができ、色－状態対応図ＣＦの上下左右の方向が合っていない状態での画素値の算出等の誤処理を無くすことができる。また、色－状態対応図ＣＦの上下左右の方向を合わせることを促す出力、例えば色－状態対応図ＣＦの上下左右の方向が合っていない旨の警告、再度の画像入力の促しのメッセージ等の表示により、対象画像の撮像を行う操作者に対して、色－状態対応図ＣＦの上下左右の方向を合わせることへの注意喚起を行うことができ、方向性を有する色－状態対応図ＣＦの使用の仕方への啓発を行うことができる。

【0061】

また、実施形態における管理サーバ１１の変形例として、管理サーバ１１が、受信した複数の対象物ＯＢの状態の情報と、これに対応する対象物判定装置１の位置情報若しくは対象物ＯＢの位置情報と、これに対応する受信時刻を対応させて記憶部１３の対象物状態情報記憶部１３３に格納し、換言すれば対象物ＯＢの状態の情報と、これに対応する対象物判定装置１の位置情報若しくは対象物ＯＢの位置情報と、これに対応する受信時刻の組み合わせを複数、対象物状態情報記憶部１３３にテーブル形式等で格納し、管理サーバ１１の対象物状態情報処理部１２１が、対象物ＯＢの状態の情報、位置情報、受信時刻のうちの１つ若しくは複数の組み合わせの検索条件の入力に応じて、検索条件に該当する少なくとも対象物ＯＢの状態の情報とこれと対応する位置情報、必要に応じて受信時刻を抽出し（Ｓ１０１）、地図データ記憶部１３２の地図データを用い、地図データの抽出した位置情報に対応する位置に対象物ＯＢの状態の情報に対応する対応情報を示し、必要に応じて受信時刻を示して、出力部で１５表示する若しくは通信インターフェイス１７と通信回線１００を介してユーザー端末１０１に提示する若しくはその双方を行う（Ｓ１０２）ようにすると、より好適である（図２、図６、図１２参照）。

【0062】

この管理サーバ１１の変形例の処理によれば、対象物ＯＢの状態の情報、位置情報、受信時刻を検索条件とし、検索条件を充足するものだけの対象物ＯＢの状態の情報の分布を言葉や対象物ＯＢの状態の情報の種別に対応して管理サーバ１１の記憶部１３に設定されているアイコン等の絵等で表示、提示することにより、利用者が、時間的な条件や地理的な条件に対応する対象物間での状態の情報の比較・分析を行うことができる。また、管理サーバ１１が、複数の対象物状態判定装置１から受信する複数のデータを格納し、検索条件を充足するものを抽出し、地図上の位置に対応して対象物ＯＢの状態を示すように即時、リアルタイムで反映すれば、検索条件に該当する刻々と変化する対象物の状態変化を示すことができる。

【0063】

そして、例えば(1)受信時刻が2015年で且つ対象物ＯＢのサンゴの状態が「健全」である検索条件を満たすサンゴの世界的分布を世界地図で表示させ、(2)受信時刻が2020年で且つ対象物ＯＢのサンゴの状態が「健全」である検索条件を満たすサンゴの世界的分布を世界地図で表示させ、(1)と(2)の世界的分布を比較し、世界規模での大局的なサンゴの健全性について、時間的、位置的な視点でのサンゴの状態について分析を行うことが可能となる。同様に、(3)受信時刻が2015年で且つ対象物ＯＢのサンゴの状態が「健全」である検索条件を満たすサンゴの太平洋海域の分布を太平洋海域の地図で表示させ、(4)受信時刻が2020年で且つ対象物ＯＢのサンゴの状態が「健全」である検索条件を満たすサンゴの太平洋海域の分布を太平洋海域の地図で表示させ、(3)と(4)の分布を比較し、太平洋海域での大局的なサンゴの健全性について、時間的、位置的な視点でのサンゴの状態について分析を行うことが可能となる。

【0064】

また、本発明の対象物状態判定装置及び対象物状態管理システムとその判定・管理処理において、対象物ＯＢに対して判定する状態の内容は上述の健全度の状態以外にも本発明の趣旨の範囲内で適宜であり、例えば土壌の酸性度で色が変わる同じ花等を対象物ＯＢとし、判定する「状態」の内容を色の相違による分類区分等としてもよい。また、本発明で用いられる色－状態対応図には、コーラルチャート以外にも、本発明の趣旨の範囲内で適宜の色－状態対応図を適用することが可能である。

【産業上の利用可能性】

【0065】

本発明は、例えばスマートフォン等のカメラで撮像した対象物の状態を対象物の色に基づき判定する際に利用することができる。

【符号の説明】

【0066】

１…対象物状態判定装置 ２…演算制御部 ２１…対象画素値算出部 ２２…色領域画素値算出部 ２３…状態判定部 ２４…判定結果送信部 ２５…方向調整処理部 ３…記憶部 ３１…制御プログラム記憶部 ３１１…対象物状態判定プログラム記憶部 ３２…色－状態対応図輪郭データ記憶部 ３３…状態対応色領域位置データ記憶部 ３４…状態データ記憶部 ３５…基準領域画素値記憶部 ３６…状態対応色領域画素値記憶部 ３７…状態判定結果記憶部 ３８…基準方向目印記憶部 ４…入力部 ５…出力部 ６…カメラ ７…ＧＰＳセンサ ８…通信インターフェイス １１…管理サーバ １２…演算制御部 １２１…対象物状態情報処理部 １３…記憶部 １３１…制御プログラム記憶部 １３１１…対象物状態管理プログラム記憶部 １３２…地図データ記憶部 １３３…対象物状態情報記憶部 １４…入力部 １５…出力部 １６…タイマー １７…通信インターフェイス １００…通信回線 １０１…ユーザー端末 ＯＢ…対象物 ＲＡ…基準領域 ６１…画素 ＣＦ…色－状態対応図 ＣＦＤ…方向目印 ＣＡ…状態対応色領域 ６２…画素

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】