特開 2024-129870 画像分類装置、画像分類方法および画像分類プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024129870

(43)【公開日】2024-09-30

(54)【発明の名称】画像分類装置、画像分類方法および画像分類プログラム

(51)【国際特許分類】

   G06F 16/55 20190101AFI20240920BHJP

【ＦＩ】

G06F16/55

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2023039235

(22)【出願日】2023-03-14

(71)【出願人】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100103090

【弁理士】

【氏名又は名称】岩壁 冬樹

(74)【代理人】

【識別番号】100124501

【弁理士】

【氏名又は名称】塩川 誠人

(72)【発明者】

【氏名】松石 康輝

【テーマコード（参考）】

5B175

【Ｆターム（参考）】

5B175DA02

5B175FA03

(57)【要約】

【課題】蓄積された画像データを用いて所定の解析を行うユーザの負担を軽減する。
【解決手段】画像分類装置１０は、訓練済みの第１の予測モデルを用いて、データレイクに蓄積された画像データを、少なくとも、画像の撮影位置、画像の撮影場所の環境、および画像中の物体に基づいて分類する分類手段１１と、分類された画像データを記憶装置２０に格納する格納手段１２とを含む。
【選択図】図８

【特許請求の範囲】

【請求項1】

訓練済みの第１の予測モデルを用いて、データレイクに蓄積された画像データを、少なくとも、画像の撮影位置、画像の撮影場所の環境、および画像中の物体に基づいて分類する分類手段と、
分類された画像データを記憶装置に格納する格納手段と
を備えた画像分類装置。

【請求項2】

画像データは、衛星に搭載された撮像手段で取得された衛星画像データである
請求項１記載の画像分類装置。

【請求項3】

訓練済みの第２の予測モデルを用いて、前記記憶装置に格納されている画像データによる画像に存在する移動体の将来の位置を予測する予測手段と、
前記画像に、前記移動体の将来の位置および前記画像に存在する前記移動体の位置を特定可能な画像を重畳して表示する表示手段とを備えた
請求項１または請求項２記載の画像分類装置。

【請求項4】

前記第１の予測モデルは、データレイクに蓄積された画像データをクラス分けし、
前記格納手段は、前記画像データを、１つのカテゴリまたは複数のカテゴリに分類して前記記憶装置に格納する
請求項１または請求項２記載の画像分類装置。

【請求項5】

前記格納手段は、少なくともクラスを示すデータとカテゴリを示すデータとを含むメタデータを画像データに対応付けて前記記憶装置に格納する
請求項４記載の画像分類装置。

【請求項6】

訓練済みの第１の予測モデルを用いて、データレイクに蓄積された画像データを、少なくとも、画像の撮影位置、画像の撮影場所の環境、および画像中の物体に基づいて分類し、
分類された画像データを記憶装置に格納する
画像分類方法。

【請求項7】

訓練済みの第２の予測モデルを用いて、前記記憶装置に格納されている画像データによる画像に存在する移動体の将来の位置を予測し、
前記画像に、前記移動体の将来の位置および前記画像に存在する前記移動体の位置を特定可能な画像を重畳して表示器に表示する
請求項６記載の画像分類方法。

【請求項8】

コンピュータに、
訓練済みの第１の予測モデルを用いて、データレイクに蓄積された画像データを、少なくとも、画像の撮影位置、画像の撮影場所の環境、および画像中の物体に基づいて分類する処理と、
分類された画像データを記憶装置に格納する処理と
を実行させるための画像分類プログラム。

【請求項9】

コンピュータに、
訓練済みの第２の予測モデルを用いて、前記記憶装置に格納されている画像データによる画像に存在する移動体の将来の位置を予測させ、
前記画像に、前記移動体の将来の位置および前記画像に存在する前記移動体の位置を特定可能な画像を重畳して表示器に表示させる
請求項８記載の画像分類プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、データレイクに蓄積された画像データを分類する画像分類装置、画像分類方法および画像分類プログラムに関する。

【背景技術】

【0002】

一般に、人工衛星（以下、衛星という。）に搭載されたカメラなどの撮像手段で取得された画像データは、データベースに蓄積される。以下、衛星に搭載された撮像手段で取得された画像データを衛星画像データという。データベースに蓄積された衛星画像データは、広く提供される。

【0003】

データベースに蓄積された衛星画像データの量は膨大である。特許文献１には、テキストデータベースの分類に関して、手作業による特徴抽出が実行され、その後に、分類作業が実行されることが記載されている。データベースに蓄積された衛星画像データについては、ユーザ（例えば、解析者）が、撮影時刻、撮影地域、撮影場所等を判定した後に、必要な解析を行う。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０２３－２４９３２号公報

【特許文献2】特開２０１３－２５７８１０号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

データベースに蓄積された衛星画像データの量は膨大である上に、衛星画像データの形式（フォーマットなど）は様々である。したがって、ユーザが解析を完了するまでに、長時間を要する。換言すれば、解析に関するユーザの負担は大きい。

【0006】

本発明は、蓄積された画像データを用いて所定の解析を行うユーザの負担を軽減できる画像分類装置、画像分類方法および画像分類プログラムを提供することを目的とする。

【0007】

なお、特許文献２には、評価関数を用いて、保存された画像の各画素の観測日時に基づいて、次に撮影する観測領域を決定するシステムが記載されている。

【課題を解決するための手段】

【0008】

本発明による画像分類装置は、訓練済みの第１の予測モデルを用いて、データレイクに蓄積された画像データを、少なくとも、画像の撮影位置、画像の撮影場所の環境、および画像中の物体に基づいて分類する分類手段と、分類された画像データを記憶装置に格納する格納手段とを含む。

【0009】

本発明による画像分類方法は、訓練済みの第１の予測モデルを用いて、データレイクに蓄積された画像データを、少なくとも、画像の撮影位置、画像の撮影場所の環境、および画像中の物体に基づいて分類し、分類された画像データを記憶装置に格納する。

【0010】

本発明による画像分類プログラムは、コンピュータに、訓練済みの第１の予測モデルを用いて、データレイクに蓄積された画像データを、少なくとも、画像の撮影位置、画像の撮影場所の環境、および画像中の物体に基づいて分類する処理と、分類された画像データを記憶装置に格納する処理とを実行させる。

【発明の効果】

【0011】

本発明によれば、蓄積された画像データを用いて所定の解析を行うユーザの負担を軽減できる。

【図面の簡単な説明】

【0012】

【図1】画像分類装置とデータレイクとを示すブロック図である。

【図2】画像分類装置の実施形態をデータレイクとともに示すブロック図である。

【図3】クラス分類部およびグルーピング部の動作を示すフローチャートである。

【図4】データレイクにおけるデータ群の一例を示す説明図である。

【図5】次撮影地点決定部の動作を示すフローチャートである。

【図6】表示器の表示例を示す説明図である。

【図7】ＣＰＵを有するコンピュータの一例を示すブロック図である。

【図8】画像分類装置の主要部を示すブロック図である。

【発明を実施するための形態】

【0013】

以下、本発明の実施形態を図面を参照して説明する。

【0014】

図１は、画像分類装置２００とデータレイク１０１，１０２とを示すブロック図である。画像分類装置２００は、データレイク１０１に格納されている衛星画像データを読み出す。また、画像分類装置２００は、分類後の衛星画像データをデータレイク１０２に格納する。

【0015】

データレイク１０１には、様々な映像データソースから収集された衛星画像データが、そのまま格納されている。データレイク１０１に格納される衛星画像データの形式は様々である。なお、データレイク１０１に格納される衛星画像データには、基本的なメタデータ（撮影時刻、撮影地域、撮影場所、データ形式等）は付随している。また、データレイク１０１とデータレイク１０２とは、１つの記憶装置に存在していてもよい。

【0016】

図２は、画像分類装置２００の実施形態をデータレイクとともに示すブロック図である。図２における矢印は、信号（データ）の流れの方向を端的に示すが、双方向性を排除するものではない。このことは、他のブロック図についても同様である。

【0017】

図２に示す例では、データレイク１０１には、分類前の衛星画像データが格納されている領域１１０が存在する。データレイク１０２には、分類後の衛星画像データが格納される領域１２０が確保されている。領域１２０には、３つのカテゴリのいずれか１つまたは複数に属する衛星画像データが格納される領域が確保される。図２に示す例では、山岳データ群領域１２１と、海上データ群領域１２２と、都市データ群領域１２３とが形成される。

【0018】

図２には、グループ分けとして３つのカテゴリが例示されているが、領域１２０に形成されるカテゴリはいくつでもよい。また、グループ分けの仕方は、例えば、分類者によって決定され、画像分類装置２００に対して指定される。

【0019】

図２に示す例では、画像分類装置２００は、クラス分類部２１０と、グルーピング部２２０と、次撮影地点決定部２３０と、表示制御部２４０とを備えている。

【0020】

クラス分類部２１０は、制御部２１１と予測モデル２１２とを含む。制御部２１１は、データレイク１０１から、分類対象の衛星画像データ（分類前の衛星画像データ）を読み出して、予測モデル２１２に入力する。

【0021】

予測モデル２１２は、学習済み（訓練済み）のモデルである。予測モデル２１２は、多クラス分類を行うモデルである。以下に説明する例では、クラスは、「森林」、「火山」、「基地」、「海面」、「船舶」、「人」、「ビル」である。予測モデル２１２は、例えば、多数のラベル付の訓練データとしての衛星画像データを用いて訓練されている。なお、予測アルゴリズムとして、ｋ近傍法やサポート・ベクター・マシンを使用可能である。また、機械学習ライブラリの１つであるScikit-learnの使用も可能である。

【0022】

グルーピング部２２０は、クラス分類部２１０の予測結果（分類結果）を用いて、あらためて、衛星画像データをグループ分けする。具体的には、衛星画像データを、対応するカテゴリの領域（山岳データ群領域１２１と、海上データ群領域１２２と、都市データ群領域１２３）に格納する。なお、グルーピング部２２０は、１つの衛星画像データを、複数のデータ群の領域の双方に格納することがある。

【0023】

次撮影地点決定部２３０は、制御部２３１と予測モデル２３２とを含む。制御部２３１は、データレイク１０２から、分類後の衛星画像データ（または、メタデータ）を読み出して、予測モデル２３２に入力する。

【0024】

予測モデル２３２は、学習済み（訓練済み）のモデルである。予測モデル２３２は、将来の状況を予測する回帰モデルである。一例として、予測モデル２３２が、例えば、船舶の将来の位置を予測するモデルである場合、予測モデル２３２は、例えば、当該船舶の過去の複数の位置を説明変数とし、将来の位置を目的変数とする関数で表現される。

【0025】

表示制御部２４０は、表示器３００に、表示画面に対応する表示データを出力する。表示器３００は、表示データに基づく画面表示を行う。

【0026】

次に、図３のフローチャートを参照して、クラス分類部２１０およびグルーピング部２２０の動作を説明する。なお、図３には、１枚の衛星画像データに関する処理が示されているが、クラス分類部２１０およびグルーピング部２２０は、分類対象の衛星画像データの全てについて、図３に示す処理を実行する。

【0027】

クラス分類部２１０は、データレイク１０１における領域１１０から、衛星画像データを読み出す。すなわち、クラス分類部２１０は、衛星画像データを選択する（ステップＳ１０１）。

【0028】

クラス分類部２１０において、制御部２１１は、衛星画像データを予測モデル２１２に入力する（ステップＳ１０２）。本実施形態では、クラスは、「森林」、「火山」、「基地」、「海面」、「船舶」、「人」、「ビル」であるとする。

【0029】

予測モデル２１２は、衛星画像データによる衛星画像中に、「森林」が存在するのか、「火山」が存在するのか、「基地」が存在するのか、「海面」が存在するのか、「船舶」が存在するのか、「人」が存在するのか、「ビル」が存在するのかを判別するための学習済みのモデルである。

【0030】

制御部２１１は、予測モデル２１２の予測結果を入力する。制御部２１１は、予測結果をグルーピング部２２０に出力する。

【0031】

グルーピング部２２０は、予測の対象の映像データを、データレイク１０２における領域１２０における、いずれかのカテゴリ（グループ）の格納領域（図２に示す例では、山岳データ群領域１２１、海上データ群領域１２２、または都市データ群領域１２３）に格納する（ステップＳ１０３）。

【0032】

図４は、データレイク１０２における領域１２０に格納されるデータ群の一例を示す説明図である。図４には、グルーピング部２２０が、クラスが「森林」、「火山」または「基地」であると予測された衛星画像データを山岳データ群領域１２１に格納することが例示されている。また、クラスが「海面」、「船舶」または「基地」であると予測された衛星画像データを海上データ群領域１２２に格納することが例示されている。また、クラスが「人」、「ビル」または「基地」であると予測された衛星画像データを都市データ群領域１２３に格納することが例示されている。

【0033】

なお、図４に例示されたクラスとカテゴリの対応付けは一例であるが、対応付けは、以下のような考え方に基づく。

【0034】

すなわち、クラスの概念が共通する衛星画像データを、１つのカテゴリに対応付ける。例えば、「森林」と「火山」とは、「山」という概念を内包している。「基地」は、山岳地帯に設けられることもあれば、海に設けられることもあれば、都市部に設けられることもある。そこで、グルーピング部２２０は、クラスが「森林」、「火山」または「基地」であると予測された衛星画像データを山岳データ群領域１２１に格納する。また、「海面」と「船舶」とは、「海」という概念を内包している。そこで、グルーピング部２２０は、クラスが「海面」、「船舶」または「基地」であると予測された衛星画像データを海上データ群領域１２２に格納する。また、「人」と「ビル」とは、「都市部に多く存在する」という概念を内包している。そこで、グルーピング部２２０は、クラスが「人」、「ビル」または「基地」であると予測された衛星画像データを都市データ群領域１２３に格納する。

【0035】

なお、クラスとカテゴリの対応関係は、例えば、あらかじめ、ユーザが画像分類装置２００に対して指定することができる。

【0036】

また、グルーピング部２２０は、データレイク１０２に衛星画像データを格納するときに、衛星画像データに、詳細なメタデータ（撮影位置を示すデータおよび撮影時刻を示すデータなどに加えて、クラスを示すデータ、カテゴリを示すデータ、衛星画像中の物体の位置など）を付加することが好ましい。なお、衛星画像中の物体の位置を特定するために、例えば、制御部２１１が画像認識処理を行う。具体的には、制御部２１１は、予測モデル２１２がクラスを予測した衛星画像データによる画像から物体を抽出し、衛星画像の位置に基づいて、物体の位置を特定できる。

【0037】

本実施形態では、クラス分類部２１０は、予測モデル２１２を用いて、実質的に、衛星画像中の物体（例えば、「火山」、「船舶」、「人」、「ビル」）に基づいて衛星画像をグループ分けする。また、クラス分類部２１０は、予測モデル２１２を用いて、実質的に、衛星画像の撮影位置（例えば、「森林」や「海面」）に基づいて衛星画像をグループ分けする。また、グルーピング部２２０は、実質的に、衛星画像が撮影された場所の状況や様子である撮影環境（例えば、「山岳」、「海上」、「都市部」）に基づいて衛星画像をグループ分けする。

【0038】

換言すれば、クラス分類部２１０およびグルーピング部２２０は、衛星画像に関する「物体」、「撮影位置」および「撮影環境」に基づいて、衛星画像をグループ分けする。

【0039】

ユーザ（例えば、解析者）は、データレイク１０２において分類されて格納されている衛星画像データを使用して解析を行うことができる。したがって、ユーザの負担を軽減できる。

【0040】

なお、本実施形態では、グルーピング部２２０が、クラス分類部２１０における予測モデル２１２の予測結果を用いて、あらためて、衛星画像データをグループ分けしたが、予測モデル２１２が、カテゴリへのグループ分けまで行うように構成してもよい。

【0041】

その場合には、グルーピング部２２０は不要である。また、予測モデル２１２は、「山岳における森林」、「山岳における火山」、「山岳と海上と都市における基地」、「山岳における火山」、「海上における海面」、「海上における船舶」、「都市における人」、「都市におけるビル」の各々の訓練データとしての衛星画像データを用いて訓練される。

【0042】

次に、図５のフローチャートを参照して、次撮影地点決定部２３０の動作を説明する。

【0043】

次撮影地点決定部２３０において、制御部２３１は、次撮影地点決定のための衛星画像データ群を、データレイク１０２における領域１２０から読み出す（ステップＳ１１１）。

【0044】

次撮影地点決定部２３０において、制御部２３１は、複数の衛星画像データに付随する各々のメタデータ（物体の位置を含む。）を予測モデル２３２に入力する（ステップＳ１１２）。

【0045】

予測モデル２３２が船舶の将来の位置を予測するモデルである場合を例にする。その場合、制御部２３１は、データレイク１０２に格納されている多数の衛星画像データの中から、同じ地域が撮影された衛星画像であって撮影時刻が異なる複数の衛星画像の衛星画像データを特定する。そして、制御部２３１は、複数の衛星画像データのメタデータ（船舶の位置を含む。）をデータレイク１０２から読み出す。予測モデル２３２は、複数の衛星画像データのメタデータを入力として予測を行い、将来の船舶の位置を推定する。予測モデル２３２は、予測結果（船舶の将来の位置）を、複数の衛星画像データのメタデータとともに、表示制御部２４０に出力する。

【0046】

表示制御部２４０は、船舶の位置（データレイク１０２から読み出された過去の船舶の位置、および予測された船舶の将来の位置）が衛星画像に重畳された画像を生成し、画像の表示データを表示器３００に出力する。表示器３００は、表示データに基づく画像を表示する（ステップＳ１１３）。

【0047】

図６は、表示器３００の表示例を示す説明図である。

【0048】

図６（Ａ）には、衛星画像の一例としての地図が示されている。図６（Ｂ）には、表示器３００の表示例が示されている。図６（Ｂ）において、船舶Ａ，Ｂは、過去の位置の船舶である。船舶Ｃは、予測された位置の船舶である。なお、船舶Ａ，Ｂ，Ｃの画像は、船舶を特定可能な画像であるが、船の形状の画像以外の、船舶を特定可能な画像であってもよい。

【0049】

ユーザは、表示器３００の表示に基づいて、撮影計画を効果的に立案することができる。衛星システムでは、衛星と、衛星に対して軌道指示等のコマンドを電波で送信するアンテナと、撮影計画を立案する計画システムと、計画システムからの計画情報に従ってコマンドを作成してアンテナ側に供給する運用システムとが含まれている。

【0050】

ユーザは、図６に例示された表示から、予測された船舶の将来の位置を把握することができる。そして、ユーザは、例えば、船舶Ｃの位置を中心とした地域を撮影する要求を計画システムに出すことができる。

【0051】

計画システムは、要求に応じて、運用システムに対して、船舶Ｃの位置を中心とした地域を撮影する指示を与えることができる。そして、運用システムは、船舶Ｃの位置を中心とした地域を撮影することを指示するコマンドをアンテナ側に送出する。アンテナは、コマンドを電波で衛星に送信する。コマンドに応じて衛星軌道が制御され、衛星から、船舶Ｃの位置を中心とした地域を撮影した画像を送信させることができる。

【0052】

なお、船舶の将来の位置推定は一例であって、本実施形態の画像分類装置２００は、衛星画像に現れる船舶以外の移動体の将来の位置推定を行うこともできる。

【0053】

また、本実施形態では、衛星画像データがデータレイクに蓄積される場合を例にしたが、衛星画像以外の画像であって収集量が膨大になる他の類いの画像について、本実施形態を適用することができる。

【0054】

上記の実施形態における各構成要素は、１つのハードウェアで構成可能であるが、１つのソフトウェアでも構成可能である。また、各構成要素は、複数のハードウェアでも構成可能であり、複数のソフトウェアでも構成可能である。また、各構成要素のうちの一部をハードウェアで構成し、他部をソフトウェアで構成することもできる。

【0055】

上記の実施形態における各機能（各処理）を、ＣＰＵ（Central Processing Unit ）等のプロセッサやメモリ等を有するコンピュータで実現可能である。例えば、記憶装置（記憶媒体）に上記の実施形態における方法（処理）を実施するためのプログラムを格納し、各機能を、記憶装置に格納されたプログラムをＣＰＵで実行することによって実現してもよい。

【0056】

図７は、ＣＰＵを有するコンピュータの一例を示すブロック図である。コンピュータは、画像分類装置１００に実装される。ＣＰＵ１０００は、記憶装置１００１に格納されたプログラム（ソフトウェア要素：コード）に従って処理を実行することによって、上記の実施形態における各機能を実現する。すなわち、図１に示された画像分類装置２００における、クラス分類部２１０、グルーピング部２２０、次撮影地点決定部２３０、および表示制御部２４０の機能を実現する。

【0057】

記憶装置１００１は、例えば、非一時的なコンピュータ可読媒体（non-transitory computer readable medium）である。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の具体例として、磁気記録媒体（例えば、ハードディスク）、光磁気記録媒体（例えば、光磁気ディスク）、ＣＤ－ＲＯＭ（Compact Disc-Read Only Memory）、ＣＤ－Ｒ（Compact Disc-Recordable）、ＣＤ－Ｒ／Ｗ（Compact Disc-ReWritable）、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM ）、フラッシュＲＯＭ）がある。

【0058】

また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium ）に格納されてもよい。一時的なコンピュータ可読媒体には、例えば、有線通信路または無線通信路を介して、すなわち、電気信号、光信号または電磁波を介して、プログラムが供給される。

【0059】

メモリ１００２は、例えばＲＡＭ（Random Access Memory）で実現され、ＣＰＵ１０００が処理を実行するときに一時的にデータを格納する記憶手段である。メモリ１００２に、記憶装置１００１または一時的なコンピュータ可読媒体が保持するプログラムが転送され、ＣＰＵ１０００がメモリ１００２内のプログラムに基づいて処理を実行するような形態も想定しうる。

【0060】

図８は、画像分類装置の主要部を示すブロック図である。図８に示す画像分類装置１０は、訓練済みの第１の予測モデル（実施形態では、予測モデル２１２で実現される。）を用いて、データレイクに蓄積された画像データを、少なくとも、画像の撮影位置、画像の撮影場所の環境、および画像中の物体に基づいて分類する分類手段１１（実施形態では、クラス分類部２１０およびグルーピング部２２０で実現される。）と、分類された画像データを記憶装置２０（実施形態では、データレイク１０２で実現される。）に格納する格納手段１２（実施形態では、グルーピング部２２０で実現される。）とを備えている。

【0061】

画像分類装置１０は、訓練済みの第２の予測モデル（実施形態では、予測モデル２３２で実現される。）を用いて、記憶装置に格納されている画像データによる画像に存在する移動体の将来の位置を予測する予測手段（実施形態では、次撮影地点決定部２３０で実現される。）と、画像に、移動体の将来の位置および画像に存在する移動体の位置を特定可能な画像を重畳して表示する表示手段（実施形態では、表示制御部２４０および表示器３００で実現される。）とを備えていてもよい。

【符号の説明】

【0062】

１０ 画像分類装置
１１ 分類手段
１２ 格納手段
２０ 記憶装置
１０１ データレイク
１０２ データレイク
１１０ 領域
１２０ 領域
１２１ 山岳データ群領域
１２２ 海上データ群領域
１２３ 都市データ群領域
２００ 画像分類装置
２１０ クラス分類部
２１１ 制御部
２１２ 予測モデル
２２０ グルーピング部
２３０ 次撮影地点決定部
２３１ 制御部
２３２ 予測モデル
２４０ 表示制御部
３００ 表示器
１０００ ＣＰＵ
１００１ 記憶装置
１００２ メモリ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】