特開 2023-180330 データ処理装置、データ処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023180330

(43)【公開日】2023-12-21

(54)【発明の名称】データ処理装置、データ処理方法及びプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20231214BHJP

   G06T 7/11 20170101ALI20231214BHJP

【ＦＩ】

G06T7/00 350B

G06T7/11

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2022093536

(22)【出願日】2022-06-09

(71)【出願人】

【識別番号】592008055

【氏名又は名称】株式会社ＫＤＤＩテクノロジー

(74)【代理人】

【識別番号】110004222

【氏名又は名称】弁理士法人創光国際特許事務所

(74)【代理人】

【識別番号】100166006

【弁理士】

【氏名又は名称】泉 通博

(74)【代理人】

【識別番号】100154070

【弁理士】

【氏名又は名称】久恒 京範

(74)【代理人】

【識別番号】100153280

【弁理士】

【氏名又は名称】寺川 賢祐

(72)【発明者】

【氏名】森 英一

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA02

5L096CA02

5L096CA22

5L096CA25

5L096DA01

5L096FA02

5L096FA66

5L096FA69

5L096GA34

5L096KA04

5L096MA07

(57)【要約】

【課題】アノテーションの精度を向上させる。
【解決手段】複数の画素から構成される画像データを取得する取得部１３１と、複数の画素をクラスタリングすることで、画像データを複数の領域に分割する分割部１３２と、複数の領域それぞれが属するクラスの選択を受け付ける受付部１３３と、複数の画素それぞれと、各画素を含む領域について選択されたクラスと、を関連付けたアノテーションデータを生成する生成部１３４と、を有するデータ処理装置１である。
【選択図】図２

【特許請求の範囲】

【請求項1】

複数の画素から構成される画像データを取得する取得部と、
前記複数の画素をクラスタリングすることで、前記画像データを複数の領域に分割する分割部と、
前記複数の領域それぞれが属するクラスの選択を受け付ける受付部と、
前記複数の画素それぞれと、各画素を含む前記領域について選択されたクラスと、を関連付けたアノテーションデータを生成する生成部と、
を有するデータ処理装置。

【請求項2】

前記複数の画素それぞれは色情報を持っており、
前記分割部は、前記画素それぞれの色情報に少なくとも基づいて、前記複数の画素をクラスタリングする、
請求項１に記載のデータ処理装置。

【請求項3】

前記分割部は、前記画素それぞれの前記画像データにおける位置にさらに基づいて、前記複数の画素をクラスタリングする、
請求項２に記載のデータ処理装置。

【請求項4】

前記分割部は、前記画素それぞれの色及び座標と前記複数の領域それぞれの中心点との色空間及び座標空間上の距離に基づいて、前記複数の画素をクラスタリングする、
請求項３に記載のデータ処理装置。

【請求項5】

前記受付部は、前記複数の領域を示す画像を前記画像データが示す画像に重畳した表示画面を情報端末に表示させ、前記表示画面において表示された前記領域それぞれが属する前記クラスを選択する操作を受付ける、
請求項１から４のいずれか１項に記載のデータ処理装置。

【請求項6】

前記受付部は、前記画素それぞれと関連付けられた前記クラスに応じて異なる態様で表示された画像を、前記画像データが示す画像にさらに重畳した表示画面を情報端末に表示させる、
請求項５に記載のデータ処理装置。

【請求項7】

前記受付部は、前記領域を分割する程度を示すパラメータの入力を受付け、
前記分割部は、前記受付部が受け付けた前記パラメータに基づいて、前記画像データを分割する、
請求項１から４のいずれか１項に記載のデータ処理装置。

【請求項8】

コンピュータが実行する、
複数の画素から構成される画像データを取得するステップと、
前記複数の画素をクラスタリングすることで、前記画像データを複数の領域に分割するステップと、
前記複数の領域それぞれが属するクラスの選択を受け付けるステップと、
前記複数の画素それぞれと、各画素を含む前記領域について選択されたクラスと、を関連付けたアノテーションデータを生成するステップと、
を有するデータ処理方法。

【請求項9】

コンピュータに、
複数の画素から構成される画像データを取得するステップと、
前記複数の画素をクラスタリングすることで、前記画像データを複数の領域に分割するステップと、
前記複数の領域それぞれが属するクラスの選択を受け付けるステップと、
前記複数の画素それぞれと、各画素を含む前記領域について選択されたクラスと、を関連付けたアノテーションデータを生成するステップと、
を実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、データ処理装置、データ処理方法及びプログラムに関する。

【背景技術】

【0002】

画像を複数の矩形の領域に分割し、分割した領域ごとに正解データを関連付けるアノテーション方法が記載されている（例えば、特許文献１を参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２１－６０９６２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、特許文献１に記載のアノテーション方法においては、正解データに対応する物体以外の情報が、分割された領域に含まれる場合があり、アノテーションの精度が低下するという問題が生じていた。

【0005】

そこで、本発明はこれらの点に鑑みてなされたものであり、アノテーションの精度を向上させることを目的とする。

【課題を解決するための手段】

【0006】

本発明の第１の態様のデータ処理装置においては、複数の画素から構成される画像データを取得する取得部と、前記複数の画素をクラスタリングすることで、前記画像データを複数の領域に分割する分割部と、前記複数の領域それぞれが属するクラスの選択を受け付ける受付部と、前記複数の画素それぞれと、各画素を含む前記領域について選択されたクラスと、を関連付けたアノテーションデータを生成する生成部と、を有する。

【0007】

前記複数の画素それぞれは色情報を持っており、前記分割部は、前記画素それぞれの色情報に少なくとも基づいて、前記複数の画素をクラスタリングしてもよい。

【0008】

前記分割部は、前記画素それぞれの前記画像データにおける位置にさらに基づいて、前記複数の画素をクラスタリングしてもよい。

【0009】

前記分割部は、前記画素それぞれの色及び座標と前記複数の領域それぞれの中心点との色空間及び座標空間上の距離に基づいて、前記複数の画素をクラスタリングしてもよい。

【0010】

前記受付部は、前記複数の領域を示す画像を前記画像データが示す画像に重畳した表示画面を情報端末に表示させ、前記表示画面において表示された前記領域それぞれが属する前記クラスを選択する操作を受付けてもよい。

【0011】

前記受付部は、前記画素それぞれと関連付けられた前記クラスに応じて異なる態様で表示された画像を、前記画像データが示す画像にさらに重畳した表示画面を情報端末に表示させてもよい。

【0012】

前記受付部は、前記領域を分割する程度を示すパラメータの入力を受付け、前記分割部は、前記受付部が受け付けた前記パラメータに基づいて、前記画像データを分割してもよい。

【0013】

本発明の第２の態様のデータ処理方法においては、コンピュータが実行する、複数の画素から構成される画像データを取得するステップと、前記複数の画素をクラスタリングすることで、前記画像データを複数の領域に分割するステップと、前記複数の領域それぞれが属するクラスの選択を受け付けるステップと、前記複数の画素それぞれと、各画素を含む前記領域について選択されたクラスと、を関連付けたアノテーションデータを生成するステップと、を有する。

【0014】

本発明の第３の態様のプログラムにおいては、コンピュータに、複数の画素から構成される画像データを取得するステップと、前記複数の画素をクラスタリングすることで、前記画像データを複数の領域に分割するステップと、前記複数の領域それぞれが属するクラスの選択を受け付けるステップと、前記複数の画素それぞれと、各画素を含む前記領域について選択されたクラスと、を関連付けたアノテーションデータを生成するステップと、を実行させる。

【発明の効果】

【0015】

本発明によれば、アノテーションの精度を向上させるという効果を奏する。

【図面の簡単な説明】

【0016】

【図1】実施形態にかかるデータ処理システムＳの概要を説明する図である。

【図2】データ処理装置１の構成を示すブロック図である。

【図3】受付部１３３が表示させる画面の一例を示す図である。

【図4】生成部１３４が生成するアノテーションデータのデータ構造の一例を示す図である。

【図5】データ処理装置１における処理の流れを示すフローチャートである。

【発明を実施するための形態】

【0017】

［データ処理装置１の概要］
図１は、実施形態にかかるデータ処理システムＳの概要を説明する図である。データ処理システムＳは、アノテーションデータを生成するためのシステムである。アノテーションデータは、機械学習の学習用データセットとして用いるデータであり、画像データにおける画素と画素に映り込む物体等の分類（クラスとも言う）を示す情報を関連付けたデータである。データ処理システムＳは、データ処理装置１及び情報端末２を有する。

【0018】

データ処理装置１は、画像データを複数の領域に分割し、分割した領域ごとのクラスの選択を受け付けることにより、アノテーションデータを生成する。データ処理装置１は、例えばサーバである。

【0019】

情報端末２は、データ処理装置１と通信可能に接続され、データ処理装置１から受信した画像を分割した領域を示す表示画面を表示し、領域に対応するクラスを選択する操作をユーザから受付ける。情報端末２は一例として、ユーザが使用するスマートフォン、タブレット又はパーソナルコンピュータである。

【0020】

データ処理システムＳにおける処理の概要について説明する。データ処理装置１は、画像データを情報端末２から取得する（図１における（１））。画像データは、アノテーションの対象となる被写体を含む。データ処理装置１は、取得した画像データの画素をクラスタリングし、画像データを複数の領域に分割する（図１における（２））。

【0021】

データ処理装置１は、分割した領域それぞれについてのクラスの選択を受け付ける（図１における（３））。そして、データ処理装置１は、画像データを構成する複数の画素それぞれと、各画素を含む領域について選択されたクラスと、を関連付けたアノテーションデータを生成する（図１における（４））。

【0022】

データ処理装置１がこのように構成されることで、画像データを分割した領域ごとにクラスを設定することが可能となり、アノテーションの精度を向上させるという効果を奏する。

【0023】

［データ処理装置１の構成］
図２は、データ処理装置１の構成を示すブロック図である。データ処理装置１は、通信部１１、記憶部１２及び制御部１３を有する。制御部１３は、取得部１３１、分割部１３２、受付部１３３及び生成部１３４を有する。通信部１１は、ネットワークを介して他の装置とデータの送受信をするための通信インターフェースである。

【0024】

記憶部１２は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＳＳＤ（Solid State Drive）、ハードディスクドライブ等を含む記憶媒体である。記憶部１２は、制御部１３が実行するプログラムを予め記憶している。

【0025】

制御部１３は、例えばＣＰＵ（Central Processing Unit）等のプロセッサである。制御部１３は、記憶部１２に記憶されたプログラムを実行することにより、取得部１３１、分割部１３２、受付部１３３及び生成部１３４として機能する。

【0026】

取得部１３１は、複数の画素から構成される画像データを取得する。取得部１３１は、情報端末２から画像データを取得する。画像データは、画素それぞれが濃淡の情報をもつモノクロの画像データであってもよいし、画素それぞれが色情報をもつ画像データであってもよい。アノテーションの対象物が被写体として撮像されたものである。

【0027】

分割部１３２は、複数の画素をクラスタリングすることで、画像データを複数の領域に分割する。分割部１３２は、画素同士の距離又は画素値に基づいて、画像データを構成する画素をクラスタリングすることにより画像データを複数の領域に分割する。すなわち、画像データを分割した複数の領域と、複数の領域それぞれに属する画素とを関連付ける。

【0028】

受付部１３３は、図３に示す選択画面を情報端末２に表示させ、領域それぞれが属するクラスの選択を受け付ける。図３は、受付部１３３が表示させる選択画面の一例を示す図である。図３に示す選択画面は、画像データを構成する画素とクラスとを関連付ける操作をするための表示領域Ｏ１、選択対象のクラスを選択するための表示領域Ｏ２及びＵＩ（User Interface）を調整する操作をするための表示領域Ｏ３から構成される。

【0029】

表示領域Ｏ１においては、分割部１３２が決定した領域の範囲を示す画像（図３において破線で区分された領域）が表示される。受付部１３３は、複数の領域それぞれが属するクラスの選択を受け付ける。具体的には、受付部１３３は、ユーザが表示領域Ｏ１に表示された領域のいずれかを選択する操作（例えば領域を押す操作）を受付ける。そして、受付部１３３は、選択された領域を構成する画素と、後述する表示領域Ｏ２において選択されたクラスと、を関連付ける。クラスと関連付けられた画素は、関連付けられたクラスに応じた態様で表示されてもよい。一例として、表示領域Ｏ１において一点鎖線で囲まれた領域は、クラス１と関連付けられており、網掛けされて表示されている。

【0030】

なお、先に表示領域Ｏ２において関連付けるクラスを選択した後に、表示領域Ｏ１において領域において選択された領域と表示領域Ｏ２において選択したクラスとを関連付ける例を説明したが、先に表示領域Ｏ１において領域において選択した後、表示領域Ｏ２においてクラスが選択された場合に、表示領域Ｏ１において選択された領域と表示領域Ｏ２において選択されたクラスとを関連付けるように受付部１３３が構成されてもよい。

【0031】

表示領域Ｏ２においては、表示領域Ｏ１において選択した領域と関連付けるクラスを選択するためのボタンが複数配置されている。それぞれのボタンは、分類対象の複数のクラスそれぞれに対応している。図３の例においては、「クラス１ サビ（強）」、「クラス２ サビ（弱）」、「クラス３ サビ無」、「クラス４ 背景」の４つのクラスに対応したボタンが配置されている。ユーザは、表示領域Ｏ２に配置されたボタンのいずれかを押すことで、選択した領域に関連付けるクラスを選択する。図３の例においては、「クラス１ サビ（強）」のボタンが選択されており、ボタンがハイライトして表示されている。なお、表示領域Ｏ２に配置されるクラスの候補は、ユーザが予め設定できるように構成されてもよい。

【0032】

表示領域Ｏ３は、「境界線の透明度」、「領域分割数」、「アノテーションの透明度」及び「ブラシサイズ」を調整するスライドバーを含む。「境界線の透明度」を調整するスライドバーは、指定された値が大きいほど境界線の透明度を高く表示させ、指定された値が小さいほど境界線の透明度を低く表示させる。「領域分割数」及び「アノテーションの透明度」を調整するスライドバーについては後述する。「ブラシサイズ」を調整するスライドバーは、表示領域Ｏ１においてクラスと関連付ける領域を選択する操作をするためのブラシの大きさを調整する。

【0033】

生成部１３４は、複数の画素それぞれと、各画素を含む領域について選択されたクラスと、を関連付けたアノテーションデータを生成する。図４は、生成部１３４が生成するアノテーションデータのデータ構造の一例を示す図である。図４に示すアノテーションデータにおいては、画素の座標情報と、画素が属するクラスとが対応付けられている。生成部１３４は、完了操作が行われた際に受付部１３３が受付けた画素とクラスとの関係に基づいて、アノテーションデータを生成する。完了操作は一例として、図３に表示された完了ボタンＯ４を押す操作である。生成部１３４は、一例として、生成したアノテーションデータを記憶部１２に記憶してもよいし、情報端末２に送信してもよい。

【0034】

データ処理装置１が上記のように構成されることで、アノテーションの精度を向上させるという効果を奏する。

【0035】

［クラスタリング処理］
ところで、色が類似している画素には同じクラスが割り当てられる蓋然性が高い。そこで画素値が示す色情報に基づいて画素をクラスタリングするようデータ処理装置１が構成されてもよい。

【0036】

分割部１３２は、画素それぞれの色情報に少なくとも基づいて、複数の画素をクラスタリングしてもよい。具体的には、分割部１３２は、色の類似度（色空間における距離）に基づいて複数の画素それぞれをクラスタリングすることにより、複数の領域と、複数の領域それぞれに属する画素とを関連付ける。一例として、分割部１３２は、色空間上にランダムに生成した中心点と画像データを構成する画素それぞれとの色空間上の距離に基づいて複数の画素をクラスタリングする。類似度を決定するために用いる表色系は任意であるが、一例として分割部１３２は、既知のＬ^＊ａ^＊ｂ^＊色空間に基づいて画素ごとに色の類似度を算出する。

【0037】

空間上の距離が近い画素同士の色が類似している場合は、同じクラスが割り当てられる蓋然性がさらに高くなる。そこで、画素同士の位置関係にさらに基づいて画素をクラスタリングするようデータ処理装置１が構成されてもよい。

【0038】

分割部１３２は、画素それぞれの画像データにおける位置にさらに基づいて、複数の画素をクラスタリングする。分割部１３２は、色の類似度に加えて画素の空間的な距離にさらに基づいて複数の画素それぞれをクラスタリングすることにより、複数の領域と、複数の領域それぞれに属する画素とを関連付ける。

【0039】

分割部１３２は、画素それぞれの色及び座標と複数の領域それぞれの中心点（セントロイド）との色空間及び座標空間上の距離に基づいて、複数の画素をクラスタリングしてもよい。まず、分割部１３２は、所定の数の中心点を、色（ｌ，ａ，ｂ）と画素の座標（ｘ，ｙ）とで構成される５次元空間上にランダムに生成する。所定の数は、一例として図３における「領域分割数」のスライドバーで指定された値に応じて決定される。

【0040】

分割部１３２は、（１）から（３）の処理を、終了条件を満たすまで繰り返すことで、画像データを構成する複数の画素をクラスタリングする。終了条件は例えば、所定の回数（１）から（３）の処理を繰り返すこと又は（１）から（３）の処理を実施する前後で中心点と画素との関係に変更がないことである。

【0041】

（１）分割部１３２は、画像データを構成する画素それぞれと、中心点それぞれと、の５次元空間上の距離を算出する。（２）分割部１３２は、画像データを構成する画素それぞれについて、所定の数の中心点のうち算出した距離が最も小さい中心点を特定する。（３）画像データを構成する画素それぞれについて（２）の処理において特定した中心点を関連付ける。

【0042】

データ処理装置１がこのように構成されることで、画像データを性質が類似する画素を含む領域に精度よく分割することができる。その結果、データ処理装置１においては、アノテーションの精度を向上させることができる。

【0043】

ところで、アノテーションデータの生成対象となる画像データに、分割部１３２が分割した領域を重畳して表示させるようデータ処理装置１が構成されると、ユーザは対象の画像データを確認しながら分割された領域に対応するクラスを選択することができ、ユーザの利便性が高い。

【0044】

受付部１３３は、複数の領域を示す画像を画像データが示す画像に重畳した表示画面を情報端末２に表示させ、表示画面において表示された領域それぞれが属するクラスを選択する操作を受付ける。すなわち、受付部１３３は、図３に示す選択画面の表示領域Ｏ１において、分割部１３２が決定した領域の範囲を示す画像を、取得部１３１が取得した画像データに重畳して表示させる。そして、受付部１３３は、表示画面において表示された領域それぞれが属するクラスを選択する操作を受付ける。

【0045】

受付部１３３は、画素それぞれと関連付けられたクラスに応じて異なる態様で表示された画像を、画像データが示す画像にさらに重畳した表示画面を情報端末２に表示させてもよい。画素とクラスとが関連付けられた場合、受付部１３３は、クラスごとにそれぞれ異なる色や模様で表示された、当該画素が属するクラスを示す画像を当該画素の位置に表示させる。

【0046】

受付部１３３は、「アノテーションの透明度」を調整するスライドバーで指定された値に基づいて領域を示す画像の透明度を決定してもよい。一例として、「アノテーションの透明度」において指定された値が大きいほど画素が属するクラスを示す画像の透明度を高く表示させ、指定された値が小さいほど透明度を低く表示させる。

【0047】

ところで、画像データを分割する程度（例えば、分割する領域の大きさや領域の数）は柔軟に変更できるようにすることで、アノテーションの精度を向上させるとともに、ユーザの手間を削減させることができる。

【0048】

受付部１３３は、領域を分割する程度を示すパラメータの入力を受付ける。具体的には、ユーザは図３に示す表示領域Ｏ３に配置された「領域分割数」と表示されたスライドバーを操作することで、領域を分割する程度を調整する。受付部１３３は、「領域分割数」についてユーザが指定したパラメータの入力を受け付ける。ここで、「領域分割数」のスライドバーに対応付けられた数値は、一例として分割する大きさの程度を１０段階で示す値であり、分割される領域の数と１対１で対応しなくてもよい。

【0049】

なお、受付部１３３は、領域を分割する程度に変えて分割する領域の大きさを示す情報を受付けてもよい。この場合、分割部１３３は、受け付けた領域の大きさに基づいて、画像データを分割する。

【0050】

分割部１３２は、受付部１３３が受け付けたパラメータに基づいて、画像データを分割する。一例として、分割部１３２は、「領域分割数」が小さいほど画像データを粗く分割し、大きいほど画像データを細かく分割する。分割部１３２は、「領域分割数」において指定されたパラメータの大きさに応じた数の領域に画像データを分割する。

【0051】

なお、「領域分割数」のパラメータの選択を受け付けた時点において画素とクラスとが対応付けられたデータが存在する場合、既に存在する画素とクラスとの関係を示すデータは維持されてもよい。受付部１３３が既にクラスが選択された画素と抵触する領域のクラスをさらに選択する操作を受付けた場合、受付部１３３は、当該画素のクラスを新たに選択されたクラスで上書きする。

【0052】

データ処理装置１がこのように構成されることで、ユーザは例えば、クラスの違いがほとんどない領域については、分割数を小さく設定してクラスを選択する操作を行い、クラスの違いが多い領域については、分割数を大きく設定してクラスを選択する操作を行うことができる。その結果、アノテーションデータの精度を向上させながら、アノテーションデータの作成に必要な手間を削減させることができる。

【0053】

［データ処理装置１における処理の流れ］
図５は、データ処理装置１における処理の流れを示すフローチャートである。図５に示すフローチャートは、画像データを取得する準備ができた時点から開始している。

【0054】

取得部１３１は、画像データを取得する（Ｓ０１）。分割部１３２は、取得した画像データを構成する複数の画素をクラスタリングすることで、画像データを複数の領域に分割する（Ｓ０２）。受付部１３３は、分割した領域を画像データに重畳して表示させる（Ｓ０３）。

【0055】

受付部１３３は、それぞれの領域が属するクラスを選択する操作を受付ける（Ｓ０４）。生成部１３４は、選択された領域の画素と選択されたクラスとを関連付ける（Ｓ０５）。データ処理装置１は、終了条件を満たすかどうかを判定する（Ｓ０６）。終了条件は例えば、アノテーションデータを出力するための操作がされることである。終了条件を満たさない場合（Ｓ０６におけるＮＯ）、データ処理装置１は、Ｓ０４に戻り処理を繰り返す。

【0056】

終了条件を満たす場合（Ｓ０６におけるＹＥＳ）、生成部１３４は、複数の画素と、複数の画素それぞれのクラスとを関連付けたアノテーションデータを生成する（Ｓ０７）。一例として、生成部１３４は、生成したアノテーションデータを記憶部１２に記憶させてもよいし、情報端末２に送信してもよい。そして、データ処理装置１は、処理を終了する。

【0057】

［データ処理装置１における効果］
以上説明したように、データ処理装置１においては、画像データを分割した領域ごとにクラスを設定することが可能となり、アノテーションの精度を向上させるという効果を奏する。

【0058】

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の全部又は一部は、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を併せ持つ。

【符号の説明】

【0059】

１ データ処理装置
２ 情報端末
１１ 通信部
１２ 記憶部
１３ 制御部
１３１ 取得部
１３２ 分割部
１３３ 受付部
１３４ 生成部
Ｓ データ処理システム

【図1】

【図2】

【図3】

【図4】

【図5】