特許 7334920 情報処理システム、情報処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2023-08-21

(45)【発行日】2023-08-29

(54)【発明の名称】情報処理システム、情報処理方法及びプログラム

(51)【国際特許分類】

   G06F 16/55 20190101AFI20230822BHJP

【ＦＩ】

G06F16/55

【請求項の数】 7

(21)【出願番号】P 2023031687

(22)【出願日】2023-03-02

【審査請求日】2023-03-02

【新規性喪失の例外の表示】特許法第３０条第２項適用 １ ウェブサイトの掲載日 ２０２２年３月３日 ２ ウェブサイトのアドレス ｈｔｔｐｓ：／／ｆａｓｔｌａｂｅｌ．ａｉ／ｎｅｗｓ／２０２２０３０３－ａｕｔｏ－ａｎｎｏｔａｔｉｏｎ

【新規性喪失の例外の表示】特許法第３０条第２項適用 １ ウェブサイトの掲載日 ２０２２年３月３日 ２ ウェブサイトのアドレス ｈｔｔｐｓ：／／ｄｏｃｓ．ｆａｓｔｌａｂｅｌ．ａｉ／ｄｏｃｓ／ａｕｔｏ－ａｎｎｏｔａｔｉｏｎ ｈｔｔｐｓ：／／ｄｏｃｓ．ｆａｓｔｌａｂｅｌ．ａｉ／ｄｏｃｓ／ｓｔａｒｔ－ａｕｔｏ－ａｎｎｏｔａｔｉｏｎ

【新規性喪失の例外の表示】特許法第３０条第２項適用 １ ウェブサイトの掲載日 ２０２２年３月３日 ２ ウェブサイトのアドレス ｈｔｔｐｓ：／／ｐｒｔｉｍｅｓ．ｊｐ／ｍａｉｎ／ｈｔｍｌ／ｒｄ／ｐ／０００００００３２．００００６５４２７．ｈｔｍｌ

【新規性喪失の例外の表示】特許法第３０条第２項適用 １ ウェブサイトの掲載日 ２０２２年３月３日 ２ ウェブサイトのアドレス ｈｔｔｐｓ：／／ｊａｐａｎ．ｚｄｎｅｔ．ｃｏｍ／ｒｅｌｅａｓｅ／３０６５４８２７／

【新規性喪失の例外の表示】特許法第３０条第２項適用 １ ウェブサイトの掲載日 ２０２２年３月３日 ２ ウェブサイトのアドレス ｈｔｔｐｓ：／／ｗｍｒ．ｔｏｋｙｏ／ｓｔａｒｔｕｐ／２０２２／１２３１５２／

【新規性喪失の例外の表示】特許法第３０条第２項適用 １ ウェブサイトの掲載日 ２０２２年３月３日 ２ ウェブサイトのアドレス ｈｔｔｐｓ：／／ｌｅｄｇｅ．ａｉ／２０２２－０３－０３－１３１３２３８２３７６２２０８４ｄｅ９６ｄ１８／

【新規性喪失の例外の表示】特許法第３０条第２項適用 １ ウェブサイトの掲載日 ２０２２年３月４日 ２ ウェブサイトのアドレス ｈｔｔｐｓ：／／ａｉｒｏｂｏｔ－ｎｅｗｓ．ｎｅｔ／２０２２／０３／０４／ｆａｓｔｌａｂｅｌ－７／

【早期審査対象出願】

(73)【特許権者】

【識別番号】520129218

【氏名又は名称】ＦａｓｔＬａｂｅｌ株式会社

(74)【代理人】

【識別番号】100131451

【弁理士】

【氏名又は名称】津田 理

(74)【代理人】

【識別番号】100174137

【弁理士】

【氏名又は名称】酒谷 誠一

(72)【発明者】

【氏名】上田 英介

【審査官】齊藤 貴孝

(56)【参考文献】

【文献】国際公開第２０２２／００４３３７（ＷＯ，Ａ１）

【文献】国際公開第２０２１／１８１５２０（ＷＯ，Ａ１）

【文献】特開２０２０－０３５０９５（ＪＰ，Ａ）

【文献】特開２０１９－１４４８７２（ＪＰ，Ａ）

【文献】特開２０１７－２２４１８４（ＪＰ，Ａ）

【文献】韓国登録特許第１０－２２４５８９６（ＫＲ，Ｂ１）

【文献】韓国登録特許第１０－２３４３０４３（ＫＲ，Ｂ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ １６／００－１６／９５８

(57)【特許請求の範囲】

【請求項1】

ユーザによって登録されたアノテーション用のクラスであるアノテーションクラスと、モデルが分類するクラスであるモデルクラスとを、ユーザが関連づけられるようにする操作画面を表示するための情報を出力する第１出力部と、
前記出力された情報を用いて端末によって生成された操作画面において、アノテーションクラスとモデルクラスとを関連付けるユーザ操作に応じて、当該アノテーションクラスと当該モデルクラスとを記憶装置に関連付けて記録する記録部と、
ユーザの操作に応じて、対象入力データに対してモデルを実行する実行部と、
前記記憶装置を参照して当該モデルの実行によって検出されたモデルクラスを対応するアノテーションクラスに置き換えて割り当てる割当部と、
前記割り当てられたアノテーションクラスに関する情報を出力する第２出力部と、
を備える情報処理システム。

【請求項2】

前記モデルは、画像中のオブジェクトを検出するオブジェクト検出モデルであり、
前記実行部は、ユーザの操作に応じて、対象画像データに対してオブジェクト検出モデルを実行し、
前記割当部は、前記記憶装置を参照して当該オブジェクト検出モデルの実行によって検出されたオブジェクトそれぞれに対して、当該オブジェクト検出モデルの実行によって検出されたモデルクラスを対応するアノテーションクラスに置き換えて割り当て、
前記第２出力部は、対象画像中で検出されたオブジェクトそれぞれについて割り当てられたアノテーションクラスを当該ユーザが視覚によって識別可能に表示するための情報を出力する
請求項１に記載の情報処理システム。

【請求項3】

対象画像に含まれるオブジェクトに対して既に割り当てられたアノテーションクラスを上書きしないように選択可能な設定画面を表示するための情報を出力する第３出力部を更に備え、
前記設定画面において対象画像について既に割り当てられたアノテーションクラスを上書きしないことがユーザによって選択された場合、
前記実行部は、ユーザの操作に応じて、第１のオブジェクト検出モデルを実行し、
前記割当部は、前記記憶装置を参照して前記第１のオブジェクト検出モデルの実行によって検出されたオブジェクトそれぞれに対して第１モデルクラスを対応する第１アノテーションクラスに置き換えて割り当て、
前記実行部は、ユーザの操作に応じて、第２のオブジェクト検出モデルを実行し、
前記割当部は、前記第１アノテーションクラスの割り当てに加えて、前記記憶装置を参照して前記第１のオブジェクト検出モデルの実行によって検出されたオブジェクトそれぞれに対して第１モデルクラスを対応する第１アノテーションクラスに置き換えて割り当てる
請求項２に記載の情報処理システム。

【請求項4】

対象入力データのステータス及び／またはタグを入力可能な入力画面を表示するための情報を出力する第３出力部を更に備え、
前記実行部は、ユーザによって入力されたステータス及び／またはタグが付与された対象入力データに対して、前記モデルを実行する
請求項１から３のいずれか一項に記載の情報処理システム。

【請求項5】

前記記録部は、前記操作画面においてアノテーションクラスとモデルクラスとを関連付けるユーザ操作に加えて複数のモデルから対象となるモデルを選択するユーザ操作に応じて、前記対象となるモデルについて、当該アノテーションクラスと当該モデルクラスとを記憶装置に関連付けて記録し、
前記実行部は、ユーザの操作に応じて、前記対象入力データに対して当該ユーザが選択したモデルを実行し、
前記割当部は、前記記憶装置を参照して前記ユーザによって選択されたモデルの実行によって検出されたモデルクラスを対応するアノテーションクラスに置き換えて割り当てる
請求項１から３のいずれか一項に記載の情報処理システム。

【請求項6】

第１出力部が、ユーザによって登録されたアノテーション用のクラスであるアノテーションクラスと、モデルが分類するクラスであるモデルクラスとを、ユーザが関連づけられるようにする操作画面を表示するための情報を出力する第１出力手順と、
記録部が、前記出力された情報を用いて端末によって生成された操作画面において、アノテーションクラスとモデルクラスとを関連付けるユーザ操作に応じて、当該アノテーションクラスと当該モデルクラスとを記憶装置に関連付けて記録する記録手順と、
実行部が、ユーザの操作に応じて、対象入力データに対してモデルを実行する実行手順と、
割当部が、前記記憶装置を参照して当該モデルの実行によって検出されたモデルクラスを対応するアノテーションクラスに置き換えて割り当てる割当手順と、
第２出力部が、前記割り当てられたアノテーションクラスに関する情報を出力する第２出力手順と、
を有する情報処理方法。

【請求項7】

コンピュータに、
ユーザによって登録されたアノテーション用のクラスであるアノテーションクラスと、モデルが分類するクラスであるモデルクラスとを、ユーザが関連づけられるようにする操作画面を表示するための情報を出力する第１出力手順、
前記出力された情報を用いて端末によって生成された操作画面において、アノテーションクラスとモデルクラスとを関連付けるユーザ操作に応じて、当該アノテーションクラスと当該モデルクラスとを記憶装置に関連付けて記録する記録手順、
ユーザの操作に応じて、対象入力データに対してモデルを実行する実行手順、
前記記憶装置を参照して当該モデルの実行によって検出されたモデルクラスを対応するアノテーションクラスに置き換えて割り当てる割当手順、
前記割り当てられたアノテーションクラスに関する情報を出力する第２出力手順、
を実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理システム、情報処理方法及びプログラムに関する。

【背景技術】

【0002】

近年、多くの企業で機械学習の社会実装が進んでいる。そのような状況で、教師データの作成のうち特にアノテーションに時間と労力がかかるという問題がある。ここでアノテーションとは、テキスト、音声、画像、または動画などあらゆる形態のデータの１つ１つに、ラベル、タグまたはメタデータと呼ばれる情報を付けていく工程である。

【0003】

この問題に対してアノテーションを支援する技術が開発されている。例えば特許文献１には、予め用意された既存モデルを用いて、複数の要素それぞれに対する事前ラベルを推定して複数の要素それぞれに付与する事前ラベル推定部と、複数の要素それぞれと、ユーザによる複数の要素に付与されたラベルの更新操作のためのラベル付与作業画面であって、複数の要素それぞれと、複数の要素それぞれに付与されたラベルとを対応付けて示すラベル付与作業画面を生成し、外部入出力インタフェースに出力するラベル付与作業画面出力部と、ラベル付与作業画面を介した更新操作により要素に付与されたラベルが更新されると、当該要素に対して更新後のラベルを付与するラベル更新部と、を備えるラベル付与支援装置が開示されている。

【先行技術文献】

【特許文献】

【0004】

【文献】国際公開第２０２２／１８５３６３号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、モデルが入力データに対して出力する分類であるモデルクラスと、ユーザが付与したい分類であるアノテーションクラスの粒度または名称が異なっている場合がある。粒度が異なっている具体例としては、モデルが入力データに対して出力するモデルクラスが、「バス」、「トラック」であり、ユーザが付与したいアノテーションクラスが「車」である場合がある場合がある。このように、モデルクラスとアノテーションクラスとの間で粒度または名称が異なっており、アノテーションに労力がかかるという問題がある。

【0006】

本発明は、上記問題に鑑みてなされたものであり、アノテーションにかかる労力を軽減することを可能とする情報処理システム、情報処理方法及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明の第１の態様に係る情報処理システムは、ユーザによって登録されたアノテーション用のクラスであるアノテーションクラスと、モデルが分類するクラスであるモデルクラスとを、ユーザが関連づけられるようにする操作画面を表示するための情報を出力する第１出力部と、前記出力された情報を用いて端末によって生成された操作画面において、アノテーションクラスとモデルクラスとを関連付けるユーザ操作に応じて、当該アノテーションクラスと当該モデルクラスとを記憶装置に関連付けて記録する記録部と、ユーザの操作に応じて、対象入力データに対してモデルを実行する実行部と、前記記憶装置を参照して当該モデルの実行によって検出されたモデルクラスを対応するアノテーションクラスに置き換えて割り当てる割当部と、前記割り当てられたアノテーションクラスに関する情報を出力する第２出力部と、を備える。

【0008】

この構成によれば、対象入力データに対してモデルを実行すると、モデル本来のモデルクラスではなく、ユーザが所望するアノテーションクラスが出力されるので、アノテーションにかかる労力を軽減することができる。

【0009】

本発明の第２の態様に係る情報処理システムは、第１の態様に係る情報処理システムであって、前記モデルは、画像中のオブジェクトを検出するオブジェクト検出モデルであり、前記実行部は、ユーザの操作に応じて、対象画像データに対してオブジェクト検出モデルを実行し、前記割当部は、前記記憶装置を参照して当該オブジェクト検出モデルの実行によって検出されたオブジェクトそれぞれに対して、当該オブジェクト検出モデルの実行によって検出されたモデルクラスを対応するアノテーションクラスに置き換えて割り当て、前記第２出力部は、対象画像中で検出されたオブジェクトそれぞれについて割り当てられたアノテーションクラスを当該ユーザが視覚によって識別可能に表示するための情報を出力する。

【0010】

この構成によれば、対象画像中でオブジェクト検出モデル検出されたオブジェクトそれぞれについて割り当てられたアノテーションクラスが表示されるので、アノテーションクラスを割り当てる労力を軽減することができる。

【0011】

本発明の第３の態様に係る情報処理システムは、第２の態様に係る情報処理システムであって、対象画像に含まれるオブジェクトに対して既に割り当てられたアノテーションクラスを上書きしないように選択可能な設定画面を表示するための情報を出力する第３出力部を更に備え、前記設定画面において対象画像について既に割り当てられたアノテーションクラスを上書きしないことがユーザによって選択された場合、前記実行部は、ユーザの操作に応じて、第１のオブジェクト検出モデルを実行し、前記割当部は、前記記憶装置を参照して前記第１のオブジェクト検出モデルの実行によって検出されたオブジェクトそれぞれに対して第１モデルクラスを対応する第１アノテーションクラスに置き換えて割り当て、前記実行部は、ユーザの操作に応じて、第２のオブジェクト検出モデルを実行し、前記割当部は、前記第１アノテーションクラスの割り当てに加えて、前記記憶装置を参照して前記第１のオブジェクト検出モデルの実行によって検出されたオブジェクトそれぞれに対して第１モデルクラスを対応する第１アノテーションクラスに置き換えて割り当てる。

【0012】

この構成によれば、第１のオブジェクト検出モデルを用いたアノテーション結果と、第２のオブジェクト検出モデルを用いたアノテーション結果の両方が出力されるので、複数のオブジェクト検出モデルを用いたアノテーション結果を同時に表示することができる。このため、ユーザは、複数のオブジェクト検出モデルを用いたアノテーション結果を同時に把握することができる。

【0013】

本発明の第４の態様に係る情報処理システムは、第１から３のいずれかの態様に係る情報処理システムであって、対象入力データのステータス及び／またはタグを入力可能な入力画面を表示するための情報を出力する第３出力部を更に備え、前記実行部は、ユーザによって入力されたステータス及び／またはタグが付与された対象入力データに対して、前記モデルを実行する。

【0014】

この構成によれば、ユーザは、アノテーション対象のデータをステータス及び／またはで絞りこむことができる。

【0015】

本発明の第５の態様に係る情報処理システムは、第１から４のいずれかの態様に係る情報処理システムであって、前記記録部は、前記操作画面においてアノテーションクラスとモデルクラスとを関連付けるユーザ操作に加えて複数のモデルから対象となるモデルを選択するユーザ操作に応じて、前記対象となるモデルについて、当該アノテーションクラスと当該モデルクラスとを記憶装置に関連付けて記録し、前記実行部は、ユーザの操作に応じて、対象入力データに対して当該ユーザが選択したモデルを実行し、前記割当部は、前記記憶装置を参照して前記ユーザによって選択されたモデルの実行によって検出されたモデルクラスを対応するアノテーションクラスに置き換えて割り当てる。

【0016】

この構成によれば、複数のモデルが選択可能な場合において、対象となるモデルについて当該アノテーションクラスと当該モデルクラスとを記憶装置に関連付けて記録するので、対象となるモデルを実行によって検出されるモデルクラスをアノテーションクラスに置き換えて割り当てることができる。

【0017】

本発明の第６の態様に係る情報処理方法は、ユーザによって登録されたアノテーション用のクラスであるアノテーションクラスと、モデルが分類するクラスであるモデルクラスとを、ユーザが関連づけられるようにする操作画面を表示するための情報を出力する第１出力手順と、前記出力された情報を用いて端末によって生成された操作画面において、アノテーションクラスとモデルクラスとを関連付けるユーザ操作に応じて、当該アノテーションクラスと当該モデルクラスとを記憶装置に関連付けて記録する記録手順と、ユーザの操作に応じて、対象入力データに対してモデルを実行する実行手順と、前記記憶装置を参照して当該モデルの実行によって検出されたモデルクラスを対応するアノテーションクラスに置き換えて割り当てる割当手順と、前記割り当てられたアノテーションクラスに関する情報を出力する第２出力手順と、を有する。

【0018】

この構成によれば、対象入力データに対してモデルを実行すると、モデル本来のモデルクラスではなく、ユーザが所望するアノテーションクラスが出力されるので、アノテーションにかかる労力を軽減することができる。

【0019】

本発明の第７の態様に係るプログラムは、コンピュータに、ユーザによって登録されたアノテーション用のクラスであるアノテーションクラスと、モデルが分類するクラスであるモデルクラスとを、ユーザが関連づけられるようにする操作画面を表示するための情報を出力する第１出力手順、前記出力された情報を用いて端末によって生成された操作画面において、アノテーションクラスとモデルクラスとを関連付けるユーザ操作に応じて、当該アノテーションクラスと当該モデルクラスとを記憶装置に関連付けて記録する記録手順、ユーザの操作に応じて、対象入力データに対してモデルを実行する実行手順、前記記憶装置を参照して当該モデルの実行によって検出されたモデルクラスを対応するアノテーションクラスに置き換えて割り当てる割当手順、前記割り当てられたアノテーションクラスに関する情報を出力する第２出力手順、を実行させるためのプログラムである。

【0020】

この構成によれば、対象入力データに対してモデルを実行すると、モデル本来のモデルクラスではなく、ユーザが所望するアノテーションクラスが出力されるので、アノテーションにかかる労力を軽減することができる。

【発明の効果】

【0021】

本発明の一態様によれば、対象入力データに対してモデルを実行すると、モデル本来のモデルクラスではなく、ユーザが所望するアノテーションクラスが出力されるので、アノテーションにかかる労力を軽減することができる。

【図面の簡単な説明】

【0022】

【図1】本実施形態に係る情報処理システムの概略構成図である。

【図2】本実施形態に係るコンピュータシステムの概略構成図である。

【図3】アノテーションクラスの作成画面の一例である。

【図4】アノテーションクラスの一覧画面である。

【図5】アノテーションクラスとモデルクラスとの紐付け用の操作画面の一例である。

【図6】設定画面の一例である。

【図7】自動アノテーションの実行前設定画面の一例である。

【図8】検出結果画面の一例である。

【発明を実施するための形態】

【0023】

以下、各実施形態について、図面を参照しながら説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

【0024】

本願の発明者は、上記の課題を解決するために、ユーザによって登録されたアノテーション用のクラスであるアノテーションクラスとモデルが分類するクラスであるモデルクラスとを、ユーザが使用する操作画面上でユーザが関連付けられるようにし、モデル実行時には、モデルが出力したモデルクラスを当該モデルクラスに関連付けられたアノテーションクラスに置き換えて出力することを着想した。

【0025】

図１は、本実施形態に係る情報処理システムの概略構成図である。図１に示すように、情報処理システムＳは、ユーザが使用する端末１－１、…、１－Ｎ（Ｎは自然数）と、この端末１－１、…、１－Ｎと通信回路網ＣＮを介して接続されたコンピュータシステム２と、を備える。

【0026】

端末１－１、…、１－Ｎは、モデルを使用するユーザが使用する端末であり、例えば、多機能携帯電話（いわゆるスマートフォン）などの携帯電話、タブレット、ノートパソコン、またはデスクトップパソコンなどである。端末１－１、…、１－Ｎを総称して端末１という。

【0027】

コンピュータシステム２は、例えばモデルのアノテーションを支援する団体（企業を含む）の管理者によって使用または管理される。コンピュータシステム２は端末１から要求に応じて処理を実行し、処理後に得られた情報を端末１に対して提供する。コンピュータシステム２は、一台のコンピュータであってもよいし、複数のコンピュータから構成されていてもよい。ここでは一例としてコンピュータシステム２は、一台のコンピュータであるものとして説明する。

【0028】

図２は、本実施形態に係るコンピュータシステムの概略構成図である。図２に示すように、コンピュータシステム２は、入力インタフェース２１と、通信モジュール２２と、記憶装置２３と、メモリ２４と、出力インタフェース２５と、プロセッサ２６とを備える。
入力インタフェース２１は、コンピュータシステム２の管理者からの入力を受け付け、受け付けた入力に応じた入力信号をプロセッサ２６へ出力する。
通信モジュール２２は、通信回路網ＣＮに接続されており、端末１と通信する。この通信は有線であっても無線であってもよいが、有線であるものとして説明する。

【0029】

記憶装置２３は例えばストレージであり、プロセッサ２６が読み出して実行するためのプログラム及び各種のデータが格納されている。
メモリ２４は、データ及びプログラムを一時的に保持する。メモリ２４は、揮発性メモリであり、例えばＲＡＭ（Random Access Memory）である。
出力インタフェース２５は、外部の装置と接続可能であり、当該外部の装置へ信号を出力可能である。

【0030】

プロセッサ２６は、記憶装置２３からプログラムをメモリ２４にロードし、当該プログラムに含まれる一連の命令を実行することによって、第１出力部２６１、記録部２６２、実行部２６３、割当部２６４、第２出力部２６５、第３出力部２６６として機能する。

【0031】

以下、端末１に表示される画面の例について図３～図８を用いて説明する。図３は、アノテーションクラスの作成画面の一例である。図３に示すようにアノテーションクラスの作成画面Ｇ１において、アノテーションされるオブジェクトを画像中でマーキングするときの形を示すタイプを選択するセレクトボックスＢ１１、アノテーションクラスの名称を入力するためのテキストボックスＢ１２、当該アノテーションクラスの値を入力するためのテキストボックスＢ１３、当該アノテーションを識別する識別色を入力するためのテキストボックスＢ１４、作成ボタンＢ１５が設けられている。また、作成ボタンＢ１５が押されると、例えば「自転車」という名称で値が「bicycle」のアノテーションクラスが作成される。

【0032】

図４は、アノテーションクラスの一覧画面である。図４のアノテーションクラスの一覧画面Ｇ２には、ユーザによって登録されたたアノテーションクラスの一覧が表示される。このアノテーションクラスの一覧として、作成時に設定された識別色、名称、値、タイプ、属性、最終更新日時の組からなる表が示されている。また、「アノテーションクラスを作成」ボタンＢ２１が設けられており、このボタンＢ２１が押されると、画面が図３の作成画面に遷移する。

【0033】

図５は、アノテーションクラスとモデルクラスとの紐付け用の操作画面の一例である。図５の操作画面Ｇ３には、モデルを選択するためのセレクトボックスＢ３１、アノテーションクラスを選択するためのラジオボタンＢ３２、モデルクラスを選択するためのチェックボックスＢ３３、保存ボタンＢ３４が表示される。

【0034】

この操作画面Ｇ３を表示するために、第１出力部２６１は、ユーザによって登録されたアノテーション用のクラスであるアノテーションクラスと、モデルが分類するクラスであるモデルクラスとを、ユーザが関連づけられるようにする操作画面（例えば図５参照）を表示するための情報を出力する。

【0035】

図５において、ユーザは、モデルを選択し、アノテーションクラスを１つ選択し、選択したアノテーションモデルに紐付けるモデルクラスを１つ以上選択して保存ボタンＢ３４を押下する。

【0036】

保存ボタンＢ３４が押された場合、記録部２６２は、前記出力された情報を用いて端末１によって生成された操作画面Ｇ３において、アノテーションクラスとモデルクラスとを関連付けるユーザ操作に応じて、当該アノテーションクラスと当該モデルクラスとを記憶装置２３に関連付けて記録する。これにより、アノテーションクラスとモデルクラスは１：１または１：複数で紐づけられる。

【0037】

より詳細には記録部２６２は例えば、操作画面Ｇ３においてアノテーションクラスとモデルクラスとを関連付けるユーザ操作に加えて複数のモデルから対象となるモデルを選択するユーザ操作に応じて、前記対象となるモデルについて、当該アノテーションクラスと当該モデルクラスとを記憶装置に関連付けて記録する。これにより、選択したモデルにおいて、アノテーションクラスとモデルクラスは１：１または１：複数で紐づけられる。この場合において、実行部は、ユーザの操作に応じて、前記対象入力データに対して当該ユーザが選択したモデルを実行する。そして割当部は、前記記憶装置を参照して前記ユーザによって選択されたモデルの実行によって検出されたモデルクラスを対応するアノテーションクラスに置き換えて割り当てる。

【0038】

この構成によれば、複数のモデルが選択可能な場合において、対象となるモデルについて当該アノテーションクラスと当該モデルクラスとを記憶装置に関連付けて記録するので、対象となるモデルを実行によって検出されるモデルクラスをアノテーションクラスに置き換えて割り当てることができる。

【0039】

図６は、設定画面の一例である。図６の設定画面Ｇ４には、図５の操作画面Ｇ３におけるユーザ操作によって紐づけられたアノテーションクラスとモデルクラスの紐付け一覧が表示される。図６の設定画面Ｇ４には、「自動アノテーションを実行」ボタンＢ４１が設けられている。この「自動アノテーションを実行」ボタンＢ４１が押された場合、次に示す図７の実行前設定画面Ｇ５が例えばポップアップで表示される。

【0040】

図７は、自動アノテーションの実行前設定画面の一例である。図７の実行前設定画面Ｇ５において、例えばモデルを選択するためのセレクトボックスＢ５１、信頼度スコアを選択するためのセレクトボックスＢ５２が設けられている。ここで設定された信頼度スコア（例えばモデルが出力する分類の確からしさを表す０～１の値）を超えた結果のみアノテーションデータとして使用される。

【0041】

実行前設定画面Ｇ５において、「自動アノテーションを実行」というリンクＢ５６が設けられている。実行部２６３は、ユーザの操作（例えば図７の「自動アノテーションを実行」というリンクＢ５６の選択）に応じて、対象入力データ（例えば対象画像データ）に対してモデルを実行する。

【0042】

割当部２６４は、記憶装置２３を参照して当該モデルの実行によって検出されたモデルクラスを対応するアノテーションクラスに置き換えて割り当てる。
第２出力部２６５は、割り当てられたアノテーションクラスに関する情報を出力する。

【0043】

本実施形態では、上記のモデルは例えば、画像中のオブジェクトを検出するオブジェクト検出モデルであり、その場合、各部は例えば以下の処理を実行する。実行部２６３は、ユーザの操作に応じて、対象画像に対してオブジェクト検出モデルを実行する。割当部２６４は、記憶装置２３を参照して当該オブジェクト検出モデルの実行によって検出されたオブジェクトそれぞれに対して、当該オブジェクト検出モデルの実行によって検出されたモデルクラスを対応するアノテーションクラスに置き換えて割り当てる。第２出力部２６５は、対象画像中で検出されたオブジェクトそれぞれについて割り当てられたアノテーションクラスを当該ユーザが視覚によって識別可能に表示するための情報を出力する。

【0044】

これにより、対象画像中でオブジェクト検出モデル検出されたオブジェクトそれぞれについて割り当てられたアノテーションクラスが表示されるので、アノテーションクラスを割り当てる労力を軽減することができる。

【0045】

これによって例えば図８に示す検出画面が出力される。図８は、検出結果画面の一例である。図８の検出結果画面Ｇ６に示すように、対象画像において、抽出された歩行者の領域Ｒ６１、Ｒ６２と自転車の領域Ｒ６３が別々の色で矩形で示され、それぞれの領域に歩行者、自転車の凡例（またはラベル）が付与される。図８の保存ボタンＢ６４が押下されると、このアノテーションに関する情報が記憶装置２３に保存される。

【0046】

ここで、ユーザは、別の操作画面（図示せず）において、アノテーション対象のデータに対して、ステータス及び／またはタグを付すことができる。
図７に戻って図７の実行前設定画面Ｇ５において、ステータスを選択するためのセレクトボックスＢ５３が設けられている。これにより、ユーザは、アノテーション対象のデータをステータスで絞りこむことができる。また図７の実行前設定画面Ｇ５において、タグを選択するためのセレクトボックスＢ５４が設けられている。これにより、ユーザは、アノテーション対象のデータをタグで絞りこむことができる。

【0047】

この機能を実現するために、第３出力部２６６は、対象入力データのステータス及び／またはタグを入力可能な入力画面を表示するための情報を出力する。そして実行部２６３は、ユーザによって入力されたステータス及び／またはタグが付与された対象入力データに対して、前記モデルを実行する。

【0048】

また図７の実行前設定画面Ｇ５において、「既存のアノテーションを上書きする」か否かを選択するためのトグルボタンＢ５５が設けられている。
「既存のアノテーションを上書きする」が選択されている場合、先に第１のオブジェクト検出モデルによって検出されたオブジェクトに割り当てられたアノテーションクラスは削除され、第２のオブジェクト検出モデルによって検出されたオブジェクトに割り当てられたアノテーションクラスだけが出力される。
一方、「既存のアノテーションを上書きする」が選択されている場合、先に第１のオブジェクト検出モデルによって検出されたオブジェクトに割り当てられたアノテーションクラスは削除されずに残り、第２のオブジェクト検出モデルによって検出されたオブジェクトに割り当てられたアノテーションクラスとともに出力される。

【0049】

この機能を実現するために、第３出力部２６６は、対象画像に含まれるオブジェクトに対して既に割り当てられたアノテーションクラスを上書きしないように選択可能な設定画面（例えば図７の実行前設定画面Ｇ５）を表示するための情報を出力する。
この設定画面（例えば図７の実行前設定画面Ｇ５）において対象画像について既に割り当てられたアノテーションクラスを上書きしないことがユーザによって選択された場合、実行部２６３は、ユーザの操作に応じて、第１のオブジェクト検出モデルを実行し、割当部２６４は、前記記憶装置を参照して前記第１のオブジェクト検出モデルの実行によって検出されたオブジェクトそれぞれに対して第１モデルクラスを対応する第１アノテーションクラスに置き換えて割り当る。さらに実行部２６３は、ユーザの操作に応じて、第２のオブジェクト検出モデルを実行し、割当部２６４は、前記第１アノテーションクラスの割り当てに加えて、記憶装置２３を参照して前記第１のオブジェクト検出モデルの実行によって検出されたオブジェクトそれぞれに対して第１モデルクラスを対応する第１アノテーションクラスに置き換えて割り当てる。

【0050】

これにより、第１のオブジェクト検出モデルを用いたアノテーション結果と、第２のオブジェクト検出モデルを用いたアノテーション結果の両方が出力されるので、複数のオブジェクト検出モデルを用いたアノテーション結果を同時に表示することができる。このため、ユーザは、複数のオブジェクト検出モデルを用いたアノテーション結果を同時に把握することができる。

【0051】

以上、本実施形態に係る情報処理システムＳは、ユーザによって登録されたアノテーション用のクラスであるアノテーションクラスと、モデルが分類するクラスであるモデルクラスとを、ユーザが関連づけられるようにする操作画面を表示するための情報を出力する第１出力部を備える。
情報処理システムＳは、前記出力された情報を用いて端末によって生成された操作画面において、アノテーションクラスとモデルクラスとを関連付けるユーザ操作に応じて、当該アノテーションクラスと当該モデルクラスとを記憶装置に関連付けて記録する記録部を備える。
情報処理システムＳは、ユーザの操作に応じて、対象入力データに対してモデルを実行する実行部２６３を備える。
情報処理システムＳは、記憶装置２３を参照して当該モデルの実行によって検出されたモデルクラスを対応するアノテーションクラスに置き換えて割り当てる割当部２６４を備える。
情報処理システムＳは、対象入力データに対して割り当てられたアノテーションクラスに関する情報を出力する第２出力部２６５を備える。

【0052】

この構成によれば、対象入力データに対してモデルを実行すると、モデル本来のモデルクラスではなく、ユーザが所望するアノテーションクラスが出力されるので、アノテーションにかかる労力を軽減することができる。

【0053】

なお、上述した実施形態で説明したコンピュータシステム２の少なくとも一部は、ハードウェアで構成してもよいし、ソフトウェアで構成してもよい。ソフトウェアで構成する場合には、コンピュータシステム２の少なくとも一部の機能を実現するプログラムをコンピュータ読み取り可能な記録媒体に収納し、コンピュータに読み込ませて実行させてもよい。記録媒体は、磁気ディスクや光ディスク等の着脱可能なものに限定されず、ハードディスク装置やメモリなどの固定型の記録媒体でもよい。

【0054】

また、コンピュータシステム２の少なくとも一部の機能を実現するプログラムを、インターネット等の通信回線（無線通信も含む）を介して頒布してもよい。さらに、同プログラムを暗号化したり、変調をかけたり、圧縮した状態で、インターネット等の有線回線や無線回線を介して、あるいは記録媒体に収納して頒布してもよい。

【0055】

さらに、一つまたは複数の情報機器によってコンピュータシステム２を機能させてもよい。複数の情報機器を用いる場合、そのうちの１つをコンピュータとし、当該コンピュータが所定のプログラムを実行することによりコンピュータシステム２の少なくとも１つの手段として機能が実現されてもよい。コンピュータシステム２の一部または全部の機能が端末１で実現されてもよい。

【0056】

また、方法の発明においては、全ての工程（ステップ）をコンピュータによって自動制御で実現するようにしてもよい。また、各工程をコンピュータに実施させながら、工程間の進行制御を人の手によって実施するようにしてもよい。また、さらには、全工程のうちの少なくとも一部を人の手によって実施するようにしてもよい。

【0057】

以上、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

【符号の説明】

【0058】

１ 端末
２ コンピュータシステム
２１ 入力インタフェース
２２ 通信モジュール
２３ 記憶装置
２４ メモリ
２５ 出力インタフェース
２６ プロセッサ
２６１ 第１出力部
２６２ 記録部
２６３ 実行部
２６４ 割当部
２６５ 第２出力部
２６６ 第３出力部
Ｓ 情報処理システム

【要約】      （修正有）

【課題】アノテーションにかかる労力を軽減する。
【解決手段】コンピュータシステムのプロセッサは、ユーザによって登録されたアノテーション用のクラスであるアノテーションクラスと、モデルが分類するクラスであるモデルクラスとを、ユーザが関連づけられるようにする操作画面を表示するための情報を出力する第１出力部と、出力された情報を用いて端末によって生成された操作画面において、アノテーションクラスとモデルクラスとを関連付けるユーザ操作に応じて、当該アノテーションクラスと当該モデルクラスとを記憶装置に関連付けて記録する記録部と、ユーザの操作に応じて、対象入力データに対してモデルを実行する実行部と、記憶装置を参照して当該モデルの実行によって検出されたモデルクラスを対応するアノテーションクラスに置き換えて割り当てる割当部と、当該割り当てられたアノテーションクラスに関する情報を出力する第２出力部と、を備える。
【選択図】図２

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】