特許 6937282 アノテーション支援システム、アノテーション支援装置およびアノテーション支援方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6937282

(24)【登録日】2021年9月1日

(45)【発行日】2021年9月22日

(54)【発明の名称】アノテーション支援システム、アノテーション支援装置およびアノテーション支援方法

(51)【国際特許分類】

   G06F 16/58 20190101AFI20210909BHJP

【ＦＩ】

   G06F16/58

【請求項の数】5

【全頁数】11

(21)【出願番号】特願2018-173400(P2018-173400)

(22)【出願日】2018年9月18日

(65)【公開番号】特開2020-46809(P2020-46809A)

(43)【公開日】2020年3月26日

【審査請求日】2020年8月3日

(73)【特許権者】

【識別番号】000153443

【氏名又は名称】株式会社 日立産業制御ソリューションズ

(74)【代理人】

【識別番号】110001807

【氏名又は名称】特許業務法人磯野国際特許商標事務所

(72)【発明者】

【氏名】和久井 一則

(72)【発明者】

【氏名】三沢 博章

(72)【発明者】

【氏名】古川 博基

【審査官】 鹿野 博嗣

(56)【参考文献】

【文献】 特開平１０−１８７９２８（ＪＰ，Ａ）

【文献】 特開２０００−３００４１（ＪＰ，Ａ）

【文献】 特開２００６−３００７６７（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ １６／５８

(57)【特許請求の範囲】

【請求項1】

アノテーションを実行する対象を示すアノテーション対象を撮像するカメラ装置と、 前記アノテーション対象に光を照射する光照射装置と、前記カメラ装置および前記光照射装置に通信接続されるアノテーション支援装置とを有し、
前記アノテーション支援装置は、
前記アノテーション対象に付与する正解情報の種類それぞれに紐付けた、前記光照射装置により照射する光の種類を示す光-正解対応情報が記憶される記憶手段と、
前記カメラ装置から、前記アノテーション対象を撮像した画像および前記アノテーション対象に光を照射した画像を受信する画像取得手段と、
前記アノテーション対象を撮像した画像を取得し、当該画像における、１つ以上のアノテーション対象およびその領域を認識し、前記光-正解対応情報を参照して、前記認識したアノテーション対象に付与する正解情報に紐付く光の種類を抽出し、前記抽出した光の種類および前記領域を指定して前記光照射装置に送信することにより、当該１つ以上のアノテーション対象に光照射させる光指定手段と、
前記アノテーション対象に光を照射した画像を取得し、前記１つ以上のアノテーション対象ごとに、当該画像で示される光の種類に基づき前記光-正解対応情報を参照して前記正解情報を抽出するとともに、当該画像上の光で特定されるアノテーション対象の画像中の位置を示す領域情報を取得する領域情報取得手段と、
前記アノテーション対象を撮像した画像ごとに、当該画像上の前記１つ以上のアノテーション対象それぞれについて、前記抽出した正解情報と、前記取得した領域情報とを対応付けることによりアノテーション済みデータを生成し、前記記憶手段に記憶するアノテーション処理手段と、
を備えることを特徴とするアノテーション支援システム。

【請求項2】

前記光照射装置を複数備え、
前記光指定手段は、複数のアノテーション対象を認識した場合に、各アノテーション対象について前記抽出した光の種類および前記領域を、複数の光照射装置に振り分けて指定し、各アノテーション対象に光照射させること
を特徴とする請求項１に記載のアノテーション支援システム。

【請求項3】

前記光照射装置が照射する光は、レーザ光であり、
前記光照射装置により照射される前記光の種類は、光の色、および、前記アノテーション対象の位置を特定するため光の照射により示される形状であること
を特徴とする請求項１または請求項２に記載のアノテーション支援システム。

【請求項4】

アノテーションを実行する対象を示すアノテーション対象を撮像するカメラ装置と、前記アノテーション対象に光を照射する光照射装置とに通信接続されるアノテーション支援装置であって、
前記アノテーション対象に付与する正解情報の種類それぞれに紐付けた、前記光照射装置により照射する光の種類を示す光-正解対応情報が記憶される記憶手段と、
前記カメラ装置から、前記アノテーション対象を撮像した画像および前記アノテーション対象に光を照射した画像を受信する画像取得手段と、
前記アノテーション対象を撮像した画像を取得し、当該画像における、１つ以上のアノテーション対象およびその領域を認識し、前記光-正解対応情報を参照して、前記認識したアノテーション対象に付与する正解情報に紐付く光の種類を抽出し、前記抽出した光の種類および前記領域を指定して前記光照射装置に送信することにより、当該１つ以上のアノテーション対象に光照射させる光指定手段と、
前記アノテーション対象に光を照射した画像を取得し、前記１つ以上のアノテーション対象ごとに、当該画像で示される光の種類に基づき前記光-正解対応情報を参照して前記正解情報を抽出するとともに、当該画像上の光で特定されるアノテーション対象の画像中の位置を示す領域情報を取得する領域情報取得手段と、
前記アノテーション対象を撮像した画像ごとに、当該画像上の前記１つ以上のアノテーション対象それぞれについて、前記抽出した正解情報と、前記取得した領域情報とを対応付けることによりアノテーション済みデータを生成し、前記記憶手段に記憶するアノテーション処理手段と、
を備えることを特徴とするアノテーション支援装置。

【請求項5】

アノテーションを実行する対象を示すアノテーション対象を撮像するカメラ装置と、前記アノテーション対象に光を照射する光照射装置とに通信接続されるアノテーション支援装置のアノテーション支援方法であって、
前記アノテーション支援装置は、
前記アノテーション対象に付与する正解情報の種類それぞれに紐付けた、前記光照射装置により照射する光の種類を示す光-正解対応情報が記憶される記憶手段を備えており、
前記カメラ装置から、前記アノテーション対象を撮像した画像を受信するステップと、
前記アノテーション対象を撮像した画像を取得し、当該画像における、１つ以上のアノテーション対象およびその領域を認識し、前記光-正解対応情報を参照して、前記認識したアノテーション対象に付与する正解情報に紐付く光の種類を抽出し、前記抽出した光の種類および前記領域を指定して前記光照射装置に送信することにより、当該１つ以上のアノテーション対象に光照射させるステップと、
前記カメラ装置から、前記アノテーション対象に光を照射した画像を受信するステップと、
前記アノテーション対象に光を照射した画像を取得し、前記１つ以上のアノテーション対象ごとに、当該画像で示される光の種類に基づき前記光-正解対応情報を参照して前記正解情報を抽出するとともに、当該画像上の光で特定されるアノテーション対象の画像中の位置を示す領域情報を取得するステップと、
前記アノテーション対象を撮像した画像ごとに、当該画像上の前記１つ以上のアノテーション対象それぞれについて、前記抽出した正解情報と、前記取得した領域情報とを対応付けることによりアノテーション済みデータを生成し、前記記憶手段に記憶するステップと、
を実行することを特徴とするアノテーション支援方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、アノテーション支援システム、アノテーション支援装置およびアノテーション支援方法に関する。

【背景技術】

【0002】

あるデータに対して、注釈となり得る情報を、タグやメタデータとして付加することをアノテーションという。このアノテーションに関する技術として特許文献１に記載の技術がある。

【0003】

特許文献１には、「サーバが、データベースを備えている写真データによって、２つの端末に同じ写真を同時に表示し、コンピュータがその写真中の位置を指定したとき、テレビ電話では、その指定した位置の人物の顔や物に被介護者が注目するような映像処理を実行する。たとえば、コンピュータが指定した位置が顔領域であったとき、コンピュータからサーバを介して送られるズームアップコマンドに応答して、その顔領域を画面いっぱいに表示する（ズームアップ）。介護者端末と被介護者端末とに同じ写真を表示し、しかも被介護者に注目させたい領域をズームアップするので、被介護者も同じ人や物を確実に見ることになり、介護者と被介護者との間での写真の取り違えのような事態が起こらず、正確なアノテーションを収集できる。」と記載されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００７−１５０９５５号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ディープラーニングなどの機械学習のための学習データを準備するため、画像にアノテーションを数千から数万枚分実施する必要がある。アノテーションを実施する際には、対象物を撮影し、作業者がＰＣ上のソフトウェアにより撮影画像を表示して、画像上の対象物のエリアを指定し、タグ情報を入力する。そのとき、ソフトウェアのＵＩ（User Interface）の工夫や文字入力を選択式にするなどの工夫をし、対象領域の検出をソフトウェアで行い対応していた。

【0006】

しかしながら、対象物撮影者とアノテーション実施者との相違による作業ミスや、対象領域の人手での選択、対象領域の自動検出精度の不足による手直し作業などが発生すること、該当箇所にタグを付与する作業が発生すること等により、アノテーションに関する作業量が負担になっていた。

【0007】

上記した特許文献１においても、介護者が、写真中の人物の顔やオブジェクトの領域を複数個指定する作業は手作業により行われている。このように作業者が写真を選択し、モニタに表示された写真中の人物や顔やオブジェクト（物）に対し、その領域を指定して、領域ごとに人物やオブジェクトの情報を入力して保存するような作業を、機械学習のための学習データの作成においては、その必要な分量（数千枚〜数万枚）繰り返し実施する必要がある。そのため、その作業量が大きな負担になっていた。

【0008】

本発明は、上記問題に鑑みてなされたものであり、画像へのアノテーションの作業量を低減することができる、アノテーション支援システム、アノテーション支援装置およびアノテーション支援方法を提供することを課題とする。

【課題を解決するための手段】

【0009】

前記課題を達成するため、本発明のアノテーション支援システムは、アノテーション支援装置に、アノテーション対象に付与する正解情報の種類それぞれに紐付けた、光照射装置により照射する光の種類を示す光-正解対応情報が記憶される記憶手段と、アノテーション対象に対応した光の種類および領域を指定して光照射装置に送信することにより、当該アノテーション対象に光照射させる光指定手段と、アノテーション対象に光を照射した画像を取得し、アノテーション対象ごとに、当該画像で示される光の種類に基づき光-正解対応情報を参照して正解情報を抽出するとともに、当該画像上の光で特定されるアノテーション対象の画像中の位置を示す領域情報を取得する領域情報取得手段と、アノテーション対象を撮像した画像ごとに、当該画像上のアノテーション対象それぞれについて、抽出した正解情報と、取得した領域情報とを対応付けることによりアノテーション済みデータを生成するアノテーション処理手段と、を備えるものとした。

【発明の効果】

【0010】

本発明によれば、画像へのアノテーションの作業量を低減する、アノテーション支援システム、アノテーション支援装置およびアノテーション支援方法を提供することができる。

【図面の簡単な説明】

【0011】

【図1】本実施形態に係るアノテーション支援システムの全体構成を示す図である。

【図2】アノテーションの対象物を撮像した画像の一例を示す図である。

【図3】本実施形態に係る光-正解対応情報のデータ構成例を示す図である。

【図4】光照射装置がアノテーションの対象物に光を照射した状態を示す図である。

【図5】光照射装置がアノテーションの対象物に光を照射した状態を撮像した画像の一例を示す図である。

【図6】本実施形態に係るアノテーション済みデータのデータ構成例を示す図である。

【図7】本実施形態に係るアノテーション支援システムが実行する処理の流れを示すフローチャートである。

【発明を実施するための形態】

【0012】

以下、本発明の実施形態（以下、「本実施形態」と称する。）について図面を参照して詳細に説明する。
図１は、本実施形態に係るアノテーション支援システム１の全体構成を示す図である。
図１に示すように、アノテーション支援システム１は、アノテーション支援装置１００と、カメラ装置２００と、光照射装置３００とを含んで構成される。
アノテーション支援システム１では、アノテーションによりデータに付与するメタデータとしての正解情報（詳細は後記）に紐付けられた光（光の種類）を、光照射装置３００が対象物に照射し、その光を含む対象物をカメラ装置２００が撮像し、画像をアノテーション支援装置１００に送信する。アノテーション支援装置１００は、取得した画像に関し、アノテーション実施箇所を光（光の種類）により識別し、光により特定するアノテーション対象の領域情報と、光の種類で特定される正解情報とを用いてアノテーションを実行する（詳細は後記）。
これにより、本実施形態に係るアノテーション支援システム、アノテーション支援装置およびアノテーション支援方法によれば、画像撮影時にアノテーションを自動で実行することが可能になり、画像へのアノテーションの作業量を低減することができる。

【0013】

＜アノテーション支援システムの構成＞
以下、アノテーション支援システム１を構成する各装置について説明する。
アノテーション支援装置１００は、カメラ装置２００と光照射装置３００と通信可能に接続され、アノテーションの対象物に、光照射装置３００により正解情報に紐付けた光を照射させ、その光を含む対象物をカメラ装置２００が撮像した画像を用いて、アノテーションを実行する装置である。
このアノテーション支援装置１００は、制御部、入出力部および記憶部（いずれも図示省略）を備える一般的なコンピュータにより構成される。入出力部は、カメラ装置２００、光照射装置３００等との間で、情報の送受信を行う通信インタフェースにより構成される。

【0014】

記憶部は、ハードディスクやフラッシュメモリ、ＲＡＭ（Random Access Memory）等により構成される。この記憶部には、後記する、光-正解対応ＤＢ１６（記憶手段）およびアノテーション済みデータＤＢ１７（記憶手段）が格納される。

【0015】

制御部は、図１に示すように、光情報設定手段１０と、光-正解情報設定手段１１と、光指定手段１２と、画像取得手段１３と、領域情報取得手段１４と、アノテーション処理手段１５と、を含んで構成される。

【0016】

光情報設定手段１０は、アノテーションによりデータに付与するメタデータの対象となる情報（正解情報）分の光の種類（例えば、色、および、光の照射により対象物の周囲（位置）を示すための形状）の設定を行う。
例えば、図２に示すような、画像４００が撮像され、画像４００には、傷４１と物体４２が映っているものとする。この場合、光情報設定手段１０は、光の種類として、「赤色（後記する図４，図５において点線で示す。）の四角」と、「緑色（後記する図４，図５において一点鎖線で示す。）の四角」の２種類を設定する。この光の種類の設定は、後記するメタデータの対象となる情報（正解情報）の数分の種類が設定される。

【0017】

図１に戻り、光-正解情報設定手段１１は、光情報設定手段１０が設定した光の種類と、アノテーションによりデータに付与するメタデータとしての正解情報（例えば、図２で示す、傷４１，物体４２）とを紐付けて、光-正解対応情報１６０（図３参照）を生成し、光-正解対応ＤＢ１６に格納する。

【0018】

図３は、本実施形態に係る光-正解対応情報１６０のデータ構成例を示す図である。
光-正解対応情報１６０は、例えば、光（光の種類）「赤色の四角」に対応する正解情報として「傷」、光（光の種類）「緑色の四角」に対応する正解情報として「物体」が、光-正解対応ＤＢ１６に登録される。なお、光（光の種類）は、上記のように、例えば、光の色とアノテーション対象の位置を特定するため光の照射により示される形状とにより構成される。

【0019】

図１に戻り、光指定手段１２は、画像取得手段１３からカメラ装置２００が撮像した画像を取得し、従来の画像処理技術を用いて、撮像された対象（アノテーション対象）とその領域を認識する。ここでは、光指定手段１２は、図２に示す画像４００を取得した場合には、傷４１と物体４２とをアノテーション対象として認識するとともに、その領域（領域情報）を認識する。
そして、光指定手段１２は、撮像された対象が、光-正解対応ＤＢ１６に格納された光-正解対応情報１６０（図３）で示される正解情報のいずれに該当するかを判定し、判定した正解情報に紐付く光の種類を指定する。光指定手段１２は、撮像された対象（アノテーション対象）について、指定した光の種類と、その領域の情報（領域情報）とを、光照射装置３００に送信する。

【0020】

光照射装置３００は、光指定手段１２により指定された光の種類（色、形状）および領域情報に基づき、アノテーション対象を示す領域を、光（レーザ光）により照射する。光照射装置３００は、レーザ光の色や形状を変えることで、多種のアノテーション対象の識別を可能にする。
例えば、図４に示すように、傷４１の領域には、赤色（図では「点線」で示す。）の四角（図４の符号４１０）を照射する。物体４２の領域には緑色（図では「一点鎖線」で示す。）の四角（図４の符号４２０）を照射する。
光照射装置３００がレーザ光を用いることにより、明瞭な形状（四角等）を物体に照射でき、このレーザ光を画像で撮像したときにその形状で示される領域（四角の領域）を確実に認識することが可能となる。

【0021】

図１に戻り、カメラ装置２００は、対象物（アノテーション対象）を撮像し、その画像（光照射前の画像）の情報をアノテーション支援装置１００（画像取得手段１３）に送信する。また、カメラ装置２００は、光照射装置３００が照射した光（レーザ光）を含む対象物（アノテーション対象）を撮像し、その画像の情報をアノテーション支援装置１００（画像取得手段１３）に送信する。

【0022】

画像取得手段１３は、対象物（アノテーション対象）を撮像した画像（光照射前の画像）の情報を取得（受信）すると、その画像の情報を光指定手段１２に出力する。
また、画像取得手段１３は、光（レーザ光）が照射された対象物（アノテーション対象）の画像の情報を取得（受信）すると、その画像の情報を領域情報取得手段１４に出力する。

【0023】

領域情報取得手段１４は、取得した画像について、画像処理することにより、光の種類（光の色と形）、および、画像上の光による領域情報（位置（座標）の情報）を抽出する。
例えば、領域情報取得手段１４は、図５に示す画像４００Ａ（画像４００に光照射した画像を画像４００Ａとする。）を取得し、傷４１の領域４１０の画像４００Ａ上の座標情報４１０ａ（ｘ１，ｙ１），４１０ｂ（ｘ２，ｙ２）、および、領域４１０の光の種類「赤色の四角」を取得する。また、領域情報取得手段１４は、物体４２の領域４２０の画像４００Ａ上の座標情報４２０ａ（ｘ３，ｙ３），４２０ｂ（ｘ４，ｙ４）、および、領域４２０の光の種類「緑色の四角」を取得する。

【0024】

図１に戻り、アノテーション処理手段１５は、領域情報取得手段１４が取得した光の種類の情報と、光の座標情報を用いてアノテーションを実行する。
具体的には、アノテーション処理手段１５は、領域情報取得手段１４が取得した画像上のアノテーション対象についての光の種類に基づき、光-正解対応ＤＢ１６に設定した光-正解対応情報１６０（図３）を参照し、正解情報（ここでは、「傷」、「物体」）を抽出する。そして、アノテーション処理手段１５は、その画像について、抽出した正解情報をアノテーション対象として確定し、その座標情報を対応付けたアノテーション済みデータ１７０を生成する（図６参照）。アノテーション処理手段１５は、生成したアノテーション済みデータ１７０をアノテーション済みデータＤＢ１７に格納する。

【0025】

図６は、本実施形態に係るアノテーション済みデータ１７０のデータ構成例を示す図である。
アノテーション処理手段１５は、撮影した画像（画像Ｎｏ．）ごとに、アノテーション対象とその座標（座標情報）とを格納する。
例えば、図６に示すように、撮影した画像（画像４００）に対応付けて、アノテーション対象として、光の種類（赤色の四角）で特定された正解情報で示される「傷」、座標（ｘ１，ｙ１）（ｘ２，ｙ２）が格納される。また、撮影した画像（画像４００）に対応付けて、アノテーション対象として、光の種類（緑色の四角）で特定された正解情報で示される「物体」、座標（ｘ３，ｙ３）（ｘ４，ｙ４）が格納される。

【0026】

このように、本実施形態に係るアノテーション支援システム１によれば、取得した画像に関し、アノテーション対象を光により識別し、光により特定するアノテーション対象の座標情報と、光の種類で特定される正解情報とを用いてアノテーションを実行することができる。

【0027】

なお、本実施形態において光照射装置３００は、複数の光源（複数の光照射装置３００）をもつようにしてもよい。この場合、アノテーション支援装置１００の光指定手段１２は、認識された複数のアノテーション対象に対して、光の種類とその領域情報とを、各光源に対応付けて（振り分けて）指定し、光照射装置３００に送信する。これにより、光照射装置３００が一度に複数のアノテーション対象へのレーザ光の照射を可能とすることができ、アノテーションの処理時間を短縮することが可能となる。

【0028】

また、本実施形態においてアノテーション支援装置１００の光指定手段１２は、従来の画像処理技術を用いて、取得した画像からアノテーション対象とその領域を認識し、光の種類と領域情報とを光照射装置３００に指定するようにした。
しかしながら、本実施形態に係るアノテーション支援システム１の対象物についてのアノテーション処理によって、学習用データが十分に蓄積された場合には、そのデータを用いた機械学習を行い、正解情報（アノテーション対象）とその領域を認識するモデルを生成して利用するようにしてもよい。これにより、作業効率の更なる向上を図ることが可能となる。

【0029】

また、上記したアノテーション支援システム１においては、アノテーション支援装置１００が一般的なＰＣで構成されており、ローカルな環境でシステムを構築するものとして説明した。
しかしながら、アノテーション支援システム１は、これに限定されず、例えば、アノテーション支援装置１００が備える各手段をクラウド上で構築し、カメラ装置２００や光照射装置３００との間で、ネットワークを介して情報を送受信することにより、実現するようにしてもよい。

【0030】

＜処理の流れ＞
次に、アノテーション支援システム１が実行する処理の流れについて説明する。
図７は、本実施形態に係るアノテーション支援システム１が実行する処理の流れを示すフローチャートである。
なお、アノテーション支援装置１００の光情報設定手段１０により、アノテーションによりデータに付与する正解情報（アノテーション対象）分の光（光の種類）の設定が予め行われ、光-正解情報設定手段１１が、光の種類とその光の種類に紐付けた正解情報とを示す光-正解対応情報１６０（図３）を生成し、光-正解対応ＤＢ１６（図１）に格納してあるものとする。

【0031】

まず、カメラ装置２００が、アノテーションの対象物の撮像を行う（ステップＳ１）。そして、カメラ装置２００は、撮像した画像の情報を、アノテーション支援装置１００に送信する。

【0032】

アノテーション支援装置１００の画像取得手段１３は、カメラ装置２００から画像の情報を取得（受信）すると、その画像を光指定手段１２に出力する。
光指定手段１２は、画像処理技術を用いて、撮像された対象（アノテーション対象）とその領域を認識（抽出）する。そして、光-正解対応ＤＢ１６に格納された光-正解対応情報１６０を参照し、撮像された対象に対応する光（光の種類）を指定し（ステップＳ２）、指定した光の種類（色、形状）と、その領域の情報（領域情報）とを、光照射装置３００に送信する。

【0033】

次に、光照射装置３００は、アノテーション対象について、指定された光の種類（色、形状）でその領域に光（レーザ光）を照射する（ステップＳ３）。
続いて、光照射装置３００は、アノテーション対象として抽出したもののうち、光が未照射のアノテーション対象があるか否かを判定する（ステップＳ４）。そして、未照射のアノテーション対象があれば（ステップＳ４→Ｙｅｓ）、ステップＳ２に戻り、処理を続ける。一方、未照射のアノテーション対象がなければ（ステップＳ４→Ｎｏ）、次のステップＳ５に進む。

【0034】

ステップＳ５において、カメラ装置２００は、光が照射された状態のアノテーションの対象物（アノテーション対象）を撮像する。そして、カメラ装置２００は、撮像した画像の情報を、アノテーション支援装置１００に送信する。

【0035】

アノテーション支援装置１００の画像取得手段１３は、カメラ装置２００から光が照射された状態のアノテーションの対象物（アノテーション対象）を撮像した画像の情報を取得（受信）すると、その画像の情報を領域情報取得手段１４に出力する。
領域情報取得手段１４は、取得した画像の情報について画像処理することにより、光の種類および画像上の光で示される領域情報を抽出する（ステップＳ６）。

【0036】

続いて、アノテーション処理手段１５は、撮像した画像におけるアノテーション対象ごとに、領域情報取得手段１４が抽出した光の種類に基づき、光-正解対応情報１６０（図３）を参照することにより正解情報を抽出する。アノテーション処理手段１５は、その画像について、抽出した正解情報をアノテーション対象として確定し、その座標情報を対応付けたアノテーション済みデータ１７０（図６）を生成する（ステップＳ７）。そして、アノテーション処理手段１５は、生成したアノテーション済みデータ１７０を、アノテーション済みデータＤＢ１７に格納して処理を終える。

【0037】

以上説明したように、本実施形態に係る、アノテーション支援システム、アノテーション支援装置およびアノテーション支援方法によれば、画像撮影時にアノテーションを自動で実行することが可能になり、画像へのアノテーションの作業量を低減することができる。

【0038】

また、本実施形態によれば、アノテーションを実施したデータがアノテーション済みデータ１７０（図６）としてアノテーション済みデータＤＢ１７に格納されるため、アノテーション実施直後に当該情報を利用して、情報端末にアノテーションの実施結果を表示し、作業者による確認を行うことができる。このように、アノテーションと同時に作業者による確認を行い、修正があればそのタイミングで行うことにより、手戻り作業を削減でき、作業効率を向上させることが可能となる。
例えば、製品の傷を検査する外観検査などにおいて、画像上の製品の傷に対する機械学習によるシステムを構築する場合などに本実施形態を適用することができる。その場合、製品の傷に対するアノテーションを撮像のタイミングで行い、その時点で作業者がアノテーションの実施結果を確認することにより手戻り作業を削減でき、学習データ作成における大幅な作業量の削減を図ることができる。

【0039】

なお、本発明は上記した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

【0040】

また、上記の各構成は、それらの一部または全部が、ハードウェアで構成されても、プロセッサでプログラムが実行されることにより実現されるように構成されてもよい。また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

【符号の説明】

【0041】

１ アノテーション支援システム
１０ 光情報設定手段
１１ 光-正解情報設定手段
１２ 光指定手段
１３ 画像取得手段
１４ 領域情報取得手段
１５ アノテーション処理手段
１６ 光-正解対応ＤＢ（記憶手段）
１７ アノテーション済みデータＤＢ（記憶手段）
１００ アノテーション支援装置
１６０ 光-正解対応情報
１７０ アノテーション済みデータ
２００ カメラ装置
３００ 光照射装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】