特許 7580947 情報処理装置、制御方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-01

(45)【発行日】2024-11-12

(54)【発明の名称】情報処理装置、制御方法およびプログラム

(51)【国際特許分類】

   G06N 20/00 20190101AFI20241105BHJP

【ＦＩ】

G06N20/00 130

G06N20/00

【請求項の数】 16

(21)【出願番号】P 2020103338

(22)【出願日】2020-06-15

(65)【公開番号】P2021196904

(43)【公開日】2021-12-27

【審査請求日】2023-06-01

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100126240

【弁理士】

【氏名又は名称】阿部 琢磨

(74)【代理人】

【識別番号】100223941

【弁理士】

【氏名又は名称】高橋 佳子

(74)【代理人】

【識別番号】100159695

【弁理士】

【氏名又は名称】中辻 七朗

(74)【代理人】

【識別番号】100172476

【弁理士】

【氏名又は名称】冨田 一史

(74)【代理人】

【識別番号】100126974

【弁理士】

【氏名又は名称】大朋 靖尚

(72)【発明者】

【氏名】月川 剛徳

【審査官】新井 則和

(56)【参考文献】

【文献】国際公開第２０１９／１６７５５６（ＷＯ，Ａ１）

【文献】特開２００７－２８５７０５（ＪＰ，Ａ）

【文献】特開２０１２－０３８２４４（ＪＰ，Ａ）

【文献】特開２０１５－１６６９７５（ＪＰ，Ａ）

【文献】国際公開第２０２０／０８５３７９（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０１６／０１４７３９９（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ２０／００

(57)【特許請求の範囲】

【請求項1】

付与対象へのアノテーションであって、作業者からの入力に基づく第１アノテーションを取得する取得手段と、
前記取得手段により取得された前記第１アノテーションと、比較対象とする第２アノテーションとを比較する比較手段と、
前記作業者のアノテーションの付与に係る作業時間を作業量で割ることで算出される単位作業時間が閾値以上となった場合に、前記比較手段による比較に基づいて、前記作業者の認識精度の低下を判定する判定手段と、
前記作業者の認識精度の低下が前記判定手段により判定された場合、警告を行う警告手段と、を有することを特徴とする情報処理装置。

【請求項2】

前記判定手段は、前記比較手段による比較結果が前記第１アノテーションと、前記第２アノテーションとが一致しないとの結果である場合、前記作業者の認識精度が低下していると判定することを特徴とする請求項１に記載の情報処理装置。

【請求項3】

前記付与対象へのアノテーションを推定する推定手段をさらに有し、
前記第２アノテーションは、前記推定手段により推定されたアノテーションであることを特徴とする請求項１または２に記載の情報処理装置。

【請求項4】

前記推定手段は、機械学習された学習済モデルを利用して、前記付与対象へのアノテーションを推定することを特徴とする請求項３に記載の情報処理装置。

【請求項5】

前記第２アノテーションは、前記推定手段による推定の確度が第１閾値以上であるアノテーションであることを特徴とする請求項３または４に記載の情報処理装置。

【請求項6】

前記第２アノテーションは、前記第１アノテーションに係る入力より前の前記作業者からの入力に基づく、前記付与対象へのアノテーションであることを請求項１または２に記載の情報処理装置。

【請求項7】

前記付与対象は、前記推定手段による推定の確度が第２閾値以下であり、
前記第２アノテーションは、前記第１アノテーションに係る入力より前の前記作業者からの入力に基づく、前記付与対象へのアノテーションであることを請求項３または４に記載の情報処理装置。

【請求項8】

前記警告手段は、情報を表示させるまたは音を出力させることで警告を行うことを特徴とする請求項１から７のいずれか１項に記載の情報処理装置。

【請求項9】

前記警告手段は、認識精度が低下している可能性があることを示す情報または付与したアノテーションに誤りがある可能性を示す情報を表示させることを特徴とする請求項１から８のいずれか１項に記載の情報処理装置。

【請求項10】

前記警告手段は、休憩を促す情報を表示させることを特徴とする請求項１から９のいずれか１項に記載の情報処理装置。

【請求項11】

前記付与対象は、画像または文章であることを特徴とする請求項１から１０のいずれか１項に記載の情報処理装置。

【請求項12】

前記付与対象は、画像内のオブジェクトを含む領域であることを特徴とする請求項１から１１のいずれか１項に記載の情報処理装置。

【請求項13】

前記アノテーションは、前記付与対象に含まれるオブジェクトの名称であることを特徴とする請求項１から１２のいずれか１項に記載の情報処理装置。

【請求項14】

前記判定手段は、前記第１アノテーションと、前記第２アノテーションとが異なる領域に付与されているとの前記比較手段による比較結果である場合、前記作業者の認識精度が低下していると判定することを特徴とする請求項１から１３のいずれか１項に記載の情報処理装置。

【請求項15】

付与対象へのアノテーションであって、作業者からの入力に基づく第１アノテーションを取得し、
前記作業者のアノテーションの付与に係る作業時間を作業量で割ることで算出される単位作業時間が閾値以上となった場合に、取得された前記第１アノテーションと、比較対象とする第２アノテーションとの比較に基づいて、前記作業者の認識精度の低下を判定し、
前記作業者の認識精度の低下が判定された場合、警告を行うことを特徴とする情報処理装置の制御方法。

【請求項16】

請求項１から１４のいずれか１項に記載の情報処理装置としてコンピュータを機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理技術に関する。

【背景技術】

【0002】

ある対象にアノテーションやタグ付けなどを行うことで分類することは一般に広く行われている。最近では、アノテーション付与やタグ付けを整理のための分類に用いるだけではなく、機械学習の教師データとして利用するということも増えている。

【0003】

しかし、アノテーションを付与する作業は単調になることが多く、単調な作業を繰り返し実施すると作業者の集中力が低下していき、ミスが発生しやすくなるという問題がある。

【0004】

作業者自身をモニタリングして集中力が低下しているどうかを推定する特許文献１に示される方法がある。この方法ではある特定の作業をしている作業者の生理学的パラメータを計測することで脳活動量や感情状態を取得する。また、作業者の集中度合いを判定し、脳活動量や感情状態と集中度合いのデータに基づいて、機械学習によって対応関係を特定する。そして、特定した対応関係を基に作業者が集中しているかどうかを推定している。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１９－１５９９４１号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら特許文献１に記載された方法では、集中度合いを判定するにあたり、脳波計などの実作業に直接関係のない装置が必要になってしまう。したがって、アノテーションの付与作業における作業者の集中力低下等に起因する認識精度の判定には、簡素化において改善の余地がある。

【0007】

本発明は上述した問題を解決するためになされたものであり、アノテーションの付与作業における作業者の認識精度の判定を簡便に行い、認識精度低下に対する警告を可能とすることを目的とする。

【課題を解決するための手段】

【0008】

上記目的を達成するための一手段として、本発明の情報処理装置は以下の構成を備える。

【0009】

すなわち、
付与対象へのアノテーションであって、作業者からの入力に基づく第１アノテーションを取得する取得手段と、
前記取得手段により取得された前記第１アノテーションと、比較対象とする第２アノテーションとを比較する比較手段と、
前記作業者のアノテーションの付与に係る作業時間を作業量で割ることで算出される単位作業時間が閾値以上となった場合に、前記比較手段による比較に基づいて、前記作業者の認識精度の低下を判定する判定手段と、
前記作業者の集中力の低下が前記判定手段により判定された場合、警告を行う警告手段と、を有することを特徴とする。

【発明の効果】

【0010】

本発明によれば、アノテーションの付与作業における作業者の認識精度の判定を簡便に行い、認識精度低下に対する警告が可能となる。

【図面の簡単な説明】

【0011】

【図1】情報処理装置のハードウェア構成を示す図である。

【図2】情報処理装置の機能構成を示す図である。

【図3】情報処理装置が出力する画面例を示す図である。

【図4】集中力判定用付与対象を判断する処理を表すフローチャートである。

【図5】情報処理装置の全体処理を表すフローチャートである。

【図6】付与データを受け付ける処理を表すフローチャートである。

【図7】作業結果保管部で保管するデータ例を示す図である。

【図8】集中力が低下しているかどうかを判断する処理を表すフローチャートである。

【図9】実施形態２における情報処理装置の機能構成を示す図である。

【図10】実施形態２における情報処理装置が出力する画面例を示す図である。

【図11】実施形態２における集中力判定用付与対象を判断する処理を表すフローチャートである。

【図12】実施形態２における情報処理装置の全体処理を表すフローチャートである。

【図13】実施形態２における付与データを受け付ける処理を表すフローチャートである。

【図14】実施形態２における作業結果保管部で保管するデータ例を示す図である。

【図15】実施形態２における一度提示した付与対象を再度表示する時機を判断する処理を表すフローチャートである。

【図16】実施形態２における集中力が低下しているかどうかを判断する処理を表すフローチャートである。

【発明を実施するための形態】

【0012】

以下、添付の図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。

【0013】

＜実施形態１＞
図１は、本実施形態における情報処理装置１００のハードウェア構成を示す図である。以下の実施形態で説明される情報処理装置１００は、図１に示すブロック図の構成を持つコンピュータ装置である。また、以降では、情報処理装置１００を単一の装置として説明を行うが、これに限らない。すなわち、各実施形態における方法はそれぞれ単一のコンピュータ装置で実現してもよいし、必要に応じた複数のコンピュータ装置に各機能を分散して実現するようにしてもよい。複数のコンピュータ装置で構成される場合は、互いに通信可能なようにＬｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ（ＬＡＮ）などで接続されている。

【0014】

図１において、１０１は情報処理装置１００全体を制御するＣｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（ＣＰＵ）である。１０２は変更を必要としないプログラムやパラメータを格納するＲｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ（ＲＯＭ）である。１０３は外部装置などから供給されるプログラムやデータを一時記憶するＲａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ＲＡＭ）である。

【0015】

１０４は情報処理装置１００に設置されたハードディスクやメモリカードなどの外部記憶装置である。ただし、固定あるいは着脱可能な状態でも構わない。例えば、フレキシブルディスク（ＦＤ）やＣｏｍｐａｃｔ Ｄｉｓｋ（ＣＤ）等の光ディスク、磁気や光カード、ＩＣカード、メモリカードなども含む。１０５はユーザーの操作を受け、データを入力するポインティングデバイスやキーボード１０９などの入力デバイスとのインタフェースである。１０６は情報処理装置１００の保持するデータや供給されたデータを表示するためのモニタ１１０とのディスプレイインターフェイスである。１０７はインターネット１１１などのネットワーク回線に接続するためのネットワークインタフェイスである。１０８は１０１～１０７の各ユニットを通信可能に接続するシステムバスである。

【0016】

本実施形態の情報処理装置１００は、付与対象（例えば、画像や文章などのコンテンツ）に対してそれに含まれるオブジェクトの名称や意味合いなどのアノテーションを付与する装置である。また、情報処理装置１００は、アノテーションの付与作業を実施する作業者の集中力の低下等に起因する認識精度の低下を作業実績に基づいて判定し、その結果に基づき認識精度の低下を検出した場合、作業者に警告・注意喚起を行う。

【0017】

本実施形態の情報処理装置１００の機能構成について図２を用いて説明する。以降に示す機能構成は、ＣＰＵ１０１がＲＯＭ１０２や外部記憶装置１０４に記憶されるプログラムを読み込み実行することにより情報の演算および加工、各ハードウェアの制御を行うことで実現される。なお、各機能構成をＡＳＩＣやＦＰＧＡなどのハードウェアにより実現してもよい。

【0018】

本実施形態における情報処理装置１００は、作業者に対して提示する付与対象を処理する手段として、付与対象管理部２０１と付与対象提示部２０２を持つ。また、情報処理装置１００は、作業者が付与対象に対して情報を付与する作業を処理する手段として、付与データ入力部２０３、作業結果保管部２０４を持つ。加えて、情報処理装置１００は、付与対象に対して付与するべき付与データを事前に推定する手段として付与データ推定部２０５を持つ。さらに情報処理装置１００は、付与対象の中から集中力の判定を行うのに適した付与対象を特定する集中力判定用付与対象判断部２０６を持つ。最後に、情報処理装置１００は、作業者が集中しているかを判断し、集中していないと判断した場合に注意喚起し、警告する手段として、提示時機判断部２０７と集中力低下判断部２０８と警告表示部２０９を持つ。

【0019】

付与対象管理部２０１は、作業者が情報を付与する対象となる付与対象や、後述する集中力判定用付与対象を管理する。付与対象管理部２０１は単に付与対象を管理することに加え、作業するべき付与対象を格納する付与対象格納キューと、集中力判定用付与対象を管理する集中力判定用付与対象格納キューを持つ。なお付与対象は、具体的には画像、動画、文などの自然言語を構成する文字列、ファイルなどが挙げられる。以降では付与対象として画像を例に説明する。

【0020】

付与対象提示部２０２は、付与対象管理部２０１が管理している付与対象を作業者に提示する。付与データ入力部２０３は、付与対象提示部２０２で提示した付与対象に対して作業者が付与するアノテーションを含む付与データの入力を受け付ける。図３に作業員に提示するユーザーインタフェースの例を示す。

【0021】

図３において、付与対象提示ウィンドウ３００は、付与対象表示領域３１０、付与対象変更ボタン３２０、付与データ入力領域３３０を持つ。なお、付与対象提示部２０２は、付与対象表示領域３１０と付与対象変更ボタン３２０が該当し、付与データ入力部２０３は付与データ入力領域３３０が該当する。

【0022】

作業者が１つの付与対象について付与データを付与する付与作業は、付与対象表示領域３１０に表示された付与対象を確認し、その付与対象に付与するべきアノテーション情報を付与データ入力領域３３０に入力するものである。なお、入力が完了した場合は、付与対象変更ボタン３２０を使い、付与対象表示領域３１０に表示される付与対象を変更し、付与対象がなくなるまで繰り返す。

【0023】

作業結果保管部２０４は、付与対象提示部２０２で提示した付与対象と付与データ入力部２０３で入力された付与データを関連付けて保管する。また後述する付与データ推定部２０５が推定した結果である推定付与データについても、同様に付与対象と関連付けて保管する。

【0024】

付与データ推定部２０５は、付与対象管理部２０１で管理している付与対象に付与すべきと思われる付与データを事前に推定する。推定をするために、付与対象管理部２０１で管理している付与対象と同種類の付与対象と、その同種類の付与対象に付与するべき付与データの関係を機械学習することで、事前学習モデルを生成する。そして、情報処理装置１００は、その事前学習モデルを用いて、付与対象管理部２０１で管理されているそれぞれの付与対象に対して、付与するべき付与データを推定する。推定された付与データは推定付与データとして、付与対象と関連付けて作業結果保管部２０４に保管される。

【0025】

なお、同種類の付与対象とは、例えば、作業者が画像中に写る車を見てその車の種類を付与データとして付与する場合は、付与対象管理部２０１で管理されている画像とは別の画像でかつ車が写る画像となる。また、推定付与データについては、事前学習モデルを使って推定した結果と、その確率によって構成される。推定付与データの例については図７を用いて後述する。

【0026】

また、付与データ推定部２０５が用いる事前学習モデルは、情報処理装置１００が機械学習を実行してもよいし、機械学習された学習済モデルを外部から取得してもよい。情報処理装置１００が機械学習を実行する場合、情報処理装置１００は、ＧＰＵ（Ｇｒａｐｈｉｃａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）をさらに有し、ＣＰＵ１０１に加え、ＧＰＵを用いて機械学習を行ってもよい。ＧＰＵは、データをより多く並列処理することで効率的な演算を行うことができるので、ディープラーニングのよう複数回に渡り学習を行う場合に有効である。

【0027】

機械学習の具体的なアルゴリズムとしては、最近傍法、ナイーブベイズ法、決定木、サポートベクターマシンなどが挙げられる。また、ニューラルネットワークを利用して、学習するための特徴量、結合重み付け係数を自ら生成する深層学習（ディープラーニング）も挙げられる。適宜、上記アルゴリズムのうち利用できるものを用いて本実施形態に適用することができる。

【0028】

学習済モデルを作成する場合、入力データと出力データとの組合せを学習データ（教師データ）として複数個準備する。それらから機械学習によって知識を獲得し、獲得した知識に基づいて入力データに対する出力データを結果として出力する学習済みモデルを生成する。なお、学習済みモデルは、必要に応じて一定の処理後に更新しても良い。

【0029】

集中力判定用付与対象判断部２０６は、付与対象管理部２０１で管理されている付与対象が、集中力が低下しているかどうかを判定する際に利用できるものなのかどうかを判断する。集中力判定用付与対象判断部２０６により実行される判断処理の流れについては図４に示すフローチャートを使って説明する。

【0030】

なお、図４および以降で示すフローチャートにおける各ステップの処理は、ＣＰＵ１０１がＲＯＭ１０２や外部記憶装置１０４に記憶されるプログラムを読み込み実行することにより情報の演算や加工および各ハードウェアの制御を行うことで実現される。なお、図４および以降に示すフローチャートにおける各ステップの処理の一部ないし全部を一つまたは複数のＡＳＩＣやＦＰＧＡなどのハードウェアにより実現する構成としてもよい。

【0031】

Ｓ４０１において、集中力判定用付与対象判断部２０６は、付与対象管理部２０１から付与対象を１つ取得する。

【0032】

Ｓ４０２において、集中力判定用付与対象判断部２０６は、作業結果保管部２０４からＳ４０１で取得した付与対象に対して推定された推定付与データを取得する。

【0033】

Ｓ４０３において、集中力判定用付与対象判断部２０６は、Ｓ４０２で取得した推定付与データに含まれる確度情報が第１閾値以上かどうかを判定する。判定の結果、第１閾値以上の場合はＳ４０４へ進み、第１閾値未満の場合は処理を終了する。

【0034】

なお第１閾値は、例えば、ユーザーが事前に設定したものを扱ってもいいし、付与対象管理部２０１で管理されている付与対象に対する推定付与データに含まれる確度情報の傾向をつかってもよい。確度情報の傾向とは、例えば、確率の平均から正の方向に標準偏差δの２倍を加えた値を第１閾値として用いるなどがある。また第１閾値を利用せずに、付与対象に対する推定付与データに含まれる確度情報が、付与対象全体の上位５％に含まれるかどうかで判定してもよい。

【0035】

Ｓ４０４において、集中力判定用付与対象判断部２０６は、付与対象に集中力判定用フラグを設定する。その後は処理を終了する。なお集中力判定用フラグは、付与対象管理部２０１でデータベースを利用して付与対象管理している場合は、データベースの列として設定しもよいし、付与対象がファイルであった場合はファイルのメタデータとして付与してもよい。

【0036】

Ｓ４０１からＳ４０４の処理は付与対象１つに対して行う処理であり、集中力判定用付与対象判断部２０６では、付与対象管理部２０１で管理されている付与対象すべてについて、この処理を実施する。

【0037】

このように、情報処理装置１００は、推定した付与データの確度が高い対象を、作業者が集中力の確認を実施する際に用いることで精度高く集中力の判定を行うことができる。

【0038】

提示時機判断部２０７は、集中力判定用付与対象判断部２０６が判断した結果となる集中力判定用付与対象を作業者に提示するタイミングを判断する。

【0039】

集中力低下判断部２０８は、付与対象提示部２０２により表示された集中力判定用付与対象に対して作業者により付与された付与データを利用して集中力が低下しているかどうかを判定する。詳細は図８を用いて後述する。

【0040】

警告表示部２０９は、集中力低下判断部２０８によって集中力が低下していると判断された場合に、作業者に対して注意喚起や警告を行う。

【0041】

次に、本実施形態における情報処理装置１００の全体の処理の流れについて図５を用いて説明する。

【0042】

Ｓ５０１において、情報処理装置１００は、付与対象管理部２０１で管理されている付与対象の中から作業者が作業する付与対象を付与対象格納キューに格納する。付与対象格納キューは作業者ごとに個別に作成しても良いし、全体で１つのキューを複数人の作業者で共有してもよい。

【0043】

Ｓ５０２において、情報処理装置１００は、付与対象管理部２０１で管理されている付与対象の中から集中力判定用フラグを持つ付与対象を集中力判定用付与対象格納キューに格納する。

【0044】

Ｓ５０３において、情報処理装置１００は、集中力判定用付与対象提示後の経過時間を取得するために、集中力判定用付与対象提示間隔タイマーを開始する。

【0045】

Ｓ５０４において、情報処理装置１００は、Ｓ５０１で付与対象を格納した付与対象格納キューに付与対象が存在するかを確認する。存在していた場合はＳ５０５へ、存在していない場合は処理を終了する。

【0046】

Ｓ５０５において、情報処理装置１００は、提示時機判断部２０７で集中力判定付与対象を提示する時機かどうかを判定する。具体的には集中力判定用付与対象提示間隔タイマーの時間が一定時間以上経過しているかどうかで判定する。すなわち、情報処理装置１００は、所定の期間ごとに定期的に集中力低下を判断するとともに、前回の判定から一定時間は判定を実施しないようにする。なお、一定時間は１０分など固定の時間を用いてもよいし、１０分などの固定の時間に一定のランダムな振れ幅（―２分～＋２分）を持たせた時間を用いてもよい。まだ提示する時機ではないと判断した場合はＳ５０６へ、提示する時機だと判断した場合はＳ５０７へ処理を進める。このように、情報処理装置１００は、定期的に集中力が低下したかの判定処理を実施することで、集中力が低下した状態で作業が継続されることや集中力の低下に基づくアノテーションの付与作業のミスを未然に防ぐことが可能となる。

【0047】

Ｓ５０６において、情報処理装置１００は、付与対象提示部２０２で付与対象を提示して、作業者が入力した付与データを受け付ける。詳細な処理の流れは図６を使って後述する。その後Ｓ５０４へ進む。

【0048】

Ｓ５０７において、情報処理装置１００は、付与対象提示部２０２で集中力判定用付与対象を提示して、作業者が入力した付与データを受け付ける。なおＳ５０６の処理とＳ５０７の処理は基本的には同じで、作業者に提示する付与対象が異なっている。具体的にはＳ５０６では通常の付与対象が提示され、Ｓ５０７では集中力判定用付与対象が提示される。また、作業者にとっては通常の付与対象と、集中力判定用付与対象は同じものとして扱うことができる。詳細は処理の流れはＳ５０６と合わせて図６を使って後述する。

【0049】

Ｓ５０８において、情報処理装置１００は、Ｓ５０３で開始した集中力判定用付与対象提示間隔タイマーをリセットする。

【0050】

Ｓ５０９において、情報処理装置１００は、Ｓ５０７で提示した付与対象に対して作業者が付与した付与データと、その付与対象の推定付与データを使って作業者の集中力が低下しているかどうかを集中力低下判断部２０８で判定する。判定処理の詳細は図８を使って後述する。判定の結果、集中力が低下していない場合はＳ５０４へ進み、低下している場合はＳ５１０へ進む。

【0051】

Ｓ５１０において、情報処理装置１００は、作業者に対して付与対象提示部２０２を使って集中力が低下している旨を注意喚起し警告する。情報処理装置１００は、モニタ１１０にメッセージにより、注意喚起や警告を表示してもよいし、音を出力することで注意喚起や警告を行ってもよい。情報処理装置１００は、注意喚起や警告として、集中力が低下している可能性があることを示す情報を作業者に提示してもよい。また、情報処理装置１００は、注意喚起や警告として、作業者の認識精度が低下している可能性があることを示す情報を提示してもよい。また、情報処理装置１００は、注意喚起や警告として、作業者の目の疲れが生じていないかを警告する情報を提示してもよい。また、情報処理装置１００は、注意喚起や警告として、休憩を促す情報を作業者に提示してもよい。また、情報処理装置１００は、注意喚起や警告として、付与したアノテーションに誤りがある可能性を示す情報を作業者に提示してもよい。また、情報処理装置１００は、例示した上記の注意喚起や警告を複数組み合わせて行ってもよい。

【0052】

次に、付与対象を提示し、作業者の入力した付与データを受け付ける処理の流れについて図６を使って説明する。

【0053】

Ｓ６０１において、情報処理装置１００は、付与対象管理部２０１から付与対象を取得し、付与対象提示部２０２を使って作業者に付与対象を表示することで作業者に提示する。なお、情報処理装置１００は、付与対象管理部２０１から付与対象を取得する際は、通常の付与対象を取得する場合は付与対象格納キューから、集中力判定用付与対象を取得する場合は集中力判定用付与対象格納キューから付与対象を取得する。

【0054】

Ｓ６０２において、情報処理装置１００は、作業者が付与データの入力を完了したかどうかを判定する。入力が完了している場合はＳ６０３へ処理を進め、入力が完了していない場合は完了するまで判定を続ける。

【0055】

Ｓ６０３において、情報処理装置１００は、作業者が入力した付与データを、付与データ入力部２０３を使って取得する。なお、付与データは、付与対象に含まれるオブジェクトの名称や意味合いを示すアノテーション情報を含むデータである。

【0056】

Ｓ６０４において、Ｓ６０１で提示した付与対象と、Ｓ６０３で取得した付与データを、関連付けて作業結果として、作業結果保管部２０４に格納する。なお、作業結果データの例は図７を使って説明する。

【0057】

推定付与データおよび作業結果データの例について、図７を使って説明する。

【0058】

図７（ａ）、図７（ｂ）、図７（ｃ）に作業結果保管部２０４に存在するデータベースのテーブル例を示す。

【0059】

図７（ａ）に示した付与対象格納テーブル７１０は、３つの列から構成される。また１つの付与対象は付与対象格納テーブル７１０の１行で表される。列７１１は付与対象である画像を識別するＩＤを格納する列である。列７１２は画像のファイルパスを格納する列である。列７１３は付与対象が集中力判定用なのかどうかを表す集中力判定用フラグを格納する列である。

【0060】

図７（ｂ）に示した推定付与データ格納テーブル７２０は、４つの列から構成される。また１つの推定付与データは推定付与データ格納テーブル７２０の１行で表される。列７２１は推定結果を識別するＩＤを格納する列である。列７２２は推定結果のアノテーション情報を格納する列である。列７２３は推定結果の確度情報を格納する列である。列７２４は推定した対象である画像のＩＤを格納する列である。

【0061】

図７（ｃ）に示した付与データ格納テーブル７３０は３つの列から構成される。また１つの付与データは付与データ格納テーブル７３０の１行で表される。列７３１は付与データを識別するＩＤを格納する列である。列７３２は付与結果を格納する列である。列７３３は付与した対象である画像のイメージＩＤを格納する列である。

【0062】

次に集中力低下判断部２０８で実施する集中力が低下しているかどうかの判定処理について図８を使って説明する。

【0063】

Ｓ８０１において、情報処理装置１００は、集中力低下判断部２０８で集中力判定に用いる付与対象に対する推定付与データを取得する。

【0064】

Ｓ８０２において、情報処理装置１００は、付与対象に対する付与データであって、作業者が入力したアノテーションを含む付与データを集中力低下判断部２０８で取得する。すなわち、情報処理装置１００は、付与対象に作業者の入力により付与されたアノテーションを取得する。集中力判定において、推定付与データが示すアノテーションが作業者により入力されたアノテーションとの比較対象となる。

【0065】

Ｓ８０３において、情報処理装置１００は、Ｓ８０１で取得した推定付与データとＳ８０２で取得した付与データを比較し、一致しているかを集中力低下判断部２０８で判定する。一致している場合は処理を終了する。一致していない場合はＳ８０４へ進む。

【0066】

Ｓ８０４において、情報処理装置１００は、集中力低下判断部２０８で作業者の集中力が低下していると判定する。なお、本実施形態では、付与対象の中から集中力判定用付与対象を判断する際に、推定付与データに含まれる確度情報が第１閾値以上であるものとしている。この第１閾値を非常に高い値に設定しておくことで、推定付与データが正解と等しいとすることができる。これは推定付与データの確度情報の値が非常に高いことが、付与データを識別する特徴が際立っていることを意味し、作業者にとっても判断しやすい状況になっていると考えることができるためである。

【0067】

これにより、推定付与データとは異なる付与データを作業者が付けていた場合、判断しやすい状況において作業者が間違えたことを意味することとなり、これを集中力が低下していると判断する。また正解だと考えられるデータとして、推定付与データを使わずに、別の作業者もしくは作業結果を検証する検証者が同一の付与対象に対して事前に付与した付与データとＳ８０２で取得した付与データが一致しているかを判定してもよい。

【0068】

これにより作業者は、通常通り付与対象に対して付与データを付与するという作業を行いながら、集中力が低下しているかどうかが警告されることとなる。警告にしたがって休憩などを取ることで、集中力が低下してきたときに無理に作業を行ってミスを発生させることを防ぐことが可能となる。

【0069】

なお、Ｓ８０３において、推定付与データの付与データが示すアノテーションと作業者により入力されたアノテーションとの比較結果が、一致しない場合を集中力が低下していると判定する構成としたがこれに限られない。例えば、推定付与データの付与データが示すアノテーションと作業者により入力されたアノテーションとの比較結果が類義語である場合や、上位概念と下位概念を示す場合は、集中力が低下していないと判定する構成としてもよい。

【0070】

＜実施形態２＞
実施形態２の情報処理装置１００の機能構成を図９に示す。なお、図２に示した構成と同じものについては図２で使用していたものと同じ番号が記載している。なお、実施形態２の情報処理装置１００のハードウェア構成は、実施形態１と同様である。

【0071】

図２において、作業時間計測手段９０１は、付与対象提示部２０２で作業者に対して付与対象を提示してから、付与データ入力部２０３で入力を受け取るまでの時間を作業時間として計測する。

【0072】

実施形態２における作業員に提示するユーザーインタフェースの例を図１０に示す。図１０（ａ）の付与対象提示ウィンドウ３００、付与対象表示領域３１０、付与対象変更ボタン３２０、付与データ入力領域３３０は図３に示すものと同様である。

【0073】

図１０では、付与対象内の複数の領域に対して、それぞれ付与データを付与する例を示している。実施形態２においては実施形態１と同様に付与対象として画像を用いているが、これに限定されるものではない。例えば、付与対象が文を構成する文字列であってもよい。また、付与対象が文を構成する文字列の場合、文中の特定の単語を指定してアノテーションをつけてもよい。

【0074】

図１０において、付与対象内の領域を指定するためにはカーソル１００１を使う。マウスなどのポインティングデバイスをクリックし、ドラッグすること矩形の位置範囲を指定することで領域を指定する。なお、ポインティングデバイスを使ってクリックしたりドラッグしたりすることで領域を指定する方法は一例である。他の例として、タッチパネル上で指や電子ペンを使ってタップしたりドラッグしたりするなど、ＵＩ上で領域を指定する公知の技術を利用してもよい。

【0075】

図１０（ａ）に示す領域１０１１は付与データ推定部２０５で推定した領域を表している。図１０の例では領域が推定領域であることを、領域の境界線を点線で表示することで示している。なお、境界線を点線にする以外にも境界線の色を変えたり、領域内の色を変えたりする方法で推定領域であることを示してもよい。また推定領域である領域１０１１を選択した状態を図１０（ｂ）に示す。図１０（ｂ）の例では領域が選択されていることを、領域の境界線を太線で表示することで示す。領域１０３１は推定領域であり、かつ選択されている状態なため、太点線で表示される。作業者は領域１０３１を選択するとその領域の大きさを自由に変更することが可能である。変更する際はハンドル１０３２を利用する。図１０の例ではハンドルは領域の境界線の四隅および各辺の中点に配置しているが、ハンドルの配置は一例でありその他の位置に配置してもよい。

【0076】

図１０（ａ）に示す領域１０１２は作業者がカーソル１００１を使って新たに生成した領域である。領域１０１２を選択した状態を図１０（ｃ）に示す。図１０（ｃ）においても、上述の推定領域と同様に、境界線を太線で表示することで選択されていることを示している。また図１０（ｃ）においても図１０（ｂ）と同様に選択された領域の大きさを自由に変更することが可能である。変更する際はハンドル１０４２を利用する。ハンドルの配置は上述の推定領域と同様である。

【0077】

加えて、推定領域か新たに作成した領域かに関わらず、領域を選択した状態で、作業者が付与データ入力領域３３０に付与データを入力することで、領域に対して付与データを付与することが可能となる。図１０（ｂ）に示した例では、付与データ入力領域３３０にデータを入力すると推定領域を選択した領域１０３１に対して付与したことになる。また、図１０（ｃ）に示した例では、付与データ入力領域３３０にデータを入力すると新たに作成した領域を選択した領域１０４１に対して付与したことになる。

【0078】

また、推定付与データとしては領域だけでなくアノテーション情報も推定アノテーション情報表示領域１０２０に表示する。すなわち、情報処理装置１００は、画像内に存在するオブジェクトの領域を１または複数推定するとともに、推定した各領域に存在するオブジェクトの付与データを推定する。また、情報処理装置１００は、検出したオブジェクトが占める領域を推定領域として表示させるとともに、検出したオブジェクトの推定した付与データを推定アノテーション情報として表示させる。

【0079】

ここで表示したアノテーション情報は、作業者にとっては参考情報になるが、あくまでも事前学習モデルが推定した結果であり、必ずしも正しいわけではない。そのため、作業者は推定アノテーション情報表示領域１０２０に表示されたアノテーションが正しいかを確認した後、正しければ表示されているものを、誤っていれば正しいアノテーションを付与データ入力領域３３０に入力する。なお、確度情報を併せて表示させてもよい。

【0080】

また、図１０では推定アノテーション情報表示領域１０２０と付与データ入力領域３３０を分けた例を示しているが、まとめて１つにしてもよい。具体的には付与データ入力領域３３０に、推定付与データに含まれるアノテーション情報を入力した状態で表示する方法などがある。

【0081】

次に実施形態２における、集中力判定用付与対象判断部２０６で行う付与対象の中から集中力判定用付与対象を判断する処理について図１１を使って説明する。

【0082】

Ｓ１１０１において、集中力判定用付与対象判断部２０６は、付与対象管理部２０１から付与対象を１つ取得する。

【0083】

Ｓ１１０２において、集中力判定用付与対象判断部２０６は、作業結果保管部２０４から、Ｓ１１０１で取得した付与対象に対して推定された推定付与データをすべて取得する。なお図１０に示したように付与対象内の領域に対して付与データを付与する必要がある場合は、推定付与データも付与対象内の領域と付与データの組の情報になる。そのため付与データ推定部２０５においても付与データを付与する領域と、その領域に対する付与データの推定が行われる。結果として付与対象には複数の推定付与データが存在する可能性があることとなる。Ｓ１１０２では、推定付与データが複数存在した場合はすべて取得する。

【0084】

Ｓ１１０３において、集中力判定用付与対象判断部２０６は、Ｓ１１０２で取得した１または複数の推定付与データのうち、推定付与データに含まれる確度が１つでも第２閾値以下になっているかどうかを判定する。判定の結果、推定付与データに含まれる確度が第２閾値以下となる推定付与データが存在する場合はＳ１１０４へ進み、推定付与データに含まれる確度がすべて第２閾値より大きい場合は処理を終了する。なお第２閾値は、例えば、ユーザーが事前に設定したものを扱ってもいいし、付与対象管理部２０１で管理されている付与対象に対する推定付与データに含まれる確率の傾向をつかってもよい。確率の傾向とは、例えば、確率の平均を用いるなどがある。

【0085】

このように、情報処理装置１００は、推定されたアノテーションの確度が低いもの、すなわち、作業者により確認や修正が必要な可能性が高い付与対象を用いて集中力が低下しているか否かを判定する。これにより、作業者の集中力が低い場合には、推定されたアノテーションを修正することなく承認してしまう可能性が高いため、精度よく集中力の低下を検出することが可能となる。

【0086】

Ｓ１１０４において、集中力判定用付与対象判断部２０６は、付与対象に集中力判定用フラグを設定して処理を終了する。なお集中力判定用フラグは、付与対象管理部２０１でデータベースを利用して付与対象管理している場合は、データベースの列として設定しもよいし、付与対象がファイルであった場合はファイルのメタデータとして付与してもよい。

【0087】

Ｓ１１０１からＳ１１０４の処理は付与対象１つに対して行う処理であり、集中力判定用付与対象判断部２０６では、付与対象管理部２０１で管理されている付与対象すべてについて、この処理を実施する。

【0088】

次に、実施形態２の情報処理装置１００の全体の処理の流れについて図１２を用いて説明する。

【0089】

Ｓ１２０１において、情報処理装置１００は、付与対象管理部２０１で管理されている付与対象の中から作業者が作業する付与対象を付与対象格納キューに格納する。付与対象格納キューは作業者ごとに個別に作成しても良いし、全体で１つのキューを複数人の作業者で共有してもよい。なお、実施形態２においては、情報処理装置１００は、処理開始時には集中力判定用付与対象格納キューに付与対象は格納しない。これは実施形態２において、集中力判定用フラグがあり、かつ作業者に１回以上提示されたことがある付与対象を集中力判定用付与対象と判断するためである。集中力判定用付与対象格納キューに付与対象を格納する処理の詳細は図１３を用いて後述する。

【0090】

Ｓ１２０２において、情報処理装置１００は、集中力判定用付与対象提示後の経過時間を取得するために、集中力判定用付与対象提示間隔タイマーを開始する。本タイマーは、集中力の低下の判定処理を所定の期間の経過後でなければ再度実施しないためのタイマーである。

【0091】

Ｓ１２０３において、情報処理装置１００は、付与対象管理部２０１で管理されている付与対象格納キューに付与対象が存在するかを確認する。存在していた場合はＳ１２０４へ、存在していない場合は処理を終了する。

【0092】

Ｓ１２０４において、情報処理装置１００は、付与対象を提示して、作業者が入力した付与データを受け付ける。詳細な処理の流れは図１３を使って後述する。

【0093】

Ｓ１２０５において、情報処理装置１００は、提示時機判断部２０７で集中力判定付与対象を提示する時機かどうかを判定する。詳細は図１５を用いて後述する。判定の結果、提示する時機であると判断した場合はＳ１２０６へ、提示する時機ではないと判断した場合はＳ１２０３へ処理を進める。

【0094】

Ｓ１２０６において、情報処理装置１００は、付与対象管理部２０１で管理している集中力判定用付与対象格納キューに集中力判定用付与対象があるかどうかを確認する。確認の結果、ある場合はＳ１２０７へ、ない場合はＳ１２０３へ処理を進める。

【0095】

Ｓ１２０７において、Ｓ１２０２で開始した集中力判定用付与対象提示間隔タイマーをリセットする。

【0096】

Ｓ１２０８において、情報処理装置１００は、集中力判定用付与対象を提示して、作業者が入力した付与データを受け付ける。なおＳ１２０４の処理とＳ１２０８の処理は基本的には同じで、作業者に提示する付与対象が異なっている。具体的にはＳ１２０４では通常の付与対象が提示され、Ｓ１２０８では集中力判定用付与対象が提示される。また、作業者にとっては通常の付与対象と、集中力判定用付与対象は同じものとして扱うことができる。詳細は処理の流れはＳ１２０４と合わせて図１３を使って後述する。

【0097】

Ｓ１２０９において、情報処理装置１００は、Ｓ１２０８で付与された付与データと、同じ付与対象に対して過去付与された付与データを比較する。比較処理については図１６を用いて後述する。

【0098】

Ｓ１２１０において、情報処理装置１００は、Ｓ１２０９の比較の結果、両者に違いがあった場合はＳ１２１１へ、同じであった場合はＳ１２０３へ処理を進める。

【0099】

Ｓ１２１１において、情報処理装置１００は、作業者に対して付与対象提示部２０２を使って集中力が低下している旨を注意喚起し警告する。なお、Ｓ１２１１における警告の態様は、Ｓ５１０で説明した態様と同様である。

【0100】

次に、付与対象を提示して作業者の入力した付与データを受け付ける処理の流れについて図１３を使って説明する。

【0101】

Ｓ１３０１において、情報処理装置１００は、付与対象管理部２０１から付与対象を取得し、付与対象提示部２０２で作業者に付与対象を表示する。なお、付与対象管理部２０１から付与対象を取得する際は、通常の付与対象を取得する場合は付与対象格納キューから、集中力判定用付与対象を取得する場合は集中力判定用付与対象格納キューから付与対象を取得する。

【0102】

Ｓ１３０２において、情報処理装置１００は、Ｓ１３０１で取得した付与対象に対して、付与データ推定部２０５で推定した推定付与データを、作業結果保管部２０４から取得する。なお付与対象に対して複数の推定付与データが存在していた場合は、すべて取得する。すなわち、付与対象が画像である場合は、当該画像に対して複数の推定領域があれば、これらに関する複数の推定付与データをすべて取得する。

【0103】

Ｓ１３０３において、情報処理装置１００は、Ｓ１３０１で取得した付与対象を付与対象提示部２０２で作業者に対して表示するのと同時に、図１０で示したようにＳ１３０２で取得した推定付与データも付与対象提示部２０２で表示する。

【0104】

Ｓ１３０４において、情報処理装置１００は、作業者の作業時間を計測するために作業時間計測手段９０１を使って、作業時間タイマーを開始する。

【0105】

Ｓ１３０５において、情報処理装置１００は、作業者が付与データの入力を完了したかどうかを判定する。入力が完了している場合はＳ１３０６へ処理を進め、入力が完了していない場合は完了するまで判定を続ける。

【0106】

Ｓ１３０６において、情報処理装置１００は、Ｓ１３０４で開始した作業時間タイマーを停止する。

【0107】

Ｓ１３０７において、情報処理装置１００は、作業者が入力した付与データを、付与データ入力部２０３を使って取得する。

【0108】

Ｓ１３０８において、情報処理装置１００は、Ｓ１３０１で提示した付与対象と、Ｓ１３０７で取得した付与データと、Ｓ１３０６でタイマーを停止したことで得られる経過時間を関連付けて作業結果として、作業結果保管部２０４に格納する。なお、作業結果データの例は図１４を使って説明する。

【0109】

Ｓ１３０９において、情報処理装置１００は、Ｓ１３０１で提示した付与対象に集中力判定用フラグが設定されているかどうかを判定する。集中力判定用フラグが設定されていた場合はＳ１３１０へ、設定されていない場合は処理を終了する。

【0110】

Ｓ１３１０において、情報処理装置１００は、Ｓ１３０１で提示した付与対象を付与対象管理部２０１で集中力判定用付与対象格納キューに格納する。

【0111】

推定付与データおよび作業結果データの例について、図１４を使って説明する。

【0112】

図１４（ａ）、図１４（ｂ）、図１４（ｃ）、図１４（ｄ）に作業結果保管部２０４に存在するデータベースのテーブル例を示す。

【0113】

図１４（ａ）に示した付与対象格納テーブル１４１０は、３つの列から構成される。また１つの付与対象は付与対象格納テーブル１４１０の１行で表される。列１４１１は付与対象である画像を識別するＩＤを格納する列である。列１４１２は画像のファイルパスを格納する列である。列１４１３は付与対象が集中力判定用なのかどうかを表す集中力判定用フラグを格納する列である。

【0114】

図１４（ｂ）に示した推定付与データ格納テーブル１４２０は、５つの列から構成される。また１つの推定付与データは推定付与データ格納テーブル１４２０の１行で表される。列１４２１は推定結果を識別するＩＤを格納する列である。列１４２２は推定結果を格納する列である。列１４２３は推定結果の確度情報を格納する列である。列１４２４は推定した対象である画像のＩＤを格納する列である。列１４２５は推定した対象である画像内に含まれる領域のＩＤを格納する列である。なお領域は後述する領域テーブル１４４０で管理されている。

【0115】

図１４（ｃ）に示した付与データ格納テーブル１４３０は６つの列から構成される。また１つの付与データは付与データ格納テーブル１４３０の１行で表される。列１４３１は付与データを識別するＩＤを格納する列である。列１４３２は付与結果を格納する列である。列１４３３は付与データの付与作業を開始した日時を格納する列である。列１４３４は付与データの付与する際の作業を終了した日時を格納する列である。列１４３５は推定した対象である画像のＩＤを格納する列である。列１４３６は付与した対象である画像内に含まれる領域のＩＤを格納する列である。なお領域は後述する領域テーブル１４４０で管理されている。

【0116】

図１４（ｄ）に示した領域テーブル１４４０は、５つの列から構成される。また付与対象内の１つの領域は領域テーブル１４４０の１行で表される。列１４４１は領域を識別するＩＤを格納する列である。列１４４２は領域の左上の点を起点とし、その起点のＸ座標の値を格納する列である。列１４４３は領域の左上の点を起点とし、その起点のＹ座標の値を格納する列である。列１４４４は領域の幅の値を格納する列である。列１４４５は領域の高さの値を格納する列である。

【0117】

次に、実施形態２における集中力判定用付与対象を提示する時機を提示時機判断部２０７で判断する処理の流れについて図１５を用いて説明する。

【0118】

Ｓ１５０１において、情報処理装置１００は、前回集中力判定用付与対象を表示してから第３閾値以上の時間が経過しているかどうかを判定する。第３閾値以上の時間が経過していた場合はＳ１５０２へ、第３閾値未満の場合は処理を終了する。なお、第３閾値は連続して集中力判定用付与対象を作業者に提示しないようにするために設定するものである。頻繁に集中力判定用付与対象を表示したい場合は０にして、事実上この判断を実施しないようにしても構わない。

【0119】

Ｓ１５０２において、情報処理装置１００は、作業者が作業した結果として、直近の付与データを取得する。図１４に示したデータの例を使って説明する。情報処理装置１００は、付与データ格納テーブル１４３０の中から、列１４３５のＩＤと作業者が作業した付与対象のＩＤが同じ、かつ列１４３３の開始日時、列１４３４の終了日時が等しく、かつ列１４３３の開始日時が最新の行を取得する。図１４（ｃ）に示した付与データ格納テーブル１４３０の例では、列１４３１のＩＤであるＪとＪ＋１の２つがこれに該当するものである。

【0120】

Ｓ１５０３において、情報処理装置１００は、Ｓ１５０２において取得した付与データの列１４３４の終了日時から列１４３３の開始日時を引き算することで作業時間を算出する。図１４に示した付与データ格納テーブル１４３０の例では、２０１９年１２月１７日１１時２５分２０秒から２０１９年１２月１７日１１時２３分５２秒を引いた８８秒となる。

【0121】

Ｓ１５０４において、情報処理装置１００は、作業結果であるＳ１５０２において取得した付与データから作業項目を抽出する。作業項目とは、例えば、ラベル付けや領域の指定などが該当する。図１４の例で説明すると、抽出した１または複数の行の中で列１４３２に１つでも値があれば、作業項目としてラベル付けを抽出する。次に、抽出した１または複数の行の中で列１４３６に１つでも値があれば、作業項目として領域指定を抽出する。なお、本実施形態ではラベル付けと領域指定の例を示したが、作業項目はこれに限定されない。例えば、付与対象が動画であった場合は、動画の区間指定が作業項目となったり、文字列であれば文節ごとの区切れ目の指定が作業項目になったりする。

【0122】

Ｓ１５０５において、情報処理装置１００は、付与対象に対して付与データを付与した数とＳ１５０４で抽出した作業項目に応じた重みを組み合わせて作業量を算出する。図１４に示したデータの例を使って説明する。まず付与データの数としてはＳ１５０２で取得した付与データから２つとなる。その後、Ｓ１５０４で抽出した作業項目に応じた重みを掛け合わせる。具体的には、ラベル付けの重みが１、領域選択の重みが３であった場合、付与データを生成するのに必要な作業量は、付与データ１つ当たりラベル付けの１と領域選択の３を加えた４となる。ここの説明では付与データは２つあるので、４×２で８が作業量となる。

【0123】

Ｓ１５０６において、情報処理装置１００は、Ｓ１５０３で算出した作業時間を、Ｓ１５０５で算出した作業量で割り、単位作業時間を算出する。図１４の例では、作業時間が８８秒で作業量が８なので、単位作業時間は１１秒となる。

【0124】

Ｓ１５０７において、情報処理装置１００は、Ｓ１５０６で算出した単位作業時間が第４閾値以上かどうかを判定する。また第４閾値はシステム全体で１つに設定しても良いし、作業者ごとに事前に設定してもよい。また各作業において単位作業時間を算出し、その平均や中央値を使ってもよい。第４閾値以上の場合はＳ１５０８へ処理を進め、第４閾値未満の場合は処理を終了する。

【0125】

Ｓ１５０８において、情報処理装置１００は、Ｓ１５０７で単位作業時間が第４閾値以上であると判定されたため、作業者が通常よりも作業に集中できていない可能性があると判断し、集中力判定用付与対象を提示する時機であると判定する。すなわち、情報処理装置１００は、作業者のアノテーションの付与に係る作業時間に基づき作業効率を判定し、作業効率が低下している場合に、集中力が低下しているかの判定を実施する。このようにすることで、集中力が低下し始めた場合に必要に応じて警告を行うことでアノテーションの付与のミスを未然に防ぐことが可能となる。

【0126】

次に実施形態２における集中力が低下しているかどうかを判定する処理の流れについて図１６を用いて説明する。

【0127】

Ｓ１６０１において、情報処理装置１００は、付与対象に対して付与された第１付与データ群を作業結果保管部２０４から取得する。第１付与データは作業者が直近に付与したデータであり、集中力判定用付与対象として提示された付与対象に対して付与した付与データとなる。

【0128】

図１４に示したデータの例を使って説明する。説明のため、現在時刻は２０１９年１２月１６日１５時３６分１２秒という前提で、図１４（ｃ）に示す付与データ格納テーブル１４３０の最新のデータはＩＤがＩ＋１のデータまでしかないものとする。この前提のもと、付与データ格納テーブル１４３０の中から、列１４３５のＩＤと作業者が作業した付与対象のＩＤが同じ、かつ列１４３３の開始日時、列１４３４の終了日時が等しく、かつ列１４３３の開始日時が最新の行を取得する。図１４に示した付与データ格納テーブル１４３０の例では、列１４３１のＩＤがＩとＩ＋１の２つがこれに該当するものである。

【0129】

Ｓ１６０２において、情報処理装置１００は、付与対象に対して付与された第２付与データ群を作業結果保管部２０４から取得する。第２付与データは作業者が以前に付与したデータであり、通常の付与対象として提示された付与対象に対して付与した付与データとなる。図１４に示したデータの例を使って説明する。説明のため、Ｓ１６０１と同様、時刻は２０１９年１２月１６日１５時３６分１２秒という前提で説明する。また図１４（ｃ）に示す付与データ格納テーブル１４３０にはＩＤがＩ＋１のデータまでで、イメージＩＤ１に対して付与された付与データは、ＩＤが１，２、Ｉ，Ｉ＋１の４つしかないものとする。

【0130】

付与データ格納テーブル１４３０の中から、列１４３５のＩＤと作業者が作業した付与対象のＩＤが同じ、かつ列１４３３の開始日時、列１４３４の終了日時が等しく、かつ列１４３３の開始日時が最新の行を取得する。図１４に示した付与データ格納テーブル１４３０の例では、列１４３１のＩＤが１と２の２つがこれに該当するものである。

【0131】

Ｓ１６０３において、情報処理装置１００は、Ｓ１６０１で取得した第１付与データ群に含まれる付与データの数と、Ｓ１６０２で取得した第２付与データ群に含まれる付与データの数が同じかどうかを判定する。同じであった場合はＳ１６０４へ、異なった場合はＳ１６１０へ処理を進める。図１４の例では、第１付与データ群の数が２つで、第２付与データ群の数が２つなので同じとなる。

【0132】

Ｓ１６０４において、情報処理装置１００は、Ｓ１６０１で取得した第１付与データ群に含まれる付与データを判定キューに格納する。

【0133】

Ｓ１６０５において、情報処理装置１００は、判定キューに付与データが存在するかどうかを判定する。存在していた場合はＳ１６０６へ処理を進め、存在していない場合は処理を終了する。

【0134】

Ｓ１６０６において、情報処理装置１００は、判定キューから付与データを第１判定対象付与データとして取得する。

【0135】

Ｓ１６０７において、情報処理装置１００は、Ｓ１６０６で取得した第１判定対象付与データに含まれる領域情報と、類似した領域情報を持つ付与データが第２付与データ群の中に存在しているかどうかを判定する。存在していた場合はＳ１６０７へ、存在していない場合はＳ１６１０へ処理を進める。ここで類似した領域とは、領域を定める領域左上の点である起点のＸ座標とＹ座標、幅、高さの４つ情報が、ある一定値の幅の範囲内に含まれているかどうかで判断する。

【0136】

図１４に示したデータの例を使って説明する。上述の説明で付与データ格納テーブル１４３０のＩＤが１と２の付与データを第１付与データ群、ＩＤがＩとＩ＋１のデータを第２付与データ群となっていた。第１付与データ群の中からＩＤが１の付与データを第１判定対象付与データとすると、ＩＤが１の付与データは領域ＩＤがＬなので、領域テーブル１４４０のＩＤがＬの領域データを参照する。するとＩＤがＬの領域データでは起点のＸ座標が８、起点のＹ座標が１４、幅が４８９、高さが２９４となっている。次にこの４つの値に対して、それぞれ第２付与データ群に含まれる付与データと比較する。まず第２付与データ群に含まれるＩＤがＩの付与データは領域ＩＤがＭなので領域Ｍを確認する。すると、領域Ｍの起点のＸ座標が１２、起点のＹ座標が１５、幅が４９２、高さが２９７となっている。類似の条件として起点のＸ座標、起点のＹ座標、幅、高さの４つの値に対して、許容幅を±１０以内であると設定すると、ＩＤがＬの領域とＩＤがＭの領域は類似しているといえる。上述の説明では許容幅を±１０としたがこれに限定されるものではない。

【0137】

このように、情報処理装置１００は、比較対象とする過去に入力されたアノテーションと、作業者により直近に入力されたアノテーションとが異なる領域に付与されているとの比較結果である場合、作業者の集中力が低下していると判定することができる。

【0138】

Ｓ１６０８において、情報処理装置１００は、Ｓ１６０７において類似領域を持つと判定された付与データを第２判定対象付与データとして取得する。図１４に示したデータの例では、上述の説明で類似領域であると判定されたＩＤがＭの領域を持つＩＤがＩの付与データが第２判定対象付与データとなる。

【0139】

Ｓ１６０９において、情報処理装置１００は、第１判定対象付与データの持つラベルと第２判定対象付与データの持つラベルが同じかどうかを判定する。同じ場合はＳ１６０５へ、異なる場合はＳ１６１０へ処理を進める。なお、上述の例の説明では第１判定対象付与データのラベルが普通車で、第２判定対象付与データのラベルが普通車なので、一致していると判定される。

【0140】

なお、Ｓ１６０９において、過去に入力されたアノテーションと直近に入力されたアノテーションとの比較結果が、一致しない場合を付与データが異なり、集中力が低下していると判定する構成としたがこれに限られない。例えば、過去に入力されたアノテーションと直近に入力されたアノテーションとの比較結果が類義語である場合や、上位概念と下位概念を示す場合は、付与データは一致し、集中力が低下していないと判定する構成としてもよい。

【0141】

Ｓ１６１０において、情報処理装置１００は、付与データが異なると判断する。

【0142】

これにより、作業者が同一の付与対象に対して複数回付与した付与データがそれぞれ異なるかどうかがわかる。本来であれば、複数回実施しても同じ付与データになる必要があるが、これが異なっていた場合は作業者が通常の判断ができなかったものと考えることができる。これにより作業者の集中力が低下していると判断する。そして集中力が低下していることを警告し、その警告にしたがって休憩を作業者に取らせることで、集中力が低下してきたときに無理に作業を行ってミスを発生させることを防ぐことが可能となる。

【0143】

以上説明した各実施形態によれば、作業者が付与対象に対して情報を付与する作業を実施するにあたり、作業者が実施した作業結果を基に、作業者の認識精度が低下しているかどうかを判断し、認識精度が低下している場合には、警告を出すことが可能となる。これにより警告を受けた作業者は、作業を中断して休憩を取ったのち、再度集中した状態で作業を実施することが可能となり、作業ミスを防止することが可能となる。また、作業者が認識精度低下しているかどうかを判定するのに実際の作業と関係が希薄な装置を使う必要がないため、コストの増加も大幅に抑制することが可能となる。

【0144】

＜その他の実施形態＞
上述の実施形態１と実施形態２とを適宜組み合わせてもよい。例えば、所定回数ごとに集中力低下を判定する処理を実施形態１の方法と実施形態２とで切り替えてもよい。または、ランダムに集中力低下を判定する処理を実施形態１の方法と実施形態２とで切り替えてもよい。

【0145】

また、上述の実施形態では、情報処理装置１００は、集中力の低下を判定する構成を説明したが、これに限られない。例えば、Ｓ８０４における判定は、作業者の認識精度の低下を判定する構成としてよい。すなわち、上述の実施形態は、集中力の低下のみならず、例えば、作業者の目の疲れなどによる視力の低下に起因する認識精度の低下を検出し、それに対する警告・注意喚起を行う構成とすることができる。

【0146】

本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【符号の説明】

【0147】

３００ 付与対象提示ウィンドウ
３１０ 付与対象表示領域
３２０ 付与対象変更ボタン
３３０ 付与データ入力領域

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】