ホーム > 特許ランキング > コニカミノルタ株式会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2024-12-09
(45)【発行日】2024-12-17
(54)【発明の名称】アノテーション支援装置、および制御プログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20241210BHJP
【ＦＩ】
G06T7/00 350B
G06T7/00 660B
【請求項の数】
18
(21)【出願番号】P 2024540708
(86)(22)【出願日】2023-12-15
(86)【国際出願番号】 JP2023045000
【審査請求日】2024-07-04
【早期審査対象出願】
(73)【特許権者】
【識別番号】000001270
【氏名又は名称】コニカミノルタ株式会社
(74)【代理人】
【識別番号】110000671
【氏名又は名称】ＩＢＣ一番町弁理士法人
(72)【発明者】
【氏名】小幡 朋和
【審査官】山田 辰美
(56)【参考文献】
【文献】特開２０２２－０９５４４７（ＪＰ，Ａ）
【文献】国際公開第２０２１／０１５１１７（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００－７／９０
(57)【特許請求の範囲】
【請求項1】
画像に含まれるアノテーション対象としての人物または動物の特徴点に対して、ラベル付けの支援をするアノテーション支援装置であって、対称軸を有し、前記対称軸に対して対称な複数の部位を有する前記アノテーション対象に対し、第１の部位に含まれる、ラベルの修正をすべき第１の特徴点の情報を入力する入力部と、
前記第１の特徴点の前記ラベルを、前記対称軸に対して前記第１の部位に対称な第２の部位のラベルに書き換えるラベル書換部と、
を備えるアノテーション支援装置。
【請求項2】
複数の前記第１の特徴点は前記第１の部位として登録されており、前記ラベル書換部は、前記入力部への前記第１の部位の入力または、少なくとも何れかの前記第１の特徴点の情報の入力に応じて、前記第１の部位に含まれる前記複数の第１の特徴点のラベルを書き換える、
請求項１に記載のアノテーション支援装置。
【請求項3】
前記入力部による前記第１の特徴点の情報の入力は、前記アノテーション対象と前記特徴点とが表示された表示画像上における、前記第１の特徴点の位置の指定、前記第１の特徴点を含む領域の指定、前記第１の特徴点に関する前記対称軸の指定、前記第１の特徴点に関する前記対称軸上の点の指定の少なくとも何れかを含む、請求項１に記載のアノテーション支援装置。
【請求項4】
前記入力部に、入力された音声を解析する音声解析部からの前記第１の特徴点の情報が入力される、請求項１に記載のアノテーション支援装置。
【請求項5】
前記ラベル書換部は、複数のフレームに対して一括で、前記ラベルを書き換える、請求項１に記載のアノテーション支援装置。
【請求項6】
前記第１の特徴点に対し、前記対称軸に対して対称な第２の特徴点がペアとして設定されており、前記ラベル書換部は、前記第１の特徴点と前記第２の特徴点のラベルを入れ替える、請求項１から請求項５の何れかに記載のアノテーション支援装置。
【請求項7】
前記ラベル書換部は、前記第１の特徴点と前記第２の特徴点の位置を入れ替える、請求項６に記載のアノテーション支援装置。
【請求項8】
前記アノテーション対象を指定する対象指定部を備え、前記ラベル書換部は、指定された前記アノテーション対象に対して、前記第１の特徴点と前記第２の特徴点のラベルを入れ替える、請求項６に記載のアノテーション支援装置。
【請求項9】
前記第１の特徴点および第２の特徴点のペアは、左肩と右肩、左肘と右肘、左手首と右手首、左指先と右指先、左腰と右腰、左膝と右膝、左足首と右足首、左つま先と右つま先、左目と右目、および左耳と右耳のうち少なくとも何れかを含む、請求項６に記載のアノテーション支援装置。
【請求項10】
画像に含まれるアノテーション対象としての人物または動物の特徴点に対して、ラベル付けの支援をするアノテーション支援装置で動作する制御プログラムあって、対称軸を有し、前記対称軸に対して対称な複数の部位を有する前記アノテーション対象に対し、第１の部位に含まれる、ラベルの修正をすべき第１の特徴点の情報を入力する入力ステップと、
前記第１の特徴点の前記ラベルを、前記対称軸に対して前記第１の部位に対称な第２の部位のラベルに書き換えるラベル書換ステップと、
を含む処理を実行するための制御プログラム。
【請求項11】
複数の前記第１の特徴点は前記第１の部位として登録されており、前記ラベル書換ステップでは、前記入力ステップでの前記第１の部位の入力に応じて、前記第１の部位に含まれる前記複数の第１の特徴点のラベルを書き換える、
請求項１０に記載の制御プログラム。
【請求項12】
前記入力ステップでの前記第１の特徴点の情報の入力は、前記アノテーション対象と前記特徴点とが表示された表示画像上における、前記第１の特徴点の位置の指定、前記第１の特徴点を含む領域の指定、前記第１の特徴点に関する前記対称軸の指定、前記第１の特徴点に関する前記対称軸上の点の指定の少なくともいずれかを含む、請求項１０に記載の制御プログラム。
【請求項13】
前記入力ステップでは、入力された音声を解析する音声解析部からの前記第１の特徴点の情報が入力される、請求項１０に記載の制御プログラム。
【請求項14】
前記ラベル書換ステップでは、複数のフレームに対して一括で、前記ラベルを書き換える、請求項１０に記載の制御プログラム。
【請求項15】
前記第１の特徴点に対し、前記対称軸に対して対称な第２の特徴点がペアとして設定されており、前記ラベル書換ステップでは、前記第１の特徴点と前記第２の特徴点のラベルを入れ替える、請求項１０から請求項１４の何れかに記載の制御プログラム。
【請求項16】
前記ラベル書換ステップでは、前記第１の特徴点と前記第２の特徴点の位置を入れ替える、請求項１５に記載の制御プログラム。
【請求項17】
前記アノテーション対象を指定する対象指定ステップを含み、前記ラベル書換ステップでは、指定された前記アノテーション対象に対して、前記第１の特徴点と前記第２の特徴点のラベルを入れ替える、請求項１０に記載の制御プログラム。
【請求項18】
前記第１の特徴点および第２の特徴点のペアは、左肩と右肩、左肘と右肘、左手首と右手首、左指先と右指先、左腰と右腰、左膝と右膝、左足首と右足首、左つま先と右つま先、左目と右目、および左耳と右耳のうち少なくとも何れかを含む、請求項１５に記載の制御プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、アノテーション支援装置、および制御プログラムに関する。
【背景技術】
【0002】
ディープニューラルネットワークを用いて人物の関節点を検出し、検出された関節点に基づいて姿勢推定を行う技術がある（例えば、特許文献１）。正しく人物の関節点を検出するためにはディープニューラルネットワークを学習させる多くの学習データが必要となる。これらの学習データのラベル付けを効率よく作成行うために、撮影された画像に対してオートアノテーションする技術がある。例えばアノテーションツールであるＣＶＡＴ（Computer Vision Annotation Tool）やSuperviselyは、撮影された人物の関節点にオートアノテーションを行うことが可能である。
【0003】
しかしながら、オートアノテーションは、常に正しいラベルを付けるとは限らず、間違えが生じうる。例えば、歩行する人物を撮影した画像から関節点にオートアノテーションする際に、上半身は比較的正しいラベル付けできるが、下半身では左右反転している場合がある。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２０２０－８６８１９号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
このような間違ったラベルを修正することは、修正コストが高い。特に関節点は、複数ある。例えば、右足、左足を構成する複数の関節点が全て左右反転してアノテーションされた場合に、複数点を修正する必要があり、修正コストが高い。
【0006】
上述のアノテーションツールでは、関節点等のような特徴点にオートアノテーションする機能はあるが、これを容易に修正する機能は提供されていない。
【0007】
本発明は、上記事情に鑑みてなされたものであり、左右対称のような対称軸に対して対称関係にある複数の特徴点のラベルの修正を容易に行えるアノテーション支援装置、および制御プログラムを提供することを目的とする。
【課題を解決するための手段】
【0008】
本発明の上記目的は、下記の手段によって達成される。
【0009】
（１）画像に含まれるアノテーション対象としての人物または動物の特徴点に対して、ラベル付けの支援をするアノテーション支援装置であって、
対称軸を有し、前記対称軸に対して対称な複数の部位を有する前記アノテーション対象に対し、第１の部位に含まれる、ラベルの修正をすべき第１の特徴点の情報を入力する入力部と、
前記第１の特徴点の前記ラベルを、前記対称軸に対して前記第１の部位に対称な第２の部位のラベルに書き換えるラベル書換部と、
を備えるアノテーション支援装置。
対称軸を有し、前記対称軸に対して対称な複数の部位を有する前記アノテーション対象に対し、第１の部位に含まれる、ラベルの修正をすべき第１の特徴点の情報を入力する入力部と、
前記第１の特徴点の前記ラベルを、前記対称軸に対して前記第１の部位に対称な第２の部位のラベルに書き換えるラベル書換部と、
を備えるアノテーション支援装置。
【0010】
（２）複数の前記第１の特徴点は前記第１の部位として登録されており、
前記ラベル書換部は、前記入力部への前記第１の部位の入力または、少なくとも何れかの前記第１の特徴点の情報の入力に応じて、前記第１の部位に含まれる前記複数の第１の特徴点のラベルを書き換える、
上記（１）に記載のアノテーション支援装置。
前記ラベル書換部は、前記入力部への前記第１の部位の入力または、少なくとも何れかの前記第１の特徴点の情報の入力に応じて、前記第１の部位に含まれる前記複数の第１の特徴点のラベルを書き換える、
上記（１）に記載のアノテーション支援装置。
【0011】
（３）前記入力部による前記第１の特徴点の情報の入力は、
前記アノテーション対象と前記特徴点とが表示された表示画像上における、前記第１の特徴点の位置の指定、前記第１の特徴点を含む領域の指定、前記第１の特徴点に関する前記対称軸の指定、前記第１の特徴点に関する前記対称軸上の点の指定の少なくともいずれかを含む、上記（１）に記載のアノテーション支援装置。
前記アノテーション対象と前記特徴点とが表示された表示画像上における、前記第１の特徴点の位置の指定、前記第１の特徴点を含む領域の指定、前記第１の特徴点に関する前記対称軸の指定、前記第１の特徴点に関する前記対称軸上の点の指定の少なくともいずれかを含む、上記（１）に記載のアノテーション支援装置。
【0012】
（４）前記入力部に、入力された音声を解析する音声解析部からの前記第１の特徴点の情報が入力される、
上記（１）に記載のアノテーション支援装置。
上記（１）に記載のアノテーション支援装置。
【0013】
（５）前記ラベル書換部は、複数のフレームに対して一括で、前記ラベルを書き換える、
上記（１）に記載のアノテーション支援装置。
上記（１）に記載のアノテーション支援装置。
【0014】
（６）前記第１の特徴点に対し、前記対称軸に対して対称な第２の特徴点がペアとして設定されており、
前記ラベル書換部は、前記第１の特徴点と前記第２の特徴点のラベルを入れ替える、上記（１）から５の何れかに記載のアノテーション支援装置。
前記ラベル書換部は、前記第１の特徴点と前記第２の特徴点のラベルを入れ替える、上記（１）から５の何れかに記載のアノテーション支援装置。
【0015】
（７）前記ラベル書換部は、前記第１の特徴点と前記第２の特徴点の位置を入れ替える、上記（６）に記載のアノテーション支援装置。
【0016】
（８）前記アノテーション対象を指定する対象指定部を備え、
前記ラベル書換部は、指定された前記アノテーション対象に対して、前記第１の特徴点と前記第２の特徴点のラベルを入れ替える、上記（６）に記載のアノテーション支援装置。
前記ラベル書換部は、指定された前記アノテーション対象に対して、前記第１の特徴点と前記第２の特徴点のラベルを入れ替える、上記（６）に記載のアノテーション支援装置。
【0017】
（９）前記第１の特徴点および第２の特徴点のペアは、左肩と右肩、左肘と右肘、左手首と右手首、左指先と右指先、左腰と右腰、左膝と右膝、左足首と右足首、左つま先と右つま先、左目と右目、および左耳と右耳のうち少なくとも何れかを含む、上記（６）に記載のアノテーション支援装置。
【0018】
（１０）画像に含まれるアノテーション対象としての人物または動物の特徴点に対して、ラベル付けの支援をするアノテーション支援装置で動作する制御プログラムあって、
対称軸を有し、前記対称軸に対して対称な複数の部位を有する前記アノテーション対象に対し、第１の部位に含まれる、ラベルの修正をすべき第１の特徴点の情報を入力する入力ステップと、
前記第１の特徴点の前記ラベルを、前記対称軸に対して前記第１の部位に対称な第２の部位のラベルに書き換えるラベル書換ステップと、
を含む処理を実行するための制御プログラム。
対称軸を有し、前記対称軸に対して対称な複数の部位を有する前記アノテーション対象に対し、第１の部位に含まれる、ラベルの修正をすべき第１の特徴点の情報を入力する入力ステップと、
前記第１の特徴点の前記ラベルを、前記対称軸に対して前記第１の部位に対称な第２の部位のラベルに書き換えるラベル書換ステップと、
を含む処理を実行するための制御プログラム。
【0019】
（１１）複数の前記第１の特徴点は前記第１の部位として登録されており、
前記ラベル書換ステップでは、前記入力ステップでの前記第１の部位の入力に応じて、前記第１の部位に含まれる前記複数の第１の特徴点のラベルを書き換える、
上記（１０）に記載の制御プログラム。
前記ラベル書換ステップでは、前記入力ステップでの前記第１の部位の入力に応じて、前記第１の部位に含まれる前記複数の第１の特徴点のラベルを書き換える、
上記（１０）に記載の制御プログラム。
【0020】
（１２）前記入力ステップでの前記第１の特徴点の情報の入力は、
前記アノテーション対象と前記特徴点とが表示された表示画像上における、前記第１の特徴点の位置の指定、前記第１の特徴点を含む領域の指定、前記第１の特徴点に関する前記対称軸の指定、前記第１の特徴点に関する前記対称軸上の点の指定の少なくとも何れかを含む、上記（１０）に記載の制御プログラム。
前記アノテーション対象と前記特徴点とが表示された表示画像上における、前記第１の特徴点の位置の指定、前記第１の特徴点を含む領域の指定、前記第１の特徴点に関する前記対称軸の指定、前記第１の特徴点に関する前記対称軸上の点の指定の少なくとも何れかを含む、上記（１０）に記載の制御プログラム。
【0021】
（１３）前記入力ステップでは、入力された音声を解析する音声解析部からの前記第１の特徴点の情報が入力される、
上記（１０）に記載の制御プログラム。
上記（１０）に記載の制御プログラム。
【0022】
（１４）前記ラベル書換ステップでは、複数のフレームに対して一括で、前記ラベルを書き換える、
上記（１０）に記載の制御プログラム。
上記（１０）に記載の制御プログラム。
【0023】
（１５）前記第１の特徴点に対し、前記対称軸に対して対称な第２の特徴点がペアとして設定されており、
前記ラベル書換ステップでは、前記第１の特徴点と前記第２の特徴点のラベルを入れ替える、上記（１０）から１４の何れかに記載の制御プログラム。
前記ラベル書換ステップでは、前記第１の特徴点と前記第２の特徴点のラベルを入れ替える、上記（１０）から１４の何れかに記載の制御プログラム。
【0024】
（１６）前記ラベル書換ステップでは、前記第１の特徴点と前記第２の特徴点の位置を入れ替える、上記（１５）に記載の制御プログラム。
【0025】
（１７） 前記アノテーション対象を指定する対象指定ステップを含み、
前記ラベル書換ステップでは、指定された前記アノテーション対象に対して、前記第１の特徴点と前記第２の特徴点のラベルを入れ替える、上記（１０）に記載の制御プログラム。
前記ラベル書換ステップでは、指定された前記アノテーション対象に対して、前記第１の特徴点と前記第２の特徴点のラベルを入れ替える、上記（１０）に記載の制御プログラム。
【0026】
（１８）前記第１の特徴点および第２の特徴点のペアは、左肩と右肩、左肘と右肘、左手首と右手首、左指先と右指先、左腰と右腰、左膝と右膝、左足首と右足首、左つま先と右つま先、左目と右目、および左耳と右耳のうち少なくとも何れかを含む、上記（１５）も記載の制御プログラム。
【発明の効果】
【0027】
本発明に係るアノテーション支援装置は、対称軸を有し、前記対称軸に対して対称な複数の部位を有するアノテーション対象に対し、第１の部位に含まれる、ラベルの修正をすべき第１の特徴点の情報を入力する入力部と、第１の特徴点の前記ラベルを、対称軸に対して第１の部位に対称な第２の部位のラベルに書き換えるラベル書換部と、を備える。このようにすることで、対称関係にある複数の特徴点のラベルの修正を容易に行える。
【図面の簡単な説明】
【0028】
【図1】本実施形態に係るアノテーション支援装置の概略構成を示す図である。
【図2】対称軸に対して対称な関係になるラベルのペア関係を示すテーブルである。
【図3】アノテーション支援方法の処理手順の概略を示すフローチャートである。
【図4】アノテーションにより正しいラベルが付与された状態を示す模式図である。
【図6】変形例における、各特徴点における部位とラベルの関係を示すテーブルである。
【図7】間違ったラベルの書き換えについて説明する模式図である。
【図10A】表示画面上において、第１の特徴点または第１の部位を指定する手順を示す図である。
【図10B】表示画面上において、第１の特徴点または第１の部位を指定する手順を示す図である。
【図12】表示画面上において、第１の特徴点または第１の部位を指定する手順を示す図である。
【図14】表示画面上において、対称軸上の中心点を指定する手順を示す図である。
【図16】表示画面上において、対称軸上の中心点を指定する手順を示す図である。
【図19】時系列のフレームにおいて、一括して書き換える例を説明する模式図である。
【発明を実施するための形態】
【0029】
以下、添付した図面を参照して、本発明の実施形態を説明する。しかしながら、本発明の範囲は、開示される実施形態に限定されない。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。本発明の一つ以上の実施形態から提供される利点および特徴は、以下に示す詳細な説明および添付の図面により完全に理解される。また、添付された図面は、単なる説明のために提供されたものであり、本発明の範囲を規定するものとは意図しない。
【0030】
図１は、本実施形態に係るアノテーション支援装置１０の概略構成を示す図である。情報システム３００は、アノテーション支援装置１０（以下、単に支援装置１０ともいう）と撮像装置２０を含む。支援装置１０と撮像装置２０は、通信接続する。アノテーション支援装置１０はＰＣ（パーソナルコンピューター）またはサーバーである。また、サーバーで構成する場合には、一部の機能をネットワーク上のクラウドサーバーが担ってもよい。
【0031】
撮像装置２０は、制御部、通信部、カメラ等を備える。カメラは、例えば、可視光カメラである。可視光カメラは、所定領域内の物体により反射される可視光線の反射光をＣＭＯＳセンサーにより受光することにより所定領域を撮影する。また、カメラは、可視光カメラの代わりに近赤外線カメラを用いて構成されてもよい。撮像装置２０は、例えば１５ｆｐｓ～６０ｆｐｓのフレームレートの、時間的に連続する複数の撮影画像（フレーム）からなる動画を撮影する。撮影した画像は、支援装置１０に送られる。
【0032】
支援装置１０は、制御部１１、記憶部１２、通信部１３、表示部１４、キーボード１５、マウス１６、マイク１７等を備える。支援装置１０内の各構成要素は、相互に電気接続するが、図１では、接続関係の記載は省略している。
【0033】
制御部１１は、ＣＰＵ、ＧＰＵ、ＲＡＭ、ＲＯＭ等で構成される。制御部１１は、通信部１３と協働することで、画像取得部１１１として機能する。また、制御部１１は、表示部１４、マウス１６等の他の構成要素と協働することで、関節点抽出部１１２、アノテーション部１１３、ペア設定部１１４、特徴点入力部１１５、対象指定部１１６、ラベル書換部１１７、および音声解析部１１８として機能する。これらの各機能については後述する。
【0034】
記憶部１２は、ＳＳＤ、ＨＤＤ等により構成される。記憶部１２には各種のプログラム、関節点の抽出を行う機械学習済みモデル、ラベルのペア関係を記述したテーブル（後述の図２）等が記憶されている。
【0035】
通信部１３は、ネットワークを介して、撮像装置２０等の他の装置と通信するためのインターフェース回路（例えばＬＡＮカード）である。
【0036】
表示部１４は、ＬＣＤ等のディスプレイで構成され、第１特徴点等の入力に用いられる表示画面（ＧＵＩ：Graphical User Interface）を表示する。また、表示部１４は、タッチスクリーンを備えてもよい。
【0037】
キーボード１５、マウス１６は、ユーザーからの指示の入力に用いられる。また、マイク１７は、ユーザーからの音声が入力される。
【0038】
（画像取得部１１１）
画像取得部１１１は、撮像装置２０が撮影した画像を取得する。撮影した画像は、撮影時刻と紐付けられ、記憶部１２に記憶される。また、画像取得部１１１は、ネットワーク接続した他の装置から、画像を取得するようにしてもよい。
画像取得部１１１は、撮像装置２０が撮影した画像を取得する。撮影した画像は、撮影時刻と紐付けられ、記憶部１２に記憶される。また、画像取得部１１１は、ネットワーク接続した他の装置から、画像を取得するようにしてもよい。
【0039】
（関節点抽出部１１２）
関節点抽出部１１２は、画像取得部１１１によって取得された画像に含まれる人等の対象物について骨格情報を検出する。関節点抽出部１１２は、人物を含む矩形（以下、「人矩形」ともいう）から人物の関節点を検出するための学習済みモデルを使用して関節点を検出する。人矩形は、画像における人物の関節点およびノードを内包する領域である。このような学習済みモデルとして、例えば、OpenPose（https://arxiv.org/abs/1812.08008）、Deep Pose(https://arxiv.org/abs/1312.4659)等のモデルが知られている。
関節点抽出部１１２は、画像取得部１１１によって取得された画像に含まれる人等の対象物について骨格情報を検出する。関節点抽出部１１２は、人物を含む矩形（以下、「人矩形」ともいう）から人物の関節点を検出するための学習済みモデルを使用して関節点を検出する。人矩形は、画像における人物の関節点およびノードを内包する領域である。このような学習済みモデルとして、例えば、OpenPose（https://arxiv.org/abs/1812.08008）、Deep Pose(https://arxiv.org/abs/1312.4659)等のモデルが知られている。
【0040】
（アノテーション部１１３）
アノテーション部１１３は、関節点抽出部１１２が抽出した関節点に対して、オートアノテーションする。例えばＣＶＡＴを用いてオートアノテーションする。アノテーションにより付与された各関節点（特徴点ともいう）のラベルの例については、後述する（図５、図６等）。
アノテーション部１１３は、関節点抽出部１１２が抽出した関節点に対して、オートアノテーションする。例えばＣＶＡＴを用いてオートアノテーションする。アノテーションにより付与された各関節点（特徴点ともいう）のラベルの例については、後述する（図５、図６等）。
【0041】
（ペア設定部１１４）
ペア設定部１１４は、対象物の対称軸に対して対称な位置関係にある２つの特徴点のペアを設定する。対称軸は、人物であれば体の中心軸である。図２は、ペア関係を示すテーブルである。このテーブルは、ユーザーにより設定され、予め記憶部１２に記憶されている。図２では、対象物は人であり、特徴点としては関節点の例を示している。図２に示すように、右肩と左肩はペア関係にある。同様に右肘と左肘はペア関係にある。図２はあくまでも例示であり、これ以外の特徴点が含まれてもよく、一部のみが含まれてもよい。また、対称軸に対して一方が第１の特徴点（または第１の部位）であり、他方が第２の特徴点（または第２の部位）である。図２に示す例、および以下においては、特段の説明がない場合には、左右のうちの左側を第１の特徴点または第１の部位といい、右側を第２の特徴点または第２の部位という。
ペア設定部１１４は、対象物の対称軸に対して対称な位置関係にある２つの特徴点のペアを設定する。対称軸は、人物であれば体の中心軸である。図２は、ペア関係を示すテーブルである。このテーブルは、ユーザーにより設定され、予め記憶部１２に記憶されている。図２では、対象物は人であり、特徴点としては関節点の例を示している。図２に示すように、右肩と左肩はペア関係にある。同様に右肘と左肘はペア関係にある。図２はあくまでも例示であり、これ以外の特徴点が含まれてもよく、一部のみが含まれてもよい。また、対称軸に対して一方が第１の特徴点（または第１の部位）であり、他方が第２の特徴点（または第２の部位）である。図２に示す例、および以下においては、特段の説明がない場合には、左右のうちの左側を第１の特徴点または第１の部位といい、右側を第２の特徴点または第２の部位という。
【0042】
（特徴点入力部１１５）
特徴点入力部１１５は、表示部１４に表示した表示画面（後述の図１０Ａの表示画面ｓ１等）へのマウス１６、キーボード１５等を通じた入力によりラベルの書き換えを行う特徴点の情報の入力を受け付ける。ここでいう「特徴点の情報」には、ラベルを書き換える１つ以上の特徴点を特定するために、下記の情報が含まれる。
（１ａ）特徴点の位置の指定情報（後述の図１０Ａの例）。
（１ｂ）特徴点を含む領域の指定情報（後述の図１０Ｂの例）。
（１ｃ）特徴点に関する対称軸の指定。
（１ｄ）特徴点に関する対称軸上の点の指定（後述の図１４の例）。
特徴点入力部１１５は、表示部１４に表示した表示画面（後述の図１０Ａの表示画面ｓ１等）へのマウス１６、キーボード１５等を通じた入力によりラベルの書き換えを行う特徴点の情報の入力を受け付ける。ここでいう「特徴点の情報」には、ラベルを書き換える１つ以上の特徴点を特定するために、下記の情報が含まれる。
（１ａ）特徴点の位置の指定情報（後述の図１０Ａの例）。
（１ｂ）特徴点を含む領域の指定情報（後述の図１０Ｂの例）。
（１ｃ）特徴点に関する対称軸の指定。
（１ｄ）特徴点に関する対称軸上の点の指定（後述の図１４の例）。
【0043】
また、特徴点の情報の入力により、１つの特徴点が指定された場合に、ラベルを書き換える特徴点は下記の場合がある。
（２ａ）その特徴点だけを、ペアのラベルに書き換える場合（後述の図１６の例）。
（２ｂ）その特徴点および同じ部位に属する他の特徴点を、ペアのラベルに書き換える場合（後述の図１５の例）。
（２ｃ）その特徴点およびペアのラベルが付与されている特徴点のラベルを相互に入れ替える場合（後述の図９の例）。
（２ｄ）その特徴点および同じ部位に属する他の特徴点を、ペアのラベルが付与されている特徴点のラベルと入れ替える場合（後述の図１２の例）。
（２ａ）その特徴点だけを、ペアのラベルに書き換える場合（後述の図１６の例）。
（２ｂ）その特徴点および同じ部位に属する他の特徴点を、ペアのラベルに書き換える場合（後述の図１５の例）。
（２ｃ）その特徴点およびペアのラベルが付与されている特徴点のラベルを相互に入れ替える場合（後述の図９の例）。
（２ｄ）その特徴点および同じ部位に属する他の特徴点を、ペアのラベルが付与されている特徴点のラベルと入れ替える場合（後述の図１２の例）。
【0044】
（対象指定部１１６）
対象指定部１１６は、表示部１４に表示した操作要の表示画面（後述の図１０の表示画面ｓ１等）へのマウス１６、キーボード１５等を通じた入力によりラベルの書き換えを行うアノテーション対象の指定を受け付ける。指定された対象は、特定の範囲の特徴点のラベルを、ペアのラベルに入れ替えられる（後述の図１５参照）。
対象指定部１１６は、表示部１４に表示した操作要の表示画面（後述の図１０の表示画面ｓ１等）へのマウス１６、キーボード１５等を通じた入力によりラベルの書き換えを行うアノテーション対象の指定を受け付ける。指定された対象は、特定の範囲の特徴点のラベルを、ペアのラベルに入れ替えられる（後述の図１５参照）。
【0045】
（ラベル書換部１１７）
ラベル書換部１１７は、特徴点入力部１１５または対象指定部１１６で入力された特徴点の情報または指定されたアノテーション対象の情報に基づいて、ラベルの書き換えを行う。このラベルの書き換えは、第１の特徴点のラベルを他方のペアのラベルへの書き換え（後述の図１７の例）と、第１、第２の特徴点のラベルの相互の入れ替え（後述の図８等）の両方が含まれる。また、ラベル書換部１１７は、他の例として、ペアの関係となるラベルが付与された特徴点の位置を入れ替える処理をしてもよい（後述の図１８の例）。
ラベル書換部１１７は、特徴点入力部１１５または対象指定部１１６で入力された特徴点の情報または指定されたアノテーション対象の情報に基づいて、ラベルの書き換えを行う。このラベルの書き換えは、第１の特徴点のラベルを他方のペアのラベルへの書き換え（後述の図１７の例）と、第１、第２の特徴点のラベルの相互の入れ替え（後述の図８等）の両方が含まれる。また、ラベル書換部１１７は、他の例として、ペアの関係となるラベルが付与された特徴点の位置を入れ替える処理をしてもよい（後述の図１８の例）。
【0046】
（音声解析部１１８）
音声解析部１１８は、ラベル書替モードが実行中の際に、マイク１７から入力されたユーザーからの音声を解析し、音声認識処理により、テキストデータを得る。音声認識処理は周知の処理を適用できる。テキストデータをコマンドに関する辞書データと突き合わせることで、特徴点入力部１１５または、対象指定部１１６への指示が行われる。
音声解析部１１８は、ラベル書替モードが実行中の際に、マイク１７から入力されたユーザーからの音声を解析し、音声認識処理により、テキストデータを得る。音声認識処理は周知の処理を適用できる。テキストデータをコマンドに関する辞書データと突き合わせることで、特徴点入力部１１５または、対象指定部１１６への指示が行われる。
【0047】
【0048】
（ステップＳ０１）
アノテーション支援装置１０は、撮像装置２０等から撮影した画像データを取得する。例えば、画像取得部１１１は、撮像装置２０から、連続した撮影により得られた時系列のフレーム画像を取得する。
アノテーション支援装置１０は、撮像装置２０等から撮影した画像データを取得する。例えば、画像取得部１１１は、撮像装置２０から、連続した撮影により得られた時系列のフレーム画像を取得する。
【0049】
（ステップＳ０２）
関節点抽出部１１２は、機械学習により学習された学習済みモデルを用いて、画像から対象物を検出する。例えば、対象物として、画像から人（人物）を検出する。なお、以下においては、アノテーション対象（対象物）として、人物の場合について説明するが、これに限られず、骨格を有する人以外の猫、犬等の動物に適用してもよい。
関節点抽出部１１２は、機械学習により学習された学習済みモデルを用いて、画像から対象物を検出する。例えば、対象物として、画像から人（人物）を検出する。なお、以下においては、アノテーション対象（対象物）として、人物の場合について説明するが、これに限られず、骨格を有する人以外の猫、犬等の動物に適用してもよい。
【0050】
（ステップＳ０３）
関節点抽出部１１２は、ステップＳ０２で検出した人に対して、Ｄｅｅｐ Ｐｏｓｅ等の公知の学習済みモデルを用いて、人の関節点を抽出（推定）する。また、アノテーション部１１３は、関節点に対してオートアノテーションを行うラベルを付与する。
関節点抽出部１１２は、ステップＳ０２で検出した人に対して、Ｄｅｅｐ Ｐｏｓｅ等の公知の学習済みモデルを用いて、人の関節点を抽出（推定）する。また、アノテーション部１１３は、関節点に対してオートアノテーションを行うラベルを付与する。
【0051】
（ステップＳ０４）
制御部１１は、表示部１４にラベルが付与された画像を表示する。図４は、ここまでの処理により正しいラベルが付与された状態を示す模式図である。図５は、図４における各特徴点における部位とラベルの関係を示すテーブルである。
制御部１１は、表示部１４にラベルが付与された画像を表示する。図４は、ここまでの処理により正しいラベルが付与された状態を示す模式図である。図５は、図４における各特徴点における部位とラベルの関係を示すテーブルである。
【0052】
図４は、人物が目の前のボールをバット打とうとする場面を撮影した画像および、これにアノテーションのラベルを重ねた状態を示す模式図である。図４においてｐ１１～ｐ２６は各特徴点を示し、これは、図５のテーブルの特徴点に対応する。図５では、例えば特徴点ｐ１１は、第２の特徴点であり、右腕の部位に属する右手首の特徴点であることが示されている。特徴点ｐ１１～ｐ１３は、それぞれ右手首、右肘、右肩のラベルが付与された、同じ右腕の部位に属する複数の特徴点群である。上述のように、左側の特徴点を第１の特徴点または第１の部位と称し、右側の特徴点を第２の特徴点または第２の部位と称しているが、あくまでも例であり、反対に右側が第１の特徴点または第１の部位であってもよい。
【0053】
また、図５の例では、１つの部位に複数の特徴点が含まれるものとして説明しているが、１つの部位に、１つの特徴点しか含まれなくてもよい。例えば、図６は、変形例における各部位と特徴点との関係を示すテーブルである。図６の例では、右肩の部位には、右肩のラベルの特徴点のみが含まれる。
【0054】
（ステップＳ０５）
ユーザーは、図４のような内容が、表示部１４の表示面に表示されることで、正しいラベルが付与されたか否かを確認できる。図４の例のように正しいラベルが付与された場合には、修正不要（ＮＯ）のため、処理を終了する。
ユーザーは、図４のような内容が、表示部１４の表示面に表示されることで、正しいラベルが付与されたか否かを確認できる。図４の例のように正しいラベルが付与された場合には、修正不要（ＮＯ）のため、処理を終了する。
【0055】
一方で、ラベル修正が必要な場合には（ＹＥＳ）、ユーザーは、修正アプリを立ち上げて、ラベル書替モードに移行する。これにより、制御部１１は、処理をステップＳ０６に進める。
【0056】
（ステップＳ０６）
ペア設定部１１４は、対称関係にある特徴点のペアを設定する。これは、図２に示すテーブルを用いて行われる。例えば、図４、図５の例では、ペア設定部１１４は、ラベルが右手首の特徴点ｐ１１と、左手首のラベルとペアの左手首のラベルの特徴点ｐ２１はペアとなる。同様に、図５の例では、特徴点ｐ１２と特徴点ｐ２２がペアとして設定される。同様に、特徴点ｐ１３～１６と特徴点ｐ２３～２６もそれぞれペアとして設定される。
ペア設定部１１４は、対称関係にある特徴点のペアを設定する。これは、図２に示すテーブルを用いて行われる。例えば、図４、図５の例では、ペア設定部１１４は、ラベルが右手首の特徴点ｐ１１と、左手首のラベルとペアの左手首のラベルの特徴点ｐ２１はペアとなる。同様に、図５の例では、特徴点ｐ１２と特徴点ｐ２２がペアとして設定される。同様に、特徴点ｐ１３～１６と特徴点ｐ２３～２６もそれぞれペアとして設定される。
【0057】
（ステップＳ０７）
制御部１１は、図４のような内容を表示部１４の表示面に表示させるとともに、ユーザーによる特徴点の情報の入力を受け付ける表示画面を表示させる。
制御部１１は、図４のような内容を表示部１４の表示面に表示させるとともに、ユーザーによる特徴点の情報の入力を受け付ける表示画面を表示させる。
【0058】
（ステップＳ０８）
ここでは、制御部１１は、ユーザーの特徴点の情報の入力に基づいて、特徴点のラベルの書き換え処理を行う。
ここでは、制御部１１は、ユーザーの特徴点の情報の入力に基づいて、特徴点のラベルの書き換え処理を行う。
【0059】
ユーザーの特徴点の情報の入力は、後述する第１～第４の手法まである。それぞれの手法については、後述するが、全体の概略は以下のとおりである。
【0060】
【0061】
図７の（Ａ）、図８（Ａ）は、間違ったラベルが付与された状態を示す図であり、図７（Ｂ）、図８（Ｂ）は、ラベル付け替え後の状態を示す図である。図７において破線で囲む領域は、間違ったラベルが付与された特徴点の範囲を示し、同様に、図８において破線で囲む領域は、これに対応する特徴点である。
【0062】
特徴点入力部１１５は、ユーザーから特徴点ｐ２１～ｐ２３（または特徴点ｐ１１～１３）の入力を受け付ける。これによりラベル書換部１１７は、ペア設定部１１４によりペア付けられているラベルを参照する（図２）。
【0063】
そしてラベル書換部１１７は、これらの特徴点ｐ２１～ｐ２３とステップＳ０６でペアに設定された特徴点ｐ１１～ｐ１３を抽出し、これらのラベルを相互に入れ替える。または、ラベル書換部１１７は、これらの特徴点ｐ１１～ｐ１３に付与されているラベル（左手首、左肘、左肩）とペア付けられているラベル（右手首、右肘、右肩）が付与されている特徴点ｐ２１～２３を抽出する。そして、これらの特徴点のラベルを相互に入れ替える。すなわちラベル書換部１１７は、特徴点ｐ１１の左手首のラベルを右手首のラベル（図２参照）に書き換えるとともに、抽出した（右手首のラベルが付与されている）特徴点ｐ２１のラベルを、左手首に書き換える。ラベル書換部１１７は、選択された特徴点ｐ１２、ｐ１３についても同様の処理を行い、特徴点ｐ１２、ｐ１３、ｐ２２、ｐ２３のラベルを書き換える。以上までが、ラベル書き換え処理の概略である。次に各手法による特徴点情報の入力について説明する。
【0064】
（第１の手法）
第１の手法は、ユーザーが、書き換え対象の特徴点をそれぞれ指定するものである。図９は、第１の手法における図３のステップＳ０８の書き換え処理を示すサブルーチンフローチャートである。図１０Ａ、図１０Ｂは、表示部１４等に表示した表示画面上（ＧＵＩ）において、第１の特徴点を指定する操作手順を示す図である。
第１の手法は、ユーザーが、書き換え対象の特徴点をそれぞれ指定するものである。図９は、第１の手法における図３のステップＳ０８の書き換え処理を示すサブルーチンフローチャートである。図１０Ａ、図１０Ｂは、表示部１４等に表示した表示画面上（ＧＵＩ）において、第１の特徴点を指定する操作手順を示す図である。
【0065】
（ステップＳ１０１）
ユーザーは、表示画面に表示されるアノテーション対象（人）のラベルを参照し、ラベル修正が必要な特徴点の指定を行う。例えば図１０Ａの表示画面ｓ１において特徴点をクリックすることで指定する。なお、図１０Ａの表示画面ｓ１においてはラベルの印として左右の特徴点を線種、濃度、色、マークの形状等で区別できるように示しているが、これに加えてテキストでラベルを表示してもよい（他の図１０Ｂ等の表示画面も同様）。また、カーソルを何れかの特徴点に近づけることで、各特徴点のラベルのテキストデータが表示されるようにしてもよい。
ユーザーは、表示画面に表示されるアノテーション対象（人）のラベルを参照し、ラベル修正が必要な特徴点の指定を行う。例えば図１０Ａの表示画面ｓ１において特徴点をクリックすることで指定する。なお、図１０Ａの表示画面ｓ１においてはラベルの印として左右の特徴点を線種、濃度、色、マークの形状等で区別できるように示しているが、これに加えてテキストでラベルを表示してもよい（他の図１０Ｂ等の表示画面も同様）。また、カーソルを何れかの特徴点に近づけることで、各特徴点のラベルのテキストデータが表示されるようにしてもよい。
【0066】
特徴点入力部１１５は、ユーザーのクリック操作に応じて、特徴点の指定の入力を受け付ける。例えば、図１０Ａに示すようにユーザーにより特徴点ｐ２２が選択されたとする。
【0067】
（ステップＳ１０２）
ラベル書換部１１７は、ユーザーにより入力された特徴点ｐ２２に付与されているラベル（右肘）を認識する。このラベルは、間違ったラベルでありユーザーが修正したいラベルである。ラベル書換部１１７は、ペア設定部１１４により設定された図２のテーブルを参照し、このラベル（右肘）とペア付けられているラベル（左肘）が付与されている特徴点ｐ１２を抽出する。そしてラベル書換部１１７は、ペアのラベルが付与された特徴点ｐ２２、ｐ１２のラベルを相互に入れ替える。すなわち、特徴点ｐ２２のラベルは「左肘」に書き換えられ、特徴点ｐ１２のラベルは「右肘」に書き換えられる（図８（Ｂ）参照）。ユーザーによる特徴点の指定が行われる毎に、ステップＳ１０１、Ｓ１０２の処理が繰り返される。なお、以上の説明で明らかなように、特徴点ｐ２２に替えて、ユーザーにより特徴点ｐ１２が指定されることでも同じ書き換え処理が行われる。
ラベル書換部１１７は、ユーザーにより入力された特徴点ｐ２２に付与されているラベル（右肘）を認識する。このラベルは、間違ったラベルでありユーザーが修正したいラベルである。ラベル書換部１１７は、ペア設定部１１４により設定された図２のテーブルを参照し、このラベル（右肘）とペア付けられているラベル（左肘）が付与されている特徴点ｐ１２を抽出する。そしてラベル書換部１１７は、ペアのラベルが付与された特徴点ｐ２２、ｐ１２のラベルを相互に入れ替える。すなわち、特徴点ｐ２２のラベルは「左肘」に書き換えられ、特徴点ｐ１２のラベルは「右肘」に書き換えられる（図８（Ｂ）参照）。ユーザーによる特徴点の指定が行われる毎に、ステップＳ１０１、Ｓ１０２の処理が繰り返される。なお、以上の説明で明らかなように、特徴点ｐ２２に替えて、ユーザーにより特徴点ｐ１２が指定されることでも同じ書き換え処理が行われる。
【0068】
ユーザーによる特徴点の指定は、マウスによるクリック以外に、図１０Ｂに示すように、領域指定により行われてもよい。図１０Ｂに示す表示画面ｓ２では、ユーザーは、マウスのドラッグ操作によりラベルを修正したい特徴点ｐ２１～ｐ２３が含まれる領域を指定している。これにより特徴点入力部１１５は、特徴点ｐ２１～ｐ２３の入力を受け付ける。そして、ラベル書換部１１７は、特徴点ｐ２１、ｐ２２、ｐ２３それぞれに対してペアとなる特徴点ｐ１１、１２、ｐ１３とラベルを入れ替える処理を行う。なお、範囲の指定の際には、ユーザーは、特徴点ｐ１１～ｐ１３もまとめて選択してもよい。この場合も同様の処理結果となる。
【0069】
（第２の手法）
第１の部位には、複数の第１の特徴点が含まれる場合がある。例えば図５に示す例において、左腕の部位には、左手首、左肘、左肩のラベルが付与された特徴点ｐ２１～ｐ２３が含まれる。第２の手法では、ユーザーが、書き換え対象の何れかの第１の特徴点を指定することで、第１の部位が指定されたものとして取り扱う。または、第２の手法では、この特徴点が属する第１の部位に含まれる全部の第１の特徴点が指定されたとして取り扱う。すなわち、支援装置１０は、指定された第１の特徴点が属する第１の部位に含まれる複数の特徴点に対してまとめてラベルの書き換えを行うものである。なお、第１の部位に属する複数の特徴点の中心点を登録しておいてもよい。この場合、中心点に対して以下に説明するドラッグ操作が行われた場合に、第１の部位が選択されたものとして取り扱う。また、中心点については、ラベル名にｃｅｔｅｒ、ｒｉｇｈｔ、ｌｅｆｔ等の対象軸および特徴点が判別できるワードを含ませるようにし、これにより、特徴点入力部１１５が、中心点であると自動判別できるようにしてもよい。
第１の部位には、複数の第１の特徴点が含まれる場合がある。例えば図５に示す例において、左腕の部位には、左手首、左肘、左肩のラベルが付与された特徴点ｐ２１～ｐ２３が含まれる。第２の手法では、ユーザーが、書き換え対象の何れかの第１の特徴点を指定することで、第１の部位が指定されたものとして取り扱う。または、第２の手法では、この特徴点が属する第１の部位に含まれる全部の第１の特徴点が指定されたとして取り扱う。すなわち、支援装置１０は、指定された第１の特徴点が属する第１の部位に含まれる複数の特徴点に対してまとめてラベルの書き換えを行うものである。なお、第１の部位に属する複数の特徴点の中心点を登録しておいてもよい。この場合、中心点に対して以下に説明するドラッグ操作が行われた場合に、第１の部位が選択されたものとして取り扱う。また、中心点については、ラベル名にｃｅｔｅｒ、ｒｉｇｈｔ、ｌｅｆｔ等の対象軸および特徴点が判別できるワードを含ませるようにし、これにより、特徴点入力部１１５が、中心点であると自動判別できるようにしてもよい。
【0070】
図１１は、第２の手法における図３のステップＳ０８の書き換え処理を示すサブルーチンフローチャートである。図１２は、表示部１４等に表示した表示画面上（ＧＵＩ）において、第１の部位を指定する操作手順を示す図である。
【0071】
（ステップＳ２０１）
ユーザーは、表示画面に表示されるアノテーション対象（人）のラベルを参照し、ラベル修正が必要な第１の部位の指定を行う。例えば図１２に示す例では、表示画面ｓ３において、ユーザーは、特徴点ｐ２２をドラッグして移動させ、他の特徴点ｐ１２に重ねる。この操作により、特徴点入力部１１５は、特徴点ｐ２２が属する第１の部位（右腕または左腕）が入力されたものとして取り扱う。なお、図１２に示す例に変えて、部位選択／特徴点選択を切り替えるボタンを表示画面上に配置し、そのボタンにより部位選択を指定できるようにしてもよい。この場合、図１０Ａの操作と同じように、第１の部位の何れかの特徴点がクリック操作で選択されることで、特徴点入力部１１５は、第１の部位が選択されたものとして取り扱う。
ユーザーは、表示画面に表示されるアノテーション対象（人）のラベルを参照し、ラベル修正が必要な第１の部位の指定を行う。例えば図１２に示す例では、表示画面ｓ３において、ユーザーは、特徴点ｐ２２をドラッグして移動させ、他の特徴点ｐ１２に重ねる。この操作により、特徴点入力部１１５は、特徴点ｐ２２が属する第１の部位（右腕または左腕）が入力されたものとして取り扱う。なお、図１２に示す例に変えて、部位選択／特徴点選択を切り替えるボタンを表示画面上に配置し、そのボタンにより部位選択を指定できるようにしてもよい。この場合、図１０Ａの操作と同じように、第１の部位の何れかの特徴点がクリック操作で選択されることで、特徴点入力部１１５は、第１の部位が選択されたものとして取り扱う。
【0072】
（ステップＳ２０２）
ラベル書換部１１７は、第１の部位に属する複数の第１の特徴点ｐ２１、ｐ２２、ｐ２３を、ペアの第２の部位に属する複数の第２の特徴点ｐ１１、ｐ１２、ｐ１３それぞれのラベルと入れ替える（例えば図８参照）。
ラベル書換部１１７は、第１の部位に属する複数の第１の特徴点ｐ２１、ｐ２２、ｐ２３を、ペアの第２の部位に属する複数の第２の特徴点ｐ１１、ｐ１２、ｐ１３それぞれのラベルと入れ替える（例えば図８参照）。
【0073】
（第３の手法）
第３の手法は、第１の特徴点に関する対称軸または対称軸上の点を登録しておき、表示画面上にアイコンとして表示させるものである。そして、これがユーザーにより選択された場合には、第１、第２の特徴点が選択されたとして取り扱う。すなわち、支援装置１０は、対称軸に紐付けられた複数の特徴点に対してまとめてラベルの書き換えを行う。
第３の手法は、第１の特徴点に関する対称軸または対称軸上の点を登録しておき、表示画面上にアイコンとして表示させるものである。そして、これがユーザーにより選択された場合には、第１、第２の特徴点が選択されたとして取り扱う。すなわち、支援装置１０は、対称軸に紐付けられた複数の特徴点に対してまとめてラベルの書き換えを行う。
【0074】
図１３は、第３の手法における図３のステップＳ０８の書き換え処理を示すサブルーチンフローチャートである。図１４は、表示部１４等に表示した表示画面上（ＧＵＩ）において、対称軸上の点を指定する操作手順を示す図である。
【0075】
（ステップＳ３０１）
ユーザーは、表示画面に表示されるアノテーション対象（人）のラベルを参照し、ラベル修正が必要な第１の特徴点を認識し、第１の特徴点に関連づけた対称軸上の点を示すアイコンを操作する。例えば図１４に示す例では、表示画面ｓ５において対称軸上の点を示すアイコン（以下、軸アイコンという）は、２つの回転矢印およびその中の二重丸のアイコンである。ユーザーは、軸アイコンをクリックすることで、軸アイコンが選択される。この操作により、特徴点入力部１１５は、軸アイコンの対称軸に紐付けられた複数の第１の特徴点（特徴点ｐ１１～ｐ１３、または特徴点ｐ２１～ｐ２３）が選択されたものとして取り扱う。
ユーザーは、表示画面に表示されるアノテーション対象（人）のラベルを参照し、ラベル修正が必要な第１の特徴点を認識し、第１の特徴点に関連づけた対称軸上の点を示すアイコンを操作する。例えば図１４に示す例では、表示画面ｓ５において対称軸上の点を示すアイコン（以下、軸アイコンという）は、２つの回転矢印およびその中の二重丸のアイコンである。ユーザーは、軸アイコンをクリックすることで、軸アイコンが選択される。この操作により、特徴点入力部１１５は、軸アイコンの対称軸に紐付けられた複数の第１の特徴点（特徴点ｐ１１～ｐ１３、または特徴点ｐ２１～ｐ２３）が選択されたものとして取り扱う。
【0076】
（ステップＳ３０２）
ラベル書換部１１７は、軸アイコンの対称軸に紐付けられた複数の第１の特徴点ｐ２１、ｐ２２、ｐ２３を、ペアの複数の第２の特徴点ｐ１１、ｐ１２、ｐ１３それぞれのラベルと入れ替える（例えば図８参照）。
ラベル書換部１１７は、軸アイコンの対称軸に紐付けられた複数の第１の特徴点ｐ２１、ｐ２２、ｐ２３を、ペアの複数の第２の特徴点ｐ１１、ｐ１２、ｐ１３それぞれのラベルと入れ替える（例えば図８参照）。
【0077】
（第４の手法）
第４の手法は、特徴点の指定ではなく、アノテーション対象の指定を受け付けることで、アノテーション対象に関する特定の範囲の複数の第１の特徴点が指定されたものとして取り扱うものである。特定の範囲は、アノテーション対象（人物）の（１）全ての第１の特徴点、（２）上半身の第１の特徴点、（３）下半身の第１の特徴点の何れであってもよい。例えばこの選択は、表示画面（図示省略）に配置した選択ボタンにより、ユーザーにより選択されてもよい。以下では特定の範囲が（２）上半身の第１の特徴点であるものとして説明する。
第４の手法は、特徴点の指定ではなく、アノテーション対象の指定を受け付けることで、アノテーション対象に関する特定の範囲の複数の第１の特徴点が指定されたものとして取り扱うものである。特定の範囲は、アノテーション対象（人物）の（１）全ての第１の特徴点、（２）上半身の第１の特徴点、（３）下半身の第１の特徴点の何れであってもよい。例えばこの選択は、表示画面（図示省略）に配置した選択ボタンにより、ユーザーにより選択されてもよい。以下では特定の範囲が（２）上半身の第１の特徴点であるものとして説明する。
【0078】
【0079】
（ステップＳ４０１）
対象指定部１１６は、ラベル修正の対象の指定を受け付ける。例えば、図１０Ａのような表示画面ｓ１において、人物へのクリック操作を受け付ける。
対象指定部１１６は、ラベル修正の対象の指定を受け付ける。例えば、図１０Ａのような表示画面ｓ１において、人物へのクリック操作を受け付ける。
【0080】
（ステップＳ４０２）
ラベル書換部１１７は、アノテーション対象の上半身（特定の範囲）の第１の特徴点ｐ２１～２３のラベルを、ペアの第２の特徴点ｐ１１～ｐ１３それぞれのラベルと入れ替える。
ラベル書換部１１７は、アノテーション対象の上半身（特定の範囲）の第１の特徴点ｐ２１～２３のラベルを、ペアの第２の特徴点ｐ１１～ｐ１３それぞれのラベルと入れ替える。
【0081】
このように本実施形態に係るアノテーション支援装置は、対称軸を有し、対称軸に対して対称な複数の部位を有するアノテーション対象に対し、第１の部位に含まれる、ラベルの修正をすべき第１の特徴点の情報を入力する入力部と、第１の特徴点のラベルを、対称軸に対して第１の部位に対称な第２の部位のラベルに書き換えるラベル書換部と、を備える。これにより、左右対称のような対称軸に対して対称関係にある複数の特徴点のラベルの修正を容易に行える。左右反転に対するラベルの修正コストを低減できる。
【0082】
（一方の特徴点しか抽出されなかった場合の処理）
以上までの説明では、第１、第２の特徴点の両方が抽出された例を示したが、撮像装置２０の撮影範囲と、アノテーション対象の位置関係や姿勢により一方の特徴点が隠れて見えない場合がある。この場合は、一方の特徴点のみが抽出されることになる。
以上までの説明では、第１、第２の特徴点の両方が抽出された例を示したが、撮像装置２０の撮影範囲と、アノテーション対象の位置関係や姿勢により一方の特徴点が隠れて見えない場合がある。この場合は、一方の特徴点のみが抽出されることになる。
【0083】
図１６は、表示画面上において、対称軸上の中心点を指定する手順を示す図である。図１７は、図１６に対応する各特徴点における部位とラベルの書き換えを説明するためのテーブルである。図１６、図１７に示す例では、一部の特徴点ｐ１４、ｐ２１～ｐ２４が検出され、他の特徴点は検出されていない。
【0084】
ユーザーは、図１６の表示画面ｓ６において、特徴点ｐ２１～ｐ２３がラベルの修正が必要な特徴点と認識し、軸アイコンを選択する。特徴点入力部１１５は、軸アイコンの対称軸に紐付けられた複数の第１の特徴点ｐ２１～ｐ２３が選択されたものとして取り扱う。ラベル書換部１１７は、軸アイコンの対称軸に紐付けられた複数の第１の特徴点ｐ２１、ｐ２２、ｐ２３それぞれを、ペアのラベルに書き換える。ペアのラベルは、図２のテーブルに設定されている。図１６の表示画面ｓ７、および図７（Ｂ）では、ラベルをペアのラベルに書き換えた後の状態が示されている。なお、図１６の例では、第４の手法により特徴点を指定する例を示したが、他の第１～第３の手法により指定してもよい。
【0085】
（第１の変形例）
以上までの説明では、ラベル書換部１１７は、入力された特徴点のラベルをペアのラベルに書き換えまたは入れ替える処理をする例を説明した。しかしながらこれに限られず、ラベル書換部１１７は、特徴点の位置を入れ替えるようにしてもよい。例えば、図１８のように、ラベル書換部１１７は、特徴点の位置を入れ替えることにより、ラベルの付け替えをしてもよい。第１の変形例でも、上述の実施形態と同様の効果が得られる。
以上までの説明では、ラベル書換部１１７は、入力された特徴点のラベルをペアのラベルに書き換えまたは入れ替える処理をする例を説明した。しかしながらこれに限られず、ラベル書換部１１７は、特徴点の位置を入れ替えるようにしてもよい。例えば、図１８のように、ラベル書換部１１７は、特徴点の位置を入れ替えることにより、ラベルの付け替えをしてもよい。第１の変形例でも、上述の実施形態と同様の効果が得られる。
【0086】
（第２の変形例）
アノテーション支援装置１０は、撮像装置２０から動画を取得した場合、連続した前後のフレームに対しても一括でラベルの書き換え処理をしてもよい。
アノテーション支援装置１０は、撮像装置２０から動画を取得した場合、連続した前後のフレームに対しても一括でラベルの書き換え処理をしてもよい。
【0087】
図１９は、時系列のフレームにおいて、一括して書き換える例を説明する模式図である。所定期間（時刻ｔ－α～ｔ＋β）に撮影された画像である。例えば１５または３０ＦＰＳのカメラで撮影された１秒間の動画データであれば、１つの時系列データは、１５、または３０枚のフレーム（静止画像）により構成される。
【0088】
ユーザーは、例えば時刻ｔの静止画像に対して、図１～図１５で説明した上述のアノテーション支援方法によるラベルの書き換え処理を行った場合、その前後の画像を対象として、一括でラベルの書き換え処理を行う。前後の画像の範囲は、所定時間内（所定枚数）であってもよく、所定時間内で同じ対象物が検出された画像であってもよい。あるいは同じ対象物で同じ特徴点の個数が検出された画像に限定してもよい。このように第２の変形例では、前後の画像についても一括してラベルの書き換えを行うので、より容易に、複数の特徴点の修正を行える。
【0089】
以上に説明したアノテーション支援装置１０の構成は、上記の実施形態の特徴を説明するにあたって主要構成を説明したのであって、上記の構成に限られず、特許請求の範囲内において、種々改変することができる。また、一般的な装置が備える構成を排除するものではない。本発明の範囲は、添付された特許請求の範囲によって解釈されるべきものである。
【0090】
また、上述した実施形態に係るアノテーション支援装置１０における各種処理を行う手段および方法は、専用のハードウェア回路、またはプログラムされたコンピューターの何れによっても実現することが可能である。上記プログラムは、例えば、ＵＳＢメモリーやＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）－ＲＯＭ等のコンピューター読み取り可能な記録媒体によって提供されてもよいし、インターネット等のネットワークを介してオンラインで提供されてもよい。この場合、コンピューター読み取り可能な記録媒体に記録されたプログラムは、通常、ハードディスク等の記憶部に転送され記憶される。また、上記プログラムは、単独のアプリケーションソフトとして提供されてもよいし、装置の一機能としてその装置のソフトウエアに組み込まれてもよい。
【符号の説明】
【0091】
３００ 情報システム
１０ アノテーション支援装置
１１ 制御部
１１１ 画像取得部
１１２ 関節点抽出部
１１３ アノテーション部
１１４ ペア設定部
１１５ 特徴点入力部
１１６ 対象指定部
１１７ ラベル書換部
１１８ 音声解析部
１２ 記憶部
１３ 通信部
１４ 表示部
１５ キーボード
１６ マウス
１７ マイク
１０ アノテーション支援装置
１１ 制御部
１１１ 画像取得部
１１２ 関節点抽出部
１１３ アノテーション部
１１４ ペア設定部
１１５ 特徴点入力部
１１６ 対象指定部
１１７ ラベル書換部
１１８ 音声解析部
１２ 記憶部
１３ 通信部
１４ 表示部
１５ キーボード
１６ マウス
１７ マイク
【要約】
対称軸に対して対称関係にある複数の特徴点のラベルの修正を容易に行う。
アノテーション支援装置１０は、対称軸を有し、前記対称軸に対して対称な複数の部位を有する前記アノテーション対象に対し、第１の部位に含まれる、ラベルの修正をすべき第１の特徴点の情報を入力する入力部１１５と、前記第１の特徴点の前記ラベルを、前記対称軸に対して前記第１の部位に対称な第２の部位のラベルに書き換えるラベル書換部１１７と、を備える
アノテーション支援装置１０は、対称軸を有し、前記対称軸に対して対称な複数の部位を有する前記アノテーション対象に対し、第１の部位に含まれる、ラベルの修正をすべき第１の特徴点の情報を入力する入力部１１５と、前記第１の特徴点の前記ラベルを、前記対称軸に対して前記第１の部位に対称な第２の部位のラベルに書き換えるラベル書換部１１７と、を備える
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10A】
【図10B】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
