特許 7582235 作業支援システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-05

(45)【発行日】2024-11-13

(54)【発明の名称】作業支援システム

(51)【国際特許分類】

   G06T 3/14 20240101AFI20241106BHJP

   G06T 7/00 20170101ALI20241106BHJP

   G06V 10/44 20220101ALI20241106BHJP

   H04N 7/18 20060101ALI20241106BHJP

【ＦＩ】

G06T3/14

G06T7/00 300F

G06T7/00 350B

G06V10/44

H04N7/18 U

【請求項の数】 8

(21)【出願番号】P 2022038809

(22)【出願日】2022-03-14

(65)【公開番号】P2023133690

(43)【公開日】2023-09-27

【審査請求日】2023-12-19

(73)【特許権者】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(74)【代理人】

【識別番号】110000028

【氏名又は名称】弁理士法人明成国際特許事務所

(72)【発明者】

【氏名】椿 裕太

(72)【発明者】

【氏名】松田 智裕

【審査官】菊池 伸郎

(56)【参考文献】

【文献】特開２０１４－２２９０５７（ＪＰ，Ａ）

【文献】瀬川修，外２名，"ARを用いた設備保守教育支援システムの検討"，ヒューマンインターフェースシンポジウム２０１５ 論文集，日本，特定非営利活動法人ヒューマンインタフェース学会，2015年09月01日，pp.21-24

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １／００－７／９０

Ｇ０６Ｖ １０／００－４０／７０

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

作業において参照するための画像を表示することで前記作業を支援する作業支援システムであって、
前記作業における対象の望ましい状態を表す１以上の基準画像を取得する第１取得部と、
前記作業中に前記対象の撮影画像を取得する第２取得部と、
前記基準画像における３点以上の基準特徴点を検出する第１検出部と、
前記撮影画像における、前記３点以上の基準特徴点のそれぞれに対応する３点以上の対応特徴点を検出する第２検出部と、
前記３点以上の基準特徴点と、前記３点以上の基準特徴点のそれぞれに対応する前記対応特徴点と、に基づいて、前記基準画像を変換して変換画像を生成する画像変換部と、
前記変換画像を表示する表示部と、を備える、作業支援システム。

【請求項2】

請求項１に記載の作業支援システムであって、
前記画像変換部は、
前記３点以上の基準特徴点のうちのある３点の基準特徴点のそれぞれの画素位置の相対関係と、前記ある３点の基準特徴点のそれぞれに対応する対応特徴点のそれぞれの画素位置の相対関係とが一致するように前記基準画像を変換した仮変換画像を生成する仮画像生成処理を実行し、
前記仮変換画像における、前記ある３点の基準特徴点のうちのある２点の特徴点である距離特徴点同士の距離が、前記２点の距離特徴点に対応する２点の前記対応特徴点同士の距離と一致するように、前記仮変換画像を拡大または縮小して前記変換画像を生成する画像生成処理を実行する、作業支援システム。

【請求項3】

請求項１または請求項２に記載の作業支援システムであって、
前記表示部は、
前記表示部を通過して外界が視認できる構造であり、
前記変換画像の一部または全部を透過した状態で、前記外界における前記対象に前記変換画像における前記望ましい状態の前記対象を重畳するように付加的に表示する、作業支援システム。

【請求項4】

請求項１または請求項２に記載の作業支援システムであって、
前記表示部は、前記撮影画像を表示し、前記変換画像の一部または全部を透過した状態で、前記撮影画像における前記対象に前記変換画像における前記望ましい状態の前記対象を重畳するように付加的に表示する、作業支援システム。

【請求項5】

請求項１または請求項２に記載の作業支援システムであって、
前記第１検出部は、画像処理手法を用いて、前記基準画像から前記基準特徴点を検出し、
前記第２検出部は、前記画像処理手法を用いて、前記撮影画像から前記対応特徴点を検出する、作業支援システム。

【請求項6】

請求項１または請求項２に記載の作業支援システムであって、
前記第１検出部は、前記特徴点を検出するように予め機械学習された第１検出器に前記基準画像を入力することで前記基準特徴点を検出し、
前記第２検出部は、前記特徴点を検出するように予め機械学習された第２検出器に前記撮影画像を入力することで前記対応特徴点を検出する、作業支援システム。

【請求項7】

請求項２に記載の作業支援システムであって、
前記画像変換部は、
前記仮画像生成処理において、３点以上の前記基準特徴点のうち、前記対応特徴点との類似度が高い上位３点の前記基準特徴点に基づいて前記基準画像を前記仮変換画像に変換し、
前記画像生成処理において、３点以上の前記基準特徴点のうち、前記対応特徴点との類似度が高い上位２点の前記基準特徴点に基づいて前記仮変換画像を拡大または縮小して前記変換画像を生成する、作業支援システム。

【請求項8】

請求項２に記載の作業支援システムであって、
前記第１取得部は、撮影角度が異なる複数の前記基準画像を取得し、
前記画像変換部は、
前記複数の基準画像のうちの第１基準画像について前記仮画像生成処理を行うことにより、前記仮変換画像としての第１仮変換画像を生成し、
前記第１仮変換画像の前記第１基準画像に対する傾きが予め定められた閾値範囲内でない場合に、前記複数の基準画像のうち前記第１基準画像とは異なる第２基準画像について前記仮画像生成処理を行うことにより、前記仮変換画像としての前記第１仮変換画像とは異なる第２仮変換画像を生成し、前記第２仮変換画像について前記画像生成処理を行うことにより前記変換画像を生成し、
前記第１仮変換画像の前記第１基準画像に対する傾きが前記閾値範囲内である場合に、前記第１仮変換画像について前記画像生成処理を行うことにより、前記変換画像を生成する、作業支援システム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、作業支援システムに関する。

【背景技術】

【0002】

画像の表示によって作業を支援するシステムが知られている。例えば、ＸＲ技術を用いて作業を支援するシステムがある。特許文献１には、撮影対象に配置されたマーカを基に、参照画像における撮影対象に配置されたマーカの座標と撮影画像における撮影対象に配置されたマーカの座標に基づいてカメラの位置姿勢を算出する技術が記載されている。特許文献１に記載された技術を用いて算出したカメラの位置姿勢を用いて、コンテンツを撮影画像に重ねて表示できる。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１９－７５０１８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ＸＲ技術では、コンテンツデータとして、３次元データを作成する必要がある。しかし、細かい部品の多い機器や機械の動きに追従して複雑に変形するホース等の複雑な形状の３次元データの作成は困難である。また、基準として参照する基準画像を撮影した場合と同じ撮影位置や撮影角度で作業中に対象を撮影するのは作業が煩雑となる。そのため、撮影環境の違いを考慮して補正した基準画像を作業中に参照するために画面に表示できる技術が望まれていた。

【課題を解決するための手段】

【0005】

本開示は、上述の課題を解決するためになされたものであり、以下の形態として実現することが可能である。

【0006】

（１）本開示の一形態によれば、作業において参照するための画像を表示することで前記作業を支援する作業支援システムが提供される。この作業支援システムは、前記作業における対象の望ましい状態を表す１以上の基準画像を取得する第１取得部と、前記作業中に前記対象の撮影画像を取得する第２取得部と、前記基準画像における３点以上の基準特徴点を検出する第１検出部と、前記撮影画像における、前記３点以上の基準特徴点のそれぞれに対応する３点以上の対応特徴点を検出する第２検出部と、前記３点以上の基準特徴点と、前記３点以上の基準特徴点のそれぞれに対応する前記対応特徴点と、に基づいて、前記基準画像を変換して変換画像を生成する画像変換部と、前記変換画像を表示する表示部と、を備える。
この形態の作業支援システムによれば、画像変換部が、基準特徴点と対応特徴点とに基づいて基準画像を変換する。そのため、撮影環境の違いを考慮して補正した変換画像を表示できる。これにより、作業者は、変換画像と実際の作業の状態を比較しながら作業を行うことができる。
（２）上記形態の作業支援システムにおいて、前記画像変換部は、前記３点以上の基準特徴点のうちのある３点の基準特徴点のそれぞれの画素位置の相対関係と、前記ある３点の基準特徴点のそれぞれに対応する対応特徴点のそれぞれの画素位置の相対関係とが一致するように前記基準画像を変換した仮変換画像を生成する仮画像生成処理を実行し、前記仮変換画像における、前記ある３点の基準特徴点のうちのある２点の特徴点である距離特徴点同士の距離が、前記２点の距離特徴点に対応する２点の前記対応特徴点同士の距離と一致するように、前記仮変換画像を拡大または縮小して前記変換画像を生成する画像生成処理を実行してもよい。
このような態様とすれば、画像変換部が、基準画像の傾きの変形および伸縮によって変換画像を生成する。そのため、撮影環境の違いを考慮して補正した変換画像を表示できる。
（３）上記形態の作業支援システムにおいて、前記表示部は、前記表示部を通過して外界が視認できる構造であり、前記変換画像の一部または全部を透過した状態で、前記外界における前記対象に前記変換画像における前記望ましい状態の前記対象を重畳するように付加的に表示してもよい。
このような態様とすれば、単に変換画像を画面に表示する場合よりも、対象と変換画像とを比較することが容易となる。
（４）上記形態の作業支援システムにおいて、前記表示部は、前記撮影画像を表示し、前記変換画像の一部または全部を透過した状態で、前記撮影画像における前記対象に前記変換画像における前記望ましい状態の前記対象を重畳するように付加的に表示してもよい。
このような態様とすれば、単に変換画像を画面に表示する場合よりも、対象と変換画像とを比較することが容易となる。
（５）上記形態の作業支援システムにおいて、前記第１検出部は、画像処理手法を用いて、前記基準画像から前記基準特徴点を検出し、前記第２検出部は、前記画像処理手法を用いて、前記撮影画像から前記対応特徴点を検出してもよい。
このような態様とすれば、対象にＱＲコード（登録商標）等のマーカを付すことなく、基準特徴点および対応特徴点を検出できる。
（６）上記形態の作業支援システムにおいて、前記第１検出部は、前記特徴点を検出するように予め機械学習された第１検出器に前記基準画像を入力することで前記基準特徴点を検出し、前記第２検出部は、前記特徴点を検出するように予め機械学習された第２検出器に前記撮影画像を入力することで前記対応特徴点を検出してもよい。
このような態様とすれば、対象にＱＲコード（登録商標）等のマーカを付すことなく、基準特徴点および対応特徴点を検出できる。
（７）上記形態の作業支援システムにおいて、前記画像変換部は、前記仮画像生成処理において、３点以上の前記基準特徴点のうち、前記対応特徴点との類似度が高い上位３点の前記基準特徴点に基づいて前記基準画像を前記仮変換画像に変換し、前記画像生成処理において、３点以上の前記基準特徴点のうち、前記対応特徴点との類似度が高い上位２点に基づいて前記仮変換画像を拡大縮小して前記変換画像を生成してもよい。
このような態様とすれば、例えば、撮影画像において対象の一部が手や作業道具によって遮蔽された場合であっても、画像変換を行うことができる。
（８）上記形態の作業支援システムにおいて、前記第１取得部は、撮影角度が異なる複数の前記基準画像を取得し、前記画像変換部は、前記複数の基準画像のうちの第１基準画像について前記仮画像生成処理を行い生成した第１仮変換画像の前記第１基準画像に対する傾きが予め定められた閾値範囲内でない場合に、前記複数の基準画像のうちの第２基準画像について前記仮画像生成処理を行い第２変換画像を生成し、前記第２変換画像について前記画像生成処理を行い前記変換画像を生成してもよい。
このような態様とすれば、撮影画像の撮影角度が基準画像の撮影角度と極端に異なる場合に、より撮影角度が近い基準画像を用いて画像変換を行うことができる。

【0007】

なお、本開示は、種々の形態で実現することが可能であり、例えば、作業において参照するための画像を表示することで作業を支援する作業支援方法や、作業において参照するために表示する画像の生成方法等の態様で実現することが可能である。

【図面の簡単な説明】

【0008】

【図1】作業支援システムの概略構成を示す概略図である。

【図2】作業支援処理の一例を表わすフローチャートである。

【図3】基準画像と撮影画像の一例を示す図である。

【図4】仮変換画像の一例を示す図である。

【図5】変換画像の一例を示す図である。

【図6】第２実施形態における表示部が表示する画像の一例を示す図である。

【図7】第３実施形態における作業支援処理の一例を表すフローチャートである。

【発明を実施するための形態】

【0009】

Ａ．第１実施形態：
図１は、本開示の一実施形態における作業支援システム１００の概略構成を示す概略図である。作業支援システム１００は、作業支援装置１０と、撮影部２０と、表示部３０と、を備える。作業支援システム１００は、作業において参照するための画像を表示することで作業者を支援する。

【0010】

撮影部２０は、カメラであり、作業における対象の画像を撮影する。

【0011】

表示部３０は、モニタであり、作業支援装置１０が生成した変換画像を表示する。変換画像は、作業において参照するための画像であり、詳細は後述する。

【0012】

作業支援装置１０は、作業において参照するための画像を生成する装置である。作業支援装置１０は、第１取得部１１と、第２取得部１２と、第１検出部１３と、第２検出部１４と、画像変換部１５と、出力部１６と、を備える。作業支援装置１０は、中央処理装置（ＣＰＵ）や、ＲＡＭ、ＲＯＭにより構成されたマイクロコンピュータ等からなり、予めインストールされたプログラムをマイクロコンピュータが実行することによって、これらの各部の機能を実現する。ただし、これらの各部の機能の一部又は全部をハードウエア回路で実現してもよい。

【0013】

第１取得部１１は、作業における対象の望ましい状態を表す１以上の基準画像を取得する。対象の望ましい状態は、例えば、作業の完了状態として目指す対象の状態である。基準画像は作業支援装置１０に記憶されていても良く、外部サーバ等に記憶されていてもよい。また、対象を作業の開始時の状態に戻す点検作業等においては、作業開始前に撮影部２０が撮影した画像を取得してもよい。

【0014】

第２取得部１２は、撮影部２０が作業中に撮影した撮影画像を取得する。

【0015】

第１検出部１３は、第１取得部１１が取得した基準画像における３点以上の基準特徴点を検出する。基準特徴点は、周囲の画素との色や輝度の変化が大きい画素である。本実施形態において、第１検出部１３は、既知の画像処理手法を用いて、基準画像から基準特徴点を検出する。

【0016】

第２検出部１４は、第２取得部１２が取得した撮影画像における、第１検出部１３が検出した３点以上の基準特徴点のそれぞれに対応する３点以上の対応特徴点を検出する。本実施形態において、第２検出部１４は、既知の画像処理手法を用いて、撮影画像から対応特徴点を検出する。

【0017】

画像変換部１５は、第１検出部１３が検出した３点以上の基準特徴点と３点以上の基準特徴点のそれぞれに対応する、第２検出部１４が検出した対応特徴点とに基づいて、基準画像を変換して変換画像を生成する。変換画像は、ある２点の基準特徴点の相対位置が、ある２点の基準特徴点のそれぞれに対応する対応特徴点の相対位置と一致するように変換された画像である。

【0018】

出力部１６は、画像変換部１５が生成した変換画像を表示部３０に出力する。

【0019】

図２は、本実施形態における、作業支援処理の一例を表わすフローチャートである。作業支援処理は作業支援システム１００が作業において参照するための画像を表示する処理である。この処理は、作業の開始と共に行われる処理である。

【0020】

ステップＳ１００において、第１取得部１１は、基準画像を取得する。ステップＳ１１０において、第２取得部１２は、撮影画像を取得する。

【0021】

ステップＳ１２０において、第１検出部１３は、ステップＳ１００で取得した基準画像の基準特徴点を検出する。ステップＳ１３０において、第２検出部１４は、ステップＳ１１０で取得した撮影画像の対応特徴点を検出する。

【0022】

図３は、基準画像Ｇｓと撮影画像Ｇｐの一例を示す図である。基準特徴点Ｐｓ１～Ｐｓ４は、対象Ｔ１の頂点位置を示す基準画像Ｇｓにおける画素位置である。基準画像Ｇｓにおける対象Ｔ１は、部品Ｔ２を有している。第１対応特徴点Ｐｔ１は、第１基準特徴点Ｐｓ１に対応する対応特徴点であり、第２対応特徴点Ｐｔ２は、第２基準特徴点Ｐｓ２に対応する対応特徴点であり、第３対応特徴点Ｐｔ３は、第３基準特徴点Ｐｓ３に対応する対応特徴点であり、第４対応特徴点Ｐｔ４は、第４基準特徴点Ｐｓ４に対応する対応特徴点である。以下では、図３に示す基準画像Ｇｓおよび４点の基準特徴点Ｐｓ１～Ｐｓ４と撮影画像Ｇｐおよび４点の対応特徴点Ｐｔ１～Ｐｔ４とを例として作業支援処理を説明する。

【0023】

ステップＳ１４０（図２参照）において、画像変換部１５は、ステップＳ１２０で検出した３点以上の基準特徴点Ｐｓ１のうちのある３点の基準特徴点Ｐｓ１～Ｐｓ３のそれぞれの画素位置の相対関係と、ある３点の基準特徴点Ｐｓ１～Ｐｓ３のそれぞれに対応するステップＳ１３０で検出した対応特徴点Ｐｔ１～Ｐｔ３のそれぞれの画素位置の相対関係とが一致するように基準画像Ｇｓを変換した仮変換画像を生成する。この処理を「仮画像生成処理」ともいう。画素位置の相対関係の一致は、画素の相対位置間の距離の比率や、３点のうちの任意の１点の画素と他の２点の画素とをそれぞれ結ぶ二つの線分間の角度、３点のうちの任意の１点の画素に対する他の任意の１点の画素の向き等が、一致または予め定めた範囲条件内で最も近似していることである。範囲条件は、例えば、撮影部２０の性能や作業支援装置１０や撮影部２０の性能によって定められ、作業者が定めてもよい。本実施形態において、画像変換部１５は、３点以上の基準特徴点Ｐｓ１～Ｐｓ４のうち、対応特徴点Ｐｔ１～Ｐｔ４との類似度が高い上位３点の基準特徴点に基づいて基準画像Ｇｓを仮変換画像に変換する。

【0024】

図４は、仮変換画像Ｇｃ１の一例を示す図である。画像変換部１５は、基準特徴点Ｐｓ１～Ｐｓ４のうち、対応特徴点Ｐｔ１～Ｐｔ４との類似度が高い上位３点である基準特徴点Ｐｓ１と第２基準特徴点Ｐｓ２と第３基準特徴点Ｐｓ３との各画素位置の相対関係が、第１対応特徴点Ｐｔ１と第２対応特徴点Ｐｔ２と第３対応特徴点Ｐｔ３との各画素位置の相対関係と一致するように基準画像Ｇｓを変形して仮変換画像Ｇｃ１を生成する。より具体的には、基準特徴点Ｐｓ１と第２基準特徴点Ｐｓ２との直線距離と、基準特徴点Ｐｓ１と第３基準特徴点Ｐｓ３との直線距離と、第２基準特徴点Ｐｓ２と第３基準特徴点Ｐｓ３との直線距離との比率が、第１対応特徴点Ｐｔ１と第２対応特徴点Ｐｔ２との直線距離と、第１対応特徴点Ｐｔ１と第３対応特徴点Ｐｔ３との直線距離と、第２対応特徴点Ｐｔ２と第３対応特徴点Ｐｔ３との直線距離との比率と、が近似しており、基準特徴点Ｐｓ１に対する第２基準特徴点Ｐｓ２の向きと第１対応特徴点Ｐｔ１に対する第２対応特徴点Ｐｔ２の向きとが近似している。

【0025】

ステップＳ１５０（図２参照）において、画像変換部１５は、ステップＳ１４０で生成した仮変換画像Ｇｃ１における、ある３点の基準特徴点Ｐｓ１～Ｐｓ３のうちのある２点の特徴点である距離特徴点同士の距離が、２点の距離特徴点に対応する２点の対応特徴点同士の距離と一致するように、仮変換画像Ｇｃ１を拡大または縮小して変換画像を生成する。この処理を「画像生成処理」ともいう。本実施形態において、画像変換部１５は、３点以上の基準特徴点Ｐｓ１～Ｐｓ４のうち、対応特徴点Ｐｔ１～Ｐｔ４との類似度が高い上位２点に基づいて仮変換画像Ｇｃ１を拡大または縮小して変換画像を生成する。

【0026】

図５は、変換画像の一例を示す図である。画像変換部１５は、基準特徴点Ｐｓ１～Ｐｓ４のうち、対応特徴点Ｐｔ１～Ｐｔ４との類似度が高い上位２点である基準特徴点Ｐｓ１と第２基準特徴点Ｐｓ２とを距離特徴点に設定する。画像変換部１５は、基準特徴点Ｐｓ１から第２基準特徴点Ｐｓ２までの距離Ｌ１が、第１対応特徴点Ｐｔ１から第２対応特徴点Ｐｔ２までの距離と等しくなるように仮変換画像Ｇｃ１を縮小して変換画像Ｇｃ２を生成する。

【0027】

ステップＳ１６０（図２参照）において、出力部１６は、ステップＳ１５０で生成した変換画像を表示部３０に出力する。

【0028】

ステップＳ１７０において、作業支援装置１０は、作業が完了したか否かを判定する。作業支援装置１０は、作業者によって作業が完了したことを入力できるインタフェースを備える。作業支援装置１０は、作業が完了したと判定した場合、すなわち、作業者によって作業完了が入力された場合、作業支援処理を終了する。一方、作業支援装置１０は、作業が完了していないと判定した場合、すなわち、作業者によって作業完了が入力されていない場合、作業支援装置１０は、ステップＳ１１０の処理に戻る。つまり、作業支援装置１０は、作業が継続している間、ステップＳ１１０～Ｓ１７０の処理を繰り返す。

【0029】

以上で説明した本実施形態の作業支援システム１００によれば、画像変換部１５が、基準特徴点Ｐｓ１と対応特徴点Ｐｔ１とに基づいて基準画像Ｇｓを変換する。そのため、撮影環境の違いを考慮して補正した変換画像Ｇｃ２を表示できる。

【0030】

また、第１検出部１３および第２検出部１４は、画像処理手法を用いて、それぞれ基準特徴点Ｐｓ１～Ｐｓ４および対応特徴点Ｐｔ１～Ｐｔ４を検出している。そのため、対象Ｔ１にＱＲコード（登録商標）等のマーカを付すことなく、基準特徴点Ｐｓ１～Ｐｓ４および対応特徴点Ｐｔ１～Ｐｔ４を検出できる。

【0031】

Ｂ．第２実施形態：
第２実施形態における作業支援システム１００は、撮影部２０と表示部３０とが、一体のスマートグラスやＡＲグラス等の頭部装着型装置であり、作業者に拡張現実感を与えるように変換画像を表示する点が、第１実施形態における作業支援システム１００と異なり、他の構成は、第１実施形態と同じである。

【0032】

本実施形態において、表示部３０は、表示部３０を通過して外界が視認できる構造である。表示部３０は、変換画像Ｇｃ２像の一部または全部を透過した状態で、外界における対象Ｔ１に変換画像Ｇｃ２における望ましい状態の対象Ｔ１を重畳するように付加的に表示する。

【0033】

図６は、第２実施形態における表示部３０が表示する画面の一例を示す図である。すなわち、図６は、作業者が表示部３０によって視認する映像である。表示部３０は、変換画像Ｇｃ２の一部を透過した状態で、外界における対象Ｔ１に変換画像Ｇｃ２における対象Ｔ１を重畳するように付加的に表示する。これにより、作業者は、対象Ｔ１における部品Ｔ２の位置や取り付け向きを理解しやすくなる。

【0034】

以上で説明した第２実施形態の作業支援システム１００によれば、単に変換画像Ｇｃ２を画面に表示する場合よりも、対象Ｔ１と変換画像Ｇｃ２とを比較することが容易となる。

【0035】

Ｃ．第３実施形態：
図７は、第３実施形態に作業支援処理の一例を表すフローチャートである。第３実施形態における作業支援処理は、ステップＳ１４５において仮変換画像における基準画像の傾き角度が予め定められた閾値範囲内でない場合に、別の基準画像を用いて変換画像を生成する点が、第１実施形態における作業支援処理と異なる。閾値範囲は、３次元的な範囲であり、例えば対象Ｔ１の重心を０度とした場合に、各軸方向に－７５度～＋７５度の角度範囲である。第３実施形態における作業支援システム１００の構成は、第１実施形態と同じである。

【0036】

第１取得部１１は、撮影角度が異なる複数の基準画像を取得できる。

【0037】

第３実施形態において、画像変換部１５は、複数の基準画像のうちのある基準画像について仮画像生成処理を行い生成した仮変換画像における基準画像の傾きが予め定められた閾値範囲内でない場合に、複数の基準画像のうちの他の基準画像について仮画像生成処理を行い、変換画像を生成する。画像変換部１５は、他の基準画像を用いて生成した仮変換画像について画像生成処理を行い、変換画像を生成する。

【0038】

より具体的には、画像変換部１５は、ステップＳ１４５において、複数の基準画像のうちのある基準画像について仮画像生成処理を行い生成した仮変換画像の基準画像に対する傾き（以下、単に「仮変換画像の傾き」ともいう）が予め定められた閾値範囲内か否かを判定する。仮変換画像の傾きが閾値範囲内である場合、画像変換部１５は、ステップＳ１５０の処理に進む。一方、仮変換画像の傾きが閾値範囲内でない場合に、画像変換部１５は、ステップＳ１００の処理に戻る。ステップＳ１００において、第１取得部１１は、複数の基準画像のうちの他の１つの基準画像を取得する。すなわち、作業支援装置１０は、仮変換画像の傾きが閾値範囲内となるまでステップＳ１００～Ｓ１４５の処理を繰り返す。なお、ステップＳ１１０およびステップＳ１３０の処理は省略してもよい。

【0039】

以上で説明した第３実施形態の作業支援システム１００によれば、画像変換部１５は、撮影画像の撮影角度と基準画像の撮影角度の差が閾値範囲内となる基準画像を変換して変換画像を生成する。そのため、撮影画像の撮影角度が基準画像の撮影角度と極端に異なる場合に、より撮影角度が近い基準画像を用いて画像変換を行うことができる。

【0040】

Ｄ．他の実施形態：
（Ｄ１）上述した実施形態における、作業支援処理のステップＳ１７０（図２参照）の処理において、作業支援装置１０は、作業者による入力によって作業が完了したことを判定している。これに限らず、作業支援装置１０は、既知のパターンマッチング手法を用いて、基準画像Ｇｓと撮影画像Ｇｐとの類似度が予め定められた閾値以上の場合に作業が完了したと判定してもよい。

【0041】

（Ｄ２）上述した実施形態において、第１検出部１３および第２検出部１４は、画像処理手法を用いて、それぞれ基準特徴点Ｐｓ１～Ｐｓ４および対応特徴点Ｐｔ１～Ｐｔ４を検出している。これに限らず、第１検出部１３および第２検出部１４は、機械学習を用いて、それぞれ基準特徴点Ｐｓ１～Ｐｓ４および対応特徴点Ｐｔ１～Ｐｔ４を検出してもよい。第１検出部１３は、特徴点を検出するように予め機械学習された第１検出器に基準画像Ｇｓを入力することで基準特徴点Ｐｓ１～Ｐｓ４を検出できる。第２検出部１４は、特徴点を検出するように予め機械学習された第２検出器に撮影画像Ｇｐを入力することで対応特徴点Ｐｔ１～Ｐｔ４を検出できる。

【0042】

（Ｄ３）上述した実施形態において、画像変換部１５は、射影変換やアフィン変換を用いて、基準画像から変換画像を生成してもよい。

【0043】

（Ｄ４）上述した実施形態において、画像変換部１５は、３点以上の基準特徴点Ｐｓ１～Ｐｓ４のうち、対応特徴点Ｐｔ１～Ｐｔ４との類似度が高い上位３点に基づいて仮画像生成処理を行い、上位２点に基づいて画像生成処理を行っている。これに限らず、画像変換部１５は、任意の基準特徴点に基づいて仮画像生成処理および画像生成処理を行ってもよい。例えば、画像変換部１５は、周囲の画素との輝度の変化が大きい順に並べた際の順位の上位の基準特徴点に基づいて、仮画像生成処理および画像生成処理を行うことができる。

【0044】

（Ｄ５）上述した第２実施形態において、作業支援装置１０と撮影部２０と表示部３０とが、一体のスマートフォンやタブレット型デバイスでもよい。この場合、表示部３０は、撮影画像Ｇｐを表示し、変換画像Ｇｃ２の一部または全部を透過した状態で、撮影画像Ｇｐにおける対象Ｔ１に変換画像Ｇｃ２における望ましい状態の対象Ｔ１を重畳するように付加的に表示する。

【0045】

（Ｄ６）上述した第３実施形態のステップＳ１４５（図７参照）において、作業支援装置１０は、仮変換画像の傾きが閾値範囲内でない場合に、ステップＳ１００～Ｓ１４５の処理を繰り返している。これに限らず、作業支援装置１０は、ステップＳ１４５において、仮変換画像の傾きが閾値範囲内でない場合に、ステップＳ１１０の処理に戻り、ステップＳ１１０～Ｓ１４５の処理を繰り返してもよい。この場合、作業支援装置１０は、ステップＳ１１０において、作業者に異なる撮影位置や撮影角度で対象Ｔ１を撮影できるよう指示する。

【0046】

本開示は、上述の実施形態に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態中の技術的特徴は、上述した課題を解決するために、あるいは上述の効果の一部又は全部を達成するために、適宜、差し替えや組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜削除することが可能である。

【符号の説明】

【0047】

１０…作業支援装置、１１…第１取得部、１２…第２取得部、１３…第１検出部、１４…第２検出部、１５…画像変換部、１６…出力部、２０…撮影部、３０…表示部、１００…作業支援システム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】