特許 7515763 組立支援装置および組立支援方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2024-07-04

(45)【発行日】2024-07-12

(54)【発明の名称】組立支援装置および組立支援方法

(51)【国際特許分類】

   G06Q 50/04 20120101AFI20240705BHJP

【ＦＩ】

G06Q50/04

【請求項の数】 6

(21)【出願番号】P 2024055726

(22)【出願日】2024-03-29

【審査請求日】2024-03-29

【早期審査対象出願】

(73)【特許権者】

【識別番号】397036309

【氏名又は名称】株式会社インターネットイニシアティブ

(74)【代理人】

【識別番号】100118902

【弁理士】

【氏名又は名称】山本 修

(74)【代理人】

【識別番号】100106208

【弁理士】

【氏名又は名称】宮前 徹

(74)【代理人】

【識別番号】100196508

【弁理士】

【氏名又は名称】松尾 淳一

(74)【代理人】

【識別番号】100195408

【弁理士】

【氏名又は名称】武藤 陽子

(72)【発明者】

【氏名】柿島 純

【審査官】田川 泰宏

(56)【参考文献】

【文献】特開２０１０－１２３１０５（ＪＰ，Ａ）

【文献】特開２０２３－１６８８７７（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１７／００９７２３６（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｑ１０／００－９９／００

(57)【特許請求の範囲】

【請求項1】

複数の部品を組み立てて形成する構造体の組立てを支援する組立支援装置であって、
組み立てられる前の前記複数の部品を任意の配置および撮影角度で撮影した支援対象画像を取得するように構成された第１取得部と、
サイクルＧＡＮ（Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋｓ）を用いて構築された、第１ドメインの複数の部品の画像から第２ドメインの構造体の画像を生成する学習済み生成器を備え、前記学習済み生成器に、前記支援対象画像を与えて前記構造体の画像を生成させるように構成された生成部と、
生成された前記構造体の画像を含む組立支援情報を提示するように構成された提示部と
を備える組立支援装置。

【請求項2】

請求項１に記載の組立支援装置において、
さらに、前記サイクルＧＡＮを用いて、前記第１ドメインの前記複数の部品の画像から前記第２ドメインの前記構造体の画像を生成する生成器を学習するように構成された学習部を備え、
前記学習部は、前記複数の部品が異なる配置および異なる撮影角度で撮影された複数の画像を前記第１ドメインの前記複数の部品の画像の訓練データとして用いる
ことを特徴とする組立支援装置。

【請求項3】

請求項１または２に記載の組立支援装置において、
さらに、前記生成部によって生成された前記構造体の画像に含まれる、前記構造体を識別する識別情報を特定するように構成された特定部と、
特定された前記識別情報に基づいて、識別情報と組立て手順とが関連付けて記憶された記憶部から、前記構造体の組立て手順を取得するように構成された第２取得部と、
を備え、
前記提示部は、取得された前記構造体の前記組立て手順と、前記構造体の画像とを含む前記組立支援情報を提示する
ことを特徴とする組立支援装置。

【請求項4】

複数の部品を組み立てて形成する構造体の組立てを支援する組立支援方法であって、
組み立てられる前の前記複数の部品を任意の配置および撮影角度で撮影した支援対象画像を取得する第１取得ステップと、
サイクルＧＡＮ（Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋｓ）を用いて構築された、第１ドメインの複数の部品の画像から、第２ドメインの、複数の部品が組み立てられた後の状態の構造体の画像を生成する学習済み生成器に、前記支援対象画像を与えて前記構造体の画像を生成させる生成ステップと、
生成された前記構造体の画像を含む組立支援情報を提示する提示ステップと
を備える組立支援方法。

【請求項5】

請求項４に記載の組立支援方法において、
さらに、前記サイクルＧＡＮを用いて、前記第１ドメインの前記複数の部品の画像から前記第２ドメインの前記構造体の画像を生成する生成器を学習する学習ステップを備え、
前記学習ステップは、前記複数の部品が異なる配置および異なる撮影角度で撮影された複数の画像を前記第１ドメインの前記複数の部品の画像の訓練データとして用いる
ことを特徴とする組立支援方法。

【請求項6】

請求項４または５に記載の組立支援方法において、
さらに、前記生成ステップで生成された前記構造体の画像に含まれる、前記構造体を識別する識別情報を特定する特定ステップと、
特定された前記識別情報に基づいて、識別情報と組立て手順とが関連付けて記憶された記憶部から、前記構造体の組立て手順を取得する第２取得ステップと、
を備え、
前記提示ステップは、取得された前記構造体の前記組立て手順と、前記構造体の画像とを含む前記組立支援情報を提示する
ことを特徴とする組立支援方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、組立支援装置および組立支援方法に関する。

【背景技術】

【0002】

ＥＣサイトから商品を購入することが一般的となっている。ＥＣサイトで販売される商品のなかには、パーツと組立て説明書とが梱包されて購入者であるユーザに届けられ、ユーザが自ら組立て説明書にしたがってパーツを組み立てることで完成品が提供されるものがある。例えば、テーブルやベッドなどの家具や自転車などは組立品として提供されることがある。組立品を購入するユーザにとって、組立て作業に要する時間や労力は多大となる場合がある。そこで、特許文献１は、組立式家具を構成する部材の種類を少なくし、組立て作業に要する時間や労力を軽減することができる組立式家具を開示している。

【0003】

家具や自転車などの組立品のなかには長期にわたって使用されるものも多くあり、その間にユーザの生活環境の変化が生じ、引っ越しや自宅のリフォームを行う際などにはこれらの組立品をパーツに分解する必要がある場合がある。ユーザが再度組立て作業を行う際には、すでに組立て説明書を紛失している場合や、組立品の型が古くなっているため購入元のＥＣサイトやメーカのサイトにおいて、組立て説明書の電子データや完成品の画像が入手可能でない場合がある。そのため、いったん分解したパーツを完成品として再度組み立てる労力が多大となる場合があった。

【先行技術文献】

【特許文献】

【0004】

【文献】特許第５９３１２６９号公報

【非特許文献】

【0005】

【文献】Ｊｕｎ－Ｙａｎ Ｚｈｕ，Ｔａｅｓｕｎｇ Ｐａｒｋ，Ｐｈｉｌｌｉｐ Ｉｓｏｌａ，Ａｌｅｘｅｉ Ａ．Ｅｆｒｏｓ，“Ｕｎｐａｉｒｅｄ Ｉｍａｇｅ－ｔｏ－Ｉｍａｇｅ Ｔｒａｎｓｌａｔｉｏｎ ｕｓｉｎｇ Ｃｙｃｌｅ－Ｃｏｎｓｉｓｔｅｎｔ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋｓ”，ＩＣＣＶ，ｐａｇｅｓ ２２２３－２２３２，２０１７．

【発明の概要】

【発明が解決しようとする課題】

【0006】

このように従来の技術では、特に、組立品の情報がユーザに入手可能でなくなった場合には、組立て作業の労力が多大であった。

【0007】

本発明は、上述した課題を解決するためになされたものであり、組立品の情報がユーザに入手可能でない場合にも、ユーザの組立て作業を支援することを目的とする。

【課題を解決するための手段】

【0008】

上述した課題を解決するために、本発明に係る組立支援装置は、複数の部品を組み立てて形成する構造体の組立てを支援する組立支援装置であって、組み立てられる前の前記複数の部品を任意の配置および撮影角度で撮影した支援対象画像を取得するように構成された第１取得部と、サイクルＧＡＮ（Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋｓ）を用いて構築された、第１ドメインの複数の部品の画像から第２ドメインの構造体の画像を生成する学習済み生成器を備え、前記学習済み生成器に、前記支援対象画像を与えて前記構造体の画像を生成させるように構成された生成部と、生成された前記構造体の画像を含む組立支援情報を提示するように構成された提示部とを備える。

【0009】

また、本発明に係る組立支援装置において、さらに、前記サイクルＧＡＮを用いて、前記第１ドメインの前記複数の部品の画像から前記第２ドメインの前記構造体の画像を生成する生成器を学習するように構成された学習部を備え、前記学習部は、前記複数の部品が異なる配置および異なる撮影角度で撮影された複数の画像を前記第１ドメインの前記複数の部品の画像の訓練データとして用いてもよい。

【0010】

また、本発明に係る組立支援装置において、さらに、前記生成部によって生成された前記構造体の画像に含まれる、前記構造体を識別する識別情報を特定するように構成された特定部と、特定された前記識別情報に基づいて、識別情報と組立て手順とが関連付けて記憶された記憶部から、前記構造体の組立て手順を取得するように構成された第２取得部と、を備え、前記提示部は、取得された前記構造体の前記組立て手順と、前記構造体の画像とを含む前記組立支援情報を提示してもよい。

【0011】

上述した課題を解決するために、本発明に係る組立支援方法は、複数の部品を組み立てて形成する構造体の組立てを支援する組立支援方法であって、組み立てられる前の前記複数の部品を任意の配置および撮影角度で撮影した支援対象画像を取得する第１取得ステップと、サイクルＧＡＮ（Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋｓ）を用いて構築された、第１ドメインの複数の部品の画像から第２ドメインの構造体の画像を生成する学習済み生成器に、前記支援対象画像を与えて前記構造体の画像を生成させる生成ステップと、生成された前記構造体の画像を含む組立支援情報を提示する提示ステップとを備える。

【0012】

また、本発明に係る組立支援方法において、さらに、前記サイクルＧＡＮを用いて、前記第１ドメインの前記複数の部品の画像から前記第２ドメインの前記構造体の画像を生成する生成器を学習する学習ステップを備え、前記学習ステップは、前記複数の部品が異なる配置および異なる撮影角度で撮影された複数の画像を前記第１ドメインの前記複数の部品の画像の訓練データとして用いてもよい。

【0013】

また、本発明に係る組立支援方法において、さらに、前記生成ステップで生成された前記構造体の画像に含まれる、前記構造体を識別する識別情報を特定する特定ステップと、特定された前記識別情報に基づいて、識別情報と組立て手順とが関連付けて記憶された記憶部から、前記構造体の組立て手順を取得する第２取得ステップと、を備え、前記提示ステップは、取得された前記構造体の前記組立て手順と、前記構造体の画像とを含む前記組立支援情報を提示してもよい。

【発明の効果】

【0014】

本発明によれば、サイクルＧＡＮを用いて構築された、第１ドメインの複数の部品の画像から第２ドメインの構造体の画像を生成する学習済み生成器に、支援対象画像を与えて構造体の画像を生成させる。そのため、組立品の情報がユーザに入手可能でない場合にも、ユーザの組立て作業を支援することができる。

【図面の簡単な説明】

【0015】

【図1】図１は、本発明の実施の形態に係る組立支援装置を含む組立支援システムの構成を示すブロック図である。

【図2】図２は、本実施の形態に係る組立支援装置が備える学習部の構成を示すブロック図である。

【図3】図３は、本実施の形態に係る組立支援装置が備える学習部の構成を説明するための図である。

【図4】図４は、本実施の形態に係る組立支援装置が備える学習部の構成を説明するための図である。

【図5】図５は、本実施の形態に係る組立支援装置のハードウェア構成を示すブロック図である。

【図6】図６は、本実施の形態に係る組立支援システムの動作の概要を示すシーケンス図である。

【図7】図７は、本実施の形態に係る組立支援装置による学習処理を示すフローチャートである。

【発明を実施するための形態】

【0016】

以下、本発明の好適な実施の形態について、図１から図７を参照して詳細に説明する。

【0017】

［組立支援システムの構成］
まず、本発明の実施の形態に係る組立支援装置１を備える組立支援システムの概要について説明する。以下において、構造体とは、複数の部品が組み立てられて完成品となった状態の組立品をいう。また、以下においては、完成品である構造体の画像がユーザに入手可能でないものとする。

【0018】

図１は、本発明の実施の形態に係る組立支援装置１を備える組立支援システムの構成を示すブロック図である。本実施の形態に係る組立支援システムは、組立支援装置１、ユーザ端末２、およびサーバ３を備える。組立支援装置１と、サーバ３およびユーザ端末２とは、ＬＡＮやＷＡＮなどのネットワークＮＷを介して互いに通信可能に接続されている。組立支援システムは、複数の部品を組み立てて形成する構造体の組立てを支援する。

【0019】

［ユーザ端末の構成］
ユーザ端末２は、プロセッサ２０、主記憶装置２１、通信インターフェース２２、補助記憶装置２３を備えるコンピュータと、これらのハードウェア資源を制御するプログラムによって実現することができる。また、ユーザ端末２は、表示装置２４およびカメラ２５を備える。ユーザ端末２は、さらに、図示されないスピーカを備えることができる。

【0020】

ユーザ端末２は、スマートホンなどの携帯通信端末、タブレット型コンピュータ、ラップトップ型コンピュータなどとして実現されることができる。組立支援を要求するユーザは、ユーザ端末２のカメラ２５を用いて、複数の部品を任意の配置および撮影角度で撮影した部品の画像Ｉ１を支援対象画像として撮影する。部品の画像Ｉ１は、組立て前の組立品に含まれる全ての部品がユーザによって任意に配置され、かつ、任意の撮影角度で撮影された画像である。図１に示す部品の画像Ｉ１の例では、テーブルを構成する天板と、複数の脚とがばらばらに配置され、ユーザ端末２のカメラ２５によりハイアングルで撮影されている。

【0021】

表示装置２４は、液晶や有機ＥＬディスプレイを有する。また、表示装置２４は、ユーザの入力操作を受け付けるタッチパネルとして機能することができる。表示装置２４は、ユーザがカメラ２５で撮影した部品の画像Ｉ１を表示し、また、組立支援装置１から受信した、複数の部品が組み立てられた構造体の画像Ｉ２を表示する。

【0022】

カメラ２５は、デジタルカメラで構成され、組立支援対象の部品の画像Ｉ１の各画素の色をＲＧＢで表すカラー画像として撮影することができる。カメラ２５は、例えば、１０００万画素など一定の画素数および解像度を有する。本実施の形態では、カメラ２５で撮影された部品の画像Ｉ１は、プロセッサ２０によって部品以外の画像が存在しない画像とするように、例えば、背景を削除あるいは白とする画像処理が行われる。

【0023】

［サーバの構成］
サーバ３は、第３記憶部３０を備える。第３記憶部３０は、事前に収集された、組立支援の対象となっている組立品の品番や型番など、組立品の種類を特定する識別情報と、組立て説明書のデータとを関連付けて記憶する。また、第３記憶部３０は、組立て説明書のデータに加え、組立て説明書に含まれる組立て手順を音声に変換した音声ガイダンスを記憶することができる。サーバ３は、組立支援装置１からの要求に応じて、組立支援の対象となっている品番や型番に係る組立品の組立て説明書のデータを組立支援装置１に送出する。

【0024】

［組立支援装置の機能ブロック］
図１に示すように、組立支援装置１は、第１取得部１０、学習部１１、生成部１２、第１記憶部１３、特定部１４、第２記憶部１５、第２取得部１６、および提示部１７を備える。組立支援装置１は、サイクルＧＡＮによって事前に構築された学習済み生成器Ｇ１’によって、ユーザ端末２から送信された部品の画像Ｉ１から部品が組み立てられた構造体の画像Ｉ２を生成し、構造体の画像Ｉ２を含む組立支援情報を提示する。

【0025】

第１取得部１０は、組み立てられる前の複数の部品を任意の配置および撮影角度で撮影した部品の画像Ｉ１を支援対象画像として取得する。第１取得部１０は、ユーザ端末２から送信された部品の画像Ｉ１を、ネットワークＮＷを介して取得する。第１取得部１０は、取得した部品の画像Ｉ１に対してノイズの除去や、サイズや解像度の変換などの前処理を行う。

【0026】

学習部１１は、図２に示すように、２つの生成器Ｇ１、Ｇ２、および２つの識別器Ｄ１、Ｄ２を有するサイクルＧＡＮの学習を行う。サイクルＧＡＮは、ＧＡＮ（Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｒｉａｌ Ｎｅｔｗｏｒｋ：敵対的生成ネットワーク）の一種であり、異なるドメイン間で画像変換を行うことができる生成モデルである（非特許文献１参照）。

【0027】

ＧＡＮが１つの生成器と１つの識別器とを備えるモデルであるのに対し、サイクルＧＡＮは、２つの生成器Ｇ１、Ｇ２、および２つの識別器Ｄ１、Ｄ２で構成され、１つのドメインに対して１つの生成器と１つの識別器とで構成される。すなわち、第１ドメインに対して、生成器Ｇ１と識別器Ｄ２とが設けられ、第２ドメインに対しては、生成器Ｇ２と識別器Ｄ１とが設けられる。

【0028】

学習部１１は、サイクルＧＡＮを用いて、第１ドメインの部品の画像Ｉ１から第２ドメインの構造体の画像Ｉ２を生成する生成器Ｇ１を学習する。ドメインとは、ある特定の特徴を有するデータの集合をいう。構造体が分解された状態の部品の画像Ｉ１と、完成品の状態の構造体の画像Ｉ２とは異なる特徴を有し、画素ごとの対応関係がない異なるドメインの画像である。

【0029】

サイクルＧＡＮは、第１ドメインの部品の画像Ｉ１から第２ドメインの構造体の画像Ｉ２への変換を行う生成器Ｇ１と、生成器Ｇ１によって変換された構造体の画像Ｉ２の真偽を判定する識別器Ｄ１との組、および第２ドメインの構造体の画像Ｉ２を第１ドメインの部品の画像Ｉ１に逆変換する生成器Ｇ２と、逆変換された部品の画像Ｉ１の真偽を判定する識別器Ｄ２との組を備える。このように、サイクルＧＡＮは、第１ドメインと第２ドメインとの関係を学習するために２組の生成器Ｇ１、Ｇ２と識別器Ｄ１、Ｄ２とを使った変換と逆変換の循環構造を有する。

【0030】

図３および図４は、学習部１１が用いるサイクルＧＡＮの生成器Ｇ１、Ｇ２および識別器Ｄ１、Ｄ２のニューラルネットワーク構成を模式的に表した図である。生成器Ｇ１、Ｇ２は、入力層、隠れ層、および出力層を有するニューラルネットワークで構成される。生成器Ｇ１、Ｇ２を構成するニューラルネットワークとしてＣＮＮやＲｅｓＮｅｔを用いることができる。

【0031】

図３は、生成器Ｇ１のニューラルネットワーク構成を模式的に表した図である。図３に示すように、生成器Ｇ１の入力ノードには、第１ドメインの部品の画像Ｉ１を構成する各画素の値が入力される。生成器Ｇ１の入力ノードには、部品の画像Ｉ１を構成する各画素の値（ｘ_１～ｘ_ｎ）が入力される。生成器Ｇ１は、入力と重みパラメータの積和演算および活性化関数によるしきい値処理を経て出力データＧ１（ｘ_１）～Ｇ１（ｘ_ｎ）を出力する。生成器Ｇ１からの出力データは、第１ドメインの部品の画像Ｉ１から変換された第２ドメインの構造体の画像Ｉ２である。生成器Ｇ２についても同様に、第２ドメインの構造体の画像Ｉ２を構成する各画素の値が入力され、入力と重みパラメータの積和演算および活性化関数によるしきい値処理を経て第１ドメインの出力データが得られる。

【0032】

一方、識別器Ｄ１、Ｄ２についても同様に、入力層、隠れ層、および出力層を有するニューラルネットワークで構成される。識別器Ｄ１、Ｄ２を構成するニューラルネットワークとしてＣＮＮを用いることができる。図４は、識別器Ｄ１のニューラルネットワーク構成を模式的に表した図である。識別器Ｄ１の入力ノードには、構造体の画像Ｉ２を構成する各画素の値が与えられる。図４の例では、生成器Ｇ１からの出力データＧ１（ｘ_１）～Ｇ１（ｘ_ｎ）が識別器Ｄ１の入力ノードに与えられている。出力データＧ１（ｘ_１）～Ｇ１（ｘ_ｎ）は、生成器Ｇ１で生成された構造体の画像Ｉ２を構成する各画素の値である。

【0033】

識別器Ｄ１は、入力と重みパラメータの積和演算および活性化関数によるしきい値処理を経て、１または０の二値出力を出す。出力値１は、構造体の画像Ｉ２が本物画像であるとの判別結果を示し、出力値０は、入力された構造体の画像Ｉ２が疑似画像であるとの判別結果を示す。

【0034】

第１ドメインの識別器Ｄ２についても同様に、第１ドメインの部品の画像Ｉ１を構成する各画素の値が入力ノードに入力され、ニューラルネットワークの演算結果として１または０を出力する。出力値１は、入力された部品の画像Ｉ１が本物画像であるとの判別結果を示し、出力値０は、入力された部品の画像Ｉ１が疑似画像であるとの判別結果を示す。

【0035】

ここで、学習部１１は、サイクルＧＡＮを用いて第１ドメインと第２ドメインとの関係を学習するために、敵対的損失とサイクル一貫性損失とを組み合わせた目的関数を導入する。第１ドメインから第２ドメインへの画像の変換、および第２ドメインから第１ドメインへの画像の逆変換の学習においては、通常のＧＡＮと同様に敵対的損失が用いられる。この敵対的損失に加え、学習部１１は、第１ドメインから第２ドメインへの画像変換を行う生成器Ｇ１と、第２ドメインから第１ドメインへの逆変換を行う生成器Ｇ２とが、変換と逆変換を繰り返す循環で一貫性を保つ関係を学習するためのサイクル一貫性損失を目的関数に反映させる。

【0036】

以下、学習部１１が用いる敵対的損失について、第２ドメインから第１ドメインへの画像変換を行う生成器Ｇ２および変換画像の真偽を判定する識別器Ｄ２で構成されるネットワークを例に挙げて説明する。まずここでは、第１ドメインの部品の画像Ｉ１の本物画像のデータをｘ、識別器Ｄ２による出力である予測値はｙと表し、正解ラベルをtと表す。正解ラベルｔは、第１ドメインの部品の画像Ｉ１の本物画像に対して１、生成器Ｇ２で生成された部品の画像Ｉ１の疑似画像に対して０と設定される。このとき、識別器Ｄ２は、二値分類問題として次式（１）の交差エントロピーＥ_ＣＥで表すことができる。

【0037】

【数1】

【0038】

上式（１）のブレース内の第１項が表すｔ_ｎｌｎｙ_ｎにおいて、識別器Ｄ２の予測値ｙ_ｎが、部品の画像Ｉ１の本物画像の正解ラベルｔ_ｎ＝１の値に近づくことが望ましい。一方、ブレース内の第２項が表す（１－ｔ_ｎ）ｌｎ（１－ｙ_ｎ）においては、識別器Ｄ２の予測値ｙ_ｎが、疑似画像と識別する正解ラベルの値（１－ｔ_ｎ）＝０に近づくことが望ましい。このように交差エントロピーＥ_ＣＥは、予測値が正解ラベルの値に一致している場合に最大値となる。

【0039】

ここで、サイクルＧＡＮを構成する生成器Ｇ１、Ｇ２（以下、これらを総称して「生成器Ｇ」という。）は、パラメータｗ_Ｇ，θ_Ｇを有し、関数Ｇ（ｗ_Ｇ，θ_Ｇ）と表す。また、識別器Ｄ１、Ｄ２（以下、これらを総称して「識別器Ｄ」という。）は、パラメータｗ_Ｄ，θ_Ｄを有し、関数Ｄ（ｗ_Ｄ，θ_Ｄ）と表す。上式（１）の交差エントロピーＥ_ＣＥに基づいた生成器Ｇと識別器Ｄとを備えるモデルの敵対的損失Ｌ_ＧＡＮは、次式（２）で表すことができる。

【数2】

【0040】

上式（２）の第１項が表すＥ_{Ｄ（ｘ）＝１}ｌｎＤ（ｗ_Ｄ，θ_Ｄ）は、識別器Ｄが本物画像を本物であると識別する期待値である。上式（２）の第２項が表すＥ_{Ｄ（ｘ）＝０}ｌｎ（１－Ｄ（Ｇ（ｗ_Ｇ，θ_Ｇ），ｗ_Ｄ，θ_Ｄ））は、生成器Ｇにより生成された疑似画像を識別器Ｄが疑似画像であると識別する期待値である。サイクルＧＡＮの敵対的学習では、生成器Ｇと識別器Ｄとの各組の敵対的損失Ｌ_ＧＡＮのｍｉｎ－ｍａｘ最適化により、生成器Ｇと識別器Ｄとを敵対的に学習する。したがって、識別器Ｄをだますような疑似画像を生成できるように生成器Ｇを学習し、生成器Ｇが生成した疑似画像を疑似画像であると識別するように識別器Ｄを学習する。

【0041】

識別器Ｄの敵対的学習では、本物画像が与えられた場合に、識別器Ｄがｙ＝１に近い出力を出すことで、上式（２）の敵対的損失Ｌ_ＧＡＮの第１項を最大化する。一方、疑似画像が与えられた場合に、識別器Ｄがｙ＝０に近い出力を出すことで敵対的損失Ｌ_ＧＡＮの第２項を最大化するように学習が行われる。

【0042】

生成器Ｇの敵対的学習では、上式（２）のＤ（Ｇ（ｗ_Ｇ，θ_Ｇ），ｗ_Ｄ，θ_Ｄ）が１に近くなるようなＧ（ｗ_Ｇ，θ_Ｇ）を出力することで、敵対的損失Ｌ_ＧＡＮを最小化する。学習部１１は、生成器Ｇのパラメータと識別器Ｄのパラメータとを交互に更新する学習手順を用いる。

【0043】

ここで、図２に示すように、生成器Ｇ１（ｗ_Ｇ１，θ_Ｇ１）に部品の画像Ｉ１の本物画像ｘが入力され、変換された出力をＧ１（ｘ）、生成器Ｇ２（ｗ_Ｇ２，θ_Ｇ２）に構造体の画像Ｉ２の本物画像ｙが入力され、変換された出力をＧ２（ｙ）と表す。また、識別器Ｄ１（ｗ_Ｄ１，θ_Ｄ１）に構造体の画像Ｉ２の本物画像ｙが入力された場合の真偽判定の出力をＤ１（ｙ）と表す。

【0044】

さらに、識別器Ｄ１（ｗ_Ｄ１，θ_Ｄ１）に、生成器Ｇ１（ｗ_Ｇ１，θ_Ｇ１）で生成された構造体の画像Ｉ２の疑似画像である出力Ｇ１（ｘ）が入力された場合の真偽判定の出力をＤ１（Ｇ１（ｘ））と表す。また、識別器Ｄ２（ｗ_Ｄ２，θ_Ｄ２）に部品の画像Ｉ１の本物画像ｘが入力された場合の真偽判定の出力をＤ２（ｘ）、識別器Ｄ２（ｗ_Ｄ２，θ_Ｄ２）に、生成器Ｇ２（ｗ_Ｇ２，θ_Ｇ２）で生成された部品の画像Ｉ１の疑似画像である出力Ｇ２（ｙ）が入力された場合の真偽判定の出力をＤ２（Ｇ２（ｙ））と表す。

【0045】

これらの定義から、上式（２）の敵対的損失Ｌ_ＧＡＮは、次式（３）の敵対的損失Ｌ_ＧＡＮ１、および次式（４）の敵対的損失Ｌ_ＧＡＮ２で表される。

【0046】

【数3】

【0047】

上式（３）により、第１ドメインの部品の画像Ｉ１を生成器Ｇ１で第２ドメインの構造体の画像Ｉ２に変換し、識別器Ｄ１で変換された構造体の画像Ｉ２の真偽を判定するネットワークの敵対的損失Ｌ_ＧＡＮ１が算出される。また、上式（４）により、第２ドメインの構造体の画像Ｉ２を生成器Ｇ２で第１ドメインの部品の画像Ｉ１に変換し、識別器Ｄ２で変換された部品の画像Ｉ１の真偽を判定するネットワークの敵対的損失Ｌ_ＧＡＮ２が算出される。

【0048】

学習部１１は、生成器Ｇ１と識別器Ｄ１とに係るネットワークの上式（３）の敵対的損失Ｌ_ＧＡＮ１、および生成器Ｇ２と識別器Ｄ２とに係るネットワークの上式（４）の敵対的損失Ｌ_ＧＡＮ２をそれぞれ最適化する。

【0049】

学習部１１は、さらに、次式（５）で表されるサイクル一貫性損失Ｌ_ｃｙｃを用いて、入力画像を生成器Ｇで変換し、さらに変換された画像を他方の生成器Ｇで逆変換して元の画像を再構成し、変換前の入力画像と一致するように学習する。

【0050】

【数4】

【0051】

上式（５）のサイクル一貫性損失Ｌ_ｃｙｃは、ノルムＬ^１を用いた期待値の形で表され、生成器Ｇで変換された画像を他方の生成器Ｇで逆変換して復元した画像と、元の入力画像とを画素ごとに比較することで損失を算出する。上式（５）の第１項は、部品の画像Ｉ１の本物画像ｘを入力画像として生成器Ｇ１、Ｇ２の順に変換をかけて部品の画像Ｉ１に戻ってくるかどうかを、変換後の出力Ｇ２（Ｇ１（ｘ））とｘの絶対値とを基準として評価する。この第１項の損失をサイクル一貫性損失Ｌ_ｃｙｃ１という。第２項は、構造体の画像Ｉ２の本物画像ｙを入力画像として生成器Ｇ２、Ｇ１の順に変換をかけて、構造体の画像Ｉ２に戻ってくるかどうかを変換後の出力Ｇ１（Ｇ２（ｙ））とｙの絶対値とを基準として評価する。第２項の損失をサイクル一貫性損失Ｌ_ｃｙｃ２という。

【0052】

学習部１１は、上式（３）（４）の敵対的損失Ｌ_ＧＡＮ１、Ｌ_ＧＡＮ２と、上式（５）のサイクル一貫性損失Ｌ_ｃｙｃとを組み合わせることで、次式（６）で表されるサイクルＧＡＮの最終的な目的関数Ｌを設定する。

【数5】

上式（６）の目的関数Ｌのｍｉｎ－ｍａｘ最適化により、生成器Ｇ１、Ｇ２、および識別器Ｄ１、Ｄ２を学習する。学習部１１による学習処理により、第１ドメインの部品の画像Ｉ１から第２ドメインの構造体の画像Ｉ２に変換する学習済み生成器Ｇ１’が構築される。

【0053】

図１に戻り、生成部１２は、サイクルＧＡＮを用いて構築された、第１ドメインの複数の部品の画像Ｉ１から、第２ドメインの構造体の画像Ｉ２を生成する学習済み生成器Ｇ１’を備え、学習済み生成器Ｇ１’に、支援対象画像である部品の画像Ｉ１を与えて構造体の画像Ｉ２を生成させる。

【0054】

第１記憶部１３は、学習済み生成器Ｇ１’を記憶する。また、第１記憶部１３は、サイクルＧＡＮを構成する学習前の生成器Ｇ１、Ｇ２、および識別器Ｄ１、Ｄ２を記憶することができる。

【0055】

特定部１４は、生成部１２によって生成された構造体の画像Ｉ２に含まれる構造体を識別する識別情報を特定する。より具体的には、特定部１４は、第１取得部１０が取得した、部品の画像Ｉ１あるいは構造体の画像Ｉ２に含まれる組立品の型番などの文字列を抽出し、文字データに変換することができる。さらに特定部１４は、文字データに基づいて、第２記憶部１５に記憶されている型番の情報を参照して、部品および構造体に係る組立品の型番や品番、製造元などの識別情報を特定することができる。

【0056】

あるいは、特定部１４は、生成部１２によって生成された構造体の画像Ｉ２に基づいて、画像分類または物体検出により、組立品の型番を含む識別情報を分別することができる。この場合、特定部１４は、学習部１１が訓練データとして用いた構造体の画像Ｉ２と、組立品の型番を含む識別情報を正解ラベルとした教師データを用いて、事前に機械学習モデルを学習することができる。特定部１４は、学習済みの機械学習モデルにより構造体の画像Ｉ２から識別情報を特定することができる。

【0057】

第２記憶部１５は、組立品の型番や製造元など、部品および構造体に対応する組立品の識別情報を記憶する。

【0058】

第２取得部１６は、特定部１４によって特定された構造体の識別情報に基づいて、識別情報と組立て手順とが関連付けられて記憶された第３記憶部３０（記憶部）から、構造体の組立て手順を取得する。より具体的には、第２取得部１６は、構造体に係る組立品の型番を含む識別情報に基づいて、構造体の組立て説明書のデータを、ネットワークＮＷを介して外部のサーバ３から取得する。第２取得部１６が取得する組立て手順に係る情報は、テキスト情報や音声などが含まれる。

【0059】

提示部１７は、生成部１２によって生成された構造体の画像Ｉ２を含む組立支援情報を提示する。さらに、提示部１７は、第２取得部１６によって取得された構造体の組立て手順と、構造体の画像Ｉ２とを含む組立支援情報を提示することができる。提示部１７は、ネットワークＮＷを介して、組立支援情報をユーザ端末２に送信する。

【0060】

［組立支援装置のハードウェア構成］
次に、上述した機能を有する組立支援装置１を実現するハードウェア構成の一例について、図５を用いて説明する。

【0061】

図５に示すように、組立支援装置１は、例えば、バス１０１を介して接続されるプロセッサ１０２、主記憶装置１０３、通信インターフェース１０４、補助記憶装置１０５、入出力Ｉ／Ｏ１０６を備えるコンピュータと、これらのハードウェア資源を制御するプログラムによって実現することができる。また、組立支援装置１は、バス１０１を介して接続される表示装置１０７を備えることができる。

【0062】

主記憶装置１０３には、プロセッサ１０２が各種制御や演算を行うためのプログラムが予め格納されている。プロセッサ１０２と主記憶装置１０３とによって、図１に示した第１取得部１０、学習部１１、生成部１２、特定部１４、第２取得部１６、提示部１７など組立支援装置１の各機能が実現される。

【0063】

通信インターフェース１０４は、組立支援装置１と各種外部電子機器との間をネットワーク接続するためのインターフェース回路である。

【0064】

補助記憶装置１０５は、読み書き可能な記憶媒体と、その記憶媒体に対してプログラムやデータなどの各種情報を読み書きするための駆動装置とで構成されている。補助記憶装置１０５には、記憶媒体としてハードディスクやフラッシュメモリなどの半導体メモリを使用することができる。

【0065】

補助記憶装置１０５は、組立支援装置１が実行するサイクルＧＡＮの学習プログラムおよび組立支援プログラムを格納するプログラム格納領域を有する。補助記憶装置１０５によって、図１で説明した第１記憶部１３、および第２記憶部１５が実現される。さらには、例えば、上述したデータやプログラムなどをバックアップするためのバックアップ領域などを有していてもよい。

【0066】

入出力Ｉ／Ｏ１０６は、外部機器からの信号を入力したり、外部機器へ信号を出力したりする入出力装置である。

【0067】

表示装置１０７は、有機ＥＬディスプレイや液晶ディスプレイなどによって構成される。表示装置１０７によって、提示部１７を実現することも可能である。

【0068】

［組立支援装置の動作］
次に、上述した構成を有する組立支援装置１の動作を、図６のシーケンス図および図７のフローチャートを参照して説明する。

【0069】

図６は、組立支援装置１を備える組立支援システムの動作の概要を示す動作シーケンスである。まず、組立支援装置１の学習部１１は、サイクルＧＡＮを用いて、第１ドメインの複数の部品の画像Ｉ１から第２ドメインの構造体の画像Ｉ２を生成する生成器Ｇ１を学習する（ステップＳ１）。ステップＳ１での学習処理の詳細は後述する。

【0070】

その後、組立支援を要求するユーザは、ユーザ端末２のカメラ２５を用いて、組立品が分解された状態の複数の部品を任意の配置および撮影角度で撮影する（ステップＳ２）。ユーザ端末２は、撮影された部品の画像Ｉ１を支援対象画像として、ネットワークＮＷを介して組立支援装置１に送信する。

【0071】

ユーザ端末２はステップＳ２において、部品の画像Ｉ１とともに、組立支援を要求する組立品に関する情報を送信することができる。例えば、ユーザ端末２は、組立品の製造メーカや購入年などの情報の入力操作を受け付けて、これらの情報を部品の画像Ｉ１とともに組立支援装置１に送信することができる。その他にも、ユーザ端末２は、支援対象の組立品の属性を、部品の画像Ｉ１とともに送信することができる。組立品の属性とは、家具や自転車などのカテゴリーや、家具のうち棚、テーブルなどのさらに詳細なカテゴリーである。組立品に関する情報は、後述のステップＳ５において用いられる。

【0072】

次に、組立支援装置１の第１取得部１０は、ユーザ端末２から部品の画像Ｉ１を取得する（ステップＳ３）。第１取得部１０は、ステップＳ３において、取得した部品の画像Ｉ１に対するノイズの除去や、サイズや解像度の変換などの前処理を行う。

【0073】

次に、組立支援装置１の生成部１２は、ステップＳ１の学習処理で事前に構築された学習済み生成器Ｇ１’に、支援対象画像である部品の画像Ｉ１を与えて構造体の画像Ｉ２を生成させる（ステップＳ４）。

【0074】

次に、特定部１４は、ステップＳ３で生成された構造体の画像Ｉ２に含まれる構造体を識別する識別情報を特定する（ステップＳ５）。特定部１４は、ステップＳ３で取得された部品の画像Ｉ１あるいは構造体の画像Ｉ２に含まれる組立品の型番などの文字列を抽出し、文字データに変換し、第２記憶部１５に記憶されている型番の情報を参照して、部品および構造体に係る組立品の型番や製造元などの識別情報を特定することができる。また、特定部１４は、ステップＳ２で送信された組立品に関する情報を利用して、識別情報を特定することができる。

【0075】

次に、第２取得部１６は、ステップＳ５で特定された構造体の識別情報に基づいて、識別情報と組立て手順とが関連付けられて記憶された第３記憶部３０を備えるサーバ３から、構造体の組立て手順を取得する（ステップＳ６）。ステップＳ６で取得される組立て手順に係る情報は、テキスト情報や音声などが含まれる。

【0076】

続いて提示部１７は、ステップＳ６で取得された構造体の組立て手順と、ステップＳ４で生成された構造体の画像Ｉ２とを含む組立支援情報をユーザ端末２に提示する（ステップＳ７）。その後、組立支援情報を受信したユーザ端末２は、表示装置２４に構造体の画像Ｉ２および組立て手順を表示させる（ステップＳ８）。組立支援を要求したユーザは、ユーザ端末２に画面表示された構造体の画像Ｉ２および組立て手順を参照し、部品から完成品である構造体を組み立てることができる。

【0077】

次に、図７のフローチャートおよび図２の学習部１１のブロック図を参照して、組立支援装置１による学習処理を説明する。

【0078】

まず、学習部１１は、訓練データを用意する（ステップＳ１００）。部品の画像Ｉ１の本物画像ｘ_ｒｅａｌ、および構造体の画像Ｉ２の本物画像ｙ_ｒｅａｌが訓練データとして用いられる。本実施の形態では、複数の部品が異なる配置および異なる撮影角度で撮影された複数の画像を訓練データとして用いる。また、構造体が異なる撮影角度で撮影された複数の画像を訓練データとして用いる。これらの訓練データは、図２の「入力ｘ」および「入力ｙ」にそれぞれ設定される。

【0079】

次に、学習部１１は、サイクルＧＡＮを構成する２つの識別器Ｄ１、Ｄ２にそれぞれ訓練データを入力して本物画像を学習させ、識別器Ｄ１のパラメータｗ_Ｄ１，θ_Ｄ１、および識別器Ｄ２のパラメータｗ_Ｄ２，θ_Ｄ２をそれぞれ更新する（ステップＳ１０１）。ステップＳ１０１において、異なる角度で撮影された構造体の複数の本物画像ｙ_ｒｅａｌを識別器Ｄ１に入力し、上式（１）の公差エントロピー誤差が最小となるよう誤差逆伝搬法などを用いてパラメータｗ_Ｄ１，θ_Ｄ１を更新する。識別器Ｄ２についても同様に、異なる配置および撮影角度で撮影された複数の部品についての複数の本物画像ｘ_ｒｅａｌを入力として与え、上式（１）の公差エントロピー誤差が最小となるよう誤差逆伝搬法などを用いてパラメータｗ_Ｄ２，θ_Ｄ２を更新する。

【0080】

次に、学習部１１は、生成器Ｇ１と識別器Ｄ１との組のネットワークの敵対的学習、および生成器Ｇ２と識別器Ｄ２との組のネットワークの敵対的学習を以下のステップで行う。

【0081】

まず、学習部１１は、上式（３）の敵対的損失Ｌ_ＧＡＮ１を用いて識別器Ｄ１の学習を行う（ステップＳ１０２）。より詳細には、学習部１１は、図２に示すように、識別器Ｄ１に構造体の画像Ｉ２の本物画像ｙ_ｒｅａｌを入力として与え、上式（３）の敵対的損失Ｌ_ＧＡＮ１の勾配ｄＬ_ＧＡＮ１／ｄｗ_Ｄ１，ｄＬ_ＧＡＮ１／ｄθ_Ｄ１を算出し、誤差逆伝搬法などにより敵対的損失Ｌ_ＧＡＮ１が最大となるようにパラメータｗ_Ｄ１，θ_Ｄ１を更新する。さらに、学習部１１は、識別器Ｄ１に、生成器Ｇ１によって生成された構造体の画像Ｉ２の疑似画像ｙ_ｆａｋｅを入力として与え、同様に敵対的損失Ｌ_ＧＡＮ１が最大となるようにパラメータｗ_Ｄ１，θ_Ｄ１を更新する。なお、識別器Ｄ１の学習は、生成器Ｇ１のパラメータｗ_Ｇ１，θ_Ｇ１を固定して行われる。

【0082】

次に、学習部１１は、上式（３）の敵対的損失Ｌ_ＧＡＮ１を用いて生成器Ｇ１の学習を行う（ステップＳ１０３）。より詳細には、学習部１１は、図２に示すように、生成器Ｇ１に部品の画像Ｉ１の本物画像ｘ_ｒｅａｌを入力として与え、上式（３）の敵対的損失Ｌ_ＧＡＮ１の勾配－ｄＬ_ＧＡＮ１／ｄｗ_Ｇ１，－ｄＬ_ＧＡＮ１／ｄθ_Ｇ１を算出し、誤差逆伝搬法などにより敵対的損失Ｌ_ＧＡＮ１が最小となるようにパラメータｗ_Ｇ１，θ_Ｇ１を更新する。なお、生成器Ｇ１の学習は、識別器Ｄ１のパラメータｗ_Ｄ１，θ_Ｄ１を固定して行われる。

【0083】

次に、学習部１１は、上式（４）の敵対的損失Ｌ_ＧＡＮ２を用いて識別器Ｄ２の学習を行う（ステップＳ１０４）。より詳細には、図２に示すように、学習部１１は、識別器Ｄ２に部品の画像Ｉ１の本物画像ｘ_ｒｅａｌを入力として与え、上式（４）の敵対的損失Ｌ_ＧＡＮ２の勾配ｄＬ_ＧＡＮ２／ｄｗ_Ｄ２，ｄＬ_ＧＡＮ２／ｄθ_Ｄ２を算出し、誤差逆伝搬法などにより敵対的損失Ｌ_ＧＡＮ２が最大となるようにパラメータｗ_Ｄ２，θ_Ｄ２を更新する。さらに、学習部１１は、識別器Ｄ２に、生成器Ｇ２によって生成された部品の画像Ｉ１の疑似画像ｙ_ｆａｋｅを入力として与え、同様に敵対的損失Ｌ_ＧＡＮ２が最大となるようにパラメータｗ_Ｄ２，θ_Ｄ２を更新する。なお、識別器Ｄ２の学習は、生成器Ｇ２のパラメータｗ_Ｇ２，θ_Ｇ２を固定して行われる。

【0084】

次に、学習部１１は、上式（４）の敵対的損失Ｌ_ＧＡＮ２を用いて生成器Ｇ２の学習を行う（ステップＳ１０５）。より詳細には、学習部１１は、図２に示すように、生成器Ｇ２に構造体の画像Ｉ２の本物画像ｙ_ｒｅａｌを入力として与え、上式（４）の敵対的損失Ｌ_ＧＡＮ２の勾配－ｄＬ_ＧＡＮ２／ｄｗ_Ｇ２，－ｄＬ_ＧＡＮ２／ｄθ_Ｇ２を算出し、誤差逆伝搬法などにより敵対的損失Ｌ_ＧＡＮ２が最小となるようにパラメータｗ_Ｇ２，θ_Ｇ２を更新する。なお、生成器Ｇ２の学習は、識別器Ｄ２のパラメータｗ_Ｄ２，θ_Ｄ２を固定して行われる。学習部１１は、ステップＳ１０４およびステップＳ１０５の学習を行って敵対的損失Ｌ_ＧＡＮ２を求める。

【0085】

次に、学習部１１は、上式（５）のサイクル一貫性損失Ｌ_ｃｙｃを以下のステップで求める。まず、学習部１１は、部品の画像Ｉ１の本物画像ｘ_ｒｅａｌと、再構成された部品の画像Ｉ１の疑似画像Ｇ２（Ｇ１（ｘ））とのサイクル一貫性損失Ｌ_ｃｙｃ１を算出し、生成器Ｇ１、Ｇ２を学習する（ステップＳ１０６）。

【0086】

より詳細には、学習部１１は、図２に示すように、部品の画像Ｉ１の本物画像ｘ_ｒｅａｌを生成器Ｇ１に与え、生成された構造体の画像Ｉ２の疑似画像Ｇ１（ｘ）をさらに生成器Ｇ２に入力として与える。生成器Ｇ２によってさらに再構成された部品の画像Ｉ１の疑似画像Ｇ２（Ｇ１（ｘ））と、部品の画像Ｉ１の本物画像ｘ_ｒｅａｌとのサイクル一貫性損失Ｌ_ｃｙｃ１を上式（５）により算出する。学習部１１は、元の画像である本物画像ｘ_ｒｅａｌと再構成された疑似画像Ｇ２（Ｇ１（ｘ））との画素毎の比較を行い、互いの距離Ｌ^１を最小とすることで、サイクル一貫性損失Ｌ_ｃｙｃ１を最小化する。

【0087】

次に、学習部１１は、構造体の画像Ｉ２の本物画像ｙ_ｒｅａｌと、再構成された構造体の画像Ｉ２の疑似画像Ｇ１（Ｇ２（ｙ））とのサイクル一貫性損失Ｌ_ｃｙｃ２を算出し、生成器Ｇ１、Ｇ２を学習する（ステップＳ１０７）。より詳細には、学習部１１は、図２に示すように、構造体の画像Ｉ２の本物画像ｙ_ｒｅａｌを生成器Ｇ２に与え、生成された部品の画像Ｉ１の疑似画像Ｇ２（ｙ）をさらに生成器Ｇ１に入力として与える。生成器Ｇ１によってさらに再構成された構造体の画像Ｉ２の疑似画像Ｇ１（Ｇ２（ｙ））と、構造体の画像Ｉ２の本物画像ｙ_ｒｅａｌとのサイクル一貫性損失Ｌ_ｃｙｃ２を上式（５）により算出する。学習部１１は、元の画像である本物画像ｙ_ｒｅａｌと再構成された疑似画像Ｇ１（Ｇ２（ｙ））との画素毎の比較を行い、互いの距離Ｌ^１を最小とすることで、サイクル一貫性損失Ｌ_ｃｙｃ２を最小化する。

【0088】

次に、学習部１１は、ステップＳ１０２からステップＳ１０７で求められた敵対的損失Ｌ_ＧＡＮ１、Ｌ_ＧＡＮ２、およびサイクル一貫性損失Ｌ_ｃｙｃから、上式（６）の目的関数Ｌを設定し、目的関数Ｌが収束するまでステップＳ１０２からステップＳ１０７までの処理を繰り返す（ステップＳ１０８：ＮＯ）。学習部１１は、目的関数Ｌが収束した際の生成器Ｇ１を学習済み生成器Ｇ１’として第１記憶部１３に記憶する（ステップＳ１０９）。以上の学習処理によって、第１ドメインの部品の画像Ｉ１を第２ドメインの構造体の画像Ｉ２に変換する学習済み生成器Ｇ１’が構築される。

【0089】

以上説明したように、本実施の形態に係る組立支援装置１によれば、サイクルＧＡＮを用いて第１ドメインの部品の画像Ｉ１を第２ドメインの構造体の画像Ｉ２に変換する生成器Ｇ１を構築するので、組立品の情報、特に構造体の画像Ｉ２がユーザに入手可能でない場合であっても、ユーザの組立て作業を支援することができる。

【0090】

また、本実施の形態に係る組立支援装置１によれば、学習済み生成器Ｇ１’で生成された構造体の画像Ｉ２に加え、構造体に係る組立品の組立て手順の情報を組立支援情報としてユーザに提示する。そのため、ユーザは、完成された状態の構造体の画像Ｉ２および組立て手順を参照して組立作業を行うことができ、ユーザの組立て作業にともなう労力を低減することができる。

【0091】

また、本実施の形態に係る組立支援装置１によれば、複数の部品が異なる配置および異なる撮影角度で撮影された複数の画像を第１ドメインの複数の部品の画像Ｉ１の訓練データとして用いるため、ユーザが複数の部品を任意に配置し、任意の撮影角度で撮影した部品の画像Ｉ１から構造体の画像Ｉ２を生成することができる。

【0092】

なお、上述した実施の形態では、学習部１１は、敵対的損失Ｌ_ＧＡＮ、およびサイクル一貫性損失Ｌ_ｃｙｃを組み合わせた目的関数Ｌを設定する場合について説明した。しかし、学習部１１は、敵対的損失Ｌ_ＧＡＮ、およびサイクル一貫性損失Ｌ_ｃｙｃに加え、同一性損失を有する目的関数Ｌを設定してもよい。同一性損失とは、例えば、生成器Ｇへの入力画像と、生成器Ｇで生成された疑似画像とが一致するように画素毎の損失を計算するものである。同一性損失をさらに導入することで、入力される部品の画像Ｉ１において必要な箇所のみを変換するように生成器Ｇ１が学習されることになる。

【0093】

また、上述した実施の形態では、組立支援装置１は、ユーザ端末２からネットワークＮＷを介して直接的に部品の画像Ｉ１を取得する場合について説明した。しかし、組立支援装置１は、外部の装置から支援対象画像の部品の画像Ｉ１を取得する構成としてもよい。この場合、ユーザ端末２は、外部の装置に組立支援要求を部品の画像Ｉ１と共に送信する。例えば、サーバ３がユーザ端末２からの組立支援要求を受け付ける構成としてもよい。

【0094】

また、上述した実施の形態では、組立支援装置１は、ユーザ端末２に対して、ネットワークＮＷを介して直接的に組立支援情報を提示する場合について説明した。しかし、組立支援装置１は、外部の装置を介してユーザ端末２に組立支援情報を提示する構成としてもよい。例えば、サーバ３を介して組立支援情報をユーザ端末２に送信する構成としてもよい。

【0095】

また、上述した実施の形態では、組立支援装置１とサーバ３とは互いに独立した構成として説明した。しかし、組立支援装置１は、サーバ３が備える第３記憶部３０を備える構成を採用してもよい。

【0096】

また、上述した実施の形態では、組立支援装置１が組立支援の対象とする組立品の数については、説明の容易のため１つである場合について説明した。しかし、組立品の数は複数の場合が含まれる。したがって、学習部１１は、組立品ごとにサイクルＧＡＮを学習して学習済み生成器Ｇ１’を構築することができる。この場合、生成部１２は、ユーザ端末２から送信された支援対象画像である部品の画像Ｉ１を複数の生成器Ｇ１’に与えて生成された画像のうち、正確に生成された構造体の画像Ｉ２を採用する構成とすることができる。

【0097】

以上、本発明の組立支援装置および組立支援方法における実施の形態について説明したが、本発明は説明した実施の形態に限定されるものではなく、請求項に記載した発明の範囲において当業者が想定し得る各種の変形を行うことが可能である。

【符号の説明】

【0098】

１…組立支援装置、１０…第１取得部、１１…学習部、１２…生成部、１３…第１記憶部、１４…特定部、１５…第２記憶部、１６…第２取得部、１７…提示部、２…ユーザ端末、２５…カメラ、３…サーバ、３０…第３記憶部、１０１…バス、２０、１０２…プロセッサ、２１、１０３…主記憶装置、２２、１０４…通信インターフェース、２３、１０５…補助記憶装置、１０６…入出力Ｉ／Ｏ、２４、１０７…表示装置、Ｇ、Ｇ１、Ｇ２…生成器、Ｄ、Ｄ１、Ｄ２…識別器、Ｇ１’…学習済み生成器、ＮＷ…ネットワーク。

【要約】

【課題】組立品の情報がユーザに入手可能でない場合にも、ユーザの組立て作業を支援することを目的とする。
【解決手段】
組立支援装置１は、組み立てられる前の複数の部品を任意の配置および撮影角度で撮影した支援対象画像の部品の画像Ｉ１を取得する第１取得部１０と、サイクルＧＡＮ（Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋｓ）を用いて構築された、第１ドメインの複数の部品の画像Ｉ１から第２ドメインの構造体の画像Ｉ２を生成する学習済み生成器Ｇ１’を備え、学習済み生成器Ｇ１’に、支援対象画像の部品の画像Ｉ１を与えて構造体の画像Ｉ２を生成させる生成部１２と、生成された構造体の画像Ｉ２を含む組立支援情報を提示する提示部１７とを備える。
【選択図】図１

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】