(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023049988
(43)【公開日】2023-04-10
(54)【発明の名称】プログラム、コンピュータシステム及び製作支援方法
(51)【国際特許分類】
G06T 19/00 20110101AFI20230403BHJP
G09B 19/10 20060101ALI20230403BHJP
A63H 9/00 20060101ALI20230403BHJP
【FI】
G06T19/00 600
G09B19/10 Z
A63H9/00 S
A63H9/00 X
【審査請求】未請求
【請求項の数】22
【出願形態】OL
(21)【出願番号】P 2021160092
(22)【出願日】2021-09-29
(71)【出願人】
【識別番号】000134855
【氏名又は名称】株式会社バンダイナムコエンターテインメント
(74)【代理人】
【識別番号】100124682
【弁理士】
【氏名又は名称】黒田 泰
(74)【代理人】
【識別番号】100104710
【弁理士】
【氏名又は名称】竹腰 昇
(74)【代理人】
【識別番号】100090479
【弁理士】
【氏名又は名称】井上 一
(72)【発明者】
【氏名】手塚 晃司
【テーマコード(参考)】
2C150
5B050
【Fターム(参考)】
2C150EE01
2C150FD40
5B050AA10
5B050BA09
5B050CA07
5B050CA08
5B050DA04
5B050EA09
5B050EA19
5B050EA27
5B050FA02
5B050FA05
(57)【要約】
【課題】ランナーから成形品を切り離し、切り離した複数の成形品を組み立ててオブジェクトを製作する際の製作支援をするための技術を提供すること。
【解決手段】サーバシステム1100は、ランナー16から成形品14を切り離し、切り離した複数の成形品を組み立ててオブジェクトを製作する際の製作支援を行う。具体的には、
サーバシステム1100は、ランナー16を撮影した撮影画像36に基づいて、製作オブジェクトを識別し、製作オブジェクトの種類別に用意された製作支援情報の中から識別された製作オブジェクトに該当する製作支援情報を選択し、当該選択した製作支援情報に基づくガイダンス35の提示制御を行う。
【選択図】
図4
【特許請求の範囲】
【請求項1】
ランナーから成形品を切り離し、切り離した複数の成形品を組み立ててオブジェクトを製作する際の製作支援をコンピュータシステムが行うためのプログラムであって、
前記ランナーを読み取る読取手段が読み取った読取情報に基づいて、製作オブジェクトを識別する識別手段、
前記オブジェクト別に用意された製作支援情報の中から、前記識別手段により識別された前記製作オブジェクトに該当する製作支援情報を選択し、当該選択した製作支援情報に基づくガイダンスの提示制御を行うガイダンス提示制御手段、
として前記コンピュータシステムを機能させるためのプログラム。
【請求項2】
前記識別手段は、前記読取情報に基づいて読取ランナーを識別するランナー識別手段を有し、当該読取ランナーに基づいて前記製作オブジェクトを識別する、
請求項1に記載のプログラム。
【請求項3】
前記製作支援情報は、前記ランナー別の支援情報を含み、
前記ガイダンス提示制御手段は、前記製作オブジェクトに該当する製作支援情報に含まれる前記ランナー別の支援情報のうち、前記読取ランナーに該当する支援情報を選択し、当該選択した支援情報に基づくガイダンスの提示制御を行う、
請求項2に記載のプログラム。
【請求項4】
ランナーから成形品を切り離し、切り離した複数の成形品を組み立ててオブジェクトを製作する際の製作支援をコンピュータシステムが行うためのプログラムであって、
前記ランナーを読み取る読取手段が読み取った読取情報に基づいて、読取ランナーを識別する識別手段、
前記ランナー別に用意された支援情報の中から、前記識別手段により識別された前記読取ランナーに該当する支援情報を選択し、当該選択した支援情報に基づくガイダンスの提示制御を行うガイダンス提示制御手段、
として前記コンピュータシステムを機能させるためのプログラム。
【請求項5】
前記読取手段は、カメラであり、
前記読取情報は、撮影画像であり、
前記識別手段は、前記撮影画像に写っている前記ランナー、及び/又は、当該ランナーに接続された前記成形品に関する、色、形状、及び配置構成のうちの何れかに基づいて、前記読取ランナーを識別する、
請求項2~4の何れか一項に記載のプログラム。
【請求項6】
前記支援情報には、前記ランナーの所定の組み合わせに応じた支援情報が含まれ、
前記ガイダンス提示制御手段は、前記識別手段により複数の読取ランナーが識別され、且つ、当該複数の読取ランナーが前記所定の組み合わせに該当する場合に、当該所定の組み合わせに応じた支援情報に基づくガイダンスの提示制御を行う、
請求項3又は4に記載のプログラム。
【請求項7】
前記所定の組み合わせに応じた支援情報には、前記所定の組み合わせのランナーそれぞれの成形品を用いて組み立てる場合の別ランナー組み合わせ支援情報が含まれ、
前記ガイダンス提示制御手段は、前記所定の組み合わせに応じた支援情報として、前記別ランナー組み合わせ支援情報に基づいて、ガイダンスの提示制御を行う、
請求項6に記載のプログラム。
【請求項8】
前記ガイダンス提示制御手段は、前記読取ランナーから切り離した成形品の組み立てに関するガイダンスを提示制御する、
請求項2~7の何れか一項に記載のプログラム。
【請求項9】
前記ガイダンス提示制御手段は、前記読取ランナーに係る成形品の演出画像を表示する制御を行う、
請求項2~8の何れか一項に記載のプログラム。
【請求項10】
前記ガイダンス提示制御手段は、前記読取ランナーに係る成形品の付帯情報を表示する制御を行う、
請求項2~9の何れか一項に記載のプログラム。
【請求項11】
前記読取情報に基づいて、前記成形品の切り離し状況を検出する切り離し状況検出手段、
として前記コンピュータシステムを更に機能させ、
前記ガイダンス提示制御手段は、前記切り離し状況に基づいて前記ガイダンスの提示制御を行う、
請求項1~10の何れか一項に記載のプログラム。
【請求項12】
前記ガイダンス提示制御手段は、前記製作に係る次の手順を予測し、当該予測に基づいて前記ガイダンスの提示制御を行う、
請求項11に記載のプログラム。
【請求項13】
前記ガイダンス提示制御手段は、前記予測された次の手順に係る前記ランナー及び/又は前記成形品を特定するための前記ガイダンスの提示制御を行う、
請求項12に記載のプログラム。
【請求項14】
前記読取手段は、カメラであり、
前記読取情報は、撮影画像であり、
前記ガイダンス提示制御手段は、ランナー画像の表示制御を行うランナー画像表示制御手段を有し、
前記ランナー画像表示制御手段は、前記撮影画像に写っている前記ランナーの色に基づいて、前記ランナー画像の色を制御する、
請求項1~13の何れか一項に記載のプログラム。
【請求項15】
前記ガイダンス提示制御手段は、ユーザ操作に基づく前記成形品の指定を受け付ける成形品指定受付手段を有し、指定された前記成形品に関する前記ガイダンスの提示制御を行う、
請求項1~14の何れか一項に記載のプログラム。
【請求項16】
ユーザ情報を取得するユーザ情報取得手段、
として前記コンピュータシステムを更に機能させ、
前記ガイダンス提示制御手段は、前記ガイダンスの提示制御を前記ユーザ情報に基づいて変更する制御を行う、
請求項1~15の何れか一項に記載のプログラム。
【請求項17】
前記ユーザ情報は、ユーザの年齢、性別、及び製作経験のうちの何れかの情報を含む、
請求項16に記載のプログラム。
【請求項18】
前記ガイダンス提示制御手段は、前記ガイダンスの提示を時間経過に従って可変に制御する、
請求項1~17の何れか一項に記載のプログラム。
【請求項19】
ランナーから成形品を切り離し、切り離した複数の成形品を組み立ててオブジェクトを製作する際の製作支援を行うコンピュータシステムであって、
前記ランナーを読み取る読取手段が読み取った読取情報に基づいて、製作オブジェクトを識別する識別手段と、
前記オブジェクト別に用意された製作支援情報の中から、前記識別手段により識別された前記製作オブジェクトに該当する製作支援情報を選択し、当該選択した製作支援情報に基づくガイダンスの提示制御を行うガイダンス提示制御手段と、
を備えるコンピュータシステム。
【請求項20】
ランナーから成形品を切り離し、切り離した複数の成形品を組み立ててオブジェクトを製作する際の製作支援を行うコンピュータシステムであって、
前記ランナーを読み取る読取手段が読み取った読取情報に基づいて、読取ランナーを識別する識別手段と、
前記ランナー別に用意された支援情報の中から、前記識別手段により識別された前記読取ランナーに該当する支援情報を選択し、当該選択した支援情報に基づくガイダンスの提示制御を行うガイダンス提示制御手段と、
を備えるコンピュータシステム。
【請求項21】
ユーザが、ランナーから成形品を切り離し、切り離した複数の成形品を組み立ててオブジェクトを製作する際の製作支援をコンピュータシステムが行うための製作支援方法であって、
前記ランナーを読み取った読取情報を取得する読取情報取得ステップと、
前記読取情報に基づいて、製作オブジェクトを識別する識別ステップと、
前記オブジェクト別に用意された製作支援情報の中から、前記識別ステップにおいて識別された前記製作オブジェクトに該当する製作支援情報を選択し、当該選択した製作支援情報に基づくガイダンスを前記ユーザに向けて提示する制御を行うガイダンス提示制御ステップと、
を含む製作支援方法。
【請求項22】
ユーザが、ランナーから成形品を切り離し、切り離した複数の成形品を組み立ててオブジェクトを製作する際の製作支援をコンピュータシステムが行うための製作支援方法であって、
前記ランナーを読み取った読取情報を取得する読取情報取得ステップと、
前記読取情報に基づいて、読取ランナーを識別する識別ステップと、
前記コンピュータシステムが、前記ランナー別に用意された支援情報の中から、前記識別ステップにおいて識別された前記読取ランナーに該当する支援情報を選択し、当該選択した支援情報に基づくガイダンスを前記ユーザに向けて提示する制御を行うガイダンス提示制御ステップと、
を含む製作支援方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、コンピュータシステムにオブジェクトの製作支援を行わせるためのプログラム等に関する。
【背景技術】
【0002】
カメラで物体を撮影すると、その結像位置にオブジェクトを配置した仮想空間を表示することで、実世界において組み立て中の当該物体と部品との配置を仮想空間に再現し、次の組み立て行程に係る情報を表示する技術がある(例えば、特許文献1を参照)。ユーザにとっては、部品をどのようにして物体に取り付ければよいかが分かることになる。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
部品を組み立てて楽しむ物の代表例としてプラスチックモデルがある。プラスチックモデルは、組み立て模型の代表格であって、ユーザ自らが合成樹脂で成形された部品を組み立て、1つの製作オブジェクト(例えば、マンガやアニメに登場するキャラクタやロボット、飛行機や自動車などの乗り物、などの造形物)を完成させることを楽しむ玩具である。
【0005】
プラスチックモデルのパッケージには、複数の部品(以下、「成形品」という)が一体的に成形された1つ又は複数のランナー(或いはランナーブロックともいう)と、組み立て手順書と、が付属している。ユーザは、組み立て手順書を参照しながら、その指示に従って、次の組み立て手順の成形品がランナーのどこにあるかを探し出し、切り離し、そして、組み立てる。こうした一連の作業がプラスチックモデルの楽しみの1つである。
【0006】
製作オブジェクトの構造が複雑になると、ランナー(或いはランナーブロック)の数は勿論のこと、成形品の数や、組み立て手順が多くなる。成形品も似たような形状のものが増える。このため、構造が複雑な製作オブジェクトのプラスチックモデルでは、ユーザが、次の組み立て手順で必要とする成形品をランナーから見つけるのが難しくなる。プラスチックモデルの組み立てに慣れていないユーザには特に難易度が高いものとなる。
【0007】
特許文献1等の従来の技術は、前提として、次に組み立てるべき部品があり、その部品をどのように組み立てるかを案内する技術である。そのため、プラスチックモデルに代表される“ランナーから成形品を探し出して切り離す”という手順を必要とするオブジェクトの製作に関して、従来の技術を適用するこができない。
【0008】
本発明が解決しようとする課題は、ランナーから成形品を切り離し、切り離した複数の成形品を組み立ててオブジェクトを製作する際の製作支援をするための技術を提供すること、である。
【課題を解決するための手段】
【0009】
上記した課題を解決するための第1の発明は、ランナーから成形品を切り離し、切り離した複数の成形品を組み立ててオブジェクトを製作する際の製作支援をコンピュータシステムが行うためのプログラムであって、前記ランナーを読み取る読取手段が読み取った読取情報に基づいて、製作オブジェクトを識別する識別手段(例えば、
図1の制御基板1150、
図9のサーバ処理部200s、識別部220、
図10の画像認識辞書データライブラリ510、製作オブジェクト判定基準データ519、
図16のステップS12)、
前記オブジェクト別に用意された製作支援情報の中から、前記識別手段により識別された前記製作オブジェクトに該当する製作支援情報を選択し、当該選択した製作支援情報に基づくガイダンスの提示制御を行うガイダンス提示制御手段(例えば、
図1の制御基板1150、
図9のサーバ処理部200s、ガイダンス提示制御部230、
図10のガイダンス提示制御データ610、
図17のステップS54)、として前記コンピュータシステムを機能させるためのプログラムである。
【0010】
また、第2の発明は、前記識別手段が、前記読取情報に基づいて読取ランナーを識別するランナー識別手段(例えば、
図9のランナー識別部222、
図16のステップS12)を有し、当該読取ランナーに基づいて前記製作オブジェクトを識別する、第1の発明のプログラムである。
【0011】
また、第3の発明は、前記製作支援情報が、前記ランナー別の支援情報(例えば、
図12の組み立て手順別データパッケージ530、使用ランナー組み合わせ533)を含み、前記ガイダンス提示制御手段は、前記製作オブジェクトに該当する製作支援情報に含まれる前記ランナー別の支援情報のうち、前記読取ランナーに該当する支援情報を選択し、当該選択した支援情報に基づくガイダンスの提示制御を行う、第2の発明のプログラムである。
【0012】
また、第4の発明は、ランナーから成形品を切り離し、切り離した複数の成形品を組み立ててオブジェクトを製作する際の製作支援をコンピュータシステムが行うためのプログラムであって、前記ランナーを読み取る読取手段が読み取った読取情報に基づいて、読取ランナーを識別する識別手段、
前記ランナー別に用意された支援情報の中から、前記識別手段により識別された前記読取ランナーに該当する支援情報を選択し、当該選択した支援情報に基づくガイダンスの提示制御を行うガイダンス提示制御手段、として前記コンピュータシステムを機能させるためのプログラムである。
【0013】
第1~第4の何れかの発明によれば、コンピュータシステムは、ランナーを読み取った読取情報に基づいて製作オブジェクト又は読取ランナーを識別し、その製作を支援するための情報を選択してガイダンスを提示する。よって、ランナーから成形品を切り離し、切り離した複数の成形品を組み立ててオブジェクトを製作する際の製作支援をすることができる。
【0014】
第5の発明は、前記読取手段は、カメラであり、前記読取情報は、撮影画像であり、
前記識別手段が、前記撮影画像に写っている前記ランナー、及び/又は、当該ランナーに接続された前記成形品に関する、色、形状、及び配置構成のうちの何れかに基づいて、前記読取ランナーを識別する、第2~第4の何れかの発明のプログラムである。
【0015】
第5の発明によれば、コンピュータシステムは、読取ランナーを、撮影画像に写っているランナーそのもの、或いは、ランナーに接続された成形品の色、形状、配置構成のうちの何れかに基づいて識別できる。
【0016】
第6の発明は、前記支援情報には、前記ランナーの所定の組み合わせに応じた支援情報(例えば、
図12の組み立て手順別データパッケージ530、使用ランナー組み合わせ533)が含まれ、前記ガイダンス提示制御手段は、前記識別手段により複数の読取ランナーが識別され、且つ、当該複数の読取ランナーが前記所定の組み合わせに該当する場合に、当該所定の組み合わせに応じた支援情報に基づくガイダンスの提示制御を行う、第3又は第4の発明のプログラムである。
【0017】
また、第7の発明は、前記所定の組み合わせに応じた支援情報には、前記所定の組み合わせのランナーそれぞれの成形品を用いて組み立てる場合の別ランナー組み合わせ支援情報が含まれ、前記ガイダンス提示制御手段は、前記所定の組み合わせに応じた支援情報として、前記別ランナー組み合わせ支援情報に基づいて、ガイダンスの提示制御を行う、第6の発明のプログラムである。
【0018】
第6又は第7の発明によれば、コンピュータシステムは、読取ランナーの組み合わせに応じた支援情報をガイダンスとして提示できる。
【0019】
第8の発明は、前記ガイダンス提示制御手段が、前記読取ランナーから切り離した成形品の組み立てに関するガイダンスを提示制御する、第2~第7の何れかの発明のプログラムである。
【0020】
第8の発明によれば、コンピュータシステムは、ランナーから切り離された成形品であっても、それらを組み立てるためのガイダンスを提示できる。
【0021】
第9の発明は、前記ガイダンス提示制御手段が、前記読取ランナーに係る成形品の演出画像を表示する制御を行う、第2~第8の何れかの発明のプログラムである。
【0022】
第9の発明によれば、コンピュータシステムは、ガイダンスとともに成形品の演出画像標を表示できる。
【0023】
第10の発明は、前記ガイダンス提示制御手段が、前記読取ランナーに係る成形品の付帯情報を表示する制御を行う、第2~第9の何れかの発明のプログラムである。
【0024】
第9の発明によれば、コンピュータシステムは、ガイダンスとともに成形品の付帯情報を表示できる。
【0025】
第11の発明は、前記読取情報に基づいて、前記成形品の切り離し状況を検出する切り離し状況検出手段(例えば、
図1の制御基板1150、
図9のサーバ処理部200s、切り離し状況検出部224、
図16のステップS12)、として前記コンピュータシステムを更に機能させ、前記ガイダンス提示制御手段は、前記切り離し状況に基づいて前記ガイダンスの提示制御を行う、第1~第10の何れかの発明のプログラムである。
【0026】
第11の発明によれば、コンピュータシステムは、切り離し状況に基づいたガイダンスの提示制御ができる。
【0027】
また、第12の発明は、前記ガイダンス提示制御手段が、前記製作に係る次の手順を予測し、当該予測に基づいて前記ガイダンスの提示制御を行う、第11の発明のプログラムである。
【0028】
また、第13の発明は、前記ガイダンス提示制御手段が、前記予測された次の手順に係る前記ランナー及び/又は前記成形品を特定するための前記ガイダンスの提示制御を行う、第12の発明のプログラムである。
【0029】
第12又は第13の何れかの発明によれば、コンピュータシステムは、製作に係る次の手順を予測してガイダンスの提示制御ができる。
【0030】
第14の発明は、前記読取手段は、カメラであり、前記読取情報は、撮影画像であり、前記ガイダンス提示制御手段が、ランナー画像の表示制御を行うランナー画像表示制御手段(例えば、
図1の制御基板1150、
図9のサーバ処理部200s、ランナー画像表示制御部232、
図17のステップS54)を有し、
前記ランナー画像表示制御手段は、前記撮影画像に写っている前記ランナーの色に基づいて、前記ランナー画像の色を制御する、第1~第13の何れかの発明のプログラムである。
【0031】
第14の発明によれば、コンピュータシステムは、撮影画像に写っているランナーの色に基づいて、ランナー画像の色を制御できる。よって、ランナー画像の色を、撮影画像に写っている現物のランナーの色に変更して提示できる。
【0032】
第15の発明は、前記ガイダンス提示制御手段が、ユーザ操作に基づく前記成形品の指定を受け付ける成形品指定受付手段(例えば、
図9のサーバ処理部200s、成形品指定受付部234、
図16のステップS12)を有し、指定された前記成形品に関する前記ガイダンスの提示制御を行う、第1~第14の何れかの発明のプログラムである。
【0033】
第15の発明によれば、コンピュータシステムは、ユーザが指定した成形品に関するガイダンスを提示できる。
【0034】
第16の発明は、ユーザ情報を取得するユーザ情報取得手段(例えば、
図1の制御基板1150、
図9のサーバ処理部200s、ユーザ情報取得制御部218、
図14のユーザ情報600)、として前記コンピュータシステムを更に機能させ、前記ガイダンス提示制御手段は、前記ガイダンスの提示制御を前記ユーザ情報に基づいて変更する制御を行う、第1~第15の何れかの発明のプログラムである。
【0035】
また、第17の発明は、前記ユーザ情報が、ユーザの年齢、性別、及び製作経験のうちの何れかの情報を含む、第16の発明のプログラムである。
【0036】
第16又は第17の発明によれば、コンピュータシステムは、ユーザ情報に基づいてガイダンスの提示制御を変更できる。
【0037】
第18の発明は、前記ガイダンス提示制御手段が、前記ガイダンスの提示を時間経過に従って可変に制御する(例えば、
図13の支援程度別データセット540の追加ガイドデータ546、
図17のステップS64)、第1~第17の何れかの発明のプログラムである。
【0038】
第18の発明によれば、コンピュータシステムは、ガイダンスの提示を時間経過に従って可変に制御できる。
【0039】
第19の発明は、ランナーから成形品を切り離し、切り離した複数の成形品を組み立ててオブジェクトを製作する際の製作支援を行うコンピュータシステムであって、前記ランナー読み取る読取手段が読み取った読取情報に基づいて、製作オブジェクトを識別する識別手段と、前記オブジェクト別に用意された製作支援情報の中から、前記識別手段により識別された前記製作オブジェクトに該当する製作支援情報を選択し、当該選択した製作支援情報に基づくガイダンスの提示制御を行うガイダンス提示制御手段と、を備えるコンピュータシステムである。
【0040】
第19の発明によれば、第1の発明と同様の効果をもたらすコンピュータシステムを実現できる。
【0041】
第20の発明は、ランナーから成形品を切り離し、切り離した複数の成形品を組み立ててオブジェクトを製作する際の製作支援を行うコンピュータシステムであって、前記ランナー読み取る読取手段が読み取った読取情報に基づいて、読取ランナーを識別する識別手段と、前記ランナー別に用意された支援情報の中から、前記識別手段により識別された前記読取ランナーに該当する支援情報を選択し、当該選択した支援情報に基づくガイダンスの提示制御を行うガイダンス提示制御手段と、を備えるコンピュータシステムである。
【0042】
第20の発明によれば、第4の発明と同様の効果をもたらすコンピュータシステムを実現できる。
【0043】
第21の発明は、ユーザが、ランナーから成形品を切り離し、切り離した複数の成形品を組み立ててオブジェクトを製作する際の製作支援をコンピュータシステムが行うための製作支援方法であって、
前記ランナーを読み取った読取情報を取得する読取情報取得ステップ(例えば、
図16のステップS12)と、
前記読取情報に基づいて、製作オブジェクトを識別する識別ステップ(例えば、
図16のステップS14)と、
前記オブジェクト別に用意された製作支援情報の中から、前記識別ステップにおいて識別された前記製作オブジェクトに該当する製作支援情報を選択し、当該選択した製作支援情報に基づくガイダンスを前記ユーザに向けて提示する制御を行うガイダンス提示制御ステップ(例えば、
図17のステップS54)と、を含む製作支援方法である。
【0044】
第21の発明によれば,第1の発明と同様の効果をもたらす製作支援方法を実現できる。
【0045】
第22の発明は、ユーザが、ランナーから成形品を切り離し、切り離した複数の成形品を組み立ててオブジェクトを製作する際の製作支援をコンピュータシステムが行うための製作支援方法であって、
前記ランナーを読み取った読取情報を取得する読取情報取得ステップと、
前記読取情報に基づいて、読取ランナーを識別する識別ステップと、
前記ランナー別に用意された支援情報の中から、前記識別ステップにおいて識別された前記読取ランナーに該当する支援情報を選択し、当該選択した支援情報に基づくガイダンスを前記ユーザに向けて提示する制御を行うガイダンス提示制御ステップと、を含む製作支援方法である。
【0046】
第22の発明によれば,第4の発明と同様の効果をもたらす製作支援方法を実現できる。
【図面の簡単な説明】
【0047】
【
図2】プラスチックモデルのパッケージとそれから製作される製作オブジェクトについて説明するための図。
【
図9】サーバシステムの機能構成例を示す機能ブロック図。
【
図10】サーバ記憶部が記憶するプログラムやデータの例を示す図。
【
図11】画像認識辞書データライブラリのデータ構成例を示す図。
【
図13】支援程度別データセットのデータ構成例を示す図。
【
図15】ユーザ端末の機能構成例を示す機能ブロック図。
【
図16】製作支援システムの動作を説明するためのフローチャート
【
図18】第2実施形態におけるユーザ端末の機能構成例を示す機能ブロック図。
【
図19】第2実施形態における端末記憶部が記憶するプログラムやデータの例を示す図。
【発明を実施するための形態】
【0048】
以下、本発明の実施形態の例を説明するが、本発明を適用可能な形態が以下の実施形態に限られないことは勿論である。本実施形態では、読取手段をカメラとし、読取情報を撮影画像とした場合の実施形態の例を説明する。また、製作するオブジェクトとしてプラスチックモデルを例に挙げて説明する。
【0049】
〔第1実施形態〕
図1は、製作支援システム1000の構成例を示す図である。
製作支援システム1000は、サーバシステム1100と、ユーザ別のユーザ端末1500とを具備し、ユーザ端末1500をマン・マシン・インターフェース(man machine interface:MMIF)とするコンピュータシステムである。
図1では、ユーザ端末1500を1台のみ描いているが、実際のシステム運用においては、ユーザ端末1500の台数は問われない。
【0050】
サーバシステム1100とユーザ端末1500とは、互いにネットワーク9を介してデータ通信が可能である。ネットワーク9は、データ通信が可能な通信路を意味する。すなわち、ネットワーク9とは、直接接続のための専用線(専用ケーブル)やイーサネット(登録商標)等によるLAN(Local Area Network)の他、電話通信網やケーブル網、インターネット等の通信網を含む意味であり、また、通信方法については有線/無線を問わない。
【0051】
サーバシステム1100は、本体装置1101、キーボード、タッチパネル、ストレージ1140を有し、本体装置1101に制御基板1150を搭載する。制御基板1150には、CPU(Central Processing Unit)1151やGPU(Graphics Processing Unit)、DSP(Digital Signal Processor)などの各種マイクロプロセッサ、VRAMやRAM,ROM等の各種ICメモリ1152、通信装置1153、が搭載されている。なお、制御基板1150の一部又は全部は、ASIC(Application Specific Integrated Circuit)や、FPGA(Field-Programmable Gate Array)、SoC(System on a Chip)により実現するとしてもよい。
【0052】
なお、サーバシステム1100を1台のサーバ装置であるかのように例示しているが、協調する複数の装置で実現する構成であってもよい。例えば、各機能を分担する複数のブレードサーバを搭載して相互に内部バスを介してデータ通信可能に接続した構成であってもよい。また、ハードウェアの設置場所は問わない。離れた場所に設置された独立した複数のサーバを、ネットワーク9を介してデータ通信させることで、全体としてサーバシステム1100として機能させる構成であってもよい。
【0053】
ユーザ端末1500は、ユーザが製作支援システム1000を利用するために使用するコンピュータシステムであって、ネットワーク9を介してサーバシステム1100へアクセスする電子装置(電子機器)である。ユーザ端末1500は、操作入力デバイス(例えば、キーボード、タッチパネル、ゲームコントローラ、マウスなど)と、タッチパネル1506(例えば、ビデオモニタ、タッチパネル、ヘッドマウントディスプレイなど)と、タッチパネル1506を備えた側とは表裏反対側を撮影するカメラ1521と、制御基板1550と、を備える。
【0054】
制御基板1550は、CPU1551や、GPU,DSPなどの各種マイクロプロセッサ、VRAMやRAM,ROM等の各種ICメモリ1552、ネットワーク9に接続する通信モジュール1553、などを搭載する。制御基板1550に搭載されているこれらの要素は、バス回路などを介して電気的に接続され、データの読み書きや信号の送受信が可能に接続されている。制御基板1550の一部又は全部をASICやFPGA、SoCにて構成してもよい。そして、制御基板1550は、ユーザ端末としての機能を実現させるためのプログラムや各種データをICメモリ1552に記憶する。
【0055】
本実施形態では、ユーザ端末1500はプログラムや各種の設定データをサーバシステム1100からダウンロードする構成としているが、別途入手したメモリカードなどの記憶媒体から読み出す構成としてもよい。
【0056】
なお、ユーザ端末1500の形態は、コンピュータシステムであれば問わない。例えば、スマートフォン、スマートウォッチなどのウェアラブルコンピュータ、携帯型ゲーム装置、家庭用据置型ゲーム装置、タブレット型コンピュータ、パソコン、業務用ゲーム装置、などでもよい。スマートフォンと当該スマートフォンに通信接続されたスマートウォッチとの組み合わせ、といった複数の電子機器が通信可能に接続することで1つの機能を果たす場合には、それら複数の電子機器を1つのユーザ端末1500とみなすことができる。
【0057】
図2は、プラスチックモデルのパッケージと製作オブジェクトとについて説明するための図である。
プラスチックモデルのパッケージ10には、ユーザ自らが製作オブジェクト12を組み立てる組み立て玩具の部品が入っている。製作オブジェクト12は、例えば、マンガやアニメ、ビデオゲームなどに登場する登場人物やロボットなどの登場メカ、飛行機や自動者、船、などの乗り物、等をテーマにして造形されている。
【0058】
パッケージ10は、製作オブジェクト12を組み立てるための部品に相当する成形品14(14a,14b,…;多数の成形品が図示されているので一部にのみ符号をつけている。)が複数個一体的に成形された複数のランナー16(16a,16b,…)と、成形品14の表面に貼り付けるデカール18をまとめたデカールシート19と、組み立て手順を図解する印刷物である組立説明書20と、を有する。
【0059】
なお、パッケージ10に含まれる製作オブジェクト12の構成要素は、成形品14・ランナー16・デカール18に限らず、その他の要素を含めることとしてもよい。
【0060】
パッケージ10の箱それ自体には、表面に、製作オブジェクト12の画像と、商品名(例えば、製作オブジェクト12の造形元になったキャラクタ等の名前など)と、が印刷されている。
【0061】
ランナー16は、合成樹脂を射出成形して作られたブロックであり、単色又は混色で成形されている。一部には透明な合成樹脂で成形されたものも含まれる。
ランナー16は、タグ17を有している。タグ17には、当該ランナー16を識別するためのテキスト(
図2の例では、アルファベット)が凹凸で形成されている。或いは印刷されている。
【0062】
組立説明書20では、複数の手順が記載されており、手順別に、当該手順において必要な複数の成形品14と、それら成形品14の組みつけ方を指南するイラストと、が対応づけて記載されている。組立説明書20を参照すれば、ユーザは、従来通りに、組立説明書20が示す手順毎に、ランナー16のなかから必要な成形品14を見つけ出し、それを切り出し、組み立てる、といった作業を繰り返して製作オブジェクト12を組み立てることもできる。
【0063】
しかし、造形が複雑な製作オブジェクト12になると、成形品14の数も多くなり、ランナー16の数も増える。成形品14の形状も似たものが増える可能性も高くなる。すると、手順毎にランナー16のなかから必要な成形品14を見つけ出すのが難しくなる。
【0064】
製作支援システム1000は、ユーザ端末1500を通じて組立説明書20に代わって製作を支援することができる。
【0065】
図3は、製作支援について説明するための図である。
ユーザ端末1500にてユーザが所定の支援開始操作を入力すると、ユーザに向けて、全てのランナー16と、デカールシート19とを撮影するように促す旨の表示がなされる。パッケージ10を撮影対象に含めてもよい。
図3に示すように、ユーザが、当該表示に従ってユーザ端末1500で撮影を行うと、撮影された画像(以下、全体画像という)のデータはユーザ端末1500にて保存され、画像認識処理がなされる。なお、全撮影対象を1回で撮影するように例示しているが、ランナー16やデカールシート19のそれぞれを単独で撮影した撮影画像データ群を全体画像データの代わりとしてもよい。
【0066】
画像認識処理のための辞書データは、様々な種類の製作オブジェクト12別に用意されており、パッケージ10、ランナー16、成形品14、及びデカール18のそれぞれを画像認識するための辞書データが含まれる。辞書データの内容は、適宜設定可能である。採用する画像認識のアルゴリズムに応じた必要なデータが用意され、例えば、色、全部及び一部の輪郭形状、特徴形状群及びそれらの相対位置関係、などのデータが用意される。
【0067】
製作支援システム1000は、全体画像の画像認識処理の結果から、製作支援の対象とされる製作オブジェクト12、つまりこれからユーザが組み立てようとしている製作オブジェクト12の種類を判定する。そして、製作オブジェクト12の種類別に予め用意されている製作支援に基づいて、ユーザ端末1500にて組み立てをサポートするガイダンスを提示する。
【0068】
図4は、ユーザ端末1500のタッチパネル1506に表示される製作支援画面W2の一例を示している。
【0069】
製作支援画面W2は、順番表示30と、手順見出し31と、自動進行操作アイコン32と、手動進行操作アイコン33と、成形品情報34と、ガイダンス35と、撮影画像36と、表示切換操作アイコン38と、を有する。
【0070】
順番表示30は、組み立て手順のうち、今どの手順におけるガイダンス35が表示されているかを示す。
【0071】
組み立て順番は、ユーザ端末1500で撮影されている成形品14や、ランナー16、デカール18の画像認識の結果から予測される。例えば、ランナー16に対して、全ての成形品14が所定の接続位置にあることが認識された場合、組み立てが開始されていない、或いは、これから組み立てを開始しようとしているところである、と予測される。よって、組み立て順番は「1」と予測される。組み立て手順が進行するとその時に撮影された撮影画像36には、幾つかの成形品14がランナー16から切り離されているために、撮影されない場合がある。そこで、例えば、ランナー16に接続されて撮影されている成形品14のうち、当該成形品14を必要とする組み立て手順のうちの順番数が最も小さい組み立て手順を、次の組み立て手順として予測することができる。或いは、ランナー16から切り離されて撮影されていない成形品14を必要とする組み立て手順を検索して当該組み立て手順を除外し、検索されなかった組み立て手順のうちの順番数が最も小さい組み立て手順を、次の組み立て手順として予測することができる。
【0072】
組み立て手順の送りは、自動進行と手動進行との何れかをユーザが切換選択できる。自動進行操作アイコン32をタッチ操作すると、自動進行に設定され、当該手順のガイダンスが提示されてからの経過時間が、所与の基準値に達すると自動的にガイダンスの手順が1つずつ進む。ここで言う所与の基準値は、ユーザの製作経験の多寡に応じて変化する値とすることができる。手動操作の場合は、手動進行操作アイコン33をタッチ操作することでガイダンスの手順が1つ進む又は1つ戻る。アイコンの矢印が示す方向で進む/戻るが決まる。
【0073】
成形品情報34は、当該手順での組み立てに必要とされる成形品14に係る各種情報を表示する。例えば、成形品14がどのランナー16に有るかを示す成形品ID(
図4における「A2」「C1」など)と対応づけて、成形品名称(
図4中の「左眉」「左目」など)と、材質(
図4中の「材質1」など)と、塗装カラーの色についての情報と、を表示する。
【0074】
ガイダンス35は、当該手順での組み立てを説明するイラストや動画である。動画は、先生役が実際に成形品14を使って組み立てを行った際のビデオ動画でもよいし、3DCG(3 Dimensions Computer Graphics)を用いて作成された動画でもよい。
【0075】
ガイダンス35が3DCGで描かれた映像である場合、成形品14のCG像には、当該成形品14に施される予定の塗装色や、当該成形品14の樹脂素材色が反映されている。例えば、透明パーツに塗装する色の違いで製作オブジェクト12のバリエーション違いが生じ、各バリエーションのパッケージ10が作られる場合、透明な成形品14のCGモデルの配色設定を、そのバリエーションに応じた色に設定することで、各バリエーションの映像を簡単に製作できるので好適である。樹脂素材色の違いでバリエーションが設定される場合も同様である。3DCGのモデルは共通であるが、表示色を樹脂素材色(撮影画像36に写っているランナー16,成形品14の色としてもよい)に設定すればよい。そうすることで、ガイダンス35のデータサイズを低減できる副次的効果が得られる。
【0076】
図4の例のガイダンス35では、切り離された成形品14のみが描かれているが、ガイダンス35には次の組み立て手順で使用されるランナー16(使用される成形品14が接続されているランナー)を表示してもよい。
【0077】
例えば、
図5に示すように、ランナー16の3DCGモデル61(61a,61b)と、工具モデル62とを表示させて、何処を工具で切って成形品14を切り離せばよいかの画像を表示する。更に、必要とする成形品14の表示をした後に、切り離された成形品14をどの向きに合わせて組み付けるか、についても順を追って説明する動画としてもよい。
【0078】
この構成でも、樹脂素材色の違いでバリエーションが設定される場合には、3DCGモデル61の表示色は、樹脂素材色(撮影画像36に写っているランナー16,成形品14の色としてもよい)に設定すればよい。因みに、
図5(1)のランナー16の3DCGモデル61aと、
図5(2)のランナー16の3DCGモデル61bと、では樹脂素材色が異なっている。
【0079】
図4に戻って、ガイダンス35としてイラストと動画の両方のデータが用意されている場合は、2つを順に表示してもよいし、ユーザによる所定の切換操作(例えば、ガイダンス35の表示区画内をフリック操作する、など)を検出するとガイダンス35として表示するデータを切り換えるとしてもよい。
【0080】
図4の例では、ガイダンス35が小区画、撮影画像36が大区画に表示されている状態を例示しているが、ユーザが表示切換操作アイコン38をタッチ操作すると、ガイダンス35と撮影画像36との表示区画の入れ替えが実行され、ユーザが望む方を大きく画面に表示させることができる。
【0081】
撮影画像36は、ユーザ端末1500のカメラ1521で撮影されているライブ画像であり、リアルタイムに画像認識されている。写っている成形品14、ランナー16、デカール18のそれぞれがリアルタイムに画像認識され、撮影画像36に写される成形品14、ランナー16、デカール18のうち、順番表示30で示す組み立て順番において使用される成形品14にはそれぞれ演出表示体44が合成表示される。演出表示体44の目的・表示形態は適宜設定可能である。
【0082】
演出表示体44が撮影画像36に合成表示されることにより、ユーザは、どのランナー16からどの成形品14を切り離せばよいかが一目で理解できる。仮に、撮影画像36に写っている成形品14が既に切り離されていたとしても、その成形品14に演出表示体44が表示されていれば、それが順番表示30で示す組み立て順番において使用される成形品に該当することが、一目で理解できる。よって、演出表示体44が合成された撮影画像36の表示は、第2のガイダンス34Bとして機能する。
【0083】
撮影画像36はライブ画像なので、ユーザがユーザ端末1500の位置や姿勢を変えたり、ズーム操作をしたりすると、撮影画像36もリアルタイムで変化する。すると、演出表示体44の表示位置や表示サイズも、リアルタイムの画像認識処理の結果に基づいて追従するように制御される。例えば、
図6は、
図4の状態から特定の成形品14にユーザ端末1500を近づけた状態の製作支援画面W4を示している。もしも、撮影画像36に成形品14やランナー16が小さく映っている場合には、ユーザは、演出表示体44がどれを示しているかが分かり難いと感じ得る。このような場合、ユーザは、ユーザ端末1500をランナー16に近づければ、演出表示体44が示している箇所を直ぐに確認できる。
【0084】
もしも、予測された次の組み立て手順で必要となる成形品14が撮影画像36中に認識できない場合には、
図7に示すような不足注意表示40が表示される。不足注意表示40は、例えば、認識されていない成形品14(不足成形品)の成形品IDと、当該成形品14が接続されているランナー16のランナーIDと、が含まれる。不足注意表示40は、不足成形品が撮影画像36内に認識されると、その表示が解除される。不足注意表示40が表示されることで、次の組み立て手順で必要となる成形品14がどのランナー16にあるのか、既に切り離されていないかをサポートできる。
【0085】
また、撮影画像36が表示されている区画に対して所定のタッチ操作(例えば、2本指タップ操作)をすると、撮影画像36がライブ動画表示から静止画表示に切り替わる。再度、所定のタッチ操作をすると静止画表示からライブ動画表示にもどる。
【0086】
このように、ユーザは、製作支援画面W2を参照することで、次の組み立て手順において、どのランナー16のどの成形品14を切り離せばよいかが直ぐに分かる。ランナー16から成形品14を探し出すのは、組立説明書20を参照するよりもはるかに簡単になる。
【0087】
図8は、
図4の例の組み立て手順よりも後の手順のガイダンスの提示例を示す図であって、ユーザ端末1500のタッチパネル1506に表示される製作支援画面W6の一例を示している。
【0088】
ユーザが任意にランナー16や、ランナー16から切り離された成形品14(
図8の例では、成形品14hと成形品14j)を撮影すると、自動的に次の組み立て手順が予測され、予測された手順のガイダンス35が製作支援画面W6にて提示される。製作支援画面W6の画面構成は、
図4と同様である。
【0089】
具体的には、組立説明書20を参考にして組み立てをしていたが次の組み立て手順で使う成形品14を見つけられないユーザや、成形品14を見つけることはできたが組み立て手順が分からなかったユーザ、成形品14を切り離してみたものの必要な成形品14をすべて切り離せたか自信がもてないユーザ、中断していた組み立てを再開するユーザは、一部の成形品14が切り離されたランナー16や、ランナー16から切り離した成形品14を撮影すると、それらが画像認識される。
【0090】
画像認識の結果から、成形品14のランナー16からの切り離し状況が検出される。すなわち、各ランナー16において接続状態(未切り離し)の成形品14の相対位置関係を示す情報(接続位置情報)が予め用意されており、画像認識の結果と接続位置情報とを比較することで、どの成形品14が切り離されているか、どの成形品14が切り離されていないかを判定する。そして、切り離されていない成形品14を使用する組み立て手順は終了していないと判定する。また、切り離されていて撮影画像36内に認識されなかたった成形品14を使用する組み立て手順は終了したと判定する。こうした組み立て手順の絞り込みを行うことで、撮影画像36の状態から次に行うべき組み立て手順を予測することができる。
【0091】
製作支援画面W6において、順番表示30には予測された組み立て手順の順番が表示され、手順見出し31にはその見出しが表示される。成形品情報34には、予測された組み立て手順で使用する成形品14の情報が表示され、ガイダンス35には、予測された組み立て手順のガイダンスが表示される。
【0092】
よって、ユーザは、任意の組み立て途中の状態からでも、簡単且つ直ぐに次の組み立て手順のガイダンスを得ることができる。例えば、次の組み立て手順で使う成形品14を見つけられないユーザは、ランナー16や成形品14を撮影して、撮影画像36内に表示される演出表示体44を見つけることで、次の手順で使う成形品14を直ぐに見つけることができる。次の組み立て手順で必要な成形品14が撮影されない限り、不足注意表示40が表示されることもユーザの助けとなる。成形品14を切り離してみたものの必要な成形品14をすべて切り離せたか自信がもてないユーザも、安心して組み立てに取りかかることができる。成形品14を見つけることはできたが組立説明書20では組み立て手順が分からないユーザは、ガイダンス35を見ることで組み立て手順が理解し易くなる。
【0093】
もしも、ユーザが、切り離した成形品14のみをユーザ端末1500で撮影したとしても、それらが個別に画像認識されて、それらを必要とする組み立て手順が検索される。そして、撮影された成形品14を使う組み立て手順が予測され、そのガイダンス35が表示されることになる。よって、製作支援システム1000は、切り離された成形品14を撮影するというユーザ操作に基づく成形品14の指定を受け付け、指定された成形品14に関するガイダンス35を提示するといった使い方にも対応できる。
【0094】
次に、機能構成について説明する。
図9は、サーバシステム1100の機能構成例を示す機能ブロック図である。
サーバシステム1100は、操作入力部100sと、サーバ処理部200sと、音出力部390sと、画像表示部392sと、通信部394sと、サーバ記憶部500sとを備える。
【0095】
操作入力部100sは、サーバシステム1100の管理のために各種操作を入力するための手段である。例えば、キーボード、タッチパネル、マウス、などがこれに該当する。
【0096】
サーバ処理部200sは、例えばCPUやGPU、ASIC、FPGA等の演算回路となるプロセッサの他、ICメモリなどの電子部品によって実現され、操作入力部100sやサーバ記憶部500sを含む各機能部との間でデータの入出力制御を行う。そして、所定のプログラムやデータ、操作入力部100sからの操作入力信号、ユーザ端末1500などから受信したデータ、等に基づいて各種の演算処理を実行して、サーバシステム1100の動作を統合的に制御する。
【0097】
サーバ処理部200sは、ユーザ情報取得制御部218と、識別部220と、切り離し状況検出部224と、ガイダンス提示制御部230と、計時部280sと、音生成部290sと、画像生成部292sと、通信制御部294sとを含む。勿論、これら以外の機能部も適宜含めることができる。
【0098】
ユーザ情報取得制御部218は、ユーザ情報を取得する。ユーザ情報は、ユーザの年齢、性別、及び製作経験のうちの何れかの情報を含む。
【0099】
識別部220は、ランナー16を撮影した撮影画像36に基づいて、製作オブジェクトを識別する。そして、識別部220は、ランナー識別部222を有する。
【0100】
ランナー識別部222は、撮影画像に基づいて撮影ランナーを識別する。識別部220は、当該撮影ランナーに基づいて製作オブジェクト12を識別する(
図3参照)。具体的には、識別部220は、撮影画像36に写っているランナー16、及び/又は、当該ランナー16に接続された成形品14に関する、色、形状、及び配置構成のうちの何れかに基づいて、撮影ランナーを識別する。
【0101】
切り離し状況検出部224は、撮影画像36に基づいて、成形品14の切り離し状況を検出する。
【0102】
ガイダンス提示制御部230は、オブジェクト別に用意された製作支援情報の中から、識別部220により識別された製作オブジェクト12に該当する製作支援情報を選択し、当該選択した製作支援情報に基づくガイダンスの提示制御を、時間経過に従って可変に実行する。
【0103】
具体的には、ガイダンス提示制御部230は、製作オブジェクト12に該当する製作支援情報に含まれるランナー別の支援情報のうち、撮影ランナーに該当する支援情報を選択し、当該選択した支援情報に基づくガイダンスの提示制御を行う。
【0104】
また、ガイダンス提示制御部230は、識別部220により複数の撮影ランナーが識別され、且つ、当該複数の撮影ランナーが所定の組み合わせに該当する場合には、当該所定の組み合わせに応じた支援情報に基づくガイダンスの提示制御を行う。より具体的には、所定の組み合わせに応じた支援情報として、別ランナー組み合わせ支援情報に基づいて、ガイダンスの提示制御を行う。
【0105】
また、ガイダンス提示制御部230は、ガイダンスの提示制御をユーザ情報に基づいて変更する制御を行う。
【0106】
また、ガイダンス提示制御部230は、撮影ランナーから切り離した成形品の組み立てに関するガイダンスを提示制御する。
また、ガイダンス提示制御部230は、撮影ランナーに係る成形品の演出画像、成形品の付帯情報、を表示する制御を行う。
図4の演出表示体44が演出画像に相当し、成形品情報34で表示される材質についての情報が付帯情報に該当する。
また、ガイダンス提示制御部230は、切り離し状況検出部224が検出した成形品14の切り離し状況に基づいて製作に係る次の手順を予測し、当該予測に基づいてガイダンスの提示制御を行う(
図8参照)
【0107】
ガイダンス提示制御部230は、ランナー画像表示制御部232と、成形品指定受付部234と、を有する。
【0108】
ランナー画像表示制御部232は、撮影画像に写っているランナー16の色に基づいて、ガイダンスに含まれるランナー画像の色を制御する。
【0109】
成形品指定受付部234は、ユーザ操作に基づく成形品14の指定を受け付ける制御を行う。ガイダンス提示制御部230は、この指定された成形品14に関するガイダンス35の提示制御を行う。ガイダンス35の提示方式を「任意式」にした場合、ユーザが任意に次の組み立て手順についてのガイダンスを得るために、一部の成形品14が切り離されたランナー16や、切り離された成形品14を撮影すること、或いは、撮影画像に写っている中から成形品14を指定操作することが、ここで言う“ユーザ操作に基づく成形品14の指定”に相当する。
【0110】
計時部280sは、システムクロックを利用して現在日時や、制限時間、経過時間、などの各種計時を行う。
【0111】
音生成部290sは、音声データの生成やデコードをするICやソフトウェアの実行により実現され、製作支援システム1000のシステム管理や、オンラインゲームの提供に係る操作音や効果音、BGM、音声通話、などの音声データを生成或いはデコードする。そして、システム管理に関する音声信号は音出力部390sへ出力する。
【0112】
音出力部390sは、スピーカ等により実現され、音声信号に基づいて放音する。
【0113】
画像生成部292sは、サーバシステム1100のシステム管理のための各種管理画面の画像生成を行い、画像データを画像表示部392sに出力する。画像表示部392sは、フラットパネルディスプレイや、ヘッドマウントディスプレイ、プロジェクターなど、画像を表示させる装置で実現される。
【0114】
また、画像生成部292sは、製作支援画面(
図4から
図8参照)に必要な各種画像の生成も行う。例えば、ガイダンス35が3DCGによる映像の場合、仮想3次元空間に成形品14を表すCGオブジェクトを配置するとともに、当該CGオブジェクトの動作を制御し、それらを仮想カメラで撮影した3DCGのレンダリングや画像加工処理なども実行する。
【0115】
通信制御部294sは、データ通信に係るデータ処理を実行し、通信部394sを介して外部装置とのデータのやりとりを実現する。
【0116】
通信部394sは、ネットワーク9と接続して通信を実現する。例えば、無線通信機、モデム、TA(ターミナルアダプタ)、有線用の通信ケーブルのジャックや制御回路等によって実現される。
図1の例では通信装置1153がこれに該当する。
【0117】
サーバ記憶部500sは、サーバ処理部200sにサーバシステム1100を統合的に制御させるための諸機能を実現するためのプログラムや各種データ等を記憶する。また、サーバ処理部200sの作業領域として用いられ、サーバ処理部200sが各種プログラムに従って実行した演算結果などを一時的に記憶する。この機能は、例えばRAMやROMなどのICメモリ、ハードディスク等の磁気ディスク、CD-ROMやDVDなどの光学ディスク、オンラインストレージなどによって実現される。
図1の例では本体装置1101が搭載するICメモリ1152やハードディスクなどの記憶媒体がこれに該当する。オンラインストレージをサーバ記憶部500sに含めてもよい。
【0118】
図10は、サーバ記憶部500sが記憶するプログラムやデータの例を示す図である。本実施形態におけるサーバ記憶部500sは、サーバプログラム501と、配信用クライアントプログラム503と、画像認識辞書データライブラリ510と、製作オブジェクト判定基準データ519と、製作支援情報520と、ユーザ情報600と、ガイダンス提示制御データ610と、現在日時900と、を記憶する。サーバ記憶部500sは、その他のプログラムやデータ(例えばタイマーや、カウンタ、各種フラグなど)も適宜記憶する。
【0119】
サーバプログラム501は、サーバ処理部200sが読み出して実行することで、サーバシステム1100に、ユーザ情報取得制御部218・識別部220・切り離し状況検出部224・ガイダンス提示制御部230としての機能を実現させるためのプログラムである。
【0120】
配信用クライアントプログラム503は、ユーザ端末1500へ提供されて実行されるプログラムのオリジナルである。
【0121】
画像認識辞書データライブラリ510は、例えば
図11に示すように、パッケージ10の種類毎に用意されたパッケージ別辞書データ511と、ランナー16の種類毎に用意されたランナー別辞書データ512と、成形品14の種類毎に用意された成形品別辞書データ513と、デカール18の種類別に用意されたデカール別辞書データ514と、を有する。これらの辞書データは、当該要素を示すID(例えば、パッケージID、ランナーID、成形品ID、デカールID)と対応づけて、撮影画像36のなかから当該要素を画像認識するための辞書データ群を格納している。なお、パッケージ10に含まれる製作オブジェクト12の構成要素が、成形品14・ランナー16・デカール18、以外を含む場合、それらの種類別辞書データも格納する。
【0122】
図10に戻って、製作オブジェクト判定基準データ519は、製作オブジェクト12及びパッケージ10の種類別に用意され、画像認識された要素の組合せからそれらを判定するための構成要素の情報(構成ランナーIDリスト、構成成形品IDリスト、構成デカールIDリスト、など)を格納する。
【0123】
製作支援情報520は、製作オブジェクト12及びパッケージ10の種類別に用意され、当該製作オブジェクトの組み立ての支援を実現するための各種データを格納する。
1つの製作支援情報520は、例えば
図12に示すように、
(1)固有の製作支援情報ID521と、
(2)当該情報がどの種類の製作オブジェクト12用であるかを示す適用製作オブジェクトID522(例えば、製作オブジェクト12の名前)と、
(3)ランナー別成形品配置構成データ523と、
(4)透明樹脂で成形されたランナー16(透明ランナー)を示す透明ランナーIDリスト524と、
(5)成形品14別に用意され当該成形品に施す塗装カラーを示す成形品別塗装カラー設定525と、
(6)付帯情報526と、
(7)組み立て手順別データパッケージ530と、
(8)製作支援画面に表示される言語を変換表示するための言語変換データ560と、
を含む。勿論、これら以外の情報も適宜含めることができる。
【0124】
ランナー別成形品配置構成データ523は、どのランナー16のどこに、どの成形品14が接続されているかを示す。具体的には、ランナーIDと、成形品IDリストと、接続位置座標リストと、を含む。接続位置座標リストは、ランナーの基準位置座標に対する相対位置座標を成形品IDリストの順に格納するデータである。
【0125】
付帯情報526は、ランナー16及びランナー16に接続されている成形品14に係る情報を格納する。1つの付帯情報545は、ランナーID、成形品ID、或いは使用デカールIDと対応付けて、塗装カラーや素材情報などの情報を格納する。勿論、これら以外のデータも適宜格納することができる。
【0126】
組み立て手順別データパッケージ530は、組み立て手順毎に用意され、当該手順に係る各種データを格納する。1つの組み立て手順別データパッケージ530は、(1)順番数531と、(2)当該手順で使用される成形品14の成形品IDのリストである使用成形品組み合わせ532と、(3)当該手順で使用される成形品14が接続されているランナー16のランナーIDリストである使用ランナー組み合わせ533と、(4)別ランナー組み合わせ支援情報535と、(5)支援程度別データセット540と、を格納する。勿論、これら以外のデータも適宜格納することができる。
【0127】
別ランナー組み合わせ支援情報535は、不足注意表示40(
図7参照)の種類毎に用意される。1つの別ランナー組み合わせ支援情報535は、撮影画像36内に認識されていない成形品14(不足成形品)を示す成形品IDと、当該不足成形品が接続されているランナー16を示す不足ランナーIDと、不足注意表示40の表示内容のデータとを対応づけて格納する。
【0128】
支援程度別データセット540は、手順の説明の細かさや分かり易さが異なる支援程度別に用意される。本実施形態では、組立説明書20の記載内容と同程度の分かり易さ/丁寧さで支援を行う「標準」と、プラスチックモデルの製作経験が浅いユーザに向けて、標準よりも分かり易く/より丁寧に支援を行う「丁寧」と、の2つの支援別程度が用意されている。勿論、支援別程度の設定は、より多くの段階に分けられていてもよい。
【0129】
1つの支援程度別データセット540は、例えば
図13に示すように、支援程度種類541と、適用要件542と、ガイダンスデータ543と、演出表示データ544と、追加ガイドデータ546と、を含む。
【0130】
適用要件542は、当該データセットが適用されるためにユーザが満たすべき条件を示す。適用要件542は、複数のサブ条件をANDやORで組み合わせて記述される。サブ条件としては、例えば、ユーザのパッケージ10の購入履歴に関する購入履歴条件(例えば、購入回数、過去に購入してからの経過日時、購入したパッケージ10の種類、などで記述)と、組み立て完了した製作オブジェクト12についての組立経験条件(例えば、組立完了した製作オブジェクト12の種類、数、などで記述)と、年齢条件と、性別条件と、を用いてもよい。これらのサブ条件には、実質的な「無制限」「条件なし」を示す内容も設定可能である。
【0131】
ガイダンスデータ543は、ガイダンス35(
図4参照)の表示を実行するための各種データを格納する。例えば、イラストの画像データ、動画データ、3DCGモデルとモーションデータ、などである。
図13の例は、1つの支援程度別データセット540が1つのガイダンスデータ543のみを含む場合を図示しているが、イラストと動画の両方を用意する場合には、それぞれのガイダンスデータ543を該当する支援程度別データセット540が含むことになる。
【0132】
演出表示データ544は、演出表示体44(
図4参照)の種類毎に用意され、当該演出表示体44を撮影画像36に表示実行するための各種データを格納する。例えば、1つの演出表示データ544は、固有の演出表示IDと、演出表示体44を定義する演出表示体データ(形状、色、演出表示体44の画像データ、など)と、演出表示体44の表示形態に変化をつける際に設定される表示形態設定データと、当該演出表示が適用されるランナー16を示す適用ランナーIDと、当該演出表示が適用される成形品14を示す適用成形品IDと、当該演出表示が適用されるデカール18を示す適用デカールIDと、適用成形品IDに対する相対的な表示位置を示す相対表示位置情報(例えば、撮影画像36に撮影されている撮影ランナーの基準位置に対する相対位置座標)、を含む。
【0133】
追加ガイドデータ546は、ガイダンスデータ543が示すガイダンス35を、より組み立て手順が分かり易くなるように補足する追加ガイダンスの内容を定義する。具体的には、1つの追加ガイドデータ546は、固有の追加ガイドID、当該追加ガイドを発動するために満たすべき発動要件と、追加ガイドの実行データとを対応づけて格納している。発動要件は、例えば、ガイダンス35の表示開始からの経過時間や、実行済の追加ガイドIDのリスト、などで記述される。追加ガイダンスの内容は、ガイダンス35と同様にイラストでも動画でもよい。
【0134】
図10に戻って、ユーザ情報600は、所定のユーザ登録手続を経たユーザ毎に用意され、当該ユーザに係る情報を格納する。1つのユーザ情報600は、例えば
図14に示すように、固有のユーザアカウント601と、年齢603と、性別605と、製作経験データ607と、を格納する。勿論、これら以外のデータも適宜格納することができる。例えば、当該ユーザが購入したパッケージ10の履歴情報なんども格納してもよい。
【0135】
製作経験データ607は、当該ユーザが組み立て完了した製作オブジェクト12についての履歴である。例えば、組立完了日時と、製作オブジェクトIDと、を対応づけて格納する。また、プラスチックモデルの組み立てに係る経験年数や、組み立てた数を製作経験データ607に含めてもよい。
【0136】
図10に戻って、ガイダンス提示制御データ610は、ユーザ端末1500別に用意され、製作支援を実行するための各種データを一時的に格納する。例えば、ガイダンス提示制御データ610は、支援対象のユーザアカウント、使用言語設定、受信済画像データ(ユーザ端末1500から送信されてくるカメラ1521で撮影された撮影画像36のデータ)、画像認識の作業データや画像認識結果、支援対象とされる製作オブジェクト12の種類、進行タイプの設定、次の組み立て手順の順番数、経過時間、などを格納する。
【0137】
図15は、ユーザ端末1500の機能構成例を示す機能ブロック図である。ユーザ端末1500は、操作入力部100と、端末処理部200と、音出力部390と、画像表示部392と、通信部394と、端末記憶部500と、を備える。
【0138】
操作入力部100は、ユーザによってなされた各種の操作入力に応じた操作入力信号を端末処理部200に出力する。例えば、プッシュスイッチや、ジョイスティック、タッチパッド、トラックボール、加速度センサ、ジャイロ、などによって実現できる。
【0139】
端末処理部200は、例えばCPUやGPU等のマイクロプロセッサや、ICメモリなどの電子部品によって実現され、操作入力部100や端末記憶部500を含む各機能部との間でデータの入出力制御を行う。そして、所定のプログラムやデータ、操作入力部100からの操作入力信号、サーバシステム1100から受信した各種データに基づいて各種の演算処理を実行して、ユーザ端末1500の動作を制御する。
【0140】
そして、本実施形態における端末処理部200は、クライアント制御部260と、計時部280と、音生成部290と、画像生成部292と、通信制御部294と、を有する。
【0141】
クライアント制御部260は、製作支援システム1000におけるクライアントとしての制御として、ユーザ端末1500をMMIF(マン・マシン・インターフェース)として機能させる各種制御を行う。具体的には、クライアント制御部260は、操作入力情報提供部261と、表示制御部262と、を有する。
【0142】
操作入力情報提供部261は、操作入力部100からの入力に応じて操作入力情報をサーバシステム1100へ送信する制御を行う。
【0143】
表示制御部262は、サーバシステム1100から受信したデータに基づいて各種画像を表示させるための制御を行う。
【0144】
計時部280は、システムクロックを利用して現在日時や制限時間等の計時を行う。
【0145】
音生成部290は、例えばデジタルシグナルプロセッサ(DSP)や、音声合成ICなどのプロセッサ、音声ファイルを再生可能なオーディオコーデック等によって実現され、楽曲や効果音、各種操作音の音信号を生成し、音出力部390に出力する。
【0146】
音出力部390は、スピーカなど音生成部290から入力される音信号に基づいて音出力(放音)する装置によって実現される。
【0147】
画像生成部292は、クライアント制御部260の制御に基づく画像を画像表示部392へ表示させる画像信号を生成・出力する。
図1の例では、制御基板1550に搭載されるGPU(Graphics Processing Unit)や、グラフィックコントローラ、グラフィックボード、などがこれに該当する。
【0148】
画像表示部392は、フラットパネルディスプレイや、ヘッドマウントディスプレイ、プロジェクターなど、画像を表示させる装置で実現される。
【0149】
通信制御部294は、データ通信に係るデータ処理を実行し、通信部394を介して外部装置とのデータのやりとりを実現する。
【0150】
通信部394は、ネットワーク9と接続して通信を実現する。例えば、無線通信機、モデム、TA(ターミナルアダプタ)、有線用の通信ケーブルのジャックや制御回路等によって実現される。
図1の例では通信モジュール1553がこれに該当する。
【0151】
端末記憶部500は、端末処理部200に所与の機能を実現させるためのプログラムや、各種データ等を記憶する。また、端末処理部200の作業領域として用いられ、端末処理部200が各種プログラムに従って実行した演算結果や操作入力部100から入力される入力データ等を一時的に記憶する。こうした機能は、例えばRAMやROMなどのICメモリ、ハードディスク等の磁気ディスク、CD-ROMやDVDなどの光学ディスクなどによって実現される。
図1の例では、制御基板1550が搭載するICメモリ1552がこれに該当する。
【0152】
具体的には、端末記憶部500は、ユーザ端末1500をクライアント制御部260として機能させるためのクライアントプログラム502(アプリケーションプログラム)と、現在日時900と、を記憶する。勿論、これら以外のデータも適宜記憶できる。
【0153】
図16及び
図17は、製作支援システム1000の動作を説明するためのフローチャートであって、サーバシステム1100が実行する処理の流れを説明するためのフローチャートである。なお、ユーザ登録は既に済んでいるものとする。
【0154】
製作オブジェクト12の製作支援を受けたいユーザは、ユーザ端末1500にて所定の製作支援開始操作を入力する。ユーザ端末1500は、当該操作入力に応じてサーバシステム1100へ製作支援リクエストを送信するとともに、カメラ1521で撮影している画像(撮影画像36)のライブ送信を開始する。
【0155】
サーバシステム1100は、当該リクエストを受信すると、製作支援画面で使用する言語種類を設定する(ステップS10)。ユーザ端末1500にて選択肢を表示させ、ユーザにより言語種類を選択させるとしてもよいし、ユーザ端末1500のシステム設定情報のうち言語設定情報をユーザ端末1500から取得し、それと同じ言語に設定するとしてもよい。
【0156】
次に、サーバシステム1100は、ユーザ端末1500から送信される撮影画像36の画像認識を開始し(ステップS12)、支援対象とする製作オブジェクトの設定を受け付ける(ステップS12)。
【0157】
製作オブジェクトと12の設定受付は、手動設定と自動設定との2通りある。
サーバシステム1100は、手動設定に関する処理として、製作支援情報520(
図12参照)の適用製作オブジェクトID522が示す製作オブジェクト12の名前の一覧を作成し、当該一覧をユーザ端末1500にて表示させ何れかをユーザに選択させる。ユーザ端末1500は、選択結果をサーバシステム1100に返信し、サーバシステム1100はこの返信に応じて支援対象製作オブジェクトを設定し、設定データをガイダンス提示制御データ610として記憶する。
【0158】
サーバシステム1100は、自動設定に関する処理として、ユーザ端末1500にてユーザ向けに、パッケージ10に含まれていた全てのランナー16、全ての成形品14、全てのデカール18又はデカールシート19を撮影するように指示する表示をさせる。そして、ステップS10で開始した撮影画像36の画像認識の結果を、製作オブジェクト判定基準データ519(
図10参照)と照合して、支援対象の製作オブジェクト12を判定する。
【0159】
次いで、サーバシステム1100は、製作支援の進行タイプの設定を「手動進行」に初期設定し(ステップS16)、ユーザ端末1500にて製作支援画面の表示を開始する(ステップS18)。
【0160】
製作支援画面の表示を開始すると、サーバシステム1100は撮影画像36の画像認識処理の結果、成形品14やランナー16の認識ができたならば(ステップS30のYES)、次の組み立て手順を予測する(ステップS32)。すなわち、支援対象製作オブジェクトの製作支援情報520(
図12参照)を検索し、その組み立て手順別データパッケージ530の使用成形品組み合わせ532及び使用ランナー組み合わせ533と、画像認識の結果を照合し、蓋然性の最も高い次の組み立て手順を予測する。
【0161】
もし、予測できなければ(ステップS34のNO)、サーバシステム1100はユーザ端末1500にて、全てのランナー及び切り離し済の成形品をまとめて撮影するようにユーザに要求する表示をさせる(ステップS36)。これを見たユーザが撮影対象を増やせば、画像認識されるランナー16や成形品14の数が増え、予測するための情報が増え、予測が可能に、或いは、予測の精度が向上する。予測できない状態が所定時間以上継続した場合には、一連の処理を終了するタイムアウトを設けてもよい。
【0162】
次の組み立て手順が予測できたならば(ステップS34のYES)、サーバシステム1100は、次の組み立て手順の順番数をガイダンス提示制御データ610に格納し、製作支援画面の順番表示30(
図4参照)を更新する(ステップS50)。
【0163】
図17に移って、サーバシステム1100は、次の組み立て手順に対応する付帯情報526及び組み立て手順別データパッケージ530の使用成形品組み合わせ532を参照して、成形品情報34の表示を、予測された次の組み立て手順のそれに更新する(ステップS52)。
【0164】
次に、サーバシステム1100は、次の組み立て手順のガイダンス35を表示させる(ステップS54)。具体的には、次の組み立て手順に対応する支援程度別データセット540(
図13参照)のうち、適用要件542が満たされているデータセットを検索し、そのガイダンスデータ543に基づくガイダンス35を表示させる。また、サーバシステム1100は、そのガイダンス35の表示に係り、塗装される成形品14への塗装カラーの反映表示(例えば、3DCGモデルを用いた表示では、モデルの色を塗装カラーで表示する、など)を行う。
【0165】
次に、サーバシステム1100は、演出表示体44の表示制御を開始する(ステップS56)。すなわち、撮影画像36から認識されたランナー16(撮影ランナー)へ演出表示体44を合成表示する。具体的には、次の組み立て手順に対応する支援程度別データセット540(
図13参照)のうち、適用要件542が満たされているデータセットを検索し、その演出表示データ544に基づく演出表示体44を成形品14別に合成表示する。
【0166】
そして、次の組み立て手順で使用する成形品14又はランナー16の全てが撮影されていない場合(ステップS60のNO)、サーバシステム1100は、組み立て手順別データパッケージ530の別ランナー組み合わせ支援情報535のうち、ステップS60で不足と認定された成形品(不足成形品)の支援情報を、不足注意表示40(
図7参照)として表示させる(ステップS62)。
【0167】
次に、サーバシステム1100は、発動要件を満たした追加ガイドを提示する(ステップS64)。具体的には、サーバシステム1100は、ステップS54のガイダンス35の表示開始からの経過時間を計時しており、次の組み立て手順に対応する支援程度別データセット540のうち発動要件が満たされている追加ガイドデータ546(
図13参照)を検索し、該当するデータがあればその追加ガイドをユーザ端末1500にて表示させる。例えば、ガイダンス35の差し替え表示や、撮影画像36の上にポップアップ表示、するとしてもよい。
【0168】
なお、表示開始からの経過時間は、ランナーを検出してからの経過時間や、ユーザがガイダンスに対して操作してからの経過時間、などで代替してもよい。
【0169】
製作支援画面の表示開始から、サーバシステム1100は、ユーザによる製作支援終了操作の入力を監視している。すなわち、ユーザは、製作支援を任意に終了させることが可能であり、ユーザ端末1500にて所定の製作支援終了操作をすると、ユーザ端末1500は終了リクエストをサーバシステム1100へ送信する。サーバシステム1100は、当該リクエストを監視している。
【0170】
そして、製作支援終了操作が無ければ(ステップS70のYES)、サーバシステム1100は、進行タイプの設定時間に応じた進行タイミングが到来したかを判定する(ステップS72)。具体的には、ガイダンス提示制御データ610に格納されている進行タイプの設定が「自動」であれば、ガイダンス35の直近の表示開始からの経過時間が、所定基準値に達していれば肯定判定する。また進行タイプの設定が「手動」であれば、手動進行操作アイコン33(
図4参照)がユーザ端末1500にて操作された場合に肯定判定する。
【0171】
そして、ステップS72が肯定判定され(ステップS72のYES)、且つ組み立て手順の順番数が最終値に達していなければ(ステップS74)、サーバシステム1100は、ガイダンス提示制御データ610に格納されている次の組み立ての順番数を「1」アップさせて(ステップS76)、ステップS30に戻る。
【0172】
もし、組み立て手順の順番数が最終値に達していれば(ステップS74のYES)、サーバシステム1100はユーザ端末1500にて組み立て完了の通知を表示させ(ステップS78)、新たな製作経験データ607(
図14参照)を追加して(ステップS80)、一連の処理を終了する。
【0173】
以上、本実施形態によれば、製作支援システム1000は、ランナー16や切り離された成形品14をユーザ端末1500で撮影すると、それらを画像認識して、製作オブジェクト12を識別し、その製作支援情報520に基づくガイダンス35をユーザ端末1500にて表示できる。よって、プラスチックモデルの構造が複雑なために多数の成形品14を有する製作オブジェクト12であっても、ユーザはガイダンス35を参考にすることで、簡単にランナー16から成形品14を見つけ出し、それを切り離し、切り離した複数の成形品14の組み立て方を直ぐに理解して、製作オブジェクト12を円滑に組み立てることができる。
【0174】
〔第2実施形態〕
次に、第2実施形態について説明する。本実施形態では、主に第1実施形態との差異について述べることとし、第1実施形態と同様の構成要素については第1実施形態と同じ符号を付与して重複する説明は省略する。
【0175】
第2実施形態における製作支援システム1000のシステム構成は、第1実施形態と同様である。
【0176】
図18は、本実施形態のユーザ端末1500Bの機能構成例を示す機能ブロック図である。
ユーザ端末1500Bは、ユーザ情報取得制御部218と、識別部220と、切り離し状況検出部224と、ガイダンス提示制御部230と、を有する。
【0177】
図19は、ユーザ端末1500Bの端末記憶部500が記憶するプログラムやデータの例を示す図である。ユーザ端末1500Bの端末記憶部500は、ガイダンス提示プログラム504と、画像認識辞書データライブラリ510と、製作オブジェクト判定基準データ519と、製作支援情報520と、ユーザ情報600と、ガイダンス提示制御データ610と、現在日時900と、を記憶する。
【0178】
ガイダンス提示プログラム504は、ユーザ端末1500Bを、ユーザ情報取得制御部218・識別部220・切り離し状況検出部224・ガイダンス提示制御部230として機能させるためのプログラムである。
【0179】
ガイダンス提示プログラム504と、画像認識辞書データライブラリ510と、製作オブジェクト判定基準データ519と、製作支援情報520と、は、本実施形態におけるサーバシステム1100がオリジナルデータを記憶しており、ユーザ端末1500Bは適宜サーバシステム1100からダウンロードして記憶する。
【0180】
本実施形態における製作支援システム1000の動作は、
図16及び
図17のフローチャートにおける各ステップの実行主体を、サーバシステム1100からユーザ端末1500Bに読み替えた処理となる。
【0181】
本実施形態においても、第1実施形態と同様の作用効果が得られる。
【0182】
〔変形例〕
以上、本発明を適用した実施形態の一例について説明したが、本発明を適用可能な形態は上記形態に限定されるものではなく適宜構成要素の追加・省略・変更を施すことができる。
【0183】
(変形例その1)
例えば、ユーザ情報取得制御部218・識別部220・切り離し状況検出部224・ガイダンス提示制御部230の各機能の分担は、第1実施形態のようにサーバシステム1100にて全て実現する構成としてもよいし、第2実施形態のようにユーザ端末1500Bにて全て実現する構成としてもよいが、サーバシステム1100とユーザ端末1500とで分散する構成とすることも可能である。
【0184】
(変形例その2)
また、製作支援画面(例えば、
図4の製作支援画面W2)において、撮影画像36に代えて、撮影画像36で画像認識されたランナー16や成形品14の3DCGモデルを代替表示するとしてもよい。その場合、ランナー16の3DCGモデル61(
図5参照)の表示色を、撮影画像36で画像認識された対応するランナー16の色に設定すると好適である。
【0185】
(変形例その3)
上記実施形態は、組み立て手順の説明を主とした製作支援を例示したが、これに限らない。製作支援システム1000に、成形品14についての情報を引き出す「逆引き使用」モードを追加してもよい。
【0186】
具体的には、ユーザ端末1500にて所定の逆引き開始操作が入力されると、サーバシステム1100は、
図20に示すような製作支援画面W8を表示する。製作支援画面W8は、撮影画像36内にファインダー50と、逆引き操作アイコン52とを含む。ユーザは、調べたい成形品14をファインダー50内に収めて、逆引き操作アイコン52を操作する。
【0187】
ユーザ端末1500は、逆引き操作アイコン52への操作入力を検出すると、撮影を実行し、逆引きリクエストとともに撮影された画像データをサーバシステム1100へ送信する。
サーバシステム1100は、当該リクエストと画像データとを受信すると、受信した画像データのファインダー50相当位置に写っている成形品14を画像認識処理し、認識された成形品14を必要とする組み立て手順を検索する。そして、検索された組み立て手順を次の組み立て手順として予測して、成形品情報34及びガイダンス35を表示させる。勿論、第2実施形態のユーザ端末1500Bであれば、サーバシステム1100へ画像データを送信せずに、ユーザ端末1500B内で画像認識処理および組み立て手順の検索・予測を行ってガイダンス35を表示することができる。
【0188】
製作支援画面W8により、ユーザは、調べたい成形品14が、どの組み立て手順で使用されるのか、どのように使われるのかが直ぐに分かる。
【0189】
(変形例その4)
上記実施形態では、成形品14やランナー16の認識を画像認識処理することで実現したが、これに限らない。例えば、成形品14及びランナー16にICタグが封入或いは貼設されている場合、ユーザ端末1500にICタグリーダーを接続し、ICタグから成形品14やランナー16の識別情報を読み出すことで、成形品14やランナー16の認識を実現してもよい。また例えば、成形品14やランナー16に不可視インクで印刷されたコードが付与される構成では、ユーザ端末1500にコードリーダーを接続し、コードから成形品14やランナー16の識別情報を読み出すことで、成形品14やランナー16の認識を実現してもよい。
【符号の説明】
【0190】
12…製作オブジェクト
14…成形品
16…ランナー
30…順番表示
34…成形品情報
35…ガイダンス
36…撮影画像
44…演出表示体
200s…サーバ処理部
218…ユーザ情報取得制御部
220…識別部
222…ランナー識別部
224…切り離し状況検出部
230…ガイダンス提示制御部
232…ランナー画像表示制御部
234…成形品指定受付部
500s…サーバ記憶部
501…サーバプログラム
502…クライアントプログラム
504…ガイダンス提示プログラム
510…画像認識辞書データライブラリ
520…製作支援情報
526…付帯情報
530…組み立て手順別データパッケージ
531…順番数
532…使用成形品組み合わせ
533…使用ランナー組み合わせ
535…別ランナー組み合わせ支援情報
543…ガイダンスデータ
544…演出表示データ
545…付帯情報
600…ユーザ情報
607…製作経験データ
610…ガイダンス提示制御データ
1000…製作支援システム
1100…サーバシステム
1150…制御基板
1500…ユーザ端末
1550…制御基板
W2~W8…製作支援画面