特許 7468261 情報処理装置およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-08

(45)【発行日】2024-04-16

(54)【発明の名称】情報処理装置およびプログラム

(51)【国際特許分類】

   G06F 3/04842 20220101AFI20240409BHJP

【ＦＩ】

G06F3/04842

【請求項の数】 8

(21)【出願番号】P 2020150672

(22)【出願日】2020-09-08

(65)【公開番号】P2022045150

(43)【公開日】2022-03-18

【審査請求日】2023-08-23

(73)【特許権者】

【識別番号】000005496

【氏名又は名称】富士フイルムビジネスイノベーション株式会社

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(74)【代理人】

【識別番号】110000039

【氏名又は名称】特許業務法人アイ・ピー・ウィン

(72)【発明者】

【氏名】鈴木 政俊

【審査官】佐々木 祐

(56)【参考文献】

【文献】米国特許出願公開第２０１９／０１３９３１７（ＵＳ，Ａ１）

【文献】特開２００７－２３３４６４（ＪＰ，Ａ）

【文献】特開２００９－２１７７７９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０４８ － ３／０４８９５

(57)【特許請求の範囲】

【請求項1】

プロセッサを備え、
前記プロセッサは、
撮影されたプリント配線基板の画像上に、当該プリント配線基板上に配置された複数の部品及び配線のうちから指定された部品又は配線に関連する情報を重畳して表示し、
指定された部品又は配線に接続された他の部品及び配線の一覧を表示し、
表示された他の部品及び配線の一覧の中から、新たな部品又は配線が選択された場合、選択された部品又は配線を着目対象として、当該着目対象に接続された他の部品及び配線の一覧を新たな周辺物の一覧として表示する
情報処理装置。

【請求項2】

前記プロセッサは、当該プリント配線基板上に配置された複数の部品及び配線のうちから指定された部品又は配線を着目対象とし、当該着目対象が他の部品及び配線と区別ができるように、撮影されたプリント配線基板の画像上に強調表示を行う請求項１記載の情報処理装置。

【請求項3】

前記プロセッサは、前記着目対象に接続された他の部品及び配線を周辺物として、当該周辺物が他の部品及び配線と区別ができるように、撮影されたプリント配線基板の画像上に前記着目対象に行った強調表示とは異なる強調表示を行う請求項２記載の情報処理装置。

【請求項4】

前記プロセッサは、撮影されたプリント配線基板の画像上において前記周辺物の画像を前記着目対象に行った強調表示よりも低い濃度で強調表示する請求項３記載の情報処理装置。

【請求項5】

前記プロセッサは、撮影されたプリント配線基板の画像上において前記周辺物の画像を前記着目対象に行った強調表示とは異なる色により強調表示する請求項３記載の情報処理装置。

【請求項6】

前記プロセッサは、特定の物体によりプリント配線基板上のある部品又は配線が指示された場合、当該部品又は配線を、利用者により指定された部品又は配線として着目対象に設定する請求項１記載の情報処理装置。

【請求項7】

前記特定の物体が利用者の指である請求項６記載の情報処理装置。

【請求項8】

撮影されたプリント配線基板の画像上に、当該プリント配線基板上に配置された複数の部品及び配線のうちから指定された部品又は配線に関連する情報を重畳して表示するステップと、
指定された部品又は配線に接続された他の部品及び配線の一覧を表示するステップと、
表示された他の部品及び配線の一覧の中から、新たな部品又は配線が選択された場合、選択された部品又は配線を着目対象として、当該着目対象に接続された他の部品及び配線の一覧を新たな周辺物の一覧として表示するステップと
をコンピュータに実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置およびプログラムに関する。

【背景技術】

【0002】

特許文献１には、プリント配線基板のシルク情報およびマウント情報をファイルに保存しておき、プリント基板にそのファイルの情報を保存できる磁気テープを配置することにより、シルク情報をプリント基板図に重ね合わせて表示することができ、また、マウント情報をチップマウンタが読み取ることにより、違う種類のプリント配線基板の部品実装を連続的に行うことがでえきるようにした技術が開示されている。

【0003】

特許文献２には、互いに近接した複数の推薦番組の番組情報の表示領域をポップアップ表示する際に、近接する他のポップアップ表示の表示領域と重ならないように、ポップアップ表示する表示領域の形状を変化させるようにした番組表生成装置が開示されている。

【0004】

特許文献３には、取得した閲覧者の視点情報に基づいて、視点座標がどの文書領域にあるのかを特定して、領域ごとの視点滞留時間を用いて、閲覧者の注視度を求めて、注視度に応じたＡＲ（Augmented Realityの略）コンテンツを表示するようにした情報処理装置が開示されている。

【0005】

特許文献４には、撮像した実空間の画像における実物体と関連付けられた仮想オブジェクトを、撮像した実空間の画像上に重畳表示する際に、ユーザにより特定の実物体が注目物体として選択されていない場合には、予め設定された基準により特定される実物体をデフォルト物体として選択して、選択されたデフォルト物体と関連付けられた仮想オブジェクトを、撮像した実空間の画像上に重畳表示するようにした情報処理装置が開示されている。

【0006】

特許文献５には、カメラ画像に含まれる対象物と関連したＡＲ情報を対象物と関連する位置に表示する際に、対象物とカメラとの相対的な位置および姿勢の関係に基づいて、対象物とＡＲ情報とが重ならないように、ＡＲ情報のスクリーン上での表示位置を移動するようにしたＡＲ情報表示装置が開示されている。

【0007】

特許文献６には、ＡＲコンテンツをディスプレイに表示する際に、表示している複数のＡＲコンテンツのうち、ユーザからの指示に応じて特定のＡＲコンテンツを非表示とするような制御を行うウェアラブルデバイスが開示されている。

【先行技術文献】

【特許文献】

【0008】

【文献】特開２００１－３３９１２９号公報

【文献】特開２００８－０９２５６２号公報

【文献】特開２０１５－１１４７９８号公報

【文献】特許第６０５６１７８号公報

【文献】特許第６４９１５７４号公報

【文献】特許第６６４１７２８号公報

【発明の概要】

【発明が解決しようとする課題】

【0009】

本発明の目的は、撮影されたプリント配線基板の画像上に指定された部品又は配線に関連する情報を重畳して表示する際に、利用者が容易に指定可能な部品又は配線から辿って意図する部品又は配線を指定することができるようにした情報処理装置およびプログラムを提供することである。

【課題を解決するための手段】

【0010】

［情報処理装置］
請求項１に係る本発明は、プロセッサを備え、
前記プロセッサは、
撮影されたプリント配線基板の画像上に、当該プリント配線基板上に配置された複数の部品及び配線のうちから指定された部品又は配線に関連する情報を重畳して表示し、
指定された部品又は配線に接続された他の部品及び配線の一覧を表示し、
表示された他の部品及び配線の一覧の中から、新たな部品又は配線が選択された場合、選択された部品又は配線を着目対象として、当該着目対象に接続された他の部品及び配線の一覧を新たな周辺物の一覧として表示する情報処理装置である。

【0011】

請求項２に係る本発明は、前記プロセッサが、当該プリント配線基板上に配置された複数の部品及び配線のうちから指定された部品又は配線を着目対象とし、当該着目対象が他の部品及び配線と区別ができるように、撮影されたプリント配線基板の画像上に強調表示を行う請求項１記載の情報処理装置である。

【0012】

請求項３に係る本発明は、前記プロセッサが、前記着目対象に接続された他の部品及び配線を周辺物として、当該周辺物が他の部品及び配線と区別ができるように、撮影されたプリント配線基板の画像上に前記着目対象に行った強調表示とは異なる強調表示を行う請求項２記載の情報処理装置である。

【0013】

請求項４に係る本発明は、前記プロセッサが、撮影されたプリント配線基板の画像上において前記周辺物の画像を前記着目対象に行った強調表示よりも低い濃度で強調表示する請求項３記載の情報処理装置である。

【0014】

請求項５に係る本発明は、前記プロセッサが、撮影されたプリント配線基板の画像上において前記周辺物の画像を前記着目対象に行った強調表示とは異なる色により強調表示する請求項３記載の情報処理装置である。

【0015】

請求項６に係る本発明は、前記プロセッサが、特定の物体によりプリント配線基板上のある部品又は配線が指示された場合、当該部品又は配線を、利用者により指定された部品又は配線として着目対象に設定する請求項１記載の情報処理装置である。

【0016】

請求項７に係る本発明は、前記特定の物体が利用者の指である請求項６記載の情報処理装置である。

【0017】

［プログラム］
請求項８に係る本発明は、撮影されたプリント配線基板の画像上に、当該プリント配線基板上に配置された複数の部品及び配線のうちから指定された部品又は配線に関連する情報を重畳して表示するステップと、
指定された部品又は配線に接続された他の部品及び配線の一覧を表示するステップと、
表示された他の部品及び配線の一覧の中から、新たな部品又は配線が選択された場合、選択された部品又は配線を着目対象として、当該着目対象に接続された他の部品及び配線の一覧を新たな周辺物の一覧として表示するステップと
をコンピュータに実行させるためのプログラムである。

【発明の効果】

【0018】

請求項１に係る本発明によれば、撮影されたプリント配線基板の画像上に指定された部品又は配線に関連する情報を重畳して表示する際に、利用者が容易に指定可能な部品又は配線から辿って意図する部品又は配線を指定することが可能な情報処理装置を提供することができる。

【0019】

請求項２に係る本発明によれば、現在の着目対象がどの部品又は配線なのかを利用者が把握することが可能な情報処理装置を提供することができる。

【0020】

請求項３に係る本発明によれば、着目対象の周辺物がどの部品又は配線なのかを利用者が把握することが可能な情報処理装置を提供することができる。

【0021】

請求項４に係る本発明によれば、着目対象と周辺物の強調表示を濃度差により区別化することが可能な情報処理装置を提供することができる。

【0022】

請求項５に係る本発明によれば、着目対象と周辺物の強調表示を濃度差により区別化することが可能な情報処理装置を提供することができる。

【0023】

請求項６に係る本発明によれば、現実のプリント配線基板上の部品又は配線を特定の物体により指示するだけで着目対象を指定することが可能な情報処理装置を提供することができる。

【0024】

請求項７に係る本発明によれば、現実のプリント配線基板上の部品又は配線を指により指示するだけで着目対象を指定することが可能な情報処理装置を提供することができる。

【0025】

請求項８に係る本発明によれば、撮影されたプリント配線基板の画像上に指定された部品又は配線に関連する情報を重畳して表示する際に、利用者が容易に指定可能な部品又は配線から辿って意図する部品又は配線を指定することが可能なプログラムを提供することができる。

【図面の簡単な説明】

【0026】

【図1】本発明の一実施形態の情報処理システムのシステム構成を示す図である。

【図2】図１に示したプリント配線基板３０の一例を示す図である。

【図3】プリント配線基板３０の表面と裏面にそれぞれ設けられるマーカ６２、６６を説明するための図である。

【図4】複数のマーカ６２Ａ～６２Ｄをプリント配線基板３０上に配置する場合を説明するための図である。

【図5】２台以上の複数のカメラ２０Ａ、２０Ｂを用いてプリント配線基板３０を撮影する様子を示す図である。

【図6】本発明の一実施形態における端末装置１０のハードウェア構成を示すブロック図である。

【図7】本発明の一実施形態における端末装置１０の機能構成を示すブロック図である。

【図8】配置情報記憶部３５に記憶される配置情報の一例を示す図である。

【図9】配置情報記憶部３５に記憶される配置情報の他の例を示す図である。

【図10】端末装置１０において行われるＡＲ表示例を示す図である。

【図11】端末装置１０において行われるＡＲ表示例を示す図である。

【図12】利用者の指によりプリント配線基板３０上の部品を指し示す様子を説明するための図である。

【図13】端末装置１０において行われるＡＲ表示例を示す図である。

【図14】着目部品や着目配線パタンから目的の部品や配線パタンに辿り着く際の操作方法を説明するための図である。

【図15】着目部品や着目配線パタンから目的の部品や配線パタンに辿り着く際の操作方法を説明するための図である。

【図16】着目部品や着目配線パタンから目的の部品や配線パタンに辿り着く際の操作方法を説明するための図である。

【図17】部品情報等を表示させる部品等を領域指定してＡＲ表示を行った場合の表示例を示す図である。

【図18】ポップアップ表示の表示位置をずらす際の表示制御部３４の動作を説明するためのフローチャートである。

【図19】２つのポップアップ表示が矩形の場合に、２つの矩形どうしの重なり判定を行うための判定方法の一例を示す図である。

【図20】図１８のフローチャートのステップＳ１０３において示した表示領域をずらす方法の具体的な方法を説明するためのフローチャートである。

【図21】一方のポップアップ表示がずらされることにより重なりが解消された後のＡＲ表示例を示す図である。

【図22】ポップアップ表示をプリント配線基板３０の画像の外側に表示するようにした場合のＡＲ表示例を示す図である。

【図23】ポップアップ表示をプリント配線基板３０の画像の外側に表示する際に、図１８のフローチャートのステップＳ１０３において示した表示領域をずらす方法の具体的な方法を説明するためのフローチャートである。

【図24】ポップアップ表示の表示領域のサイズを縮小して重なりを解消した場合の表示例を示す図である。

【発明を実施するための形態】

【0027】

次に、本発明の実施の形態について図面を参照して詳細に説明する。

【0028】

図１は本発明の一実施形態の情報処理システムの構成を示す図である。

【0029】

本実施形態の情報処理システムは、基準位置を特定するためのマーカ６２が設けられたプリント配線基板３０を撮影するカメラ２０と、プリント配線基板３０上に実装された部品や部品間を接続している配線パタンの配置情報が記憶されている端末装置１０とから構成されている。

【0030】

近年、電子機器内に内蔵されるプリント配線基板の面積が小さくなる傾向にあり、部品の実装密度が高くなっている。従来では、プリント配線基板には実装する部品の部品番号等の情報をシルク印刷等により記載していたが、プリント配線基板上にシルク印刷を行うスペースがなくなってきている。また、部品番号等の情報を印刷できたとしても印刷する情報を省略したり、文字を小さくしたりせざるを得ず、十分な情報をプリント配線基板から直接得られなくなってきている。

【0031】

そこで、本実施形態の情報処理システムでは、プリント配線基板３０をカメラ２０により撮影して、端末装置１０のディスプレイ上において撮影されたプリント配線基板３０の画像上に、このプリント配線基板３０上に配置された複数の部品及び配線パタンのうちから指定された部品又は配線パタンに関する情報を重畳して表示する。

【0032】

具体的には、本実施形態の情報処理システムでは、カメラ２０により撮影したプリント配線基板３０の画像を端末装置１０のディスプレイ上に表示して、表示されたプリント配線基板３０の画像上に部品番号や部品の種類等の部品情報や、配線パタンがどの部品のどの端子間を接続しているかを示す配線情報をＡＲ（Augmented Reality（拡張現実）の略）表示するようにしている。

【0033】

端末装置１０には、プリント配線基板３０上に実装された部品や配線パタンの基準位置からの距離情報や各部品や配線パタンの情報が記憶されている。そして、端末装置１０は、撮影されたプリント配線基板３０の画像からマーカ６２の位置を検出して、部品や配線パタンに関する情報を重畳表示するための演算処理を実行する機能を備えている。

【0034】

図１に示したプリント配線基板３０の一例を図２に示す。図２を参照すると、プリント配線基板３０上には部品６３、６５が実装されており、この部品６３の端子と部品６５の端子間を配線パタン６４が接続している様子が示されている。なお、本実施形態においては、説明を簡単にするためにプリント配線基板３０上に２つの部品６３、６５と１つの配線パタンのみが配置されている場合について説明するが、実際には多数の部品とこれらの部品間を接続するための数多くの配線パタンがプリント配線基板上には実装される。

【0035】

図２を参照すると、プリント配線基板３０には設計上の基準位置である基準点６１が設けられており、部品６３、６５やマーカ６２の位置は、この基準点６１からのＸ座標の距離とＹ座標の距離とにより特定されるようになっている。

【0036】

また、マーカ６２には、プリント配線基板の種類や表面／裏面を特定するための識別情報が設けられており、図２に示すマーカ６２には、「0123AF」という識別情報が設けられている。この識別情報のうち「01234」は基板の種類を特定するための情報であり、「F」は表面を意味するFront sideの頭文字である。なお、プリント配線基板の裏面には、裏面を意味するBack sideの頭文字である「B」が基板の種類を特定するための情報に付加された識別情報が設けられる。つまり、このプリント配線基板３０の裏面には、図３に示すように、「01234R」というマーカ６６が設けられることになる。

【0037】

なお、このようなマーカ６２を使用したＡＲ技術には、マーカ６２がカメラ２０の撮影領域から外れるとＡＲ表示を行うことができなくなくという弱点がある。このような弱点を補う手法として、図４に示すように複数のマーカ６２Ａ～６２Ｄをプリント配線基板３０上に配置してかならずカメラ２０の撮影領域に複数のマーカ６２Ａ～６２Ｄのうちの少なくとも１つが含まれるようにする方法が用いられる場合がある。

【0038】

また、上記のような弱点を補う別な手法として、図５に示すように２台以上の複数のカメラ２０Ａ、２０Ｂを用いて、かならず１台のカメラＡがマーカ６２を撮影できるような状態として、複数のカメラ２０Ａ、２０Ｂからのカメラ情報を連携させることにより、ＡＲ表示を行う部品等の対象物を撮影するカメラ２０Ｂにマーカ６２が写りこまなくても、ＡＲ表示を意図した位置に重ね合わせることができるようにした方法も存在する。

【0039】

次に、本実施形態の情報処理システムにおける端末装置１０のハードウェア構成を図６に示す。

【0040】

端末装置１０は、図６に示されるように、ＣＰＵ１１、メモリ１２、ハードディスクドライブ等の記憶装置１３、ネットワーク３０を介して外部の装置等との間でデータの送信及び受信を行う通信インタフェース（ＩＦと略す。）１４、タッチパネル又は液晶ディスプレイ並びにキーボードを含むユーザインタフェース（ＵＩと略す。）装置１５を有する。これらの構成要素は、制御バス１６を介して互いに接続されている。

【0041】

ＣＰＵ１１は、メモリ１２または記憶装置１３に格納された制御プログラムに基づいて所定の処理を実行して、端末装置１０の動作を制御するプロセッサである。なお、本実施形態では、ＣＰＵ１１は、メモリ１２または記憶装置１３内に格納された制御プログラムを読み出して実行するものとして説明するが、当該プログラムをＣＤ－ＲＯＭ等の記憶媒体に格納してＣＰＵ１１に提供することも可能である。

【0042】

図７は、上記の制御プログラムが実行されることにより実現される端末装置１０の機能構成を示すブロック図である。

【0043】

本実施形態の端末装置１０は、図７に示されるように、操作入力部３１と、表示部３２と、データ送受信部３３と、表示制御部３４と、配置情報記憶部３５と、画像取得部３６とを備えている。

【0044】

操作入力部３１は、利用者により行われた各種操作情報を入力する。表示部３２は、表示制御部３４により制御され、利用者に各種情報を表示する。

【0045】

データ送受信部３３は、カメラ２０等の外部の装置との間でデータの送受信を行う。画像取得部３６は、データ送受信部３３を介してカメラ２０において撮影されたプリント配線基板３０の画像等を取得する。

【0046】

配置情報記憶部３５は、プリント配線基板３０上に実装されている部品や、各部品の端子間を接続している配線パタンの配置場所等に関する配置情報を記憶している。この配置情報は、プリント配線基板を設計する際に生成されたＣＡＤ（Computer-Aided Design）設計情報ファイルから必要な情報のみを抽出して生成される。または、ＣＡＤ設計情報ファイルそのものを配置情報として配置情報記憶部３５において記憶するようにしても良い。

【0047】

この配置情報記憶部３５に記憶される配置情報の一例を図８に示す。

【0048】

図８に示した配置情報は、必要最小な情報のみをＣＡＤ設計情報ファイルから抽出したものであり、部品については基準点６１からの位置情報および部品番号の情報が部品毎に記憶され、配線パタンについては、配転パタン番号と、どの部品の何番目の端子からどの部品の何番目の端子を接続しているのかという情報と、構成されている直線パタンの本数と、それぞれの直線パタンの始点と終点の位置情報とが配線パタン毎に記憶されている。

【0049】

さらに配置情報記憶部３５に記憶される配置情報の他の例を図９に示す。

【0050】

図９に示した配置情報は、図８に示した配置情報に対して、部品についてはそれぞれの部品のＸ軸方向、Ｙ軸方向、Ｚ軸方向の長さ情報と、プリント配線基板の表面／裏面／内層のどの層における情報であるかを示す層番号と、部品名の情報が追加され、配線パタンについては、層番号と、線幅情報とが追加されている例である。

【0051】

図８に示した配置情報を用いた場合、部品が実装されている場所や部品番号を表示することしかできないが、図９に示すような配置情報を用いた場合、実装されている部品を四角で囲んだり、高さがある部品を直方体で囲んだり、層番号情報は配線パタン線幅情報を用いてＡＲ表示を工夫したり、部品名を表示することが可能となる。

【0052】

表示制御部３４は、図８、図９に示したような配置情報を、マーカ６２のプリント配線基板３０の基準点６１との相対的位置情報に基づいて、図１０に示すように、指定された部品や配線パタンの強調表示を行って、指定されている部品や配線パタンの視認性を向上させたり、指定された部品や配線パタンの近傍にシルク印刷の代替となる部品番号や配線番号の情報、さらに部品品名や配線パタンがどのような接続を行っているかという接続情報等をプリント配線基板３０の画像上に重畳したりするようなＡＲ表示を行う。

【0053】

図１０では、部品番号がＩＣ１０１の部品がマウス等のポインティングデバイスにより指定された場合が示されており、部品番号がＩＣ１０１である部品が例えば赤色の太い点線により強調表示されるとともに、「ＩＣ１０１」という部品番号の情報や「ロジックＩＣ」という部品名の情報とがポップアップ表示されている。

【0054】

このように、表示制御部３４は、カメラ２０により撮影されたプリント配線基板３０の画像上に、そのプリント配線基板上３０に配置された複数の部品及び配線パタンのうちから指定された部品又は配線パタンに関連する情報を重畳して表示するＡＲ表示を行う。

【0055】

また、プリント配線基板３０上の配線パタンが指定された場合のＡＲ表示例を図１１に示す。図１１を参照すると、配線パタン番号がＰ８１である配線パタンがマウスにより指定された場合が示されており、配線パタン番号がＰ８１である配線パタンが例えば赤色の太線により強調表示されるとともに、「Ｐ８１」という部品番号の情報や「ＴＲ１１の２ピンからＩＣ１０１の１ピン」という接続情報とがポップアップ表示されているのが分かる。

【0056】

なお、図１０、図１１では、端末装置１０のディスプレイ上に表示されたプリント配線基板３０の画像上において、マウス等のポインティングデバイスにより特定の部品や配線パタンを指定した場合が示されていたが、図１２に示すように、カメラ２０により撮影されるプリント配線基板３０上において利用者の指や、ボールペン等の特定の物体により指し示された物体を、画像処理を行って特定して特定した部品や配線パタンが指定されたものとしてＡＲ表示を行うようにしても良い。

【0057】

このように利用者の指等により指定された部品等を特定する際には、画像処理を行うことによりカメラ２０により撮影された画像中において利用者の指を検知し、検知された指が指指し示している部品等を判定する。

【0058】

このようにして指定された部品を特定した場合のＡＲ表示例を図１３に示す。図１３では、部品番号がＴＲ１１の部品が利用者の指により指定された場合が示されており、部品番号がＴＲ１１である部品が例えば赤色の太い点線により強調表示されるとともに、「ＴＲ１１」という部品番号の情報や「トランジスタ」という部品名の情報とがポップアップ表示されている。

【0059】

ただし、このような指により部品を指定するような機能を用いたとしても、利用者が指定したい部品を特定することが困難な場合もある。近年では、チップ抵抗等のチップ部品には、０．８ｍｍ×０．６ｍｍというようなサイズの小さなものが存在する。このような小さな部品のうちどの部品が利用者の指により指定されているのかを判定することは困難な場合もある。また、利用者自身が指定したい部品を見つけられず、ある大きな部品のどこかに接続されているとしか分かっていないような場合もある。

【0060】

そのため、本実施形態の端末装置１０では、このような場合でも、利用者が容易に指定可能な大きな部品又は配線から辿って、意図する部品又は配線を指定することができるようにしている。つまり、利用者は、辿って行くと目的の部品が接続されていると思われる大きな部品を最初に着目部品として選択して、この着目部品から順次その周辺部品や周辺パタンを芋づる式に辿っていき最終的に目的の部品に辿り着くことができる。

【0061】

具体的には、表示制御部３４は、指定された部品又は配線パタンに接続された他の部品及び配線パタンの一覧を表示する。そして、表示制御部３４は、表示された他の部品及び配線の一覧の中から、新たな部品又は配線パタンが選択された場合、選択された部品又は配線パタンを着目対象として、その着目対象に接続された他の部品及び配線パタンの一覧を新たな周辺物の一覧として表示する。

【0062】

なお、現在指定されている部品又は配線パタンを着目部品又は着目配線パタンとして表現し、この２つをまとめて着目対象として表現する。さらに、着目部品又は着目配線パタンに接続されている部品又は配線パタンを、周辺部品又は周辺配線パタンとして表現し、この２つをまとめて周辺物として表現する。

【0063】

そして、表示制御部３４は、プリント配線基板３０上に配置された複数の部品及び配線パタンのうちから指定された部品又は配線パタンを着目対象とし、この着目対象が他の部品及び配線パタンと区別ができるように、撮影されたプリント配線基板３０の画像上において強調表示を行う。

【0064】

そして、表示制御部３４は、着目対象に接続された他の部品及び配線パタンを周辺物として、この周辺物が他の部品及び配線パタンと区別ができるように、撮影されたプリント配線基板３０の画像上において、着目対象に行った強調表示とは異なる強調表示を行う。

【0065】

例えば、表示制御部３４は、撮影されたプリント配線基板３０の画像上において周辺物の画像を着目対象に行った強調表示よりも低い濃度で強調表示する。

【0066】

また、表示制御部３４は、撮影されたプリント配線基板３０の画像上において周辺物の画像を着目対象に行った強調表示とは異なる色により強調表示するようにしても良い。例えば、表示制御部３４は、撮影されたプリント配線基板３０の画像上において、着目対象である着目部品及び着目配線パタンの画像を赤色により強調表示し、周辺物である周辺部品及び周辺配線パタンの画像を黄色により強調表示する。

【0067】

なお、表示制御部３４は、特定の物体によりプリント配線基板３０上のある部品又は配線パタンが指示された場合、その指示された部品又は配線パタンを、利用者により指定された部品又は配線パタンとして着目対象に設定する。例えば、表示制御部３４は、利用者の指やボールペン、指示棒等によりプリント配線基板３０上のある部品又は配線パタンが指示された場合、その指示された部品又は配線パタンを、着目対象つまり着目部品又は着目配線パタンに設定する。

【0068】

このようにして着目部品や着目配線パタンから目的の部品や配線パタンに辿り着く際の操作方法を図１４～図１６を参照して説明する。

【0069】

ここでは、利用者がＴＲ１１という部品番号の部品を指定したい場合について説明する。ここで、利用者はこの部品がある場所が分からないか、またはサイズが小さすぎて指定することができず、この部品がＩＣ１０１のどのかのピンに接続されていることを把握しているものとする。

【0070】

そのため、利用者は、図１４に示すように、最初に部品番号がＩＣ１０１の部品を指定する。すると、指定されたＩＣ１０１という部品が着目部品・配線パタンの欄に設定され、このＩＣ１０１に接続されている配線パタンＰ８１等が周辺部品・配線パタンの欄に一覧表示される。

【0071】

そして、利用者が、周辺部品・配線パタンの欄に表示された配線パタンの中から配線パタンＰ８１を選択すると、図１５に示すように、この配線パタンＰ８１が着目部品・配線パタンの欄に設定され、この配線パタンＰ８１に接続されている部品ＴＲ１１、ＩＣ１０１という２つの部品が周辺部品・配線パタンの欄に一覧表示される。

【0072】

そして、利用者が、周辺部品・配線パタンの欄に表示された部品の中から部品ＴＲ１１を選択すると、図１６に示すように、選択された部品ＴＲ１１が着目部品・配線パタンの欄に設定されるとともに強調表示が行われて、部品番号や部品名等の情報がポップアップ表示される。

【0073】

このように利用者は部品ＴＲ１１の場所が分からない場合でも、容易に指定可能な部品ＩＣ１０１から芋づる式に部品ＴＲ１１まで辿り着くことができる。

【0074】

上記で説明した部品や配線パタンの指定方法では、１つの部品や配線パタンのみを指定する場合について説明した。しかし、端末装置１０のディスプレイ上に表示されたプリント配線基板３０上においてある領域を指定して、その領域内に含まれる全ての部品や配線パタンに関する情報を同時に表示させるようなことも可能である。

【0075】

このようにして部品情報等を表示させる部品等を領域指定してＡＲ表示を行った場合の表示例を図１７に示す。

【0076】

図１７では、説明を簡単にするために部品ＩＣ１０１と配線パタンＰ８１の２つが含まれるような領域指定を行った場合が示されている。図１７では、部品ＩＣ１０１の部品番号や部品情報と、配線パタンＰ８１の配線パタン番号や接続情報が同時にポップアップ表示されたことにより、２つのポップアップ表示が重なってしまい見難くなってしまっている。

【0077】

このような場合に着目対象を１つに限定して表示されるポップアップ表示を１つとすれば見難いという問題は解消される。このような解消方法以外にも、複数のポップアップ表示が重ならないようにいずれかのポップアップ表示の表示位置をずらすことにより、見難さを解消することも可能である。

【0078】

このようなポップアップ表示の表示位置をずらす際の表示制御部３４の動作を図１８のフローチャートを参照して説明する。

【0079】

２つ以上のポップアップ表示を行った際に、表示制御部３４は、ステップＳ１０１において、表示したポップアップ表示の表示領域どうしが重なるか否かを判定する。

【0080】

そして、ステップＳ１０２において、２つのポップアップ表示の表示領域が重なると判定された場合、表示制御部３４は、ステップＳ１０３において、表示した２つのポップアップ表示のうちのいずれかの表示領域をずらして重ならないようにする。

【0081】

次に、２つのポップアップ表示が矩形の場合に、２つの矩形どうしの重なり判定を行うための判定方法の一例を図１９に示す。

【0082】

図１９では、中心座標が（Ｘ１、Ｙ１）、Ｘ方向のサイズがＬＸ１、Ｙ方向のサイズがＬＹ１の矩形１と、中心座標が（Ｘ２、Ｙ２）、Ｘ方向のサイズがＬＸ２、Ｙ方向のサイズがＬＹ２の矩形２との間で重なり判定を行う場合についての説明がされている。

【0083】

このような場合、Ｘ軸方向およびＹ軸方向のそれぞれにおいて、下記のような条件がいずれも満たされた場合、２つの矩形１と矩形２とが重なっていると判定することができる。

【0084】

（矩形１の中心座標－矩形２の中心座標）の絶対値＜（矩形１のサイズ／２）＋（矩形２のサイズ／２）

【0085】

つまり、（Ｘ１－Ｘ２）の絶対値＜ＬＸ１／２＋ＬＸ２／２
かつ
（Ｙ１－Ｙ２）の絶対値＜ＬＹ１／２＋ＬＹ２／２
という条件が満たされた場合、矩形１と矩形２は重なっていると判定することができる。

【0086】

次に、図１８のフローチャートのステップＳ１０３において示した表示領域をずらす方法の具体的な方法を、図２０のフローチャートを参照して説明する。

【0087】

まず、表示制御部３４は、ステップＳ２０１において、Ｘ軸方向の重なり判別を行い、重なっている場合、＋（プラス）方向と－（マイナス）方向の重なり解消ずらし幅を算出する。

【0088】

ここで、Ｘ軸方向の重なり解消ずらし幅とは、２つの表示領域のいずれかをＸ軸方向にずらすことにより２つの表示領域どうしが重ならなくなる移動量のことを意味する。また、表示制御部３４は、Ｘ軸方向に重なっていないと判別した場合、解消ずらし幅は０となる。

【0089】

次に、表示制御部３４は、ステップＳ２０２において、Ｙ軸方向の重なり判別を行い、重なっている場合、＋（プラス）方向と－（マイナス）方向の重なり解消ずらし幅を算出する。

【0090】

そして、表示制御部３４は、ステップＳ２０３において、移動する方の表示領域をＸ軸方向にずらす際に、＋方向と－方向のうち、Ｘ軸方向の重なり解消ずらし幅が少ない方向にずらす。

【0091】

最後に、表示制御部３４は、ステップＳ２０４において、移動する方の表示領域をＹ軸方向にずらす際に、＋方向と－方向のうち、Ｙ軸方向の重なり解消ずらし幅が少ない方向にずらす。

【0092】

このように表示領域のいずれか一方がずらされることにより、図１７に示したＡＲ表示例のように２つのポップアップ表示が重なっていた場合でも、図２１に示すＡＲ表示例のように、一方のポップアップ表示がずらされることにより重なりが解消された状態となる。

【0093】

なお、上記ではポップアップ表示をプリント配線基板３０上に表示する場合について説明したが、このポップアップ表示を表示することによりその下に存在する部品や配線パタンが見え難くなってしまう可能性がある。

【0094】

そのため、図２２に示すように、プリント配線基板３０の画像の外側に表示可能エリアを設けて、ポップアップ表示をプリント配線基板３０の画像の外側に表示するようにしても良い。

【0095】

ただし、このようにポップアップ表示をプリント配線基板３０の画像の外側に表示する場合であっても、複数のポップアップ表示を同時に表示した場合には、２つのポップアップ表示が重なってしまう場合がある。

【0096】

このような場合において表示領域をずらす方法を、図２３のフローチャートを参照して説明する。図２３のフローチャートに示す方法も、図１８のフローチャートのステップＳ１０３において示した表示領域をずらす方法の具体例の１つである。

【0097】

なお、図２０に示したフローチャートにおけるフローチャートと同じ処理については、同じ符号を付してその説明は省略する。

【0098】

図２３に示すフローチャートの方法では、表示制御部３４は、表示領域をＸ軸方向にずらした場合、ステップＳ３０１において、ずらした表示領域が表示可能エリアに収まるか否かを判定する。
そして、ずらした表示領域が表示可能エリアに収まらないと判定した場合、表示制御部３４は、ステップＳ３０２において、移動する方のポップアップ表示の表示領域を、Ｘ軸方向の重なり解消ずらし幅が多い方向にずらす。

【0099】

そして、表示制御部３４は、ステップＳ３０３において、表示領域をＸ軸方向にずらした場合にずらした表示領域が表示可能エリアに収まるか否かを再度判定する。

【0100】

もしも、ステップＳ３０３において、ずらした表示領域が表示可能エリアに収まらないと判定した場合、表示制御部３４は、別のアルゴリズムによりポップアップ表示の表示領域の重なりを解消する方法を選択する。

【0101】

そして、ステップＳ３０３において、ずらした表示領域が表示可能エリアに収まると判定した場合、表示制御部３４は、ステップＳ２０４において、移動する方の表示領域をＹ軸方向にずらす際に、＋方向と－方向のうち、Ｙ軸方向の重なり解消ずらし幅が少ない方向にずらす。

【0102】

そして、表示制御部３４は、表示領域をＹ軸方向にずらした場合、ステップＳ３０４において、ずらした表示領域が表示可能エリアに収まるか否かを判定する。

【0103】

そして、ずらした表示領域が表示可能エリアに収まらないと判定した場合、表示制御部３４は、ステップＳ３０５において、移動する方のポップアップ表示の表示領域を、Ｙ軸方向の重なり解消ずらし幅が多い方向にずらす。

【0104】

そして、表示制御部３４は、ステップＳ３０６において、表示領域をＸ軸方向にずらした場合にずらした表示領域が表示可能エリアに収まるか否かを再度判定する。

【0105】

もしも、ステップＳ３０６において、ずらした表示領域が表示可能エリアに収まらないと判定した場合、表示制御部３４は、別のアルゴリズムによりポップアップ表示の表示領域の重なりを解消する方法を選択する。

【0106】

そして、ステップＳ３０５において、ずらした表示領域が表示可能エリアに収まると判定した場合、表示制御部３４は、処理を終了する。

【0107】

このようなずらし方法を用いることにより、表示制御部３４は、プリント配線基板３０の画像の外側の表示可能エリア内にポップアップ表示を行う場合でも、表示可能エリア内に収まるようポップアップ表示をずらして２つのポップアップ表示が重なることを防ぐことができる。

【0108】

なお、上記では２つのポップアップ表示が重なる場合に、一方のポップアップ表示を移動させて重なりを解消する場合について説明したが、ポップアップ表示を表示領域のサイズを縮小して重なりを解消するような方法も用いることも可能である。このようにポップアップ表示の表示領域のサイズを縮小して重なりを解消した場合の表示例を図２４に示す。

【0109】

上記各実施形態において、プロセッサとは広義的なプロセッサを指し、汎用的なプロセッサ（例えばＣＰＵ：Central Processing Unit、等）や、専用のプロセッサ（例えばＧＰＵ：Graphics Processing Unit、ＡＳＩＣ：Application Specific Integrated Circuit、ＦＰＧＡ：Field Programmable Gate Array、プログラマブル論理デバイス等）を含むものである。

【0110】

また上記各実施形態におけるプロセッサの動作は、１つのプロセッサによって成すのみでなく、物理的に離れた位置に存在する複数のプロセッサが協働して成すものであってもよい。また、プロセッサの各動作の順序は上記各実施形態において記載した順序のみに限定されるものではなく、適宜変更してもよい。

【符号の説明】

【0111】

１０ 端末装置
１１ ＣＰＵ
１２ メモリ
１３ 記憶装置
１４ 通信インタフェース
１５ ユーザインタフェース装置
１６ 制御バス
２０、２０Ａ、２０Ｂ カメラ
３０ プリント配線基板
３１ 操作入力部
３２ 表示部
３３ データ送受信部
３４ 表示制御部
３５ 配置情報記憶部
３６ 画像取得部
６１ 基準点
６２、６２Ａ～６２Ｄ マーカ
６３ 部品
６４ 配線パタン
６５ 部品
６６ マーカ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】