特許 7488467 部品特定プログラム、部品特定方法及び情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-05-14

(45)【発行日】2024-05-22

(54)【発明の名称】部品特定プログラム、部品特定方法及び情報処理装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240515BHJP

   G06F 3/0484 20220101ALI20240515BHJP

【ＦＩ】

G06T7/00 610C

G06F3/0484

【請求項の数】 8

(21)【出願番号】P 2020151807

(22)【出願日】2020-09-10

(65)【公開番号】P2022046001

(43)【公開日】2022-03-23

【審査請求日】2023-06-08

(73)【特許権者】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】110002918

【氏名又は名称】弁理士法人扶桑国際特許事務所

(72)【発明者】

【氏名】諏訪部 純

(72)【発明者】

【氏名】野崎 直行

(72)【発明者】

【氏名】木寺 雅如

(72)【発明者】

【氏名】林 宏興

【審査官】佐藤 実

(56)【参考文献】

【文献】特開平０６－０６９６９８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｇ０６Ｆ ３／０４８４

(57)【特許請求の範囲】

【請求項1】

複数の部品を含む装置の撮像画像についての入力された第１の画像情報に基づいて、前記撮像画像を表示装置に表示し、
前記第１の画像情報に基づいて、記憶部に記憶された前記装置の設計データから、前記撮像画像における前記装置の表示状態と同じ表示状態を示す第２の画像情報を生成し、
前記第２の画像情報と前記設計データに基づいて、表示された前記撮像画像において指定された第１の指定位置に対応する前記第２の画像情報の座標にある部品を特定し、
前記設計データに含まれる、特定した前記部品の情報を出力する、
処理をコンピュータに実行させる部品特定プログラム。

【請求項2】

前記第１の画像情報に基づいて、前記設計データにより表される前記装置の第１の表示サイズ、第１の表示位置、または第１の向きを、前記撮像画像における前記装置の第２の表示サイズ、第２の表示位置、または第２の向きと一致させることで、前記第２の画像情報を生成する、処理を前記コンピュータに実行させる請求項１に記載の部品特定プログラム。

【請求項3】

前記記憶部には、前記設計データから得られ、前記複数の部品の何れかの表示の有無がそれぞれ異なる複数の表示パターンのそれぞれについての第３の画像情報が記憶されており、
前記記憶部に記憶された前記複数の表示パターンのそれぞれについての前記第３の画像情報と前記第１の画像情報との類似度に基づいて、前記複数の表示パターンの何れかを選択し、
前記第１の画像情報に基づいて、選択した表示パターンの前記第３の画像情報により表される前記装置の、第１の表示サイズ、第１の表示位置、または第１の向きを、前記撮像画像における前記装置の第２の表示サイズ、第２の表示位置、または第２の向きと一致させることで、前記第２の画像情報を生成する、
処理を前記コンピュータに実行させる請求項１に記載の部品特定プログラム。

【請求項4】

前記第１の画像情報に基づいて、前記撮像画像に表示されている前記複数の部品のうち第１の部品と第２の部品とを検出し、
前記撮像画像における前記第１の部品の位置と、選択した前記表示パターンにおける前記第１の部品の位置とが、一致するように前記第１の表示位置を調整し、
前記第１の表示位置の調整後に、前記撮像画像における前記第２の部品の位置と、選択した前記表示パターンにおける前記第２の部品の位置とが、一致するように前記第１の向きを回転させる、
処理を前記コンピュータに実行させる請求項３に記載の部品特定プログラム。

【請求項5】

前記第１の指定位置に対応する前記部品がない場合、前記第２の画像情報に基づく画像において、前記第１の指定位置を含む領域を前記表示装置に拡大表示し、
拡大表示された前記領域において指定された第２の指定位置に対応する前記第２の画像情報の座標にある前記部品を特定する、
処理を前記コンピュータに実行させる請求項１乃至４の何れか一項に記載の部品特定プログラム。

【請求項6】

特定した前記部品において発生した現象の内容を、前記部品の前記情報と紐付けて記憶する、請求項１乃至５の何れか一項に記載の部品特定プログラム。

【請求項7】

コンピュータが、
複数の部品を含む装置の撮像画像についての入力された第１の画像情報に基づいて、前記撮像画像を表示装置に表示し、
前記第１の画像情報に基づいて、記憶部に記憶された前記装置の設計データから、前記撮像画像における前記装置の表示状態と同じ表示状態を示す第２の画像情報を生成し、
前記第２の画像情報と前記設計データに基づいて、表示された前記撮像画像において指定された第１の指定位置に対応する前記第２の画像情報の座標にある部品を特定し、
前記設計データに含まれる、特定した前記部品の情報を出力する、
部品特定方法。

【請求項8】

複数の部品を含む装置の設計データを記憶する記憶部と、
前記装置の撮像画像についての入力された第１の画像情報に基づいて、前記撮像画像を表示装置に表示し、前記第１の画像情報に基づいて、前記記憶部に記憶された前記設計データから、前記撮像画像における前記装置の表示状態と同じ表示状態を示す第２の画像情報を生成し、前記第２の画像情報と前記設計データに基づいて、表示された前記撮像画像において指定された第１の指定位置に対応する前記第２の画像情報の座標にある部品を特定する処理部と、
前記設計データに含まれる、特定した前記部品の情報を出力する出力部と、
を有する情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、部品特定プログラム、部品特定方法及び情報処理装置に関する。

【背景技術】

【0002】

工場の組み立てラインなどにおいて、組み立て対象などの装置に含まれる部品の不具合が検出された際、作業者が不具合部品の部品名、部品番号、症状などを人手によりシステムに入力することがあった。また、修理の際には、作業者がＢＯＭ（Bills Of Material）から不具合部品の部品番号を探し出し、代わりの部品を手配する場合があった。このように人が部品名や部品番号などを指定することにより部品を特定する手法がある。

【0003】

一方、自動運転などの分野ではＡＩ（Artificial Intelligence）による物体検出技術が活用されている。物体検出技術では、画像の中から車両や人などが特定される。
また、従来、部品単体を複数方向から撮影し、撮像画像と各分類項目の画像とを比較することで、その部品がどの分類に属するかを判定する技術が提案されている（たとえば、特許文献１参照）。

【0004】

また、従来、複数の部品を組合せて構成された３次元モデルをもとに画面に表示された２次元画像への入力操作により、目的の部品の２次元画像を選択し出力する技術が提案されている（たとえば、特許文献２参照）。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１９－１２８８８１号公報

【文献】特開２００９－０５４０１８号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

上記のように人が部品名や部品番号などを指定することにより部品を特定する手法では、表記ゆれや入力ミスなどが生じ、システムに蓄積された情報が有効に活用できない可能性があることに加え、手間と時間がかかる。一方、上記のようなＡＩによる物体検出技術を用いて、複数の部品を含む装置の撮像画像から部品を特定しようとする場合、小さい部品では、数ピクセル程度の画素数となる場合もあり、特定が困難である。また、部品の撮像画像と各分類項目の画像とを比較し、その部品がどの分類に属するかを判定する技術は、部品単体の分類をするものであり、複数の部品を含む装置の撮像画像から部品を特定するものではない。

【0007】

１つの側面では、本発明は、複数の部品を含む装置の撮像画像から部品を特定可能な部品特定プログラム、部品特定方法及び情報処理装置を提供することを目的とする。

【課題を解決するための手段】

【0008】

１つの実施態様では、複数の部品を含む装置の撮像画像についての入力された第１の画像情報に基づいて、前記撮像画像を表示装置に表示し、前記第１の画像情報に基づいて、記憶部に記憶された前記装置の設計データから、前記撮像画像における前記装置の表示状態と同じ表示状態を示す第２の画像情報を生成し、前記第２の画像情報と前記設計データに基づいて、表示された前記撮像画像において指定された第１の指定位置に対応する前記第２の画像情報の座標にある部品を特定し、前記設計データに含まれる、特定した前記部品の情報を出力する、処理をコンピュータに実行させる部品特定プログラムが提供される。

【0009】

また、１つの実施態様では部品特定方法が提供される。
また、１つの実施態様では情報処理装置が提供される。

【発明の効果】

【0010】

１つの側面では、本発明は、複数の部品を含む装置の撮像画像から部品を特定可能となる。

【図面の簡単な説明】

【0011】

【図1】第１の実施の形態の情報処理装置及び部品特定方法の一例を示す図である。

【図2】情報処理装置のハードウェア例を示すブロック図である。

【図3】情報処理装置の機能例を示すブロック図である。

【図4】部品特定方法の処理の一例の流れを示すフローチャートである。

【図5】部品検出結果の一例を示す図である。

【図6】テンプレートマッチングによる部品検出処理の一例を示す図である。

【図7】複数の表示パターンの例を示す図である。

【図8】類似度に基づいた表示パターンの選択例を示す図である。

【図9】表示サイズのマッチングの一例を示す図である。

【図10】表示位置のマッチングの一例を示す図である。

【図11】向きのマッチングの一例を示す図である。

【図12】特定された部品の強調表示例を示す図である。

【図13】３次元モデルの拡大表示例を示す図である。

【図14】特定した部品についての情報の表示例を示す図である。

【発明を実施するための形態】

【0012】

以下、発明を実施するための形態を、図面を参照しつつ説明する。
（第１の実施の形態）
図１は、第１の実施の形態の情報処理装置及び部品特定方法の一例を示す図である。

【0013】

情報処理装置１０は、たとえば、撮像装置１１ａによって撮影された装置１５の撮像画像を表示装置１４ａの画面に表示し、撮像画像においてユーザによって指定された位置にある部品を、装置１５の設計データを利用することで特定する。

【0014】

情報処理装置１０は、入力部１１、記憶部１２、処理部１３、出力部１４を有する。
入力部１１は、処理部１３の制御のもと、外部から入力された情報を取得し、処理部１３に出力するインタフェース回路である。入力部１１には、撮像装置１１ａによって得られる装置１５（複数の部品（たとえば、図１の部品１５ａ，１５ｂなど）を含む）の撮像画像の画像情報が入力される。撮像装置１１ａは、たとえば、ＣＣＤ（Charge Coupled Device）カメラ、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）カメラなどである。

【0015】

入力される画像情報は、たとえば、工場における組み立てラインの、ある工程における装置１５を撮影した撮像画像の画像情報である。
なお、入力される画像情報は、予め情報処理装置１０の外部の記憶装置に記憶されたものであってもよいし、ネットワークを介して別の情報処理装置から送信されたものであってもよい。また、撮像画像は、複数の視点から得られた画像であってもよい。

【0016】

また、入力部１１は、ユーザによる入力装置１１ｂ（マウス、キーボード、タッチパネルなど）の操作によって入力される情報を取得する。
記憶部１２は、ＲＡＭ（Random Access Memory）などの揮発性の記憶装置、または、ＨＤＤ（Hard Disk Drive）やフラッシュメモリなどの不揮発性の記憶装置である。

【0017】

記憶部１２は、装置１５の設計データ１２ａなどの各種データを記憶する。設計データ１２ａは、たとえば、装置１５の３次元モデルである。設計データ１２ａは、装置１５に含まれる部品の座標情報のほか、部品名、その部品の取付位置、材質などを含む。また、設計データ１２ａは、その部品についてのＢＯＭの部品番号などを含んでいてもよい。

【0018】

また、記憶部１２は、ある部品において発生した現象の内容（障害の内容など）を、設計データ１２ａにおけるその部品の情報と紐付けて記憶していてもよい。
処理部１３は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）などのハードウェアであるプロセッサにより実現される。ただし、処理部１３は、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などの電子回路を含んでもよい。プロセッサは、ＲＡＭなどのメモリに記憶されたプログラムを実行する。たとえば、部品特定プログラムが実行される。なお、複数のプロセッサの集合を「マルチプロセッサ」または単に「プロセッサ」ということがある。処理部１３が部品特定プログラムを実行した場合の処理（部品特定方法）については後述する。

【0019】

出力部１４は、処理部１３の制御のもと、画像情報に基づく画像を表示装置１４ａに出力するインタフェース回路である。
処理部１３が部品特定プログラムを実行すると、たとえば、図１に示すような処理（部品特定方法）が行われる。

【0020】

入力部１１は、撮像装置１１ａから入力された、装置１５の撮像画像についての画像情報を取得する（ステップＳ１）。
処理部１３は、装置１５の撮像画像についての入力された画像情報に基づいて、出力部１４に、撮像画像を表示装置１４ａに表示させる（ステップＳ２）。

【0021】

処理部１３は、入力された画像情報に基づいて、記憶部１２に記憶された装置１５の設計データ１２ａから、撮像画像における装置１５の表示状態と同じ表示状態を示す画像情報を生成する（ステップＳ３）。

【0022】

たとえば、処理部１３は、入力された画像情報に基づいて、設計データ１２ａにより表される装置１５の表示サイズ、表示位置、または向きを、撮像画像における装置１５の表示サイズ、表示位置、または向きと一致させることで、上記の画像情報を生成する。

【0023】

なお、設計データ１２ａには、撮像画像に現れている装置１５の部品以外の部品についての情報も含まれている場合がある。たとえば、ノートパソコンの組み立てラインにおけるある工程の撮像画像には、バッテリーが現れていない場合もあるし、別の工程の撮像画像には、電源装置が現れていない場合もある。

【0024】

このような場合に対応するために、予め記憶部１２に、設計データ１２ａから得られ、複数の部品の何れかの表示の有無がそれぞれ異なる装置１５の複数の表示パターンのそれぞれについての画像情報が記憶されていてもよい。その場合、処理部１３は、記憶部１２に記憶された上記複数の表示パターンのそれぞれについての画像情報と、入力された画像情報との類似度に基づいて、複数の表示パターンの何れかを選択する。そして、処理部１３は、入力された画像情報に基づいて、選択した表示パターンについての画像情報により表される装置１５の、表示サイズ、表示位置、または向きを、撮像画像における装置１５の表示サイズ、表示位置、または向きと一致させた画像情報を生成する。

【0025】

上記のような表示状態を撮像画像に合致させる処理の、より詳細な例については後述する。
ステップＳ３の処理後、入力部１１は、表示装置１４ａの画面に表示された撮像画像における、ユーザによる位置指定を受け付ける（ステップＳ４）。たとえば、入力装置１１ｂの一例であるマウスによって、表示された撮像画像の所定の位置がクリックで指定された場合、処理部１３は、指定位置に対応する、撮像画像が表示されている画面上の座標を取得する。

【0026】

そして、処理部１３は、設計データ１２ａから上記のように生成した画像情報において、指定位置に対応した座標にある部品を特定し（ステップＳ５）、設計データ１２ａに含まれる、特定した部品の情報を出力する（ステップＳ６）。

【0027】

ステップＳ６の処理では、処理部１３は、特定した部品の情報を、出力部１４を用いて表示装置１４ａに出力して表示させてもよいし、外部の図示しない記憶装置に出力して記憶させてもよい。また、処理部１３は、特定した部品の情報を記憶部１２に記憶してもよい。

【0028】

図１には、ユーザが、マウスのカーソル１６を撮像画像における所定の位置に合わせてクリックした後に表示される部品の情報の例が示されている。図１の例では、ユーザによって指定され、特定された部品（指定部品）の部品名として「ねじＡ」、部品番号として「Ａ０００１」が表示されている。

【0029】

さらに、たとえば、特定された部品において不具合などの現象が発生している場合、ユーザは、発生している現象の内容を入力装置１１ｂにより入力することができる。ユーザが入力した情報は、指定された部品の情報に紐付けられて、たとえば、記憶部１２に記憶される。

【0030】

なお、部品特定方法の処理の順序は、上記の例に限定されるものではない。たとえば、ステップＳ２とステップＳ３の処理順序を入れ替えてもよいし、ステップＳ３とステップＳ４の処理順序を入れ替えてもよい。

【0031】

以上のような情報処理装置１０及び部品特定方法によれば、装置１５の撮像画像の表示状態と同じ表示状態を示す画像情報を設計データ１２ａから生成することで、撮像画像のある位置を指定するだけでその位置に対応する画像情報の座標にある部品を特定できる。

【0032】

また、このように特定した部品の情報が、設計データ１２ａから得られるため、たとえば、発生した不具合などに関する情報をシステムに登録する際にも、設計データ１２ａから得られた部品の部品名などを活用でき、人手による表記ゆれや入力ミスも防げる。

【0033】

また、設計データ１２ａにおける部品の情報としてＢＯＭの部品番号を含める、またはその部品の情報にＢＯＭの部品番号を紐付けしておけば、撮像画像上で部品を指定するだけで部品番号を取得でき、不具合部品の手配も容易になる。

【0034】

（第２の実施の形態）
次に、第２の実施の形態を説明する。
図２は、情報処理装置のハードウェア例を示すブロック図である。

【0035】

情報処理装置２０は、ＣＰＵ２１、ＲＡＭ２２、ＨＤＤ２３、画像情報処理部２４、入力情報処理部２５、媒体リーダ２６及び通信インタフェース２７を有する。上記ユニットは、バスに接続されている。

【0036】

ＣＰＵ２１は、プログラムの命令を実行する演算回路を含むプロセッサである。ＣＰＵ２１は、ＨＤＤ２３に記憶されたプログラムやデータの少なくとも一部をＲＡＭ２２にロードし、プログラムを実行する。なお、ＣＰＵ２１は複数のプロセッサコアを備えてもよく、情報処理装置２０は複数のプロセッサを備えてもよく、以下で説明する処理を複数のプロセッサまたはプロセッサコアを用いて並列に実行してもよい。また、複数のプロセッサの集合（マルチプロセッサ）を「プロセッサ」と呼んでもよい。

【0037】

ＲＡＭ２２は、ＣＰＵ２１が実行するプログラムやＣＰＵ２１が演算に用いるデータを一時的に記憶する揮発性の半導体メモリである。なお、情報処理装置２０は、ＲＡＭ以外の種類のメモリを備えてもよく、複数個のメモリを備えてもよい。

【0038】

ＨＤＤ２３は、ＯＳ（Operating System）やミドルウェアやアプリケーションソフトウェアなどのソフトウェアのプログラム、及び、データを記憶する不揮発性の記憶装置である。プログラムには、たとえば、部品特定処理を情報処理装置２０に実行させる部品特定プログラムが含まれる。なお、情報処理装置２０は、フラッシュメモリやＳＳＤ（Solid State Drive）などの他の種類の記憶装置を備えてもよく、複数の不揮発性の記憶装置を備えてもよい。

【0039】

画像情報処理部２４は、ＣＰＵ２１からの命令にしたがって、情報処理装置２０に接続されたディスプレイ２４ａに画像を出力する。ディスプレイ２４ａとしては、ＣＲＴ（Cathode Ray Tube）ディスプレイ、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）、プラズマディスプレイ（ＰＤＰ：Plasma Display Panel）、有機ＥＬ（ＯＥＬ：Organic Electro-Luminescence）ディスプレイなどを用いることができる。

【0040】

入力情報処理部２５は、情報処理装置２０に接続された入力装置２５ａや撮像装置２５ｂから画像情報や入力情報を取得し、ＣＰＵ２１に出力する。入力装置２５ａとしては、マウスやタッチパネルやタッチパッドやトラックボールなどのポインティングデバイス、キーボード、リモートコントローラ、ボタンスイッチなどを用いることができる。また、情報処理装置２０に、複数の種類の入力装置が接続されていてもよい。

【0041】

媒体リーダ２６は、記録媒体２６ａに記録されたプログラムやデータを読み取る読み取り装置である。記録媒体２６ａとして、たとえば、磁気ディスク、光ディスク、光磁気ディスク（ＭＯ：Magneto-Optical disk）、半導体メモリなどを使用できる。磁気ディスクには、フレキシブルディスク（ＦＤ：Flexible Disk）やＨＤＤが含まれる。光ディスクには、ＣＤ（Compact Disc）やＤＶＤ（Digital Versatile Disc）が含まれる。

【0042】

媒体リーダ２６は、たとえば、記録媒体２６ａから読み取ったプログラムやデータを、ＲＡＭ２２やＨＤＤ２３などの他の記録媒体にコピーする。読み取られたプログラムは、たとえば、ＣＰＵ２１によって実行される。なお、記録媒体２６ａは、可搬型記録媒体であってもよく、プログラムやデータの配布に用いられることがある。また、記録媒体２６ａやＨＤＤ２３を、コンピュータ読み取り可能な記録媒体ということがある。

【0043】

通信インタフェース２７は、ネットワーク２７ａに接続され、ネットワーク２７ａを介して他の情報処理装置と通信を行うインタフェースである。通信インタフェース２７は、スイッチなどの通信装置とケーブルで接続される有線通信インタフェースでもよいし、基地局と無線リンクで接続される無線通信インタフェースでもよい。

【0044】

図１に示した情報処理装置１０についても、上記と同様のハードウェア構成にて実現できる。
次に、情報処理装置２０の機能及び処理手順を説明する。

【0045】

図３は、情報処理装置の機能例を示すブロック図である。
情報処理装置２０は、画像情報入力部３１、表示状態マッチング部３２、学習済モデル記憶部３３、設計データ記憶部３４、指定位置入力部３５、部品特定部３６、情報入力部３７、蓄積情報記憶部３８、出力部３９を有する。

【0046】

画像情報入力部３１、表示状態マッチング部３２、指定位置入力部３５、部品特定部３６、情報入力部３７、出力部３９は、たとえばＣＰＵ２１が実行するプログラムモジュールを用いて実装できる。学習済モデル記憶部３３、設計データ記憶部３４、蓄積情報記憶部３８は、たとえば、ＲＡＭ２２またはＨＤＤ２３に確保した記憶領域を用いて実装できる。

【0047】

画像情報入力部３１は、撮像装置２５ｂから入力された、部品特定対象の装置の撮像画像の画像情報を取得する。
表示状態マッチング部３２は、入力された画像情報に基づいて、設計データ記憶部３４に記憶された部品特定対象の装置の設計データから、撮像画像におけるその装置の表示状態と同じ表示状態を示す画像情報を生成する。

【0048】

以下に示す例では、表示状態マッチング部３２は、撮像画像に表示されている複数の部品のうち少なくとも２つ検出する。部品の検出は、たとえば、ＡＩによる物体検出技術または画像処理技術を用いて行われる。

【0049】

ＡＩによる物体検出技術が用いられる場合、学習済モデル記憶部３３に記憶された学習済モデルを用いて、撮像画像において比較的大きい部品の検出が行われる。たとえば、部品特定対象の装置がノートパソコンの場合、ファン、通信モジュール、ＳＳＤなどが検出対象とされる。

【0050】

画像処理技術を用いて部品を検出する場合、たとえば、テンプレートマッチングと呼ばれる技術を用いることができる。テンプレートマッチングによる部品検出処理の例については後述する。

【0051】

学習済モデル記憶部３３は、表示状態マッチング部３２がＡＩによる物体検出技術によって部品を検出する際に用いる学習済モデルを記憶する。学習済モデルは、撮像画像から、上記のような特定の部品を認識できるように、予めトレーニングされている。

【0052】

設計データ記憶部３４は、部品特定対象の装置の設計データ（以下３次元モデルとする）を記憶する。なお、以下の例では、設計データ記憶部３４は、部品特定対象の装置における複数の部品の何れかの表示の有無がそれぞれ異なる複数の表示パターンのそれぞれについて、予め生成された画像情報が記憶されているものとする。

【0053】

指定位置入力部３５は、たとえば、ユーザによる入力装置２５ａの操作によって、撮像画像において指定された位置の座標（撮像画像が表示される画面上の２次元座標）を取得する。

【0054】

なお、ユーザが撮像対象の装置のある位置を直接、指差しなどで指定し、位置を指定している指などが装置とともに撮像画像に含まれている場合、指定位置入力部３５は、撮像画像の画像情報からその指などを認識するようにしてもよい。そして、指定位置入力部３５は、その指などにより指定されている位置の座標を取得する。指などの認識は、ＡＩによる物体検出技術や画像処理技術により用いて行うことができる。

【0055】

部品特定部３６は、指定位置入力部３５から指定位置の座標を取得し、表示状態マッチング部３２が生成した画像情報において、その座標にある部品を特定する。
情報入力部３７は、ユーザによる入力装置２５ａの操作によって入力された情報を取得する。たとえば、特定された（ユーザが指定した）部品において発生した現象の内容（たとえば、発生した不具合の状況）などの情報が入力される。

【0056】

蓄積情報記憶部３８は、入力された情報を、部品特定部３６が特定した部品の情報（たとえば、部品名や部品番号）と対応付けて蓄積情報として記憶する。
出力部３９は、撮像画像、３次元モデル、特定した部品の情報、蓄積情報記憶部３８に記憶されている蓄積情報などを、ディスプレイ２４ａに出力して表示させる。

【0057】

以下、上記のような情報処理装置２０による部品特定方法の一例を説明する。
図４は、部品特定方法の処理の一例の流れを示すフローチャートである。
まず、画像情報入力部３１が撮像画像の画像情報を取得すると（ステップＳ１０）、出力部３９は、その画像情報に基づいて、ディスプレイ２４ａに撮像画像を表示させる（ステップＳ１１）。

【0058】

指定位置入力部３５は、ユーザによる位置の指定があるか否かを判定する（ステップＳ１２）。位置の指定がない場合、ステップＳ１０からの処理が繰り返され、位置の指定がある場合、指定位置入力部３５は、指定された位置の座標を取得する（ステップＳ１３）。

【0059】

また、表示状態マッチング部３２は、ステップＳ１０の処理で取得された撮像画像の画像情報に基づいて、撮像画像に表示されている複数の部品のうち少なくとも２つを検出する（ステップＳ１４）。

【0060】

ここで検出対象となる部品は、後述の３次元モデルの画像情報を撮像画像の表示状態とマッチングさせる際の位置合わせの基準として用いられるため、比較的大きな部品でよい。このため、ステップＳ１４の処理は、たとえば、前述したようなＡＩによる物体検出技術または画像処理技術を用いて行うことができる。

【0061】

図５は、部品検出結果の一例を示す図である。
図５では、装置４０の撮像画像から検出された部品が枠線（以下バウンディングボックスという）で囲われている例が示されている。

【0062】

バウンディングボックス４１で囲われた部品はＳＳＤであり、バウンディングボックス４２で囲われた部品はファンであり、バウンディングボックス４３で囲われた部品は、無線通信モジュールである。

【0063】

ＡＩによる物体検出技術を適用する場合、これらの部品を認識できるようにトレーニングされた学習済モデルが用いられる。
画像処理技術を利用して撮像画像から部品を検出する場合、たとえば、テンプレートマッチングが用いられる。

【0064】

図６は、テンプレートマッチングによる部品検出処理の一例を示す図である。
テンプレートマッチングによる部品検出処理では、予めＨＤＤ２３などに記憶されたテンプレート画像（部分画像）が用いられ、撮像画像中からテンプレート画像に最も類似する箇所が探索される。

【0065】

図６の例では、部品ごとにテンプレート画像５０，５１，５２，５３が用意されている。テンプレート画像５０はファンを示し、テンプレート画像５１はスピーカを示し、テンプレート画像５２は無線通信モジュールを示し、テンプレート画像５３はボタン型電池を示している。テンプレート画像５０～５３のそれぞれには部品名が紐付けられている。このようなテンプレート画像ごとに、装置４０の撮像画像から最も類似する箇所が探索される。

【0066】

類似度として、たとえば、テンプレート画像の画素値と撮像画像の画素値との差分の２乗和（２乗誤差）を用いることができる。
図６の例では、テンプレート画像５０に最も類似する箇所としてバウンディングボックス６０で囲われた箇所、テンプレート画像５１に最も類似する箇所としてバウンディングボックス６１ａ，６１ｂで囲われた箇所が探索されている。また、テンプレート画像５２に最も類似する箇所としてバウンディングボックス６２で囲われた箇所、テンプレート画像５３に最も類似する箇所としてバウンディングボックス６３で囲われた箇所が探索されている。このようにして、部品の検出が行われる。

【0067】

以上のようなステップＳ１４の部品検出処理の後、表示状態マッチング部３２は、設計データ記憶部３４に記憶されている複数の表示パターンの何れかを選択する（ステップＳ１５）。ステップＳ１５の処理では、表示状態マッチング部３２は、複数の表示パターンのそれぞれについての画像情報と、撮像画像の画像情報との類似度に基づいて、何れかの表示パターンを選択する。

【0068】

表示パターンは、３次元モデルから予め作成され、撮像装置２５ｂで撮影される可能性がある装置の表示状態をパターン化したものである。たとえば、比較的大きい部品の有無や、複数の部品を含むユニットの有無が異なる複数の表示パターンが予め作成される。

【0069】

図７は、複数の表示パターンの例を示す図である。
図７には、パターン７０，７１，７２の表示パターンの例が示されている。また、図７に示されているように、パターン７０～７２のそれぞれが示す表示状態における可視部品のリスト７０ａ，７１ａ，７２ａが、設計データ記憶部３４に記憶されるようにしてもよい。

【0070】

図８は、類似度に基づいた表示パターンの選択例を示す図である。
表示状態マッチング部３２は、類似度に基づいて、撮像画像と最も類似する表示パターンを選択する。このとき、３次元モデルの表示パターンに含まれる部品などは色付けされている場合があり、その色は、撮像画像の色と異なる場合があり、類似度の計算に影響を与える可能性がある。この影響をなくすために、表示状態マッチング部３２は、撮像画像と各表示パターンをグレースケール、または白黒画像に変換し、色情報をなくした上で、類似度の計算を行う。

【0071】

図８の例では、パターン７１の表示パターンの画像情報と撮像画像の画像情報との類似度が最大であるため、パターン７１が選択されている。
なお、３次元モデルのデフォルトの表示パターンがある場合には、上記のように選択した表示パターンに変更するようにしてもよい。

【0072】

次に、表示状態マッチング部３２は、選択した表示パターンにおける装置と撮像画像における装置との表示サイズなどのマッチングを行う（ステップＳ１６）。ステップＳ１６の処理では、表示状態マッチング部３２は、選択した表示パターンにおける装置の表示サイズ、表示位置、または、向きを、撮像画像における装置の表示サイズ、表示位置、または向きと一致させた画像情報を生成する。

【0073】

表示状態マッチング部３２は、たとえば、まず、選択した表示パターンにおける装置の表示サイズを、撮像画像における装置の表示サイズに合わせる。
図９は、表示サイズのマッチングの一例を示す図である。

【0074】

図９には、ステップＳ１５の処理で選択された３次元モデルの表示パターン（パターン７１）における装置の表示サイズを、撮像画像における装置４０の表示サイズに合わせる例が示されている。

【0075】

表示サイズのマッチングには、ステップＳ１４の処理で検出された部品を囲うバウンディングボックス４１～４３を用いることができる。表示状態マッチング部３２は、ステップＳ１４の処理で検出した部品と同じ、３次元モデルにおける部品を囲うバウンディングボックス４１ａ，４２ａ，４３ａを設定する。そして、表示状態マッチング部３２は、バウンディングボックス４１ａ～４３ａがバウンディングボックス４１～４３と同じ大きさになるように、３次元モデルのパターン７１における装置の表示サイズを変更（図９の例では拡大）する。

【0076】

次に、表示状態マッチング部３２は、選択した表示パターンにおける装置の表示位置、または、向きを、撮像画像における装置の表示位置、または向きと一致させる。
図１０は、表示位置のマッチングの一例を示す図である。

【0077】

表示状態マッチング部３２は、たとえば、撮像画像から検出した複数の部品のうち１番大きい部品と、３次元モデルにおける同一部品との位置とが一致するように３次元モデルの表示位置を調整する。部品の位置として、部品を囲うバウンディングボックスの中心座標を用いることができる。表示位置の調整は、たとえば、３次元モデルの画像情報の座標変換により行われる。

【0078】

図１０の例では、装置４０の撮像画像から検出されたファンを囲うバウンディングボックス４２の中心座標に対して、３次元モデルのパターン７１に含まれるファンに設定されたバウンディングボックス４２ａの中心座標を一致させる例が示されている。

【0079】

図１１は、向きのマッチングの一例を示す図である。
装置４０の撮像画像と、パターン７１の向きが異なる場合、たとえば、図１１に示すように、一致させたバウンディングボックス４２，４２ａの中心座標を中心に、向きが一致するように３次元モデルのパターン７１を回転させる座標変換を行う。

【0080】

たとえば、表示状態マッチング部３２は、撮像画像から検出した複数の部品のうち上記の表示位置のマッチングに用いた部品以外の部品を選択する。そして、表示状態マッチング部３２は、選択した部品の位置と、パターン７１における同一部品の位置とが一致するようにパターン７１を回転させる。たとえば、両部品のそれぞれを囲うバウンディングボックスが最も重なる向きになるようにパターン７１の回転が行われる。

【0081】

図１１の例では、撮像画像とパターン７１に含まれるＳＳＤについてのバウンディングボックス４１，４１ａが重なるように、パターン７１を回転させる例が示されている。たとえば、表示状態マッチング部３２は、バウンディングボックス４１，４１ａの各頂点の座標のずれが最小になるように、パターン７１を回転させる。

【0082】

以上の処理によって、選択した表示パターンにおける装置の表示サイズ、表示位置、または、向きを、撮像画像における装置の表示サイズ、表示位置、または向きと一致させた画像情報を生成することができる。つまり、撮像画像における装置と、選択した表示パターンにおける装置とを重ね合わせることができ、撮像画像における装置内の座標と、選択した表示パターンにおける装置内の座標とが一致するようになる。

【0083】

上記のような表示状態のマッチング後、出力部３９は、マッチング後の３次元モデル（表示パターン）を、ディスプレイ２４ａに表示させる（ステップＳ１７）。
部品特定部３６は、指定位置入力部３５が取得したユーザによる指定位置の座標にある部品を、３次元モデルから特定する（ステップＳ１８）。なお、このとき出力部３９は、３次元モデルにおいて特定された部品を、ディスプレイ２４ａに強調表示させるようにしてもよい。

【0084】

図１２は、特定された部品の強調表示例を示す図である。
撮像画像が表示されているディスプレイ２４ａの画面８０において、ユーザが、マウスのカーソル８０ａを撮像画像における所定の位置に合わせてクリックした後、出力部３９は、ディスプレイ２４ａに表示させる画面８０を画面８１に切り替える。画面８１には、表示状態のマッチング後の３次元モデルが示され、カーソル８０ａで指定された位置にある部品が、たとえば、枠線８０ｂによって囲われることで強調表示されている。

【0085】

なお、強調表示の方法はこれに限定されるものではなく、特定された部品が他の部品とは異なる色により表示されるようにしてもよい。
ステップＳ１８の処理後、出力部３９は、部品特定部３６が特定した部品の情報を設計データ記憶部３４から取得し、ディスプレイ２４ａに表示させる（ステップＳ１９）。これによって、処理が終了する。

【0086】

なお、部品特定方法の処理の順序や処理内容は、上記の例に限定されるものではない。
たとえば、ステップＳ１８の処理において、ユーザによる指定位置に部品がない場合、部品特定部３６は部品の特定ができない。しかしその場合、情報処理装置２０は、たとえば、以下のような処理を行うことで部品を特定することができる。

【0087】

情報処理装置２０の出力部３９は、表示状態のマッチング後の３次元モデルの画像情報に基づく画像において、指定位置を含む領域をディスプレイ２４ａに拡大表示させる。そして、部品特定部３６は、拡大表示された領域においてユーザによって指定された指定位置に対応する３次元モデルの画像情報の座標にある部品を特定する。

【0088】

図１３は、３次元モデルの拡大表示例を示す図である。
表示状態マッチング後の３次元モデルの画像情報に基づく画像が表示されている画面８２には、ユーザが撮像画像上で指定した位置を示すカーソル８２ａが示されている。カーソル８２ａによる指定位置に部品がない場合、出力部３９は、この画像においてカーソル８２ａによる指定位置を含む領域８２ｂを拡大表示した画面８３を、ディスプレイ２４ａに表示させる。

【0089】

これにより、ユーザは、領域８２ｂの拡大図において、カーソル８２ａの位置を意図する部品に合わせて指定する。指定位置入力部３５は、カーソル８２ａによって指定された位置の座標を取得し、部品特定部３６は、その座標にある部品を特定する。

【0090】

これによって、小さい部品でも特定が容易になる。
また、ステップＳ１９の処理で、出力部３９は、部品特定部３６が特定した部品について、過去に生じた現象の内容（障害情報など）や、その部品の取付位置などの特定した部品の周辺の情報についてもディスプレイ２４ａに表示させてもよい。

【0091】

図１４は、特定した部品についての情報の表示例を示す図である。
図１４には、特定した部品と対応付けて過去に入力され、蓄積情報記憶部３８に記憶されている過去に生じた現象の内容（障害情報など）が、そのときの開発名称などとともに、ディスプレイ２４ａに表示されている。また、特定した部品の取付位置についても、設計データ記憶部３４に記憶されている３次元モデルに基づいて、たとえば、図１４のような囲み線９０により示されている。

【0092】

これによって、たとえば、ネジの中でも、カバーの右下に取り付けているネジで不具合がよく発生している、などの現象を把握することができる。また、ある部品について過去に発生した現象の内容から、今回、同じ部品について発生した障害の候補を絞ることもできる。

【0093】

なお、出力部３９は、特定した部品について、設計データに含まれるその他の情報（部品の材質、大きさ、部品番号など）を表示してもよい。また、出力部３９は、蓄積情報記憶部３８に、特定した部品について、過去に入力された修理方法の情報がある場合、その情報をディスプレイ２４ａに表示してもよい。

【0094】

また、ユーザは、入力装置２５ａの操作によって現象内容などを更新してもよいし、特定した部品について蓄積すべき情報を新たに入力してもよい。新たに入力された情報は、部品特定部３６が特定した部品の情報に紐付けられて、蓄積情報記憶部３８に蓄積情報として記憶される。

【0095】

以上のような情報処理装置２０及び部品特定方法によれば、装置の撮像画像の表示状態と同じ表示状態を示す画像情報を設計データから生成することで、撮像画像のある位置を指定するだけでその位置に対応する画像情報の座標にある部品を特定できる。

【0096】

また、このように特定した部品の情報が、設計データから得られるため、たとえば、発生した不具合などに関する情報を蓄積情報記憶部３８に記憶する際にも、設計データから得られた部品の部品名などを活用でき、人手による表記ゆれや入力ミスも防げる。

【0097】

また、設計データにおける部品の情報としてＢＯＭの部品番号を含める、またはその部品の情報にＢＯＭの部品番号を紐付けしておけば、撮像画像上で部品を指定するだけで部品番号を取得でき、不具合部品の手配も容易になる。

【0098】

また、特定した部品の周辺の情報も設計データから取得できるため、分析の幅が広がる。たとえば、基板の近くにある部品でいつも障害が発生している、ネジ部品において、３部品以上締結している箇所で障害が多く発生している、などの分析が可能になる。

【0099】

なお、前述のように、上記の処理内容は、情報処理装置２０にプログラムを実行させることで実現できる。
プログラムは、コンピュータ読み取り可能な記録媒体（たとえば、記録媒体２６ａ）に記録しておくことができる。記録媒体として、たとえば、磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどを使用できる。磁気ディスクには、ＦＤ及びＨＤＤが含まれる。光ディスクには、ＣＤ、ＣＤ－Ｒ（Recordable）／ＲＷ（Rewritable）、ＤＶＤ及びＤＶＤ－Ｒ／ＲＷが含まれる。プログラムは、可搬型の記録媒体に記録されて配布されることがある。その場合、可搬型の記録媒体から他の記録媒体（たとえば、ＨＤＤ２３）にプログラムをコピーして実行してもよい。

【0100】

以上、実施の形態に基づき、本発明の部品特定プログラム、部品特定方法及び情報処理装置の一観点について説明してきたが、これらは一例にすぎず、上記の記載に限定されるものではない。

【符号の説明】

【0101】

１０ 情報処理装置
１１ 入力部
１１ａ 撮像装置
１１ｂ 入力装置
１２ 記憶部
１２ａ 設計データ
１３ 処理部
１４ 出力部
１４ａ 表示装置
１５ 装置
１５ａ，１５ｂ 部品
１６ カーソル

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】