特開 2024-134958 情報処理装置、情報処理方法及びコンピュータープログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024134958

(43)【公開日】2024-10-04

(54)【発明の名称】情報処理装置、情報処理方法及びコンピュータープログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240927BHJP

   G06V 10/70 20220101ALI20240927BHJP

【ＦＩ】

G06T7/00 610

G06T7/00 350B

G06T7/00 Q

G06V10/70

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2023045427

(22)【出願日】2023-03-22

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＢＬＵＥＴＯＯＴＨ

(71)【出願人】

【識別番号】504163612

【氏名又は名称】株式会社ＬＩＸＩＬ

(74)【代理人】

【識別番号】100141139

【弁理士】

【氏名又は名称】及川 周

(74)【代理人】

【識別番号】100161506

【弁理士】

【氏名又は名称】川渕 健一

(74)【代理人】

【識別番号】100179833

【弁理士】

【氏名又は名称】松本 将尚

(72)【発明者】

【氏名】池田 祐輔

(72)【発明者】

【氏名】梅田 学

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA06

5L096BA03

5L096CA04

5L096CA24

5L096DA01

5L096EA35

5L096FA06

5L096FA59

5L096FA64

5L096FA66

5L096FA69

5L096GA34

5L096GA38

5L096GA51

5L096GA55

5L096HA11

5L096KA04

5L096MA01

5L096MA07

(57)【要約】

【課題】より容易な作業で施工品質について画像に基づいて判定することを可能にすること。
【解決手段】撮影された処理対象画像を記録する記憶部と、前記記憶部に記録されている前記処理対象画像を用いて、前記処理対象画像において判定対象物が撮影されている領域である検査領域を取得し、前記検査領域に写っている前記判定対象物に関する施工の品質を判定し、前記検査領域の画質を判定する制御部と、を備える情報処理装置。
【選択図】図１

【特許請求の範囲】

【請求項1】

撮影された処理対象画像を記録する記憶部と、
前記記憶部に記録されている前記処理対象画像を用いて、前記処理対象画像において判定対象物が撮影されている領域である検査領域を取得し、前記検査領域に写っている前記判定対象物に関する施工の品質を判定し、前記検査領域の画質を判定する制御部と、
を備える情報処理装置。

【請求項2】

作業者に情報を出力する出力部をさらに備え、
前記制御部は、前記検査領域の画質が所定の合格基準を満たさない場合、再度撮影を行うことを前記作業者に指示することを示す情報を前記出力部から出力する、請求項１に記載の情報処理装置。

【請求項3】

前記制御部は、前記施工の品質を判定した後に前記画質を判定する、請求項１又は２に記載の情報処理装置。

【請求項4】

前記制御部は、前記処理対象画像のうち、前記施工の品質の判定対象となる物体である判定対象物が含まれている検査領域の画像を判定し、判定された前記検査領域の画像を用いて前記画質を判定する、請求項１又は２に記載の情報処理装置。

【請求項5】

前記制御部は、前記施工の品質が所定の合格基準を満たしている検査領域の画像と、前記施工の品質が所定の合格基準を満たしていない検査領域の画像と、各画像について合格基準を満たしているか否かを示す正解ラベルと、を用いて予め学習処理を行うことによって得られた学習済モデルを用いて、前記施工の品質を判定する、請求項１又は２に記載の情報処理装置。

【請求項6】

コンピューターが、撮影された処理対象画像を記憶部に記録し、
コンピューターが、前記記憶部に記録されている前記処理対象画像を用いて、前記処理対象画像において判定対象物が撮影されている領域である検査領域を取得し、前記検査領域に写っている前記判定対象物に関する施工の品質を判定し、
コンピューターが、前記検査領域の画質を判定する、情報処理方法。

【請求項7】

撮影された処理対象画像を記録する記憶部と、
前記記憶部に記録されている前記処理対象画像を用いて、前記処理対象画像において判定対象物が撮影されている領域である検査領域を取得し、前記検査領域に写っている前記判定対象物に関する施工の品質を判定し、前記検査領域の画質を判定する制御部と、
を備える情報処理装置、としてコンピューターを機能させるためのコンピュータープログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、情報処理装置、情報処理方法及びコンピュータープログラムに関する。

【背景技術】

【0002】

従来から、施工について高い品質で行われたか否か判定する技術がある。例えば特許文献１には、建設現場で評価対象物が含まれる画像を取得し、取得された画像に基づいて施工の良否を判断する技術が開示されている。このような技術を用いることで、画像に基づいて施工評価を行い、施工の結果を記録していくことが可能となる。

【0003】

このような技術では、画像を用いた良否判断における精度を担保するため等の理由で、撮影条件について細かい指示が作業者に対して行われていた。例えば、評価対象物を撮影する際に、シャッターを押す前の画面に枠が表示され、その枠の内側に評価対象物が位置するように指示する文字列が表示される。その他にも、評価対象物が正面を向くように指示が行われたり、評価対象物の画像が閾値以上の大きさで写っていることについて指示が行われたりする。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０２２－０３４４２８号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

このような指示は、楽な姿勢で撮影装置の画面を見ながら操作できる環境であれば、作業者もその指示に従って撮影することができるかもしれない。しかしながら、例えば浴室下のように暗くてうまく撮影することができない環境や、撮影装置の画面を見ながら撮影操作することが難しい環境では、そのような指示に従って撮影することは困難な場合があった。その場合、施工について評価する前に撮影の段階で作業に時間を長く要してしまうおそれがあった。このような問題は、画面を見ながら撮影することが難しい環境に限られた問題では無い。このような問題は、たとえ画面を見ながら撮影可能であっても、撮影者の体勢が苦しい場合など、適切な撮影が困難な状況全般に共通する問題である。

【0006】

本開示は、上述した事情に鑑みてなされたものであり、より容易な作業で施工品質について画像に基づいて判定することを可能とする情報処理方法、情報処理方法及びコンピュータープログラムを提供するものである。

【課題を解決するための手段】

【0007】

本開示の一態様は、撮影された処理対象画像を記録する記憶部と、前記記憶部に記録されている前記処理対象画像を用いて、前記処理対象画像において判定対象物が撮影されている領域である検査領域を取得し、前記検査領域に写っている前記判定対象物に関する施工の品質を判定し、前記検査領域の画質を判定する制御部と、を備える情報処理装置である。

【図面の簡単な説明】

【0008】

【図1】第一実施形態の判定システムのシステム構成を示す概略ブロック図である。

【図2】端末装置の機能構成の具体例を示す概略ブロック図である。

【図3】合格基準を満たす画像の具体例を示す図である。

【図4】合格基準を満たさない画像の具体例を示す図である。

【図5】合格基準を満たさない画像の具体例を示す図である。

【図6】処理対象画像と検査領域の画像との具体例を示す図である。

【図7】端末装置の処理の具体例を示すフローチャートである。

【図8】学習装置の機能構成の具体例を示す概略ブロック図である。

【図9】学習装置の処理の具体例を示すフローチャートである。

【図10】第二実施形態の判定システムのシステム構成を示す概略ブロック図である。

【図11】第二実施形態の端末装置の機能構成を示す概略ブロック図である。

【図12】判定装置の機能構成の具体例を示す概略ブロック図である。

【図13】情報処理装置のハードウェア構成例の概略を示す図である。

【図14】判定装置の変形例を示す図である。

【発明を実施するための形態】

【0009】

［第一実施形態］
判定システム１００は、判定対象物の品質を判定する際に使用される。以下、このように判定するための作業をする者を作業者と呼ぶ。判定対象物は、品質について判定が行われる物体であればどのような物であってもよい。本実施形態では、判定対象物は、作業者によって作業が行われる対象となる物体である。作業者が行う作業（以下「対象作業」という。）は、どのような作業であってもよい。対象作業は、例えば建築作業であってもよい。対象作業は、例えば建造作業であってもよい。対象作業は、例えば製造作業であってもよい。対象作業は、例えば建築物や建造物や製造物に対して物体を取り付ける作業であってもよい。対象作業は、例えば建築物や建造物や製造物に対して物体を設置する作業であってもよい。対象作業は、上述した具体例とは異なる作業であってもよい。

【0010】

対象作業が建築作業である場合には、判定対象物は例えば建築物の一部や全部である。対象作業が建造作業である場合には、判定対象物は例えば建造物の一部や全部である。対象作業が製造作業である場合には、判定対象物は例えば製造物の一部や全部である。対象作業が取り付ける作業である場合には、判定対象物は例えば取り付け作業が行われた部分や、取り付けられた物体である。対象作業が設置する作業である場合には、判定対象物は例えば設置作業が行われた部分や、設置された物体である。

【0011】

例えば、対象作業が浴槽を住宅に設置する作業である場合には、判定対象物は、浴槽の排水部位と排水ホースとの接合部であってもよい。例えば、対象作業が埋め込みコンセントの壁面への取り付け作業である場合には、判定対象物は、壁面に取り付けられた状態の埋め込みコンセントであってもよい。

【0012】

図１に示されるように、判定システム１００は、端末装置１０と学習装置２０と登録装置８０とを含む。端末装置１０と学習装置２０と登録装置８０とは、ネットワーク７０を介して通信可能に接続される。ネットワーク７０は、無線通信を用いたネットワークであってもよいし、有線通信を用いたネットワークであってもよい。ネットワーク７０は、例えばインターネットを用いて構成されてもよいし、ローカルエリアネットワーク（ＬＡＮ）を用いて構成されてもよい。ネットワーク７０は、複数のネットワークが組み合わされて構成されてもよい。

【0013】

端末装置１０は、例えばスマートフォン、タブレット、パーソナルコンピューター、専用機器などの情報機器を用いて構成される。図２に示されるように、端末装置１０は、通信部１１、操作部１２、出力部１３、画像入力部１４、記憶部１５及び制御部１６を備える。

【0014】

通信部１１は、通信機器である。通信部１１は、例えばネットワークインターフェースとして構成されてもよい。通信部１１は、制御部１６の制御に応じて、ネットワーク７０を介して他の装置とデータ通信する。通信部１１は、無線通信する装置であってもよいし、有線通信する装置であってもよい。

【0015】

操作部１２は、キーボード、ポインティングデバイス（マウス、ペンタブレット、タッチパネル等）、ボタン等の既存の入力装置を用いて構成される。操作部１２は、作業者の指示を端末装置１０に入力する際に作業者によって操作される。操作部１２は、入力装置を端末装置１０に接続するためのインターフェースであってもよい。この場合、操作部１２は、入力装置において作業者の入力に応じ生成された入力信号を端末装置１０に入力する。操作部１２は、マイク及び音声認識装置を用いて構成されてもよい。この場合、操作部１２は作業者によって発話された文言を音声認識し、認識結果の文字列情報を端末装置１０に入力する。この場合、操作部１２は音声の入力のみを行い、音声認識は制御部１６によって実行されてもよい。操作部１２は、作業者の指示を端末装置１０に入力可能な構成であればどのように構成されてもよい。

【0016】

出力部１３は、例えば液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ等の画像表示装置である。出力部１３は、画像表示装置を端末装置１０に接続するためのインターフェースであってもよい。この場合、出力部１３は、画像データを表示するための映像信号を生成し、自身に接続されている画像表示装置に映像信号を出力する。出力部１３は、さらに音声を出力する装置（例えばスピーカー）を用いて構成されてもよい。このように構成されることで、出力部１３は作業者に対して情報を出力する。

【0017】

画像入力部１４は、端末装置１０に対して入力される画像のデータを受け付ける。画像入力部１４は、例えばスチルカメラやビデオカメラ等の撮像装置として構成されてもよい。画像入力部１４は、端末装置１０と別装置のスチルカメラやビデオカメラによって撮像された画像を、カメラから取得してもよい。カメラから画像が取得される場合には、例えばＵＳＢケーブルやＬＡＮケーブル等の通信ケーブルを経由した有線通信が行われてもよいし、無線ＬＡＮやBlue Tooth等の無線通信が行われてもよい。画像入力部１４は、画像のデータの入力を受けることが可能な構成であれば、さらに異なる態様で構成されてもよい。画像入力部１４によって入力された画像のデータは、記憶部１５によって記憶されてもよい。

【0018】

記憶部１５は、磁気ハードディスク装置や半導体記憶装置等の記憶装置を用いて構成される。記憶部１５は、制御部１６によって使用されるデータを記憶する。記憶部１５は、制御部１６が処理を行う際に必要となるデータを記憶する。記憶部１５は、例えば画像入力部１４を介して入力された画像データを記憶してもよい。さらに、記憶部１５は、判定モデル記憶部１５１及び検査情報記憶部１５２として機能してもよい。

【0019】

判定モデル記憶部１５１は、判定モデルのデータを記憶する。判定モデル記憶部１５１が記憶する判定モデルの具体例として、例えば以下の３つの判定モデルがある。検査領域取得部１６２によって使用される判定モデル（以下「領域判定モデル」という。）、施工判定部１６３によって使用される判定モデル（以下「施工判定モデル」という。）、画質判定部１６４によって使用される判定モデル（以下「画質判定モデル」という。）。判定モデルは、例えば予め学習処理することによって得られた学習済モデルであってもよいし、パターンマッチング処理で使用されるパターンであってもよい。判定モデルとして使用される学習済モデルは、例えば学習装置２０によって生成されてもよい。

【0020】

領域判定モデルは、判定対象の画像において判定対象物が撮影されている領域（以下「検査領域」という。）を判定するために使用される。領域判定モデルは、例えば判定対象物が撮影された画像（例えば図３～図５に示される画像）を教師データとして予め学習処理することによって得られる学習済モデルであってもよい。領域判定モデルは、例えば判定対象物が撮影された画像と判定対象物が撮影されていない画像とそれぞれの正解ラベルとを教師データとして学習処理することによって得られる学習済モデルであってもよい。

【0021】

判定対象物が撮影された画像には、様々な角度や様々な背景で判定対象物が撮影されている画像が用いられることが好ましい。判定対象物が撮影された画像は、様々な品質の施工が行われた画像が用いられてもよい。判定対象物が撮影されていない画像として、誤認識されやすい物体や、過去に誤認識された実績のある物体などが撮影された画像が用いられてもよい。正解ラベルは、例えば判定対象物が画像内に撮影されているか否かを示す情報であってもよい。領域判定モデルは、例えば判定対象物の画像に関する特徴を示すパターンであってもよい。このようなパターンは、例えば判定対象物の画像に特有の色を示す情報であってもよいし、色の配置を示す情報であってもよいし、判定対象物の輪郭を示す情報であってもよいし、判定対象物の輪郭及び模様を示す情報であってもよい。

【0022】

施工判定モデルは、判定対象物が撮影されている画像を用いて、判定対象物に関して実施された施工の品質を判定するために使用される。施工判定モデルは、例えば判定対象物が撮影された画像（例えば図３～図５に示される画像）と正解ラベルとを教師データとして予め学習処理することによって得られる学習済モデルであってもよい。判定対象物が撮影された画像として検査領域の画像が用いられてもよい。

【0023】

正解ラベルは、例えばその画像に写った判定対象物に関する施工の品質を示す情報であってもよい。施工の品質を示す情報は、品質を示すスコアであってもよいし、品質によって分けられる複数の分類のうちどの分類に属するかを示す情報であってもよいし、合格基準を満たすか否かを示す情報であってもよい。品質によって分けられる分類は、例えば合格を示す分類と、不合格の原因を示す複数の分類と、を用いて構成されてもよい。不合格の原因を示す分類は、例えばホースが外れていること、所定の固定具（例えばクリップ）が正しく用いられていないこと等を示す分類であってもよい。例えば、図３の画像に対しては、正解ラベルとして合格基準を満たすことを示す正解ラベルが与えられる。例えば、図４の画像に対しては、正解ラベルとして合格基準を満たさない（不合格である）ことや、ホース無しの分類であることを示す正解ラベルが与えられる。例えば、図５の画像に対しては、正解ラベルとして合格基準を満たさない（不合格である）ことや、クリップ無しの分類であることを示す正解ラベルが与えられる。

【0024】

画質判定モデルは、検査領域の取得や施工判定に用いられた画像の画質を判定するために使用される。画質判定モデルは、例えば合格基準を満たす画質の画像と合格基準を満たさない画質の画像と正解ラベルとを教師データとして予め学習処理することによって得られる学習済モデルであってもよい。教師データとして用いられる画像は、例えば検査領域の画像であってもよい。正解ラベルは、画質を示すスコアであってもよいし、画質によって分けられる複数の分類のうちどの分類に属するかを示す情報であってもよいし、合格基準を満たすか否かを示す情報であってもよい。画質によって分けられる分類は、例えば合格を示す分類と、不合格の原因を示す複数の分類と、を用いて構成されてもよい。不合格の原因を示す分類は、例えば画像がボケていること、画像がブレていること、画像が明るすぎること、画像がくらすぎること等を示す分類であってもよい。

【0025】

画質判定モデルは、画像に関する合格基準を示す情報であってもよい。例えば、検査領域の画像についてボケていないことを示すパラメータの基準を満たしていることや、明るさが適切であることを示すパラメータの基準を満たしていることが画質判定モデルとして定義されてもよい。ボケていないことを示すパラメータの基準は、例えば画像に対して所定のラプラシアンフィルタをかけて得られる輪郭を表すピクセル数が所定の閾値を超えていること、のように定義されてもよい。明るさが適切であることを示すパラメータの基準は、検査領域の画像の輝度値の平均値が所定の範囲におさまっていること、のように定義されてもよい。

【0026】

制御部１６は、ＣＰＵ（Central Processing Unit）等のプロセッサーとメモリー（主記憶装置）とを用いて構成される。制御部１６は、プロセッサーがプログラムを実行することによって、情報制御部１６１、検査領域取得部１６２、施工判定部１６３及び画質判定部１６４として機能する。制御部１６の各機能の全て又は一部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されてもよい。上記のプログラムは、コンピューター読み取り可能な非一時的な記録媒体に記録されてもよい。コンピューター読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ、半導体記憶装置（例えばＳＳＤ：Solid State Drive）等の可搬媒体、コンピューターシステムに内蔵されるハードディスクや半導体記憶装置等の記憶装置である。上記のプログラムは、電気通信回線を介して送信されてもよい。

【0027】

制御部１６は、例えば予め自装置（端末装置１０）にインストールされたアプリケーションを実行してもよい。このようなアプリケーションの具体例として、判定システム１００の専用アプリケーションとして端末装置１０に提供されるアプリケーションがある。このようなアプリケーションの他の具体例として、ＷＥＢブラウザーのアプリケーションがある。制御部１６は、実行中のアプリケーションのプログラムにしたがって動作する。

【0028】

情報制御部１６１は、通信部１１を介して登録装置８０からデータを受信し、受信されたデータに応じた文字列や画像を出力部１３に表示してもよい。

【0029】

情報制御部１６１は、制御部１６が処理を実行するために必要となる情報を入力することを作業者に対して指示する文字や画像を有した画面データを生成する。情報制御部１６１は、生成した画面データを出力部１３に表示させる。情報制御部１６１は、例えば判定対象物を撮影することを指示してもよいし、既に撮影された画像の中から処理対象となる画像を選択することを指示してもよい。作業者は、操作部１２を操作することによってカメラで判定対象物を撮影してもよいし、既に撮影されている画像の中から処理対象となる画像を選択してもよい。情報制御部１６１は、処理の対象となる画像（以下「処理対象画像」という。）を取得すると、取得された処理対象画像を記憶部１５に記録する。処理対象画像は、いわゆるプレビューやライブビューのために撮像素子から出力される画像データではなく、撮影操作（例えば撮影ボタンの押下やセルフタイマー設定など）が行われることによって撮影されて記録装置に記録された画像データであってもよい。このような処理対象画像が、検査領域取得部１６２、施工判定部１６３及び画質判定部１６４の処理の対象として用いられる。

【0030】

情報制御部１６１は、作業者が操作部１２を操作することによって入力された検査情報（施工に関する検査結果を示す情報）を、検査情報記憶部１５２に記録してもよい。検査情報は、施工判定部１６３及び画質判定部１６４によって合格と判定された画像データを含む。検査情報に含まれる画像データは、検査領域及びその周囲の画像が含まれる画像であってもよいし、検査領域取得部１６２の処理によって取得された検査領域の画像であってもよい。情報制御部１６１は、通信部１１を介して検査情報を登録装置８０に送信する。

【0031】

検査領域取得部１６２は、検査領域取得処理を実行する。以下、検査領域取得処理について説明する。検査領域取得部１６２は、処理対象画像において検査領域を取得する。検査領域取得部１６２は、例えば判定モデル記憶部１５１に記憶される領域判定モデルを用いることによって、処理対象画像において検査領域を検出する。図６に示すように、検査領域取得部１６２は、処理対象画像７１において検査領域７２を検出する。検査領域取得部１６２は、例えば処理対象画像７１において判定対象領域を設定し、その判定対象領域が検査領域に該当するか否かを判定することによって検査領域７２を検出してもよい。

【0032】

判定対象領域は、大きさや位置を変化させて処理対象画像７１に設定されてもよい。大きさの変化は、例えば判定対象領域の縦の長さと横の長さとの比を保ったまま面積を変化させることによって実現されてもよい。位置の変化は、例えば画像の左上から所定距離（例えば１ピクセル、５ピクセルなど）ずつ右側にずらし、右端に到達した場合に所定距離（例えば１ピクセル、５ピクセルなど）下にずらして左端から右端へ向けて同様に位置をずらすことによって実現されてもよい。位置の変化の方法は上述したものに限定される必要はなく、処理対象画像７１の全体について判定を実施することが実現できればどのような方法によって行われてもよい。このように処理が実行されることによって、処理対象画像７１においてどのような位置にどのような大きさで判定対象物が撮影されていたとしても、判定対象物が写っている検査領域７２を検出することが可能となる。検査領域取得部１６２は、このようにして検出した領域を検査領域として取得する。

【0033】

施工判定部１６３は、施工判定処理を実行する。以下、施工判定処理について説明する。施工判定部１６３は、検査領域７２に含まれる画像を用いて、判定対象物に関して実施された施工の品質を判定する。施工判定部１６３は、例えば判定モデル記憶部１５１に記憶される施工判定モデルを用いることによって、施工の品質を判定する。

【0034】

画質判定部１６４は、画質判定処理を実行する。以下、画質判定処理について説明する。画質判定部１６４は、検査領域７２に含まれる画像の画質を判定する。画質判定部１６４は、例えば判定モデル記憶部１５１に記憶される画質判定モデルを用いることによって画質を判定する。

【0035】

図７を用いて端末装置１０の処理の具体例について説明する。まず、作業者は判定対象物を撮影して端末装置１０に処理対象画像を入力する。作業者は、例えば端末装置１０に一体的に組み込まれているカメラを用いて撮影してもよいし、端末装置１０とは別装置のカメラを用いて撮影してもよい。端末装置１０とは別装置のカメラが用いられた場合には、カメラによって撮影された処理対象画像は、有線通信や無線通信によって端末装置１０に送信されてもよい。端末装置１０の情報制御部１６１は、処理対象画像を取得する（ステップＳ１０１）。

【0036】

検査領域取得部１６２は、処理対象画像の中から検査領域を検出する（ステップＳ１０２）。処理対象画像の中から検査領域が検出されなかった場合（ステップＳ１０３－ＮＯ）、情報制御部１６１は出力部１３に再度撮影することを指示する画面を表示する（ステップＳ１０４）。このとき、情報制御部１６１は、スピーカーやヘッドフォン等の音声出力装置から、再度撮影することを指示する音声や、エラーを示す音響を出力してもよい。

【0037】

処理対象画像の中から検査領域が検出された場合（ステップＳ１０３－ＹＥＳ）、施工判定部１６３は、検査領域に写った判定対象物の画像に基づいて、判定対象物に関する施工の品質を判定する（ステップＳ１０５）。施工の品質が不合格である場合（ステップＳ１０６－ＮＯ）、情報制御部１６１は出力部１３に施工を修正することを指示する画面や施工の品質の分類を表示する（ステップＳ１０７）。このとき、情報制御部１６１は、スピーカーやヘッドフォン等の音声出力装置から、施工を修正することを指示する音声や、施工の品質を示す音声や、エラーを示す音響を出力してもよい。

【0038】

判定対象物に関する施工の品質が合格である場合（ステップＳ１０６－ＹＥＳ）、画質判定部１６４は、検査領域に写った判定対象物の画像の画質を判定する（ステップＳ１０８）。画質が不合格である場合（ステップＳ１０９－ＮＯ）、情報制御部１６１は出力部１３に再度撮影することを指示する画面や画質の分類を表示する（ステップＳ１０４）。このとき、情報制御部１６１は、スピーカーやヘッドフォン等の音声出力装置から、再度撮影することを指示する音声や、画質を示す音声や、エラーを示す音響を出力してもよい。

【0039】

検査領域に写った判定対象物の画像の画質が合格である場合（ステップＳ１０９－ＹＥＳ）、情報制御部１６１は、処理対象画像を記憶部１５に記録する（ステップＳ１１０）。情報制御部１６１は、検査領域に写った判定対象物の画像を切り出して保存してもよい。

【0040】

学習装置２０は、例えばパーソナルコンピューターやサーバー装置などの情報処理装置を用いて構成される。図８に示されるように、学習装置２０は、通信部２１、記憶部２２及び制御部２３を備える。

【0041】

通信部２１は、通信機器である。通信部２１は、例えばネットワークインターフェースとして構成されてもよい。通信部２１は、制御部２３の制御に応じて、ネットワーク７０を介して他の装置とデータ通信する。通信部２１は、無線通信する装置であってもよいし、有線通信する装置であってもよい。

【0042】

記憶部２２は、磁気ハードディスク装置や半導体記憶装置等の記憶装置を用いて構成される。記憶部２２は、制御部２３によって使用されるデータを記憶する。記憶部２２は、例えば学習データ記憶部２２１及び学習済モデル記憶部２２２として機能してもよい。

【0043】

学習データ記憶部２２１は、学習装置２０において実行される学習処理に用いられる学習データを記憶する。学習データ記憶部２２１が記憶する学習データは、例えば領域判定モデルの生成に用いられる教師データであってもよい。学習データ記憶部２２１が記憶する学習データは、例えば施工判定モデルの生成に用いられる教師データであってもよい。学習データ記憶部２２１が記憶する学習データは、例えば画質判定モデルの生成に用いられる教師データであってもよい。

【0044】

学習済モデル記憶部２２２は、学習データ記憶部２２１に記憶されている学習データを用いた学習処理によって得られる学習済モデルを記憶する。学習済モデル記憶部２２２が記憶する学習済モデルは、領域判定モデル、施工判定モデル及び画質判定モデルの全て又は一部であってもよい。

【0045】

制御部２３は、ＣＰＵ等のプロセッサーとメモリーとを用いて構成される。制御部２３は、プロセッサーがプログラムを実行することによって、情報制御部２３１及び学習制御部２３２として機能する。制御部２３の各機能の全て又は一部は、ＡＳＩＣやＰＬＤやＦＰＧＡ等のハードウェアを用いて実現されてもよい。上記のプログラムは、コンピューター読み取り可能な非一時的な記録媒体に記録されてもよい。コンピューター読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ、半導体記憶装置（例えばＳＳＤ）等の可搬媒体、コンピューターシステムに内蔵されるハードディスクや半導体記憶装置等の記憶装置である。上記のプログラムは、電気通信回線を介して送信されてもよい。

【0046】

情報制御部２３１は、情報の入出力を制御する。例えば、情報制御部２３１は、他の機器（情報処理装置や記憶媒体）から学習データを取得し、学習データ記憶部２２１に記録する。情報制御部２３１は、例えば対象物の製造ラインに設置された撮像装置から学習データに相当するデータを取得してもよい。例えば、情報制御部２３１は、学習済モデル記憶部２２２に記憶されている学習済モデルを、他の装置（例えば端末装置１０）に対して送信する。

【0047】

学習制御部２３２は、学習データ記憶部２２１に記憶されている学習データを用いて学習処理を実行する。このような学習処理の具体例として、例えば、サポートベクターマシンやニューラルネットワーク等の分類のための教師あり学習や回帰のための教師あり学習が用いられてもよい。学習制御部２３２は、例えば教師あり学習を行うことによって、入力される画像（例えば判定対象領域の画像）において、その画像内に判定対象物が含まれるか否かを判定するための学習済モデル（領域判定モデル）を生成する。学習制御部２３２は、例えば教師あり学習を行うことによって、入力される画像（例えば判定対象領域の画像）において、その画像内に写っている判定対象物に関する施工の品質を判定するための学習済モデル（施工判定モデル）を生成する。学習制御部２３２は、例えば教師あり学習を行うことによって、入力される画像（例えば判定対象領域の画像）において、その画像の画質を判定するための学習済モデル（画質判定モデル）を生成する。学習制御部２３２は、生成された学習済モデルを学習済モデル記憶部２２２に記録する。学習制御部２３２によって得られた学習済モデルは、例えば端末装置１０において実行されるプログラムに組み込まれる。

【0048】

図９を用いて学習装置２０の処理の具体例について説明する。まず、情報制御部２３１は学習データを取得する（ステップＳ２０１）。学習データは、例えば作業者によって入力されてもよいし、他の情報機器から通信によって取得されてもよいし、学習装置２０に接続された記録媒体から取得されてもよい。学習制御部２３２は、学習データを用いて学習処理を実行し、学習済モデルを学習済モデル記憶部２２２に記録する（ステップＳ２０２）。

【0049】

このように構成された第一実施形態の判定システム１００によれば、より容易な作業で施工品質について画像に基づいて判定することが可能となる。施工の具体例として、例えば部品同士を接着する作業、部品を組み付ける作業、部品を締め付ける作業などがある。これらの施工の作業の品質について、画像に基づいて判定を行うことが可能となる。具体的には以下の通りである。端末装置１０は、判定対象物の撮影にあたって、どのような状態の画像であっても作業者の操作に応じて撮影が行われる。その後に、撮影された画像において施工品質の判定が行われる。そのため、撮影が難しい施工環境であっても、作業者の撮影負担を軽減して施工品質の判定を行うことが可能となる。作業者が撮影を行えば施工品質についての判定が行われるため、施工品質の判定前に繰り返し撮影する必要がなく、作業者の撮影負担を軽減することが可能となる。

【0050】

第一実施形態の判定システム１００によれば、施工品質の判定が行われた後に、判定に用いられた画像の画質が判定される。画質が所定の基準を満たしていない場合には、作業者に対して再撮影が指示される。一方、画質が所定の基準を満たした場合には、その画像が記録される。そのため、判定に用いられる画像の品質を担保することができる。

【0051】

また、より具体的には以下のような効果も得られる。例えば浴室下のように暗くてうまく撮影することができない環境や、撮影装置の画面を見ながら撮影操作することが難しい環境では、撮影機器の画面に表示される指示に従って撮影することは困難な場合があった。その場合、なかなか指示に従った撮影を行うことができず、施工について評価する前にそもそも撮影の段階で作業に時間を長く要してしまうおそれがあった。同様の問題は、たとえ画面を見ながら撮影可能であっても、撮影者の体勢が苦しい場合など、適切な撮影が困難な状況全般に共通して生じうる問題である。このような問題に対し、第一実施形態の判定システム１００では、どのような状態の画像であっても作業者の操作に応じて撮影が行われる。その後に、撮影された画像において検査領域を取得する処理が実行される。そして、検査領域の画像に基づいて、判定対象物に関する施工の品質の判定と検査領域の画質の判定が行われる。そのため、画像を撮影する段階で作業が止まってしまうようなことを防止できる。さらに、画質判定の前に検査領域を取得する処理が実行され、取得された検査領域の画像について画質判定が行われる。そのため、検査領域とは関係のない箇所の画質に基づいて再撮影が指示されてしまう等の不必要な作業の発生を防止することが可能となる。

【0052】

（変形例）
上述した実施形態では、情報制御部１６１は画像データを含む検査情報を生成し登録装置８０に送信した。しかし、情報制御部１６１は、検査情報ではなく、施工判定部１６３及び画質判定部１６４によって合格と判定された画像データを、登録装置８０に送信してもよい。登録装置８０に送信される画像データは、検査領域及びその周囲の画像が含まれる画像であってもよいし、検査領域取得部１６２の処理によって取得された検査領域の画像であってもよい。この場合、情報制御部１６１は検査情報を生成しないように構成されてもよい。

【0053】

図７に示される処理の流れにおいて、ステップＳ１０５及びステップＳ１０６と、ステップＳ１０８及びステップＳ１０９の処理とは、実行される順序が逆になってもよい。すなわち、ステップＳ１０３の処理において検査領域が検出された場合には、ステップＳ１０８の画質判定処理が実行されてもよい。画質が合格であると判定された場合（ステップＳ１０９－ＹＥＳ）、ステップＳ１０５の施工判定処理が実行されてもよい。施工判定処理で施工品質が合格と判定された場合には（ステップＳ１０６－ＹＥＳ）、画像が保存されてもよい（ステップＳ１１０）。このような順で処理が実行される場合にも、上述したような効果が得られる。

【0054】

検査領域取得部１６２は、領域判定モデルを用いて検査領域を検出するのではなく、作業者の操作によって指定された領域を検査領域として取得してもよい。例えば以下のように検査領域取得部１６２が動作してもよい。まず、検査領域取得部１６２は、処理対象画像が入力されると、処理対象画像を出力部１３に表示する。作業者は、操作部１２を操作することによって、処理対象画像において判定対象物が映っている領域を検査領域として指定する。検査領域取得部１６２は、作業者によって指定された領域を検査領域として取得する。このように構成されることによって、より精度よく検査領域を取得することが可能となる。

【0055】

施工判定部１６３及び画質判定部１６４は、検査領域の画像を用いて判定処理を行うのではなく、処理対象画像全体の画像を用いて判定処理を行ってもよい。この場合、施工判定モデル及び画質判定モデルを生成する際に使用される学習データの画像は、検査領域部分の画像のみではなくその周囲の画像を含むものであってもよい。

【0056】

施工判定部１６３による判定結果が得られた画像を、新たに実施される学習処理に用いるように構成されてもよい。具体例は以下の通りである。学習装置２０の情報制御部２３１は、施工判定部１６３による判定結果が得られた画像と、その判定結果とを新たな学習データとして取得し、学習データ記憶部２２１に記録する。判定結果は正解ラベルとして用いられる。学習制御部２３２は、所定のタイミングで、学習データ記憶部２２１に新たに記録された学習データを用いて学習処理を実行する。このとき、過去に既に学習処理に用いられた学習データも再び使用されてもよい。このように、施工判定部１６３による判定結果が得られた画像及び判定結果を用いてさらに学習処理を行うことによって、より精度の高い学習済モデルを取得することが可能となる。この場合、学習制御部２３２によって新たに得られた学習済モデルは、端末装置１０の判定モデル記憶部１５１に記録されることによって、端末装置１０における処理の精度が向上する。

【0057】

［第二実施形態］
図１０に示されるように、第二実施形態の判定システム１００は、端末装置１０、学習装置２０及び判定装置３０を備える。端末装置１０と学習装置２０と判定装置３０とは、ネットワーク７０を介して通信可能に接続される。

【0058】

図１１に示されるように、第二実施形態の端末装置１０は、通信部１１、操作部１２、出力部１３、画像入力部１４、記憶部１５及び制御部１６を備える点で第一実施形態の端末装置１０と共通する。第二実施形態における制御部１６は、検査領域取得処理、施工判定処理、画質判定処理を実行せずに、入力された処理対象画像を判定装置３０に送信する。制御部１６は、判定装置３０から処理結果を受信すると、受信された処理結果を示す画面を出力部１３に表示する。受信される処理結果は、例えば検査領域取得処理の結果、施工判定処理の結果、画質判定処理の結果などである。

【0059】

判定装置３０は、例えばパーソナルコンピューターやサーバー装置などの情報処理装置を用いて構成される。図１２に示されるように、判定装置３０は、通信部３１、記憶部３２及び制御部３３を備える。

【0060】

通信部３１は、通信機器である。通信部３１は、例えばネットワークインターフェースとして構成されてもよい。通信部３１は、制御部３３の制御に応じて、ネットワーク７０を介して他の装置とデータ通信する。通信部３１は、無線通信を行う装置であってもよいし、有線通信を行う装置であってもよい。

【0061】

記憶部３２は、磁気ハードディスク装置や半導体記憶装置等の記憶装置を用いて構成される。記憶部３２は、制御部３３によって使用されるデータを記憶する。記憶部３２は、例えば判定モデル記憶部３２１及び検査情報記憶部３２２として機能してもよい。判定モデル記憶部３２１及び検査情報記憶部３２２は、それぞれ判定モデル記憶部１５１及び検査情報記憶部１５２と同様の情報を記憶する。ただし、検査情報記憶部３２２は、複数台の端末装置１０から送信された検査情報を記憶してもよい。

【0062】

制御部３３は、ＣＰＵ等のプロセッサーとメモリーとを用いて構成される。制御部３３は、プロセッサーがプログラムを実行することによって、情報制御部３３１、検査領域取得部３３２、施工判定部３３３及び画質判定部３３４として機能する。制御部３３の各機能の全て又は一部は、ＡＳＩＣやＰＬＤやＦＰＧＡ等のハードウェアを用いて実現されてもよい。上記のプログラムは、コンピューター読み取り可能な非一時的な記録媒体に記録されてもよい。コンピューター読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ、半導体記憶装置（例えばＳＳＤ）等の可搬媒体、コンピューターシステムに内蔵されるハードディスクや半導体記憶装置等の記憶装置である。上記のプログラムは、電気通信回線を介して送信されてもよい。

【0063】

情報制御部３３１は、端末装置１０等の他の装置から処理対象画像を取得する。情報制御部３３１は、制御部３３によって得られた取得結果や判定結果を示す情報を、端末装置１０等の他の装置に対して送信する。このような情報制御部３３１による他の装置との間の情報のやりとりは、例えば通信部３１による通信によって行われてもよい。

【0064】

検査領域取得部３３２、施工判定部３３３及び画質判定部３３４は、それぞれ第一実施形態における検査領域取得部１６２、施工判定部１６３及び画質判定部１６４と同様に機能する。第二実施形態の制御部３３の処理の流れは、図７に示されるフローチャートと基本的に同様である。ステップＳ１０４及びステップＳ１０７に示される出力は、それぞれ出力内容を示す情報を情報制御部３３１が端末装置１０に送信することによって、端末装置１０において行われる。

【0065】

このように構成された第二実施形態の判定システム１００によれば、第一実施形態の判定システム１００と同様の作用及び効果を得ることが可能であり、より容易な作業で施工品質について画像に基づいて判定することが可能となる。また、第二実施形態の判定システム１００は、第一実施形態の判定システム１００と同様に変形して構成されてもよい。その場合も、変形された第二実施形態の判定システム１００によれば、第一実施形態の判定システム１００の変形例と同様の作用及び効果を得ることが可能である。

【0066】

図１３に示されるように、情報処理装置９０は、プロセッサー９１、主記憶装置９２、通信インターフェース９３、補助記憶装置９４、入出力インターフェース９５及び内部バス９６を備える。プロセッサー９１、主記憶装置９２、通信インターフェース９３、補助記憶装置９４及び入出力インターフェース９５は、内部バス９６を介して互いに通信可能に接続される。情報処理装置９０は、例えば端末装置１０、学習装置２０及び判定装置３０に適用されてもよい。この場合、例えば通信部１１、通信部２１及び通信部３１は通信インターフェース９３を用いて構成されてもよい。例えば記憶部１５、記憶部２２及び記憶部３２は補助記憶装置９４を用いて構成されてもよい。制御部１６、制御部２３及び制御部３３は、プロセッサー９１及び主記憶装置９２を用いて構成されてもよい。操作部１２、出力部１３及び画像入力部１４は、入出力インターフェース９５を用いて構成されてもよい。

【0067】

本実施形態では、学習装置２０と判定装置３０とが異なる装置として構成されているが、一体の装置として構成されてもよい。図１４に示される判定装置３０の記憶部３２は、学習データ記憶部３２３としても機能する。図１４に示される判定装置３０の制御部３３は、学習制御部３３５としても機能する。学習データ記憶部３２３は、学習装置２０の学習データ記憶部２２１と同様に機能する。学習制御部３３５は、学習装置２０の学習制御部２３２と同様に機能する。

【0068】

学習装置２０は、複数の情報処理装置を用いて実装されてもよい。例えば、クラウド等の装置を用いて学習装置２０が実装されてもよい。例えば、学習装置２０において、記憶部２２と制御部２３とがそれぞれ異なる情報処理装置に実装されてもよい。例えば、学習装置２０の記憶部２２が複数の情報処理装置に分散して実装されてもよい。判定装置３０は、複数の情報処理装置を用いて実装されてもよい。例えば、クラウド等の装置を用いて判定装置３０が実装されてもよい。例えば、判定装置３０において、記憶部３２と制御部３３とがそれぞれ異なる情報処理装置に実装されてもよい。例えば、判定装置３０の記憶部３２が複数の情報処理装置に分散して実装されてもよい。

【0069】

以上、本開示の実施形態について図面を参照して詳述してきたが、本開示の具体的な構成はこの実施形態に限られるものではなく、本開示の要旨を逸脱しない範囲の設計等も含まれる。

【0070】

（１）撮影された処理対象画像を記録する記憶部と、前記記憶部に記録されている前記処理対象画像を用いて、前記処理対象画像において判定対象物が撮影されている領域である検査領域を取得し、前記検査領域に写っている前記判定対象物に関する施工の品質を判定し、前記検査領域の画質を判定する制御部と、を備える情報処理装置。

【0071】

（２）作業者に情報を出力する出力部をさらに備え、前記制御部は、前記検査領域の画質が所定の合格基準を満たさない場合、再度撮影を行うことを前記作業者に指示することを示す情報を前記出力部から出力する、（１）に記載の情報処理装置。

【0072】

（３）前記制御部は、前記施工の品質を判定した後に前記画質を判定する、請求項（１）又は（２）に記載の情報処理装置。

【0073】

（４）前記制御部は、前記処理対象画像のうち、前記施工の品質の判定対象となる物体である判定対象物が含まれている検査領域の画像を判定し、判定された前記検査領域の画像を用いて前記画質を判定する、（１）から（３）のいずれか一つに記載の情報処理装置。

【0074】

（５）前記制御部は、前記施工の品質が所定の合格基準を満たしている検査領域の画像と、前記施工の品質が所定の合格基準を満たしていない検査領域の画像と、各画像について合格基準を満たしているか否かを示す正解ラベルと、を用いて予め学習処理を行うことによって得られた学習済モデルを用いて、前記施工の品質を判定する、（１）から（４）のいずれか一つに記載の情報処理装置。

【符号の説明】

【0075】

１００…判定システム， １０…端末装置， １１…通信部， １２…操作部， １３…出力部， １４…画像入力部， １５…記憶部， １５１…判定モデル記憶部， １５２…検査情報記憶部， １６…制御部， １６１…情報制御部， １６２…検査領域取得部， １６３…施工判定部， １６４…画質判定部， ２０…学習装置， ２１…通信部， ２２…記憶部， ２２１…学習データ記憶部， ２２２…学習済モデル記憶部， ２３…制御部， ２３１…情報制御部， ２３２…学習制御部， ３０…判定装置， ３１…通信部， ３２…記憶部， ３２１…判定モデル記憶部， ３２２…検査情報記憶部， ３３…制御部， ３３１…情報制御部， ３３２…検査領域取得部， ３３３…施工判定部， ３３４…画質判定部， ７０…ネットワーク， ８０…登録装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】