特開 2024-168690 オブジェクト状態評価システム、オブジェクト状態評価方法、及びオブジェクト状態評価プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024168690

(43)【公開日】2024-12-05

(54)【発明の名称】オブジェクト状態評価システム、オブジェクト状態評価方法、及びオブジェクト状態評価プログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20241128BHJP

   G06V 10/82 20220101ALI20241128BHJP

【ＦＩ】

G06T7/00 300D

G06V10/82

【審査請求】未請求

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2023085572

(22)【出願日】2023-05-24

(71)【出願人】

【識別番号】000005108

【氏名又は名称】株式会社日立製作所

(74)【代理人】

【識別番号】110000279

【氏名又は名称】弁理士法人ウィルフォート国際特許事務所

(72)【発明者】

【氏名】チャブラ モヒト

(72)【発明者】

【氏名】佐々木 辰也

(72)【発明者】

【氏名】伊藤 良起

(72)【発明者】

【氏名】吉田 大輔

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA09

5L096DA03

5L096FA66

5L096FA67

5L096HA11

5L096JA09

5L096KA04

(57)【要約】

【課題】容易かつ適切にオブジェクトの状態を評価することができるようにする。
【解決手段】画像中のオブジェクトの状態を評価するオブジェクト状態評価システム１０において、プロセッサを有し、プロセッサを、評価対象のオブジェクトを含む画像を取得し、前記画像中の前記オブジェクトが第１の姿勢となっている評価用画像を生成し、前記評価用画像と、前記オブジェクトが所定の状態且つ前記第１の姿勢である判定用テンプレート画像とに基づいて、前記オブジェクトが前記所定の状態であるか否かを判定するように構成する。
【選択図】図１

【特許請求の範囲】

【請求項1】

画像中のオブジェクトの状態を評価するオブジェクト状態評価システムであって、
プロセッサを有し、
前記プロセッサは、
評価対象のオブジェクトを含む画像を取得し、
前記画像中の前記オブジェクトが第１の姿勢となっている評価用画像を生成し、
前記評価用画像と、前記オブジェクトが所定の状態且つ前記第１の姿勢である判定用テンプレート画像とに基づいて、前記オブジェクトが前記所定の状態であるか否かを判定する
オブジェクト状態評価システム。

【請求項2】

前記オブジェクトに対する制限に関わる制限情報を格納する記憶部を更に有し、
前記プロセッサは、
前記制限情報に基づいて、前記制限情報が示す制限に適合する状態のオブジェクトを示すテキスト情報を生成し、
前記テキスト情報と、前記オブジェクトの参考テンプレート画像とに基づいて、前記制限に適合する状態のオブジェクトに対応するテンプレート画像を前記判定用テンプレート画像として生成する
請求項１に記載のオブジェクト状態評価システム。

【請求項3】

前記プロセッサは、
ニューラルネットワークを用いて、前記判定用テンプレート画像を生成する
請求項２に記載のオブジェクト状態評価システム。

【請求項4】

前記プロセッサは、
前記オブジェクトが前記所定の状態でない場合に、所定の通知先にアラートを送信する
請求項１に記載のオブジェクト状態評価システム。

【請求項5】

前記プロセッサは、
前記画像に基づいて、前記オブジェクトを特定する情報である特定情報を抽出し、
前記特定情報に対応するオブジェクトの３Ｄモデルが存在するか否かを判定し、前記オブジェクトの３Ｄモデルが存在する場合に、前記３Ｄモデルに基づいて、前記オブジェクトが前記第１の姿勢となっている前記評価用画像を生成する
請求項１に記載のオブジェクト状態評価システム。

【請求項6】

前記プロセッサは、
前記特定情報に対応するオブジェクトの３Ｄモデルが存在しない場合に、前記画像の前記オブジェクトの部分画像に基づいて、前記オブジェクトの３Ｄメッシュとテクスチャとを予測し、前記３Ｄメッシュと前記テクスチャとに基づいて３Ｄモデルを作成し、作成した前記３Ｄモデルに基づいて、前記オブジェクトが前記第１の姿勢となっている前記評価用画像を生成する
請求項５に記載のオブジェクト状態評価システム。

【請求項7】

前記プロセッサは、
前記画像に基づいて、前記画像における前記オブジェクトの複数のポイントの座標を特定し、前記複数のポイントの深度を推定し、前記複数のポイントの深度に基づいて、前記オブジェクトの姿勢を特定し、前記特定した姿勢に基づいて、前記第１の姿勢となっている評価用画像を生成する
請求項１に記載のオブジェクト状態評価システム。

【請求項8】

前記プロセッサは、
前記画像に基づいて、前記画像の消失点を特定し、前記消失点に基づいて前記画像についてのカメラ行列を計算し、
前記カメラ行列を用いて、前記画像中のオブジェクトの複数のポイントの深度を推定する
請求項７に記載のオブジェクト状態評価システム。

【請求項9】

前記プロセッサは、
前記カメラ行列と、オブジェクトについての複数のビューの画像と、オブジェクトのメッシュとを用いて、前記画像中のオブジェクトのテクスチャを生成する
請求項８に記載のオブジェクト状態評価システム。

【請求項10】

前記オブジェクト状態評価システムは、
所定の状態が検出された場合に起動され、処理後に電源オフされる
請求項１に記載のオブジェクト状態評価システム。

【請求項11】

画像中のオブジェクトの状態を評価するオブジェクト状態評価システムによるオブジェクト状態評価方法であって、
前記オブジェクト状態評価システムは、
評価対象のオブジェクトを含む画像を取得し、
前記画像中の前記オブジェクトが第１の姿勢となっている評価用画像を生成し、
前記評価用画像と、前記オブジェクトが所定の状態且つ前記第１の姿勢である判定用テンプレート画像とに基づいて、前記オブジェクトが前記所定の状態であるか否かを判定する
オブジェクト状態評価方法。

【請求項12】

画像中のオブジェクトの状態を評価するオブジェクト状態評価システムを構成するコンピュータに実行させるためのオブジェクト状態評価プログラムであって、
前記コンピュータに、
評価対象のオブジェクトを含む画像を取得させ、
前記画像中の前記オブジェクトが第１の姿勢となっている評価用画像を生成させ、
前記評価用画像と、前記オブジェクトが所定の状態且つ前記第１の姿勢である判定用テンプレート画像とに基づいて、前記オブジェクトが前記所定の状態であるか否かを判定させる
オブジェクト状態評価プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、オブジェクトの状態を評価する技術に関する。

【背景技術】

【0002】

例えば、ビデオ分析システムによって分析されるオブジェクトの外観は、新しモデル、政策、設計が導入されるにつれて、経時的に変化することがある。例えば、オブジェクトの一例としての車両については、新しいモデルが投入されると、車両のモデルやデザインが時間とともに変更され、旧型車両は廃止される。車両は、改造されたり、損傷を受けたりし、また、天候状態に対して積載又は適合されることによりショールームのモデルと異なるように見えることがある。したがって、ビデオ分析システムにおいてすべての車両をカバーすることは困難である。

【0003】

また、現実世界においては、監視対象のオブジェクトは、他のオブジェクトによって遮られることもある。また、監視対象のオブジェクトを撮像するカメラの取付位置は、場所によって変化する可能性があり、カメラの取付位置や取付状態等により画像におけるオブジェクトの姿勢が変わってしまうことがある。このような場合においては、オブジェクトのマッチングにおいてテンプレートを使用することができないことが多い。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】米国特許第１０１７６４０５号明細書

【特許文献2】米国特許第９４３８８７８号明細書

【特許文献3】米国特許第９６０９３０７号明細書

【特許文献4】米国特許第１０７８９７１７号明細書

【特許文献5】米国特許第９６１３１３７号明細書

【特許文献6】米国特許第１０００７０２０号明細書

【特許文献7】中国特許第１０４１４９７１６号明細書

【特許文献8】欧州特許第２８１８３４０号明細書

【特許文献9】米国特許出願公開第２０１９／００９５８７７号明細書

【特許文献10】米国特許第７８８１８６５号明細書

【特許文献11】国際公開第２０２０／２６２５２０号

【特許文献12】米国特許第９０７６２７６号明細書

【特許文献13】米国特許第９２１８６９８号明細書

【非特許文献】

【0005】

【非特許文献1】‘Differentiable Volumetric Rendering: Learning Implicit 3D Representations Without 3D Supervision’. Niemeyer et. al CVPR 2020: 3501-3512

【発明の概要】

【発明が解決しようとする課題】

【0006】

例えば、非特許文献１には、形状およびテクスチャ表現を暗黙的に学習する方法が提案されている。この方法では、点ｕを通って方向ｗに沿って光線を投射することを提案している。ニューラルネットワークを使用して、占有確率を決定し、オブジェクト境界が開始する場所を決定し、確率が設定された閾値τよりも大きい点を呼び出す。また、ニューラルネットワークは、ｃ＝ｔ（）で表される赤、緑、青の色強度値を予測する。占有確率およびテクスチャは、画像マスク内の各点uについて予測される。しかしながら、この方法は、カメラパラメータが既知であり、出力を生成するために外因性パラメータと内因性パラメータの両方を必要とすることを前提とする。占有確率およびテクスチャ値は、ニューラルネットワークによって生成されたグローバル特徴上で条件付けされ、近傍ピクセルの深さおよびテクスチャを考慮に入れていない。このため、深度マップの平滑化を引き起こし、テクスチャを均一な強度のものに見せてしまう。

【0007】

３Ｄモデルや複数のビューを用いて物体の再識別を調べる技術が以下に示すように開示されている。

【0008】

特許文献１には、ニューラルネットワークを使用する車両再識別のための方法が提案されている。この方法では、まず、ニューラルネットワークを用いて視点を特定する。次いで、注意マップを使用して、マルチビュー表現を構築する。次いで、このマルチビュー表現は、車両を再識別するために、既存のマルチビュー表現と比較される。画像からの視点の直接分類には、異なるカメラパラメータによるモデルトレーニングが必要である。さらに、推論された視点は、すでにキャプチャされた視点とは異なり得る。視点分類および共通部分の注意ベースのマッチングにおけるより高い分解能は、多くの視点からより多くのデータサンプルを必要とする。複数の視点は、推論時に利用可能でないことがある。

【0009】

特許文献２には、シーン内の２Ｄオブジェクトの３Ｄモデルを取得する方法が提案されている。この方法では、各フレームにおいて、フレーム内のオブジェクトの位置及び向きが決定される。深度マップが生成され、このマップを使用して立体画像が生成される。３Ｄモデルは、観察下のオブジェクトに対して利用可能であるか、またはスキャナから取得可能であると仮定されている。この仮定は、必ずしも可能ではない。さらに、この方法は、カメラパラメータを知ることの難しさに対処していない。

【0010】

特許文献３には、機械学習を使用して３Ｄモデルが生成される場合における２Ｄビデオを３Ｄビデオへ変換する方法が提案されている。この方法は、カメラパラメータを推定せず、生成した３Ｄモデルを立体画像の構築に使用する。画像の視点が固定されていないので、カメラパラメータを供給せずに直接奥行きマップを推測するためにニューラルネットワークを使用すると、モデルがオーバーフィットする原因となり、不正確なメッシュ推定とマッチング結果を生成する可能性がある。

【0011】

特許文献４には、２Ｄ画像に見られる特徴点に対するメッシュ上の３次元特徴点の対応を学習することにより、移動物体の姿勢を学習する手法が提案されている。このアプローチは、カメラパラメータのフィッティングを開示するが、このアプローチは、既存のメッシュモデルにおける特徴点と、画像における特徴点との存在及びマッチングに依存する。このアプローチは、キャプチャされているオブジェクトのメッシュがトレーニングセットに存在しない場合、特徴点のマッチング誤差を増加させてしまう。異なる外観および形状に起因する特徴点のマッチングにおけるこれらの誤差は、凸凹の多い３Ｄモデルをもたらす可能性がある。

【0012】

特許文献５には、車の状態（オーナーシップ）をチェックするシステムを用いて、タグを用いた車両状態の識別についての方法が提案されており、この方法により盗難車の位置を特定することができる。しかし、タグベースの識別は、すべての車両上にセンサおよびタグをインストールすることが必要となる。

【0013】

特許文献６には、Ｘ線ベースの画像を用いた車両検査の方法が提案されている。この方法では、画像は、有効な状態を参照して比較される。

【0014】

特許文献７には、車両に搭載されたセンサを用いた故障診断のための遠隔車両診断システムが提案されている。

【0015】

特許文献８には、車輪径変化と高速タイヤバーストについての制御及び救助システムが提案されている。このシステムは、車両に搭載されたセンサを使用するため、システム全体の配備コストが増加する。

【0016】

特許文献９には、車両損傷検出のための画像認識システムを提案されている。このシステムは、損傷の有無の画像を備えた訓練セットの構築を必要とする。データを収集するために使用されるカメラ構成の使用は、システムをバイアスし、制御されない構成環境における適用可能性が制限されることがある。

【0017】

特許文献１０には、衝突検出予測を行うために車両の軌道及び挙動を必要とする衝突判定システムが提案されている。このような軌道は、アプリケーションが場所へのアクセスを監視するとき、または連続視線ビューが利用不可能であるとき、常に利用可能であるとは限らない場合がある。

【0018】

特許文献１１には、指定された幅制限に基づいて、自動車が自動運転レーンに入るのに適しているかどうかを検出するために、道路管理装置を提案している。実際には、これは、特定の視点における幅を検出するように、検出デバイスが訓練されることを必要とする。

【0019】

特許文献１２には、オークション記録、事故記録、車番号などの車両識別子情報を使用し、選択されたイベントについてユーザに警告する技術が提案されている。

【0020】

特許文献１３には、損傷検出のために車両センサデータを使用する技術が開示されている。この技術では、このようなデータへのアクセスを有していない操作者に対しての適用性を制限してしまう。

【0021】

本発明は、上記事情に鑑みなされたものであり、その目的は、容易かつ適切にオブジェクトの状態を評価することのできる技術を提供することにある。

【課題を解決するための手段】

【0022】

上記目的を達成するため、一観点に係るオブジェクト状態評価システムは、画像中のオブジェクトの状態を評価するオブジェクト状態評価システムであって、プロセッサを有し、前記プロセッサは、評価対象のオブジェクトを含む画像を取得し、前記画像中の前記オブジェクトが第１の姿勢となっている評価用画像を生成し、前記評価用画像と、前記オブジェクトが所定の状態且つ前記第１の姿勢である判定用テンプレート画像とに基づいて、前記オブジェクトが前記所定の状態であるか否かを判定する。

【発明の効果】

【0023】

本発明によれば、容易かつ適切にオブジェクトの状態を評価することができる。

【図面の簡単な説明】

【0024】

【図1】図１は、一実施形態に係る情報処理システムの全体構成図である。

【図2】図２は、一実施形態に係る情報処理システムにおける処理を説明する図である。

【図3】図３は、一実施形態に係るオブジェクト状態評価システムの処理の詳細を説明する図である。

【図4】図４は、一実施形態に係るオブジェクト状態評価システムの一部の処理を説明する図である。

【図5】図５は、一実施形態に係るテンプレート生成器の処理を説明する図である。

【図6】図６は、一実施形態に係るテンプレート生成器の処理の一例を説明する図である。

【図7】図７は、一実施形態に係るテンプレート生成器の処理の他の例を説明する図である。

【図8】図８は、一実施形態に係る生成モデルの一例を説明する図である。

【図9】図９は、一実施形態に係る生成モデルにおけるサンプリングプロセスを説明する図である。

【図10】図１０は、一実施形態に係るカメラ較正システムの処理を説明する図である。

【図11】図１１は、一実施形態に係るメッシュ及びテクスチャ予測システムの一部を説明する図である。

【図12】図１２は、一実施形態に係るメッシュ及びテクスチャ予測システムの他の部分を説明する図である。

【図13】図１３は、変形例に係るメッシュ及びテクスチャ予測システムのテクスチャ生成処理を説明する図である。

【図14】図１４は、一実施形態に係るオブジェクト状態評価システムのＧＵＩ画面を示す図である。

【図15】図１５は、一実施形態に係るオブジェクト状態評価システムを含むオブジェクトを追跡するためのオブジェクト追跡システムの構成図である。

【図16】図１６は、一実施形態に係るオブジェクト状態評価システムを含む基幹施設を管理するための基幹施設管理システムの構成図である。

【発明を実施するための形態】

【0025】

実施形態について、図面を参照して説明する。なお、以下に説明する実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態の中で説明されている諸要素及びその組み合わせの全てが発明の解決手段に必須であるとは限らない。

【0026】

図１は、一実施形態に係る情報処理システムの全体構成図である。図２は、一実施形態に係る情報処理システムにおける処理を説明する図である。

【0027】

情報処理システム１は、画像取得システム２と、オブジェクト状態評価システム１０と、表示システム３とを備える。

【0028】

画像取得システム２は、管理対象のインフラストラクチャ（基幹施設）や監視対象のエリアの画像を取得するシステムである。画像取得システム２は、ＲＧＢカメラ及び／又はサーマルカメラ等の画像を撮像するカメラと、カメラが取得した画像（フレーム画像）を画像取得システム２に送信する送信機とを含む。カメラは、管理対象のインフラストラクチャや監視対象のエリアに近接して配置される。

【0029】

オブジェクト状態評価システム１０は、例えば、プロセッサやメモリを有する１以上のコンピュータにより構成される。本実施形態では、オブジェクト状態評価システム１０は、クラウド上の１以上のサーバ等により構成されている。

【0030】

オブジェクト状態評価システム１０は、オブジェクト検出及び分割システム１１と、カメラ較正システム１２と、オブジェクト追跡システム１３と、画像レンダリングシステム１４と、画像マッチングシステム１５と、データベース１６と、テンプレート生成器１８とを含む。なお、オブジェクト状態評価システム１０において、テンプレート生成器１８は、必ずしも必須ではない。オブジェクト状態評価システム１０は、画像取得システム２が監視対象となるオブジェクトの存在を検出した場合にのみ起動され、それ以外の場合（処理が終わった場合等）には、電源オフされてもよい。

【0031】

オブジェクト検出及び分割システム１１は、画像取得システム２から取得した画像において、評価対象のオブジェクトを検出し、オブジェクトを分割する処理を行う。オブジェクト検出及び分割システム１１は、画像から、オブジェクトの属性を表すクラス（特定情報）、オブジェクトのスコア、オブジェクトを検出した座標（検出座標）、オブジェクトを分割する分割マスク、姿勢のキーポイント、深度を推定する。クラスはオブジェクトの種類を表し、例えば、オブジェクトが車の場合には、車の型式、モデル、車の色等である。スコアは、オブジェクトが予測したクラスであることの信頼度を表す。検出座標は、オブジェクトのポリゴン領域境界を表す。セグメンテーションマスクは、オブジェクトのインスタンスの存在／不在のピクセル単位の分類を表す。深度は、検出されたオブジェクトのインスタンスの各ピクセルについてのカメラからの距離（深さ）を表す。姿勢のキーポイントは、オブジェクトの姿勢を示す部位のピクセル座標を表す。

【0032】

オブジェクト検出及び分割システム１１は、例えば、Ｍａｓｋ－ＲＣＮＮ（Mask R-CNN. Kaiming He , Georgia Gkioxari, Piotr Dollar, Ross B. GirshickIEEE Trans. Pattern Anal. Mach. Intell. 42(2): 386-397 (2020) インターネット：URL=https://dblp.org/db/journals/pami/pami42.html#HeGDG20）)で記載されたモデルと同様のニューラルネットワークモデルに対して、検出座標、スコア、クラス、分割マスクに加えて、深度及びオブジェクトの姿勢を予測するための追加のヘッドを追加したものとしてもよい。

【0033】

カメラ較正システム１２は、検出されたオブジェクトの姿勢のキーポイントを用いて、３次元座標（３Ｄ座標）を画像中の座標に変換するカメラ行列を生成する。このカメラ行列は、検出されたオブジェクトの３Ｄ表現を生成するために使用される。

【0034】

オブジェクト追跡システム１３は、オブジェクト検出及び分割システム１１から出力されたスコア、分割マスク、検出座標、及びクラスを用いて、検出されたオブジェクトを追跡する。オブジェクト追跡システム１３は、フレーム画像から検出された全てのオブジェクトのインスタンスに対して、一意に識別するためのトラックＩＤを割り当て、トラックＩＤとそのオブジェクトのクラスとを出力する。

【0035】

画像レンダリングシステム１４は、メッシュ及びテクスチャ予測システム２１と、レンダリングシステム２２と、精錬システム２３とを含む。画像レンダリングシステム１４は、トラックＩＤとクラスとに基づいて、対応するオブジェクトの３Ｄモデルが利用可能か否かを判定する。

【0036】

メッシュ及びテクスチャ予測システム２１は、対応するオブジェクトの３Ｄモデルが利用可能でない場合に、３Ｄモデルを生成するために、オブジェクトの３Ｄメッシュと、テクスチャとを予測する。メッシュ及びテクスチャ予測システム２１は、オブジェクトの３Ｄメッシュをより正確に生成するために、カメラ較正システム１２により生成されたカメラ行列を使用してもよい。

【0037】

レンダリングシステム２２は、対応するオブジェクトの３Ｄモデルを用いて所定の姿勢のオブジェクトの合成画像（レンダリング済み画像：評価用画像）を生成する。

【0038】

精錬システム２３は、レンダリングシステム２２により生成された合成画像を精錬又は様式化して出力する。なお、精錬システム２３は、レンダリングシステム２２が生成した合成画像をそのまま次の処理に渡してもよい。

【0039】

データベース１６は、各種情報を格納する。本実施形態では、データベース１６は、オブジェクトの画像とマッチングするためのテンプレート１７（テンプレート画像）を格納する。

【0040】

テンプレート生成器１８は、対象のオブジェクトの画像とマッチングするための所定の状態且つ所定の姿勢のテンプレートを作成する。

【0041】

画像マッチングシステム１５は、テンプレート生成器１８が作成したテンプレート又はデータベース１６のテンプレートと、対象のオブジェクトの画像と、の間の特徴類似性を使用して、テンプレートのオブジェクトと、画像のオブジェクトとの間の色、車の型式、モデル、外観類似性等の一致属性を推定し、一致又は不一致の特徴と、テンプレートとの類似性と、を含む評価結果を出力する。なお、特定のオブジェクトを再識別する場合には、テンプレートは、そのオブジェクトの以前に取得された画像であってもよい。

【0042】

表示システム３は、オブジェクト状態評価システム１０による画像中のオブジェクトの状態の評価結果（一致属性）に基づいて各種情報を表示（出力）する。表示システム３は、評価結果を表示してもよく、評価結果に応じてアラートを表示してもよい。なお、表示システム３の出力は、クラウドアプリケーション２４への入力として使用されてもよく、後に使うためにデータベース１６に格納されてもよい。

【0043】

図３は、一実施形態に係るオブジェクト状態評価システムの処理の詳細を説明する図である。

【0044】

オブジェクト検出及び分割システム１１は、入力された画像３０からオブジェクトを検出し、オブジェクトのクラス、姿勢を特定して出力するとともに、画像３０からオブジェクトを含む部分画像を切り出した分割済画像３１を出力する。

【0045】

画像レンダリングシステム１４は、クラスに基づいて、対応するオブジェクトの３Ｄモデルが利用可能か否かを判定する（Ｓ１１）。

【0046】

この結果、対応するオブジェクトの３Ｄモデルが利用可能である場合（Ｓ１１：Ｙｅｓ）には、レンダリングシステム２２は、利用可能な３Ｄモデルを使用して所定の姿勢（例えば、テンプレートにおいて想定されている姿勢：第１の姿勢）のオブジェクトの合成画像を生成する。

【0047】

一方、対応するオブジェクトの３Ｄモデルが利用可能でない場合（Ｓ１１：Ｎｏ）には、メッシュ及びテクスチャ予測システム２１は、姿勢、分割済画像等を使用して、オブジェクトの３Ｄメッシュと、テクスチャとを予測し、予測した３Ｄメッシュとテクスチャとに基づいてオブジェクトの３Ｄモデルを生成する。なお、この場合には、レンダリングシステム２２は、メッシュ及びテクスチャ予測システム２１により生成された３Ｄモデルを使用して、所定の姿勢（第１の姿勢）のオブジェクトの合成画像を生成する。

【0048】

精錬システム２３の一例である生成モデル３３は、レンダリングシステム２２により生成された合成画像を精錬化する処理を行う。生成モデル３３は、合成画像のスタイルを所定のスタイル（ユーザが指定したスタイル又はデフォルトのスタイル）に変換する。また、生成モデル３３は、画像内の詳細を抑制又は強調するために使用されてもよい。また、生成モデル３３は、オブジェクトのクラスに従って処理を行ってもよい。生成モデル３３としては、例えば、文献（Null-text Inversion for Editing Real Images using Guided Diffusion Models. CoRR abs/2211.09794, Ron Mokady, Amir Hertz, Kfir Aberman, Yael Pritch, Daniel Cohen-Or, （URL=https://dblp.org/db/journals/corr/corr2211.html#abs-2211-09794））に記載のテキスト条件付き拡散モデルであってもよい。

【0049】

画像マッチングシステム１５の特徴抽出器（特徴抽出モデル）３５は、レンダリングシステム２２により生成された合成画像、又は生成モデル３３で変換された合成画像（Ｓ１２）を入力として合成画像の特徴を抽出するとともに、データベース１６に格納されているテンプレート又はテンプレート生成器１８により作成されたテンプレートの特徴を抽出する。画像マッチングシステム１５は、合成画像とテンプレートとの特徴をユークリッド空間で比較し、ユークリッド空間での距離が閾値以下であるか否かを判定し（Ｓ１３）、閾値以下である場合（Ｓ１３：Ｙｅｓ）には、同じであると判定し、閾値以下でない場合（Ｓ１３：Ｎｏ）には、異なると判定する。

【0050】

図４は、一実施形態に係るオブジェクト状態評価システムの一部の処理の具体例を説明する図である。

【0051】

例えば、画像４１がピックアップトラックである場合において、このピックアップトラックの３Ｄモデルが利用可能でない場合（Ｓ１１：Ｎｏ）には、メッシュ及びテクスチャ予測システム２１は、姿勢、画像４１等を使用して、メッシュ４２と、テクスチャ４３とを予測する。次いで、レンダリングシステム２２は、生成されたメッシュ４２及びテクスチャ４３を入力として、３Ｄモデルを作成し、３Ｄモデルを用いて、所望の姿勢のピックアップトラックの画像４４を生成し、テクスチャ４３を適用することにより、テクスチャが反映された所定の姿勢のピックアップトラックの画像４５を生成する。

【0052】

図５は、一実施形態に係るテンプレート生成器の処理を説明する図である。

【0053】

テンプレート生成器１８は、ローカルルール規則記憶部５１と、クラウドベースルールプロセッサ５２と、テキストルール生成器５３と、３Ｄモデル生成器５４と、生成モデル５５とを含む。

【0054】

ローカルルール規則記憶部５１は、画像取得システム２のカメラが監視対象としている地域におけるルールや規則（地理的ルール、地域管理ルール、時間や時期依存ルール等）、これらに関係する情報等を記憶する。

【0055】

クラウドベースルールプロセッサ５２は、ローカルルール規則記憶部５１における情報を解析し、監視対象の地域のオブジェクトに対する制限に関わる情報（制限情報）を取得する。

【0056】

テキストルール生成器５３は、クラウドベースルールプロセッサ５２が取得した情報に基づいて、オブジェクトに対する制限を満たす状態を表すテキストルール（テキスト情報）を生成する。

【0057】

テンプレート生成器１８は、テキストルールに対応するオブジェクトの３Ｄモデルが利用可能か否かを判定する（Ｓ５１）。

【0058】

３Ｄモデルが利用可能である場合（Ｓ５１：Ｙｅｓ）には、３Ｄモデル生成器５４は、３Ｄモデルを使用して所定の姿勢のオブジェクトに対応するテンプレート（判定用テンプレート画像）を生成する。

【0059】

一方、３Ｄモデルが利用可能でない場合（Ｓ５１：Ｎｏ）には、生成モデル５５は、テキストルールを入力して、テキストルールに対応する所定の姿勢のオブジェクトに対応するテンプレート（判定用テンプレート画像）を生成する。

【0060】

次に、テンプレート生成器１８の処理の具体例について説明する。

【0061】

図６は、一実施形態に係るテンプレート生成器の処理の一例を説明する図である。

【0062】

ここで、ローカルルール規則記憶部５１には、監視対象の地域には積雪があり、この地域において車両はスノーチェーンの使用が要求されることが記憶されている。なお、具体的な情報としては、例えば、監視対象の地域に積雪があることと、積雪の場合には車両に対してスノーチェーンの使用が要求されることとは、別々に管理されていることもある。

【0063】

クラウドベースルールプロセッサ５２は、ローカルルール規則記憶部５１の情報から、監視対象の地域における現在において制限されるルールを解析する。具体的には、クラウドベースルールプロセッサ５２は、監視対象の地域に積雪があることと、積雪の場合には車両にスノーチェーンの使用が要求されることとから、監視対象の地域には積雪があり、この地域において車両はスノーチェーンの使用が要求されることを解析する。

【0064】

テキストルール生成器５３は、クラウドベースルールプロセッサ５２による解析情報から、オブジェクトに必要な属性を意味するテキストルールを作成する。テキストルールの形式として、例えば、＜車両タイプ＞＋ｗｉｔｈ＋＜属性＞である。テキストルール生成器５３は、オブジェクトの車両タイプがピックアップトラックである場合には、「Ｐｉｃｋ ｕｐ ｔｒｕｃｋ ｗｉｔｈ ｃｈａｉｎｓ ｏｎ ｔｙｒｅｓ」とのテキストルール６１を生成する。

【0065】

生成モデル５５は、条件付き画像（参考テンプレート画像）６２と、テキストルール６１とを入力して、テキストルール６１に従うテンプレート６３、すなわち、ピックアップトラックであってチェーンが使用されているテンプレートを生成する。

【0066】

図７は、一実施形態に係るテンプレート生成器の処理の他の例を説明する図である。

【0067】

ここで、ローカルルール規則記憶部５１には、監視対象が森林地帯であり、不法な伐木積載を検出することが望まれていることが記憶されている。

【0068】

クラウドベースルールプロセッサ５２は、ローカルルール規則記憶部５１の情報から、監視対象の地域における現在において制限されるルールを解析する。具体的には、クラウドベースルールプロセッサ５２は、監視対象が森林地帯であり、不法な伐木積載でないことを解析する。

【0069】

テキストルール生成器５３は、クラウドベースルールプロセッサ５２による解析情報から、オブジェクトに必要な属性を意味するテキストルールを作成する。テキストルールの形式として、例えば、＜車両タイプ＞＋ｗｉｔｈ＋＜属性＞である。テキストルール生成器５３は、オブジェクトの車両タイプがピックアップトラックである場合には、「Ｐｉｃｋ ｕｐ ｔｒｕｃｋ ｗｉｔｈ ｌｏａｄｅｄ ｌｏｇｓ」とのテキストルール７１を生成する。

【0070】

生成モデル５５は、条件付き画像６２と、テキストルール７１とを入力して、テキストルール７１に従うテンプレート７３、すなわち、ピックアップトラックであって伐木積載が適切であるテンプレートを生成する。

【0071】

図８は、一実施形態に係る生成モデルの一例を説明する図である。

【0072】

生成モデル５５は、エンコーダ１３１と、前進拡散部１３２と、ニューラルネットワーク１３３と、ニューラルネットワーク１３４と、エンコーダデコーダモデル群１３５と、デコーダ１３６と、を含む。エンコーダ１３１は、画像Ｘを特徴Ｚにエンコードする。前進拡散部１３２は、特徴ＺにＴステップのノイズを追加し、Ｚ_Ｔを生成する。

【0073】

ニューラルネットワーク１３３は、トークン化されたテキスト記述を入力としてテキスト埋め込みを生成する。ニューラルネットワーク１３４は、ヌルテキストをトークン化し、ヌルテキスト埋め込みを生成する。

【0074】

エンコーダデコーダモデル群１３５は、同じモデルであるエンコーダデコーダモデル１３５Ａ，１３５Ｂを有する。エンコーダデコーダモデル１３５Ａは、特徴Ｚｔと、テキスト埋め込み、及びタイムステップを入力し、埋め込みのノイズを除去する。エンコーダデコーダモデル１３５Ｂは、特徴Ｚｔと、ヌルテキスト埋め込み、及びタイムステップを入力し、埋め込みのノイズを除去する。エンコーダデコーダモデル１３５Ａとエンコーダデコーダモデル１３５Ｂとの処理は、複数のタイムステップについて、並行して又は直列で実行することができる。最終ステップで生成された埋め込みは、再度重み付けされ、潜在空間において結合され、デコーダ１３６に入力される。デコーダ１３６は、結合された埋め込みを合成画像ｘ＾を生成する。

【0075】

図９は、一実施形態に係る生成モデルにおけるサンプリングプロセスを説明する図である。

【0076】

図９は、拡散ベースの生成モデル５５の逆サンプリングプロセスのためのグラフィックモデルを示している。この逆サンプリングプロセスは、文献（Null-text Inversion for Editing Real Images using Guided Diffusion Models. Ron Mokady, Amir Hertz, Kfir Aberman, Yael Pritch, Daniel Cohen-Or:CoRR abs/2211.09794 (2022)（URL=https://dblp.org/db/journals/corr/corr2211.html#abs-2211-09794））に記載の逆拡散プロセスと同様である。

【0077】

サンプリングステップは、インデックスＴで表される。インデックス０は、ノイズ除去されたサンプルを示し、インデックスＴは、Ｔステップ後の負荷的なノイズを有するサンプルを表す。

【0078】

標準的な拡散反転処理を使用すると、Ｚ^＊で表される埋め込みベクトルが生成される。上記文献に提示されたアプローチを使用すると、変数Ｚ^－ _ｔで表される埋め込み軌道が生成される。本実施形態では、軌道Ｚ^－－ _ｔ（図では、Ｚの上に－が２重）が生成される。

【0079】

ヌルテキスト反転では、オリジナルの拡散軌道Ｚ＊に近いまま維持しようとするが、本実施形態では、マスクで指定された領域が低い再構成ロスを有するトレードオフに対する要求を緩和する。ロスは、式（１）に示すように表される。

【0080】

【数1】

【0081】

ここで、Φ_ｔは、ヌルテキスト＝“”の埋め込みを示し、Ｚ_ｔは、ノイズ除去拡散暗黙モデル（ＤＤＩＭ）の軌道がたどられるときのステップｔで符号化されるにおけるノイズが含まれたサンプルを符号化したものを示し、Ｚ^－－ _ｔは、ヌル埋め込みを生成するネットワークのパラメータに関して上述の最小化が行われたときの雑音符号化されたサンプルを示し、Ｃは、条件付けに使用される指定されたテキストの埋め込みを示し、ｆ_γは、パラメータγを有する分類モデルを示し、ｐはデコーダモデルの出力を示し、Ｉ_{（ｍａｓｋ）}は、編集対象のユーザが定義したマスク画像を示し、Ｉ_{（ｉｎｉｔｉａｌ）}は、編集対象の画像を示し、αは、定数パラメータを示し、βは、定数パラメータを示す。図８のニューラルネットワーク１３３と、ニューラルネットワーク１３４とは、式（１）のロス関数を用いて学習される。

【0082】

図１０は、一実施形態に係るカメラ較正システムの処理を説明する図である。

【0083】

カメラ較正システム１２は、ワールド座標系の３Ｄ座標をピンホールカメラによるカメラ画像８１における２Ｄ座標にマップするカメラ行列を推定する。ワールド座標系では、平行線は交差しませんが、カメラ画像の座標系では、平行線は、点（消失点）に収束する。カメラ較正システム１２は、平行であることが知られているオブジェクトの部位（例えば、車のトップループのコーナー等）に対応するキーポイントを画像から選択し、これらに基づく平行線のペアに基づいて消失点を認識する。カメラ較正システム１２は、認識した消失点に基づいてカメラの校正（キャリブレーション）を行う。

【0084】

消失点を用いたキャリブレーションの方法としては、例えば、文献（Camera calibration with two or three vanishing points: Radu Orghidan, Joaquim Salvi, Mihaela Gordan, Bogdan Orza: FedCSIS 2012: 123-130 (URL=https://annals-csis.org/proceedings/2012/pliks/110.pdf）)や文献（Using vanishing points for camera calibration. Int. J. Comput. Vis. 4(2): 127-139 (1990)(URL=https://dblp.org/db/journals/ijcv/ijcv4.html#CaprileT90)）に記載されている。

【0085】

図１１は、一実施形態に係るメッシュ及びテクスチャ予測システムの一部を説明する図である。

【0086】

文献（Differentiable Volumetric Rendering: Learning Implicit 3D Representations Without 3D Supervision. Michael Niemeyer, Lars M. Mescheder, Michael Oechsle, Andreas Geiger:CVPR 2020: 3501-3512, （URL＝https://dblp.org/db/conf/cvpr/cvpr2020.html#NiemeyerMOG20））では、畳み込みニューラル ネットワークを使用してグローバルコンテキスト埋め込みを生成しているのに対して、本実施形態のメッシュ及びテクスチャ予測システム２１は、画像９１におけるパッチのため埋め込みベクトルを検出する機構をアテンションベースの構成としている。

【0087】

メッシュ及びテクスチャ予測システム２１は、検出器９２と、線形プロジェクトマトリックス９６と、コンテキスト埋め込み生成部９８とを含む。検出器９２は、例えば、ニューラルネットワークモデルであり、画像９１からオブジェクトのインスタンスのクラスを検出する。

【0088】

線形プロジェクトマトリックス９６には、画像９１が分割されたパッチ群９４と、パッチに対応する位置埋め込み９５が入力される。線形プロジェクトマトリックス９６は、各パッチの特徴（パッチ特徴９７）を出力する。

【0089】

コンテキスト埋め込み生成部９８は、スケール化されたドット積アテンション９９と、標準化部１００と、ＭＬＰ（多層パーセプトロン）１０１とを含み、検出器９２で検出されたクラス埋め込み９３と、パッチ特徴９７とを入力として、コンテキスト埋め込みＺを生成する。

【0090】

図１２は、一実施形態に係るメッシュ及びテクスチャ予測システムの他の部分を説明する図である。

【0091】

メッシュ及びテクスチャ予測システム２１は、レイキャスティング部１１１と、深度及びテクスチャ予測モデル１１２とを更に含む。

【0092】

レイキャスティング部１１１は、カメラ行列と画像１１０とを入力し、画像のピクセルｕから光を投影し、光線に沿ったオブジェクトの体積領域に存在するワールド座標を計算する。

【0093】

深度及びテクスチャ予測モデル１１２は、レイキャスティング部１１１により計算されたワールド座標と、コンテキスト埋め込み生成部９８で生成されたコンテキスト埋め込みとを用いて、インスタンス内部にある座標についての色及び確率を予測し、インスタンスの各入力ピクセルについてのタプル（ｄ（ｄｅｐｔｈ），Ｒ（ｒｅｄ），Ｇ（ｇｒｅｅｎ），Ｂ（ｂｌｕｅ））を出力する。

【0094】

図１３は、変形例に係るメッシュ及びテクスチャ予測システムのテクスチャ生成処理を説明する図である。

【0095】

上記実施形態では、図１２に示す構成によりテクスチャを予測するようにしていたが、テクスチャについては、図１３に示すテクスチャ生成モデル１２１により予測してもよい。

【0096】

テクスチャ生成モデル１２１は、多層ニューラルネットワークモデルであってもよく、マルチヘッドアテンションを含んでもよい。テクスチャ生成モデル１２１は、カメラ行列と、メッシュと、複数のビューの画像とを入力として、テクスチャフィールド１２２の複数のピクセル位置についてのＲＧＢの値または強度値を予測する。

【0097】

図１４は、一実施形態に係るオブジェクト状態評価システムのＧＵＩ画面を示す図である。

【0098】

ＧＵＩ画面２００は、デバイス選択領域２０１と、モード選択領域２０２と、ルール更新選択領域２０３と、マッチング方法選択領域２０４と、画像選択領域２０５と、テキストプロンプト２０６と、カスタムルール選択領域２０７と、推測済３Ｄモデル表示領域２０８と、３Ｄモデル編集ボタン２０９と、カスタム改良選択領域２１０と、場所選択領域２１１と、警報表示領域２１２と、属性表示領域２１３と、上位一致表示領域２１４と、を含む。

【0099】

デバイス選択領域２０１は、解析する対象とする画像取得システム２を選択するための領域である。モード選択領域２０２は、アクセス管理、トラッキング、検索等のアプリケーションケースを選択する領域である。この領域で選択又は許可されたケースに基づいて、ＧＵＩ画面２００の表示部品がアクティブ又は非アクティブに変更される。また、ケースに基づいて、処理のフローを追加又は迂回することにより、システムの処理を修正してもよい。システムの処理は、どのように出力が視覚化されて使用され、他のグラフィカルインターフェースを開くために使用されるように制御する。

【0100】

ルール更新選択領域２０３は、テンプレート生成器１８におけるテンプレートの生成、精錬システム２３の画像合成等におけるテキスト記述のソースを選択するための領域である。マッチング方法選択領域２０４は、特徴の類似度を選択し、画像マッチングシステム１５の振る舞いを変更させるための領域である。画像選択領域２０５は、テンプレートを合成する際の条件付き画像を選択するための領域である。テキストプロンプト２０６は、テンプレートの画像の条件付き合成のためのテキストプロンプトを入力する領域である。

【0101】

カスタムルール選択領域２０７は、グラフィカルノードベースのテキストを生成するための領域である。この領域を使うことにより、グラフィカルノードの接続を使用して、条件付き合成のテキスト記述を生成するスクリプトを作成することができる。推測済３Ｄモデル表示領域２０８には、生成された３Ｄモデルが表示される。３Ｄモデル編集ボタン２０９は、合成された３Ｄモデルを編集、再生成するためのボタンである。なお、外部の３Ｄモデルを提供したり、既存又は合成されたモデルを編集したりするために使用することもできる。カスタム改良選択領域２１０は、精錬システム２３にける、描画されたイメージについての精錬戦略を選択する領域である。場所選択領域２１１は、解析が行われる画像の取得場所を選択する領域である。

【0102】

警報表示領域２１２は、表示システム３において検出された警報が表示される領域である。属性表示領域２１３は、分析されたオブジェクトのユニークＩＤと、属性が表示される領域である。上位一致表示領域２１４は、検索されたオブジェクトにおける上位一致したオブジェクトとそのスコアを表示する領域である。

【0103】

図１５は、一実施形態に係るオブジェクト状態評価システムを含むオブジェクトを追跡するためのオブジェクト追跡システムの構成図である。

【0104】

オブジェクト追跡システム３００は、オブジェクトを追跡するためのシステムであり、複数の箇所に配置された監視装置３０１（３０１Ａ，３０１Ｂ，３０１Ｃ等）と、受信機３０４と、データベース（ＤＢ）５と、アラート生成システム４と、オブジェクト状態評価システム１０とを含む。

【0105】

監視装置３０１は、配置箇所の所定の領域を撮影するカメラ３０３（３０３Ａ，３０３Ｂ，３０３Ｃ）と、カメラ３０３で撮影された画像を送信する送信機３０２（３０２Ａ，３０２Ｂ，３０３Ｃ）とを含む。

【0106】

受信機３０４は、送信機３０２から送信されるオブジェクトの画像を受信し、画像をＤＢ５に格納するとともに、オブジェクト状態評価システム１０に渡す。

【0107】

オブジェクト状態評価システム１０は、受信機３０４又はＤＢ５から取得したオブジェクトの画像を用いて、対象となるオブジェクトについてのマッチングを行うことによりオブジェクトの位置を追跡し、その情報をアラート生成システム４に通知する。アラート生成システム４は、対象となるオブジェクトの位置を示す警報を通知先となっている所定の表示装置に表示させる。

【0108】

オブジェクト追跡システム３００によると、異なる監視装置３０１のカメラ３０３で撮影されたオブジェクトの姿勢が異なっていても、オブジェクト状態評価システム１０では、テンプレートに対応する姿勢のオブジェクトの合成画像を生成する。これにより、適切にオブジェクトのマッチングを行うことができ、適切にオブジェクトの位置を追跡することができる。

【0109】

図１６は、一実施形態に係るオブジェクト状態間システムを含む基幹施設を管理するための基幹施設管理システムの構成図である。図１６の基幹施設管理システム４００は、基幹施設の一例であるトンネルにオブジェクトの一例である車両がアクセス（進入）できるかを管理するシステムである。

【0110】

基幹施設管理システム４００は、基幹施設４０１に設けられた受信機４０２と、警報装置４０３と、基幹施設４０１への経路を監視するように配置された監視装置４０４と、受信機４０７と、データベース（ＤＢ）５と、アラート生成システム６と、オブジェクト状態評価システム１０と、を含む。

【0111】

監視装置４０４は、基幹施設への経路の所定の領域を撮影するカメラ４０６と、カメラ４０６で撮影された画像を送信する送信機４０５とを含む。

【0112】

受信機４０７は、送信機４０５から送信されるオブジェクトの画像を受信し、画像をＤＢ５に格納するとともに、オブジェクト状態評価システム１０に渡す。

【0113】

オブジェクト状態評価システム１０は、受信機４０７又はＤＢ５から取得したオブジェクトの画像からオブジェクトを特定し、オブジェクトについての基幹施設４０１にアクセスできる状態（ここでは、トンネルに進入できる高さ）のテンプレートを作成する。オブジェクト状態評価システム１０は、テンプレートと、オブジェクトの画像とのマッチングを行うことによりオブジェクトが基幹施設４０１にアクセスできるか否かを評価し、結果をアラート生成システム６に通知する。アラート生成システム６は、オブジェクトが基幹施設４０１にアクセスできなとの結果の通知を受けた場合には、受信機４０２を介して、警報装置４０３にオブジェクトから確認できるようにアラートを表示させたり、警報音を発生させたりする。これにより、オブジェクトの利用者は、基幹施設４０１にアクセスできないことを適切に把握することができる。

【0114】

なお、本発明は、上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で、適宜変形して実施することが可能である。

【0115】

例えば、上記実施形態において、オブジェクト状態評価システム１０のプロセッサがプログラムを実行することにより行っていた処理の一部又は全部を、ハードウェア回路で行うようにしてもよい。また、上記実施形態におけるプログラムは、プログラムソースからインストールされてよい。プログラムソースは、プログラム配布サーバ又は記録メディア（例えば可搬型の記録メディア）であってもよい。

【0116】

例えば、上記実施形態において、ＲＧＢ画像又は熱画像を用いてオブジェクトの属性のマッチングを行っていたが、例えば、音響センサ、ガスセンサ、爆発物センサ、圧力センサ、圧電トランスデューサ等で検出される情報を用いてもよい。

【符号の説明】

【0117】

１…情報処理システム、２…画像取得システム、３…表示システム、１０…オブジェクト状態評価システム、１１…カメラ較正システム、１２…オブジェクト検出及び分割システム、１３…オブジェクト追跡システム、１４…画像レンダリングシステム、１５…マッチングシステム、１６…データベース、１７…テンプレート、１８…テンプレート生成器。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】