特開 2023-39615 計算機及び情報処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023039615

(43)【公開日】2023-03-22

(54)【発明の名称】計算機及び情報処理方法

(51)【国際特許分類】

   G06N 20/00 20190101AFI20230314BHJP

【ＦＩ】

G06N20/00

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2021146825

(22)【出願日】2021-09-09

(71)【出願人】

【識別番号】000005108

【氏名又は名称】株式会社日立製作所

(74)【代理人】

【識別番号】110001678

【氏名又は名称】藤央弁理士法人

(72)【発明者】

【氏名】黄 希

(72)【発明者】

【氏名】喜多村 章悟

(57)【要約】

【課題】複数のモデルを用いて目標タスクの出力値を算出する。
【解決手段】計算機は、複数のタスクのモデルの情報を格納し、複数のタスクのモデルには、目標タスクと関連性を有する個別タスクのモデルが二つ以上含まれ、計算機は、目標タスクで扱うデータを、複数の個別タスクの各々のモデルに入力して得られる出力値を統合する統合規則を生成し、統合規則、及び複数の個別タスクのモデルから出力される出力値を用いて、目標タスクの出力値を算出する。
【選択図】 図１

【特許請求の範囲】

【請求項1】

プロセッサ及び前記プロセッサに接続されるメモリを備える計算機であって、
前記記憶装置は、複数のタスクのモデルの情報を格納し、
前記複数のタスクの前記モデルには、目標タスクと関連性を有する個別タスクの前記モデルが二つ以上含まれ、
前記プロセッサは、
前記目標タスクで扱うデータを前記複数の個別タスクの各々の前記モデルに入力して得られる出力値を統合する統合規則を設定し、
前記統合規則、及び前記複数の個別タスクの前記モデルから出力される出力値を用いて、前記目標タスクの出力値を算出することを特徴とする計算機。

【請求項2】

請求項１に記載の計算機であって、
前記プロセッサは、機械学習によって生成される、前記複数の個別タスクの前記モデルから出力される出力値から特徴量を生成する統合モデルを、前記統合規則として設定し、
前記特徴量に基づいて前記目標タスクの出力値を算出することを特徴とする計算機。

【請求項3】

請求項２に記載の計算機であって、
前記プロセッサは、エンコーダとして機能する前記複数の個別タスクの前記モデルと、隠れ層として機能する前記複数の個別タスクの前記モデルの出力値から特徴量を生成する前記統合モデルとから構成されるオートエンコーダを用いて、前記統合モデルを学習することを特徴とする計算機。

【請求項4】

請求項２に記載の計算機であって、
前記プロセッサは、前記複数の個別タスクの前記モデルと、前記目標タスクとは関連性を有さず、前記個別タスクとのみ関連性を有する外部タスクの前記モデルと、前記複数の個別タスクの前記モデル及び前記外部タスクの前記モデルの出力値から特徴量を生成する前記統合モデルと、を用いたドメイン適応の手法に基づいて、前記統合モデルを学習することを特徴とする計算機。

【請求項5】

請求項１に記載の計算機であって、
前記プロセッサは、
前記複数の個別タスクの前記モデルから出力される出力値の統合条件の情報を前記統合規則として設定し、
前記複数の個別タスクの前記モデルの出力値及び前記統合条件の情報に基づいて、前記目標タスクの出力値を算出することを特徴とする計算機。

【請求項6】

プロセッサ及び前記プロセッサに接続されるメモリを有する計算機が実行する情報処理方法であって、
前記記憶装置は、複数のタスクのモデルの情報を格納し、
前記複数のタスクの前記モデルには、目標タスクと関連性を有する個別タスクの前記モデルが二つ以上含まれ、
前記情報処理方法は、
前記プロセッサが、前記目標タスクで扱うデータを、前記複数の個別タスクの各々の前記モデルに入力して得られる出力値を統合する統合規則を設定する第１のステップと、
前記プロセッサが、前記統合規則、及び前記複数の個別タスクの前記モデルから出力される出力値を用いて、前記目標タスクの出力値を算出する第２のステップと、を含むことを特徴とする情報処理方法。

【請求項7】

請求項６に記載の情報処理方法であって、
前記第１のステップは、前記プロセッサが、機械学習によって生成される、前記複数の個別タスクの前記モデルから出力される出力値から特徴量を生成する統合モデルを、前記統合規則として設定するステップを含み、
前記第２のステップは、前記プロセッサが、前記特徴量に基づいて前記目標タスクの出力値を算出するステップを含むことを特徴とする情報処理方法。

【請求項8】

請求項７に記載の情報処理方法であって、
前記第１のステップは、前記プロセッサが、エンコーダとして機能する前記複数の個別タスクの前記モデルと、隠れ層として機能する前記複数の個別タスクの前記モデルの出力値から特徴量を生成する前記統合モデルとから構成されるオートエンコーダを用いて、前記統合モデルを学習するステップを含むことを特徴とする情報処理方法。

【請求項9】

請求項７に記載の情報処理方法であって、
前記第１のステップは、前記プロセッサが、前記複数の個別タスクの前記モデルと、前記目標タスクとは関連性を有さず、前記個別タスクとのみ関連性を有する外部タスクの前記モデルと、前記複数の個別タスクの前記モデル及び前記外部タスクの前記モデルの出力値から特徴量を生成する前記統合モデルと、を用いたドメイン適応の手法に基づいて、前記統合モデルを学習することを特徴とする情報処理方法。

【請求項10】

請求項６に記載の情報処理方法であって、
前記第１のステップは、前記プロセッサが、前記複数の個別タスクの前記モデルから出力される出力値の統合条件の情報を前記統合規則として設定するステップを含み、
前記第２のステップは、前記プロセッサが、前記複数の個別タスクの前記モデルの出力値及び前記統合条件の情報に基づいて、前記目標タスクの出力値を算出するステップを含むことを特徴とする情報処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、複数のタスクのモデルを用いて目標タスクの出力値を取得する装置及び方法に関する。

【背景技術】

【0002】

本技術分野の背景技術として、特許文献１がある。特許文献１には、「複数のニューラルネットワークモデルを統合するモデル統合装置１０であって、同一の入力を受け付けた、１つの学習済みの共通モデル、前記共通モデルに基づいて学習を進めた個別モデル、および前記共通モデルに基づいて学習を進めた新たな共通モデルからの出力を、それぞれ第１の出力、第２の出力、第３の出力として取得する出力部１２と、前記取得された各出力のうち、少なくとも前記第１の出力の精度と前記第２の出力の精度とに基づいた第２の出力を優先する基準に従って、いずれか１つを選択して出力するセレクタ１４と、を備える。」と記載されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１８－１４７２６１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

モデルの開発において、新たなタスク（例えば、任意の環境下におけるオブジェクトの検知を実現するタスク）を解決するモデルを生成する場合、一般的に、大量のデータを収集し、学習を行う。しかし、大量にデータを収集することが困難な場合がある。したがって、大量のデータを用いずに、既存のデータ及びモデルを利用し、新しいタスクを解決するモデルを生成したいという要求がある。

【0005】

特許文献１では、モデルの更新を目的としているため、統合するモデルは、共通モデル及びその派生モデルに限定されている。そのため、特許文献１に記載の技術では、新たなタスクの出力を得ることが困難である。

【0006】

本発明は、複数のモデルを用いて目標タスクの出力値を算出する装置及び方法を実現することを目的とする。

【課題を解決するための手段】

【0007】

本願において開示される発明の代表的な一例を示せば以下の通りである。すなわち、プロセッサ及び前記プロセッサに接続されるメモリを備える計算機であって、前記記憶装置は、複数のタスクのモデルの情報を格納し、前記複数のタスクの前記モデルには、目標タスクと関連性を有する個別タスクの前記モデルが二つ以上含まれ、前記プロセッサは、前記目標タスクで扱うデータを前記複数の個別タスクの各々の前記モデルに入力して得られる出力値を統合する統合規則を設定し、前記統合規則、及び前記複数の個別タスクの前記モデルから出力される出力値を用いて、前記目標タスクの出力値を算出する。

【発明の効果】

【0008】

本発明によれば、複数の個別タスクのモデルと統合規則とを用いて、目標タスクの出力値を算出できる。上記した以外の課題、構成及び効果は、以下の実施例の説明により明らかにされる。

【図面の簡単な説明】

【0009】

【図1】本発明の計算機の機能構成を示す図である。

【図2】本発明の計算機のハードウェア構成を示す図である。

【図3】本発明の計算機が実行する処理の流れを説明するフローチャートである。

【図4】実施例１の計算機に入力されるデータの一例を示す図である。

【図5】実施例１の計算機に入力されるデータの一例を示す図である。

【発明を実施するための形態】

【0010】

以下、本発明の実施例を、図面を用いて説明する。ただし、本発明は以下に示す実施例の記載内容に限定して解釈されるものではない。本発明の思想ないし趣旨から逸脱しない範囲で、その具体的構成を変更し得ることは当業者であれば容易に理解される。

【0011】

以下に説明する発明の構成において、同一又は類似する構成又は機能には同一の符号を付し、重複する説明は省略する。

【0012】

本明細書等における「第１」、「第２」、「第３」等の表記は、構成要素を識別するために付するものであり、必ずしも、数又は順序を限定するものではない。

【0013】

図面等において示す各構成の位置、大きさ、形状、及び範囲等は、発明の理解を容易にするため、実際の位置、大きさ、形状、及び範囲等を表していない場合がある。したがって、本発明では、図面等に開示された位置、大きさ、形状、及び範囲等に限定されない。

【0014】

本明細書では、画像に含まれるオブジェクトの認識又は検知を行うタスクを一例として説明する。以下に本明細書で用いる用語の定義を説明する。特記される場合を除き、以下の定義により解釈されるものとする。

【0015】

「目標タスク」は、モデルが存在しない、新しくタスクである。例えば、新しいオブジェクトの認識又は検知等があげられる。「個別タスク」は、目標タスクと関連性を有するタスクである。関連性を有するとは、タスクの目的、対象、及び環境等に関連性があることを表す。「外部タスク」は、目標タスクとは関連性を有しないが、個別タスクと関連性を有するタスクである。

【0016】

「要素モデル」は、個別タスクのモデルである。「外部モデル」は、外部タスクのモデルである。なお、要素モデル及び外部モデルを区別しない場合、モデルと記載する。

【0017】

まず、本発明の概要について説明する。図１は、本発明の計算機１００の機能構成を示す図である。図２は、本発明の計算機１００のハードウェア構成を示す図である。

【0018】

計算機１００は、プロセッサ２０１、主記憶装置２０２、副記憶装置２０３、及びネットワークインタフェース２０４を有する。各ハードウェア構成は内部バスを介して互いに接続される。なお、計算機１００は、副記憶装置２０３を有していなくてもよい。また、計算機１００は、入力装置及び出力装置を有してもよい。

【0019】

プロセッサ２０１は、主記憶装置２０２に格納されるプログラムを実行する。プロセッサ２０１がプログラムにしたがって処理を実行することによって、特定の機能を実現する機能部（モジュール）として動作する。以下の説明では、機能部を主語に処理を説明する場合、プロセッサ２０１が当該機能部を実現するプログラムを実行していることを示す。

【0020】

主記憶装置２０２は、プロセッサ２０１が実行するプログラム及び当該プログラムが使用する情報を格納する。また、主記憶装置２０２は、プログラムが一時的に使用するワークエリアを含む。副記憶装置２０３は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）及びＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等、データを永続的に格納する。ネットワークインタフェース２０４は、ネットワークを介して外部装置と通信するためのインタフェースである。

【0021】

計算機１００は、モデル情報管理部１０１、統合部１０２、及び統合規則設定部１０３を含む。

【0022】

モデル情報管理部１０１は、モデル１１０を定義する情報と、モデル１１０を生成するために用いた学習データを格納するデータセット１１１とを管理する。モデル１１０は、例えば、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）等である。図１では、モデル情報管理部１０１は、Ｎ個のモデル１１０の情報と、各モデル１１０のデータセット１１１とを管理する。モデル１１０の情報及びデータセット１１１は、主記憶装置２０２及び副記憶装置２０３のいずれかに格納される。なお、モデル１１０は二つ以上存在するものとする。

【0023】

統合規則設定部１０３は、目標タスクの出力値を算出するために、複数の要素モデル１１０の出力値を統合するための統合規則を設定する。

【0024】

統合部１０２は、統合規則に基づいて、複数の要素モデル１１０の出力値を統合することによって、目標タスクの出力値を算出する。

【0025】

本発明の計算機１００は、目標タスクと関連性を有する複数の個別タスクのモデルから得られる出力値を統合し、目標タスクの出力値を算出する。ここで、具体的な処理の流れについて説明する。図３は、本発明の計算機１００が実行する処理の流れを説明するフローチャートである。

【0026】

計算機１００は、目標タスクに関するデータの入力を受け付ける（ステップＳ１０１）。

【0027】

計算機１００は、目標タスクに対する個別タスクを選択する（ステップＳ１０２）。このとき、必要に応じて、外部タスクを選択できる。なお、個別タスク及び外部タスクの選択は、ユーザの入力に基づいて行われるものとする。ただし、タスクの内容を解析し、タスク間の関係性を判別するアルゴリズムを用いて自動的に選択してもよい。

【0028】

計算機１００は、統合規則を設定する（ステップＳ１０３）。統合規則の設定方法の詳細は実施例を用いて説明する。

【0029】

計算機１００は、個別タスクのモデル１１０（要素モデル１１０）にデータを入力して出力を取得する（ステップＳ１０４）。

【0030】

計算機１００は、統合規則に基づいて、各要素モデル１１０の出力値を統合することによって、目標タスクの出力値を算出する（ステップＳ１０５）。

【0031】

以上のように、本発明は、目標タスクと関係性を有する個別タスクのモデル１１０を用いて、目標タスクの出力値を取得することができる。目標タスクの学習データが少なく、モデルの学習が困難な場合でも目標タスクの出力値を取得することができる。

【0032】

以下、各実施例を用いて、統合規則の設定方法、統合規則の具体的な内容、及び目標タスクの出力値の算出方法について説明する。

【実施例0033】

実施例１では、要素モデル１１０の出力値の統合条件の情報を統合規則として設定する。

【0034】

ここでは、ターゲットオブジェクトを認識する目標タスクを例に実施例１を説明する。この場合、ターゲットオブジェクトに関連するオブジェクト（関連オブジェクト）を認識するタスクが個別タスクとして選択される。要素モデル１１０は、関連オブジェクトの有無及び位置を含む出力値を出力する。実施例１の統合規則は、各個別タスクの関連オブジェクトの位置関係又は重なり関係に基づく各要素モデル１１０の出力値の統合条件の情報として設定される。なお、統合条件の情報はユーザによって入力されるものとする。

【0035】

統合部１０２は、各要素モデル１１０から取得した出力値に含まれる関連オブジェクトの位置関係又は重なり関係に基づいて、各要素モデル１１０から取得した出力値を統合する。なお、実施例１の計算機１００は、要素モデル１１０の演算及び統合部１０２による出力値の統合を実行すればよく、新たなモデルの学習は必要ない。

【0036】

（具体例１）
目標タスクは、車椅子に座った人を検知するタスクとする。ここでは、座位姿勢の人を検知する個別タスク（第１個別タスク）と、車椅子を検知する個別タスク（第２個別タスク）とが存在するものとする。車椅子の位置が座位姿勢の人の下側にある場合、車椅子に座った人を示す出力値を出力する統合規則が設定されているものとする。

【0037】

図４に示すような画像４００が各要素モデル１１０に入力された場合、第１個別タスクの要素モデル１１０からは、座位姿勢の人を囲むｂｏｕｎｄｉｎｇ ｂｏｘ４０１の頂点の座標が出力され、第２個別タスクの要素モデル１１０からは、車椅子を囲むｂｏｕｎｄｉｎｇ ｂｏｘ４０２の頂点の座標が出力される。統合部１０２は、各ｂｏｕｎｄｉｎｇ ｂｏｘ４０１、４０２の頂点座標から各ｂｏｕｎｄｉｎｇ ｂｏｘ４０１、４０２の中心点を算出し、ｂｏｕｎｄｉｎｇ ｂｏｘ４０２の中心点がｂｏｕｎｄｉｎｇ ｂｏｘ４０１の中心点の下側である場合、統合部１０２は、車椅子に座った人を示す出力値を出力する。

【0038】

このように、計算機１００は、関連オブジェクトの位置関係に基づく要素モデル１１０の出力値の統合条件に基づいて、要素モデル１１０の出力値を統合し、目標タスクの出力値を得ることができる。

【0039】

（具体例２）
目標タスクは、ひび割れした部品を検知するタスクとする。ここでは、部品を検知する個別タスク（第１個別タスク）と、ひび割れを検知する個別タスク（第２個別タスク）とが存在するものとする。部品の領域内に、ひび割れが重なっている場合、ひび割れした部品を示す出力値を出力する統合規則が設定されているものとする。

【0040】

図５に示すような画像５００が各要素モデル１１０に入力された場合、第１個別タスクの要素モデル１１０からは、部品を囲むｂｏｕｎｄｉｎｇ ｂｏｘ５０１の頂点の座標及び面積が出力され、第２個別タスクの要素モデル１１０からは、ひびを囲むｂｏｕｎｄｉｎｇ ｂｏｘ５０２の頂点の座標及び面積が出力される。

【0041】

統合部１０２は、ｂｏｕｎｄｉｎｇ ｂｏｘ５０１の頂点の座標及び面積、並びに、ｂｏｕｎｄｉｎｇ ｂｏｘ５０２の頂点の座標及び面積に基づいて、部品及びひびの重なり関係を把握する。例えば、互いのｂｏｕｎｄｉｎｇ ｂｏｘ５０２がｂｏｕｎｄｉｎｇ ｂｏｘ５０１に包含される関係である場合、統合部１０２はひび割れした部品であることを示す出力値を出力する。

【0042】

このように、計算機１００は、関連オブジェクトの重なり関係に基づく要素モデル１１０の出力値の統合条件に基づいて、要素モデル１１０の出力値を統合し、目標タスクの出力値を得ることができる。

【0043】

なお、位置関係及び重なり関係の両方を用いた統合条件の情報を設定してもよい。

【実施例0044】

実施例２では、目標タスクの学習データ及び要素モデル１１０の出力値を用いた機械学習を行うことによって、目標タスクのモデルに入力する特徴量を生成する統合モデルを生成し、統合モデルを統合規則として計算機１００に設定する。

【0045】

予め、少量の学習データと、目標タスクのモデルとを用意する。なお、目標タスクのモデルは、少量の学習データから生成されているものとする。計算機１００は、エンコーダとして機能する要素モデル１１０、隠れ層、デコーダと機能する統合規則設定部１０３からオートエンコーダを構成する。隠れ層は、各要素モデル１１０の出力値から特徴量を生成する。統合規則設定部１０３は隠れ層から出力された特徴量を用いて学習データを生成する。なお、要素モデル１１０の出力値は、要素モデルの最終的な出力値でもよいし、任意のオブジェクトの特徴量でもよい。

【0046】

計算機１００は、オートエンコーダを用いて、元の学習データを再現されるような特徴量を出力する隠れ層（統合モデル）を学習する。計算機１００は統合モデルを統合規則として設定する。このように、実施例２では、各要素モデル１１０の出力値から目標タスクのモデルに入力する特徴量の表現を学習し、これを統合規則として設定する。

【0047】

統合部１０２は、統合規則を用いて算出される特徴量を目標タスクのモデルに入力し、目標タスクの出力値を算出する。

【0048】

なお、目標タスクの学習データだけではなく、要素モデル１１０の生成に使用したデータセット１１１を用いてもよい。

【0049】

（具体例）
目標タスクは、特定の背景に映り込むターゲットオブジェクトを検知するタスクとする。ここでは、目標タスクの背景等は異なる背景に映り込むターゲットオブジェクトを検知する個別タスク（第１個別タスク）と、特定の背景を検知する個別タスク（第２個別タスク）とが存在するものとする。

【0050】

より説明をわかりやすくするために、道路上の鹿を検知する目標タスク、森等の自然の背景に映り込むの鹿を検知する第１個別タスクと、道路を検知する第２個別タスクとを例に説明する。

【0051】

計算機１００は、オートエンコーダを用いて、要素モデル１１０の出力値から目標タスクのモデルに入力する特徴量の表現を学習する。例えば、第１個別タスクの要素モデル１１０から出力される鹿の特徴を表す出力値と、第２個別タスクの要素モデル１１０から出力される道路の特徴を表す出力値とから、道路上に鹿が存在する画像（学習データ）を生成できる表現（統合モデル）を学習する。統合モデルは、鹿及び道路を統合した特徴量を出力する。統合部１０２は、統合モデルから出力される出力値（特徴量）を用いて道路上の鹿を検知する。