特許 7537518 画像処理装置、画像処理方法および画像処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-13

(45)【発行日】2024-08-21

(54)【発明の名称】画像処理装置、画像処理方法および画像処理プログラム

(51)【国際特許分類】

   G06T 7/11 20170101AFI20240814BHJP

【ＦＩ】

G06T7/11

【請求項の数】 10

(21)【出願番号】P 2022572004

(86)(22)【出願日】2021-11-26

(86)【国際出願番号】 JP2021043358

(87)【国際公開番号】W WO2022137979

(87)【国際公開日】2022-06-30

【審査請求日】2023-06-07

(31)【優先権主張番号】P 2020210948

(32)【優先日】2020-12-21

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100109313

【弁理士】

【氏名又は名称】机 昌彦

(74)【代理人】

【識別番号】100149618

【弁理士】

【氏名又は名称】北嶋 啓至

(72)【発明者】

【氏名】先崎 健太

(72)【発明者】

【氏名】澤田 あずさ

(72)【発明者】

【氏名】森 広宣

(72)【発明者】

【氏名】室園 響子

(72)【発明者】

【氏名】小高 勝也

【審査官】藤原 敬利

(56)【参考文献】

【文献】特開２０２０－０３８６００（ＪＰ，Ａ）

【文献】特開２０１３－１１７８６０（ＪＰ，Ａ）

【文献】特開２０１８－０２６１０４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００－ ７／９０

Ｇ０６Ｖ １０／００－２０／９０

(57)【特許請求の範囲】

【請求項1】

合成開口レーダを用いて取得された第１の画像において、アノテーション処理の対象となる物体が存在する可能性がある領域を候補領域として設定する領域設定手段と、
前記候補領域に対応する領域の画像を、前記合成開口レーダを用いて前記第１の画像とは異なるタイミングに取得された第３の画像から抽出する領域抽出手段と、
前記第１の画像の前記候補領域の画像と前記第３の画像の前記候補領域に対応する領域の画像を比較可能な状態で出力する出力手段と、
アノテーション処理の対象となる物体が存在する前記第１の画像上の領域の情報の入力をアノテーション領域として受け付ける入力手段と、
前記アノテーション領域を含み、可視光領域の画像である第２の画像を抽出する検証領域抽出手段と
を備え、
前記出力手段は、前記第１の画像と前記第２の画像を比較可能な状態で出力する
画像処理装置。

【請求項2】

前記出力手段は、前記第１の画像の前記候補領域の画像と前記第３の画像の前記候補領域に対応する領域の画像を交互に出力する
請求項１に記載の画像処理装置。

【請求項3】

前記領域設定手段は、前記第１の画像上で領域をスライドさせることで複数の候補領域を設定する
請求項２に記載の画像処理装置。

【請求項4】

前記アノテーション領域に対応する領域を含む複数の画像データを取得する検証画像取得手段と、
前記アノテーション領域を含む前記第１の画像に対応する前記第３の画像を前記複数の画像データを合成して生成する検証画像生成手段と
をさらに備える請求項１から３いずれかに記載の画像処理装置。

【請求項5】

前記入力手段は、前記第１の画像ごとに前記第２の画像との比較を行うかの入力を受け付け、
前記第２の画像との比較を行うことを示す情報が入力されたときに、前記検証領域抽出手段は、前記第２の画像を抽出し、
前記出力手段が前記第１の画像と前記第２の画像を比較可能な状態で出力する
請求項１から４いずれかに記載の画像処理装置。

【請求項6】

合成開口レーダを用いて取得された第１の画像において、アノテーション処理の対象となる物体が存在する可能性がある領域を候補領域として設定し、
前記候補領域に対応する領域の画像を、前記合成開口レーダを用いて前記第１の画像とは異なるタイミングに取得された第３の画像から抽出し、
前記第１の画像の前記候補領域の画像と前記第３の画像の前記候補領域に対応する領域の画像を比較可能な状態で出力し、
アノテーション処理の対象となる物体が存在する前記第１の画像上の領域の情報の入力をアノテーション領域として受け付け、
前記アノテーション領域を含み、可視光領域の画像である第２の画像を抽出し、
前記第１の画像と前記第２の画像を比較可能な状態で出力する
画像処理方法。

【請求項7】

前記第１の画像の前記候補領域の画像と前記第３の画像の前記候補領域に対応する領域の画像を交互に出力する
請求項６に記載の画像処理方法。

【請求項8】

前記アノテーション領域に対応する領域を含む複数の画像データを取得し、
前記アノテーション領域を含む前記第１の画像に対応する前記第３の画像を前記複数の画像データを合成して生成する
請求項６または７に記載の画像処理方法。

【請求項9】

前記第１の画像ごとに前記第２の画像との比較を行うかの入力を受け付け、
前記第２の画像との比較を行うことを示す情報が入力されたときに、前記第２の画像を抽出し、
前記第１の画像と前記第２の画像を比較可能な状態で出力する
請求項６から８いずれかに記載の画像処理方法。

【請求項10】

合成開口レーダを用いて取得された第１の画像において、アノテーション処理の対象となる物体が存在する可能性がある領域を候補領域として設定する処理と、
前記候補領域に対応する領域の画像を、前記合成開口レーダを用いて前記第１の画像とは異なるタイミングに取得された第３の画像から抽出する処理と、
前記第１の画像の前記候補領域の画像と前記第３の画像の前記候補領域に対応する領域の画像を比較可能な状態で出力する処理と、
アノテーション処理の対象となる物体が存在する前記第１の画像上の領域の情報の入力をアノテーション領域として受け付ける処理と、
前記アノテーション領域を含み、可視光領域の画像である第２の画像を抽出する処理と、
前記第１の画像と前記第２の画像を比較可能な状態で出力する処理と
をコンピュータに実行させる画像処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置等に関するものである。

【背景技術】

【0002】

衛星画像などの有効活用のために、種々の自動解析が行われている。画像の自動解析における解析方法の開発および性能評価のためには、正解が用意された画像データが必要となる。画像データの正解付けは、アノテーションとも言われる。自動解析の精度を向上させるためには、多くの正解が用意された画像データがあることが望ましい。しかし、衛星画像、特に合成開口レーダによって生成された画像データは、内容の判別が困難であることも多い。そのため、正解付けを行った画像データを準備するためには複雑で多くの作業を必要とする。そのような背景から、画像データの正解付けの作業を効率化するシステムがあることが望ましい。そのような、画像データの正解付けの作業を効率化する技術としては、例えば、特許文献１のような技術が開示されている。

【0003】

特許文献１の異動判読システムは、画像処理によって物体の滅失の有無を判断するシステムである。特許文献１の異動判読システムは、異なる時期に撮影された２つの画像データの比較結果を基に画像中の家屋が無くなっていることを示す正解データを生成している。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０２０－３０７３０号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献１の技術は次のような点で十分ではない。特許文献１では、異なる日時に撮影された２つの画像データを基に画像データに映っている物体の有無を判別し、正解データを生成している。しかし、特許文献１では、対象が判別しづらい物体の場合には正解データの精度が十分ではない恐れがある。

【0006】

本発明は、上記の課題を解決するため、アノテーション処理を効率的に行いつつ、精度を向上することができる画像処理装置等を提供することを目的としている。

【課題を解決するための手段】

【0007】

上記の課題を解決するため、本発明の画像処理装置は、アノテーション処理の対象となる物体が存在する第１の画像上の領域の情報の入力をアノテーション領域として受け付ける入力手段と、アノテーション領域を含み、第１の画像とは異なる方式で撮影された第２の画像を抽出する検証領域抽出手段と、第１の画像と第２の画像を比較可能な状態で出力する出力手段とを備える。

【0008】

本発明の画像処理方法は、アノテーション処理の対象となる物体が存在する第１の画像上の領域の情報の入力をアノテーション領域として受け付け、アノテーション領域を含み、第１の画像とは異なる方式で撮影された第２の画像を抽出し、第１の画像と第２の画像を比較可能な状態で出力する。

【0009】

本発明のプログラム記録媒体は、アノテーション処理の対象となる物体が存在する第１の画像上の領域の情報の入力をアノテーション領域として受け付ける処理と、アノテーション領域を含み、第１の画像とは異なる方式で撮影された第２の画像を抽出する処理と、第１の画像と第２の画像を比較可能な状態で出力する処理とをコンピュータに実行させる画像処理プログラムを記録する。

【発明の効果】

【0010】

本発明によると、アノテーション処理を効率的に行いつつ、精度を向上することができる。

【図面の簡単な説明】

【0011】

【図1】本発明の第１の実施形態の構成の概要を示す図である。

【図2】本発明の第１の実施形態の画像処理装置の構成の例を示す図である。

【図3】本発明の第１の実施形態の画像処理装置の動作フローの例を示す図である。

【図4】本発明の第１の実施形態の画像処理装置の動作フローの例を示す図である。

【図5】本発明の第１の実施形態のターゲット画像の一例を示す図である。

【図6】本発明の第１の実施形態のターゲット画像上の候補領域の一例を示す図である。

【図7】本発明の第１の実施形態のターゲット画像の候補領域の設定動作の一例を示す図である。

【図8】本発明の第１の実施形態のターゲット画像の候補領域の設定動作の一例を示す図である。

【図9】本発明の第１の実施形態の参照画像の一例を示す図である。

【図10】本発明の第１の実施形態のターゲット画像上の候補領域の一例を示す図である。

【図11】本発明の第１の実施形態の表示画面の一例を示す図である。

【図12】本発明の第１の実施形態の表示画面の一例を示す図である。

【図13】本発明の第１の実施形態の表示画面の一例を示す図である。

【図14】本発明の第１の実施形態の表示画面の一例を示す図である。

【図15】本発明の第１の実施形態の表示画面の一例を示す図である。

【図16】本発明の第１の実施形態の表示画面の一例を示す図である。

【図17】本発明の第１の実施形態の画像処理装置の動作フローの他の例を示す図である。

【図18】本発明の第２の実施形態の構成の概要を示す図である。

【図19】本発明の第２の実施形態の画像処理装置の構成の例を示す図である。

【図20】本発明の第２の実施形態の画像処理装置の動作フローの例を示す図である。

【図21】本発明の第３の実施形態の構成の概要を示す図である。

【図22】本発明の第３の実施形態の画像処理装置の動作フローの例を示す図である。

【図23】本発明の実施形態の他の構成の例を示す図である。

【発明を実施するための形態】

【0012】

（第１の実施形態）
本発明の第１の実施形態について図を参照して詳細に説明する。図１は、本実施形態の画像処理システムの構成の概要を示す図である。本実施形態の画像処理システムは、画像処理装置１０と、端末装置３０を備える。本実施形態の画像処理システムは、例えば、合成開口レーダ（Synthetic Aperture Radar; SAR）を用いて取得された画像に対して、アノテーション処理を行うシステムである。

【0013】

画像処理装置１０の構成について説明する。図２は、画像処理装置１０の構成の例を示す図である。画像処理装置１０は、領域設定部１１と、領域抽出部１２と、アノテーション処理部１３と、検証領域抽出部１４と、検証処理部１５と、出力部１６と、入力部１７と、記憶部２０を備える。

【0014】

記憶部２０は、ターゲット画像記憶部２１と、参照画像記憶部２２と、領域情報記憶部２３と、アノテーション画像記憶部２４と、アノテーション情報記憶部２５と、検証画像記憶部２６と、検証結果記憶部２７を備える。

【0015】

領域設定部１１は、ターゲット画像および参照画像において、アノテーションの対象となる物体（以下、対象物体という）が存在する可能性がある領域を候補領域として設定する。ターゲット画像は、アノテーション処理を行う対象となる画像である。また、参照画像は、アノテーション処理を行う際に、２つの画像を比較することでターゲット画像に対象物体が存在するかを判断するときに比較対象として用いられる画像である。参照画像は、ターゲット画像の領域を含む領域において、ターゲット画像とは異なるときに取得された画像である。１つのターゲット画像に対応する参照画像は、複数であってもよい。

【0016】

領域設定部１１は、ターゲット画像において、対象物体が存在する可能性がある領域を候補領域として設定する。領域設定部１１は、ターゲット画像上における候補領域の範囲を領域情報記憶部２３に保存する。領域設定部１１は、ターゲット画像上における候補領域の範囲を、例えば、ターゲット画像内における座標を用いて領域情報記憶部２３に保存する。

【0017】

領域設定部１１は、例えば、周囲と反射波の状態が異なる領域、すなわち、ターゲット画像において周囲と輝度が異なる領域を特定して候補領域として設定する。領域設定部１１は、１つのターゲット画像内において、対象物体が存在する可能性がある個所すべてを特定し候補領域として設定する。また、領域設定部１１は、ターゲット画像が取得された位置と地図情報を比較し、あらかじめ設定された領域内で候補領域を設定してもよい。例えば、対象物体が船である場合に、領域設定部１１は、地図情報を参照して海、河川および湖沼のように船が存在する可能性のある領域内に候補領域を設定してもよい。地図情報を参照して候補領域の設定範囲を限定することで、アノテーション処理を効率化することができる。

【0018】

領域抽出部１２は、ターゲット画像上に設定された候補領域の画像と、候補領域と同じ位置に対応する参照画像上の画像を抽出する。領域抽出部１２は、ターゲット画像の候補領域内の画像を候補画像Ｇ１として設定する。また、領域抽出部１２は、ターゲット画像の候補領域を含む参照画像から候補領域に位置が対応する領域の画像を抽出する。領域抽出部１２は、例えば、ターゲット画像の候補領域を含む２つの参照画像から候補領域に対応する領域の画像を抽出する。領域抽出部１２は、例えば、合成開口レーダによってターゲット画像が取得された日より１日前に取得された参照画像Ａから対応画像Ｇ２を抽出し、２日前に取得された参照画像Ｂから対応画像Ｇ３を抽出する。参照画像の数は、１つであってもよく、また、３つ以上であってもよい。

【0019】

アノテーション処理部１３は、作業者の操作によって入力されたアノテーション情報を表示するデータを生成する。アノテーション情報は、候補画像に物体が存在する領域を特定する情報である。アノテーション処理部１３は、例えば、アノテーション情報を、候補画像上の物体を囲う矩形の線図として表示するデータを生成する。アノテーション情報によって示される領域は、アノテーション領域ともいう。アノテーション処理部１３は、候補画像上に表示した矩形の情報に対応する情報を、対応画像上に表示するデータを生成する。また、アノテーション処理部１３は、アノテーション情報を候補画像および参照画像に関連付けてアノテーション情報記憶部２５に保存する。

【0020】

検証領域抽出部１４は、アノテーション領域と位置が対応する検証画像を検証用画像から抽出する。検証用画像は、アノテーション処理が正しく行われているかを検証し、対象物体を分類する際に用いられる画像である。検証用画像には、ターゲット画像に比べて、撮影されている物体が識別しやすい画像が用いられる。検証用画像は、例えば、可視光の領域を撮影するカメラによって撮影された光学画像である。

【0021】

検証処理部１５は、候補画像と検証画像の比較に基づいて、作業者の操作によって入力される比較結果を、入力部１７を介して検証情報として受け付ける。検証処理部１５は、検証情報が、アノテーション領域が正しく設定され、かつ対象物体の分類が正しいことを示すとき、アノテーション情報を候補画像に関連付けてアノテーション画像としてアノテーション画像記憶部２４に保存する。

【0022】

出力部１６は、同一の候補領域に対応する候補画像と、対応画像を比較可能なように表示する表示データを生成する。また、出力部１６は、同一の領域に対応する候補画像と検証画像を比較可能なように表示する表示データを生成する。比較可能なように表示する表示データとは、例えば、２つの画像を横方向に並べることで、作業者が２つの画像を対比して比較することができる状態の表示データのことをいう。出力部１６は、生成した表示データを端末装置３０に出力する。出力部１６は、表示データを画像処理装置１０に接続された表示装置に出力してもよい。

【0023】

入力部１７は、作業者の操作による入力結果を端末装置３０から取得する。入力部１７は、アノテーション領域の設定の情報を入力結果として取得する。また、入力部１７は、候補画像と検証画像の比較結果として端末装置３０に入力されるアノテーション領域が正しいかを示す情報と、物体の分類の情報を入力結果として取得する。入力部１７は、画像処理装置１０に接続された入力装置から入力結果を取得してもよい。

【0024】

領域設定部１１、領域抽出部１２、アノテーション処理部１３、検証領域抽出部１４、検証処理部１５、出力部１６および入力部１７における各処理は、例えば、ＣＰＵ（Central Processing Unit）上でコンピュータプログラムを実行することで行われる。

【0025】

記憶部２０のターゲット画像記憶部２１は、ターゲット画像の画像データを保存する。参照画像記憶部２２は、参照画像の画像データを保存する。領域情報記憶部２３は、領域設定部１１が設定した候補領域の範囲の情報を保存する。アノテーション画像記憶部２４は、アノテーション処理が行われた画像データをアノテーション画像として保存する。アノテーション情報記憶部２５は、アノテーション領域の情報を保存する。検証画像記憶部２６は、検証用画像の画像データを保存する。検証結果記憶部２７は、アノテーション処理の検証結果の情報を保存する。ターゲット画像、参照画像および検証用画像の画像データは、作業者によってあらかじめ記憶部２０に保存されている。ターゲット画像、参照画像および検証用画像の画像データは、ネットワークを介して取得され、記憶部２０に保存されていてもよい。

【0026】

記憶部２０は、例えば、不揮発性の半導体記憶装置によって構成されている。記憶部２０は、ハードディスクドライブなどの他の記憶装置によって構成されていてもよい。また、記憶部２０は、不揮発性の半導体記憶装置とハードディスクドライブのように複数の種類の記憶装置を組み合わせて構成されていてもよい。また、記憶部２０の一部または全ては、画像処理装置１０の外部の装置に備えられていてもよい。

【0027】

端末装置３０は、作業者の操作用の端末装置であり、図示しない入力装置と表示装置を備える。端末装置３０は、ネットワークを介して画像処理装置１０と接続されている。

【0028】

本実施形態の画像処理システムの動作について説明する。図３および図４は、本実施形態の画像処理装置１０の動作フローの例を示す図である。

【0029】

画像処理装置１０の領域設定部１１は、アノテーション処理を行う対象となるターゲット画像を記憶部２０のターゲット画像記憶部２１から読み出す。図５は、ターゲット画像の例を示す図である。図５は、合成開口レーダで撮影された画像データである。図５の楕円状および長方形状の領域は、反射波が周囲と異なる領域、すなわち、物体が存在する可能性がある領域を示している。

【0030】

図３において、領域設定部１１は、ターゲット画像上において、アノテーションの対象物体が含まれている可能性がある領域を候補領域として設定する（ステップＳ１１）。領域設定部１１は、例えば、画像の輝度値を基に物体が存在する可能性がある領域を特定し、候補領域を設定する。領域設定部１１は、ターゲット画像全体よりも小さい領域を、候補領域として設定する。図６は、ターゲット画像上に設定された候補領域Ｗの例を示している。図６では、候補領域Ｗは、ターゲット画像の左下の角から点線で囲まれた領域に設定されている。

【0031】

候補領域を設定すると、領域設定部１１は、設定した候補領域の情報を領域情報記憶部２３に保存する。領域設定部１１は、例えば、設定した候補領域の座標を候補領域の情報として領域情報記憶部２３に保存する。

【0032】

領域設定部１１は、ターゲット画像に存在する候補領域の全領域をカバーできるよう、複数の候補領域Ｗを設定する。領域設定部１１は、各候補領域Ｗのターゲット画像上の座標を領域情報記憶部２３に保存する。

【0033】

図７および図８は、複数の候補領域Ｗを設定する動作の例を示した図である。領域設定部１１は、例えば、図７に示すように、ターゲット画像の左下の角の領域に設定した候補領域Ｗを図の縦方向に順次スライドさせ、別の候補領域Ｗを複数、設定する。また、領域設定部１１は、図８に示すように図の横方向に候補領域Ｗをスライドさせた後、図の縦方向に順次スライドさせることで、候補領域Ｗをさらに複数、設定する。このとき、各候補領域Ｗは、互いに重なっていてもよく、重なっていなくてもよい。

【0034】

候補領域が設定されると、領域抽出部１２は、ターゲット画像および参照画像から候補領域Ｗに対応する画像を抽出する。領域抽出部１２は、複数、設定した候補領域Ｗから１つの候補領域Ｗを選択する（ステップＳ１２）。候補領域Ｗを選択すると、領域抽出部１２は、選択した候補領域のターゲット画像上の座標を領域情報記憶部２３から読み出す。座標を読み出すと、領域抽出部１２は、読み出した座標から、特定した候補領域Ｗの位置に対応するターゲット画像上の画像を候補画像Ｇ１として抽出する。また、領域抽出部１２は、候補領域Ｗ内の位置に対応する参照画像上の画像を対応画像として抽出する（ステップＳ１３）。領域抽出部１２は、例えば、２枚の参照画像から候補領域Ｗ内に位置する画像を対応画像Ｇ２および対応画像Ｇ３として抽出する。

【0035】

図９は、参照画像の例を示す図である。図９で、ターゲット画像とは異なる時期に取得された画像であるため、図５のターゲット画像とは楕円状の領域の数が異なっている例を示している。また、図１０は、ステップＳ１３で選択される候補領域Ｗの例を示す図である。領域抽出部１２は、例えば、図１０のように候補領域Ｗを選択した場合には、選択した候補領域Ｗと同一領域のターゲット画像上の画像を候補画像Ｇ１として抽出し、図９の参照画像の領域のうち候補領域Ｗと同一領域の画像を対応画像Ｇ２として抽出する。また、さらに他の参照画像がある場合には、領域抽出部１２は、対応画像Ｇ３を抽出する。

【0036】

候補画像Ｇ１、対応画像Ｇ２および対応画像Ｇ３を抽出すると、出力部１６は、１つの候補領域に対応する候補画像Ｇ１、対応画像Ｇ２および対応画像Ｇ３を比較可能なように並べた表示データを生成し、端末装置３０に出力する（ステップＳ１４）。表示データを受け取ると、端末装置３０は、図示しない表示装置に候補画像Ｇ１、対応画像Ｇ２および対応画像Ｇ３を比較可能なように並べた表示データを表示する。

【0037】

図１１は、候補画像Ｇ１、対応画像Ｇ２および対応画像Ｇ３を比較可能なように表示する表示画面の例を示した図である。出力部１６は、例えば、図１１のように、候補画像Ｇ１と２つの対応画像Ｇ２および対応画像Ｇ３を１画面上に並べて表示する。図１２は、図１１の画像において、候補画像Ｇ１に物体が存在するが、対応画像Ｇ２と対応画像Ｇに存在しないと思われる領域を点線で示したものである。このように候補画像Ｇ１と対応画像Ｇ２および対応画像Ｇ３を比較可能なように表示することで、作業者は、物体が存在している領域を認識することができる。

【0038】

出力部１６は、候補画像Ｇ１と１枚の対応画像Ｇ２を表示し、その後、候補画像Ｇ１と対応画像Ｇ３を表示する表示データを出力してもよい。また、出力部１６は、候補画像と対応画像とを交互に表示する表示データを出力してもよい。出力部１６は、候補画像の表示後に、スライドショー形式で複数の対応画像を順次、表示する表示データを出力してもよく、候補画像と対応画像とを繰り返し交互に表示する際に対応画像を別のものに順次変更して表示する表示データを出力してもよい。

【0039】

端末装置３０に図１１のような画面が表示されると、作業者の操作によって候補画像Ｇ１１上において対象物体が存在する領域がアノテーション領域として設定される。作業者の操作によって入力されたアノテーション領域の情報が端末装置３０に入力されると、端末装置３０は、アノテーション領域の情報をアノテーション情報として画像処理装置１０に送る。

【0040】

図１３は、候補画像Ｇ１上に作業者の操作によってアノテーション領域が設定された例を示している。図１３では、候補画像Ｇ１上に矩形の線で囲まれた領域がアノテーション領域として設定されている。

【0041】

画像処理装置１０の入力部１７は、端末装置３０からアノテーション情報を受け取る。入力部１７を介してアノテーション情報を受け取ると、アノテーション処理部１３は、候補画像Ｇ１、対応画像Ｇ２および対応画像Ｇ３上に、作業者から入力されたアノテーション領域の情報を付加したデータを生成し、出力部１６に送る。アノテーション領域の情報を付加した候補画像Ｇ１、対応画像Ｇ２および対応画像Ｇ３のデータを受け取ると、出力部１６は、候補画像Ｇ１、対応画像Ｇ２および対応画像Ｇ３上にアノテーション領域を表示する表示データを生成する。表示データを生成すると、出力部１６は、生成した表示データを端末装置３０に出力する（ステップＳ１６）。表示データを受け取ると、端末装置３０は、受け取った表示データを表示装置に表示する。

【0042】

図１４は、アノテーション領域を候補画像Ｇ１、対応画像Ｇ２および対応画像Ｇ３上に表示した表示画面の例を示している。出力部１６は、図１５に示すように候補画像Ｇ１上に設定されたアノテーション領域に対応する対応画像Ｇ２および対応画像Ｇ３上の位置にアノテーション領域を示す情報を表示する。出力部１６は、例えば、図１４に示すようにアノテーション領域を候補画像Ｇ１、対応画像Ｇ２および対応画像Ｇ３上に存在する物体を囲う矩形の線図として表示する表示データを生成する。

【0043】

アノテーション領域を示す表示データが出力されると、アノテーション処理部１３は、アノテーション情報をアノテーション情報記憶部２５に保存する。アノテーション情報は、候補画像Ｇ１にアノテーション領域の情報が関連付けられた情報である。アノテーション情報が保存されたとき、すべての候補領域ついてアノテーション領域の設定が終わっている場合に（ステップＳ１７でＹｅｓ）、画像処理装置１０は、アノテーション領域の設定処理を終了し検証処理を開始する。アノテーション領域の設定が終わっていない候補領域があるとき（ステップＳ１７でＮｏ）、画像処理装置１０は、ステップＳ１２の候補領域の選択の動作からの処理を繰り返して実行する。

【0044】

検証処理を開始すると、検証領域抽出部１４は、処理中の画像についてのアノテーション情報をアノテーション情報記憶部２５から読み出す。図４において、検証領域抽出部１４は、検証処理が行われていないアノテーション情報からいずれか１つのアノテーション情報を選択する（ステップＳ２１）。

【0045】

アノテーション情報を読み出すと、検証領域抽出部１４は、ターゲット画像記憶部２１から対応するターゲット画像を読み出す。ターゲット画像を読み出すと、検証領域抽出部１４は、ターゲット画像上においてアノテーション領域に対応する領域を画像Ｇ１として抽出する。また、検証領域抽出部１４は、検証画像記憶部２６から対応する検証用画像を読み出す。このとき読み出される検証用画像は、アノテーション情報で示されるアノテーション領域を含むものであれば、ターゲット画像よりも広い領域を撮影されたものであってもよい。また、検証用画像は、アノテーション領域を含むものであれば、ターゲット画像と撮影範囲の一部がずれていてもよい。検証用画像を読み出すと、検証領域抽出部１４は、検証用画像上においてアノテーション領域に対応する領域を画像Ｖ１として抽出する（ステップＳ２２）。また、画像Ｖ１は、画像Ｇ１の領域を含むものであれば、画像Ｇ１よりも広い領域のものであってもよい。

【0046】

検証用画像からアノテーション領域に対応する画像Ｖ１が抽出されると、出力部１６は、画像Ｇ１と画像Ｖ１を対比可能なように並べて表示する表示データを生成する。表示データを生成すると、出力部１６は、生成した表示データを端末装置３０に出力する（ステップＳ２３）。表示データを受け取ると、端末装置３０は、画像Ｇ１と画像Ｖ１を対比可能なように並べて表示装置に表示する。

【0047】

図１５は、画像Ｇ１と画像Ｖ１を対比可能なように並べて表示する表示画面の例を示している。図１５の左側はアノテーション処理を行った合成開口レーダによる画像Ｇ１の例、右側は、光学画像による画像Ｖ１の例を示している。図１５の表示画面では、画像Ｖ１が画像Ｇ１より広範囲に読みだされている場合を示している。

【0048】

出力部１６は、作業者の操作による入力結果に基づいて表示データを変更してもよい。出力部１６は、作業者の操作に応じて、検証用画像をグレースケール画像、トゥルーカラー画像、フォルスカラー画像または赤外線画像等の画像に切り替えて表示する表示データを出力してもよい。グレースケール画像は、パンクマチック画像とも呼ばれる。また、出力部１６は、作業者の操作に応じて、画像Ｖ１の表示位置の調整、拡大処理または縮小処理を行ってもよい。図１６は、画像Ｖ１を拡大して表示する表示データの例を示している。また、出力部１６は、作業者の操作に応じて、画像Ｖ１の中心位置が指定された際に、画像Ｖ１の画素あたりの地表分解能(ピクセルスペーシングともいう）を画像Ｖ１に合わせて拡大または縮小して表示データを生成してもよい。

【0049】

検証処理部１５は、画像Ｇ１と画像Ｖ１の表示に対しての作業者の操作によって入力された情報である検証情報を受け取る（ステップＳ２４）。船を検出するための画像データを生成する場合には、検証情報は、アノテーション領域の設定が正しいかを示す情報と、画像Ｇ１に表示されるアノテーション領域に、船が存在するかの情報として入力される。分類と特定するための画像データを生成する場合には、検証情報は、アノテーション領域の設定が正しいかを示す情報と、画像Ｖ１を見て特定された物体の分類の情報として入力される。検証処理部１５は、入力された検証情報を検証結果情報として検証結果記憶部２７に保存する。

【0050】

検証結果情報は、例えば、アノテーション領域に存在する物体が検出の対象か非対象かを示す情報である。また、検証結果情報は、あらかじめ設定された類別情報を含んでいてもよい。類別情報は、例えば、船、ブイ、養殖いかだ、コンテナ、流木または不明などの項目からいずれかが選択された情報とすることができる。また、事前に定められた類別情報に該当する項目ない場合は、作業者が選択肢に追加した項目を受け付けるようにしてもよい。

【0051】

検証結果情報を保存すると、検証処理部１５は、物体の分類の情報が含まれるアノテーション情報を画像Ｇ１に関連付けて、アノテーション画像として生成する。検証処理部１５は、アノテーション画像をアノテーション画像記憶部２４に保存する。このように生成されたアノテーション画像は、例えば、機械学習の学習データとして用いることができる。

【0052】

検証結果の情報を保存したとき、全ての候補領域についての検証が完了している場合に（ステップＳ２５でＹｅｓ）、画像処理装置１０は、検証処理を完了する。検証が完了していない候補領域があるとき（ステップＳ２５でＮｏ）、画像処理装置１０は、ステップＳ２１に戻り、新たなアノテーション領域を選択し検証処理を繰り返す。

【0053】

また、上記の例では、アノテーション領域全てについて検証処理を行っているが、検証の要否を選択できるようにしてもよい。図１７は、検証処理を行う際に要否を確認する場合における動作フローを示す図である。

【0054】

検証処理を開始すると、検証領域抽出部１４は、処理中の画像についてのアノテーション情報をアノテーション情報記憶部２５から読み出す。図１７において、検証領域抽出部１４は、検証処理が行われていないアノテーション情報からいずれか１つのアノテーション情報を選択する（ステップＳ３１）。

【0055】

アノテーション情報が抽出されると、検証領域抽出部１４は、ターゲット画像記憶部２１から対応するターゲット画像を読み出す。ターゲット画像を読み出すと、出力部１６は、アノテーション領域が表示された画像と、検証要否を確認する表示データを端末装置３０に出力する。

【0056】

端末装置３０は、アノテーション領域が表示された画像と、検証要否を確認する表示画面を表示装置に表示する。作業者の操作によって検証要否の情報が入力されると、端末装置３０は、検証要否の情報を画像処理装置１０に送る。

【0057】

検証が要であるとき（ステップＳ３２でＹｅｓ）、検証領域抽出部１４は、検証画像記憶部２６から対応する検証用画像を読み出す。検証用画像を読み出すと、検証領域抽出部１４は、検証用画像上においてアノテーション領域に対応する領域を画像Ｖ１として抽出する（ステップＳ３３）。

【0058】

検証用画像からアノテーション領域に対応する画像Ｖ１が読み出されると、出力部１６は、画像Ｇ１と画像Ｖ１を対比可能なように並べて表示する表示データを生成する。表示データを生成すると、出力部１６は、生成した表示データを端末装置３０に出力する（ステップＳ３４）。表示データを受け取ると、端末装置３０は、画像Ｇ１と画像Ｖ１を対比可能なように並べて表示装置に表示する。

【0059】

検証処理部１５は、画像Ｇ１と検証画像Ｖ１の表示に対しての作業者の操作によって入力された情報である検証結果の情報を受け取る（ステップＳ３５）。

【0060】

検証結果の情報を受け取ると、検証処理部１５は、物体の分類の情報を含むアノテーション情報を画像Ｇ１に関連付けて、アノテーション画像として生成する。検証処理部１５は、アノテーション画像をアノテーション画像記憶部２４に保存する。

【0061】

アノテーション画像を保存したとき、全ての候補領域についての検証が完了している場合に（ステップＳ３６でＹｅｓ）、画像処理装置１０は、検証処理を完了する。検証が完了していない候補領域があるとき（ステップＳ３６でＮｏ）、画像処理装置１０は、ステップＳ２１に戻り、新たなアノテーション領域を選択し検証処理を繰り返す。

【0062】

また、ステップＳ３２で検証処理が不要であるとき（ステップＳ３２でＮｏ）、全ての候補領域についての検証が完了している場合に（ステップＳ３６でＹｅｓ）、画像処理装置１０は、検証処理を完了する。検証が完了していない候補領域があるとき（ステップＳ３６でＮｏ）、画像処理装置１０は、ステップＳ２１に戻り、新たなアノテーション領域を選択し検証処理を繰り返す。

【0063】

上記の説明は、合成開口レーダで取得されたターゲット画像に対してアノテーション処理を行う例について行ったが、ターゲット画像は、合成開口レーダ以外の方法で取得された画像であってもよい。例えば、ターゲット画像は、赤外線カメラによって取得された画像であってもよい。

【0064】

本実施形態の画像処理システムの画像処理装置１０は、アノテーション処理の対象となるターゲット画像から物体が存在する可能性がある領域を抽出した画像と、対応する領域を参照画像から抽出した画像を比較可能なように表示している。そのため、本実施形態の画像処理装置１０を用いて作業を行うことでアノテーション領域を効率的に設定することができる。また、画像処理装置１０は、設定されたアノテーション領域の画像と、ターゲット画像とは異なる方法で取得された画像から抽出されたアノテーション領域とを比較可能なように表示している。そのため、本実施形態の画像処理装置１０を用いて作業を行うことでアノテーション領域に存在する物体の特定を容易に行うことができる。その結果、本実施形態の画像処理システムは、アノテーション処理を効率的に行いつつ、精度を向上することができる。

【0065】

（第２の実施形態）
本発明の第２の実施形態について説明する。図１８は、本実施形態の画像処理システムの構成の概要を示す図である。本実施形態の画像処理システムは、画像処理装置４０と、端末装置３０と、画像サーバ５０を備える。

【0066】

第１の実施形態の画像処理システムでは、検証画像は、作業者によって画像処理装置に入力されていた。本実施形態の画像処理装置４０は、検証画像を、ネットワークを介して画像サーバ５０から取得する。

【0067】

画像処理装置４０の構成について説明する。図１９は、画像処理装置４０の構成の例を示す図である。画像処理装置４０は、領域設定部１１と、領域抽出部１２と、アノテーション処理部１３と、検証領域抽出部１４と、検証処理部１５と、出力部１６と、入力部１７と、記憶部２０と、検証画像取得部４１と、検証画像生成部４２を備える。画像処理装置４０の領域設定部１１、領域抽出部１２、アノテーション処理部１３、検証領域抽出部１４、検証処理部１５、出力部１６および入力部１７の構成と機能は、第１の実施形態の同名称の部位と同様である。

【0068】

検証画像取得部４１は、画像サーバ５０から検証用画像を取得する。検証画像取得部４１は、取得した検証用画像を記憶部２０の検証画像記憶部２６に保存する。

【0069】

検証画像生成部４２は、画像サーバ５０から取得した検証用画像を基に、検証処理に用いる検証画像を生成する。検証画像の生成方法は、後で説明する。

【0070】

記憶部２０は、ターゲット画像記憶部２１と、参照画像記憶部２２と、領域情報記憶部２３と、アノテーション画像記憶部２４と、アノテーション情報記憶部２５と、検証画像記憶部２６と、検証結果記憶部２７を備えている。記憶部２０の各部位の構成と機能は、第１の実施形態と同様である。

【0071】

端末装置３０の構成と機能は、第１の実施形態の端末装置３０と同様である。

【0072】

画像サーバ５０は、各地点を撮影した光学画像のデータを保存している。画像サーバ５０は、各地点を撮影した光学画像の画像データに、撮影位置、撮影日時および雲量を含むデータを付加して保存している。画像処理装置４０は、画像サーバ５０とネットワークを介して接続されている。画像処理装置４０は、例えば、欧州宇宙機関が提供している画像サーバから画像データを検証用画像候補として取得する。画像処理装置４０は、複数の画像サーバ５０から検証用画像候補を取得してもよい。

【0073】

本実施形態の画像処理システムの動作について説明する。アノテーション処理および検証処理の動作は、第１の実施形態と同様である。そのため、以下では、検証用画像の生成の動作についてのみ説明する。図２０は、検証用画像の生成を行う際の画像処理装置４０の動作フローを示す図である。

【0074】

検証画像生成部４２は、アノテーション処理の対象画像の撮影位置と撮影日時の情報を抽出する（ステップＳ４１）。対象画像の撮影位置と撮影日時の情報を抽出すると、検証画像生成部４２は、検証画像取得部４１を介して画像サーバ５０から対象画像の撮影位置に対応する位置を撮影位置として含む画像データの撮影位置、撮影日時および雲量の情報を取得する（ステップＳ４２）。

【0075】

対象となる画像データが１つも無い場合は（ステップＳ４３でＮｏ）、検証画像生成部４２は、出力部１６を介して、検証用画像の画像候補がないことを示す情報を端末装置３０に出力する（ステップＳ４９）。検証用画像の画像候補がないことを示す情報を出力すると、検証画像生成部４２は、生成処理中の対象画像についての処理を終了する。検証用画像の画像候補がない場合は、作業者によって検証用画像データの取得が行われるか、処理中の画像がアノテーション処理の対象から除外される。

【0076】

ステップＳ４２で撮影位置、撮影日時および雲量の情報の取得ができ、検証用画像候補が存在するとき（ステップＳ４３でＹｅｓ）、検証画像生成部４２は、取得したデータを基に検証画像候補リストを生成する。検証画像候補リストは、対象画像の識別子、対象画像の撮影位置、検証用画像候補の識別子および検証用画像候補に付加された情報が関連付けられたデータである。

【0077】

検証画像候補リストと生成すると、検証画像生成部４２は、雲量をあらかじめ設定された閾値と比較する処理を実行する（ステップＳ４４）。雲量があらかじめ設定された閾値以上のとき、検証画像生成部４２は、検証用画像に適していないと決定し検証画像候補リストから除外する。

【0078】

雲量が閾値未満の画像があるとき（ステップＳ４５でＹｅｓ）、検証画像生成部４２は、検証用画像候補の位置情報と、対象画像の位置情報とを用いて、検証用画像候補に対する対象画像の面積重畳率を算出する（ステップＳ４６）。

【0079】

検証用画像候補が複数ある場合には、各検証用画像候補に対する面積重畳率を算出する。面積重畳率を算出すると、検証画像生成部４２は、検証用画像候補を面積重畳率の大きさを基に複数段階で設定されたグループに分ける。グループ分けをすると、検証画像生成部４２は、面積重畳率が最大のグループのうち撮影日時が最新のものを検証用画像として決定する。検証画像生成部４２は、面積重畳率があらかじめ設定された基準以上の検証用画像候補のうち最新の画像を検証用画像と決定してもよい。また、検証画像生成部４２は、面積重畳率と撮影日時をそれぞれあらかじめ設定された基準を用いてスコア化し、スコアの和または積が最大の検証用画像候補を検証用画像として決定してもよい。検証用画像を決定すると、検証画像生成部４２は、検証用画像として決定したことを示す情報を検証画像候補リストに書き込むことで保存する（ステップＳ４７）。

【0080】

検証用画像として決定したことを検証画像候補リストに書き込むと、検証画像生成部４２は、保存した検証用画像でカバーできている対象画像の領域を確認する。対象画像の全領域をカバーできている場合（ステップＳ４８でＹｅｓ）、検証画像生成部４２は、処理中の対象画像に対する検証画像候補リストから検証用画像として決定されてない画像のデータを消去し、検証用画像の生成の処理を完了する。

【0081】

また、ステップＳ４８において、対象画像の全領域をカバーできていない場合（ステップＳ４８でＮｏ）、検証画像生成部４２は、カバーできてない領域について、対象となる領域と検証用画像候補の情報を更新する（ステップＳ５０）。対象となる領域と検証用画像候補の情報を更新すると、ステップＳ４５に戻り、検証画像生成部４２は、雲量の閾値未満の画像の有無の判断からの処理を繰り返す。このとき、検証画像生成部４２は、面積重畳率があらかじめ設定された基準より低い検証用画像候補の情報を検証画像候補リストから消去していてもよい。

【0082】

また、ステップＳ４４において雲量による閾値処理を行った際に、雲量が閾値未満の画像がないとき（ステップＳ４５でＮｏ）、検証画像生成部４２は、出力部１６を介して、検証画像の画像候補がないことを示す情報を端末装置３０に出力する（ステップＳ４９）。検証用画像候補がないことを示す情報を出力すると、検証画像生成部４２は、生成処理中の対象画像についての処理を終了する。

【0083】

ステップＳ４８において対象画像の全領域がカバーされると、検証画像取得部４１は、検証画像候補リストの画像データを画像サーバ５０から取得する。画像データを取得すると、検証画像取得部４１は、取得した画像データを検証画像記憶部２６に保存する。

【0084】

検証画像候補リストに対応する画像データが取得されると、検証画像生成部４２は、1枚の画像に合成し、検証用画像として検証画像記憶部２６に保存する。検証用画像の合成を行う際に、検証画像生成部４２は、面積重畳率の高い画像を優先して、画像の合成を行う。例えば、複数の画像が同じ位置で互いに重なっているとき、検証画像生成部４２は、面積重畳率が最も高い画像データを用いての画像の合成を行う。また、検証画像候補リストに対応する画像データが１つのみのとき、検証画像生成部４２は、画像の合成を行わない。

【0085】

１つの対象画像の対象領域について検証用画像を生成すると、他の対象画像の検証用画像の生成の処理が行われる。全ての対象画像についての検証用画像の生成処理が完了すると、検証用画像の生成処理が完了する。

【0086】

検証用画像の生成処理が完了すると、第１の実施形態と同様にアノテーション領域の設定および検証処理が行われアノテーション処理が施されたデータが生成される。アノテーション処理が施されたデータは、例えば、機械学習における学習データとして用いられる。

【0087】

本実施形態の画像処理システムの画像処理装置４０は、検証用画像の生成に用いる検証用画像候補を、ネットワークを介して画像サーバ５０から取得している。そのため、本実施形態の画像処理システムでは、作業者によって検証用画像を収集する必要がないため作業を効率化することができる。

【0088】

（第３の実施形態）
本発明の第３の実施形態について図を参照して詳細に説明する。図２１は、画像処理装置１００の構成の概要を示す図である。本実施形態の画像処理装置１００は、入力部１０１と、検証領域抽出部１０２と、出力部１０３を備える。入力部１０１は、アノテーション処理の対象となる物体が存在する第１の画像上の領域の情報の入力をアノテーション領域として受け付ける。検証領域抽出部１０２は、アノテーション領域を含み、第１の画像とは異なる方式で撮影された第２の画像を抽出する。出力部１０３は、第１の画像と第２の画像を比較可能な状態で出力する。

【0089】

入力部１７とアノテーション処理部１３は、入力部１０１の一例である。また、入力部１０１は、入力手段の一態様である。検証領域抽出部１４は、検証領域抽出部１０２の一例である。また、検証領域抽出部１０２は、検証領域抽出手段の一態様である。出力部１６は、出力部１０３の一例である。また、出力部１０３は、出力手段の一態様である。

【0090】

画像処理装置１００の動作について説明する。図２２は、画像処理装置１００の動作フローの例を示す図である。入力部１０１は、アノテーション処理の対象となる物体が存在する第１の画像上の領域の情報の入力をアノテーション領域として受け付ける（ステップＳ１０１）。アノテーション領域が受け付けられると、検証領域抽出部１０２は、アノテーション領域を含み、第１の画像とは異なる方式で撮影された第２の画像を抽出する（ステップＳ１０２）。第２の画像が抽出されると、出力部１０３は、第１の画像と第２の画像を比較可能な状態で出力する（ステップＳ１０３）。

【0091】

本実施形態の画像処理装置１００は、アノテーション領域を含み、第１の画像とは異なる方式で撮影された第２の画像を抽出し、第１の画像と第２の画像を比較可能な状態で出力している。本実施形態の画像処理装置１００では、アノテーション領域に対応する第１の画像と第２の画像を比較可能な状態で出力することでアノテーション処理の作業を効率化することができる。また、本実施形態の画像処理装置１００では、第１の画像と第２の画像を比較可能な状態で出力することでアノテーション領域に存在する物体の特定が容易になる。その結果、本実施形態の画像処理装置１００を用いることでアノテーション処理を効率的に行いつつ、精度を向上することができる。

【0092】

第１の実施形態の画像処理装置１０、第２の実施形態の画像処理装置４０、および第３の実施形態の画像処理装置１００における各処理は、コンピュータプログラムをコンピュータで実行することによって行うことができる。図２３は、第１の実施形態の画像処理装置１０、第２の実施形態の画像処理装置４０、および第３の実施形態の画像処理装置１００における各処理を行うコンピュータプログラムを実行するコンピュータ２００の構成の例を示したものである。コンピュータ２００は、ＣＰＵ２０１と、メモリ２０２と、記憶装置２０３と、入出力Ｉ／Ｆ（Interface）２０４と、通信Ｉ／Ｆ２０５を備えている。

【0093】

ＣＰＵ２０１は、記憶装置２０３から各処理を行うコンピュータプログラムを読み出して実行する。ＣＰＵ２０１は、ＣＰＵとＧＰＵ（Graphics Processing Unit）の組み合わせによって構成されていてもよい。メモリ２０２は、ＤＲＡＭ（Dynamic Random Access Memory）等によって構成され、ＣＰＵ２０１が実行するコンピュータプログラムや処理中のデータが一時記憶される。記憶装置２０３は、ＣＰＵ２０１が実行するコンピュータプログラムを記憶している。記憶装置２０３は、例えば、不揮発性の半導体記憶装置によって構成されている。記憶装置２０３には、ハードディスクドライブ等の他の記憶装置が用いられてもよい。入出力Ｉ／Ｆ２０４は、作業者からの入力の受付および表示データ等の出力を行うインタフェースである。通信Ｉ／Ｆ２０５は、モニタリングシステムを構成する各装置との間でデータの送受信を行うインタフェースである。また、端末装置３０および画像サーバ５０も同様の構成とすることができる。

【0094】

各処理の実行に用いられるコンピュータプログラムは、記録媒体に格納して頒布することもできる。記録媒体としては、例えば、データ記録用磁気テープや、ハードディスクなどの磁気ディスクを用いることができる。また、記録媒体としては、ＣＤ-ＲＯＭ（Compact Disc Read Only Memory）等の光ディスクを用いることもできる。不揮発性の半導体記憶装置を記録媒体として用いてもよい。

【0095】

以上、上述した実施形態を例として本発明を説明した。しかしながら、本発明は、上述した実施形態には限定されない。即ち、本発明は、本発明のスコープ内において、当業者が理解し得る様々な態様を適用することができる。

【0096】

この出願は、２０２０年１２月２１日に出願された日本出願特願２０２０－２１０９４８を基礎とする優先権を主張し、その開示の全てをここに取り込む。

【符号の説明】

【0097】

１０ 画像処理装置
１１ 領域設定部
１２ 領域抽出部
１３ アノテーション処理部
１４ 検証領域抽出部
１５ 検証処理部
１６ 出力部
１７ 入力部
２０ 記憶部
２１ ターゲット画像記憶部
２２ 参照画像記憶部
２３ 領域情報記憶部
２４ アノテーション画像記憶部
２５ アノテーション情報記憶部
２６ 検証画像記憶部
２７ 検証結果記憶部
３０ 端末装置
４０ 画像処理装置
４１ 検証画像取得部
４２ 検証画像生成部
１００ 画像処理装置
１０１ 入力部
１０２ 検証領域抽出部
１０３ 出力部
２００ コンピュータ
２０１ ＣＰＵ
２０２ メモリ
２０３ 記憶装置
２０４ 入出力Ｉ／Ｆ
２０５ 通信Ｉ／Ｆ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】