TaiLexi AI日本の判例・法令
← ホーム
審決特許庁不成立

特許庁審決 令和5年11月13日

不服2022-013915 異常検知装置、異常検知方法、及びプログラム

結論

本件審判の請求は、成り立たない。

続きを見る ↓

この資料について AI に質問

機関
特許庁
年月日
令和5年11月13日 (2023-11-13)
事件番号
不服2022-013915
事件名
異常検知装置、異常検知方法、及びプログラム
種類・結果
審決 不成立
掲載
—
争点・税目
拒絶査定不服審判 / 特許
分野
知的財産

結論

本件審判の請求は、成り立たない。

AI 要約AI

要旨

  • 複数種別のデータを入力し、中間層でデータ種別間に跨る特徴を学習するオートエンコーダを異常検知に用いることは、引用文献1の発明に基づき引用文献2等を参酌して当業者が容易に想到し得たと判断した事例
事案の概要・争点・判断などを表示

事案の概要

  • 本願は、平成30年10月26日を国際出願日とする異常検知装置等の発明に係る特許出願であり、令和4年6月3日付けの拒絶査定に対し、令和4年9月6日に拒絶査定不服審判を請求した。
  • 本願発明(請求項1ないし7)は、オートエンコーダを用い、MIBデータ、フローデータ、syslog、CPU情報等の複数種別の正常データを入力し、中間層でデータ種別間に跨る特徴を学習して異常度を算出する異常検知装置等である。
  • 当審は令和5年4月27日付けで、引用文献1ないし4に基づく進歩性欠如(特許法29条2項)を理由とする拒絶理由を通知した。
  • 引用文献1はマルチモーダル音声認識手法、引用文献2はオートエンコーダを用いたネットワーク異常検知、引用文献3は宇宙機の異常検知、引用文献4は国際公開第2017/094267号に関する文献である。

争点

  • 本願発明(請求項6)が引用文献1記載の発明に基づき、引用文献2、引用文献3、周知文献1及び周知文献2に記載された事項を参酌することにより、当業者が容易に発明をすることができたか否か

判断

  • 本願発明と引用発明は、複数種別のデータを入力し、中間層でデータ種別間に跨る特徴を学習するオートエンコーダを備える点で一致し、異常検知に用いる点で相違する。
  • オートエンコーダを異常検知に用いることは周知技術であり、引用文献2にはオートエンコーダを異常検知に用いる動機付けが示唆されている。
  • 引用発明のディープオートエンコーダを異常検知に用い、正常データとしてMIBデータ等を用いることは当業者が容易に想到し得た。
  • 本願発明の作用効果は予測される範囲内であり、格別顕著なものではない。請求人の主張は、引用発明がデータ種別ごとの事前学習後にデータ種別間に跨る学習を行う点で本願発明と一致するとして採用できない。

結論

  • 本件審判の請求は、成り立たない。

AI が本文から作成した要約です。引用の際は本文をご確認ください。

当事者

請求人 日本電信電話株式会社(代理人 弁理士2名)

審判番号 不服2022-013915

請求人 日本電信電話株式会社(代理人 弁理士2名)

特願2019-550352「異常検知装置、異常検知方法、及びプログラム」拒絶査定不服審判事件〔令和1年5月9日国際公開、WO2019/087987〕について、次のとおり審決する。

結 論

本件審判の請求は、成り立たない。

理 由

第1 手続の経緯

本願は、平成30年10月26日(優先権主張 平成29年11月2日、以下、「本願優先日」という。)を国際出願日とする出願であって、その手続の経緯は、概略、以下のとおりである。

令和3年5月24日付け: 拒絶理由通知書

令和3年8月2日  : 意見書、手続補正書の提出

令和4年1月6日付け: 拒絶理由通知書

令和4年3月22日  : 意見書の提出

令和4年6月3日付け: 拒絶査定

令和4年9月6日  : 審判請求書、手続補正書の提出

令和5年4月27日付け: 拒絶理由通知書

令和5年7月10日  : 意見書の提出

第2 本願発明

令和4年9月6日に提出された手続補正書に係る補正によって補正された特許請求の範囲の請求項1ないし7は、以下のとおりである。

「  【請求項1】

入力層、中間層、及び出力層を有し、前記入力層のデータを前記出力層で再現するようにパラメータを学習するオートエンコーダの機能を備える異常検知装置であって、

MIBデータ、フローデータ、syslog、及びCPU情報のうちの1つ又は複数が含まれる複数種別の正常データを入力する入力手段と、

前記中間層において、正常データの次元数よりも小さい次元数のデータを用いて、データ種別間に跨る特徴を学習することにより、前記入力層の正常データを前記出力層で再現するようにパラメータを学習する学習手段と、

前記学習手段により学習されたパラメータを用いた前記オートエンコーダにテストデータを入力し、当該オートエンコーダの出力データと、前記テストデータとに基づいて、当該テストデータの異常度を算出する異常度算出手段とを備え、

前記学習手段は、データ種別毎の学習を個別に実行することにより得られたパラメータを初期値として使用することにより、前記オートエンコーダにおけるパラメータを学習する

ことを特徴とする異常検知装置。

【請求項2】

前記オートエンコーダは、前記入力層としての第1層と、前記中間層としての3層である第2層、第3層、及び第4層と、前記出力層としての第5層とを有し、

前記学習手段は、前記第2層と前記第4層において、正常データの次元数よりも小さい次元数でデータ種別毎の特徴を抽出し、前記第3層において、データ種別間に跨る特徴を抽出する

ことを特徴とする請求項1に記載の異常検知装置。

【請求項3】

前記学習手段は、前記入力層のデータと前記出力層のデータとの間のMSEを最小化するように前記パラメータを学習する、又は、前記出力層における値をパラメータとした、予め定めた確率分布の元で前記入力層のデータが観測される尤度関数の正負を逆転した値を最小化するように前記パラメータを学習する

ことを特徴とする請求項1又は2に記載の異常検知装置。

【請求項4】

前記異常度算出手段は、データ種別毎の重みを用いて、前記テストデータの異常度をデータ種別毎の再構成誤差の重み付け平均として算出する

ことを特徴とする請求項1ないし3のうちいずれか1項に記載の異常検知装置。

【請求項5】

前記学習手段は、データ種別毎の重みを用いて、データ種別毎の再構成誤差の重み付け平均を最小化するようなパラメータの学習を行う

ことを特徴とする請求項1ないし4のうちいずれか1項に記載の異常検知装置。

【請求項6】

入力層、中間層、及び出力層を有し、前記入力層のデータを前記出力層で再現するようにパラメータを学習するオートエンコーダの機能を備える異常検知装置が実行する異常検知方法であって、

MIBデータ、フローデータ、syslog、及びCPU情報のうちの1つ又は複数が含まれる複数種別の正常データを入力する入力ステップと、

前記中間層において、正常データの次元数よりも小さい次元数のデータを用いて、データ種別間に跨る特徴を学習することにより、前記入力層の正常データを前記出力層で再現するようにパラメータを学習する学習ステップと、

前記学習ステップにより学習されたパラメータを用いた前記オートエンコーダにテストデータを入力し、当該オートエンコーダの出力データと、前記テストデータとに基づいて、当該テストデータの異常度を算出する異常度算出ステップとを備え、

前記学習ステップにおいて、前記異常検知装置は、データ種別毎の学習を個別に実行することにより得られたパラメータを初期値として使用することにより、前記オートエンコーダにおけるパラメータを学習する

ことを特徴とする異常検知方法。

【請求項7】

コンピュータを、請求項1ないし5のうちいずれか1項に記載の異常検知装置における各手段として機能させるためのプログラム。」

第3 当審における拒絶の理由

令和5年4月27日付けで当審が通知した拒絶理由は、概略、次のとおりのものである。

(理由1)進歩性欠如

本願の請求項1、2及び6に係る発明は、本願の出願前に日本国内又は外国において、頒布された又は電気通信回線を通じて公衆に利用可能となった以下の引用文献1に記載された発明に基いて、以下の引用文献2及び3に記載された事項を参酌することにより、その出願前にその発明の属する技術の分野における通常の知識を有する者(以下、「当業者」という。)が容易に発明をすることができたものであるから、特許法第29条第2項の規定により特許を受けることができない。

また、本願の請求項3、4、5及び7に係る発明は、本願の出願前に日本国内又は外国において、頒布された又は電気通信回線を通じて公衆に利用可能となった以下の引用文献1に記載された発明に基いて、以下の引用文献2ないし4に記載された事項を参酌することにより、当業者が容易に発明をすることができたものであるから、特許法第29条第2項の規定により特許を受けることができない。

引用文献1:〔氏名省略〕 ほか,口唇の深度画像を用いたディープオートエ

ンコーダによるマルチモーダル音声認識,情報処理学会研究

報告[online],一般社団法人情報処理学会,201

7年7月20日,Vol.2017-SLP-117, No.2,pp.1-6,ISSN 2

188-8663

引用文献2:〔氏名省略〕 ほか,オートエンコーダを用いたネットワーク異

常検知における精度向上に向けた一検討,電子情報通信学会

2017年総合大会講演論文集(通信2),一般社団法人電

子情報通信学会,2017年3月7日,p.127(B-7-34),I

SSN 1349-1369

引用文献3:櫻田 麻由 ほか,オートエンコーダを用いた次元削減による

宇宙機の異常検知,第28回人工知能学会全国大会論文集[

CD-ROM],一般社団法人人工知能学会,2014年6

月13日,pp.1-3

引用文献4:国際公開第2017/094267号

第4 引用文献の記載及び引用発明

1 引用文献1記載事項

引用文献1には、図面とともに、次の事項が記載されている。なお、下線は、強調のため当審が付与した。(以降においても同様。)

(1)第1ページ左段

「1 はじめに

・・・(中略)・・・

以上の背景を踏まえ,本研究では,「音響情報」「口唇の色画像情報」「口唇の深度画像情報」の3者を,深層学習を利用して融合し利用する,マルチモーダル音声認識手法を提案する.具体的には,これら3つの特徴量を連結した高次元ベクトルを入出力とするディープオートエンコーダ(Trimodal Deep Autoencoder)を構築し,その中間層から得られる特徴量をDNN-HMM法に基づく音声認識[21]の入力として利用する手法である.」

(2)第2ページ左段

「2 Trimodal Deep Autoencoder

・・・(中略)・・・

提案するオートエンコーダ(Trimodal Deep Autoencoder)の様子を図1に示す.この図では5層のオートエンコーダの例を示している.入力は各モード(音響,色画像,深度画像)の特徴ベクトルであり,中間層でそれらを圧縮,出力層で再び各モードの特徴ベクトルが復元されるようなネットワークとなっている.共有されている中間層によって,各モードを融合した情報が表現されるため,この層の出力を新たな一つの特徴量として認識に利用する.ここで,Wi^((l))はi番目のモードのl層目のユニットの出力に対する(バイアスを含む)重みパラメータであり,i=1,2,3,l=1,2,3,4となる.」

(3)第2ページ右段

「 図2に提案するディープオートエンコーダの事前学習のプロセスを示す.まず,それぞれのモードに対して個別にオートエンコーダを構成し,事前学習を行う(図2(a)).得られたオートエンコーダの上下の重みパラメータを分割し,目的とするディープオートエンコーダの出力側,入力側の層の初期パラメータに利用する.この例では,3層で事前学習されたオートエンコーダの上下部分を分割し,Wi⁽¹⁾とWi⁽⁴⁾の初期パラメータとして利用している(図2(b)).その際に3モード分をまとめ,それらを共有する中間層を挿入してディープオートエンコーダを構成する(図2(c)).次に,中間部分(図2(d))を取り出し,3モードの特徴ベクトルを連結した高次元ベクトルを利用して事前学習を行うことで,中間部分の重みパラメータ(Wi⁽²⁾とWi⁽³⁾)の推定を進める.この事前学習におけるモード1の入力ベクトルは

〔図省略〕

と表され,以下の式(1),(2)で定義される.

〔図省略〕

ここで,σは活性化関数を表す.この5層のオートエンコーダの例では,ノイズが付与されていない入力に対する共有中間層の出力は,

〔図省略〕

と定義されるため,各モードに対する出力ベクトルは,

〔図省略〕

となる.このベクトルを中間部分の事前学習に用いる.」

(4)第2ページ右段

「 最後に全体に対してファインチューニングを行って,最終的なTrimodal Deep Autoencoderを得る.具体的には,以下の式(5)の平均二乗誤差(MSE:Mean Squared Errors)で定義される損失関数を利用して重みパラメータを更新する.

〔図省略〕

ここで,niはモードiの特徴ベクトルの次元数を表し,yi,jはyiのj番目の要素,xi,jはxiのj番目の要素である.」

(5)第4ページ右段

「 ディープオートエンコーダの最適化手法にはAdam[24]を用い,ノイズ付与の確立pは0.2,活性化関数σにはシグモイド関数を用いた.また,ミニバッチ学習における学習サイズは100とした.なお,提案するTrimodal Deep Autoencoderの学習時間は,1CPU(Intel Xeon X56702.93GHz),1GPU(NVIDIA Tesla1.31Tflops)のマシンで48時間であった.」

(6)第2ページ左段

「

〔図省略〕

」

(7)第3ページ上段

「

〔図省略〕

」

2 引用発明

(1)上記1(1)から、引用文献1には、「「音響情報」「口唇の色画像情報」「口唇の深度画像情報」の特徴量を連結した高次元ベクトルを入出力として構築したディープオートエンコーダ(Trimodal Deep Autoencoder)の中間層から得られる特徴量を利用するマルチモーダル音声認識手法」の発明が記載されているといえる。

(2)上記1(5)から、引用文献1には、「Trimodal Deep Autoencoderを学習するマシン」が記載されているといえる。

(3)上記1(2)及び(6)から、引用文献1には、「入力は各モード(音響,色画像,深度画像)の特徴ベクトルであり,中間層でそれらを圧縮,出力層で再び各モードの特徴ベクトルが復元されるようなネットワークとなっている5層のディープオートエンコーダ」が記載されているといえる。

(4)上記1(1)及び(2)から、引用文献1には、「ディープオートエンコーダ」が「各モード(音響,色画像,深度画像)の特徴ベクトルを連結した高次元ベクトルを入出力とする」ことが記載されているといえる。

(5)上記1(2)、(3)及び(7)から、引用文献1には、「ディープオートエンコーダ」が「それぞれのモードに対して個別に3層のオートエンコーダを構成して事前学習を行い,得られたオートエンコーダの上下の重みパラメータを分割し,目的とする5層のディープオートエンコーダのWi⁽¹⁾(第1層目からの出力に対する重みパラメータ)とWi⁽⁴⁾(第4層目からの出力に対する重みパラメータ)の初期パラメータとして利用するとともに,3モード分をまとめ,それらを共有する中間層を挿入してディープオートエンコーダを構成し,中間部分を取り出して3モードの特徴ベクトルを連結した高次元ベクトルを利用して事前学習を行い,中間部分の重みパラメータWi⁽²⁾(第2層目からの出力に対する重みパラメータ)とWi⁽³⁾(第3層目からの出力に対する重みパラメータ)の推定を進める」ことが記載されているといえる。

(6)上記1(4)から、引用文献1には、「ディープオートエンコーダ」が「最後に平均二乗誤差(MSE:Mean SquaredErrors)で定義される損失関数を利用して重みパラメータを更新する」ことが記載されているといえる。

(7)上記1(1)及び(2)から、引用文献1には、「中間層の出力を新たな一つの特徴量として音声認識に利用する」ことが記載されているといえる。

(8)したがって、引用文献1には、次の発明(以下、「引用発明」という。)が記載されていると認められる。

「「音響情報」「口唇の色画像情報」「口唇の深度画像情報」の特徴量を連結した高次元ベクトルを入出力として構築されたディープオートエンコーダ(Trimodal Deep Autoencoder)の中間層から得られる特徴量を利用するマルチモーダル音声認識手法であって,

ディープオートエンコーダは,

マシンによって学習され,

入力は各モード(音響,色画像,深度画像)の特徴ベクトルであり,中間層でそれらを圧縮,出力層で再び各モードの特徴ベクトルが復元されるようなネットワークとなっている5層のディープオートエンコーダであり,

各モード(音響,色画像,深度画像)の特徴ベクトルを連結した高次元ベクトルを入出力とし,

それぞれのモードに対して個別に3層のオートエンコーダを構成して事前学習を行い,得られたオートエンコーダの上下の重みパラメータを分割し,目的とする5層のディープオートエンコーダのWi⁽¹⁾(第1層目からの出力に対する重みパラメータ)とWi⁽⁴⁾(第4層目からの出力に対する重みパラメータ)の初期パラメータとして利用するとともに,3モード分をまとめ,それらを共有する中間層を挿入してディープオートエンコーダを構成し,中間部分を取り出して3モードの特徴ベクトルを連結した高次元ベクトルを利用して事前学習を行い,中間部分の重みパラメータWi⁽²⁾(第2層目からの出力に対する重みパラメータ)とWi⁽³⁾(第3層目からの出力に対する重みパラメータ)の推定を進め,

最後に平均二乗誤差(MSE:MeanSquared Errors)で定義される損失関数を利用して重みパラメータを更新し,

中間層の出力を新たな一つの特徴量として認識に利用する,

マルチモーダル音声認識手法.」

3 引用文献2記載事項

引用文献2には、次の事項が記載されている。

(1)第127ページ左段

「1 はじめに

データに内在する複雑な構造の学習を可能とするディープラーニングの一種である,オートエンコーダを用いた異常検知技術に注目が集まっている[1,2].オートエンコーダを異常検知に用いる場合,多種多様な観測データの活用が期待されるが,得られる学習データ量が限られるネットワーク環境においては,観測データの多様性を十分に活用できないことが懸念される.本稿では,複数のオートエンコーダを組み合わせる手法により,限られた学習データ量の下で,観測データの多様性を活用した異常検知をおこなう手法について示す.」

(2)第127ページ左段

「2 オートエンコーダ

オートエンコーダは教師なし学習をおこなうニューラルネットワークの一種であり,中間層の次元を入出力層より少ない次元に設定し,入力層のデータを出力層で再現するようにパラメータを学習することで,中間層においてデータの次元削減がおこなわれる.オートエンコーダを用いた異常検知では,正常なデータは入力データ空間上において,低次元表現が可能なある多様体の周辺に分布するという前提に基づいている.例えばサーバアクセス数とサーバCPU負荷を特徴量として入力とした場合,入力データ空間は2次元だが,入力データは負荷性能曲線の1次元多様体の周辺に分布する.そめため,次元削減により近似表現されたデータを出力層で再現した際の,元の入力データとの距離を異常度として定義する.オートエンコーダの異常度を,入力したテストデータxと出力層のデータyの平均二乗誤差

〔図省略〕

として定義する.ただし,Nはデータの次元数である.」

(3)第127ページ左段

「3 課題および提案手法

・・・(中略)・・・

オートエンコーダをネットワークの異常検知に用いる場合,観測データとしてはフローデータやMIBデータ,syslogといった多種のデータが考えられるが,観測データの種別が増えることは,多様な異常の検知が期待される反面,相関性の無いデータの増加により,必要な学習データの増加が問題となる.

・・・(中略)・・・

そこで本稿では,観測データの種別ごとに別々のオートエンコーダを学習させ,異常検知においては,各オートエンコーダにおける異常検知結果を組み合わせる手法を提案する.具体的には,全データ種別数をKとし,種別kのデータによるオートエンコーダが出力したMSE(Mean Squared Error)をMSEkとした場合,最終的な異常度MSEallを

〔図省略〕

のように加重平均として算出する.重みωkについては,データ種別に応じたMSEの分布の違いを考慮し,学習データを入力した際のMSEkの平均の逆数とした.」

4 引用文献3記載事項

引用文献3には、図面とともに、次の事項が記載されている。

(1)第1ページ左段

「1.はじめに

・・・(中略)・・・そのため,宇宙システムにおいては,データから異常を素早く正確に発見することが求められる.こうした課題に対して,機械学習やデータマイニング手法を用いたデータ駆動型の異常検知手法が過去にも先行研究[矢入11]などにおいて提案されており,次元削減およびクラスタリングを宇宙機テレメトリデータに適用し,異常の検知に成功している.・・・(中略)・・・本研究では,入力と同空間において非線形の次元削減が行えるオートエンコーダを用いて,宇宙機テレメトリデータの異常検知を行い,線形PCA,カーネルPCAと比較することでその有用性を示した.」

(2)第1ページ左段

「2 オートエンコーダによる異常検知

・・・(中略)・・・

Dの入力変数を持った各データサンプルをx^((i))∈R^(D)とし,m個のデータセットからなるデータセットを{x⁽¹⁾,x⁽²⁾,...,x^((m))}とする.オートエンコーダは教師なしのニューラルネットワークの一つであり,入力を再現するような出力

〔図省略〕

を学習によって得ることが目的である.図1にオートエンコーダの概念図を示す.この図に示したように,出力層と入力層は同じ数のニューロンを持っており,出力層では入力層を再現するように同じ次元のベクトルを出力する.通常隠れ層ではニューロン数が入力層よりも少なくなっており,この層において入力は圧縮され,次元削減が行われる.l番目の層のi番目のユニット活性度は,式1で表される.

〔図省略〕

ここで,Wとbはそれぞれ結合荷重とバイアスのパラメータである.」

(3)第1ページ右段

「オートエンコーダの学習、つまり訓練はWとbを決定することと同値であるが,これは勾配法などの反復解法によって式2に示す目的関数を最小にするW,bを求めることで決定される.

〔図省略〕

」

(4)第2ページ左段

「 異常の判定には,式3で表される再構成誤差を用いる.これはそれぞれの訓練・試験データに対して入力と出力の平均二乗誤差をとったものである.正常なデータによってモデルの学習がなされることで,正常な試験データに対しては再構成が行われ誤差は小さくなる一方,異常なデータに対しては学習がされていないため再構成誤差が大きくなる.

〔図省略〕

」

(5)第1ページ右段

「

〔図省略〕

」

5 周知文献1記載事項

周知技術を示すために当審において新たに引用する、‘人工知能、超人間へのロードマップ 第1部:来るべき将来「人の支援」から「人間超え」へ、2030年にも超人や超知性’,日経エレクトロニクス,日経BP社,2016年5月20日,第1168号,pp.26-33(以下、「周知文献1」とする。)には、次の事項が記載されている。

(1)第29ページ右段の注釈

「(注3)同社は異常検知用に、入力信号をそのまま再現するように学習させるオートエンコーダーなどを使っている。通常稼働時のセンサーのデータで学習させたオートエンコーダーに、これまでになかったデータが入力されると出力が乱れるため、異常を検出できるという。他にも、RNN(Recurrent Neural Network)の一種であるLSTM(Long Short Term Memory)などを、場合に応じて使い分けている。」

6 周知文献2記載事項

周知技術を示すために当審において新たに引用する、国際公開第2016/132468号(以下、「周知文献2」とする。)には、図面とともに、次の事項が記載されている。

(1)「[0014]<従来手法の課題について>

以下では本発明の理解を促進するため、まず従来の復元型ニューラルネットワーク(例えばオートエンコーダ)による故障診断手法の課題、および従来の識別型ニューラルネットワークによる故障診断手法の課題について詳述し、その後に本発明の実施形態について説明する。

[0015] 図1は、オートエンコーダを用いて機器の故障を診断する手法を説明するブロック図である。オートエンコーダ120は、診断対象となる機器が正常動作時に出力する信号を学習データとし、入力データをそのまま復元して出力するように学習をあらかじめ実施しておく。オートエンコーダ120は正常データのみを用いて学習しているため、正常データ以外のデータが入力されると、出力データが入力データと一致しないことが期待される。

[0016] 機器の故障を診断する際には、診断対象機器が出力した信号列を入力データ110としてオートエンコーダ120に対して入力し、復元データ130を取得する。距離計算器140は、入力データ110と復元データ130との間の距離を求める。比較器160は、その距離を基準値150と比較し、距離が基準値150よりも大きい場合は入力データ110が異常である(すなわち機器が故障している)旨の判定結果170を出力し、距離が基準値150以下である場合は入力データ110が正常である(すなわち機器が正常である)旨の判定結果170を出力する。」

(2)「

〔図省略〕

」

7 周知技術

引用文献2、引用文献3、周知文献1及び周知文献2に記載された事項から、以下の事項は、本願優先日前における周知技術と認められる。

(周知技術)

正常なデータを用いて、入力層のデータを中間層で次元削減を行った上で出力層で再現するようにパラメータを学習したオートエンコーダに対して、入力したテストデータと出力されたデータとの距離を当該テストデータの異常度として定義することにより、オートエンコーダを観測データの異常検知に用いること。

第5 対比

請求項6に係る発明(以下、「本願発明」という。)と引用発明とを対比する。

1 引用発明の「特徴ベクトル」は、本願発明の「データ」に含まれる。

2 引用発明の「ディープオートエンコーダ」は、「入力は各モード(音響,色画像,深度画像)の特徴ベクトルであり,中間層でそれらを圧縮,出力層で再び各モードの特徴ベクトルが復元されるようなネットワークとなっている5層のディープオートエンコーダ」であり、また、「Wi⁽¹⁾(第1層目からの出力に対する重みパラメータ)」との構成からして、各モード(音響,色画像,深度画像)の特徴ベクトルが、「ディープオートエンコーダ」を構成する「5層」のうち「第1層目」に入力されるといえる。そうすると、引用発明において「第1層目」は、本願発明の「入力層」に相当し、引用発明の「中間層」、「出力層」はそれぞれ、本願発明の「中間層」、「出力層」に相当する。

また、引用発明の「ディープオートエンコーダ」は、上記のように「入力」が「出力層で再び各モードの特徴ベクトルが復元される」ように構成されている。そして、引用発明の「ディープオートエンコーダ」は、「それぞれのモードに対して個別に3層のオートエンコーダを構成して事前学習を行い,得られたオートエンコーダの上下の重みパラメータを分割し,目的とする5層のディープオートエンコーダのWi⁽¹⁾(第1層目からの出力に対する重みパラメータ)とWi⁽⁴⁾(第4層目からの出力に対する重みパラメータ)の初期パラメータとして利用するとともに,3モード分をまとめ,それらを共有する中間層を挿入してディープオートエンコーダを構成し,中間部分を取り出して3モードの特徴ベクトルを連結した高次元ベクトルを利用して事前学習を行い,中間部分の重みパラメータWi⁽²⁾(第2層目からの出力に対する重みパラメータ)とWi⁽³⁾(第3層目からの出力に対する重みパラメータ)の推定を進め,最後に平均二乗誤差(MSE:Mean Squared Errors)で定義される損失関数を利用して重みパラメータを更新する」との構成によれば、「事前学習」と「損失関数」を利用した処理により、各層からの出力に対する「重みパラメータ」を学習するものといえる。

よって、引用発明の「ディープオートエンコーダ」は、「入力」が「出力層で再び各モードの特徴ベクトルが復元される」ように「重みパラメータ」を学習する機能を備えていると認められ、また、「復元」することは「再現」することに等しい。

そして、引用発明の「重みパラメータ」は、本願発明の「パラメータ」に相当し、また、引用発明の「ディープオートエンコーダ」は、「オートエンコーダ」の一種であることは明らかである。

したがって、引用発明の「ディープオートエンコーダ」は、本願発明の「入力層のデータを出力層で再現するようにパラメータを学習するオートエンコーダの機能」に相当する機能を備えているといえる。

3 引用発明の「ディープオートエンコーダ」は、「マシンによって学習され」るとの構成から、「ディープオートエンコーダ」が「マシン」上に実装された上で、「マシン」が「ディープオートエンコーダ」の学習を実行するものといえる。さらに、引用発明の「マルチモーダル音声認識手法」は、「ディープオートエンコーダ」の学習によって得られた「中間層の出力」を「特徴量として認識に利用する」ものであるから、「マルチモーダル音声認識手法」も「ディープオートエンコーダ」が実装された「マシン」上で実行するものといえる。

また、引用発明の「マシン」と、本願発明の「異常検知装置」とは、「装置」である点において共通する。

したがって、上記1及び2の検討も参酌すると、引用発明において「ディープオートエンコーダ」が実装された「マシン」が実行する「マルチモーダル音声認識手法」と、本願発明の「入力層、中間層、及び出力層を有し、前記入力層のデータを前記出力層で再現するようにパラメータを学習するオートエンコーダの機能を備える異常検知装置が実行する異常検知方法」とは、「入力層、中間層、及び出力層を有し、前記入力層のデータを前記出力層で再現するようにパラメータを学習するオートエンコーダの機能を備える装置が実行する方法」である点において共通する。

4 引用発明の「マルチモーダル音声認識手法」は、「ディープオートエンコーダ」が「各モード(音響,色画像,深度画像)の特徴ベクトルを連結した高次元ベクトルを入出力」するものであるところ、「マルチモーダル音声認識手法」において「ディープオートエンコーダ」が実装される「マシン」は、前記「高次元ベクトル」を入力する「入力ステップ」を備えるものと認められる。

加えて、引用発明において、入力する前記「高次元ベクトル」は「データ」といい得るものであるところ、引用発明の「各モード(音響,色画像,深度画像)の特徴ベクトル」は、音響、色画像、深度画像といった複数のモード(種別)の「データ」を連結したものであるから、「各モード(音響,色画像,深度画像)の特徴ベクトルを連結した高次元ベクトル」は、「複数種別のデータ」といい得るものである。

よって、引用発明において「マルチモーダル音声認識方法」において「ディープオートエンコーダ」実装される「マシン」が「各モード(音響,色画像,深度画像)の特徴ベクトルを連結した高次元ベクトル」を入力する「入力ステップ」と、本願発明の「MIBデータ、フローデータ、syslog、及びCPU情報のうちの1つ又は複数が含まれる複数種別の正常データを入力する入力ステップ」とは、「複数種別のデータを入力する入力ステップ」である点において共通する。

5 引用発明において「3モード分をまとめ,それらを共有する中間層を挿入してディープオートエンコーダを構成し,中間部分を取り出して3モードの特徴ベクトルを連結した高次元ベクトルを利用して事前学習を行い,中間部分の重みパラメータWi⁽²⁾(第2層目からの出力に対する重みパラメータ)とWi⁽³⁾(第3層目からの出力に対する重みパラメータ)の推定を進め」ることにより、各モードの特徴ベクトルの特徴が中間層である第3層に集約され、次元が削減されているといえ(実際、上記第4の1(7)(特に(c))から、中間層である第3層の次元数が、入力側の第2層の次元数より小さくなっている。)、また、引用発明の「マルチモーダル音声認識手法」において「ディープオートエンコーダ」を実装する「マシン」が、そのための「学習ステップ」を備えているものと認められる。

よって、引用発明の「マルチモーダル音声認識手法」において「ディープオートエンコーダ」を実装する「マシン」の「学習ステップ」と、本願発明の「前記中間層において、正常データの次元数よりも小さい次元数のデータを用いて、データ種別間に跨る特徴を学習することにより、前記入力層の正常データを前記出力層で再現するようにパラメータを学習する学習ステップ」とは、「前記中間層において、データの次元数よりも小さい次元数のデータを用いて、データ種別間に跨る特徴を学習することにより、前記入力層のデータを前記出力層で再現するようにパラメータを学習する学習ステップ」である点において共通する。

6 上記2で検討したとおり、引用発明の「ディープオートエンコーダ」は、「事前学習」と「損失関数」を利用した処理により、各層からの出力に対する「重みパラメータ」を学習するものといえる。また、引用発明の「マルチモーダル音声認識手法」は、「ディープオートエンコーダ」が学習した「重みパラメータ」を「中間層の出力を新たな一つの特徴量として認識に利用する」という構成から、認識の対象となるマルチモーダルの「データ」が「ディープオートエンコーダ」に入力され、認識の「結果」が「重みパラメータ」として「ディープオートエンコーダ」から出力されてこれを「認識に利用」するものと認められる。そして、引用発明の「マルチモーダル音声認識手法」において「ディープオートエンコーダ」を実装する「マシン」が、そのための「ステップ」を備えているものと認められる。

また、引用発明において、出力される「重みパラメータ」に基づいて入力されたマルチモーダルの「データ」について「認識」することと、本願発明において、「当該テストデータの異常度を算出する」こととは、「当該データに関する所定の処理を行う」ことである点において共通する。

よって、引用発明において、学習した「重みパラメータ」を「中間層の出力を新たな一つの特徴量として認識に利用する」ための「ステップ」と、本願発明の「前記学習ステップにより学習されたパラメータを用いた前記オートエンコーダにテストデータを入力し、当該オートエンコーダの出力データと、前記テストデータとに基づいて、当該テストデータの異常度を算出する異常度算出ステップ」とは、「前記学習ステップにより学習されたパラメータを用いたオートエンコーダにデータを入力し、当該データに関する所定の処理を行うステップ」である点において共通する。

7 引用発明において「それぞれのモードに対して個別に3層のオートエンコーダを構成して事前学習を行」うことは、本願発明の「データ種別毎の学習を個別に実行」することに相当する。

また、引用発明において「事前学習を行い,得られたオートエンコーダの上下の重みパラメータを分割し,目的とする5層のディープオートエンコーダのWi⁽¹⁾(第1層目からの出力に対する重みパラメータ)とWi⁽⁴⁾(第4層目からの出力に対する重みパラメータ)の初期パラメータとして利用する」ことは、本願発明の「得られたパラメータを初期値として使用する」ことに相当する。

そして、上記3で検討したしたとおり、引用発明の「マルチモーダル音声認識手法」では、「マシン」が「ディープオートエンコーダ」の学習を実行するものであるから、引用発明において「それぞれのモードに対して個別に3層のオートエンコーダを構成して事前学習を行い,得られたオートエンコーダの上下の重みパラメータを分割し,目的とする5層のディープオートエンコーダのWi⁽¹⁾(第1層目からの出力に対する重みパラメータ)とWi⁽⁴⁾(第4層目からの出力に対する重みパラメータ)の初期パラメータとして利用する」ことと、本願発明の「前記学習ステップにおいて、前記異常検知装置は、データ種別毎の学習を個別に実行することにより得られたパラメータを初期値として使用することにより、オートエンコーダにおけるパラメータを学習する」こととは、「前記学習ステップにおいて、前記装置は、データ種別毎の学習を個別に実行することにより得られたパラメータを初期値として使用することにより、オートエンコーダにおけるパラメータを学習する」ことである点において共通する。

第6 一致点、相違点

上記から、本願発明と引用発明とは、以下の点において一致ないし相違する。

1 一致点

「 入力層、中間層、及び出力層を有し、前記入力層のデータを前記出力層で再現するようにパラメータを学習するオートエンコーダの機能を備える装置が実行する方法であって、

複数種別のデータを入力する入力ステップと、

前記中間層において、データの次元数よりも小さい次元数のデータを用いて、データ種別間に跨る特徴を学習することにより、前記入力層のデータを前記出力層で再現するようにパラメータを学習する学習ステップと、

前記学習ステップにより学習されたパラメータを用いたオートエンコーダにデータを入力し、当該データに関する所定の処理を行うステップとを備え、

前記学習ステップにおいて、装置は、データ種別毎の学習を個別に実行することにより得られたパラメータを初期値として使用することにより、前記オートエンコーダにおけるパラメータを学習する

ことを特徴とする方法。」

2 相違点

本願発明は、「オートエンコーダの機能を備える異常検知装置が行う異常検知方法」であって、「MIBデータ、フローデータ、syslog、及びCPU情報のうちの1つ又は複数が含まれる複数種別の正常データ」を入力し、当該「正常データ」を学習に使用し、「学習されたパラメータを用いた前記オートエンコーダにテストデータを入力し、当該オートエンコーダの出力データと、前記テストデータとに基づいて、当該テストデータの異常度を算出する異常度算出ステップ」を備えるものであるが、引用発明は、「マルチモーダル音声認識手法」であって、「異常度検知装置」が「正常データ」を入力してパラメータを学習するとともに、学習されたパラメータを用いるオートエンコーダに入力されたテストデータと出力データとに基づいて「異常度を算出する」処理を行うものではない点。

第7 判断

1 相違点について

上記相違点について、判断する。

上記第4の7に示すとおり、正常なデータを用いて、入力層のデータを出力層で再現するようにパラメータを学習したオートエンコーダに対して、入力したテストデータと出力されたデータとの距離を当該テストデータの異常度として定義することによりオートエンコーダを観測データの異常検知に用いることは、本願優先日前における周知技術である。引用発明及び周知技術は、入力層から入力された複数の入力データを中間層で次元削減(圧縮)するとともに、複数の入力データを復元するように出力層から出力するように学習を行うオートエンコーダに関するものである点で、共通の技術分野に属するものである。

そして、引用文献2記載事項に、「データに内在する複雑な構造の学習を可能とするディープラーニングの一種である,オートエンコーダを用いた異常検知技術に注目が集まっている」(上記第4の3(1))とあるように、本願優先日前において当業者がオートエンコーダを用いた異常検知技術に注目していたという事実は、他の目的で使用されていたオートエンコーダを異常検知に用いる強い動機付けを示唆するものである。

よって、これら周知技術及び示唆を参酌すれば、当業者が引用発明の「ディープオートエンコーダ」を「マルチモーダル音声認識手法」に替えて観測データの異常検知に用いようとすることは当然に試み得たことである。

また、データを用いた異常検知を行う際に、異常検知の対象等に応じて、データの種別を適宜選択することは、本願優先日前における技術常識であるところ、引用文献2記載事項には「オートエンコーダをネットワークの異常検知に用いる場合,観測データとしてはフローデータやMIBデータ,syslogといった多種のデータが考えられる」(上記第4の3(3))とあるように、オートエンコーダを異常検知に用いる場合に「観測データ」として、すなわち、異常検知を特徴付けるデータの種別として、「フローデータやMIBデータ,syslogといった多種のデータ」を用いることも示唆されている。

したがって、引用文献2の示唆及び周知技術を参酌することにより、引用発明の「ディープオートエンコーダ」を「マルチモーダル音声認識手法」に替えて、観測データの異常検知に用いるとともに、正常なデータを用いてパラメータを学習し、入力したテストデータと出力されたデータとの距離からテストデータの異常度を算出する構成とすること、そして、その際に、正常なデータとして「MIBデータ、フローデータ、syslogの1つ又は複数を含む」複数種別のデータを用いることは、当業者であれば容易に想到し得たことである。

2 作用効果について

上記相違点を総合的に勘案しても、本願発明の奏する作用効果は、引用発明及び引用文献2、引用文献3、周知文献1及び周知文献2に記載された周知技術の奏する作用効果から予測される範囲内のものにすぎず、格別顕著なものということはできない。

3 請求人の主張について

請求人は、令和5年7月10日に提出した意見書において、以下の主張をしている。

「 引用文献1に記載された発明と請求項1に係る発明(本発明)とを対比すると、引用文献1には、少なくとも、請求項1における、「MIBデータ、フローデータ、syslog、及びCPU情報のうちの1つ又は複数が含まれる複数種別の正常データ」を入力して、「前記中間層において、正常データの次元数よりも小さい次元数のデータを用いて、データ種別間に跨る特徴を学習することにより、前記入力層の正常データを前記出力層で再現するようにパラメータを学習する」学習手段が記載も示唆もされていません。この点で、引用文献1に記載された発明と請求項1に係る発明との間には大きな相違点があります。当該相違点に係る事項は引用文献2~4にも記載・示唆されていません。

引用文献2には、観測データとして、フローデータ、MIBデータ、及びsyslogを使用することが記載されており、拒絶理由通知において、正常なデータとして、「MIBデータ、フローデータ、syslogの1つ又は複数を含む」複数種別の正常データを用いることは、当業者であれば適宜選択し得る程度の事項である、と判断されています。

しかしながら、引用文献1~4のいずれにも、"データ種別間に跨る特徴を学習する"ことを、「MIBデータ、フローデータ、syslog、及びCPU情報のうちの1つ又は複数が含まれる複数種別の正常データ」を対象に行うことを示唆する記載はなく、このことが周知技術であった理由もありません。

従って、「MIBデータ、フローデータ、syslog、及びCPU情報のうちの1つ又は複数が含まれる複数種別の正常データ」を対象として、「前記中間層において、正常データの次元数よりも小さい次元数のデータを用いて、データ種別間に跨る特徴を学習することにより、前記入力層の正常データを前記出力層で再現するようにパラメータを学習する」ことは、当業者が適宜選択し得る程度の事項であったはずはありません。

「MIBデータ、フローデータ、syslog、及びCPU情報のうちの1つ又は複数が含まれるデータ」に対して、「データ種別間に跨る特徴」を学習する構成は、引用文献1~4に記載・示唆がなく、本発明が進歩性を有することは明らかであると考えます。同様の構成を有する請求項6、及び従属請求項2~5、7についても同様です。よって、拒絶理由は存在しないので、拒絶理由通知で指摘された拒絶理由は解消されたものと考えます。」

以下、上記主張について検討すると、請求人が主張するように、当審にて引用する引用文献及び周知文献のいずれにも、「MIBデータ、フローデータ、syslog、及びCPU情報のうちの1つ又は複数が含まれる複数種別の正常データ」を入力して、「前記中間層において、正常データの次元数よりも小さい次元数のデータを用いて、データ種別間に跨る特徴を学習することにより、前記入力層の正常データを前記出力層で再現するようにパラメータを学習する」学習手段が、データの入力から学習まで一体として記載されているとはいえない。

しかしながら、上記第6の1に示すとおり、引用発明は、「複数種別のデータを入力する入力ステップ」と、「前記中間層において、データの次元数よりも小さい次元数のデータを用いて、データ種別間に跨る特徴を学習することにより、前記入力層のデータを前記出力層で再現するようにパラメータを学習する学習ステップ」とを備える点、すなわち、データ種別ごとの事前学習を行った後で、データ種別間に跨がる学習をするという学習手法を用いたオートエンコーダである点において、本願発明と一致し、一方、本願発明は、異常検知を目的として、「MIBデータ、フローデータ、syslog、及びCPU情報のうちの1つ又は複数が含まれる複数種別」といった種別のデータを用いるのに対し、引用発明は、音声認識を目的として音響、色画像、深度画像といった種別のデータを用いる点において相違しているにすぎない。

そして、上記1で検討したとおり、正常なデータを用いて、入力層のデータを出力層で再現するようにパラメータを学習したオートエンコーダに対して、入力したテストデータと出力されたデータとの距離を当該テストデータの異常度として定義することによりオートエンコーダを観測データの異常検知に用いることが、本願優先日前における周知技術であること、加えて、引用文献2において、オートエンコーダを異常検知に用いる強い動機付けが示唆されていることを参酌すると、引用発明の「ディープオートエンコーダ」を「マルチモーダル音声認識手法」に替えて、観測データの異常検知に用いるとともに、正常なデータを用いてパラメータを学習し、入力したテストデータと出力されたデータとの距離からテストデータの異常度を算出する構成とすることは、当業者が容易に想到し得たことである。その際、異常検知の対象等に応じて、データの種別を適宜選択することは、本願優先日前における技術常識であり、引用文献2において、オートエンコーダを用いた異常検知において「フローデータやMIBデータ,syslogといった多種のデータ」が「観測データ」となり得ることが示唆されていることを踏まえると、「MIBデータ、フローデータ、syslogの1つ又は複数を含む」複数種別のデータを正常データとして入力することも、当業者であれば適宜選択し得る程度の事項である。

また、上記第4の2(8)に示す、引用発明の「ディープオートエンコーダ」における学習に関する構成は、その内容から、入力データに依存し、音声認識以外を目的とした学習に適用することができないとはいえず、むしろ、複数のデータ種別に跨がる学習を要するものであればどのような分野においても適用可能といえるから、引用発明の「ディープオードエンコーダ」を、マルチモーダル音声認識手法とは入力データが異なる、観測データの異常検知に用いることについて、その適用が阻害される事情も存在しない。

よって、請求人の上記主張は採用できない。

第8 むすび

以上のとおり、請求項6に係る発明は、当業者が、引用文献1に記載された発明に基づいて、引用文献2、引用文献3、周知文献1及び周知文献2に記載された事項を参酌することにより容易に発明をすることができたものであるから、特許法第29条第2項の規定により特許を受けることができない。

したがって、他の請求項に係る発明について検討するまでもなく、本願は拒絶すべきものである。

よって、結論のとおり審決する。

令和5年11月13日

審判長 特許庁審判官 林 毅

特許庁審判官 稲垣 良一

特許庁審判官 吉田 美彦

(行政事件訴訟法第46条に基づく教示)                この審決に対する訴えは、この審決の謄本の送達があった日から30日(附加期間がある場合は、その日数を附加します。)以内に、特許庁長官を被告として、提起することができます。

出典:特許庁「審決公報」(令和6年2月22日発行・号数2024-002、公報発行サイト https://www.gazette.jpo.go.jp/scciidl010 )を加工して作成(加工:TaiLexi AI)
本文は公表資料(PDF 等)から機械的に抽出・整形したもので、改行や記号に誤りを含むことがあります。正確な文言は原本でご確認ください。