異議申立番号 異議2023-700794
特許権者 有限責任監査法人トーマツ(代理人 弁理士法人朝日特許事務所)
特許異議申立人 〔氏名省略〕
特許第7216854号発明「情報処理装置およびプログラム」の特許異議申立事件について、次のとおり決定する。
結 論
特許第7216854号の請求項1~5に係る特許を維持する。
理 由
第1 手続の経緯
特許第7216854号の請求項1~5に係る特許についての出願は、令和4年4月22日に出願され、令和5年1月24日にその特許権の設定登録がされ、同年2月1日に特許掲載公報が発行された。その後、その特許に対し、同年8月1日に異議申立人 〔氏名省略〕(以下、「申立人」という。)は、特許異議の申立てを行った。
第2 本件発明
特許第7216854号の請求項1~5の特許に係る発明は、それぞれ、その特許請求の範囲の請求項1~5に記載された事項により特定される次のとおりのものである。(以下、それぞれ、「本件発明1」~「本件発明5」という。)
「【請求項1】
一の事業者についての複数の決算期に係る財務データを取得する取得手段と、
該取得した財務データに基づいて生成される勘定科目ごとに、当該勘定科目に係る値の推移を示す推移情報を抽出する抽出手段と、
該生成された情報に基づいて、前記一の事業者による会計処理における不適切性を判定する判定手段と
を有し、
前記判定手段は、
該抽出された推移情報に基づいてアンダーサンプリングを行って複数のデータセットを生成する前処理手段と、
前記前処理手段から出力された複数のデータセットがそれぞれ入力される複数の弱学習器であって、複数の事業者についての前記財務データに基づいて前記不適切性を示す指標を出力するための学習モデルを構築するための弱学習器と、
前記複数の弱学習器からの出力をバギングして前記不適切性を示す指標を算出するバギング手段と
を有し、
各勘定科目について算出された前記指標に基づいて、勘定科目ごとの貢献度を示すSHAP値を算出する、
情報処理装置。
【請求項2】
前記前処理手段は、市況データに基づいて前記推移情報を補正する
請求項1に記載の情報処理装置。
【請求項3】
前記複数の弱学習器は、勾配ブースティングに基づいて動作する
請求項1または2に記載の情報処理装置。
【請求項4】
前記前処理手段は、
前記学習モデルとは異なる複数の学習モデルに前記財務データを入力して得られた特徴量を、該抽出された推移情報に加えたデータを生成し、該生成されたデータに対してアンダーサンプリングを行うことによって前記複数のデータセットを生成する
請求項3に記載の情報処理装置。
【請求項5】
コンピュータに、
一の事業者についての複数の決算期に係る財務データを取得するステップと、
該取得した財務データに基づいて生成される勘定科目ごとに、当該勘定科目に係る値の推移を示す推移情報を抽出するステップと、
該生成された情報に基づいて、前記一の事業者による会計処理における不適切性を判定するステップと
を実行させるためのプログラムであって、
前記判定するステップは、
該抽出された推移情報に基づいてアンダーサンプリングを行って複数のデータセットを生成するステップと、
前記生成された複数のデータセットがそれぞれ入力される複数の弱学習器を用いて、複数の事業者についての前記財務データに基づいて前記不適切性を示す指標を出力するための学習モデルを構築するステップと、
前記複数の弱学習器からの出力をバギングして前記不適切性を示す指標を算出するステップと、
各勘定科目について算出された前記指標に基づいて、勘定科目ごとの貢献度を示すSHAP値を算出するステップと
を有する
プログラム。」
第3 申立理由の概要
申立人は、概略、以下のとおり主張している。
1 証拠方法
甲第1号証:宇宿哲平他、「機械学習手法を用いた不正会計の検知と予測」、独立行政法人経済産業研究所、[online]、インターネット<URL: https://www.rieti.go.jp/jp/publications/summary/19070005.html>、令和元年7月
甲第2号証:〔氏名省略〕、「入出金情報を用いた信用リスク評価―機械学習による実証分析―」、日本銀行、[online]、インターネット<URL: https://www.boj.or.jp/research/wps_rev/wps_2019/wp19j04.htm>、令和元年6月
甲第3号証:佐藤夏輝他、「事前不正確率の違いによるロジスティクス回帰を用いた不正会計の検知モデルの検知精度」、高崎経済大学論集、令和4年3月31日、第64巻、第4号「今野昌信教授退職記念号」、p.107~128
甲第4号証:Mingzi Song et al.,“Predicting Accounting Fraud: Evidence from Japan”、[online]、インターネット<URL: https://www.jstage.jst.go.jp/article/tjar/6/2016/6_6.2016.01/article>、平成28年
甲第5号証:Niklas Bussmann et al.,“SHAPLEY LORENZ METHODS FOR EXPLAINABLE ARTIFICIAL INTELLIGENCE”,“CLADAG 2021 BOOK OF ABSTRACTS AND SHORT PAPERS”、[online]、インターネット<URL: https://library.oapen.org/handle/20.500.12657/55697>、令和4年5月31日
甲第6号証:Pablo Jimenez and Tello Serrano,“An artificial intelligence application for accounting data cleansing”、[online]、インターネット<URL: https://ideas.repec.org/h/bis/bisifc/57-23.html>、令和3年10月22日
甲第7号証:Lieke Hamelers,“Detecting and Explaining Potential Financial Fraud Cases in Invoice Data with Machine Learning”、[online]、インターネット<URL: https://essay.utwente.nl/85533/>、令和3年1月16日
甲第8号証:〔氏名省略〕、「SHAP を用いて機械学習モデルを説明する」、[online]、インターネット<URL: https://www.datarobot.com/jp/blog/explainmachinelearningmodels-usingshap/>、令和3年4月14日
甲第9号証:Jeremy Bertomeu et al.,“Using machine learning to detect misstatements”、[online]、インターネット<URL: https://link.springer.com/article/10.1007/s11142-020-09563-8>、令和2年10月2日
甲第10号証:東海林和雄他、「日本の上場企業における売上過大計上による不正会計の検知―マハラノビス距離を用いた機械学習による方法―」、行動計量学、令和2年、第47巻、第2号、p.123~140
甲第11号証:Johan Perols et al.,“Finding Needles in a Haystack: Using Data Analytics to Improve Fraud Prediction”、[online]、インターネット<URL: https://papers.ssrn.com/sol3/papers.cfm?abstract_id=2590588>、平成28年4月
甲第12号証:Rick Lenderink et al.,“Unsupervised Outlier Detection in Financial Statement Audits”、[online]、インターネット<URL: https://essay.utwente.nl/79813/>、令和元年9月
(「甲第1号証」~「甲第12号証」を、以下、「甲1」~「甲12」という。)
2 申立理由の概要
特許法第29条第2項
申立人は、上記1の甲1~甲12を証拠方法として提出し、本件発明1~5は、甲1及び周知技術(甲2~甲12)に基づいて当業者が容易に発明をすることができたものであるから、特許法第29条第2項の規定に違反してなされたものである。
したがって、本件特許1~5についての特許は、同法第113条第2項の規定により取り消されるべきものである旨主張する。
第4 甲号証の記載
1 甲1(「機械学習手法を用いた不正会計の検知と予測」)
(1)甲1の記載事項
甲1には、以下のとおりの記載がある。下線は、注目箇所に当審が付した。以下、同様。
ア 「本研究は、不正会計の検知と予測における機械学習手法の有用性を実証的に検討したものである。第一に、既存研究における限定的な変数に基づくパラメトリックモデルに代えて機械学習手法を用いることで、高次元の変数に基づく不正会計の「検知」を行い、その精度の改善を検証する。第二に、既存研究において十分に検討されていない不正会計の「予測」を同様のフレームワークで行う。第三に、構築された予測モデルの解釈を行う目的から、不正会計の予測結果(スコア)が、どのような情報に反応しているかを検討する。」(第1頁第7~12行)
イ 「理論的研究の第二の類型は、会計分野における実務的な知見を参照する形で、不正会計の発生と「相関」を有する財務情報を特定しようとするものである。例えば、会計上の利益から実際のキャッシュフローを取り除いた「会計発生高」のうち、一定の仮定の下で正常に発生すると考えられる額(非裁量的会計発生高)を控除した結果として計測される額を「裁量的会計発生高」と呼ぶ。理論的研究の第二の類型では、経営者の利益調整行動に連動していると考えられるこの裁量的会計発生高が観察される場合において、何らかの不正会計が発生している可能性が高いという推論を行っている。」(第2頁第24~30行)
ウ 「本研究の第一の目的は、以上の議論を踏まえて、膨大な説明変数を参照したモデル構築が可能な機械学習手法を用いた不正会計の検知モデルを構築することにある。なお、モデルの構築に当たっては、機械学習手法を用いた不正会計の検知モデル構築を行っている近年の代表的研究であるPerols (2011)およびPerols et al. (2017)と同様の問題意識から、不正会計イベントの観測数が少ないこと(いわゆる「imbalance problem」)に対応した処理も行う。また、既存研究が参照してきた理論的検討の成果を踏まえつつ、可能な限り幅広い企業情報を説明変数として用いる。こうした追加の変数には、企業の財務情報から構築される多様な財務指標のほか、株主、役員、従業員情報を中心として構築したガバナンス関連変数、取引銀行情報を用いて構築した銀行取引変数が含まれる。」(第3頁第18~26行)
エ 「4.1 分析手法:トレーニング
構築すべきモデルの構造は、分析の目的が同時点において発生しているイベントの検知であるか、もしくは将来時点において発生するイベントの予測であるかに依存しない。すなわち、検知・予測時点において入手可能な情報ベクトルXから、特定のイベントの現時点もしくは将来時点における発生確率に対応するスコアSを算出することが目的となる。
S=F(X)」(第7頁第30行~第8頁第2行)
オ 「こうした問題を踏まえて、本研究では、機械学習ベースの検知・予測モデル構築を行う。具体的には、決定木ベースの予測モデルをサブサンプル毎に構築した結果を合算(アンサンブル)するRandom Forestを用いる。決定木の構築に当たっては、まず、不正会計が観測されたサンプルと観測されてないサンプルが混在している状態から始めて、Xに含まれる個々の属性に関する閾値を設定する。次に、当該変数・閾値でサンプルを分割した際のinformation gain(観測/非観測サンプルの混在度合いの減少分)を何らかの指標で計測し、このinformation gainが最大となる変数と閾値のペアを特定した上で、分岐のルールを設定する。以下、最終的に観測もしくは非観測の何れかのみが含まれる状態に到達するまでこの手順を繰り返すことで、決定木を構築する。この際、データ全体に対して決定木を構築するのではなく、サンプルの一部や変数の一部を用いて決定木を構築するという手法をRandom Forestと呼ぶ(Breiman 2001)。分析手法から明らかなように、古典的なパラメトリックモデルにおける情報の次元数に関する問題は、ここでは大きな問題とはならない点に注意されたい。
こうした手法面の工夫の一方で、検知・予測分析の対象である不正会計イベントの特性から、追加的な考慮が必要となる事柄が存在する。具体的には、不正会計の観測が非観測に比して稀であることに配慮する必要がある。こうした問題は、レアイベントの検知・予測が必要となる様々な局面で生じるものであり、例えば、倒産イベントの予測においても同種の考慮が必要となることが一般的である。本研究では、Chen et al.(2004)によって提案された、Random Forestの拡張版であるWeighted Random Forestを用いる。この手法は、個々の決定木構築及びアンサンブルに際してレアイベントへ相対的に大きなウェイトを課するものである。
個々の決定木からなる判別/分類器を以上の手続きで構築するステップを、以下ではトレーニングステップと呼ぶことにする。このステップを完了することで、分析者の手元にはXを投入することでSを返すノンパラメトリックな関数(分類器)が得られる。」(第9頁第7~29行)
カ 「5.1 不正会計フラグ
本稿の分析では、上場企業の有価証券報告書、金融庁による有価証券報告書等の虚偽記載に対する課徴金納付命令の有無、および証券取引等監視委員会が行った虚偽有価証券報告書提出事件としての検察庁への告発の有無を利用する。これらのデータを参照することで、上場企業の財務諸表について、過去にどの様な訂正が行われたかを計測することが可能となり、本邦企業による財務情報に関するミスレポーティングを網羅的に計測することができる。また、これらのミスレポーティングが、金融庁から有価証券報告書等の虚偽記載に対する課徴金納付命令が出された会計年度において行われていたものか否か、また、証券取引等監視委員会から虚偽有価証券報告書提出事件として告発があった会計年度において行われていたものか否か、を判別することができる点が挙げられる。こうした情報を用いることで、公的な制裁が発動されるような重大な不正会計イベントが生じていた企業×年度のペアを特定することが可能となる。分析に当たっては、この制裁情報を用いて企業×年度のペアに対して設定した下記の不正会計フラグ1に加えて、こうした制裁の対象になっていない訂正レコードを追加的に参照して計測した不正フラグ2を用いる。
不正フラグ2を対象とした検知・予測については、不正会計としての重要度が相対的に低いイベントを対象としているという意味で相対的に困難なタスクといえる。本稿において上記の二種類のフラグを用いた分析を行う狙いの一つとして、こうした検知・予測の意味で困難なタスクにおいてどの程度の精度を実現することができるかを検討する点にある。
不正会計フラグ1:
以下の2条件(○1、○2)のいずれかを満たす企業×年度に1(ポジティブデータ)、それ以外の場合に0(ネガティブデータ)とするダミー変数
○1金融庁から有価証券報告書等の虚偽記載に対する課徴金納付命令が出された会計年度のうち、決算書の訂正がある会計年度
○2証券取引等監視委員会から有価証券報告書等の虚偽記載に対する告発があった会計年度のうち、決算書の訂正がある会計年度
不正会計フラグ2:
不正フラグ1の2条件(○1、○2)に以下の条件○3を加えた3条件(○1、○2、○3)のいずれかを満たす企業×年度に1(ポジティブデータ)、それ以外の場合に0(ネガティブデータ)とするダミー変数
○3金融庁または証券取引監視委員会から課徴金納付命令または告発を受けた企業のうち、命令・告発を受けた会計年度以外の会計年度において、決算書の訂正があった会計年度
上記の定義から明らかなように、不正会計フラグ1は重大な不正会計イベントのみを計測対象としたものである一方、不正会計フラグ2は当該不正会計イベントに付随して修正が必要となったミスレポーティングを含むものである。」(第11頁第10行~第12頁第11行)(当審注:「○1」等は、○囲い数字を示す。以下同様。)
キ 「5.2 変数
本稿の分析において検知・予測を行うために参照する変数は、以下の三つのデータソースから構築される。第一に、5.1節で説明したデータから各上場企業の各年度における財務諸表に格納されている財務情報を抽出し変数を構築する。変数の構築に当たっては、まず、本邦企業の不正会計イベント検知に関する代表的な先行研究であるSong et al.(2016)で用いられている変数をまず準備する。具体的には、無形資産から現預金を控除した値を総資産で除したソフト資産比率、裁量的会計発生高、株式及び債券の発行ダミー変数、異常リターンに関するスコア、実体的裁量行動、非金融法人による持ち株比率、である。これらの変数は、Dechow et al.(2011)などで議論されている、利益の質、パフォーマンス、非金融指標、オフバランス活動、市場関連変数といった、理論的に見て不正会計の発生と関連している可能性の高い変数へ、実物経済活動に関するマニュピレーションの度合い、会計上の保守主義、日本特有の要因を追加したものである。なお、これらの変数が何らかの事情により欠損している場合については、当該欠損値を0で補完した上で、別途各変数の欠損に対応するダミー変数を設定している。
これらの変数が会計領域の理論的な検討を踏まえた尤もらしい変数である一方、本稿の目的である検知・予測の観点からは、より高次元の企業情報を変数として参照することでより高い検知・予測精度を実現できる可能性もある。本稿では、既述の財務諸表データを用いて、40種類程度の財務変数と対応する欠損ダミー変数を追加的に参照する。売上・売掛債権、利益、キャッシュフロー、たな卸資産、固定資産、繰延税金資産・負債、総資産・純資産、その他の変数で、具体的には、売上・売掛債権に関してそれぞれの変化や債権回転期間、海外売上比率など、利益に関して各段階損益のレベル・変化・利益率など、キャッシュフローに関してそのレベル、営業利益との関係など、たな卸資産に関して回転期間や純資産・総資産比率、固定資産に関して有形固定資産のレベル・総資産比率、のれん純資産比率など、繰延税金資産・負債に関して利益剰余金との関係、総資産・純資産に関してレベルや変化、その他に関して新規上場か否かに関する変数である。
更に、宋(2018)などが指摘するガバナンス変数の潜在的な重要性を勘案して、日経NEEDs Financial Questデータから、以下の二種類の変数群を構築した。第一に、外国法人、役員、大株主の持ち株比率、従業員の平均勤続変数からなるガバナンス変数である。第二に、各企業の金融機関取引関係から構築した、取引銀行数、メガバンクの借入比率、借入シェアのハーフィンダール指数に加えて、それらの変化を用いた。表1はこれらの変数群を要約したものである。不正会計の検知・予測モデルの構築に当たっては、これらの変数に加えて、32業種の産業分類を示す業種ダミーを加えている。表2は、32業種の産業分類を示したものである。
こうしたデータ構築の結果、例えば、不正会計フラグ1を対象とした検知モデルの構築に当たって、2006年1月決算期から2016年3月期決算までの4,094社に関する34,923観測値(企業×年度)を用いる。なお、このサンプル内で不正会計フラグ1がポジティブとなっている観測値は126観測値である。このケースにおいては、モデルのトレーニングには2006年1月期~2013年3月期における25,401観測値を用い、モデルのテストには2013年4月期~2016年3月期における9,522観測値を用いる。不正会計フラグ1のポジティブデータは各々107観測値と19観測値である。表3は、このケースを含む全体の観測値を要約したものである。」(第12頁第26行~第14頁第1行)
(当審注:「平均勤続変数」は、「平均勤続年数」の誤記と認める。)
ク 表1
〔図省略〕
〔図省略〕
(第20~21頁)
ケ 「6.1 トレーニングステップ
第一に、不正会計の検知を目的としたモデルのトレーニングを行う。不正会計の計測が行われた年度と同時点において計測済みの企業情報Xを参照した上で、Weighted Random Forestの枠組みでモデルのトレーニングを行うが、その際、投入する変数群の種別によってモデル1からモデル16までを設定する。
表4はこの投入変数群に関する詳細をまとめたものであるが、特に注目すべきモデルとしてモデル1、2、6、12を取り上げる。モデル1は、本稿における比較対象であり、不正会計の検知を目的とした代表的な先行研究であるSong et al.(2016)のセットアップに基づき、理論に基づく限定的な変数をパラメトリックなモデルを用いることで不正会計の検知モデルを構築したものである。これに対して、モデル2は、モデル1と同様の変数群を参照した上で、モデルをWeighted Random Forestに変更したものであり、限定的な変数セットアップの下で機械学習手法が実現する検知精度の改善度合いを確認するものである。モデル6は、こうした機械学習ベースのモデル構築によって可能となる高次元の変数利用を行ったものであり、既存研究の変数と追加的な財務変数の両方を用いている。当該モデル6の検知精度をモデル2と比較することで、追加的な変数の利用がもたらす効果を把握することができる。最後に、モデル12は、既述の追加的な財務変数に加えてガバナンス変数及び銀行取引変数を含めたものである。」(第14頁第4~20行)
コ 「6.2 テストステップ
表5は、不正会計の検知と予測について、不正会計フラグ1と2を用いてトレーニングしたモデルについて、テストデータにおける精度評価指標であるAUCをその標準誤差と併せて表記したものである。図2の上段及び下段のパネルは、重大+付随イベントを対象とする検知と予測について、各モデルのAUCをその95%信頼区間と併せて表記したものである。
第一に、検知と予測の両方にいて、モデル1からモデル2にかけて精度の若干の上昇が確認される。このことは投入する情報が限定的な量に留まっている場合でも、複雑な非線形性を許容するノンパラメトリックモデルを用いることで、hold-out dataでの検知・予測精度が向上することを示唆している。なお、AUCの計測値に関してこうした上昇がみられる一方で、その標準誤差を勘案すると、両モデルのAUCに差がないという帰無仮説を棄却することは出来ない点に注意が必要である。
第二に、モデル2からモデル6にかけて大幅なAUCの上昇が確認されている。この結果は、予測モデルの推定手法を変更したことによって可能となった高次元情報(追加的な変数)の利用が、検知・予測精度の改善に当たって重要な役割を示していることを意味している。
第三に、こうした結果の一方で、モデル6(既存研究の変数および追加的な財務変数)からモデル12(既存研究の変数、追加的な財務変数、ガバナンス変数および銀行変数)にかけては、検知・予測精度の上昇が限定的な水準にとどまっていることも確認できる。この結果については、既存研究の変数とガバナンス変数に基づいたモデル7の精度や、既存研究の変数と銀行変数に基づいたモデル8の精度が、モデル2に比して改善していることと併せて解釈する必要がある。一つの解釈として、ガバナンス変数および銀行変数が持つ情報の大半は、追加的な財務変数に包含されている(追加的な財務変数が持つ情報と強く相関している)ものの、不正と関連する有用な情報を含んでいると考えることができる。
第四に、表5の結果から、検知及び予測の難易度が相対的に高いと考えられる不正フラグについて、従来モデルに比べて予測精度が顕著に向上している。この結果は、検知・予測が困難な対象について、高次元の変数を用いることの意義が高いことを示唆している。
図3は、モデル12に基づいて計測されたスコアと実際の会計不正の発生確率の対応関係を図示したものである。作図に当たっては、実際の不正会計フラグをWeighted Random Forestのスコアへ回帰することで対応関係を推定し、その結果を、実際の不正発生確率と併せて図示している。第一に、スコアベースの不正確率と実際の不正確率とが概ね同様の動きを示しており、機械学習ベースのモデルから出力されたスコアの経済的な意味合いを解釈することが可能であることが分かる。第二に、特にスコアが高いグループにおいて不正の発生確率が大きくに上昇していることが分かる。」(第14頁第25行~第15頁第24行)
サ 表5
〔図省略〕
(第23頁)
シ 図3
〔図省略〕
(第27頁)
ス 「6.3 結果の解釈
前節の結果から、機械学習ベースの検知・予測モデルにおいて特に財務変数とガバナンス変数を投入したモデルのトレーニングを行うことで、hold-out dataで十分な精度を実現できることを確認した。本節では、この学習済み検知・予測モデルの含意を、variable importanceと変数のperturbationによって確認する。
まず、表6は、モデル2、6、12に関して、variable importanceを表記したものである。第一に、追加的な財務変数の検知・予測に対する貢献が相対的に高いことが確認される。第二に、既存研究では十分に勘案されていなかったガバナンス変数の一部がvariable importanceの意味で上位にランクされていることが分かる。」(第16頁第1~9行)
セ 表6
〔図省略〕
(第24頁)
(2)甲1の記載から把握できる事項
ア 上記(1)ア、ウによると、甲1には、膨大な説明変数を参照したモデル構築が可能な機械学習手法を用いた不正会計の検知モデルを構築することを目的とし、不正会計イベントの観測数が少ないこと(いわゆる「imbalance problem」)に対応した処理も行い、企業の財務情報から構築される多様な財務指標のほか、株主、役員、従業員情報を中心として構築したガバナンス関連変数、取引銀行情報を用いて構築した銀行取引変数が含まれた、可能な限り幅広い企業情報を説明変数として用いた、不正会計の検知と予測における機械学習手法、が記載されている。
そして、このような機械学習手法は、「コンピュータ」によって実行されることは明らかである。
イ 上記(1)ア、エ、オによると、甲1には、機械学習ベースの検知・予測モデル構築には、決定木ベースの予測モデルをサブサンプル毎に構築した結果を合算(アンサンブル)するRandom Forestを用い、決定木の構築に当たっては、まず、不正会計が観測されたサンプルと観測されてないサンプルが混在している状態から始めて、検知・予測時点において入手可能な情報ベクトルXに含まれる個々の属性に関する閾値を設定し、次に、当該変数・閾値でサンプルを分割した際のinformation gain(観測/非観測サンプルの混在度合いの減少分)を何らかの指標で計測し、このinformation gainが最大となる変数と閾値のペアを特定した上で、分岐のルールを設定し、以下、最終的に観測もしくは非観測の何れかのみが含まれる状態に到達するまでこの手順を繰り返すことで、決定木を構築するものであって、この際、データ全体に対して決定木を構築するのではなく、サンプルの一部や変数の一部を用いて決定木を構築し、また、不正会計の観測が非観測に比して稀であることに配慮して、個々の決定木構築及びアンサンブルに際してレアイベントへ相対的に大きなウェイトを課するRandom Forestの拡張版であるWeighted Random Forestを用い、以上の手続きで個々の決定木からなる判別/分類器を構築するトレーニングステップを完了することで、情報ベクトルXから、特定のイベントの現時点もしくは将来時点における発生確率に対応するスコアS(不正会計の予測結果)を算出するノンパラメトリックな関数(分類器)のモデルを構築する、
ことが記載されている。
ウ 上記(1)カによると、甲1には、上記(1)エの検知・予測のための分析に際し、上場企業の有価証券報告書、金融庁による有価証券報告書等の虚偽記載に対する課徴金納付命令の有無、および証券取引等監視委員会が行った虚偽有価証券報告書提出事件としての検察庁への告発の有無を利用することで、公的な制裁が発動されるような重大な不正会計イベントが生じていた企業×年度のペアを特定し、
このとき、金融庁から有価証券報告書等の虚偽記載に対する課徴金納付命令が出された会計年度のうち、決算書の訂正がある会計年度、または、証券取引等監視委員会から有価証券報告書等の虚偽記載に対する告発があった会計年度のうち、決算書の訂正がある会計年度、のいずれかを満たす企業×年度のペアを1(ポジティブデータ)、それ以外の場合を0(ネガティブデータ)とする不正会計フラグ1を設定し、分析に当たっては、この制裁情報を用いて企業×年度のペアに対して設定した不正会計フラグ1を用いる、
ことが記載されている。
エ 上記(1)キ~ケによると、甲1には、上記(1)エの分析において検知を行うために参照する変数は、
各上場企業の各年度における財務諸表に格納されている財務情報を抽出して構築された既存研究の変数、
既述の財務諸表データを用いて参照される40種類程度の追加的な財務変数、
外国法人、役員、大株主の持ち株比率、従業員の平均勤続変数からなるガバナンス変数、
各企業の金融機関取引関係から構築した、取引銀行数、メガバンクの借入比率、借入シェアのハーフィンダール指数、それらの変化からなる銀行取引変数、
から構築され、
こうしたデータ構築の結果、2006年1月決算期から2016年3月期決算までの4,094社に関する34,923観測値(企業×年度)を用い、そのうち、モデルのトレーニングには2006年1月期~2013年3月期における25,401観測値を用い、モデルのテストには2013年4月期~2016年3月期における9,522観測値を用いて、不正会計フラグ1を対象とした検知モデルを構築する、
ことが記載されている。
オ 上記(1)ケによると、甲1には、不正会計の計測が行われた年度と同時点において計測済みの企業情報Xを参照した上で、Weighted Random Forestの枠組みでモデルのトレーニングを行い、その際、理論に基づく限定的な変数群をWeighted Random Forestに用いることで不正会計の検知モデルを構築したモデル2と、機械学習ベースのモデル構築によって可能となる高次元の変数利用を行い、既存研究の変数と追加的な財務変数の両方を用いたモデル6と、既述の追加的な財務変数に加えてガバナンス変数及び銀行取引変数を含めたモデル12を用いるものである、
ことが記載されている。
カ 上記(1)コ~セによると、甲1には、不正会計の検知と予測について、不正会計フラグ1を用いてトレーニングしたモデルであるモデル2からモデル6では、テストデータにおける精度評価指標であるAUCの大幅な上昇が確認され、この結果は、予測モデルの推定手法を変更したことによって可能となった高次元情報(追加的な変数)の利用が、検知・予測精度の改善に当たって重要な役割を示していることを意味しており、モデル12に基づいて計測されたスコアと実際の会計不正の発生確率が概ね同様の動きを示しており、特にスコアが高いグループにおいて不正の発生確率が大きく上昇しており、モデル2、6、12に関して、追加的な財務変数の検知・予測に対する貢献が相対的に高いことが確認される、
ことが記載されている。
(3)甲1に記載された発明
上記ア~カによれば、甲1には、「不正会計の検知と予測における機械学習手法」に関する以下の発明(「甲1発明」という。)が記載されている。
「膨大な説明変数を参照したモデル構築が可能な機械学習手法を用いた不正会計の検知モデルを構築することを目的とし、不正会計イベントの観測数が少ないこと(いわゆる「imbalance problem」)に対応した処理も行い、企業の財務情報から構築される多様な財務指標のほか、株主、役員、従業員情報を中心として構築したガバナンス関連変数、取引銀行情報を用いて構築した銀行取引変数が含まれた、可能な限り幅広い企業情報を説明変数として用いた、不正会計の検知と予測における機械学習手法を実行するコンピュータであって、
機械学習ベースの検知・予測モデル構築には、決定木ベースの予測モデルをサブサンプル毎に構築した結果を合算(アンサンブル)するRandom Forestを用い、決定木の構築に当たっては、まず、不正会計が観測されたサンプルと観測されてないサンプルが混在している状態から始めて、検知・予測時点において入手可能な情報ベクトルXに含まれる個々の属性に関する閾値を設定し、次に、当該変数・閾値でサンプルを分割した際のinformation gain(観測/非観測サンプルの混在度合いの減少分)を何らかの指標で計測し、このinformation gainが最大となる変数と閾値のペアを特定した上で、分岐のルールを設定し、以下、最終的に観測もしくは非観測の何れかのみが含まれる状態に到達するまでこの手順を繰り返すことで、決定木を構築するものであって、この際、データ全体に対して決定木を構築するのではなく、サンプルの一部や変数の一部を用いて決定木を構築し、また、不正会計の観測が非観測に比して稀であることに配慮して、個々の決定木構築及びアンサンブルに際してレアイベントへ相対的に大きなウェイトを課するRandom Forestの拡張版であるWeighted Random Forestを用い、以上の手続きで個々の決定木からなる判別/分類器を構築するトレーニングステップを完了することで、情報ベクトルXから、特定のイベントの現時点もしくは将来時点における発生確率に対応するスコアS(不正会計の予測結果)を算出するノンパラメトリックな関数(分類器)のモデルを構築することであって、
検知・予測のための分析に際し、上場企業の有価証券報告書、金融庁による有価証券報告書等の虚偽記載に対する課徴金納付命令の有無、および証券取引等監視委員会が行った虚偽有価証券報告書提出事件としての検察庁への告発の有無を利用することで、公的な制裁が発動されるような重大な不正会計イベントが生じていた企業×年度のペアを特定し、
このとき、金融庁から有価証券報告書等の虚偽記載に対する課徴金納付命令が出された会計年度のうち、決算書の訂正がある会計年度、または、証券取引等監視委員会から有価証券報告書等の虚偽記載に対する告発があった会計年度のうち、決算書の訂正がある会計年度、のいずれかを満たす企業×年度のペアを1(ポジティブデータ)、それ以外の場合を0(ネガティブデータ)とする不正会計フラグ1を設定し、分析に当たっては、この制裁情報を用いて企業×年度のペアに対して設定した不正会計フラグ1を用い、
分析において検知を行うために参照する変数は、
各上場企業の各年度における財務諸表に格納されている財務情報を抽出して構築された既存研究の変数、
既述の財務諸表データを用いて参照される40種類程度の追加的な財務変数、
外国法人、役員、大株主の持ち株比率、従業員の平均勤続変数からなるガバナンス変数、
各企業の金融機関取引関係から構築した、取引銀行数、メガバンクの借入比率、借入シェアのハーフィンダール指数、それらの変化からなる銀行取引変数、
から構築され、
こうしたデータ構築の結果、2006年1月決算期から2016年3月期決算までの4,094社に関する34,923観測値(企業×年度)を用い、そのうち、モデルのトレーニングには2006年1月期~2013年3月期における25,401観測値を用い、モデルのテストには2013年4月期~2016年3月期における9,522観測値を用いて、不正会計フラグ1を対象とした検知モデルを構築し、
不正会計の計測が行われた年度と同時点において計測済みの企業情報Xを参照した上で、Weighted Random Forestの枠組みでモデルのトレーニングを行い、その際、理論に基づく限定的な変数群をWeighted Random Forestに用いることで不正会計の検知モデルを構築したモデル2と、機械学習ベースのモデル構築によって可能となる高次元の変数利用を行い、既存研究の変数と追加的な財務変数の両方を用いたモデル6と、既述の追加的な財務変数に加えてガバナンス変数及び銀行取引変数を含めたモデル12を用いるものであり、
不正会計の検知と予測について、不正会計フラグ1を用いてトレーニングしたモデルであるモデル2からモデル6では、テストデータにおける精度評価指標であるAUCの大幅な上昇が確認され、この結果は、予測モデルの推定手法を変更したことによって可能となった高次元情報(追加的な変数)の利用が、検知・予測精度の改善に当たって重要な役割を示していることを意味しており、モデル12に基づいて計測されたスコアと実際の会計不正の発生確率が概ね同様の動きを示しており、特にスコアが高いグループにおいて不正の発生確率が大きく上昇しており、モデル2、6、12に関して、追加的な財務変数の検知・予測に対する貢献が相対的に高いことが確認される、
不正会計の検知と予測における機械学習手法を実行するコンピュータ。」
2 甲2(「入出金情報を用いた信用リスク評価―機械学習による実証分析―」)
甲2には、以下のとおりの記載がある。
「そこで、本稿では、中堅中小企業を中心とした非上場企業にも適用可能で、かつタイムリーなモニタリングを実現するためのデフォルト予測モデルを構築する。具体的には、金融機関の預金口座における入出金情報を用いて、機械学習モデルや統計モデルを用いた信用リスク評価モデルを構築し、モデル精度の検証を行い、そのうえで予兆管理実務への適用可能性について検討する。」(第1頁要旨第8~12行)
「さらに、信用リスク評価では、一般的に財務情報が用いられるが、財務情報には、会計知識が十分でない担当者(経営者)が作成したがゆえに誤った計数や、改竄された計数が含まれる可能性があり、データの信頼性が十分でない場合がある。」(第2頁第13~16行)
「ここでは、モデル構築に用いる指標の作成方法として、本節(1)で説明した、集約後の入出金情報(月次・摘要グループ単位)を用いた指標作成について記述する。
まず、前述「摘要グループ」ごとに、金額及び件数(入出金件数)を月次集計して指標とする。本分析においては、「訂正」オペレーションによる入出金情報も指標として含める。これらの指標の月ごとの指標数は、【金額・件数及び通常・訂正の全4項目】×【摘要グループ10項目】+【預金残高:1項目】の計41指標となる。また、本指標を直近24ヶ月分採用するため、指標数は、合計984となる(表4)。」(第7頁第4行~第8頁第3行)
「このような指標に加えて、財務項目として売上高、総資産及び融資残高の3指標を用いる。さらに、モデル精度の向上を企図し、表4の指標を売上高など3指標で除して基準化したもの(規模の情報を捨象することが目的)や、前月比や前年比、期間合計・期間標準偏差などの各加工を行って作成した指標バリエーションを追加し、最終的に合計5,989指標をモデル構築のための指標候補とした。」(第8頁第4~9行)
「特に、本分析では、デフォルト・非デフォルトいう2値の分類(判別)問題を取り扱うことや、機械学習モデルの中でも指標(説明変数)の重要度を評価可能であることなどを勘案し、決定木をベースとしたモデルを選択した。具体的には、「ランダムフォレスト」と「勾配ブースティングツリー」の2つの機械学習モデルの構築・検証を行った。」(第10頁第9~14行)
〔図省略〕
(第11頁)
「(2)アンサンブル学習
一つの決定木だけでは精度が低く、過学習のおそれがあるため、多数の決定木を作成し、それらの多数決によって最終的な予測を行う手法がアンサンブル学習である。一般に、アンサンブル学習は、「弱い(判別精度の低い)学習器を組み合わせることによって強い(判別精度の高い)モデルを構築する」手法であり、学習器の構築方法の差異によって、表A-1のように、○1バギング(Bagging)、及び○2ブースティング(Boosting)と呼ばれるモデル(アルゴリズム)がある。」(第30頁第6~12行)
〔図省略〕
(第30頁)
「イ.ランダムフォレスト
表A-1の通り、ランダムフォレストは決定木を用いたバギングの一つである。バギングは、決定木のようにトレーニングデータに対するバイアスが小さく、分散が大きな弱学習器に適した手法であり、分散をより小さくするようなアルゴリズムを通じてモデルが構築される。」(第31頁第4~8行)
「ロ.勾配ブースティングツリー(XGBoost)
ブースティングの考え方は、大量の弱学習器(判別力の低い学習器)の出力を組み合せて強力な学習器を構築するというものである。具体的には、弱学習器で判別した結果から生じる残差(予測値と実績値の差分)を損失関数とし、この損失関数(残差)を小さくするための弱学習器を逐次的に生成して、最終的に残差が極めて小さいモデルを構築する。なお、損失関数の「勾配」を用いて損失関数を減少させる決定木を追加し、モデルが更新され、加えて、弱学習器として決定木(ツリー)を用いているため、「勾配ブースティングツリー」と呼ばれる。」(第32頁第12行~第33頁第5行)
3 甲3(「事前不正確率の違いによるロジスティクス回帰を用いた不正会計の検知モデルの検知精度」)
甲3には、以下のとおりの記載がある。
「加えて、近年の研究では、不正会計企業と非不正会計企業の観測数に偏りがあり、そのようなデータで不正会計検知モデルを構築することに対して、アンダーサンプリングが有効であるという指摘(Perols et al., 2017 ; Bao et al., 2020)がなされている。」(第108頁第32行~第109頁第1行)
「Fanning and Cogger(1998)は、1980年から1993年の米国企業を対象に、ロジスティック回帰を用いた不正会計検知モデルを構築している。不正会計検知モデルを構築するにあたり、3つのステップを踏んでいる。1)検知モデルに加える変数の選定、2)ロジスティック回帰をベースとした不正会計検知モデルの構築、3)不正会計検知モデルの性能評価である。
1つ目のステップでは、○1コーポレート・ガバナンスに関する変数、○2会計監査人に関する変数、○3企業と経営者(取締役)とのエージェンシー問題に関する変数、○4子会社に関する変数、○5人事異動を含む人的要因に関する変数、○6財務諸表の勘定科目と比率を不正会計検知モデルに投入する変数の候補に挙げ、計62変数について単変量解析を行い、有意な変数(計20変数)を不正会計検知モデルに投入している。2つ目のステップとして、トレーニングデータを用いてロジスティック回帰を用いた不正会計検知モデルを構築している。この際、ステップワイズ法により変数選択が行われ、8変数が選択されている。3つ目のステップとして、2つ目のステップで構築した不正会計検知モデルをテストデータに適用し、推定された不正実施確率(Probability)のカットオフ値を0.500とした場合のモデルの精度指標を算出している。」(第112頁第9~23行)
「2つ目のステップとして、不正会計企業と非不正会計企業のサンプルサイズをコントロールし、不正会計企業と非不正会計企業の比率を変えて、不正会計検知モデルの構築を行っている。まず、不正会計企業と非不正会計企業を全体のデータ数からランダムに3分の2(不正会計企業:28社、非不正会計企業:60社)を抽出し、それをトレーニングデータとした。残りの3分の1(不正会計企業:14社、非不正会計企業:30社)をテストデータとした。」(第113頁第24~29行)
「3つ目のステップとして、2つ目のステップで構築した4つのモデルをテストデータで検証し、検知精度を計算している。テストデータに対しても、不正会計企業の割合について4つのパターン(10%、20%、33%、50%)を設定している。不正実施確率(Probability)が0.500以上の場合を不正会計企業、0.500未満の場合を非不正会計企業と判定し、トレーニングデータの4パターンとテストデータの4パターンの組み合わせである計16パターンのCorrect Classificationを算出し、その値を比較している。」(第114頁第5~10行)
「3.2.説明変数
ロジスティック回帰モデルの説明変数は、Dechow et al.(2011)と首藤他(2016)に倣って、○1会計発生高の質に関する変数、○2パフォーマンスに関する変数、○3非財務情報に関する変数、○4オフ・バランス・シートの変数、○5市場に関する変数、○6保守主義に関する変数、○7実体的裁量行動に関する変数、○8日本特有の要因に関する変数として、計38変数を用いる。表3に、目的変数と38の説明変数について、各変数の変数名、説明変数の区分、測定方法を示している。」(第115頁第13行~第116頁第2行)
〔図省略〕
〔図省略〕
(第116~117頁)
「第2のステップでは、トレーニングデータの事前不正確率が2.5%、5%、10%、20%、33%、50%となるように非不正会計企業のサンプルをアンダーサンプリングする。
第3のステップでは、アンダーサンプリングされたトレーニングデータを使用して、ロジスティック回帰モデルに基づく不正会計検知モデルを構築する。その際の変数選択には、Lasso回帰を用いる。
第4のステップでは、構築された不正会計検知モデルによってテストデータに対する推定を行い、その精度の平均値を求め、精度比較を行う。カットオフ値は、トレーニングデータの事前不正確率に基づいて算出するFスコアの値が1.00とする。例えば、事前不正確率が2.5%となるようにアンダーサンプリングされた10個のトレーニングデータセットを使用して不正会計検知モデルの構築を行い、そのモデルを用いてテストデータに対する推定を行うと、Correct Classification、Sensitivity、Type I Error、Type II Error、Precisionのそれぞれについて、10個の値を得ることができる。これを平均化して、事前不正確率が2.5%の場合の検知モデルの精度とする。」(第119頁第6~18行)
「4.1.カットオフ値における事前不正確率の違いと検知精度の変化の検証結果
2011年から2016年までのトレーニングデータに対してロジスティック回帰(Lasso回帰による変数選択)によって構築されたモデルは、(4)式の通りである。モデル構築のために投入した計38変数のうち、計20変数が説明変数として採択されている。」(第119頁第20~23行)
〔図省略〕
〔図省略〕
(第119~120頁、(4)式及び(4)式の変数の説明)
「この(4)式の説明変数とその係数の推定値をもって、2017年から2019年のテストデータに対する推定を行い、不正実施確率(Probability)を算出した。この後、不正実施確率(Probability)を事前不正確率の1.45%で除してFスコアを算出し、Fスコアが0.25から35.00までの範囲における検知精度としてCorrect Classification、Sensitivity、Type I Error、Type II Error、Precisionの値を表5に示している。」(第120頁第1~5行)
4 甲4(“Predicting Accounting Fraud: Evidence from Japan”)
甲4には、以下のとおりの記載がある。
「The discretionary accruals are generally used to capture earnings management behavior (Dechow et al. 2010). The research suggests that discretionary accruals are strongly associated with the incidence of accounting fraud (Dechow et al. 1996).」(第18頁第35~38行)
(当審訳:
裁量的発生高は、収益管理行動を把握するために一般的に用いられる(Dechow他、2010)。その研究では、裁量的発生高は不正会計の発生と強い相関があることが示唆されている(Dechow他、1996)。)
「The variables are based on those used in Dechow et al. (2011), including the factors of accruals quality, performance, nonfinancial measures, off-balance-sheet activities, and market-related incentives.」(第24頁第6~8行)
(当審訳:
変数は、Dechow他(2011)が利用したものを基礎とし、「会計発生高の品質」、「業績」、「非財務諸表」、「オフ・バランス・シート活動」および「市場に関連したインセンティブ」の要因が含まれる。)
「Finally, to test the impact of industry differences on our results, we build models with industry indicator variables for Electronics, Construction, Trading, and Services, industries with relatively large numbers of firms.」(第56頁第6~8行)
(当審訳:
最後に、業種の違いが結果に与える影響を検証するために、企業数が比較的多い、「電気機器」、「建設」、「商社」、「サービス業」の業種指標変数を用いたモデルを構築する。)
「A. Measurement of discretionary accruals
We use three types of modified versions of Jones’ (1991) model to measure discretionary accruals. Specifically, we use the following three models: the modified Jones model in Dechow et al. (1995; MJ discretionary accrual), the performance-matched Jones model in Kothari et al. (2005; PM discretionary accruals), and the CFO modified Jones model in Kasznik (1999; CFO discretionary accruals). The methods of calculation are as follows:
(1) The modified Jones model
WC accrualst =α+β1 (ΔSalest-ΔReceivablest)+β2 PPEt+εt
where,
WC accruals = working capital accruals,
ΔSales = change in sales,
ΔReceivables = change in account receivables, and
PPE = net property, plant and equipment.
(2) The performance-matched Jones model
WC accrualst = α+β1 (ΔSalest-ΔReceivablest)+β2 PPEt+β3 ROAt+εt
where,
ROA = return on assets; net earnings / total assets.
(3) CFO modified Jones model
Total accrualst = α+β1 (ΔSalest-ΔReceivablest)+β2 PPEt+β3 CFOt+εt
where,
Total accruals = total accruals as the net current profit after tax minus cash flow from operation,
CFO = cash flow from operations.
Δ is a change in the value of a variable, and t stands for fiscal year.」(第60頁第2~24行)
(当審訳:
A.裁量的発生高の測定
裁量的発生高を測定するために、Jones(1991)のモデルを修正した3種類のモデルを利用する。具体的には,Dechow他(1995)の修正ジョーンズ・モデル(MJ discretionary accruals)、Kothari他(2005)の業績対応型ジョーンズ・モデル(PM discretionary accruals)、および Kasznik(1999)のCFO修正ジョーンズ・モデル(CFO discretionary accruals)の3つのモデルである。各モデルの計算方法は以下のとおりである。
(1) 修正ジョーンズ・モデル:
WC accrualst =α+β1 (ΔSalest-ΔReceivablest)+β2 PPEt+εt
ここで、
WC accruals = 運転資本発生高
ΔSales = 売上高の変化
ΔReceivables = 売上債権の変化
PPE = 償却性固定資産
(2) 業績対応型ジョーンズ・モデル:
WC accrualst = α+β1 (ΔSalest-ΔReceivablest)+β2 PPEt+β3 ROAt+εt
ここで、
ROA = 総資産利益率; 純利益 / 総資産
(3) CFO修正ジョーンズ・モデル:
Total accrualst = α+β1 (ΔSalest-ΔReceivablest)+β2 PPEt+β3 CFOt+εt
ここで、
Total accruals = 税引後当期純利益から営業キャッシュ・フローを差し引いた発生高
CFO = 営業活動によるキャッシュ・フロー
Δは変数の値の変化、tは会計年度を表す。)
5 甲5(“SHAPLEY LORENZ METHODS FOR EXPLAINABLE ARTIFICIAL INTELLIGENCE”)
甲5には、以下のとおりの記載がある。
「We apply our proposed method to data supplied by a European External Credit Assessment Institution (ECAI) specialised in credit scoring for P2P platforms focused on SME commercial lending. In summary, the analysis relies on a dataset composed of official financial information, extracted from the balance-sheets of 15,045 SMEs, mostly based in Southern Europe, for the year 2015.The information about the status (0 = active, 1 = defaulted) of each company one year later (2016) is also provided. The observed proportion of defaulted companies is equal to 10.9%. In order to lead our analysis, we apply a logistic regression model after the data is split in a training set (80%) and a test set (20%).We then calculate, on the same split, the contribution of each of the nineteen explanatory variables to the estimate of the probability of default, using two explainable AI methods: the Shapley value approach and the Lorenz-Shapley approach that we propose. Table 1 displays the result of the comparison. From Table 1 note that the variable which most contributes to the prediction of default, according to the sum of the Shapley values, is Variable 8: (Profit or Loss before tax + Interest paid)/Total asset, followed at a considerable distance by Variables 13 and 14 (both related to EBITDA) and by Variable 3 (Total Assets/Total Liabilities). In terms of G² (deviance), instead, the differences between Variable 8 (the highest contributor) and Variables 14, 15 and 3 are lower. The role that Variable 13 has in terms of Shapley value is replaced by Variable 15. The first column of Table 1, giving the Shapley Lorenz values, indicate, instead, that Variable 8, with a value of 0.16, and Variable 3, with a value of 0.11, are one magnitude order higher than the others. This indicates a more clear cut choice, with only two variables being selected: a measure of leverage, and a measure of profitability. In the latter case, only the most contributing one, among the several that measure profitability, is chosen.」(第47頁第13行~第48頁第5行)
(当審訳:
我々は、中小企業の商業融資に焦点を当てたP2Pプラットフォームの信用スコアリングを専門とする欧州外部信用評価機関(ECAI)から提供されたデータに、提案した手法を適用する。要約すると、この分析は、主に南ヨーロッパに拠点を置く15,045社の中小企業の2015 年の貸借対照表から抽出された公式財務情報で構成されるデータセットに基づいている。また、1年後(2016年)の各企業のステータス(0=アクティブ、1=債務不履行)に関する情報も提供される。観察された債務不履行の会社の割合は10.9%に相当する。分析を進めるために、データをトレーニングセット(80%)とテストセット(20%)に分割した後、ロジスティック回帰モデルを適用する。次に、同じ分割で、我々が提案するLorenz-ShapleyアプローチとShapley値アプローチという2つの説明可能なAI手法を使用して、債務不履行の確率の推定に対する19の説明変数のそれぞれの寄与を計算する。表1に比較の結果を示す。表1から、Shapley値の合計によると、債務不履行の予測に最も寄与する変数は、変数8:(税引き前損益+支払利息)/総資産であり、かなりの距離を置いて変数13と14(両方ともEBITDAに関連)および変数3(総資産/総負債)が続いていることに注意されたい。代わりに、G²(逸脱)に関しては、変数8(最も寄与度の高い変数)と変数14、15、および3の間の差が小さくなる。Shapley値に関して変数13が持つ役割は、変数15に置き換えられる。シャープレイ・ローレンツ値を示す表1の最初の列は、代わりに、値0.16の変数8と値0.11の変数3が他のものより1桁大きいことを示す。これは、レバレッジの尺度と収益性の尺度という2つの変数のみが選択されるという、より明確な選択を示す。後者の場合、収益性を測定するいくつかの指標のうち、最も貢献度の高い指標だけが選択される。)
〔図省略〕
(第48頁)
(当審訳:
〔図省略〕
)
6 甲6(“An artificial intelligence application for accounting data cleansing”)
甲6には、以下のとおりの記載がある。
「One way to dive into the origin of the anomalies is by using the Shapley values. These provide information on the extent to which each accounting item affects the anomaly score of each company. As Chart 2 shows, the “3-year moving average of dividens” is the item that most affects the degree of anomaly.」(第9頁第1~4行)
(当審訳:異常の原因を突き止める1つの方法は、Shapley値を使用することである。これらは、各会計項目が各企業の異常スコアにどの程度影響を与えるかに関する情報を提供する。表2に示すように、異常度に最も影響を与える項目は「分配金の3年移動平均」である。)
〔図省略〕
(第10頁)
(当審訳:
図2:不正スコアが最大の会社群のShapley 値
〔図省略〕
)
7 甲7(“Detecting and Explaining Potential Financial Fraud Cases in Invoice Data with Machine Learning”)
甲7には、以下のとおりの記載がある。
「The purpose of this research is to investigate the opportunities for financial auditors to use machine learning in a legitimate manner in their work. There are enough opportunities to apply outlier detection, however the auditors need to be able to trust and explain the outcomes. The goal is to research how financial auditors can trust and begin using outlier detection algorithms in their work of analysing financial statements.」(第2頁第16~20行)
(当審訳:
この研究の目的は、財務監査人が業務において機械学習を合法的に利用する機会を調査することである。外れ値検出を適用する機会は十分にあるが、監査人は結果を信頼し説明できる必要がある。目的は、財務監査人が財務諸表を分析する作業において、外れ値検出アルゴリズムをどのように信頼し、使い始めることができるかを研究することである。)
「The focus was on using the SHAP values per invoice to see which indicators contributed to the prediction. The ability to view all data from the individual transactions proved to be fruitful as this was used to confirm the predictions. The visualisations were used less often, only to see how the individual transaction related to the mass.」(第66頁第14~17行)
(当審訳:
どの請求項目が予測に貢献したかを特定するために請求書ごとにSHAP値を用いることに着目した。個々の取引の全データを閲覧する能力は、予測の確認に使用されるものとして有益なことが証明された。可視化の使用頻度は低く、個々の取引が全体に対してどのように関連しているかを確認するためだけに使用された。)
〔図省略〕
(第130頁)
(当審訳:
〔図省略〕
)
8 甲8(「SHAP を用いて機械学習モデルを説明する」)
甲8には、以下のとおりの記載がある。
「シャープレイ値の説明
SHAP(SHapley Additive exPlanations)は、協力ゲーム理論のシャープレイ値(Shapley Value)を機械学習に応用したオープンソースのライブラリです。シャープレイ値をそのまま算出するには、変数の数が増えると組み合わせが増えて計算量が膨大になってしまいます。そこで算出方法を工夫することで現実的な計算時間でシャープレイ値を機械学習で扱えるようにしたものがSHAPです。」
「SHAPの概要
さて、前項でシャープレイ値の機械学習への応用について概念を説明しました。考え方はシンプルですが、これをまともに計算しようとする場合、特徴量が多いほど計算量は膨大になることにお気づきでしょうか。前項までの例では特徴量は3つしかありませんでしたので、限界貢献度を計算するための順序の組み合わせは3!通り、すなわち6通りですみましたが、数が10、20と増えていくと順序の組み合わせは10!=約362万通り、20!=2.4×10¹⁸通りであり、現実的な時間での計算は不可能です。
そこで近似的にシャープレイ値を算出する手段が SHAP(SHapley Additive exPlanations)です。作者のScott LundbergがオープンソースのライブラリとしてGitHubに公開しており、世界で人気が高まっています。」
9 甲9(“Using machine learning to detect misstatements”)
甲9には、以下のとおりの記載がある。
「Machine learning offers empirical methods to sift through accounting datasets with a large number of variables and limited a priori knowledge about functional forms.In this study, we show that these methods help detect and interpret patterns present in ongoing accounting misstatements.We use a wide set of variables from accounting, capital markets, governance, and auditing datasets to detect material misstatements. A primary insight of our analysis is that accounting variables, while they do not detect misstatements well on their own, become important with suitable interactions with audit and market variables. We also analyze differences between misstatements and irregularities, compare algorithms, examine one-year- and two-year-ahead predictions and interpret groups at greater risk of misstatements.」(第1頁Abstract)
(当審訳:
機械学習は、多数の変数と関数形に関する限られた先験的知識を持つ会計データセットを厳密に調べるための経験的手法を提供する。本研究では、これらの手法が、現在進行中の会計虚偽記載に存在するパターンの検出と解釈に役立つことを示す。会計、資本市場、ガバナンス、監査のデータセットから幅広い変数を用いて、重要な虚偽表示を検出する。我々の分析の主要な洞察は、会計変数は単独では虚偽記載をうまく検出できないものの、監査変数や市場変数との適切な相互作用によって重要になるということである。また、虚偽記載と不正の違いを分析し、アルゴリズムを比較し、1年先と2年先の予測を検証し、虚偽記載のリスクが高いグループを解釈する。)
「The potential complementarities between accounting and other variables are intuitive: auditing variables can capture whether the auditing profession has the ability to discipline firms when it comes to reporting reliable information. Accounting information is incomplete either because accounting rules set boundaries on what can or cannot be included as an asset or liability or managers choose accounting estimates about their receivables, inventory write-downs, valuation of securities, impairments of long-term assets, etc. Market variables can partly fill the gap and account for internally developed intangibles and contingencies not present in the balance sheets as well as events that affect the company in a more timely fashion.」(第3頁第15~23行)
(当審訳:
会計変数とその他の変数の間の潜在的な補完性は直感的である。監査変数は、信頼できる情報の報告に関して監査専門家が企業を規律する能力を持っているかどうかを把握できる。会計規則が資産や負債に含めることができるものとできないものの境界を設定しているため、または経営者が売掛金、在庫評価損、有価証券評価、長期資産の減損などに関する会計上の見積りを選択しているため、会計情報が不完全である。市場変数はギャップを部分的に埋め、貸借対照表に存在しない社内で開発された無形資産や偶発事象、さらには会社に影響を与える出来事をよりタイムリーに考慮することができる。)
「We use the gradient boosted regression tree (GBRT) developed by Friedman (2001) for our main analysis.」(第5頁第17~18行)
(当審訳:
主な分析には、Friedman (2001)によって開発された勾配ブースティング回帰ツリー(GBRT)を使用する。)
「When implementing the regression tree, GBRT requires two parameters: the number of splits (depth of tree) and the fraction of the sample to be used in fitting the tree (bagging). Boosting has two additional parameters: the number of trees to use and the shrinkage parameter, which is defined as the percentage of the prediction of a new tree to incorporate into the model. A higher value of these parameters increases the fit of the model but can lead to overfitting, which occurs when the machine learning model explains noise in the training sample, instead of the underlying relationship that is generalizable to the test sample. Friedman (2001) recommends using weak learners, defined as trees with four to eight splits, bagging between 50% and 80% of observations and a shrinkage parameter no greater than 10%. The preferred number of trees can depend heavily on the nature of the data. In summary, GBRT depends on four fitting parameters: tree depth, bagging, number of trees, and shrinkage.」(第6頁第3~14行)
(当審訳:
回帰ツリーを実装する場合、GBRTには2つのパラメータが必要である。これらパラメータは、分割数(ツリーの深さ)とツリーのフィッティング(バギング)に使用されるサンプルの割合である。ブースティングには、使用するツリーの数と、モデルに組み込む新しいツリーの予測のパーセンテージとして定義される縮小パラメータという2つの追加パラメータがある。これらのパラメータの値を高くすると、モデルの適合性が高まるが、テストサンプルに一般化できる基礎的な関係ではなく、機械学習モデルがトレーニングサンプル内のノイズを説明するときに生じる過適合が発生する可能性がある。Friedman(2001)は、4~8個の分割を持ち、観測値の50%~80%をバギングし、収縮パラメータが10%以下であるツリーとして定義される弱い学習器を使用することを推奨している。推奨されるツリーの数は、データの性質に大きく依存する。要約すると、GBRTはツリーの深さ、バギング、ツリーの数、および収縮という4つのフィッティングパラメータに依存する。)
「Since our database starts in 2001 and ends in 2014, we keep firm-years between 2001 and 2014, which also provides time for the restatement to be filed (Cheffers et al. 2010; Lobo and Zhao 2013). In our sample, about 88.46% (38.44%) of misstatements were filed within two years after the end (start) of the event.
Our research design uses financial ratios as predictor variables, which often require two consecutive years of nonmissing asset data in Compustat. Therefore firm years without a positive total asset value in the prior year are dropped. We also require firms to have at least a one-year return history in CRSP. We remove firm-years that include a misstatement and an announcement of restatement within the same year. After imposing these selection criteria, our final sample consists of 3,599 restatement firm-years and 54,354 Compustat firm-years.」(第7頁第21~31行)
(当審訳:
我々のデータベースは2001年に始まり2014年に終わるため、2001年から2014年の間の会社年度を保持しており、提出するべき修正再計算の期間も提供する(Cheffers他、2010 年;LoboとZhao、2013)。我々のサンプルでは、虚偽申告の約88.46%(38.44%)がイベント終了(開始)後2年以内に修正申告が提出された。
我々の研究デザインでは、財務比率を予測変数として使用するが、これには多くの場合、Compustatに2年連続の欠落していない資産データが必要である。したがって、会社年度前年の総資産価値がプラスにならなかったものは削除される。我々はまた、企業が少なくとも1年間のCRSPの戻り履歴を持っていることを要求する。同じ年に虚偽表示と再表示の発表を含む年度は除外する。これらの選択基準を課した後、最終的なサンプルは3,599の修正再表示企業年と54,354のCompustat企業年で構成される。)
「We build an extensive dataset of over 100 potential predictor variables obtained from public records, as defined in Table 5. We include financial variables (Dechow et al. 2011), audit variables (Frankel et al. 2002; DeFond et al. 2002; Johnson et al. 2002; Romanus et al. 2008), credit rating variables (Avramov et al. 2009), opinion divergence variables (Garfinkel 2009), and corporate governance variables (Larcker et al. 2007).」(第9頁第9~14行)
(当審訳:
我々は、表5で定義されているように、公的記録から取得される100以上の予測変数候補の広範なデータセットを構築する。そのデータセットには、財務変数(Dechow他、2011)、監査変数(Frankel他、2002;DeFond他、2002;Johnson他、2002年;Romanus他、2008)、信用格付け変数(Avramov他、2009)、意見発散変数(Garfinkel、2009)、およびコーポレート・ガバナンス変数(Larcker)他、2007)が含まれる。)
「We compare GBRT to other common methods in 4 machine learning, including classification methods such as RUSBoost.」(第9頁第31~32行)
(当審訳:
GBRTを、RUSBoostなどの分類方法を含む機械学習の他の一般的な方法と比較する。)
「RUSBoost refers to random undersampling, such that balanced samples are constructed by randomly drawing from the sample.」(第9頁脚注4第1~2行)
(当審訳:
RUSBoostは、サンプルからランダムに抽出してバランスの取れたサンプルを構築する、ランダムアンダーサンプリングを指す。)
「To address the total importance of all accounting variables, we classify predictors into five groups: accounting (i.e., constructed from accounting numbers), governance, audit, market information (including analysts and credit ratings), and business environment (i.e., all other non-accounting variables including industry fixed effects). We then total the influence by group in Fig. 3. Surprisingly, while governance, audit, and market variables individually have the largest influence, the cumulative effect of accounting variables is larger than all other groups, attaining 36.2% of total importance. Overall, accounting variables remain the most important source of information to detect misstatements.」(第11頁第13~21行)
(当審訳:
すべての会計変数の総合的な重要性に対処するために、予測変数を会計(つまり、会計数値から構築)、ガバナンス、監査、市場情報(アナリストや信用格付けを含む)、ビジネス環境(つまり、業界の固定効果を含むその他すべての非会計変数)の5つのグループに分類する。グループごとの影響を合計して図3に示す。驚くべきことに、ガバナンス、監査、および市場変数が個別に最大の影響力を持つ一方で、会計変数の累積効果はすべての変数よりも大きくなる。他のグループは、全体の重要性の36.2%に達する。全体として、会計変数は依然として虚偽表示を検出するための最も重要な情報源である。)
「For variables combining market and accounting information, such as book-to-market and earnings-toprice, we allocate half weight to each category.」(第11頁脚注7第1~2行)
(当審訳:
市場簿価や収益対価格など、市場情報と会計情報を組み合わせた変数については、各カテゴリーに半分の重みを割り当てる。)
10 甲10(「日本の上場企業における売上過大計上による不正会計の検知―マハラノビス距離を用いた機械学習による方法―」)
甲10には、以下のとおりの記載がある。
「Dechow et al. (2011)が提唱したF-Scoreは,米国企業の会計情報と株価から計算可能な28の財務指標を利用してロジスティック回帰モデルで予測モデルを構築している.
F-Scoreが採用した財務指標は,不正会計と正の相関があると仮定した会計発生高に関するrsstacc,経営者の裁量が多いとされる売掛債権に関するchrecや棚卸資産に関するchinv,利益調整に依拠したchroa等であり利益調整に関する指標から構成されている.そして,F-Scoreが高いほど不正会計を行っている可能性が高いと判断している.
F-Scoreの判別目安は,宋(2017)によると,F-Scoreの傾向を観察してF-Score>2.45としている.なお,構築モデルと説明変数に使用した財務指標は,次のとおりである.
Fscore=e^(Fvaliue)/(1+e^(Fvaliue))/0.004 (2)」(第125頁左欄第14~29行)
「Song et al. (2016) は,2000年から2014年の間に日本で発生した不正会計229件を基に予測モデルを構築している.分析には,銀行,証券,保険とその他の金融以外の業種を営む企業のうち,日本の会計基準を適用している会計情報47709件を使用している.説明変数には,Dechow et al. (2011)が採用した利益調整に関する指標に日本企業の特徴を表す一般事業法人持株比率を加えている.宋(2017)によれば,先行研究の多くが米国企業を対象としているため一般事業法人持株比率は説明変数として用いられていないが,日本企業を対象とした分析においてこれを説明変数に加えることで,不正会計の検知の精度向上が期待されることから加えている.利益調整の指標は,会計情報と株価から計算し,産業と年次で調整されている.」(第125頁右欄第6~19行)
「Li et al. (2015)は,検知モデルの構築に会計情報そのものを使用しており,不正の有無を0,1とする目的変数と会計情報そのものから構成される分析データを訓練データとテストデータに分けている.具体的には,アンダーサンプリングで作成した訓練データから予測モデルを構築し,残りのテストデータから予測モデルの予測性能を正判別率で評価している.
アンダーサンプリングとは,少数のデータ群を含む不均衡データの場合に訓練データを作成する方法であり,少数のデータ群の標本サイズと等しくなるように多数を占めるデータ群の中から同数を無作為抽出する方法である(門脇・阪田・保坂・平松,2019).」(第126頁左欄第23~35行)
「宇澤(2012)によると,実務家は,一般的なビジネスの業務内容を前提に分析対象企業の財務比率に差異が生じている勘定科目から会計情報の歪みを特定し,特定した勘定科目の増減額や増減比率等を分析している.」(第127頁右欄第42行~第128頁左欄第2行)
「機械学習には,SVM,ニューラルネットワークとランダムフォレストのモデルを用いる.SVMは,説明変数を利用して2クラス以上のパターン認識を行う手法である.分析モデルのカーネルには,線形,ガウジアン,多項式がある.ニューラルネットワークは,神経回路を模した数理モデルである.ランダムフォレストは,バギングにおいてブートストラップ標本を得る際に変数についてもランダムサンプリングを行う方法である.」(第136頁左欄第31~39行)
11 甲11(“Finding Needles in a Haystack: Using Data Analytics to Improve Fraud Prediction”)
甲11には、以下のとおりの記載がある。
「Developing models to detect financial statement fraud involves challenges related to (i)the rarity of fraud observations, (ii)the relative abundance of explanatory variables identified in the prior literature, and (iii)the broad underlying definition of fraud. Following the emerging data analytics literature, we introduce and systematically evaluate three methods to address these challenges. Results from evaluating actual cases of financial statement fraud suggest that two of these methods improve fraud prediction performance by approximately ten percent relative to the best current techniques. Improved fraud prediction can result in meaningful benefits, such as improving the ability of the SEC to detect fraudulent filings and improving audit firms’ client portfolio decisions.」(Abstract)
(当審訳:
財務諸表の不正を検出するモデルの開発には、(i)不正の観測結果の希少性、(ii)先行文献で特定された説明変数の相対的な多さ、(iii)不正の広範な定義、に関する課題が含まれる。データ分析に関する新たな文献に従って、これらの課題に対処するための3つの方法を紹介し、体系的に評価する。実際の財務諸表不正のケースを評価した結果、これらの手法のうち2つで、現在の最良の手法と比較して、不正予測の性能を約10%向上させることが示唆された。不正予測の向上は、SECによる不正申告の発見能力の向上や、監査法人によるクライアントのポートフォリオ決定の改善などで、有意義な利益をもたらす可能性がある。)
「While prior fraud detection research enhances our general understanding of fraud indicators and prediction methods, this research rarely addresses these problems explicitly. With a primary objective of improving fraud prediction, we address these challenges by introducing three methods grounded in data analytics research.3 The methods we examine have performed well in other settings characterized by data rarity, such as predicting credit card fraud (e.g., Chan and Stolfo 1998). The first method, Multi-subset Observation Undersampling (OU), addresses the imbalance between the low number of fraud observations relative to the number of non-fraud observations by creating multiple subsets of the original dataset that each contain all fraud observations and different random subsamples of non-fraud observations. The second method, Multi-subset Variable Undersampling (VU), addresses the imbalance between the low number of fraud observations relative to the number of explanatory variables identified in the fraud prediction literature by creating multiple subsets of randomly selected explanatory variables. The third method, VU partitioned by type of fraud (PVU), is a variation of the second method that addresses issues associated with treating all fraud cases as homogenous events. Rather than randomly selecting variables, we instead use our a priori knowledge to partition the variables into subsets based on their relation to specific types of fraud (e.g., revenue vs. expense fraud).」(第2頁第5~20行)
(当審訳:
これまでの不正検出研究により、不正指標と予測方法についての一般的な理解が深まったが、この研究がこれらの問題に明示的に対処することはほとんどなかった。不正行為の予測を改善することを主な目的として、我々はデータ分析研究に基づいた3つの手法を導入することでこれらの課題に対応する。我々が調査した手法は、クレジットカード詐欺の予測など、データの希少性を特徴とする他の設定でもうまく機能している(例:Chan and Stolfo、1998)。1番目の方法であるマルチサブセット観測アンダーサンプリング(OU)は、元のデータセットから、すべての不正データと、不正でないデータからランダムに作成したサブサンプルを含む、複数のサブセットを作成することにより、不正のデータが不正でないデータに対して少ないという不均衡に対処する。2番目の方法であるマルチサブセット変数アンダーサンプリング(VU)は、ランダムに選択された説明変数の複数のサブセットを作成することにより、不正予測文献で特定された説明変数の数に対して不正観測数が少ないことの不均衡に対処する。3番目の方法である不正の種類ごとに分割されたVU(PVU)は、すべての不正事件を同種の事象として扱うことに伴う問題に対処する2番目の方法の変形例である。変数をランダムに選択するのではなく、以前の知識を使用して、特定の種類の不正行為(収益と経費の不正行為など)との関係に基づいて変数をサブセットに分割する。)
「When applied in the fraud setting, OU first preprocesses the model building data by dividing the data into multiple subsets, where each subset includes all fraud observations and a random sample of non-fraud observations selected without replacement (Figure 1). Thus, all fraud observations are included in all subsets while each non-fraud observation is part of at most one subset. Each subset is then used in combination with a classification algorithm to build a fraud prediction model.To perform fraud prediction, each prediction model is then applied to out-of-sample data.For each observation in the out-of-sample data, the resulting model predictions are averaged into an overall fraud probability prediction for the observation. For example, if OU is implemented with 12 subsets, the method first creates 12 subsets as described above. Each subset is then used to build a prediction model, for a total of 12 prediction models. The prediction models are then applied to out-of-sample data, resulting in 12 fraud probability predictions for each observation in the out-of-sample data. The probability predictions for each observation are then combined by taking the average of the 12 probability predictions. Section IV provides further details on how OU was implemented in the experiments.」(第8頁第15行~第9頁第7行)
(当審訳:
不正設定に適用すると、OUはまずデータを複数のサブセットに分割することでモデル構築データを前処理する。各サブセットには、すべての不正観察と、置換なしで選択された非不正観察のランダムサンプルが含まれる(図1)。したがって、すべての不正観察はすべてのサブセットに含まれるが、非不正観察は最大でも1つのサブセットの一部となる。次に、各サブセットを分類アルゴリズムと組み合わせて使用して、不正予測モデルを構築する。不正予測を実行するには、各予測モデルがサンプル外データに適用される。サンプル外データの各観測について、結果として得られるモデル予測が平均化されて、観測の全体的な不正確率予測が計算される。たとえば、OUが12のサブセットで実装されている場合、この方法ではまず前述のように12のサブセットを作成する。次に、各サブセットを使用して予測モデルが構築され、合計12の予測モデルが作成される。次に、予測モデルがサンプル外データに適用され、サンプル外データの観測ごとに12の不正確率予測が得られる。次に、各観測の確率予測が、12個の確率予測の平均を取ることによって結合される。セクションIVでは、実験でOUがどのように実装されたかについてさらに詳しく説明する。)
12 甲12(“Unsupervised Outlier Detection in Financial Statement Audits”)
甲12には、以下のとおりの記載がある。
「Machine learning techniques could aid the auditor in ensuring that financial information is correct. A promising direction is unsupervised outlier detection or unsupervised anomaly detection, which could make the audit process more effective and more efficient by analyzing transactional audit data. Outlier detection techniques intent to detect 'abnormal’ instances, being observations that deviate markedly from the rest. These outliers could be a possible indication for errors or fraud in transactional data sets, therefore detecting outliers could aid financial statement auditors.」(第1頁第20~26行)
(当審訳:
機械学習技術は、財務情報が正しいことを保証する上で監査人を助けることができる。有望な方向性は、教師なしの外れ値検出または教師なしの異常値検出であり、取引監査データを分析することによって、監査プロセスをより効果的かつ効率的にすることができる。外れ値検出技法は、他から著しく逸脱した観測である「異常な」例を検出することを意図している。このような外れ値は、取引データセットにおけるエラーや不正を示す可能性があるため、外れ値を検出することは財務諸表監査人の助けになる。)
「2.2.1 Isolation Forests (IF)
Lui, Ting & Zhou propose a tree-based unsupervised outlier detection technique named 'Isolation Forests' (IF) [20]. Zhao, Nasrullah & Li implemented this this technique in a Python package, which has been used during this study [21], who among Isolation Forests implemented multiple outlier detection techniques in a Python library.
Isolation Forest shares intuitive similarity with another tree-based algorithm called 'random forest' [10], which is mainly used for classification problems. In a book about outlier detection, Aggarwal describes IF as an ensemble combination of a set of isolation trees (estimators) [10]. Lui describes the term 'isolation' as 'separating an instance from the rest of the instances'. In a single isolation tree, the data is recursively partitioned with axis-parallel cuts at randomly chosen partition points in randomly selected attributes (features). This is done for n data points to isolate the points into nodes with fewer and fewer points until they are isolated in singleton nodes containing one instance [10]. The intuition behind the technique is that tree branches containing outliers are noticeably less deep, because these data points are located in sparse locations. The distance of the leaf to the root is used as the outlier score. Since IF creates multiple trees (n estimators) the average path length for each data point is calculated over the different trees in the isolation forest. IF functions under the assumption that it is more likely to be able to isolate outliers. Hence, when a forest of random trees collectively produce shorter path lengths for some particular points, they are likely to be anomalous [20].」(第8頁第18~37行)
(当審訳:
2.2.1 Isolation Forest(IF)
Lui, Ting & Zhouは、'Isolation Forests'(IF)[20]というツリーベースの教師なし外れ値検出技術を提案している。Zhao, Nasrullah & Liは、この手法をPythonパッケージに実装し、本研究で使用した[21]。
Isolation Forestは、主に分類問題に使用される「ランダムフォレスト」[10]と呼ばれる別のツリーベースのアルゴリズムと直感的な類似点を共有する。Aggarwalは外れ値検出に関する本の中で、IFを一連の分離ツリー(推定器)のアンサンブルの組み合わせとして説明している[10]。Luiは、「分離」という用語を「インスタンスを残りのインスタンスから分離すること」と説明している。単一の分離ツリーでは、データは、ランダムに選択された属性(特徴)のランダムに選択された分割点での軸平行カットによって再帰的に分割される。これは、n個のデータポイントに対して実行され、n個のデータポイントが1つのインスタンスを含むシングルトンノードに分離されるまで、ポイントがより少ないノードへと分離される[10]。この手法の背後にある直観的知識は、孤立値を含む木の枝の深さは著しく浅いということである。なぜならば、これらのデータポイントがまばらな場所に配置されているためである。葉から根までの距離が外れ値スコアとして使用される。IFは複数のツリー(n個の推定器)を作成するため、各データポイントの平均パス長はIsolation Forest内のさまざまなツリーにわたって計算される。IF関数は、外れ値を分離できる可能性が高いという前提に基づいている。したがって、ランダムツリーのフォレストが集合的にいくつかの特定の点に対してより短い経路長を生成する場合、それらは異常である可能性が高くなる[20]。)
第5 当審の判断
1 本件発明1について
(1)対比
本件発明1と甲1発明とを対比する。
ア 甲1発明の「コンピュータ」は、不正会計の検知と予測における機械学習手法を実行する点で、後述する相違点は別にして、本件発明1の「情報処理装置」に相当する。
イ 甲1発明は、「上場企業の有価証券報告書、金融庁による有価証券報告書等の虚偽記載に対する課徴金納付命令の有無、および証券取引等監視委員会が行った虚偽有価証券報告書提出事件としての検察庁への告発の有無を利用することで、公的な制裁が発動されるような重大な不正会計イベントが生じていた企業×年度のペアを特定し、
このとき、金融庁から有価証券報告書等の虚偽記載に対する課徴金納付命令が出された会計年度のうち、決算書の訂正がある会計年度、または、証券取引等監視委員会から有価証券報告書等の虚偽記載に対する告発があった会計年度のうち、決算書の訂正がある会計年度、のいずれかを満たす企業×年度のペアを1(ポジティブデータ)、それ以外の場合を0(ネガティブデータ)とする不正会計フラグ1を設定」するものであって、特定された「公的な制裁が発動されるような重大な不正会計イベントが生じていた企業×年度のペア」を用いて「不正会計フラグ1を対象とした検知モデルを構築」する点で、「公的な制裁が発動されるような重大な不正会計イベントが生じていた企業×年度のペアを特定」することは、いわゆる、機械学習におけるモデルのトレーニングのための「前処理」であるといえる。
そうすると、甲1発明の「公的な制裁が発動されるような重大な不正会計イベントが生じていた企業×年度のペア」は、前処理によって生成された情報である点で、本件発明1の「複数のデータセット」と、「機械学習モデルへの入力データ」との点で共通し、甲1発明の、「公的な制裁が発動されるような重大な不正会計イベントが生じていた企業×年度のペアを特定」する機能を実現する手段と、本件発明1の「複数のデータセットを生成する前処理手段」とは、「入力として使用される複数のデータを生成する前処理手段」との点で共通する。
ウ 甲1発明は、「機械学習ベースの検知・予測モデル構築には、決定木ベースの予測モデルをサブサンプル毎に構築した結果を合算(アンサンブル)するRandom Forestを用い、決定木の構築に当たっては」、「データ全体に対して決定木を構築するのではなく、サンプルの一部や変数の一部を用いて決定木を構築」し、「個々の決定木からなる判別/分類器を構築するトレーニングステップを完了することで」、「検知・予測時点において入手可能な」「情報ベクトルXから、特定のイベントの現時点もしくは将来時点における発生確率に対応するスコアS(不正会計の予測結果)を算出するノンパラメトリックな関数(分類器)のモデルを構築」するものであって、「金融庁から有価証券報告書等の虚偽記載に対する課徴金納付命令が出された会計年度のうち、決算書の訂正がある会計年度、または、証券取引等監視委員会から有価証券報告書等の虚偽記載に対する告発があった会計年度のうち、決算書の訂正がある会計年度、のいずれかを満たす企業×年度のペアを1(ポジティブデータ)、それ以外の場合を0(ネガティブデータ)とする不正会計フラグ1を設定し」、「2006年1月決算期から2016年3月期決算までの4,094社に関する34,923観測値(企業×年度)を用い、そのうち、モデルのトレーニングには2006年1月期~2013年3月期における25,401観測値を用い、モデルのテストには2013年4月期~2016年3月期における9,522観測値を用いて、不正会計フラグ1を対象とした検知モデルを構築」するものであり、「不正会計の観測が非観測に比して稀であることに配慮して、個々の決定木構築及びアンサンブルに際してレアイベントへ相対的に大きなウェイトを課するRandom Forestの拡張版であるWeighted Random Forestを用い」るものである。
そして、甲1発明は、上記イのとおりの前処理によって特定された「公的な制裁が発動されるような重大な不正会計イベントが生じていた企業×年度のペア」を用いて「不正会計フラグ1を対象とした検知モデルを構築」するものであるから、甲1発明の「サンプルの一部や変数の一部を用いて」構築される「決定木ベースの予測モデル」は、本件発明1の「前記前処理手段から出力された複数のデータセットがそれぞれ入力される複数の弱学習器」と、「前記前処理手段から出力された入力として使用される複数のデータがそれぞれ入力される複数の弱学習器として機能するモデル」との点で共通する。
また、甲1発明の「特定のイベントの現時点もしくは将来時点における発生確率に対応するスコアS(不正会計の予測結果)」は、「不正会計フラグ1を対象とした検知モデル」の出力であって、「検知・予測時点において入手可能な情報ベクトルX」に基づいて算出されることから、本件発明1の「事業者についての」「財務データに基づいて」「不適切性を示す指標」に相当する。このため、「ノンパラメトリックな関数(分類器)のモデル」は、「特定のイベントの現時点もしくは将来時点における発生確率に対応するスコアS(不正会計の予測結果)」を算出する点で、本件発明1の「財務データに基づいて」「不適切性を示す指標を出力するための学習モデル」に相当する。そうすると、甲1発明の「決定木ベースの予測モデル」は、本件発明1の「前記前処理手段から出力された複数のデータセットがそれぞれ入力される複数の弱学習器であって、複数の事業者についての前記財務データに基づいて前記不適切性を示す指標を出力するための学習モデルを構築するための弱学習器」と、「前記前処理手段から出力された入力として使用される複数のデータがそれぞれ入力される複数の弱学習器として機能するモデルであって、複数の事業者についての財務データに基づいて出力値を出力するための学習モデルを構築するための弱学習器として機能するモデル」との点で共通する。
このとき、甲1発明の「サブサンプル毎に構築した結果を合算(アンサンブル)する」ことを実行する手段は、その出力は、「決定木ベースの予測モデル」の構築に関するものである点で、本件発明1の「前記複数の弱学習器からの出力をバギングして前記不適切性を示す指標を算出するバギング手段」と、「前記複数の弱学習器として機能するモデルからの出力をバギングして出力値を算出するバギング手段」との点で共通する。
エ 以上、ア~ウによると、本件発明1と甲1発明とは、以下の一致点、相違点を有する。
[一致点]
「入力として使用される複数のデータを生成する前処理手段と、
前記前処理手段から出力された入力として使用される複数のデータがそれぞれ入力される複数の弱学習器として機能するモデルであって、複数の事業者についての財務データに基づいて出力値を出力するための学習モデルを構築するための弱学習器として機能するモデルと、
前記複数の弱学習器として機能するモデルからの出力をバギングして出力値を算出するバギング手段と
を有する、
情報処理装置。」
[相違点1]
本件発明1の「情報処理装置」は、「一の事業者による会計処理における不適切性を判定する」ものであって、そのための「一の事業者についての複数の決算期に係る財務データを取得する取得手段」、「該取得した財務データに基づいて生成される勘定科目ごとに、当該勘定科目に係る値の推移を示す推移情報を抽出する抽出手段」、「該生成された情報に基づいて、前記一の事業者による会計処理における不適切性を判定する判定手段」を有するものであり、「学習モデル」は「前記不適切性を示す指標を出力するため」ために「事業者の前記財務データ」に基づいているのに対し、甲1発明の「情報処理装置」は、「機械学習ベースの検知・予測モデル」を構築するものであり、「一の事業者による会計処理における不適切性を判定する」か定かではなく、そのため、上記のような「取得手段」、「抽出手段」、「判定手段」を有するか定かではなく、「検知・予測時点において入手可能な情報ベクトルX」に対してどのような前処理が行われるか定かではない点。
[相違点2]
前処理手段が生成する「入力として使用される複数のデータ」が、本件発明1は「取得手段」によって取得された「一の事業者についての複数の決算期に係る財務データ」に基づいて生成される、「抽出手段」によって抽出された、「勘定科目ごとに、当該勘定科目に係る値の推移を示す推移情報」に基づいて「アンダーサンプリング」を行った「複数のデータセット」であるのに対し、甲1発明は、「公的な制裁が発動されるような重大な不正会計イベントが生じていた企業×年度のペア」であって、「一の事業者についての複数の決算期に係る財務データ」「に基づいて生成される勘定科目ごとに、当該勘定科目に係る値の推移を示す推移情報」に対し「アンダーサンプリング」を行って生成されたものではない点。
[相違点3]
「複数の弱学習器として機能するモデル」が、本件発明1では、「前記前処理手段から出力された複数のデータセットがそれぞれ入力される複数の弱学習器」であって、その出力を、「バギング手段」が「バギングして前記不適切性を示す指標を算出」し、これにより、複数の弱学習器が構築する「学習モデル」が、「複数の事業者についての前記財務データに基づいて前記不適切性を示す指標を出力する」のに対し、甲1発明では、「公的な制裁が発動されるような重大な不正会計イベントが生じていた企業×年度のペア」の「サンプルの一部や変数の一部を用いて」構築される「決定木ベースの予測モデル」であり、その出力は、「決定木ベースの予測モデル」の構築に関するものであって、その出力に基づいて「ノンパラメトリックな関数(分類器)のモデル」が「複数の事業者についての前記財務データに基づいて前記不適切性を示す指標を出力する」ものであるのか定かではない点。
[相違点4]
本件発明1は、「各勘定科目について算出された前記指標に基づいて、勘定科目ごとの貢献度を示すSHAP値を算出する」のに対し、甲1発明にはそのような特定がない点。
(2)相違点についての判断
上記(1)エで挙げた相違点について、事案に鑑み、上記[相違点2]について検討する。
甲2~甲7、甲9~甲12にそれぞれ記載の技術は、会計処理の検査において、予測モデルを用いて不正会計や財務情報の異常を検知するものに関するものの、甲2~甲7、甲9~甲12にいずれに記載の予測モデルに関しても、「複数の弱学習器」のそれぞれに出力する「複数のデータセット」を生成する際に、一の「勘定科目」のみに係る「値の推移」を示す「該抽出された推移情報」に基づいて「アンダーサンプリング」を行うことにより、「複数のデータセット」を生成するものではない。
また、甲8に記載の技術は、機械学習モデルの構築に関するものの、当該機械学習モデルの利用分野として、会計処理の検査については示唆されておらず、そのため、「複数の弱学習器」のそれぞれに出力する「複数のデータセット」を生成する際に、一の「勘定科目」のみに係る「値の推移」を示す「該抽出された推移情報」に基づいて「アンダーサンプリング」を行うことにより、「複数のデータセット」を生成するものではない。
このため、甲1発明に、甲2~甲12に記載された技術的事項を適用しても、上記[相違点2]の構成には至らない。
したがって、甲1発明及び甲2~甲12に記載された技術的事項に基づいて、当業者が上記[相違点2]に係る構成を容易に想到し得たとはいえない。
(3)申立人の主張に対する検討
申立人は、特許異議申立書の第37頁において、
「甲1発明の構成要素1dでは、該抽出された推移情報に基づいて複数のデータセットを生成する。甲第1号証には、本件特許発明1の構成要素1Dにおける「アンダーサンプリング」が記載されていないが、データセットを生成する際にアンダーサンプリングを行うことは、甲第3号証、甲第9号証、及び甲第11号証に記載されており、周知事項である。甲第1号証の第3頁第18行~第19行には、膨大な説明変数を参照したモデル構築が可能であると記載されており、アンダーサンプリングという周知の手法で、データを間引くこと、又は不正会計に関連のある説明変数を重点的に抽出することは当業者の設計的事項である。」
と主張する。
しかしながら、本件発明1は、「アンダーサンプリング」の基となる「該抽出された推移情報」について、一の「推移情報」には一の「勘定科目」のみに係る「値の推移」が含まれるものであるところ、そのような「推移情報」に基づいて「アンダーサンプリング」を行うことは、甲1~甲12のいずれにも記載されておらず、たとえ「アンダーサンプリング」の処理自体が周知技術であったとしても、そのような「推移情報」に基づいて「アンダーサンプリング」を行うことが、当業者にとって設計的事項であったということはできない。
したがって、申立人の上記主張には理由がない。
(4)小括
したがって、上記[相違点1]、[相違点3]、[相違点4]について検討するまでもなく、本件発明1は、甲1発明及び甲2~甲12に記載された技術的事項に基づいて、当業者が容易に発明をすることができたものではない。
2 本件発明2~本件発明4について
本件発明2~本件発明4は、本件発明1の構成に限定を加えて減縮したものであり、いずれも、上記1(1)エに示した上記[相違点2]に係る構成を有しているから、上記1に示した理由と同様の理由により、甲1発明及び甲2~甲12に記載された技術的事項に基づいて当業者が容易に発明をすることができたものではない。
3 本件発明5について
本件発明5は、本件発明1の「情報処理装置」の発明を「プログラム」として記載した発明であって、上記[相違点2]に係る構成を有しているから、上記1に示した理由と同様の理由により、甲1発明及び甲2~甲12に記載された技術的事項に基づいて当業者が容易に発明をすることができたものではない。
4 まとめ
以上によれば、本件発明1~本件発明5は、甲1及び周知技術(甲2~甲12)に基づいて当業者が容易に発明をすることができたものではない。
第6 むすび
以上のとおり、特許異議の申立ての理由及び証拠によっては、請求項1~5に係る特許を取り消すことはできない。
また、他に請求項1~5に係る特許を取り消すべき理由を発見しない。
よって、結論のとおり決定する。
令和5年11月8日
審判長 特許庁審判官 伏本 正典
特許庁審判官 古川 哲也
特許庁審判官 松田 直也
出典:特許庁「審決公報」(令和5年12月28日発行・号数2023-012、公報発行サイト https://www.gazette.jpo.go.jp/scciidl010 )を加工して作成(加工:TaiLexi AI)
本文は公表資料(PDF 等)から機械的に抽出・整形したもので、改行や記号に誤りを含むことがあります。正確な文言は原本でご確認ください。