https://engineering.fb.com/2020/12/10/developer-tools/probabilistic-flakiness/
エンジニアがアプリの新機能の実装と最適化を日夜行っているため、Facebookのコードベースは日々変化しています。Facebookはこうしたコードベースの品質低下を検出する自動試験を運用しているものの、「自動試験が時間の経過によって劣化しているかどうかを調べる自動試験」は存在しなかったとのこと。 試験自体の信頼性を検証するためには「試験自体の試験」が重要ですが、Facebookによると、試験自体の試験に関する学術研究は「どの試験に欠陥が存在するのか」「どの試験は信頼できるのか」ばかりを重視してきたとのこと。Facebookはどんな完璧な試験であっても現実で実行するのならばある程度は欠陥が存在するという思想のもとに、「どの程度の欠陥を有しているのか」を突き止める試験の試験を設計するため、「Probabilistic Flakiness Score」という概念を構築しました。PFSは、ネットワーク障害などの雑多な要因によってエラーが発生する確率を数値化したものです。
仮に実施する試験が「1回だけ」だった場合、試験の結果を額面通りに受け取る以外の選択肢は存在せず、試験自体の信頼性を検証することは不可能です。しかし特定の試験を複数回実行するならば、試験結果の分布から試験に内在する偏りを見抜くことが可能です。Facebookは、試験が失敗する確率とは「試験対象のコードないしは試験環境が原因で失敗する確率」と「環境自体が良好な場合に失敗する確率」の2つの確率に依存していると考えました。試験自体の試験を設計するのならば、「試験対象のコードないしは試験環境が原因で失敗する確率」は無視して、PFSのみを求めることが必要です。
日本 最新ニュース, 日本 見出し
Similar News:他のニュース ソースから収集した、これに似たニュース記事を読むこともできます。