Fluent SearchのScreen SearchはどうやってVimiumのfのように画面を操作するのか

Vimiumの f とFluent SearchのScreen Searchの操作感の違いと仕組みを比較。画面上にキーボードラベルを表示して入力で操作する手法、UI Automationと画像認識による候補検出エンジン、マウス操作パターンを解説。

キーボード操作, 支援技術