Fluent SearchのScreen SearchはどうやってVimiumのfのように画面を操作するのか

Windows アプリの操作を画面上のキーボードラベルで選ぶ Fluent Search の Screen Search 機能を解説。UI Automation と画像認識を使い分け、ブラウザのみでなくデスクトップアプリ全般に対応する実装方法。

キーボード操作, 支援技術