Turning Images into Useful Text with AI AI で画像から有用なテキストを生成する方法

記事 海外
DEV Community

AI を活用して画像から自動的に説明テキストを生成し、スクリーンショットなどのコンテンツを再利用可能なテキスト化する手法と事例。

note

スクリーンリーダーで初めてWebサイトを体験した新入社員による研修レポート。alt属性空白と見出し構造崩れが与える影響を実感。

How University Disability Services Professionals Write Image Descriptions for HCI Figures Using Generative AI 大学の障害支援部門によるジェネレーティブAIを用いた研究図表の代替テキスト作成

論文 海外
arXiv

高等教育機関の障害支援部門の専門家が、生成AIを活用してHCI研究図表などの複雑な画像に対する高品質な代替テキスト作成を実現する方法を検討する論文。

Caption: Generating Informative Content Labels for Image Buttons Using Next-Screen Context Caption:次画面文脈を用いた画像ボタンのコンテンツラベル自動生成

論文 海外
arXiv

モバイルアプリの画像ボタンに不足しがちなコンテンツラベルを、次画面の文脈情報を活用したLLMで自動生成するシステムCaptionを提案する論文。スクリーンリーダーによるアクセシビリティ向上を目的とする。

Using Tactile Charts to Support Comprehension and Learning of Complex Visualizations for Blind and Low-Vision Individuals 触覚チャートを用いた視覚障害・弱視者の複雑なビジュアライゼーション理解と学習支援

論文 海外
arXiv

視覚障害・弱視者が複雑なデータビジュアライゼーションを理解・学習するための触覚チャート4種を設計し、インタビュー調査で有効性を検証した研究だ。

Early Accessibility: Automating Alt-Text Generation for UI Icons During App Development 早期アクセシビリティ:アプリ開発時のUIアイコンへのalt-text自動生成

論文 海外
arXiv

アプリ開発の初期段階でUIアイコンのalt-textを自動生成するALTICONアプローチを提案し、大規模ラベルデータなしに意味ある説明文を生成できることを示した論文。

From Graphs to Words: A Computer-Assisted Framework for the Production of Accessible Text Descriptions グラフから言葉へ:アクセシブルなテキスト説明生成のためのコンピュータ支援フレームワーク

論文 海外
arXiv

グラフ・チャートを視覚障害者向けのスクリーンリーダー対応テキスト説明へ変換するコンピュータ支援フレームワークを提案した研究論文。

Towards Automated Accessibility Report Generation for Mobile Apps モバイルアプリの自動アクセシビリティレポート生成に向けて

論文 海外
Semantic Scholar

モバイルアプリのラベル欠落やコントラスト不足などのアクセシビリティ問題を自動検出しレポートを生成するツールを提案。開発者インタビューによる動機調査も含む。

Revamp: Enhancing Accessible Information Seeking Experience of Online Shopping for Blind or Low Vision Users Revamp: 視覚障害・低視力ユーザーのオンラインショッピング情報検索改善

論文 海外
arXiv

オンラインショッピングにおける視覚障害・低視力ユーザーの情報検索体験を改善する研究。画像説明不足とスクリーンリーダーでの情報フィルタリング課題への解決策を提案。

Quick Win - Image Descriptions クイックウィン - 画像の説明

記事 海外
Mobile A11y

画像に説明がないと視覚障害のあるユーザーがアプリの全機能を利用できない。代替テキストの実装方法をまとめたモバイル向けクイックウィン。

A Neural Network Model and Framework for an Automatic Evaluation of Image Descriptions based on NCAM Image Accessibility Guidelines 画像説明の自動評価に関するニューラルネットワークモデルとフレームワーク

論文 海外
Semantic Scholar

視覚障害者向け画像説明の品質を自動評価するニューラルネットワークモデルを提案した論文。NCAMガイドラインに基づく。

Accessibility to textual and visual information on websites for visually impaired persons 視覚障害者向けウェブサイトのテキスト・画像情報アクセシビリティ

論文 海外
arXiv

ウェブサイトのテキスト・画像情報アクセシビリティを研究した論文。スクリーンリーダーの限界を分析し、視覚障害者のデジタルコンテンツアクセスを改善する技術的提案を提示する。

Robust Annotation of Mobile Application Interfaces in Methods for Accessibility Repair and Enhancement アクセシビリティ修復・強化手法のためのモバイルアプリインターフェースの堅牢なアノテーション

論文 海外
Semantic Scholar

alt textの欠如・不適切なナビゲーション順序・カスタムウィジェットのアクセシビリティ問題を対象に、モバイルアプリのUIを自動アノテーションして修復・強化する手法を提案した研究。