マルチモーダルモデル入門 [単行本]

รายละเอียดสินค้า

目次 第1章 マルチモーダルモデルへの基礎 1.1 Transformer 1.2 Transformerの処理単位としてのトークン 1.3 LLMが獲得した能力 1.4 LLMの学習手法 第2章 Vision and Language 2.1 視覚基盤モデルと視覚言語モデル 2.2 大規模視覚言語モデルの基礎 2.3 LLaVA 2.4 LVLM の性能に寄与する要素 2.5 LVLM の視覚トークンに関する内部分析 2.6 LVLM の評価 2.7 LVLM のリーダーボードと自動評価フレームワーク 2.8 V&L の課題と展望 第3章 音データ 3.1 音メディア処理の基礎 3.2 ニューラルオーディオコーデック 3.3 音声の基盤モデル 3.4 音楽の基盤モデル 3.5 可聴音一般の基盤モデル 3.6 音と言語の基盤モデル 3.7 音メディア処理全体の課題と展望 第4章 動画データ 4.1 動画データとは 4.2 動画理解のタスク 4.3 動画基盤モデル 4.4 代表的な動画基盤モデル 4.5 動画基盤モデルの学習 4.6 データセットと評価 4.7 動画基盤モデルのテクニック 4.8 動画基盤モデルの課題と展望 第5章 3次元データ 5.1 3次元データとは 5.2 LLM/VLM 以前のマルチモーダル手法 5.3 3D データと LLM の統合技術 5.4 VLM との融合 5.5 3D データの課題と展望 第6章 オムニモーダルモデル 6.1 複数モダリティ対応の基本 6.2 NExT-GPTの学習 6.3 オムニモーダルモデルの評価 6.4 オムニモーダルモデルの課題と展望