ハーバード CS197：AI研究体験 PDFダウンロード

コース・インストラクター。 プラナフ・ラジプルカー博士（ハーバード大学助教授）

コースの概要 このコースでは、PyTorch、Lightning、Hugging Faceなどの最先端のAI開発ツールを深く学び、VSCode、Git、Condaを使用してワークフローを最適化します。AWSとColabのクラウドコンピューティングパワーを活用し、光速GPUアクセラレーションで大規模なディープラーニングモデルをトレーニングする方法を学びます。さらに、Weights and Biasesを使用して大量の実験を管理するためのベストプラクティスを習得します。このコースでは、研究論文を体系的に読み、新しいアイデアを生み出し、スライドや論文にして発表する方法も学びます。さらに、一流のAI研究者が使用する貴重なプロジェクト管理とチームコミュニケーションのスキルも学びます。

コースの目的

• AI研究で一般的に使用されるツールやテクニックの習得。
• 文献検索を行い、AI研究論文を読み、要約する能力。
• モデル開発、トレーニング、評価のために様々なフレームワークやライブラリを使用する能力。
• 実験管理、ハイパーパラメータ検索、モデル性能比較の実行能力。
• 研究アイデアを生み出し、反復し、評価する能力
• 研究論文を執筆・整理し、質の高いスライドを作成する能力。
• チームやプロジェクト管理で効果的に働く能力

コースカタログ。

I. イントロダクションとプログラムの基礎（第1～2章、59ページ）

• 第1章 あなたは私のサンドイッチを完成させる--AI言語モデルのエキサイティングな進歩
  • 学習目標
    • ゼロサンプル学習と小サンプル学習を使って言語モデルと対話し、その能力をテストする。
    • GPT-3のテキスト補完機能とCodexのコード生成機能を使って、簡単なアプリケーションを構築します。
    • 社会的偏見を反映する可能性のある言語モデリングの有害な傾向を理解する。
  • 対応ノート：ハーバード CS197講義1ノート
• 第2章: The Zen of Python – Software Engineering Fundamentals (Python之禅 – 软件工程基础)
  • 学習目標
    • VSCodeエディタを使ってPythonコードベースを効率的に編集。
    • コーディングワークフローにおけるGitとCondaの使用に精通している。
    • デバッグには、print文ではなく、ブレークポイントやログポイントを使用すること。
    • lintingを使ってエラーを見つけ、Pythonのコードスタイルを改善しましょう。
  • 対応ノート：ハーバード CS197講義2ノート

II.文献講読とモデルの微調整（第3～4章、41ページ）

• 第3章: Shoulders of Giants – Reading AI Research Papers (站在巨人的肩膀上 – 阅读AI研究论文)
  • 学習目標
    • 文献検索を行い、関心のあるトピックに関連する論文を特定する。
    • 機械学習の研究論文を読み、その貢献を要約する。
    • 特定の分野における過去の研究を要約する。
  • 対応ノート：ハーバード CS197講義3ノート
• 第4章: In-Tune with Jazz Hands – Fine-tuning a Language Model using Hugging Face (与爵士手共舞 – 使用Hugging Face微调语言模型)
  • 学習目標
    • datasetsライブラリを使用して、自然言語処理データセットを読み込み、処理する。
    • テキスト列をセグメンテーションし、セグメンテーションで使用されるステップを理解する。
    • 因果言語モデリングのためのデータセット構築と学習ステップ。
  • 対応ノート：ハーバード CS197講義4ノート

III.ビジュアルトランスフォーマーによるPyTorchディープダイブ（第5章～第7章、33ページ）

• 第5章: Lightning McTorch – Fine-tuning a Vision Transformer using Lightning (闪电McTorch – 使用Lightning微调视觉Transformer)
  • 学習目標
    • コードを操作して、Visual Transformerで使用するための画像データの読み込みとトークン化について調べます。
    • Visual Transformerを構築するために使用されるPyTorchアーキテクチャとモジュールのコードを解析する。
    • PyTorch Lightningを使用したトレーニングワークフローの例に精通している。
  • 対応ノート：ハーバード CS197講義5ノート
• 第6-7章: Moonwalking with PyTorch – Solidifying PyTorch Fundamentals (与PyTorch一起太空漫步 – 巩固PyTorch基础)
  • 学習目標
    • PyTorch でテンソル演算を行う。
    • Autogradの文脈でニューラルネットワークの順伝播と逆伝播を理解する。
    • PyTorchの学習コードによくある問題を検出する。
  • 対応ノート：ハーバード CS197講義6＆7ノート

IV.実験管理とハイパラメトリック探索（第8〜9章、22ページ）

• 第8-9章: Experiment Organization Sparks Joy – Organizing Model Training with Weights & Biases and Hydra (实验组织激发快乐 – 使用Weights & Biases和Hydra组织模型训练)
  • 学習目標
    • Weights & Biasesによる実験の記録と追跡の管理。
    • Weights & Biases Sweeps を使ってハイパーパラメトリック検索を行う。
    • Hydraで複雑な構成を管理。
  • 対応ノート：ハーバード CS197 第8・9講義ノート

V. 研究アイデアとエッセイの書き方（第10～13章、23ページ）

• 第10-11章: I Dreamed a Dream – A Framework for Generating Research Ideas (我有一个梦想 – 产生研究想法的框架)
  • 学習目標
    • リサーチクエスチョン、実験セットアップ、結果など、研究論文のギャップを特定する。
    • 研究論文に基づいて、関心のある課題、評価戦略、提案された方法論の要素を考慮し、アイデアを創出する。
    • アイデアの質を向上させるために、アイデアを反復する。
  • 対応ノート：ハーバード CS197講義10＆11ノート
• 第12-13章: Today Was a Fairytale – Structuring a Research Paper (今天是童话故事 – 构建研究论文)
  • 学習目標
    • 研究論文の要素とその順序を分解する。
    • 研究論文執筆のグローバル構造とローカル構造を記録する。
  • 対応ノート：ハーバード CS197 第12・13講ノート

VI.クラウドにおけるディープラーニングとモデルの微調整（第14～17章、31ページ）

• 第14-15章: Deep Learning on Cloud Nine – AWS EC2 for Deep Learning: Setup, Optimization, and Hands-on Training with CheXzero (云端九号深度学习 – 用于深度学习的AWS EC2：设置、优化和使用CheXzero进行实践训练)
  • 学習目標
    • ディープラーニングのためのAWS EC2インスタンスのセットアップと接続方法を学びます。
    • GPUを使用するためにディープラーニングコードを修正する方法を学ぶ。
    • 実際のコードベースを使ってモデルトレーニングプロセスを実行する実地経験を積む。
  • 対応ノート：ハーバード CS197講義14＆15ノート
• 第16-17章: Make your dreams come tuned – Fine-Tuning Your Stable Diffusion Model (让您的梦想成真 – 微调您的Stable Diffusion模型)
  • 学習目標
    • Dreamboothテンプレートノートブックを使用して、安定拡散モデルを作成し、微調整します。
    • GPUを使用した安定拡散モデルの学習にAWSアクセラレーションを使用。
    • Dreambooth、Colab、Accelerate、Gradioなど、馴染みのないコードベースや新しいツールを、飛び込むことなく使用できる。
  • 対応ノート：ハーバード CS197 レクチャー16 & 17 ノート

VII.研究の効率化とチームワーク（第18～19章、19ページ）

• 第18章: Research Productivity Power-Ups – Tips to Manage Your Time and Efforts (研究效率提升 – 管理您的时间和精力的技巧)
  • 学習目標
    • アップデート・ミーティングやワーク・セッションを活用して、同じ見解を維持し、プロジェクトを進展させる方法を学ぶ。
    • チームのコミュニケーションとプロジェクト編成を改善するための、さまざまなツールやテクニックの使い方を学ぶ。
    • プロジェクトの段階とそれに関わるさまざまなタスクを考慮しながら、プロジェクト作業を組織化するための戦略を学ぶ。
  • 対応ノート：ハーバード CS197 第18講ノート
• 第19章: The AI Ninja – Making Progress and Impact in AI Research (AI忍者 – 在AI研究中取得进展和影响)
  • 学習目標
    • 上司との関係管理やスキルアップなど、研究を着実に進める方法を学ぶ。
    • 自分の仕事の影響力を高める方法について理解を深める。
  • 対応ノート：ハーバード CS197 第19講ノート

VIII.スライド作成と統計テスト（第20～21章、25ページ）

• 第20章: Bejeweled – Tips for Creating High-Quality Slides (珠光宝气 – 创建高质量幻灯片的技巧)
  • 学習目標
    • アサーション-エビデンス・アプローチの主要原則を適用して、効果的なプレゼンテーション・スライドを作成する。
    • 典型的なスライドプレゼンテーションにありがちな落とし穴と、それを避けるための戦略を特定する。
    • 本講義で学んだテクニックを実際の研究発表スライド例に適用し、その効果を高める。
  • 対応ノート：ハーバード CS197講義ノート20
• 第21章: Model Showdown – Statistical Testing to Compare Model Performances (模型对决 – 比较模型性能的统计测试)
  • 学習目標
    • McNemar検定、一対のt検定、ブートストラップ法など、機械学習モデルの比較に使用できるさまざまな統計検定について学ぶ。
    • これらの統計的検定をPythonで実装し、同じテストセット上で2つのモデルの性能を評価する能力。
    • 統計的優越性、非劣性、同等性の検定など、与えられた研究課題に対して適切な検定を選択する能力。
  • 対応ノート：ハーバード CS197 第21講ノート

課題

• 課題1：コードの言語
• 課題2：AI初探
• 課題3：トーチド（聖火）
• 課題4：スパーク・ジョイ
• 課題5：アイデアと組織
• 課題6：安定した普及と研究活動

X. コース・プロジェクト

• プロジェクトの詳細 人工知能を医療に応用する最先端の研究プロジェクトを構築します。このコースでは、研究の方向性が明確に定義されているため、リサーチクエスチョンを設定し、エンドツーエンドの研究を行うことができます。このプロジェクトを完成させるために、授業で学んだ研究ツールと技術スキルを活用します。この最終プロジェクトでは、医療AIの実際の研究を実施し、コンセプトから完全な原稿までプロジェクトを扱う貴重な経験を積むことができます。

XI.おわりに（祝辞）

この学習カタログがあなたのお役に立てれば幸いです！ 頑張ってください！

ダウンロードアドレス

このコンテンツは作者によって非表示にされています。コンテンツを表示するには認証コードを入力してください。

キャプチャ

このサイトWeChat公開番号に注意してください、返信"CAPTCHA、チャレンジ・レスポンス・テストの一種（コンピューティング）"、認証コードを取得します。WeChatで"AI生産性アプリケーション「または人工9527"またはWeChatは、QRコードの右側をスキャンすると、このサイトWeChatの公開番号に注意を払うことができます。