Harvard CS197: KI-Forschungserfahrungen PDF Download

Kursleiter. Dr. Pranav Rajpurkar (Assistenzprofessor, Harvard-Universität)

Kursübersicht. In diesem Kurs lernen Sie die neuesten KI-Entwicklungstools wie PyTorch, Lightning und Hugging Face kennen und optimieren Ihren Workflow mit VSCode, Git und Conda. Sie werden lernen, wie Sie die Cloud-Computing-Leistung von AWS und Colab nutzen können, um umfangreiche Deep-Learning-Modelle mit blitzschneller GPU-Beschleunigung zu trainieren. Darüber hinaus lernen Sie die besten Praktiken für die Verwaltung einer großen Anzahl von Experimenten mit Weights and Biases kennen. In diesem Kurs lernen Sie auch, wie Sie systematisch Forschungsarbeiten lesen, neue Ideen entwickeln und diese in Folien oder Papieren präsentieren. Sie werden sogar wertvolle Projektmanagement- und Teamkommunikationsfähigkeiten erlernen, die von führenden KI-Forschern verwendet werden.

Ziele des Kurses.

• Beherrschung der in der KI-Forschung üblicherweise verwendeten Instrumente und Techniken.
• Fähigkeit, Literaturrecherchen durchzuführen, AI-Forschungsarbeiten zu lesen und zusammenzufassen.
• Fähigkeit, eine Vielzahl von Rahmenwerken und Bibliotheken für die Entwicklung, Schulung und Bewertung von Modellen zu nutzen.
• Fähigkeit, Experimente zu verwalten, Hyperparameter zu suchen und Modellleistungen zu vergleichen.
• Fähigkeit, Forschungsideen zu entwickeln, zu wiederholen und zu bewerten.
• Fähigkeit, Forschungsarbeiten zu verfassen und zu organisieren und qualitativ hochwertige Folien zu erstellen.
• Fähigkeit, effektiv in Teams zu arbeiten und Projekte zu leiten.

Kurskatalog.

I. Einleitung und Grundlagen des Programms (Kapitel 1-2, 59 Seiten)

• Kapitel 1: You Complete My Sandwiches - Spannende Fortschritte mit KI-Sprachmodellen
  • Lernziele:
    • Interagieren Sie mit Sprachmodellen, indem Sie das Lernen mit Null- und kleinen Stichproben nutzen, um ihre Fähigkeiten zu testen.
    • Erstellen Sie einfache Anwendungen mit der Textvervollständigung von GPT-3 und den Codex-Funktionen zur Codegenerierung.
    • Verstehen der schädlichen Tendenz von Sprachmodellen, die möglicherweise soziale Vorurteile widerspiegeln.
  • Entsprechende Notizen: Harvard CS197 Lecture 1 Notes
• 第2章: The Zen of Python – Software Engineering Fundamentals (Python之禅 – 软件工程基础)
  • Lernziele:
    • Effiziente Bearbeitung der Python-Codebasis mit dem VSCode-Editor.
    • Beherrschung der Verwendung von Git und Conda bei der Codierung von Arbeitsabläufen.
    • Verwenden Sie Haltepunkte und Protokollpunkte zum Debuggen, keine Druckanweisungen.
    • Verwenden Sie Linting, um Fehler zu finden und den Stil von Python-Code zu verbessern.
  • Entsprechende Notizen: Harvard CS197 Lecture 2 Notes

II. die Lektüre der Literatur und die Feinabstimmung der Modelle (Kapitel 3-4, 41 Seiten)

• 第3章: Shoulders of Giants – Reading AI Research Papers (站在巨人的肩膀上 – 阅读AI研究论文)
  • Lernziele:
    • Führen Sie eine Literaturrecherche durch, um Arbeiten zum Thema Ihres Interesses zu finden.
    • Lesen Sie Forschungsarbeiten zum maschinellen Lernen und fassen Sie deren Beiträge zusammen.
    • Zusammenfassung der bisherigen Arbeit in einem bestimmten Bereich.
  • Entsprechende Notizen: Harvard CS197 Lecture 3 Notes
• 第4章: In-Tune with Jazz Hands – Fine-tuning a Language Model using Hugging Face (与爵士手共舞 – 使用Hugging Face微调语言模型)
  • Lernziele:
    • Verwenden Sie die Datensatzbibliothek, um Datensätze für die Verarbeitung natürlicher Sprache zu laden und zu verarbeiten.
    • Eine Textsequenz zu segmentieren und die Schritte der Segmentierung zu verstehen.
    • Erstellung von Datensätzen und Trainingsschritten für die kausale Sprachmodellierung.
  • Entsprechende Notizen: Harvard CS197 Lecture 4 Notes

III. vertieftes Studium von PyTorch mit Visual Transformer (Kapitel 5-7, 33 Seiten)

• 第5章: Lightning McTorch – Fine-tuning a Vision Transformer using Lightning (闪电McTorch – 使用Lightning微调视觉Transformer)
  • Lernziele:
    • Interagieren Sie mit dem Code, um das Laden von Bilddaten und die Tokenisierung zur Verwendung mit dem Visual Transformer zu untersuchen.
    • Analyse des Codes der PyTorch-Architektur und der Module, die zum Aufbau des Visual Transformer verwendet werden.
    • Vertrautheit mit beispielhaften Schulungsworkflows unter Verwendung von PyTorch Lightning.
  • Entsprechende Notizen: Harvard CS197 Lecture 5 Notes
• 第6-7章: Moonwalking with PyTorch – Solidifying PyTorch Fundamentals (与PyTorch一起太空漫步 – 巩固PyTorch基础)
  • Lernziele:
    • Tensoroperationen in PyTorch durchführen.
    • Verständnis der Vorwärts- und Rückwärtsausbreitung in neuronalen Netzen im Kontext von Autograd.
    • Gemeinsame Probleme im PyTorch-Trainingscode erkennen.
  • Entsprechende Notizen: Harvard CS197 Lecture 6 & 7 Notes

IV. die Verwaltung von Experimenten und die hyperparametrische Suche (Kapitel 8-9, 22 Seiten)

• 第8-9章: Experiment Organization Sparks Joy – Organizing Model Training with Weights & Biases and Hydra (实验组织激发快乐 – 使用Weights & Biases和Hydra组织模型训练)
  • Lernziele:
    • Verwalten Sie die Protokollierung und Nachverfolgung von Experimenten durch Weights & Biases.
    • Führen Sie eine hyperparametrische Suche mit Weights & Biases Sweeps durch.
    • Verwalten Sie komplexe Konfigurationen mit Hydra.
  • Entsprechende Notizen: Harvard CS197 Lecture 8 & 9 Notes

V. Forschungsideen und Schreiben von Aufsätzen (Kapitel 10-13, 23 Seiten)

• 第10-11章: I Dreamed a Dream – A Framework for Generating Research Ideas (我有一个梦想 – 产生研究想法的框架)
  • Lernziele:
    • Identifizieren Sie Lücken in der Forschungsarbeit, einschließlich der Forschungsfrage, des Versuchsaufbaus und der Ergebnisse.
    • Entwickeln Sie Ideen auf der Grundlage des Forschungspapiers unter Berücksichtigung der Aufgabenstellung, der Bewertungsstrategie und der Elemente der vorgeschlagenen Methodik.
    • Iterieren Sie Ihre Ideen, um ihre Qualität zu verbessern.
  • Entsprechende Notizen: Harvard CS197 Lecture 10 & 11 Notes
• 第12-13章: Today Was a Fairytale – Structuring a Research Paper (今天是童话故事 – 构建研究论文)
  • Lernziele:
    • Dekonstruktion der Elemente einer Forschungsarbeit und ihrer Reihenfolge.
    • Dokumentieren Sie die globale und lokale Struktur des Schreibens von Forschungsarbeiten.
  • Entsprechende Notizen: Harvard CS197 Lecture 12 & 13 Notes

VI. tiefes Lernen und Modell-Feinabstimmung in der Cloud (Kapitel 14-17, 31 Seiten)

• 第14-15章: Deep Learning on Cloud Nine – AWS EC2 for Deep Learning: Setup, Optimization, and Hands-on Training with CheXzero (云端九号深度学习 – 用于深度学习的AWS EC2：设置、优化和使用CheXzero进行实践训练)
  • Lernziele:
    • Erfahren Sie, wie Sie eine AWS EC2-Instanz für Deep Learning einrichten und mit ihr verbinden.
    • Lernen Sie, wie man Deep-Learning-Code für die Nutzung der GPU modifiziert.
    • Sammeln Sie praktische Erfahrungen bei der Durchführung des Modelltrainings anhand einer echten Codebasis.
  • Entsprechende Notizen: Harvard CS197 Lecture 14 & 15 Notes
• 第16-17章: Make your dreams come tuned – Fine-Tuning Your Stable Diffusion Model (让您的梦想成真 – 微调您的Stable Diffusion模型)
  • Lernziele:
    • Erstellung und Feinabstimmung von Stable Diffusion-Modellen mit Hilfe des Dreambooth-Vorlagen-Notizbuchs.
    • Verwendung der AWS-Beschleunigung zum Trainieren von Modellen für stabile Diffusion mit GPUs.
    • Verwenden Sie unbekannte Codebasen und neue Tools wie Dreambooth, Colab, Accelerate und Gradio, ohne sich in sie einarbeiten zu müssen.
  • Entsprechende Notizen: Harvard CS197 Lecture 16 & 17 Notes

VII. effiziente Forschung und Teamarbeit (Kapitel 18-19, Seite 19)

• 第18章: Research Productivity Power-Ups – Tips to Manage Your Time and Efforts (研究效率提升 – 管理您的时间和精力的技巧)
  • Lernziele:
    • Erfahren Sie, wie Sie mit Hilfe von Aktualisierungsbesprechungen und Arbeitssitzungen auf dem gleichen Stand bleiben und Fortschritte bei Projekten erzielen können.
    • Lernen Sie, wie Sie eine Vielzahl von Werkzeugen und Techniken einsetzen können, um die Kommunikation im Team und die Projektorganisation zu verbessern.
    • Erlernen von Strategien zur Organisation der Projektarbeit unter Berücksichtigung der einzelnen Phasen eines Projekts und der verschiedenen damit verbundenen Aufgaben.
  • Entsprechende Notizen: Harvard CS197 Vorlesung 18 Notizen
• 第19章: The AI Ninja – Making Progress and Impact in AI Research (AI忍者 – 在AI研究中取得进展和影响)
  • Lernziele:
    • Lernen Sie, wie Sie in Ihrer Forschung stetig vorankommen, einschließlich der Pflege von Beziehungen zu Vorgesetzten und der Entwicklung von Fähigkeiten.
    • Gewinnen Sie ein tieferes Verständnis dafür, wie Sie die Wirkung Ihrer Arbeit steigern können.
  • Entsprechende Notizen: Harvard CS197 Lecture 19 Notes

VIII. die Herstellung von Dias und statistische Tests (Kapitel 20-21, 25 Seiten)

• 第20章: Bejeweled – Tips for Creating High-Quality Slides (珠光宝气 – 创建高质量幻灯片的技巧)
  • Lernziele:
    • Anwendung der wichtigsten Prinzipien des Behauptungs-Beweis-Ansatzes zur Erstellung effektiver Präsentationsfolien.
    • Erkennen Sie häufige Fallstricke in typischen Folienpräsentationen und Strategien, um diese zu vermeiden.
    • Wenden Sie die in dieser Vorlesung erlernten Techniken auf reale Beispiele von Forschungspräsentationsfolien an, um deren Wirksamkeit zu verbessern.
  • Entsprechende Notizen: Harvard CS197 Lecture 20 Notes
• 第21章: Model Showdown – Statistical Testing to Compare Model Performances (模型对决 – 比较模型性能的统计测试)
  • Lernziele:
    • Lernen Sie die verschiedenen statistischen Tests kennen, die zum Vergleich von Modellen des maschinellen Lernens verwendet werden können, einschließlich des McNemar-Tests, gepaarter t-Tests und Bootstrap-Methoden.
    • Die Fähigkeit, diese statistischen Tests in Python zu implementieren, um die Leistung von zwei Modellen auf demselben Testsatz zu bewerten.
    • Fähigkeit zur Auswahl geeigneter Tests für ein bestimmtes Forschungsproblem, einschließlich Tests zur statistischen Überlegenheit, Nichtunterlegenheit und Äquivalenz.
  • Entsprechende Notizen: Harvard CS197 Vorlesung 21 Notizen

Zuweisungen

• Aufgabe 1: Die Sprache des Codes
• Aufgabe 2: Erster Tauchgang in KI (AI初探)
• Aufgabe 3: Abgefackelt (Fackel)
• Aufgabe 4: Freude entfachen
• Aufgabe 5: Ideenfindung und Organisation
• Aufgabe 6: Stabile Diffusion und Forschungsarbeiten

X. Kursprojekt

• Details zum Projekt. Sie werden ein hochmodernes Forschungsprojekt zur Anwendung künstlicher Intelligenz in der Medizin durchführen. Der Kurs gibt eine klar definierte Forschungsrichtung vor, die es Ihnen ermöglicht, eine Forschungsfrage zu formulieren und eine durchgängige Forschung durchzuführen. Sie werden die im Unterricht erlernten Forschungsinstrumente und technischen Fähigkeiten nutzen, um dieses Projekt durchzuführen. Durch dieses Abschlussprojekt werden Sie wertvolle Erfahrungen in der Durchführung echter Forschung im Bereich der medizinischen KI sammeln und ein Projekt vom Konzept bis zum vollständigen Manuskript bearbeiten.

XI. abschließende Bemerkungen (Glückwünsche)

Ich hoffe, dieser Studienkatalog hilft Ihnen! Viel Erfolg bei Ihrem Studium!

Download-Adresse

Dieser Inhalt wurde vom Autor versteckt, bitte geben Sie den Verifizierungscode ein, um den Inhalt zu sehen

Captcha:

Bitte achten Sie auf diese Website WeChat öffentliche Nummer, Antwort "CAPTCHA, eine Art von Challenge-Response-Test (Computertechnik)", um den Verifizierungscode zu erhalten. Suchen Sie in WeChat nach "AI-Produktivitätsanwendungen"oder"Künstlich9527" oder WeChat Scannen der rechten Seite des QR-Codes kann die Aufmerksamkeit auf diese Website WeChat öffentliche Zahl zu zahlen.