Harvard CS197: Experiências de pesquisa em IA PDF Download

Instrutor do curso. Dr. Pranav Rajpurkar (Professor Assistente, Universidade de Harvard)

Visão geral do curso. Este curso o levará a um mergulho profundo em ferramentas de desenvolvimento de IA de ponta, como PyTorch, Lightning e Hugging Face, e otimizará seu fluxo de trabalho usando VSCode, Git e Conda. Você aprenderá a aproveitar o poder de computação em nuvem do AWS e do Colab para treinar modelos de aprendizagem profunda em grande escala com aceleração de GPU extremamente rápida. Além disso, você dominará as práticas recomendadas para gerenciar um grande número de experimentos usando Weights and Biases. Este curso também o ensinará a ler sistematicamente artigos de pesquisa, gerar novas ideias e apresentá-las em slides ou artigos. Você ainda aprenderá habilidades valiosas de gerenciamento de projetos e comunicação de equipes usadas pelos principais pesquisadores de IA.

Objetivos do curso.

• Domínio de ferramentas e técnicas comumente usadas na pesquisa de IA.
• Capacidade de realizar pesquisas bibliográficas, ler e resumir artigos de pesquisa de IA.
• Capacidade de usar uma variedade de estruturas e bibliotecas para desenvolvimento, treinamento e avaliação de modelos.
• Capacidade de realizar gerenciamento de experimentos, pesquisas de hiperparâmetros e comparações de desempenho de modelos.
• Capacidade de gerar, iterar e avaliar ideias de pesquisa.
• Capacidade de escrever e organizar trabalhos de pesquisa e produzir slides de alta qualidade.
• Capacidade de trabalhar com eficiência em equipes e gerenciamento de projetos.

Catálogo do curso.

I. Introdução e fundamentos do programa (Capítulos 1-2, 59 páginas)

• Capítulo 1: You Complete My Sandwiches - Avanços empolgantes com modelos de linguagem de IA
  • Objetivos de aprendizado:
    • Interaja com modelos de linguagem usando aprendizado de amostra zero e pequena para testar seus recursos.
    • Crie aplicativos simples usando o recurso de conclusão de texto do GPT-3 e os recursos de geração de código do Codex.
    • Compreender a tendência prejudicial da modelagem de linguagem de refletir potencialmente o preconceito social.
  • Notas correspondentes: Harvard CS197 Lecture 1 Notes
• 第2章: The Zen of Python – Software Engineering Fundamentals (Python之禅 – 软件工程基础)
  • Objetivos de aprendizado:
    • Edite com eficiência a base de código Python usando o editor VSCode.
    • Proficiente no uso do Git e do Conda em fluxos de trabalho de codificação.
    • Use pontos de interrupção e pontos de registro para depuração, não para imprimir instruções.
    • Use o linting para encontrar erros e melhorar o estilo do código Python.
  • Notas correspondentes: Harvard CS197 Lecture 2 Notes

II. Leitura da literatura e ajuste fino dos modelos (Capítulos 3-4, 41 páginas)

• 第3章: Shoulders of Giants – Reading AI Research Papers (站在巨人的肩膀上 – 阅读AI研究论文)
  • Objetivos de aprendizado:
    • Realize uma pesquisa bibliográfica para identificar artigos relacionados ao tópico de interesse.
    • Leia artigos de pesquisa sobre aprendizado de máquina e resuma suas contribuições.
    • Resumir o trabalho anterior em uma área específica.
  • Notas correspondentes: Harvard CS197 Lecture 3 Notes
• 第4章: In-Tune with Jazz Hands – Fine-tuning a Language Model using Hugging Face (与爵士手共舞 – 使用Hugging Face微调语言模型)
  • Objetivos de aprendizado:
    • Use a biblioteca de conjuntos de dados para carregar e processar conjuntos de dados de processamento de linguagem natural.
    • Segmentar uma sequência de texto e entender as etapas usadas na segmentação.
    • Construção de conjuntos de dados e etapas de treinamento para modelagem de linguagem causal.
  • Notas correspondentes: Harvard CS197 Lecture 4 Notes

III. mergulho profundo no PyTorch com o Visual Transformer (capítulos 5 a 7, 33 páginas)

• 第5章: Lightning McTorch – Fine-tuning a Vision Transformer using Lightning (闪电McTorch – 使用Lightning微调视觉Transformer)
  • Objetivos de aprendizado:
    • Interaja com o código para explorar o carregamento de dados de imagem e a tokenização para uso com o Visual Transformer.
    • Analisar o código da arquitetura PyTorch e os módulos usados para criar o Visual Transformer.
    • Familiaridade com exemplos de fluxos de trabalho de treinamento usando o PyTorch Lightning.
  • Notas correspondentes: Harvard CS197 Lecture 5 Notes
• 第6-7章: Moonwalking with PyTorch – Solidifying PyTorch Fundamentals (与PyTorch一起太空漫步 – 巩固PyTorch基础)
  • Objetivos de aprendizado:
    • Executar operações de tensor no PyTorch.
    • Entendendo a propagação para frente e para trás em redes neurais no contexto do Autograd.
    • Detecção de problemas comuns no código de treinamento do PyTorch.
  • Notas correspondentes: Harvard CS197 Lecture 6 & 7 Notes

IV. Gerenciamento de experimentos e pesquisa hiperparamétrica (Capítulos 8-9, 22 páginas)

• 第8-9章: Experiment Organization Sparks Joy – Organizing Model Training with Weights & Biases and Hydra (实验组织激发快乐 – 使用Weights & Biases和Hydra组织模型训练)
  • Objetivos de aprendizado:
    • Gerencie o registro e o acompanhamento de experimentos por meio do Weights & Biases.
    • Realize uma pesquisa hiperparamétrica usando Weights & Biases Sweeps.
    • Gerencie configurações complexas com o Hydra.
  • Notas correspondentes: Harvard CS197 Lecture 8 & 9 Notes

V. Ideias de pesquisa e redação de ensaios (Capítulos 10-13, 23 páginas)

• 第10-11章: I Dreamed a Dream – A Framework for Generating Research Ideas (我有一个梦想 – 产生研究想法的框架)
  • Objetivos de aprendizado:
    • Identifique as lacunas no trabalho de pesquisa, incluindo a questão da pesquisa, a configuração experimental e os resultados.
    • Gerar ideias com base no trabalho de pesquisa, considerando a tarefa de interesse, a estratégia de avaliação e os elementos da metodologia proposta.
    • Itere suas ideias para melhorar a qualidade delas.
  • Notas correspondentes: Harvard CS197 Lecture 10 & 11 Notes
• 第12-13章: Today Was a Fairytale – Structuring a Research Paper (今天是童话故事 – 构建研究论文)
  • Objetivos de aprendizado:
    • Desconstrução dos elementos de um trabalho de pesquisa e sua ordem.
    • Documentar a estrutura global e local da redação de trabalhos de pesquisa.
  • Notas correspondentes: Harvard CS197 Lecture 12 & 13 Notes

VI. Aprendizagem profunda e ajuste fino de modelos na nuvem (Capítulos 14 a 17, 31 páginas)

• 第14-15章: Deep Learning on Cloud Nine – AWS EC2 for Deep Learning: Setup, Optimization, and Hands-on Training with CheXzero (云端九号深度学习 – 用于深度学习的AWS EC2：设置、优化和使用CheXzero进行实践训练)
  • Objetivos de aprendizado:
    • Saiba como configurar e conectar-se a uma instância do AWS EC2 para aprendizagem profunda.
    • Saiba como modificar o código de aprendizagem profunda para usar a GPU.
    • Obtenha experiência prática na execução do processo de treinamento de modelos usando uma base de código real.
  • Notas correspondentes: Harvard CS197 Lecture 14 & 15 Notes
• 第16-17章: Make your dreams come tuned – Fine-Tuning Your Stable Diffusion Model (让您的梦想成真 – 微调您的Stable Diffusion模型)
  • Objetivos de aprendizado:
    • Crie e ajuste modelos de difusão estável usando o notebook modelo do Dreambooth.
    • Usando a aceleração do AWS para treinar modelos de difusão estável usando GPUs.
    • Use bases de código desconhecidas e novas ferramentas, incluindo Dreambooth, Colab, Accelerate e Gradio, sem precisar se aprofundar nelas.
  • Notas correspondentes: Harvard CS197 Lecture 16 & 17 Notes

VII. eficiência da pesquisa e trabalho em equipe (Capítulos 18-19, página 19)

• 第18章: Research Productivity Power-Ups – Tips to Manage Your Time and Efforts (研究效率提升 – 管理您的时间和精力的技巧)
  • Objetivos de aprendizado:
    • Saiba como usar as reuniões de atualização e as sessões de trabalho para se manter na mesma página e progredir nos projetos.
    • Aprenda a usar uma variedade de ferramentas e técnicas para melhorar a comunicação da equipe e a organização do projeto.
    • Aprender estratégias para organizar o trabalho do projeto, considerando os estágios de um projeto e as várias tarefas envolvidas.
  • Notas correspondentes: Harvard CS197 Lecture 18 Notes
• 第19章: The AI Ninja – Making Progress and Impact in AI Research (AI忍者 – 在AI研究中取得进展和影响)
  • Objetivos de aprendizado:
    • Aprenda a fazer progressos constantes em sua pesquisa, incluindo o gerenciamento de relacionamentos com supervisores e o desenvolvimento de habilidades.
    • Obtenha uma compreensão mais profunda de como aumentar o impacto de seu trabalho.
  • Notas correspondentes: Harvard CS197 Lecture 19 Notes

VIII. produção de slides e testes estatísticos (Capítulos 20-21, 25 páginas)

• 第20章: Bejeweled – Tips for Creating High-Quality Slides (珠光宝气 – 创建高质量幻灯片的技巧)
  • Objetivos de aprendizado:
    • Aplicar os princípios-chave da abordagem de afirmação-evidência para criar slides de apresentação eficazes.
    • Identificar armadilhas comuns em apresentações típicas de slides e estratégias para evitá-las.
    • Aplique as técnicas aprendidas nesta palestra a exemplos reais de slides de apresentação de pesquisa para melhorar sua eficácia.
  • Notas correspondentes: Harvard CS197 Lecture 20 Notes
• 第21章: Model Showdown – Statistical Testing to Compare Model Performances (模型对决 – 比较模型性能的统计测试)
  • Objetivos de aprendizado:
    • Saiba mais sobre os diferentes testes estatísticos que podem ser usados para comparar modelos de aprendizado de máquina, incluindo o teste McNemar, testes t pareados e métodos de bootstrap.
    • A capacidade de implementar esses testes estatísticos em Python para avaliar o desempenho de dois modelos no mesmo conjunto de testes.
    • Capacidade de selecionar testes adequados para um determinado problema de pesquisa, incluindo testes de superioridade estatística, não inferioridade e equivalência.
  • Notas correspondentes: Harvard CS197 Lecture 21 Notes

Atribuições

• Exercício 1: A linguagem do código
• Exercício 2: Primeiro mergulho em IA (AI初探)
• Exercício 3: Torched (Tocha)
• Tarefa 4: Despertar a alegria
• Exercício 5: Ideação e organização
• Exercício 6: Difusão estável e operações de pesquisa

X. Projeto do curso

• Detalhes do projeto. Você desenvolverá um projeto de pesquisa de ponta aplicando inteligência artificial à medicina. O curso oferece uma direção de pesquisa claramente definida, permitindo que você formule uma pergunta de pesquisa e conduza uma pesquisa de ponta a ponta. Você utilizará as ferramentas de pesquisa e as habilidades técnicas aprendidas em sala de aula para concluir esse projeto. Com esse projeto final, você adquirirá uma experiência valiosa na realização de pesquisas reais em IA médica e lidará com um projeto desde o conceito até o manuscrito completo.

XI Observações finais (Parabéns)

Espero que este catálogo de estudos o ajude! Boa sorte em seus estudos!

endereço para download

Este conteúdo foi ocultado pelo autor. Digite o código de verificação para visualizar o conteúdo

Captcha:

Preste atenção ao número público do WeChat deste site, responda "CAPTCHA, um tipo de teste de desafio-resposta (computação)", obtenha o código de verificação. Pesquise no WeChat por "Aplicativos de produtividade de IA"ou"Artificial9527"ou WeChat escaneando o lado direito do código QR pode prestar atenção a esse número público do WeChat do site.