斯坦福(Stanford)最新公开了全球第一个Transformers相关的课程!

标签:#在线课程##深度学习课程# 时间:2022/07/11 23:56:01 作者:小木

重磅福利,斯坦福大学在去年秋季开设了应该是全球第一个transformers相关的课程,授课人员来自OpenAI、Google Brain、Facebook人工智能实验室、DeepMind甚至是牛津大学的业界与学术界的一线大牛。而这两天,这门课相关视频也都公开了,大家可以去观看学习了!


不过,他们为了让大家有上课的感觉,目前只公布了第一个视频,从今天(周一)开始,每天公布一个😅。我看了一下,课程包含了transformers的基本概念,以及在NLP、CV、RL等领域的应用,十分的前沿。不过需要注意的是,官方建议需要有一定的深度学习基础(必须了解attention机制),或者你要是之前学习过斯坦福的CS224N、CS231N、CS230课程也行。

注意,目前还没有人搬到国内,需要注意自备梯子!

2017年推出以来,transformers已经彻底改变了自然语言处理(NLP)。现在,transformers在整个深度学习中找到了应用,无论是计算机视觉(CV)、强化学习(RL)、生成对抗网络(GAN)、语音甚至生物学。transformers使强大的语言模型(如GPT-3)得以创建,并在DeepMind最近的AlphaFold2中发挥了作用,该模型可以处理蛋白质折叠问题。

在这个研讨会上,斯坦福大学邀请了很多业界和学术界的大牛,教授大家transformers工作的细节,并深入研究不同种类的transformers以及它们如何应用于不同领域。斯坦福通过教师讲座、嘉宾讲座和课堂讨论的结合来实现这一目标。

目前这十次课程的内容包括:

  1. Introduction to Transformers
  2. Transformers in Language: GPT-3, Codex - Speaker: Mark Chen (OpenAI)
  3. Applications in Vision - Speaker: Lucas Beyer (Google Brain)
  4. Transformers in RL & Universal - Compute Engines - Speaker: Aditya Grover (FAIR)
  5. Scaling transformers - Speaker: Barret Zoph (Google Brain) with Irwan Bello and Liam Fedus
  6. Perceiver: Arbitrary IO with transformers - Speaker: Andrew Jaegle (DeepMind)
  7. Self Attention & Non-Parametric Transformers - Speaker: Aidan Gomez (University of Oxford)
  8. GLOM: Representing part-whole hierarchies in a neural network - Speaker: Geoffrey Hinton (UoT)
  9. Interpretability with transformers - Speaker: Chris Olah (AnthropicAI)
  10. Transformers for Applications in Audio, Speech and Music: From Language Modeling to Understanding to Synthesis. - Speaker: Prateek Verma (Stanford)

课程官网:https://web.stanford.edu/class/cs25/
课程视频链接:https://www.youtube.com/watch?v=P127jhj-8-Y&list=PLoROMvodv4rNiJRchCzutFw5ItR_Z27CM

欢迎大家关注DataLearner官方微信,接受最新的AI技术推送
Back to Top