2022年9月份最火的10个AI研究——基于GitHub的Star数量排序

九月份刚过去，GitHub上最火的AI研究排序出炉。这是根据9月份GitHub上创建的新的AI研究相关的项目排序，根据Star的数量来的。这些数据是使用PapersWithCode提供的官方API跟踪各个项目获取的。

一、OpenAI的Whisper

OpenAI的Whisper是一种通用的语音识别模型。它是在多种音频的大型数据集上进行训练的，也是一个多任务模型，可以执行多语言语音识别以及语音翻译和语言识别。其准确性超过目前很多的项目。此前我们也讨论过这个模型。这是9月份当之无愧的最火的AI研究项目，Star数量10K。

GitHub地址：https://github.com/openai/whisper
论文快讯地址：https://www.datalearner.com/ai-resources/ai-paper-news/1051663833796652
论文地址：https://openai.com/blog/whisper/
项目实时Star数量：

二、高分辨率高质量的视频生成模型VToonify

生成高质量的艺术人像视频是计算机图形学和视觉领域的一项重要而理想的任务。虽然基于功能强大的StyleGAN提出了一系列成功的人像图像统一模型，但这些面向图像的方法在应用于视频时有明显的局限性，例如固定的帧大小、人脸对齐要求、缺少非人脸细节和时间不一致。排名的第二的VToonify模型，利用StyleGAN的中高分辨率层，根据编码器提取的多尺度内容特征渲染高质量艺术肖像，以更好地保留帧细节。由此产生的完全卷积结构接受可变大小视频中的未对齐人脸作为输入，有助于在输出中使用自然运动完成面部区域。9月的Star数量474，一个月的成绩，也很不错了。

GitHub地址：https://github.com/williamyang1991/vtoonify
论文快讯地址：未跟踪到
论文地址：https://arxiv.org/abs/2209.11224v2
项目实时Star数量：

三、提高强化学习样本效率的Transformer模型IRIS

排名的第三的项目是一个为了提高强化学习代理学习效率的Transformer模型（IRIS，Imagination with auto-Regression over an Inner Speech）。强化学习模型严重依赖样本的时长，或者说代理与环境的交互过程。但是这个数据并不是很容易获取。于是，很多研究开始尝试提高样本的效率。这个研究则从一个很好的角度，将动态学习视为一个序列建模问题，其中自动编码器构建一种图像标记语言，而Transformer则随着时间的推移编写该语言。从结果看，在Atari 100k基准测试中，IRIS通过最少的调整和截然不同的架构，在采样效率高的RL方面胜过一系列最新方法，九月项目Star数量398。

GitHub地址：https://github.com/eloialonso/iris
论文快讯地址：未跟踪到
论文地址：https://arxiv.org/abs/2209.00588v1
项目实时Star数量：

四、小样本学习利器——HuggingFace最新开源模型SetFit

少量标记的学习（Few-shot learning）是一种在较少标注数据集中进行模型训练的一种学习方法。为了解决大量标注数据难以获取的情况，利用预训练模型，在少量标记的数据中进行微调是一种新的帮助我们进行模型训练的方法。Hugging Face发布的语句transformers（Sentence Transformers）框架，可以针对少量标记数据进行模型微调以获取很好的效果。九月项目Star数量367排名第四。

GitHub地址：https://github.com/huggingface/setfit
论文快讯地址：https://www.datalearner.com/ai-resources/ai-paper-news/1051664291825134
论文地址：https://arxiv.org/abs/2209.11055v1
项目实时Star数量：

五、基于深度学习解决非凸优化问题

这项研究其实从题目就知道，主要回答如下三个问题：

1. 为什么SGD在高维非凸深度学习损失景观的优化中蓬勃发展，但是在其他非凸优化环境中（如政策学习、轨迹优化和推荐系统）的鲁棒性明显较低？
2. 所有的局部最小值在哪里？当在初始化和最终训练权重之间进行线性插值时，为什么损失会平稳、单调地减少？
3. 两个具有不同随机初始化和数据批处理顺序的独立训练模型如何不可避免地实现几乎相同的性能？此外，为什么他们的培训损失曲线看起来相同？

GitHub地址：https://github.com/samuela/git-re-basin
论文快讯地址：未跟踪到
论文地址：https://arxiv.org/abs/2209.04836v1
项目实时Star数量：

六、腾讯王者荣耀AI开放环境

这是腾讯提出的基于《王者荣耀》的强化学习环境。这个研究描述了《王者荣耀》域的观察、动作和奖励规范，并提供了一个基于Python的开源接口，用于与游戏引擎通信。研究为二十位目标英雄提供了国王竞技场的各种任务，并提供了具有可行计算资源的基于RL的方法的初始基线结果。九月项目Star数量228。

GitHub地址：https://github.com/tencent-ailab/hok_env
论文快讯地址：未跟踪到
论文地址：https://arxiv.org/abs/2209.08483v1
项目实时Star数量：

七、零样本生成HDR全景图——为3D渲染而生的模型Text2Light

高质量HDRI（高动态范围图像），通常是HDR全景，是在图形中创建真实照片级照明和3D场景360度反射的最流行方法之一。考虑到捕获HDRI的困难，非常需要一个通用且可控的生成模型，在该模型中，外行用户可以直观地控制生成过程。然而，现有的最先进的方法仍然难以为复杂场景合成高质量的全景图。这项研究提出了一个零样本（zero-shot）文本驱动框架Text2Light，用于生成4K+分辨率的HDRI，而无需成对的训练数据。给定一个自由形式的文本作为场景的描述，通过两个专用步骤合成相应的HDRI：1）低动态范围（LDR）和低分辨率的文本驱动全景图生成，以及2）超分辨率反调映射，以在分辨率和动态范围内放大LDR全景图。

GitHub地址：https://github.com/frozenburning/text2light
论文快讯地址：未跟踪到
论文地址：https://arxiv.org/abs/2209.09898v1
项目实时Star数量：

八、会讲故事的Text-to-Image模型

Text-to-Image的能力大家有目共睹。然而，这些模型并不适合像故事可视化这样的专门任务，它要求代理产生一连串的图像，并给出相应的标题序列，形成一个叙述。这个研究首先提出了故事延续的任务，即生成的视觉故事以源图像为条件，允许对有新人物的叙述进行更好的概括。然后，我们增强或 “改装 “预训练的文本-图像合成模型，使其具有特定的任务模块，用于（a）连续的图像生成和（b）从初始帧中复制相关元素。

GitHub地址：https://github.com/adymaharana/storydalle
论文快讯地址：未跟踪到
论文地址：https://arxiv.org/abs/2209.06192v1
项目实时Star数量：

九、全球首个中文科学文献数据集CSL发布

科学文献是一个高质量的语料库，支持大量的自然语言处理（NLP）研究。然而，现有的数据集是以英语为中心的，这限制了中文科学NLP的发展。中国地质大学联合深圳大学和腾讯AI实验室联合发布了中文科学文献数据集， 包含 2010-2020 年发表的期刊论文元信息（标题、摘要和关键词）。根据中文核心期刊目录进行筛选， 并标注学科和门类标签，分为 13 个门类（一级标签）和 67 个学科（二级标签）。 数据总量为 396,209 条。

GitHub地址：https://github.com/ydli-ai/csl
论文快讯地址：https://www.datalearner.com/ai-resources/ai-paper-news/1051664723460288
论文地址：https://arxiv.org/abs/2209.05034v1
项目实时Star数量：

十、用于人类运动领域的无分类扩散的生成模型MDM

扩散模型由于其多对多的性质，在其他领域已经显示出了显著的生成能力，是人类运动的有希望的候选者，但它们往往是资源匮乏且难以控制。MDM（Motion Diffusion Model）是基于变换器的，结合了运动生成文献的见解。MDM是一种通用的方法，可以实现不同的调节模式和不同的生成任务。我们表明，我们的模型是用轻型资源训练的，但在文本到运动和动作到运动的主要基准上取得了最先进的结果。

GitHub地址：https://github.com/guytevet/motion-diffusion-model
论文快讯地址：未跟踪到
论文地址：https://arxiv.org/abs/2209.14916v1
项目实时Star数量：