作者：Papers with Code

Papers with Code网站近期索引了各种机器学习组件——论文、代码、结果——以促进发现和比较。使用这些数据，大家可以了解 ML 社区今年认为有用和有趣的东西。 下面作者在 Papers with Code 上总结了 2021 年最热门的论文、代码和数据集。

 

2021 年热门论文

作者查看了几个指标，包括具有代码页面浏览量的论文、GitHub 星标和社交反应。 作者发现社交媒体的反应产生了最有趣和最多样化的论文和主题列表，所以作者在下面分享这个列表。

ADOP 是社交媒体上最受关注的论文——强烈的反应在第四季度通过 VR 和元宇宙击中了时代精神。 更一般地说，该列表突出了机器学习的广泛进展——从新的自监督学习方法到新的多模态架构，在训练大型模型时节省内存的新方法等等。

ADOP: 近似可微单像素点渲染— Rückert et al 

 https://paperswithcode.com/paper/adop-approximate-differentiable-one-pixel

贝叶斯学习规则 —Khan et al

 https://paperswithcode.com/paper/the-bayesian-learning-rule

使用大型语言模型进行程序合成 — Austin et al

 https://paperswithcode.com/paper/program-synthesis-with-large-language-models

Masked Autoencoders 是可扩展的视觉学习者 — He et al 

https://paperswithcode.com/paper/masked-autoencoders-are-scalable-vision

通过逐块量化的 8 位优化器 — Dettmers et al 

https://paperswithcode.com/paper/8-bit-optimizers-via-block-wise-quantization

重温 ResNets：改进训练和扩展策略— Bello et al 

https://paperswithcode.com/paper/revisiting-resnets-improved-training-and

通过迭代细化的图像超分辨率— Saharia et al 

https://paperswithcode.com/paper/image-super-resolution-via-iterative

Perceiver IO：结构化输入和输出的通用架构 — Jaegle et al

 https://paperswithcode.com/paper/perceiver-io-a-general-architecture-for

Vision Transformers 像卷积神经网络观察吗？ — Raghu et al

 https://paperswithcode.com/paper/do-vision-transformers-see-like-convolutional

隐式 MLE：通过离散指数族分布进行反向传播 — Niepert et al 

https://paperswithcode.com/paper/implicit-mle-backpropagating-through-discrete

 

2021 年热门代码库

作者查看了出站链接流量：即 Papers with Code 中访问量最大的代码库是什么？2021年 TIMM（PyTorch 图像模型）是 Papers with Code 的热门库。 这反映了库的持续增长及其实现的数量，以及库作为框架使用和扩展最新视觉架构的增加。

 

1. PyTorch Image Models — Ross Wightman — https://github.com/rwightman/pytorch-image-models

2. Transformers — Hugging Face — https://github.com/huggingface/transformers

3. PyTorch-GAN — Erik Linder-Norén — https://github.com/eriklindernoren/PyTorch-GAN

4. MMDetection — OpenMMLab — https://github.com/open-mmlab/mmdetection

5. Darknet — AlexeyAB — https://github.com/AlexeyAB/darknet

6. Vision Transformer PyTorch — lucidrains — https://github.com/lucidrains/vit-pytorch

7. InsightFace — DeepInsight — https://github.com/deepinsight/insightface

8. Detectron2 — Meta AI — https://github.com/facebookresearch/detectron2

9. PaddleOCR — PaddlePaddle — https://github.com/PaddlePaddle/PaddleOCR

10. FairSeq — Meta AI — https://github.com/pytorch/fairseq

 

2021 年热门数据集

作者今年推出的旗舰功能之一是数据集索引，它使作者能够跟踪社区中数据集的使用和演变。 作者在 Papers with Code 上查看了 2021 年观看次数最多的新数据集。

MATH 是 Papers with Code 上观看次数最多的新数据集。 这反映了针对 Transformer 解决数学问题的研究的增长，以及 Transformer 在这些类型的任务上与其他任务相比的性能差距。 MATH 是作者关注 2022 年的基准。

  1. MATH — Hendrycks et al https://paperswithcode.com/dataset/math
  2. UAV-Human — Li et al https://paperswithcode.com/dataset/uav-human
  3. UPFD (用户偏好感知假新闻检测) — Dou et al https://paperswithcode.com/dataset/upfd
  4. OGB-LSC (OGB大规模挑战) — Hu et al https://paperswithcode.com/dataset/ogb-lsc
  5. CodeXGLUE —Lu et al https://paperswithcode.com/dataset/codexglue
  6. AGORA — Patel et al https://paperswithcode.com/dataset/agora
  7. BEIR (IR性能测量) — Thakur et al https://paperswithcode.com/dataset/beir
  8. WikiGraphs — Wang et al https://paperswithcode.com/dataset/wikigraphs
  9. Few-NERD — Ding et al https://paperswithcode.com/dataset/few-nerd
  10. PASS (无人的自监督图片) —Asano et al https://paperswithcode.com/dataset/pass

参考

https://medium.com/paperswithcode/papers-with-code-2021-a-year-in-review-de75d5a77b8b

 

内容中包含的图片若涉及版权问题，请及时与我们联系删除