Kaggle 这类深度学习打榜网站上多模型刷分一般是怎么刷的？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

For Existing Member Sign In

推荐学习书目

› Learn Python the Hard Way

Python Sites

› PyPI - Python Package Index

› http://diveintopython.org/toc/index.html

› Pocoo

值得关注的项目

› PyPy

› Celery

› Jinja2

› Read the Docs

› gevent

› pyenv

› virtualenv

› Stackless Python

› Beautiful Soup

› 结巴中文分词

› Green Unicorn

› Sentry

› Shovel

› Pyflakes

› pytest

Python 编程

› pep8 Checker

Styles

› PEP 8

› Google Python Style Guide

› Code Style from The Hitchhiker's Guide

This topic created in 825 days ago, the information mentioned may be changed or developed.

如题。工作有需要结合多模型效果来提点，但是不会搞。

以前有印象听说过 Kaggle 榜单前几名一般都是做好几个模型然后共通决策来刷分的，具体是如何操作的呢？

我刚才搜了搜特征融合这个关键字，不过感觉内容不太对得上，感觉特征融合这个领域考虑得比较多的是如何将一个单独模型内部不同层级的特征融合起来（而且找了几个项目代码看，好像最后说到底融合也就是直接加）

目前一个想法是，ABC 模型，提取特征后各自得到 A1B1C1 三个矩阵，然后直接把矩阵 concat ，再加位置编码，然后加注意力，然后 FC 这样？是不是太简单了

模型

kaggle

特征

融合

8 replies • 2024-01-24 09:55:40 +08:00

emonber

Jan 23, 2024

可以了解下 model ensemble

bybyte

Jan 23, 2024

集成学习了解一下

dayeye2006199

Jan 23, 2024 via Android

最简单的就是单独做三个模型。然后三个模型多数投票，两个以上判 positive 就 positive

Stacking 啥的业界基本用不到

LeeReamond

Jan 23, 2024 via Android

@bybyte 集成学习查了查基本都是机器学习的算法方面的东西，不太 DL

@dayeye2006199 回归任务呢，多模型取平均值感觉会导致性能下降而不是提升。。。

dayeye2006199

Jan 24, 2024 via Android

@LeeReamond 简单点就是取平均。复杂点可以加权平均

LeeReamond

Jan 24, 2024

@dayeye2006199 就没有点深度学习的方法吗。。Kaggle 不是很熟，高分源码能不能公开查看的？

opeth

Jan 24, 2024

Kaggle 算是机器学习打榜网站吧，深度学习只是其中一部分
这些比赛一般用的是 checkpoint ensemble
你最后说的那种想法，属于特征融合，要学习参数的，本质上相当于加大了网络容量，而且如果 ABC 模型的特征 domain 差距大的话，其实很难融合

dayeye2006199

Jan 24, 2024 via Android

@opeth 参考 moe 搞法