Nick's Tech Blog

It's hacking time.

千亿特征的离散DNN模型探秘(二):模型训练

上一篇中, 我们介绍了离散特征的构造, 同时, 根据是否包含id类特征, 我们介绍了termDNN和IdDNN两种DNN模型。 在这一篇中, 我们将对比这两种模型的区别, 并介绍模型训练和调优。 TermDNN和IdDNN的区别 如前所属, IdDNN和TermDNN最本质的区别是是否包含含有Cross Id的特征。 但由此延伸,二者产生了更多的区别。 首先, TermDNN是一个可以...

千亿特征的离散DNN模型探秘(一):特征构造

经过多年的发展, 离散DNN模型已经取代LR/NN/连续DNN等模型, 成为目前最主流, 也是规模最大的推荐模型, 是单一模型中, 预测效果最好的。其特征值可以达到千亿规模(百度凤巢), 在微软, 阿里等其他大厂也纷纷达到数百亿规模。而模型也可以达到几十甚至上百g大小,堪称是算法模型中的“重器”。 本文将从特征构造, 模型架构, 训练, 线上服务等多角度, 尽可能全面的梳理离散dnn模型的...

推荐系统与CTR预估,基于深度学习(二):FM系列模型串讲

这个系列介绍了在深度学习的大背景下, 推荐系统领域所发生的翻天覆地的变化。 从召回和排序模型串讲开始, 结合论文分析与工程实践, 并充分记录了作者在实际工作中所总结的各种经验总结。 欢迎转载, 转载请注明出处及链接。 为什么需要FM 在召回模型一文中, 我们已经介绍了推荐系统的整体工作流程。 具体到排序模型来看, 我们要解决的核心问题是, 将各个召回通道(如DSSM用户相关性召回, 热...

推荐系统与CTR预估, 基于深度学习(一):召回思路及模型串讲

这个系列介绍了在深度学习的大背景下, 推荐系统领域所发生的翻天覆地的变化。 从召回和排序模型串讲开始, 结合论文总结与工程实践, 并充分记录了作者在实际工作中所总结的各种经验总结。 欢迎转载, 转载请注明出处及链接。 基于深度学习的推荐系统基本架构 
一个推荐系统的架构其实并不复杂, 基本上就是召回, 排序, 规则三个部分。 召回模型负责根据用户和场景特征, 从众多的内容通道中抓取...

深度探索Deep_NLP及其Python实现(二):NLP常见指标小结

这个系列从最基础的word2vec开始, 从零开始实现深度网络在NLP领域的各类模型及其应用。 本系列要求读者对深度神经网络有基础的理解(如全连接网络, 卷积网络)等。 欢迎转载, 转载请注明出处及链接。 完整代码库请查看我的GithubRepo: https://github.com/nick6918/MyNLP .部分代码参考了Stanford CS224n 课程作业。 准召平衡 ...

深度探索Deep_NLP及其Python实现(一):word2Vec的原理及其实现

这个系列从最基础的word2vec开始, 从零开始实现深度网络在NLP领域的各类模型及其应用。 本系列要求读者对深度神经网络有基础的理解(如全连接网络, 卷积网络)等。 欢迎转载, 转载请注明出处及链接。 完整代码库请查看我的GithubRepo: https://github.com/nick6918/MyNLP .部分代码参考了Stanford CS224n 课程作业。 Befor...

机器学习算法原理及其Python实现(二):工业界的明珠——LR逻辑回归

这个系列从最基础的K邻近算法开始, 逐一介绍了机器学习(不含神经网络)的各个典型算法, 以及一些常用的工程技术(如Adaboost, PCA, SVD等), 并比较了各个算法的优劣和适用场景, 另外, 每个算法都配有一个mini project应用帮助理解。 这是本系列的第一篇, 主要介绍了K邻近, k决策树和朴素贝叶斯三种算法。 欢迎转载, 转载请注明出处及链接。 完整代码库请查看我的...

paddlepaddle深度学习实战(二):利用经典深层模型完成CIFAR-10分类任务

这个系列从应用paddlepaddle(以下简称paddle)搭建最基础的学习模型开始, 逐个实现各种常用的深度学习应用案例。本系列假设读者已经掌握了CNN卷积网络的Python实现系列的内容。此外, 本系列中的所有代码均基于python实现, 其他c++相关的实现及源码(包括分布式架构)可见下一系列, coming soon~ 欢迎转载, 转载请注明出处及链接。 部分案例及代码参考了百...

paddlepaddle深度学习实战(一):浅层模型的搭建

这个系列从应用paddlepaddle(以下简称paddle)搭建最基础的学习模型开始, 逐个实现各种常用的深度学习应用案例。本系列假设读者已经掌握了CNN卷积网络的Python实现系列的内容。此外, 本系列中的所有代码均基于python实现, 其他c++相关的实现及源码(包括分布式架构)可见下一系列, coming soon~ 欢迎转载, 转载请注明出处及链接。 部分案例及代码参考了百...

WGAN的原理及实现

欢迎转载, 转载请注明出处及链接。 完整代码库请查看我的GithubRepo: https://github.com/nick6918/MyDeepLearning .部分代码参考了Stanford CS231n 课程作业。 DCGAN的问题 传统的DCGAN,利用一个卷积网络来拟合指定类型图像的生成分布。在保证相当优秀的performance的基础上, DCGAN仍存在以下问题: ...