Nick's Tech Blog

It's hacking time.

从Saliency Map到Gredient Ascent(基于TensorFlow实现)

欢迎转载, 转载请注明出处及链接。 完整代码库请查看我的GithubRepo: https://github.com/nick6918/MyDeepLearning .部分代码参考了Stanford CS231n 课程作业。 在训练模型时, 我们往往关注于Loss对各种模型的待估参数(W, b, gamma, beta等)的梯度, 从而优化这些参数以达到更好的训练效果。 在本文中, 我...

SqueezeNet理解及其TensorFlow实现

欢迎转载, 转载请注明出处及链接。 完整代码库请查看我的GithubRepo: https://github.com/nick6918/MyDeepLearning .部分代码参考了Stanford CS231n 课程作业。 背景 AlexNet在12年大幅提高了ImageNet识别的准确率, 但AlexNet最大的问题是参数多, 难于收敛和调优。 而SqueezeNet针对此问题, ...

深度学习应用问题的基本范式

欢迎转载, 转载请注明出处及链接。 我们可以总结出一个更泛化的深度学习应用模式, 这几乎涵盖了所有我们希望解决的问题, 不仅仅是我们现在已经遇到的这些问题, 还包括譬如 图像识别领域的RCNN, 非监督学习的GAN, 强化学习的DQN(Q-Learning)(这几个模型, 在之后的文章中都会总结到), 他们都遵循了如下的范式。 在深度学习中, 我们问题的出发点往往是训练出一个好的labe...

RNN, LSTM与ImageCaptioning原理及Python实现

与上一系列《CNN卷积网络的Python实现》一致, 这一篇中, 我们将用pure python/Numpy实现RNN, LSTM, 并基于Microsoft COCO dataset实现ImageCaptioning. 欢迎转载, 转载请注明出处及链接。 完整代码库请查看我的GithubRepo: https://github.com/nick6918/MyDeepLearning ....

CNN卷积网络的Python实现(五):卷积网络实现

这个系列从最基础的全连接网络开始, 从零开始实现包含CNN, RNN等在内的深度网络模型。本文是该系列的第五篇, 介绍卷积网络的实现。 欢迎转载, 转载请注明出处及链接。 完整代码库请查看我的GithubRepo: https://github.com/nick6918/MyDeepLearning .部分代码参考了Stanford CS231n 课程作业。 常见的卷积网路如图所示 ...

CNN卷积网络的Python实现(四):池化和BN层的实现

这个系列从最基础的全连接网络开始, 从零开始实现包含CNN, RNN等在内的深度网络模型。本文是该系列的第四篇, 在前文实现的FCN和CNN卷积层的基础上, 实现卷积层后常用的spatial BN层和 池化层。 欢迎转载, 转载请注明出处及链接。 完整代码库请查看我的GithubRepo: https://github.com/nick6918/MyDeepLearning .部分代码参...

CNN卷积网络的Python实现(三):卷积网络实现

这个系列从最基础的全连接网络开始, 从零开始实现包含CNN, RNN等在内的深度网络模型。本文是该系列的第三篇, 在简要说明为什么要引入卷积网络之后, 利用Numpy 实现了naive版本的卷积网络的forward pass核backward pass, 并介绍了快速卷积网络的实现。 欢迎转载, 转载请注明出处及链接。 完整代码库请查看我的GithubRepo: https://gith...

CNN卷积网络的Python实现(二):Regularization正则化实现

这个系列从最基础的全连接网络开始, 从零开始实现包含CNN, RNN等在内的深度网络模型。本文是该系列的第二篇, 介绍正则化的原理及实现。 欢迎转载, 转载请注明出处及链接。 完整代码库请查看我的GithubRepo: https://github.com/nick6918/MyDeepLearning. 部分代码参考了Stanford CS231n 课程作业。 Regularizat...

CNN卷积网络的Python实现(一):FCN全连接网络

这个系列从最基础的全连接网络开始, 从零开始实现包含CNN, RNN等在内的深度网络模型。本文是该系列的第一篇, 介绍全连接网络的实现。 欢迎转载, 转载请注明出处及链接。 完整代码库请查看我的GithubRepo: https://github.com/nick6918/MyDeepLearning .部分代码参考了Stanford CS231n 课程作业。 为什么要使用神经网络模型...

机器学习算法原理及其Python实现(一):KNN,决策树与朴素贝叶斯

这个系列从最基础的K邻近算法开始, 逐一介绍了机器学习(不含神经网络)的各个典型算法, 以及一些常用的工程技术(如Adaboost, PCA, SVD等), 并比较了各个算法的优劣和适用场景, 另外, 每个算法都配有一个mini project应用帮助理解。 这是本系列的第一篇, 主要介绍了K邻近, k决策树和朴素贝叶斯三种算法。 欢迎转载, 转载请注明出处及链接。 完整代码库请查看我的...