[SemiFlow 动手实现深度学习框架 00] 初步的计划

2020年3月24日 3353点热度 0人点赞 0条评论

SemiFlow

SemiFlow is a neural network framework for machine learning. I am going to implement a basic deep learning framework in about a month. I will record the experience at my blog in Chinese.

我已经使用Tensorflow和keras好些年, 并且最近完成了"Statistical machine learning", "Artificial intelligence","Natural computation for machine learning"三门课程。我对自己动手实现深度学习框架很感兴趣,并想通过实现深度学习框架来理解神经网络和它的实现。对我来说,这是不但一个挑战,而且还是一次学习的过程。

计划

我将在未来一个月实现以下目标:

In the first week,

  • forward propagation
  • backward propagation
  • gradient based method
  • ReLU
  • Sigmoid
  • Tensor support
  • Train MNIST

In the second week,

  • Auto differentiate
  • computational graph

In the third week,

  • Convolutional neural network
  • Pooling layer
  • Stochastic gradient descent

In the fourth week,

  • CUDA support

In the fifth week,

  • Examples and other docs

动手实现深度学习框架系列文章

记录解决问题后的经验、习得的技巧和更多的思考是一件很有意义的事情。我希望我能够坚持完成这一系列文章,和深度学习社区分享我的经验,获得建议。并且,我会参考Keras, Tensorflow, jittor 和 Pytorch的API与实现。学习这些框架的实现是很有意思的事情。我也会记录下这些内容。文章的篇数会随着这个项目进度的推进而增加。我目前不确定会有多少篇。所有文章可以在SemiFlow找到。

代码

代码将更新在Github,你可以找到最新代码。

Dong Wang

I will work as a PhD student of TU Graz in Austria. My research interests include Embedded/Edge AI, federated learning, computer vision, and IoT.

文章评论

此站点使用Akismet来减少垃圾评论。了解我们如何处理您的评论数据