重构中的技术决策

本文档列举出重构过程中需要决定的若干问题。

哪些是我们比较的框架？

Tensorflow，MXNet，Caffe2，PyTorch，DyNet

OP实现相关

基于Layer还是基于OP实现神经网络框架?

传入OP的参数是什么样的?

OP中是否需要backward操作？

多显卡实现

如何实现参数聚合和分发，NCCL 或自己实现？

@qijun

用户如何使用多显卡优化神经网络？

多显卡操作如何在框架内部表示？

OP注册机制

使用何种数据结构注册OP? Protobuf Or C++ Class?

@yuyang

是否需要元信息？以何种手段注册元信息？

@yuyang

如何检查参数合法性？

@yuyang

如何设置参数默认值？

@yuyang

网络配置相关

是否支持动态网络？如何支持？

PaddlePaddle Cloud

如何与PaddlePaddle Cloud整合

资源管理相关

是否实现一个自己的Tensor库，还是使用第三方？

如何管理特定设备的资源，以及如何使用特定设备上的第三方库(nnpack，neon等)