Skip to content

Commit

Permalink
修正一些描述错误
Browse files Browse the repository at this point in the history
  • Loading branch information
Wanwan1996 committed Oct 27, 2023
1 parent 18d2c11 commit a290795
Show file tree
Hide file tree
Showing 8 changed files with 12 additions and 16 deletions.
2 changes: 1 addition & 1 deletion source/reference/comparison/adaptive_avg_pool2d.rst
Original file line number Diff line number Diff line change
Expand Up @@ -52,7 +52,7 @@ AdaptiveAvgPool2d 差异对比
# 使用MegEngine的AdaptiveAvgPool2d
me_pool = megengine.module.AdaptiveAvgPool2d((32, 32))
me_output = me_pool(input_tensor2.astype(me.float32))
me_output = me_pool(input_tensor2.astype(megengine.float32))
# 使用PyTorch的AdaptiveAvgPool2d
torch_pool = torch.nn.AdaptiveAvgPool2d((32, 32))
Expand Down
2 changes: 1 addition & 1 deletion source/reference/comparison/adaptive_max_pool2d.rst
Original file line number Diff line number Diff line change
Expand Up @@ -59,7 +59,7 @@ return_indices 参数
# 使用MegEngine的AdaptiveMaxPool2d
me_pool = megengine.module.AdaptiveMaxPool2d((32, 32))
me_output = me_pool(input_tensor2.astype(me.float32))
me_output = me_pool(input_tensor2.astype(megengine.float32))
# 使用PyTorch的AdaptiveMaxPool2d
torch_pool = torch.nn.AdaptiveMaxPool2d((32, 32))
Expand Down
4 changes: 2 additions & 2 deletions source/reference/comparison/avg_pool2d.rst
Original file line number Diff line number Diff line change
Expand Up @@ -48,12 +48,12 @@ mode 参数

ceil_mode 参数
~~~~~~~~~~~~~~~
PyTorch 中有 ``ceil_mode`` 参数,MegEngine 无此参数,此参数通过计算公式达到便于控制 output 的尺寸,当输出后的图像大小不满足 output 输出为整数时,此参数可以不用 padding,用此参数向上或者向下取整。MegEngine 可以通过手动增加 padding 控制 output,如果输出不为整数,则默认自动向下自动取整
PyTorch 中有 ``ceil_mode`` 参数,MegEngine 无此参数,此参数通过计算公式达到便于控制 output 的尺寸,当输出后的图像大小不满足 output 输出为整数时,此参数可以不用 padding,用此参数向上或者向下取整。MegEngine 则通过手动增加 padding 控制 output,如果输出不为整数,则自动向下取整


divisor_override 参数
~~~~~~~~~~~~~~~~~~~~~~
PyTorch 中有 divisor_override 参数,MegEngine 无此参数,该参数的目的是可以控制求期望时的分母,将结果缩放/扩大,MenEgngine 可以通过 avg_pool2d 后面乘一个系数达到相同的效果
PyTorch 中有 divisor_override 参数,MegEngine 无此参数,该参数的目的是可以控制求期望时的分母,将结果缩放/扩大,MenEgngine 中 无此参数

.. code-block:: python
Expand Down
2 changes: 1 addition & 1 deletion source/reference/comparison/conv_transpose2d.rst
Original file line number Diff line number Diff line change
Expand Up @@ -61,7 +61,7 @@ PyTorch padding 可以是单个数字或元组,MegEngine padding 仅支持数

compute_mode 参数
~~~~~~~~~~~~~~~~~
MegEngine 中包含 ``compute_mode`` 参数,PyTorch 中无此参数,该参数用于指定计算模式,当设置 “default” 时, 不会对中间结果的精度有特殊要求。当设置 “float32” 时, “float32” 将被用作中间结果的累加器, 但是只有当输入和输出的 dtype 是 float16 时有效。
MegEngine 中包含 ``compute_mode`` 参数,PyTorch 中无此参数,该参数用于指定计算模式,当设置 “default” 时, 不会对中间结果的精度有特殊要求。当设置 “float32” 时, “float32” 将被用作中间结果的数据类型, 但是只有当输入和输出的 dtype 是 float16 时有效。

conv_mode 参数
~~~~~~~~~~~~~~~
Expand Down
2 changes: 1 addition & 1 deletion source/reference/comparison/dropout.rst
Original file line number Diff line number Diff line change
Expand Up @@ -41,5 +41,5 @@ MegEngine 中 ``drop_prob`` 参数对应 PyTorch 中的 ``p`` 参数,表示每

inplace
~~~~~~~~~~~~~
PyTorch 中 ``inplace`` 参数,表示在不更改变量的内存地址的情况下,直接修改变量的值,MegEngine 中无此参数,一般对网络训练结果影响不大。
PyTorch 中 ``inplace`` 参数,表示是否要原地操作,默认不开启,MegEngine 中无此参数,一般对网络训练结果影响不大。

4 changes: 2 additions & 2 deletions source/reference/comparison/embedding.rst
Original file line number Diff line number Diff line change
Expand Up @@ -51,7 +51,7 @@ Pad 差异对比

padding_idx
~~~~~~~~~~~~
PyTorch ``padding_idx`` 参数表示在此区间内的参数及对应的梯度将会以 0 进行填充,MegEngine 中暂不支持,需要设置为 None。
PyTorch ``padding_idx`` 参数表示在此区间内的参数及对应的梯度将会以 0 进行填充,MegEngine 中暂不支持,需要设置为 None,非 None 的情况会被 assert

max_norm
~~~~~~~~~~~~
Expand All @@ -71,7 +71,7 @@ PyTorch ``sparse`` 参数表示是否使用稀疏更新,MegEngine 无此参数

initial_weight
~~~~~~~~~~~~
MegEngine ``initial_weight`` 参数该模块的可学习权重,形状为(num_embeddings, embedding_dim) ,PyTorch 中无此参数。
MegEngine ``initial_weight`` 初始化该模块的可学习权重,形状为(num_embeddings, embedding_dim) ,PyTorch 中无此参数。

.. code-block::: python
Expand Down
10 changes: 3 additions & 7 deletions source/reference/comparison/instance_norm.rst
Original file line number Diff line number Diff line change
Expand Up @@ -39,24 +39,20 @@ InstanceNorm 差异对比
更多请查看 :py:class:`megengine.module.InstanceNorm`.


使用差异
--------
Pytorch 支持 Instance Normalization1d(对输入的最后一维算均值和方差),Instance Normalization2d,Instance Normalization3d(将输入的后三维(即除了batchsize维和channel维)合并在一起算均值和方差);MegEngine 仅提供对 2d 即 4 维输入数据(N,C,H,W)的支持。两者均要求输入输出的维度保持一致。

参数差异
--------

track_running_stats
~~~~~~~~~~~~~~~~~~~
Pytorch 中存在 ``track_running_stats`` 参数,当此参数为 True 时,在训练时会始终记录并更新(通过动量方法更新)全局的均值和方差,在测试时可以用这个均值和方差来归一化(可以理解为这个均值和方差是所有训练样本的均值和方差,是全局的,对整个样本集的统计信息的描述更加准确一些);当此参数为 False 时,不记录更新全局的均值和方差,如此的话,测试时用 batch 的测试数据本身的样本和方差来归一化。MegEngine 中无此参数。
Pytorch 中存在 ``track_running_stats`` 参数,当此参数为 True 时,在训练时会始终记录并更新(通过动量方法更新)全局的均值和方差,在测试时可以用这个均值和方差来归一化当前batch的输入(可以理解为这个均值和方差是所有训练样本的均值和方差,是全局的,对整个样本集的统计信息的描述更加准确一些);当此参数为 False 时,不记录更新全局的均值和方差,如此的话,测试时用 batch 的测试数据本身的样本和方差来归一化。MegEngine 中无此参数。

momentum
~~~~~~~~~~
Pytorch 中存在 ``momentum`` 参数,在 ``track_running_stats`` 为 True 时, ``momentum`` 是训练过程中对均值和方差进行动量更新的动量参数,在 ``track_running_stats`` 为 False 时, ``momentum`` 不起作用。MegEngine 中无此参数。
Pytorch 中存在 ``momentum`` 参数,在 ``track_running_stats`` 为 True 时, ``momentum`` 是训练过程中对均值和方差进行动量更新的超参参;在 ``track_running_stats`` 为 False 时, ``momentum`` 不起作用。MegEngine 中无此参数。



Pytorch 中的 ``num_features`` 对应 MegEngine 中的 ``num_channels``,表示通道数
Pytorch 中的 ``num_features`` 对应 MegEngine 中的 ``num_channels``,表示通道数

用法相似:
.. code-block:: python
Expand Down
2 changes: 1 addition & 1 deletion source/reference/comparison/leakyrelu.rst
Original file line number Diff line number Diff line change
Expand Up @@ -39,7 +39,7 @@ LeakyRelu 差异对比
inplace
~~~~~~~~~~~~

Pytorch 中的 inplace 参数表示在不更改变量的内存地址的情况下,直接修改变量的值,MegEngine 无此参数。
Pytorch 中的 inplace 参数表示是否要原地操作,默认不开启,MegEngine 无此参数。



Expand Down

0 comments on commit a290795

Please sign in to comment.