Nv16研发网络升级清单

[Fatman13]

进度追踪

升级进度在issue中追踪。

venus network 网络升级流程清单

此清单以以本次nv16升级作为模板编写

概述

venus跟进filecoin网络升级,是一个持续的过程, 本清filecoin网络升级拆分为以下几个阶段

• 准备阶段 (暂且定义为:官方发布网络升级公告时间后2个星期之内)
• 测试网升级阶段
• 主网升级阶段

按不同的阶段列出了必须完成的检查事项.

准备清单

准备以下资料, 并在升级清单中填写..

• 确认本次升级将引入网络的重大特性 [optional]
  • FIP0027 - Change type of DealProposal label field from string to byte array (FIP Draft)(Discussion)
  • FIP0030 - Introducing the Filecoin Virtual Machine (FIP Draft)(Discussion)
  • FIP0031 - Atomic switch to non-programmable FVM (FIP Draft)[(Discussion)(https://github.com/Atomically switching the execution layer to a non-programmable FVM FIPs#296)
  • FIP0032 - Gas model adjustment for non-programmable FVM (FIP Draft)(Discussion)
• 确认本次网络lotus的时间线
  • tpm discussion
  • lotus discussion
• 确认本次升级venus的时间线
  • 时间线 venus disscussion
  • 各组件的 tag，tag规则参考
• 确认升级组件分支及版本号。nv16版本编号
  • 准RC版本 vX.Y.Z-pre-rcX；迭代分支: prep/vX.Y.Z-rcX；
  • RC版本 vX.Y.Z-rcX；迭代分支：prep/vX.Y.Z-rcX；（与pre-rc迭代分支相同）
  • 正式版本 vX.Y.Z；迭代分支：release/vX.Y.Z；
  • rc版本原则上lotus发一版，venus也跟进发一版。尽量保证功能稳定的情况下，跟上lotus的进度。特别是网络支持版本，例 butterfly支持，到calib支持的版本
• 在测试环境中启动测试节点
  • 192.168.1.125
• 确认Lotus升级代码冻结点（code freeze），关注#fil-lotus-announcement。
  nv16 代码冻结消息相关消息
  • FVM M1 development freeze sprint for nv16 is scheduled for early next week
  • development freeze
• 梳理Lotus的PR,确认需要合并pr.专人跟进合并Lotus升级PR, 保持和Lotus进度的同步.有疑难问题及时团队内部同步
• 组件依赖关系, 升级顺序. 每个组件重大变别表整理[api变化, 数据库结构变化, 配置文件, 命令行参数, 环境变量]
  • 每个组件单独列

各组件主要改变

• venus-auth
• venus
• chain-co
• venus-wallet
• venus-miner
• venus-gateway
• venus-messager
• venus-market
• venus-sealer
• venus-cluster

Venus测试节点升级常规检查项

在每个阶段都需要持续追踪最新代码变化, 并将变化引入到venus的测试节点进行测试,
所以, 每次升级测试节点, 需要检查以下几项:

• 网络升级参数是否正确(比如:升级高度)
• 检查证明参数是否正确
• 检查配置升级函数, 用于自动补充config.json文件中网络升级高度，在 pkg/migration/migrate.go
• 更新venus-devtool模块, lotus版本，执行api对比命令、actors生成命令和 make inline-gen
• venus节点网络同步是否正常
• 测试本次网络升级引入的新特性是否工作正常(如果可测..)
• Lotus测试项目，参考，Venus测试模版
• venus master测试反馈

测试网升级前确保

此阶段除了需要对确认常规检查项之外, 还应该检查/确保以下内容:

• 各组件代码中的:buildversion是否正确, 参考文档:开源流程迭代
• 各组件仓库的tag是否按发布规则, 参考文档:开源流程迭代
• 算力增长维持正常, 出块功能正常

主网升级前确保

在主网升级时除了需要再次确保测试网络升级阶段的所有检查项

• 进行一次模拟升级, 设置lotus和venus 升级高度为模拟高度, 比较分叉高度state root是否相等.
• 使用API检查工具, 检查API返回数据是否一致.
• 在确认各组件的发布版本和tag之后, 完成一次venus集群的集成测试, 主要确认各组件之间的兼容性.

[zl03jsj]

把各组件的重大变化放到后面的comments中, 每个组件一个comment,
然后通过连接的形式来导航, 是不是会让清单看起来清晰一些?

因为这个组件的变化实在是繁琐, 导致看这个清单都很费劲了.

@Fatman13 @simlecode

[simlecode]

放到下面了

[simlecode]

venus-auth 变更

重点变化

1. 多token @zl03jsj

2. token 和 user 支持软删除，命令行相应增加删除和恢复命令。

接口

1. 删除用户：DeleteUser，恢复用户：RecoverUser，恢复token：RecoverToken
2. 获取单个token信息：GetToken

命令行

1. 增加查询token信息：./venus-auth token get --name or --token
2. 删除用户：./venus-auth user rm <name>，
3. 恢复用户和token命令：./venus-auth user recover <name> 和 ./venus-auth token recover <name>

[simlecode]

venus 变更

分支

prep/v1.6.0-rc2

新增网络

1. interopnet，支持 2k、8M和512M

重点变化

1. 引入 fvm
2. 把 vm 中 ApplyTipSetMessages 函数的实现迁移到 consensus/processor.go，方便切换 fvm 和 vm。
3. 加载 v8 builtin actors。
4. actor 升级相关代码（fork)
5. 使用 go:embed 来加载证明参数、car文件，移除原来 go-bindata 的方式

接口

重点关注：StateMinerInfo 接口变化

1. 增加获取网络参数接口：StateGetNetworkParams
2. StateMarketDeals 接口调整返回值结构：由 map[string]types.MarketDeal 改为 map[string]*types.MarketDeal
3. StateMinerInfo 接口调整返回值结构：原：MinerInfo，现 MinerInfo
4. 增加 ping peer 接口：NetworkPing
5. StateSectorPartition 和 StateSectorExpiration 返回值使用 go-state-types 包中类型。
6. v1版本 BeaconGetEntry 改为 StateGetBeaconEntry
7. v1版本 PaychGet 增加一个入参 PaychGetOpts

依赖

1. SectorPreCommitOnChainInfo SectorOnChainInfo SectorPreCommitInfo 从 venus/venus-shared/actors/builtin/miner 迁移到 go-state-types/builtin/v8/miner
2. SignedVoucher 从 venus/venus-shared/actors/builtin/paych 迁移到 go-state-types/builtin/v8/paych
3. DealProposal ClientDealProposal 从 venus/venus-shared/actors/builtin/market 迁移到 go-state-types/builtin/v8/market

命令行

1. 增加 ping peer 命令行：./venus swarm ping
2. 根据不同网络版本获取 actor cid：./venus state actor-cids --network-version=<network-version>
3. 从 car 文件获取 manifest CID：./venus cid manifest-cid-from-car <path>

环境变量

1. VENUS_USE_FVM_TO_SYNC_MAINNET_V15：在nv15 时使用 fvm 同步主网，在启动节点前，设置 export VENUS_USE_FVM_EXPERIMENTAL=1
2. VENUS_DISABLE_SKYR 可以控制是否升级nv16，当 VENUS_DISABLE_SKYR=1时 nv16升级高度为 99999999999999，也就是说不执行升级
3. VENUS_VM_ENABLE_TRACING=1 时可以获得 fvm gas相关的trace

[diwufeiwen]

下载证明参数文件实现有变化，其他组件用到的也需要改

[simlecode]

改了

[simlecode]

chain-co 变更

接口

1. StateMinerInfo 调整返回值结构。
2. BeaconGetEntry 改为 StateGetBeaconEntry
3. StateMarketDeals 接口调整返回值结构：由 map[string]types.MarketDeal 改为 map[string]*types.MarketDeal

[simlecode]

venus-miner 变更

新增网络

1. 增加对 interopnet 网络支持

@zl03jsj 有无需要补充的

[zl03jsj]

暂时没.

[simlecode]

auth 改了一个版本，miner的使用是否有变化

[simlecode]

venus-messager 变更

重点变化

1. 增加 ~/.venus-messager 用于保存配置等文件信息。
   • 增加 flag --repo，用于设置 repo 位置，默认是 ~/.venus-messager
   • 启动时会自动把配置文件，tipset.json 复制到 ~/.venus-messager
   • 如果数据库使用的是 sqlite，也会自动把 sqlite 数据的文件复制到 ~/.venus-messager中。
2. 需要加载 v8 builtin actors。

[simlecode]

venus-gateway 变更

[simlecode]

venus-market 变更

重点变化

1. 需要加载 v8 builtin actors
2. 支持多个piece store

[[PieceStorage.S3]]
ReadOnly  = false
EndPoint  = "https://oss-cn-wulanchabu.aliyuncs.com/venus-market-test2"
AccessKey = "LTAI5t8fDTvLw8B5jTbxmYPx"
SecretKey = "D5UiBWMn2a51EmjThfeuDKZoi8ZNlI"

[[PieceStorage.Fs]]
    ReadOnly = false
    Path = "/storage-nfs-2/test-venus/"

3. 启动命令中移除了piecestorage flag指令

[simlecode]

venus-sealer 变更

新增网络

1. 增加对 interopnet 网络支持

重点变化

1. 需要加载 v8 builtin actors
2. 一些bug修复，逐一列出内容过多

api

1. StateMinerInfo 接口变化与 venus 一致

命令行

[simlecode]

venus-wallet 变更

[Fatman13]

venus-cluster 变更

需要使用 SetNetworkBundle 函数来加载 v8 actors

ipfs-force-community/damocles#149

[simlecode]

v8 builtin actors

使用者无需关心如何加载 v8 actors，程序启动时会自动完成该操作

生成 v8 actors

当 v8.tar.zst 内容有变更时，需使用 make bundle-gen 来生成 v8 actors，生成的actors保存在 venus-shared/builtin-actors/builtin_actors_gen.go

其它组件使用

其它组件可以使用 SetNetworkBundle 函数来选择不同网络 v8 actors

[simlecode]

venus 版本发布顺序

如果组件依赖别的组件，需要先发布依赖组件。

发布流程

• 更新依赖的venus组件的版本
• 修改自身的版本号
• 发布 tag

组件名	需要更新的依赖	修改版本号
venus-auth	无	core/const.go
venus	venus-auth	pkg/constants/version.go
chain-co	venus-auth	version/version.go
venus-wallet	venus	version/version.go
venus-miner	venus	build/version.go
venus-gateway	venus-auth venus	version/version.go
venus-messager	venus-auth venus venus-gateway	version/version.go
venus-market	venus-auth venus venus-gateway venus-messager	version/version.go
venus-sealer	venus venus-market	constants/version.go

venus 各组件依赖情况

该依赖情况主要依赖venus组件的情况

组件名	依赖组件
venus-auth	无
venus	venus-auth
chain-co	venus-auth
venus-wallet	venus
venus-miner	venus
venus-gateway	venus-auth venus
venus-messager	venus-auth venus venus-gateway
venus-market	venus-auth venus venus-gateway venus-messager
venus-sealer	venus venus-market

各组件发布顺序

根据组件的依赖情况可以总结出下面的发布顺序，优先级依次降低，同层无优先级。

• venus-auth
• venus chain-co
• venus-wallet venus-miner venus-gateway
• venus-messager
• venus-market
• venus-sealer