HWD Prefetch Study

基于SiFive Inclusive Cache的硬件数据预取综合研究

项目内容

• 阅读Chipyard源码，写了Chipyard代码导读
• 阅读约100篇硬件数据预取相关论文，写了硬件数据预取论文阅读
• 在SiFive Inclusive Cache上实现了通用的预取框架，并且提供可以运行时配置的MMIO接口和性能计数器
• 正确实现了3个经典的预取器：Next-Line，BOP，SPP
• 使用SPEC2006进行性能评测，并分析了预取的准确率、覆盖率、及时性等指标

使用方法

版本说明

• 本项目需要Chipyard版本为1.5.0的Docker镜像，您可以在进入Chipyard容器后运行如下命令确认Chipyard的版本

  $ cd /root/chipyard
  $ git describe --tags
  # 1.5.0

增加访存延迟

由于FPGA的核心频率较低（50MHz），甚至低于DDR3内存（800MHz），导致访存周期数偏小，与真实处理器不符；为此我写了一个位于System Bus和L2 Cache之间的小模块，通过一个大小为8的buffer和一个宽度为100的shift register高效地实现了100个周期的延迟。

• 见Makefile，把BankedL2Params.scala映射到Chipyard镜像的

  /root/chipyard/generators/rocket-chip/src/main/scala/subsystem/BankedL2Params.scala
  

• 不需要改其他地方，然后make就可以了

使用带预取功能的L2

• 先把整个仓库完整clone下来

  $ cd l2proj
  $ git submodule update --init --recursive

• 见Makefile，把sifive-cache/design映射到Chipyard镜像的

  /root/chipyard/generators/sifive-cache/design
  

• 不需要改其他地方，然后make就可以了

在Verilator裸金属环境测试

我提供了一些简单的C程序（均以_bm.c结尾），用于测试Next-Line、BOP和SPP预取器以及L2性能计数器的API。

• 编译，需进入Chipyard容器

  $ BM=/root/chipyard/software/coremark/riscv-coremark/riscv64-baremetal
  $ CFLAGS="-Os -mcmodel=medany -nostdlib -nostartfiles -T$BM/link.ld $BM/syscalls.c $BM/crt.S"
  $ riscv64-unknown-elf-gcc $CFLAGS -o test_seq_bm test_seq_bm.c
  $ riscv64-unknown-elf-gcc $CFLAGS -o test_step_bm test_step_bm.c
  $ riscv64-unknown-elf-gcc $CFLAGS -o perm_step_bm perm_step_bm.c
  $ riscv64-unknown-elf-gcc $CFLAGS -o test_matmul_bm test_matmul_bm.c

• 运行，需退出容器

  $ build/simulator-chipyard-MediumBoomConfig hwd-prefetch-study/example/test_seq_bm
  # cycle: 124898
  # train    : 176
  # trainHit : 1
  # trainMiss: 174
  # trainLate: 0
  # pred     : 0
  # predGrant: 0
  
  $ build/simulator-chipyard-MediumBoomConfig hwd-prefetch-study/example/test_step_bm
  # begin
  # -------------------
  # dummy work (best)  : 44228
  # no prefetch (worst): 140663
  # hand prefetch +0   : 148231
  # hand prefetch +1   : 104518
  # hand prefetch +2   : 103848
  # ...
  
  $ build/simulator-chipyard-MediumBoomConfig hwd-prefetch-study/example/perm_step_bm
  # begin
  # --------------------
  # prefetch.sel: 0
  # cycle: 103220
  # trains   : 415
  # trainHit : 12
  # trainMiss: 402
  # ...
  
  $ build/simulator-chipyard-MediumBoomConfig hwd-prefetch-study/example/test_matmul_bm
  # begin
  # cycle: 1821076
  # trains   : 18249
  # trainHit : 17477
  # trainMiss: 185
  # trainLate: 101
  # preds    : 6047
  # predGrant: 584

测试访存延迟

我提供了一个简单的随机访存的C程序，用于探究数组大小与平均访存延迟的关系；它会输出数组大小和总访存周期，你可以用Python脚本分析结果。

• 编译

  $ riscv64-unknown-linux-gnu-gcc -Os -o test_latency example/test_latency.c

• 在FGPA上运行

  $ ./test_latency
  # begin
  # {"loop":625000,"n":1024,"cycle":35176796}
  # {"loop":500000,"n":1280,"cycle":53220544}
  # {"loop":416666,"n":1536,"cycle":35102682}
  # ...

L2CTL

我的预取器提供了直接内存控制（MMIO）接口，即可以通过修改某处物理内存的内容来选择预取器和设置参数。我提供了一个使用这个接口的C程序，它通过映射操作系统的/dev/mem文件访问物理内存，因此需要root权限。

• 编译

  $ riscv64-unknown-linux-gnu-gcc -Os -o l2ctl example/l2ctl.c

• 在FGPA上运行，请使用root或sudo

  $ l2ctl on        # 开启L2预取
  # prefetch on
  $ l2ctl off       # 关闭L2预取
  # prefetch off
  $ l2ctl config    # 查看L2配置
  # banks     : 1
  # ways      : 8
  # sets      : 1024
  # blockBytes: 64
  $ l2ctl status    # 查看L2预取性能性能计数器
  # prefetch  : off
  # trains    : 1823464953
  # trainHits : 468795141
  # preds     : 1148053842
  # predGrants: 743084171

实现原理

预取框架部分

此处为缩略图，详见Chipyard代码导读第7.3节

预取器部分

此处为缩略图，详见2022年秋季学期工作进展-硬件数据预取第3章

论文对比部分

此处为缩略图，详见硬件数据预取论文阅读

实验结果

加速比

准确率

覆盖率

及时性

结论

• 预取可以真实提升处理器的性能
• 对访存序列的有效建模是取得良好结果的前提
  • 所谓建模，就是对访存序列的潜在规律的认识
  • BOP和SPP的建模更加合理和周全，故效果比朴素的Next-Line好
• 现有预取器在Coverage上还有很大提高空间
  • 3个预取器的Coverage都是50%左右，即还有一半的miss没有被覆盖
  • 虽说Accuracy和Timeliness也很重要，但是Coverage是可预测性的关键