285 hw5

1. Offline RL: SAC+BC

回忆提纲

训练部分 Q loss 和 SAC 基本一样（不知为什么魔改了一点），而 actor loss 添加了 alpha * BC 损失. alpha 取值 3 ~ 1000 不等.