已阅： 17 颠

已阅： 61 前言最近太忙没时间细致的写，所以这篇讲的是思想，不是实际代码，大家意会一下。 因为GPU有限，这篇文章讲的有些东西只是我自己的观点，缺乏实验证明，欢迎大家批评指正。 今天题图在实验室用轨迹球画的，比较艺术一点。为什么要修改预训练权重shape？预训练能大幅提升精度是毋庸置疑的，但间断加载预训练权重有效吗？ 我试过一些网络结构的修改，这些都会使得预训练权重shape mismatch，其中最简单……

已阅： 19 比赛上因为太菜摆烂了一个兴智杯，还有一个挑战杯还没出结果 说起摆烂，上次因为太急摆烂的软件杯模型部署记录还没发，说是要等排实验室了再发，这实验室吧，还不如在宿舍打工，通勤麻烦，吃饭麻烦，睡觉麻烦，我要打工我七点就下床打工了，去实验室还得买早饭走个十几分钟然后把电脑放好，总之就是还不如不去实验室打工，不过好在身为小肝帝我七点就过去，一天刷个十四小时，几天就刷满了时长 挑战杯嘛，……

已阅： 21 摸鱼

已阅： 29

内容已加密，请输入密码以后查看

已阅： 160 错误代码RuntimeError: mixed dtype (CPU): expect input to have scalar type of BFloat16产生原因将 tensor 与 numpy array 做运算，并将 Layernorm 应用到其计算结果。解决方法将 numpy array 换为 tensor。