Pytorch使用记录（一）

记录最近用PyTorch的问题及解决。

这篇的最后一点是四月十九号写的，一直懒得发，估计又要开新坑了，所以把老的记录先发一下

1. CUDA指定显卡时报错

• CUDA指定显卡时报错及解决-RuntimeError: Expected tensor for argument #1 ‘input’ to have the same device as tensor for argument #2 ‘weight’; but device 0 does not equal 1 (while checking arguments for cudnn_convolution)

2. Pytorch数据使用列表的卷积层时报错

• Pytorch数据使用列表的卷积层时报错及解决-RuntimeError: Input type (torch.cuda.HalfTensor) and weight type (torch.FloatTensor) should be same

3. logging重复输出

• 场景：对于 import logging，多次训练时，日志重复输出。
• 解决：在 logging.getLogger() 后加入 logger.handlers.clear()
• 参考：浅析python日志重复输出问题
• 说明：这篇帖子写的很全，我按文件的 file.close() 去找，好些都说 .shutdown() 和 .close()，都没这方法，为了给他点个赞，特地注册了个博客园账号。

4.加不用的网络会影响性能

• 场景：在给模型加新的网络，即便不使用，也会影响性能（我出现的都是降低）。
• 说明：会改变涉及到随机数的操作，比如每次取的 Batch 不同。
  • 我老师只提了这个，不过我看代码觉得还有权重初始化时也会产生影响。
  • 加个判断禁用它可以避免影响，但如何在这个场景下解决，我也不清楚，就导致一些实验得重复做。

5. 网络结构更改不能用预训练权重

• 场景：改变了某一层网络，或是 img_size 使用了不同的大小，导致不能用预训练权重。
• 解决：对预训练权重上采样或是下采样。
• 说明：暂时我还没有实践过，因为代码自带了，后面我实践过会补充。