Pytorch

Python
模型权重不匹配的解决思路——PyTorch预训练权重shape修改
已阅： 61 前言最近太忙没时间细致的写，所以这篇讲的是思想，不是实际代码，大家意会一下。因为GPU有限，这篇文章讲的有些东西只是我自己的观点，缺乏实验证明，欢迎大家批评指正。今天题图在实验室用轨迹球画的，比较艺术一点。为什么要修改预训练权重shape？预训练能大幅提升精度是毋庸置疑的，但间断加载预训练权重有效吗？我试过一些网络结构的修改，这些都会使得预训练权重shape mismatch，其中最简单……
MWHLS 2022/10/25
3
Python
RuntimeError: mixed dtype (CPU): expect input to have scalar type of BFloat16
已阅： 160 错误代码RuntimeError: mixed dtype (CPU): expect input to have scalar type of BFloat16产生原因将 tensor 与 numpy array 做运算，并将 Layernorm 应用到其计算结果。解决方法将 numpy array 换为 tensor。
MWHLS 2022/10/03
0
Python
os.environ[‘CUDA_VISIBLE_DEVICES’]无效的解决方法
已阅： 242 场景需要指定 GPU 1 来进行训练，但 os.environ['CUDA_VISIBLE_DEVICES'] = '1' 无效原因在 torch 引入前指定 GPU 才有效解决方法创建 startup.py，在 startup.py 中先指定GPU，然后再 from tools/train import main其中，main 指的是训练主函数示例代码顺序执行，进入 startup()，然后会先设置 GPU再引入 main()，再进入 parse_args() 引入 DictAction……
MWHLS 2022/08/20
0
Python
CPU部署jit模型时报错：Could not run ‘atenempty_strided’ with arguments from the ‘CUDA’ backend
已阅： 198 没想到昨天才因为鸽了太久发了水贴，第二天就有帖子发了这个问题网上很多说的是移动端部署的，但我这个是cpu部署，我感觉这问题应该很多人碰到才对，结果没搜到真是可惜啊哈哈哈错误信息 Traceback (most recent call last): File "infer.py", line 153, in <module> main() File "infer.py", line 132, in main predicted, prob = infer_imgs(model_path, im……
MWHLS 2022/08/09
0
Python
Pytorch使用记录（一）
已阅： 10 记录最近用PyTorch的问题及解决。这篇的最后一点是四月十九号写的，一直懒得发，估计又要开新坑了，所以把老的记录先发一下1. CUDA指定显卡时报错CUDA指定显卡时报错及解决-RuntimeError: Expected tensor for argument #1 ‘input’ to have the same device as tensor for argument #2 ‘weight’; but device 0 does not equal 1 (while checking arguments for cudnn_convolution)2. Pytorch数据使……
MWHLS 2022/06/30
0
Python
译（六十二）-PyTorch使用DataLoader于自己的数据集
已阅： 7 stackoverflow热门问题目录如有翻译问题欢迎评论指出，谢谢。说起来最近越来越拖了，果然事不能太多。PyTorch：将 DataLoader 用于自己的数据集Sarthak asked:如何在自己的数据集上使用 torch.utils.data.Dataset 和 torch.utils.data.DataLoader （而非只在 torchvision.datasets 上）？能把用在 TorchVisionDatasets 上的内置 DataLoaders 用于其它数据集吗？Answers:paho - vote: 69 ……
MWHLS 2022/05/28
0
Python
译（六十一）-PyTorch不使用momentum直接改变学习率
已阅： 7 stackoverflow热门问题目录如有翻译问题欢迎评论指出，谢谢。有一说一，这篇提问有够离谱，提问回答总共三个，全是同一个人，虽然他评论说这是 @某某某提出的PyTorch：不使用momentum直接改变学习率patapouf_ai asked:PyTorch 能否在训练时动态改变学习率（不提前指定好如何变化）？例如以下的优化器：optim = torch.optim.SGD(model.parameters(), lr=0.01)发现学习率太高了，所以想……
MWHLS 2022/05/21
0
Python
译（六十）-PyTorch得到整型列表类型的tensor形状
已阅： 25 stackoverflow热门问题目录如有翻译问题欢迎评论指出，谢谢。如何在PyTorch中得到整型列表类型的tensor形状patapouf_ai asked:Numpy 里，V.shape 得到整型元组类型的 V 的维度。 TensorFlow 里，V.get_shape().as_list() 得到整型列表类型的 V 的维度。而 PyTorch 里，V.size() 得到对象，我怎么转换成整型？Answers:alvas - vote: 88PyTorch 1.0 （也许以上版本也行）：>>> impor……
MWHLS 2022/05/14
1
Pandas
译（五十九）-Pandas dataframe转PyTorch tensor
已阅： 76 stackoverflow热门问题目录如有翻译问题欢迎评论指出，谢谢。Pandas dataframe 转 PyTorch tensorM. Fabio asked:我想用 PyTorch 对 pandas dataframe df 训练一个简单的神经网络。其中一列是 Target，表示网络的训练目标，怎么用它作为 PyTorch 的输入？我试了下面这个但是不管用：import pandas as pd import torch.utils.data as data_utils # target = pd.DataFrame(df['Target'])……
MWHLS 2022/05/07
0
Python
译（五十八）-Pytorch dataloader中worker数的工作原理
已阅： 140 stackoverflow热门问题目录如有翻译问题欢迎评论指出，谢谢。这篇确实只有一个回答。PyTorch dataloader 里的 worker 数的工作原理是什么？floyd asked:如果 num_workers 是 2，是不是意味着两个 batch 被送入内存，其中一个被送入 GPU？或者是把三个送入内存，然后其中一个送入 GPU？当 num_workers 高于 CPU 核心时会怎样？我试了下但还是顺利执行了，到底发生了什么？（我觉得 num_workers……
MWHLS 2022/04/30
0