纯净、安全、绿色的下载网站

首页|软件分类|下载排行|最新软件|IT学院

当前位置:首页IT学院IT技术

pytorch机器学习softmax回归实现 pytorch机器学习softmax回归的简洁实现

Supre_yuan   2021-10-11 我要评论
想了解pytorch机器学习softmax回归的简洁实现的相关内容吗,Supre_yuan在本文为您仔细讲解pytorch机器学习softmax回归实现的相关知识和一些Code实例,欢迎阅读和指正,我们先划重点:pytorch机器学习,softmax回归简洁实现,下面大家一起来学习吧。

通过深度学习框架的高级API也能更方便地实现分类模型。让我们继续使用Fashion-MNIST数据集,并保持批量大小为256。

import torch
from torch import nn
from d2l import torch as d2l
batch_size = 256
train_iter, test_iter = d2l.load_data_fashion_mnist(batch_size)

初始化模型参数

由于sofrmax回归的输出层是一个全连接层,因此,为了实现我们的模型,我们只需在Sequential中添加一个带有10个输出的全连接层。同样,在这里,Sequential并不是必要的,但我们可能会形成这种习惯。因为在实现深度模型时,Sequential将无处不在。我们仍然以均值0和标准差0.01随机初始化权重。

# PyTorch不会隐式地调整输入的形状。因此,我们在线性层前定义了展平层(flatten),来调整网络输入的形状
net = nn.Sequential(nn.Flatten(), nn.Linear(784, 10))
def init_weights(m):
	if type(m) == nn.Linear:
		nn.init.normal_(m.weight, std=0.01)

net.apply(init_weights)

重新审视softmax的实现

在前面的例子中,我们计算了模型的输出,然后将此输出送入交叉熵损失。从数学上讲,这是一件完全合理的事情。然而,从计算角度来看,指数可能会造成数值稳定性的问题,包括上溢和下溢。

我们也希望保留传统的softmax函数,以备我们需要评估通过模型输出的概率。但是,我们没有将softmax概率传递到损失函数中,而是在交叉熵损失函数中传递未归一化的预测,并同时计算softmax及其对数。

loss = nn.CrossEntropyLoss()

优化算法

在这里,我们使用学习率为0.1的小批量随机梯度下降作为优化算法。这与我们在线性回归例子中的相同,这说明了优化器的普适性。

trainer = torch.optim.SGD(net.parameters(), lr=0.1)

在这里插入图片描述


相关文章

猜您喜欢

  • Python selenium 自动化 Python+selenium 自动化快手短视频发布的实现过程

    想了解Python+selenium 自动化快手短视频发布的实现过程的相关内容吗,python可乐编程在本文为您仔细讲解Python selenium 自动化 的相关知识和一些Code实例,欢迎阅读和指正,我们先划重点:Python,selenium,自动化,Python,selenium,自动化短视频发布,下面大家一起来学习吧。..
  • Java反射及性能 Java反射及性能详细

    想了解Java反射及性能详细的相关内容吗,晟_1044290在本文为您仔细讲解Java反射及性能的相关知识和一些Code实例,欢迎阅读和指正,我们先划重点:Java反射,Java性能,下面大家一起来学习吧。..

网友评论

Copyright 2020 www.zeLdagames.net 【行业软件站】 版权所有 软件发布

声明:所有软件和文章来自软件开发商或者作者 如有异议 请与本站联系 点此查看联系方式