循环神经网络（Recurrent Neural Network, RNN）是一种专门处理序列数据的神经网络。与传统的前馈神经网络不同，RNN具有“循环”结构，能够处理和记住前面时间步的信息，使其特别适用于时间序列数据或有时序依赖的任务。
我们要明确什么是序列数据，时间序列数据是指在不同时间点上收集到的数据，这类数据反映了某一事物、现象等随时间的变化状态或程度。这是时间序列数据的定义，当然这里也可以不是时间，比如文字序列，但总归序列数据有一个特点——后面的数据跟前面的数据有关系。
图像是人类视觉的基础，是自然景物的客观反映，是人类认识世界和人类本身的重要源泉。“图”是物体反射或透射光的分布，“像“是人的视觉系统所接受的图在人脑中所形成的印象或认识，照片、绘画、剪贴画、地图、书法作品、手写汉字、传真、卫星云图、影视画面、X光片、脑电图、心电图等都是图像。
import torch
import torch.nn as nn # 线性模型和初始化方法
# todo:1-创建类继承 nn.module类
class ModelDemo(nn.Module):
# todo:2-定义__init__构造方法, 构建神经网络
def __init__(self):
# todo:2-1 调用父类的__init__方法
super().__init__()
# todo:2-2 创建隐藏层和输出层 定义属性
# in_features: 输入特征数(上一层神经元个数)
# out_features: 输出特征数(当前层神经元个数)
self.linear1 = nn.Linear(in_features=3, out_features=3)
self.linear2 = nn.Linear(in_features=3, out_features=2)
self.output = nn.Linear(in_features=2, out_features=2)
# todo:2-3 对隐藏层进行参数初始化
# self.linear1.weight: 在类的内部调用对象属性
nn.init.xavier_normal_(tensor=self.linear1.weight)
nn.init.zeros_(tensor=self.linear1.bias)
nn.init.kaiming_normal_(tensor=self.linear2.weight, nonlinearity='relu')
nn.init.zeros_(tensor=self.linear2.bias)
# todo:3-定义前向传播方法 forward(方法名固定) 得到预测y值
def forward(self, x): # x->输入样本的特征值
# todo:3-1 第一层计算 加权求和值计算 激活值计算
x = torch.sigmoid(input=self.linear1(x))
# todo:3-2 第二层计算
x = torch.relu(input=self.linear2(x))
# todo:3-3 输出层计算 假设多分类问题
# dim=-1: 按行计算, 一个样本一个样本算
x = torch.softmax(input=self.output(x), dim=-1)
# 返回预测值
return x
if __name__ == '__main__':
# 创建神经网络模型对象
my_model = ModelDemo()定义：L1正则化是在损失函数中添加权重的绝对值之和作为惩罚项
数学公式：$$Loss = Loss_{原始} + \lambda \sum_{i=1}^{n} |w_i|$$
特点：
作用机制：
适用场景：
import torch
from torch.utils.data import TensorDataset # 创建x和y张量数据集对象
from torch.utils.data import DataLoader # 创建数据集加载器
import torch.nn as nn # 损失函数和回归函数
from torch.optim import SGD # 随机梯度下降函数, 取一个训练样本算梯度值
from sklearn.datasets import make_regression # 创建随机样本, 工作中不使用
import matplotlib.pyplot as plt
plt.rcParams['font.sans-serif'] = ['SimHei'] # 用来正常显示中文标签
plt.rcParams['axes.unicode_minus'] = False # 用来正常显示负号
# todo: 1-创建线性回归样本 x y coef(w) b
def create_datasets():
x, y, coef = make_regression(n_samples=100, # 样本数
n_features=1, # 特征数
noise=10, # 标准差, 噪声, 样本离散程度
coef=True, # 返回系数, w
bias=14.5, # 截距 b
random_state=0)
# 将数组转换成张量
x = torch.tensor(data=x)
y = torch.tensor(data=y)
# print('x->', x)
# print('y->', y)
# print('coef->', coef)
return x, y, coef
if __name__ == '__main__':
x, y, coef = create_datasets()import torch
# 下标从左到右从0开始(0->第一个值), 从右到左从-1开始
# data[行下标, 列下标]
# data[0轴下标, 1轴下标, 2轴下标]
def dm01():
# 创建张量
torch.manual_seed(0)
data = torch.randint(low=0, high=10, size=(4, 5))
print('data->', data)
# 根据下标值获取对应位置的元素
# 行数据 第一行
print('data[0] ->', data[0])
# 列数据 第一列
print('data[:, 0]->', data[:, 0])
# 根据下标列表取值
# 第二行第三列的值和第四行第五列值 1和2一起 3和4一起
print('data[[1, 3], [2, 4]]->', data[[1, 3], [2, 4]])
# [[1], [3]: 第二行第三列 第二行第五列值 第四行第三列 第四行第五列值
print('data[[[1], [3]], [2, 4]]->', data[[[1], [3]], [2, 4]])
# 根据布尔值取值
# 第二列大于6的所有行数据
print(data[:, 1] > 6)
print('data[data[:, 1] > 6]->', data[data[:, 1] > 6])
# 第三行大于6的所有列数据
print('data[:, data[2]>6]->', data[:, data[2] > 6])
# 根据范围取值 切片 [起始下标:结束下标:步长]
# 第一行第三行以及第二列第四列张量
print('data[::2, 1::2]->', data[::2, 1::2])
# 创建三维张量
data2 = torch.randint(0, 10, (3, 4, 5))
print("data2->", data2)
# 0轴第一个值
print(data2[0, :, :])
# 1轴第一个值
print(data2[:, 0, :])
# 2轴第一个值
print(data2[:, :, 0])
if __name__ == '__main__':
dm01()