news 2026/10/15 14:33:40

Day42Dataset和Dataloader

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
Day42Dataset和Dataloader

1.Dataset类:“存数据的容器”

你可以把它理解成一个数据盒子,里面装着你的数据集(比如图片、标签)。要让这个 “盒子” 能用,得给它加两个 “功能按钮”(Python 的特殊方法):

  • __getitem__(self, idx):按索引idx取数据(比如dataset[0]就能拿到第 1 个样本)。
  • __len__(self):返回数据集的总样本数(比如len(dataset)知道一共有多少数据)。

2.DataLoader类:“给模型端菜的服务员”

Dataset是 “装菜的盘子”,DataLoader就是 “把菜分成小份、端给模型吃” 的人。它的作用是:

  • 把Dataset里的数据分成批次(比如一次给模型喂 32 个样本,而不是全塞进去)。
  • 支持打乱数据(避免模型学 “顺序” 而不是 “规律”)。
  • 支持多线程加载(加快数据读取速度)。

3. MNIST 手写数据集

这是一个 “手写数字图片集”,里面是 0-9 的手写数字(每张图是 28x28 的黑白色),是深度学习入门常用的 “练习数据集”。

作业:获取 CIFAR 数据集的一张图片

import torch from torchvision import datasets, transforms import matplotlib.pyplot as plt # 1. 加载CIFAR数据集(自动下载到本地) transform = transforms.ToTensor() # 把图片转成PyTorch能处理的格式 cifar_dataset = datasets.CIFAR10(root='./data', train=True, download=True, transform=transform) # 2. 取第1张图和它的标签 img, label = cifar_dataset[0] # 用Dataset的__getitem__取数据 # 3. 显示图片 plt.imshow(img.permute(1, 2, 0)) # 调整格式(PyTorch是[通道,高,宽],plt需要[高,宽,通道]) plt.title(f"Label: {label}") # 显示标签(CIFAR10的标签是0-9,对应不同类别) plt.show()

@浙大疏锦行

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/10/15 17:54:26

Beszel终极升级教程:从v0.12到v1.0零风险迁移方案

Beszel终极升级教程:从v0.12到v1.0零风险迁移方案 【免费下载链接】beszel Lightweight server monitoring hub with historical data, docker stats, and alerts. 项目地址: https://gitcode.com/GitHub_Trending/be/beszel 还在为Beszel系统监控工具从v0.1…

作者头像 李华
网站建设 2026/10/14 16:32:25

一文读懂生产管理中的6M1E分析法:人、机、料、法、环、信、测

在生产管理中,很多问题看起来是偶发事件, 但如果你在现场待得够久,就会发现一个规律: 今天质量出问题明天交期被打乱后天成本又失控 问题表象在变,但根因往往反复出现。 真正拉开生产管理水平差距的,不是…

作者头像 李华
网站建设 2026/10/14 4:18:30

Spring Data Web与Querydsl集成:构建智能查询API的终极指南

Spring Data Web与Querydsl集成:构建智能查询API的终极指南 【免费下载链接】spring-data-examples Spring Data Example Projects 项目地址: https://gitcode.com/gh_mirrors/sp/spring-data-examples 在当今数据驱动的应用开发中,如何优雅地处理…

作者头像 李华
网站建设 2026/10/15 13:18:13

Langchain-Chatchat图片OCR识别集成方案设想

Langchain-Chatchat图片OCR识别集成方案设想 在企业知识管理日益智能化的今天,一个常见的痛点却始终存在:大量关键信息仍“沉睡”于图像之中。扫描合同、会议白板照片、截图文档……这些非结构化视觉资料无法被传统文本解析流程读取,导致知识…

作者头像 李华
网站建设 2026/10/14 19:48:10

Langchain-Chatchat微服务拆分可行性分析

Langchain-Chatchat微服务拆分可行性分析 在企业智能化转型加速的今天,越来越多组织希望借助大语言模型(LLM)构建专属的知识问答系统。然而,通用模型面对私有知识库时常常“答非所问”,而直接调用云端API又存在数据泄露…

作者头像 李华
网站建设 2026/10/15 16:40:14

Sublime Text Markdown Preview终极使用指南:高效写作与实时预览

Sublime Text Markdown Preview终极使用指南:高效写作与实时预览 【免费下载链接】sublimetext-markdown-preview markdown preview and build plugin for sublime text 2/3 项目地址: https://gitcode.com/gh_mirrors/su/sublimetext-markdown-preview Subl…

作者头像 李华