简介：面向家庭场景中家具识别的图像分割任务，该全景分割数据集提供640×640分辨率的家庭室内图像，覆盖床、椅子、橱柜、门、灯、地毯、桌子、窗户等19类常见家具，可用于细粒度分割、实例分割或全景分割模型的训练与精度验证，也适合作为室内场景理解的入门与进阶数据集。资源包共727个文件，主体为362张JPG原始图像与363张PNG掩膜图，图像与掩膜一一对应；同时包含1个txt类别标签文件和1个Python可视化脚本，压缩包整体仅14.74MB，下载与解压速度快。数据已按训练集与验证集划分：训练集包含309张原图及对应掩膜，验证集包含53张原图及对应掩膜，目录结构清晰，可直接代入现有深度学习框架进行训练。运行附带的show脚本，可在原图上叠加显示掩膜结果，便于检查标注质量与模型输出；txt标签文本中列出了所有类别的具体名称与编号，可结合可视化代码实现样本筛选、类别统计与调试分析。已有147人学习下载，适合从事目标检测、语义分割或室内智能化的开发者与研究者在实际项目中参考与复用。
1. 家庭场景里的19类家具全景分割：这套数据集能做什么、不能做什么
做室内机器人导航、AR 家装或者智能家居监控的人，迟早会撞上一个尴尬：语义分割把客厅里两张沙发合成了同一坨红色，机器人数沙发永远数错。换成全景分割之后，每个像素除了要有类别，还得带上“这是第几张沙发”的实例号——这正是家庭场景下 19 类家具全景分割图像数据集存在的理由。它把床、沙发、桌椅这些家具按 19 类逐像素标注，并附可视化代码和 txt 标签文本，适合做算法选型验证、模型训练和标注规范对齐。它解决的是“识别什么 + 区分第几个”两个问题。但它不是开箱即用的工业级数据包，你得先读懂标签编码，否则后面每一步都在翻车。
2. 全景分割为什么比“抠图”难：语义类别与实例编号的约定
2.1 语义分割、实例分割与全景分割的边界
先说概念上的差别。语义分割做逐像素分类，整张图里所有沙发都归为“沙发”一类，两张沙发没有任何区分；实例分割只处理有名字的物体，墙、地板这类背景不在讨论范围；全景分割等于把两者合起来，每个像素输出两个信息：它属于哪一类，以及它在那一类里是第几个个体。所以“全景”并不是“看得更远”，而是“没有遗漏”：背景区域也必须有类别，前景区域还必须有实例编号。
家庭场景是这个差异最明显的测试场。客厅里有沙发、茶几、电视柜，也有地板、墙、地毯。墙和地板属于 stuff，不需要区分个体；沙发、椅子、餐桌都是 things，每件东西都要有自己的 instance id。于是很多全景分割数据集里会用一种合并编码：像素值 = class_id * 1000 + instance_id。比如 class_id=3 是沙发，instance_id=1 的那件沙发，在标签图里像素值就是 3001。这样拿到 txt 标签文本之后，一步解码就能同时得到类别和实例，不用维护两套文件。
19 这个数量本身也体现出“家庭场景”的粒度。少于 15 类，椅子、凳子、边几这些高频物体会被并到一起，机器人执行“搬椅子”指令时无从区分；多于 25 类，标注成本翻倍，小样本类别反而带崩整体指标。19 类是语义复杂度和标注代价之间的常见折中。真要落地，你还会发现，任意两张家庭图的家具摆放几乎不相同，类别分布天然长尾。
2.2 txt 标签文本的常见形态：先判断再写解析器
拿到了“txt标签文本”，很多人第一时间写正则解析，然后花一下午调 bug。我的习惯是先看三行原始数据，再决定解析器怎么写。常见的格式有两种。
第一种是每行一个物体的多边形标注：class_id x1 y1 x2 y2 ...，坐标通常是相对原图宽高的归一化值，小数形式。一张图有多少个家具就有多少行，墙这类 stuff 有时会单独一行用整张图的四个角表示。
第二种是每行一个类别的 RLE 压缩串：class_id 0:123 456:78这样的“起始游程:长度”对，解码后填充出一个和原图等大的掩码图。实例号可能出现在另一个字段里，也可能写在文件名里，比如00012_3.txt表示第 3 个实例。
判断方法很简单：打印第一行。如果一行超过四个数字，多半是多边形；如果出现连续冒号和数字对，多半是 RLE；如果只有一列，那多半是像素级语义标签之外的辅助信息。这一步决定了后面可视化脚本的解析分支，做得越早越省钱。
2.3 类别 id 从 0 还是 1 开始，直接影响颜色表
这是最容易翻车的一处。有的标注规范让 class_id 从 0 开始，0 是背景；有的让 0 保留给 void/ignored，真正的家具从 1 开始；还有的 19 类里混入了“屋顶”“墙面”这类 stuff，导致类别编号和视觉印象对不上。
正确做法是：先找 classes.txt 或 label.txt，一行行读成 list，用行号作为 id 基准；找不到就把标签文本里出现过的 class_id 去重后拉一个集合，再人工对照原图确认一两张。不要急着在代码里写死一个 19 元字符串数组，更不要在生成颜色表时让 0 号参与随机色——0 号最好是黑色，这样与原图叠加时背景不会盖住画面。
我一般会在这一步顺手生成一个类别像素占比表：统计每个 class_id 的像素总数，既验证解析器没有串列，又给后面的样本均衡提供依据。床和沙发占掉一半像素，而脚凳、花架可能只有 0.1%，这个落差在训练时一定会回来惩罚你。
2.4 模型输出端的两种表示，决定你从哪里入手
模型输出端也有两种常见表示，理解它们才能看懂“标注好的数据集”到底喂给谁。第一种是“每类一个 mask”的 one-hot 语义输出，配合一个额外的实例中心或嵌入分支做聚类，Panoptic FPN 就是这路子；第二种是“像素值直接作为标签”的整型索引图，U-Net 加 softmax 就能跑，简单很多。
这套 19 类家具数据集如果给你的是合并编码后的整型标签图，你可以直接用第二种方式起步；如果给的是 txt 里的独立多边形，那么先回答“实例 id 要不要进 loss”。我的建议是第一阶段只把 class_id 作为监督信号，实例部分通过连通域后处理实现，先看语义底子牢不牢。实例预测的收益在类别准确率低于 70% 时根本体现不出来，还白白增加计算量。
如果标签里给了独立的 instance 字段，还有一个容易忽略的点：训练和评估要对实例编码保持同一套映射，否则 PQ 计算时会错乱。我的做法是把这个映射写成一个独立函数放在constants.py里，训练、评估、可视化三个入口都 import 它，不要在不同脚本里各写一份。类似这样的小约定能省掉很多“训练时好用、可视化时错位”的夜班。
3. 把 txt 标签文本变成能看的图：可视化代码与目录结构落地
3.1 先摸清楚目录里到底有什么
拿到“包含标注好的数据集、可视化代码、txt标签文本”的压缩包，别急着拖进训练脚本。先做一次存档级检查，确认目录完整。常见结构是这样的：
dataset/ ├── images/ # 原图，jpg 或 png ├── labels_txt/ # 每张图对应的 txt 标签文本 ├── classes.txt # 类别名字列表，一行一个 ├── visualize.py # 可视化代码 ├── train.txt # 训练集划分，每行一个文件名 └── val.txt # 验证集划分这个结构不是死的。有的包会把划分写在 config 里，有的会多一个 json 目录。我一般用一条 find 命令核对数量和命名对应关系：find images -name "*.jpg" | wc -l，再对比 labels_txt 里的文件数，两个数不一致就直接找说明文档，别指望代码能猜出来。
命名对不上是最隐蔽的坑。image 叫scene_001.jpg，标签叫1.txt，中间隔着三个零。这种问题只有按文件主名做映射才躲得掉，写代码时优先用Path.stem做字典 key，不要用glob返回顺序。
3.2 最小可视化脚本：把多边形刷到原图上
可视化代码通常是最先要动手改的。下面这份脚本按“多边形型 txt”来写，兼容空格和逗号分隔，够应付大多数情况。
import numpy as np import cv2 from pathlib import Path def parse_txt_label(txt_path, img_w, img_h): """解析单张图的 txt 标签，返回 [(class_id, polygon_ndarray)]""" results = [] for line in txt_path.read_text().strip().splitlines(): parts = line.replace(",", " ").split() if len(parts) < 3: continue class_id = int(parts[0]) # 顶点坐标是归一化值，两两成对读取并转成像素坐标 pts = np.array(parts[1:], dtype=float).reshape(-1, 2) pts[:, 0] *= img_w pts[:, 1] *= img_h results.append((class_id, pts.astype(np.int32))) return results # 类别数量从 classes.txt 读取，避免写死 19 class_names = Path("classes.txt").read_text().splitlines() num_classes = len(class_names) # 颜色表固定随机种子，保证多次运行结果一致 rng = np.random.default_rng(42) color_map = rng.randint(0, 255, (num_classes, 3), dtype=np.uint8) color_map[0] = [0, 0, 0] # 0 号固定为背景/黑色 img_path = Path("images/scene_001.jpg") img = cv2.imread(str(img_path)) img_h, img_w = img.shape[:2] mask = np.zeros((img_h, img_w), dtype=np.int32) for class_id, pts in parse_txt_label(Path("labels_txt/scene_001.txt"), img_w, img_h): cv2.fillPoly(mask, [pts], color=class_id) # 区域填充 mask_vis = color_map[mask] # 索引查色表 overlay = cv2.addWeighted(img, 0.6, mask_vis, 0.4, 0) cv2.imwrite("vis_scene_001.jpg", np.hstack([img, overlay]))逻辑说明：parse 函数先做归一化到像素坐标的转换；可视化用查表代替逐类 else if，省心且速度快；图像叠加权重原图 0.6、mask 0.4，能同时看清边缘和内部纹理。
参数说明：reshape(-1, 2)假设顶点按 x,y 顺序交替，如果你的 txt 是 y,x 顺序，把这两列换一下即可；cv2.fillPoly接受整数坐标数组，转 int32 是必要的；color_map的随机种子固定为 42，否则每次跑出来的颜色都不一样，对比前后效果时会误判。
3.3 可视化之后要做三件事
第一件，抽查类别编号和真实物体是否对应。沙发是不是真标成了沙发，茶几有没有被标成餐桌，这类错标在 txt 里根本看不出来，只有叠图可见。
第二件，看边界质量。家具之间互相遮挡时，标注边缘是干净切分还是锯齿状。全景分割对边界更敏感，边缘不干净会让后续连通域分析崩掉。
第三件，统计像素占比直方图。把 mask 里每个 class_id 的像素数打印出来，可能你会看到地毯、窗帘这类大面积 stuff 占了一半像素，而边几只有几百像素。这个长尾分布直接决定你要不要做类别重采样，也决定模型最后哪几类先崩。
到这里，可视化代码就不是“送的一个脚本”，而是你检查数据质量的主工具。后面模型无论怎么调，只要把预测结果也叠到同一套可视化代码上，就能做最直观的 A/B 对比，这一招在排障时比看 loss 曲线有用得多。
3.4 如果标签是 RLE 压缩串，可视化怎么写
RLE 型 txt 的解析思路完全不同：每行先拿到 class_id，再解码“start:length”对，填充一个连续行段。代码短但容易踩坑，因为有些工具输出的游程基于行优先的展平坐标，有些基于列优先。判断办法是“解码后矩阵的长宽是否与原图一致”，不一致就先转置或 reshape 再验证。
def decode_rle_line(line, h, w): parts = line.split() class_id = int(parts[0]) mask_flat = np.zeros(h * w, dtype=np.uint8) for run in parts[1:]: start, length = map(int, run.split(":")) mask_flat[start:start + length] = 1 return class_id, mask_flat.reshape(h, w)这段代码对“行优先展平”有效。用reshape(h, w)时如果画面是横竖颠倒的，把 h、w 互换再验证一次，基本能确定标注工具是按哪种顺序导出的。这类解析器写完之后，一定要用一张带明显边框的测试图跑一遍，不要直接上全量数据。
4. 从 txt 到训练 pipeline：格式转换、U-Net 与参数设置
4.1 把多边形标注转成 COCO 风格 JSON
如果你计划用 Mask R-CNN、实例分割或者“检测 + 裁剪分类”这类成熟框架，第一步是把 txt 转成 COCO 2017 风格的 JSON。转换脚本的核心是把多边形坐标复制为闭合顶点，并计算 bbox 和 area。
import json from pathlib import Path def poly_to_coco(polygon_xy): # COCO 要求多边形闭合：首尾点相同 closed = polygon_xy.copy() closed.append(polygon_xy[0]) return [coord for xy in closed for coord in xy] def polygon_area(polygon_xy): # 鞋带公式计算面积 x = [p[0] for p in polygon_xy] y = [p[1] for p in polygon_xy] return 0.5 * abs(sum(x[i] * y[(i + 1) % len(x)] - y[i] * x[(i + 1) % len(x)] for i in range(len(x))))转换时要留意两点：第一，COCO 的图片 id 和标注 id 都要从 1 开始，0 是背景类别，所以 txt 里的 class_id 如果从 0 开始，需要整体加 1；第二，area 不要用h * w代替，鞋带公式算出来的才是真实像素面积，很多采样策略依赖这个值。
如果你之前跟着“yolov8 训练自己的数据集”的教程转过检测框，那套 JSON 结构完全兼容，只是把segmentation字段换成多边形顶点列表，bbox用包围盒算出即可。这一节做对了，后面套任何 COCO 生态的模型都不必再写新转换器。
4.2 不进 COCO 也能训：直接生成整型全景标签图
自己做实验我更推荐一条更省事的路径：不转 JSON，直接把每张图的 txt 渲染成和原图同尺寸的整型索引图，作为训练标签。
import numpy as np import cv2 def render_panoptic_label(txt_path, img_w, img_h, instance_id=None): label = np.zeros((img_h, img_w), dtype=np.int32) for line in txt_path.read_text().strip().splitlines(): parts = line.split() class_id = int(parts[0]) pts = np.array(parts[1:], dtype=float).reshape(-1, 2) pts[:, 0] *= img_w pts[:, 1] *= img_h # 把类别和实例合并编码进一个整型像素值 instance = int(parts[0]) if instance_id is None else instance_id cv2.fillPoly(label, [pts.astype(np.int32)], color=class_id * 1000 + instance) return label这里把实例号暂时等于 class_id，避免合并编码为 0 而和背景冲突。真正的实例 id 可以从文件名或标注附加字段读入，训练时确定一个“实例编码基数”，让 class_id * 1000 的方案保持恒定。参数说明：这个 1000 不是固定值，只要大于单类别最大实例数量即可；如果你的场景里同一种家具可能超过 1000 件，把基数调成 10000，更稳妥。
用 U-Net 这类编码器-解码器模型做图像分割时，输入是三通道原图，标签就是这张 int32 矩阵。注意 int32 矩阵不能直接进交叉熵，需在 Dataset 里手工转成 int64 张量；cross-entropy loss 的 ignore_index 设为 0，把背景排除在统计之外。
4.3 训练参数怎么给：一组可复现的起点值
我用表格给出实际训练时常用的一组起点参数，后续按数据分布微调。
| 参数 | 推荐值 | 说明 |
|---|---|---|
| num_classes | 19 | 类别数，不含独立背景类 |
| ignore_index | 0 | 背景/void 不参与 loss |
| input_size | 512x512 或 640x480 | 按原图宽高比选择，优先短边 512 |
| batch_size | 8 | 单卡 1080Ti 附近的可接受值 |
| learning_rate | 1e-4 | Adam/AdamW，配 cosine 衰减 |
| loss | CE + Dice | 缓解长尾类别见不到梯度 |
参数说明：input_size 不要直接缩到 256，很多小家具缩到 256 时只剩几个像素，边界标注直接失真；batch_size 受限于显存，如果放不下 8，优先降输入尺寸而不是降 batch；学习率 1e-3 会让前 500 步震荡明显，家具小目标多，收敛慢一点更稳。
epoch 数建议 60 到 100，每隔 5 个 epoch 保存一次权重。训练中断时可以直接加载上一次权重继续跑。家庭场景的标注噪声比自动驾驶数据集小，但长尾更重，早期 mIoU 波动也更大，跑完整个周期再看 PQ 比较公平。
在类别严重失衡时，可以给每个样本按 class_id 的像素占比计算权重，做法是在 Dataset 的__getitem__里按权重抽样，或者用 WeightedRandomSampler。计算权重时以“每个类别像素数”为准，不要以“每个类别出现次数”为准，因为一次出现可能占半张图，后者会严重放大高频大物体。
4.4 评估指标：PQ 才是全景分割的主场
语义分割看 mIoU，全景分割看 PQ（Panoptic Quality）。PQ 由两部分相乘：分割质量 SQ 是对匹配实例的 IoU 均值，识别质量 RQ 是 F1 式的匹配比率。最终公式大致是“匹配实例的 IoU 求和，除以 0.5 (预测实例数 + 真值实例数)”，未匹配的实例直接算错。
这个指标对 19 类家庭场景很残酷。床和沙发这类大物体容易拿分，边几、花架这类小物体一旦没检测出来，RQ 立刻掉一截。所以训练时盯着 PQ 不等于盯着 mIoU，后者对小类别几乎无感。我习惯同时打印每一类的 PQ，低于阈值（比如 5%）的类别单独跑可视化，看是漏检还是边界错。
5. 家具全景分割避坑实录：5 个踩过的坑与排查方法
5.1 可视化一片黑或满屏乱色：class_id 从 0 还是 1 开始
现象：跑完可视化脚本，输出图上要么全黑，要么所有物体都同一颜色，根本分不出家具。
原因：最常见是 txt 里第一列不是 class_id，而是 instance_id；其次是 class_id 以 0 开头，0 被预留成 void，而你的颜色表恰好把 0 设为黑色，于是所有像素套进 0 号颜色。还有一种可能是 class_id 从 1 开始，但可视化颜色表只有 19 行，索引越界后被 OpenCV 静默截断。
解决：打印前三条 txt 行，人工对照 classes.txt 确认列含义；在解析函数里加一行断言assert max_class_id < len(color_map)，越界立即报错而不是画出烂图。再不行就找样本里最明显的那张床，数一数它对应的 class_id 和真实类别，做一次反向映射。
5.2 mask 画在图上位置怪：坐标基准不是原图尺寸
现象：多边形能画出来，但位置和原图对不上，明显往左或往下偏移，有的甚至镜像。
原因：标注工具生成的 txt 里，坐标归一化的基准可能不是原图尺寸，而是“去除黑边后的有效区域”；或者标注时用了正方形画布，导出时又按宽高比裁切，导致 x、y 的缩放系数不一致。
解决：先用一张只有单独沙发的简单图做“探针”，把 txt 里的原始坐标打印出来，人工验算一遍缩放公式。若所有点的 y 都偏大，检查是不是把 h 当成了 1.0 的基准；若整体镜像，检查索引排列是行优先还是列优先。这类问题修一次就够了，但如果不做探针测试，会误判成模型问题，白白调两周参数。
5.3 小家具类别在 loss 里消失：长尾分布
现象：训练到后期，整体 PQ 长得还行，但边几、花架、床头柜的类别 IoU 一直在个位数徘徊，甚至不涨。
原因：床、沙发、地毯这类大面积类别占据了 70% 以上的像素，交叉熵对它们过分友好。模型发现“把所有像素预测成大类别”就能拿到很低的 loss，小类别直接学不到特征，梯度被大物体覆盖。
解决：给每个类别算一份像素占比表，做类别加权 softmax；或者对样本做按类别频率的过采样，让包含小家具的图片在训练中出现更频繁。更直接的做法是把 loss 换成Dice Loss + CrossEntropy的组合，Dice 对类别不平衡天然不敏感，对小目标边界也更宽容。加权重之后记得回看验证集，确认大物体没有明显掉点。
5.4 同一件家具被拆成两个实例：连通域断裂
现象：可视化验证时看到明明是一张餐桌，却被分成了左右两半，各有一个独立 instance id；反过来，两把挨在一起的椅子共用一个 id。
原因：标注工具在画多边形时如果跨了遮挡边界，或者一次交互没有点完整，导出脚本按“单个多边形等于一个实例”直接生成 id，不做连通域合并。家庭场景里家具互相遮挡非常多，这个问题几乎每个数据集都有。
解决：写一个预处理脚本，把同一 class_id 的掩码做一次连通域分析。使用 OpenCV 的connectedComponentsWithStats，把面积小于阈值的碎片合并到距离最近的同类别连通域里，再重排 instance id。阈值一般取整张图像素数的 0.01%，具体值按原图分辨率调整。这个步骤要在训练之前完成，不要指望模型自己学出来。
5.5 图像和标签对不上：划分列表里的命名差异
现象：训练时 loss 正常，但验证时频繁报FileNotFoundError，仔细看是 txt 文件名和图片名差了前缀或后缀。
原因：划分列表 train.txt/val.txt 通常由标注平台导出，里面的图片名可能是scene_001.jpg，而 labels_txt 目录里存的是scene_001_gt.txt，中间加了个_gt后缀；反过来也常见。
解决：以图片文件主名为基准建映射表，标签路径用image_stem + 可能的后缀拼接。具体做法是在加载函数里先检查直连路径，再尝试带后缀和带前缀的候选路径，命中后锁定。不要在划分文件里直接写标签路径，那相当于把格式问题埋进了数据加载器。
6. 进阶：用可视化回归测试检验每一次模型改动
模型训练刚开始可以直接盯着 PQ 数字，但跑过三轮之后就会发现：数字涨了未必是好事，指标跌了也未必是模型的问题。我自己最习惯的一件事，是固定 10 到 20 张验证图，训练前先跑一遍预测并把标签存成 npy，作为回归基准；之后每次改动数据处理或模型结构，都重新跑一遍这批图，对比新预测和基准之间的差异图。
差异图不是简单的像素相减。我会把结果分成三类着色：漏检（真值是家具但预测成背景）、误检（预测成家具但真值没有）和边界误差（类别一致但边缘偏移超过 2 像素）。这三类用不同颜色叠加在原图上，一眼就能看出这次改动到底伤了哪一类。比只看 PQ 加权值可靠得多。
另一个对我很有效的技巧是把实例掩码按面积排序后重新分配颜色：面积最大的沙发用最亮的颜色，角落里的花架用冷色。这样渲染出的全景图会自然形成“主次分明”的视觉层级，小实例一旦消失，人眼能立刻发现——而等你的模型产出来，你也能第一时间发现问题。
有一次我改了 resize 策略，把短边从 512 提到 640，全图 PQ 涨了 0.3，但差异图里所有小桌子的边缘都在塌。后来查明是上采样时插值方式变了，小物体边界被抹平。如果只盯着 PQ，这个问题可能一直藏到部署才发现。所以我的教训是：每次改动后，先跑回归图，再谈指标。希望帮到你。
本文还有配套的精品资源，点击获取
