news 2026/5/30 12:48:58

使用Python处理JSON Lines格式的文件

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
使用Python处理JSON Lines格式的文件

使用Python处理JSON Lines格式的文件

常用来处理JSON Lines格式日志文件;也适用于.txt中存储的 JSON 数据。

著-------------Pan诶

1·准备

需要使用到的外部库:

Pandas、json。

导入库,代码如下:

import pandas as pd import json
  • import pandas as pd:导入pandas库并简写为pd,pandas是数据处理的核心库

  • import json:导入Python内置的json库,用于解析JSON格式数据

2. 读取文件并解析JSON数据,处理过程

data = [] with open('your_log_file.jsonl', 'r', encoding='utf-8') as f: for line in f: if line.strip(): # 跳过空行 data.append(json.loads(line.strip())) df = pd.DataFrame(data) df.to_csv('处理后的数据.csv', index=False, encoding='utf-8-sig')

超级无敌逐行拆分解释:

  • data = []
    • 创建一个空列表,用于存储解析后的数据

  • with open('your_log_file.jsonl', 'r', encoding='utf-8') as f:
    • with:上下文管理器,自动处理文件的打开和关闭

    • open():打开文件函数

    • 'your_log_file.jsonl':需要处理的文件名

    • 'r':“read”的缩写,只读模式

    • encoding='utf-8':指定文件编码,避免中文乱码

    • as f:将文件对象赋值给变量f

  • for line in f:
    • 用for进行循环,逐行读取文件内容

  • if line.strip():
    • line.strip():去除行首尾的空白字符(空格、换行符等) —— strip()会移除这些空白字符,得到干净的JSON字符串

    • 运行规则:如果去除空白后不是空字符串,则执行下一行

  • data.append(json.loads(line.strip()))
    • json.loads():将JSON字符串解析为Python字典

    • line.strip():确保字符串前后没有空白字符

    • data.append():将解析后的字典添加到data列表中

剩余步骤,这里data数据已经处理的差不多了,你可以使用Pandas创建DataFrame ;也可以直接访问数据。我这里以创建DataFrame为例进行演示

3. 创建DataFrame

df = pd.DataFrame(data)
  • pd.DataFrame():pandas的核心函数,将数据转换为二维表格结构

  • data:包含所有字典的列表,每个字典成为DataFrame的一行

4. 导出为CSV

df.to_csv('处理后的数据.csv', index=False, encoding='utf-8-sig')
  • df.to_csv():将DataFrame导出为CSV文件

  • '原始数据.csv':输出的文件名

  • index=False:不保存行索引(0,1,2,3...)

  • encoding='utf-8-sig':使用带BOM的UTF-8编码,确保Excel打开时中文不乱码

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/5/27 8:13:40

为什么你的Agent在元宇宙中“卡顿”?深度剖析交互逻辑底层架构

第一章:元宇宙 Agent 的交互逻辑在元宇宙环境中,Agent(智能体)作为用户代理或自主实体,其交互逻辑构成了虚拟世界动态行为的核心。Agent 不仅需要感知环境变化,还必须基于规则或学习模型做出响应&#xff0…

作者头像 李华
网站建设 2026/5/27 16:39:02

智能施肥Agent实战指南(从数据采集到模型部署):打造高效种植闭环系统

第一章:智能施肥Agent的核心价值与系统架构 智能施肥Agent作为现代农业智能化转型的关键组件,致力于通过数据驱动的方式优化农田养分管理。该系统融合传感器网络、作物生长模型与人工智能算法,实现对土壤肥力、作物需求及环境变化的动态感知与…

作者头像 李华
网站建设 2026/5/23 23:31:55

660-078399-001发电机模块

660-078399-001 发电机模块的产品应用领域可以更详细地列为:工业电力系统:大型发电厂、工业园区的主发电或备用电源。船舶动力系统:商用船舶、军用舰艇及潜艇的船载发电和能量管理。铁路运输:火车、电动车组的车载电源及牵引辅助系…

作者头像 李华
网站建设 2026/5/28 15:49:27

MD500E全套开发方案:打开电机控制新世界的钥匙

MD500E全套开发方案,代码方案和解析文档原理图仿真资料。 包含: pmsm的foc控制算法,电阻、电感、弱磁控制算法,无感FOC控制算法,电流环自整定算法,磁链观测器算法磁链等参数的辩识算法,死区补偿…

作者头像 李华
网站建设 2026/5/25 9:09:04

ANSYS APDL 增材制造模拟:从单道到多层的温度与应力场探索

ansys APDL增材制造单道,单层,多层温度/场应力场模拟生死单元高斯面热源和双楕球热源模型在增材制造领域,深入理解温度场和应力场的分布对于优化制造工艺、提高零件质量至关重要。ANSYS APDL 提供了强大的工具来模拟这一复杂过程,…

作者头像 李华