根据该机构近期的一份更新，在2025年上半年，其向国家失踪与受虐儿童中心（NCMEC）提交的儿童剥削事件报告数量，是2024年同期类似时间段的80倍。NCMEC的网络举报热线是一个国会授权的信息交换中心，用于报告儿童性虐待材料（CSAM）和其他形式的儿童剥削行为。
法律要求公司必须将明显的儿童剥削行为报告给网络举报热线。当公司提交报告后，NCMEC会进行审核，然后将其转交给相应的执法机构进行调查。
与NCMEC报告相关的统计数据可能比较复杂。报告数量的增加有时可能表明平台自动化审核或其用于决定是否需要报告的标准发生了变化，而不一定意味着恶意活动的增加。
此外，同一内容可能成为多份报告的主题，而单一份报告也可能涉及多个内容。包括该机构在内的一些平台会披露报告数量以及这些报告所涉及的内容总数，以提供更完整的情况。
该机构发言人Gaby Raila在一份声明中表示，公司在2024年底进行了投资，“以增强审核和处理报告的能力，从而跟上当前及未来用户增长的步伐。”Raila还表示，这个时间段对应着“引入了更多允许上传图像的产品界面，以及我们产品日益增长的人气，这些都促成了报告数量的增加。”今年8月，副总裁兼ChatGPT负责人Nick Turley宣布，该应用的周活跃用户数量是去年同期的四倍。
在2025年上半年，该机构发送的网络举报热线报告数量与其报告所涉及的内容数量大致相同——75,027份报告对比74,559项内容。而在2024年上半年，它发送了947份关于3,252项内容的网络举报热线报告。无论是报告数量还是报告所涉及的内容数量，在这两个时间段之间都出现了显著增长。
在这种情况下，“内容”可能意味着多种情况。该机构曾表示，它会将所有CSAM实例（包括上传和请求）报告给NCMEC。除了允许用户上传文件（包括图像）并能生成文本和图像响应的ChatGPT应用外，该机构还通过API访问提供对其模型的访问。最新的NCMEC计数不会包括任何与视频生成应用Sora相关的报告，因为其于9月发布，时间晚于更新所涵盖的时间段。
报告数量的激增遵循了NCMEC在网络举报热线中观察到的、与生成式AI兴起相关的更广泛类似模式。该中心对所有网络举报热线数据的分析发现，涉及生成式AI的报告在2023年至2024年间增长了1,325%。NCMEC尚未发布2025年的数据，尽管其他大型AI实验室如谷歌会公布他们向NCMEC提交的报告统计数据，但他们并未说明这些报告中有多大比例与AI相关。
该机构的这份更新发布在一年的年底，在这一年中，该公司及其竞争对手在儿童安全问题上（不仅仅是CSAM）面临了越来越多的审查。今年夏天，44位州总检察长向包括该机构、Meta、Character.AI和谷歌在内的多家AI公司发送了一封联名信，警告称他们将“动用我们职权的各个方面，保护儿童免受掠夺性人工智能产品的剥削。”该机构和Character.AI都面临多起来自家庭的诉讼，或代表个人的诉讼，指控聊天机器人导致了他们孩子的死亡。秋季，美国参议院司法委员会就AI聊天机器人的危害举行了听证会，美国联邦贸易委员会启动了一项关于AI伴侣机器人的市场研究，其中包括公司如何减轻负面影响（尤其是对儿童的影响）的问题。
近几个月来，该机构更广泛地推出了新的安全工具。9月，作为其“为家庭提供工具以支持青少年使用AI”工作的一部分，该机构为ChatGPT推出了几项新功能，包括家长控制功能。家长和他们的青少年可以关联账户，家长可以更改青少年的设置，包括关闭语音模式和记忆功能、移除ChatGPT生成图像的能力，以及选择不让孩子的数据用于模型训练。该机构表示，如果青少年的对话显示出自我伤害的迹象，它也可以通知家长，并且在检测到迫在眉睫的生命威胁且无法联系到家长时，可能也会通知执法部门。
10月下旬，为了结束与加州司法部就其提议的资本重组计划进行的谈判，该机构同意“继续采取措施，在AI和AGI的开发与部署过程中，减轻对青少年及其他人的风险。”接下来的一个月，该机构发布了其《青少年安全蓝图》，其中表示正在不断提高检测儿童性虐待和剥削材料的能力，并向包括NCMEC在内的相关当局报告已确认的CSAM。
更多精彩内容 请关注我的个人公众号 公众号（办公AI智能小助手）或者 我的个人博客 https://blog.qife122.com/
对网络安全、黑客技术感兴趣的朋友可以关注我的安全公众号（网络安全技术点滴分享）
