今年全国数据工作的一个重要方向，是大力推进数据要素的市场化价值化。如何推动公共数据资源开发利用、更好发挥数据要素作用？怎样打造更多数据应用场景？国家数据局2月18日举行“数据价值化，我们在行动”系列新闻发布会第一场，国家数据局等有关部门负责人介绍了相关情况。 推进政务数据共享应用 “推动数据价值化，公共数据要先行一步，真正把公共数据资源供出来、用起来。”国家数据局副局长陈荣辉说。 去年10月，《中共中央办公厅 国务院办公厅关于加快公共数据资源开发利用的意见》公开印发。据介绍，全国数据系统在配套制度建设、政务数据共享、数据授权运营、应用创新实践等方面开展一系列工作，有些方面取得初步进展。在推进政务数据共享应用方面，明确数据治理和共享责任，推动“一次填报，多方共用”，推动数据由“向基层要”变为“从系统取”，切实减轻基层干部重复报数负担。同时推动数据回流，支持基层干部利用数据更好为企业和百姓服务，助力提升基层治理水平。 以福建为例，2020年，福建入选国家公共数据资源开发利用8个试点省份之一。该省依托省市两级公共数据汇聚共享平台，接入全省2000余个政务信息系统、汇聚1800多亿条有效数据，基本实现全省政务信息系统“应接尽接”和全省公共数据“应汇尽汇”。并以汇聚共享平台为枢纽，常态化开展公共数据共享申请、授权、对接、应用，目前平台日均批量交换数据1.5亿多条，有效支撑各地各部门800多个应用场景。 探索公共数据授权运营 探索公共数据授权运营，这是近来数据领域的热词，如何理解？ 陈荣辉表示，授权运营是一种新的数据供给方式，目的是通过引入专业化力量，对公共数据进行治理、加工，形成数据产品和服务，在保障安全的前提下更好满足社会用数需求、更好促进数字经济发展。目前，很多部委都在按政策文件要求，梳理拟授权运营的数据资源，编制数据授权运营方案，积极推进数据资源和产品登记工作。 据介绍，国家公共数据资源登记平台将于3月1日正式上线试运行。“这个平台不仅是公共数据资源的管理系统，也是信息披露和资源发现的窗口，全社会都可以来这里找数据、找产品。”陈荣辉说。根据会上发布的信息，直接持有或管理公共数据资源的党政机关和事业单位，应对纳入授权运营的公共数据资源进行登记。未纳入授权运营范围的数据资源，以及利用被授权数据资源加工形成的数据产品和服务，也鼓励进行登记。 陈荣辉介绍，登记平台上线运行后，将发挥两个方面的作用：一是服务性功能，供数单位可以通过登记平台发布数据资源和产品信息，用数单位可以来这里查找数据资源，未来还可以发布数据需求，从而更好地实现供需对接，为降低全社会用数成本、促进数据资源价值释放创造条件。二是管理功能，通过登记工作，掌握全国公共数据资源底账，加强授权运营信息披露，促进授权运营规范化、透明化。 打造更多数据应用场景 数据价值化，要在场景应用中得以实现。 例如，气象数据与经济社会千行百业息息相关，应用场景广阔、发展潜力巨大。深圳市围绕低空物流企业需求，为起降点及航线提供1公里分辨率，分钟级更新的大风、降水等精细化服务，减少因恶劣天气导致的延误或损失，让配送计划更合理、经济。上海基于气象数据决策开展无人机消减雾试验，能见度可从500米快速提升至2公里以上，为降低大雾天气对飞行“窗口期”影响提供了支持。 中国气象局预报司副司长张洪政介绍，中国气象局还积极对接新能源规划选址、高效消纳和安全运行对精细化气象数据的需求，引导鼓励各方加入示范场景共建，创新新能源气象服务产品和解决方案，为国家能源绿色低碳转型、能源安全提供支撑。 各地区各部门对发挥数据要素作用都高度重视，比如，今年福建省政府工作报告提出，深化“千行百业”行动，聚焦重点领域，培育更多数字应用场景。重庆市提出要扩大数据流通和价值示范，培育实数融合新业态。国家数据局会同相关地方和部门重点打造一批示范性数据应用场景，探索形成可复制、可推广模式。 陈荣辉表示，下一步，将加快推动公共数据资源管理和运营机制改革落地见效，进一步增强数据资源价值释放的驱动力，以公共数据开发利用引领撬动各方数据的融合应用，打造数据利用的多应用场景和模式，更好释放数据要素价值。 来源：人民日报
文 | 国家信息中心副主任 周民 国家信息中心外网办安全管理处处长 罗海宁 公共数据是我国数据要素供给体系的重要组成部分，具有公共性、权威性与规模性，蕴藏巨大价值。各地区各部门在坚持数据开放的基础上，有序探索公共数据授权运营，对于赋能政务服务、公共治理具有重要意义，是培育数据要素市场的关键突破口。公共数据授权运营过程中，随着参与主体、数据及授权运营模式的不断拓展，如何构建公共数据安全治理格局，促进公共数据开发利用成为重要内容。 近日，国家发展改革委、国家数据局等部门联合印发了《关于完善数据流通安全治理 更好促进数据要素市场化价值化的实施方案》（以下简称《方案》），对促进数据要素安全合规流通利用提出重要意见。其中，针对公共数据流通过程的安全管理，明确了数据提供方、数据接收方、公共数据授权运营机构三方数据主体角色的数据安全保护责任和管理要求，细化了公共数据开发利用过程中的安全要求。 01 强化源头安全治理，提升公共数据安全成效和供数水平 《方案》指出“数据提供方按照‘谁主管、谁提供、谁负责’的原则，明确政务数据共享范围、用途、条件，承担数据提供前的安全管理责任，探索建立数据接收方数据安全管理风险评估制度，确保数据在安全前提下有序共享。” 公共数据涵盖的数据范围广泛，涉及国家安全、公共利益。各级党政机关、企事业单位等政务、公共数据来源机构作为数据提供方，应承担数据提供前的安全管理责任，在数据供给源头强化公共数据主动治理，在供给环节保障所供出公共数据的合法性、安全性、可用性、准确性和时效性。 02 贯穿供出后全过程安全管理，确保公共数据在各接收主体间安全流转 《方案》指出“数据接收方按照‘谁经手、谁使用、谁管理、谁负责’的原则，承担数据接收后的安全管理责任。” 公共数据持有者、使用者作为数据流转过程中的数据接收方，要承担数据接收后的安全管理责任。一是确保公共数据接收后的存储安全，建立安全的数据存储环境，包括物理环境、网络环境等，确保重要数据在存储过程中的安全性。二是确保公共数据使用与加工安全，公共数据接收方应按照协议或规定中明确的数据使用范围和用途来合规使用公共数据。采取必要的安全措施，如数据加密、访问控制、数据脱敏等对重要数据进行加工处理，以防止重要数据泄露或被非法访问。三是数据销毁末端安全，数据接收方应根据数据的生命周期和业务需求，制定数据销毁计划，明确数据销毁的时间、方式和范围，考虑数据的敏感程度和重要性，选择可靠的数据销毁方法，确保数据在销毁后无法被恢复。 03 探索公共数据授权运营安全合规制度化路径 《方案》指出“有关地方和部门开展公共数据授权运营的，应依据有关要求明确公共数据授权运营机构的安全管理责任，建立健全数据安全管理制度，采取必要安全措施，加强关联风险识别和管控，保护公共数据安全。” 公共数据授权运营被认为是构建数据要素市场的关键突破口，也是繁荣数据要素市场的重要支撑，如何把控好这一环节安全合规，备受市场关注。公共数据授权运营安全治理是一个“制度化”过程，授权运营机构应建立健全数据安全管理制度，加强数据全生命周期的安全防护。一是明确授权运营机构在经营与信用、专业资质与人才、技术安全、应用场景与数据使用等多个方面的数据安全保护条件和能力。二是加强数据产品和服务的安全合规管理，通过建立分类分级、访问控制、监测预警等安全管理制度，在保障国家秘密、国家安全、社会公共利益、商业秘密、个人隐私和数据安全的前提下，依法依规在授权范围内开展公共数据授权运营活动，充分释放公共数据价值。三是基于数据全生命周期安全防护理念，持续完善态势感知和监测预警体系建设，切实提升公共数据授权运营过程中的安全风险监测和应急处置能力。
来源（公众号）：大数据AI智能圈 深夜的银行数据中心，数据分析师小王揉了揉发酸的眼睛，72小时加班整理的客户数据清洗报告还在找bug。 隔壁工位基于DeepSeek系统的工作界面突然亮起，47分钟后，一份完整的数据清洗方案新鲜出炉，错误率还低了82%。这不是科幻电影场景，而是正在金融行业悄然上演的真实故事。 当人工智能开始读懂数据治理的门道，一场静悄悄的技术革命正在重塑商业世界的游戏规则。今天，让我们一起走进这个AI驱动的数据新世界。 数据治理遇上DeepSeek：AI引领的数据智能革命 某银行数据中心，凌晨3点。数据分析师小王正对着屏幕发愁，72小时加班整理的客户数据清洗报告还有漏洞。就在这时，他身边基于的DeepSeek系统亮起了绿灯—47分钟，一份完整的数据清洗方案新鲜出炉，错误率还低了82%。这不是科幻片场景，而是当下正在金融行业悄然发生的真实变革。 金融机构的反洗钱团队里，已经逐渐开始引入AI（DeepSeek）重写游戏规则。 面对每天2万条可疑交易预警，传统人工审核犹如大海捞针。DeepSeek分钟级完成了一场数据革命：系统自主分析8.6亿笔历史交易，识别出327个可疑特征，其中42个是人类从未发现的交易模式。 更令人惊叹的是，AI（DeepSeek）不是一个简单的规则执行者。它像一位经验丰富的数据侦探，能从看似普通的交易数据中，嗅出潜在风险。 一个典型案例：系统发现某批次凌晨3-5点的小额高频转账都来自新注册设备，立即提升了预警等级，最终协助银行提前23天发现了一起新型虚拟货币洗钱案件。 在零售行业，DeepSeek展现出更强大的商业智慧。某连锁超市引入DeepSeek后，不仅打通了86个业务系统的数据孤岛，更让促销决策有了"千里眼"。在春节前后，提前预测到某果礼盒的区域性需求激增，自动协调12个仓库完成调配，最终实现销售额同比增长275%。新技术带来新机遇，也催生新物种。传统数据分析师正在向"数据炼金师"进化，他们不再是简单的数据清洗工，而是数据价值的设计师。某银行设立的"AI训练师"岗位，晋升速度已经是传统岗位的3倍。 这场数据治理革命的本质，不是简单的效率提升，而是认知升级。AI（DeepSeek）正在改变数据治理的底层逻辑：从被动响应到主动预测，从规则驱动到智能认知，从单点治理到生态协同。 基本实现逻辑： DeepSeek API + RAG API + 数据（知识库）+ 需求Coding 智能数据治理的破局之道 制造业车间里，AI（DeepSeek）正在改写生产效能的新定义。 某工厂的设备数据原本就像散落的珍珠，虽然珍贵却难以串联。AI（DeepSeek）上线不久，自动发现的异常模式数量达到初期设定的13倍，设备效能提升40%。机器设备的"健康档案"不再是静态的数据表格，而成了智能预测的实时战报。 更令人瞩目的是政务领域的数字化蝶变。某市平台借助AI（DeepSeek），将56个部门的数据治理流程编织成一张智能服务网。群众办事从"跑断腿"到"一网通办"，审批效率提升6倍。数据不再是冰冷的代码，而是温暖的服务触点。 券商交易室里，AI（DeepSeek）绘制的"市场异常波动关联图"成了风控会议的制胜法宝。快消品公司用它模拟不同营销方案，新品上市成功率从35%跃升至68%。城市交通管理部门基于它的实时数据分析，动态调整信号灯配时，早高峰拥堵指数下降27%。 这种智能化转型不是简单的工具替换，而是思维模式的进化。 某科技公司CDO说："最理想的数据治理，是让用户感受不到治理的存在，却能享受到精准数据服务带来的无形之美。"在这场数字化浪潮中，AI（DeepSeek）正在重塑数据治理的未来图景：从被动防御到主动进化，从单点突破到全域赋能，从工具应用到决策伙伴。它不仅是数据治理的智能助手，更是数字时代的创新引擎。当AI开始深刻理解数据治理的精髓，人类的角色正在向更高维度跃迁。未来已来，拥抱变革者，方能御风而行。
在数字化浪潮的推动下，数据已成为驱动经济社会发展的关键生产要素。然而，如何有效挖掘和利用数据的价值，将其转化为具有经济意义的资产，即数据资产化，是当前亟待解决的问题。本文将深入探讨数据资产化过程中的权属辨析、价值论证与成本归集等核心概念，并通过行业案例、数据实例及专家观点进行阐述，以期为读者提供一个清晰明了的理解框架。 一、数据资产权属辨析 1. 数据资产的定义与特征 数据资产，简而言之，是指企业拥有或控制的，能够为企业带来未来经济利益的，以物理或电子方式记录的数据资源。它具备权属明确、价值可计量、可交易等特征。然而，在数据资产化过程中，权属辨析是首要任务。 2. 数据资产权属的现状与挑战 当前，数据资产的权属问题复杂多变。数据从生产到流转的过程中，可产生衍生数据及衍生数据主体，导致数据资产主体具有多重性。此外，我国尚未出台全国性的数据确权立法，数据资产的确权标准和方法尚不统一。 3. 专家观点与行业实践 北京大学光华管理学院应用经济学系教授翁翕指出，数据资产化是一个多层面的概念，涉及将数据转化为具有经济价值的资产。在权属辨析方面，需要明确数据资源的持有权、加工使用权和产品经营权等分置的产权运行机制。例如，在兰州国际陆港数据资产化服务项目中，企业就围绕数据资产权属进行了深入辨析，为数据资产的后续管理和利用奠定了基础。 二、数据资产价值论证 1. 数据资产的价值来源 数据资产的价值主要来源于其对企业生产经营活动的支持和优化。通过数据分析，企业可以洞察市场趋势、优化产品设计、提升运营效率等，从而实现经济效益的提升。 2. 数据资产价值评估方法 目前，数据资产的价值评估方法主要包括成本法、收益法和市场法。成本法通过计算数据生产活动中的各种成本总和来评估数据资产的价值；收益法则是基于数据资产预期产生的未来收益进行评估；市场法则是参照市场中的数据资产报价，并根据行业特性进行具体分析。 3. 行业案例与数据实例 以金融行业为例，银行通过收集和分析客户的交易数据、信用数据等，可以构建精准的风险评估模型，提高信贷审批的效率和准确性，从而创造经济价值。同时，随着生成式人工智能技术的发展，数据资产在AIGC领域的价值也日益凸显。 三、数据资产成本归集 1. 成本归集的定义与意义 成本归集是指将企业在数据资产化过程中产生的各种成本进行记录和分配的过程。通过成本归集，企业可以清晰地了解数据资产化的成本构成，为后续的计量、列报与披露工作奠定基础。 2. 成本归集的范围与方法 数据资产的成本归集范围广泛，包括数据采集成本、数据处理成本、数据存储成本、技术支持与人员成本等。归集方法则根据成本性质的不同而有所差异，如直接成本可以直接记录到对应的数据资产上，而间接成本则需要通过合理的分摊依据进行分配。 3. 行业实践与优化建议 在兰州国际陆港数据资产化服务项目中，企业就围绕数据资产的成本归集进行了深入探索和实践。通过明确归集对象、收集成本数据、选择合适的分摊依据等步骤，企业成功地完成了数据资产的成本归集工作。同时，专家建议，在成本归集过程中应充分考虑数据资产的无形性与特殊性，合理确定成本归集范围与方法，并持续关注市场与技术发展动态，适时调整成本归集策略。 四、总结与展望 数据资产化是数字化转型的必然趋势。通过权属辨析、价值论证与成本归集等核心环节的实施，企业可以有效地挖掘和利用数据的价值，实现经济效益的提升。未来，随着技术的不断进步和政策的逐步完善，数据资产化将迎来更加广阔的发展前景。企业应积极拥抱数据资产化浪潮，加强数据管理和利用能力，为企业的可持续发展注入强劲动力。 来源（公众号）：AI战略数字转型
文 | 清华大学大数据系统软件国家工程研究中心主任、中国工程院院士 孙家广 清华大学软件学院院长、大数据系统软件国家工程研究中心执行主任 王建民 清华大学大数据系统软件国家工程研究中心总工程师、全国数标委WG2数据治理工作组组长 王晨 《关于完善数据流通安全治理 更好促进数据要素市场化价值化的实施方案》（以下简称《方案》）进一步完善了我国数据流通安全治理基础制度，对于促进数据要素高效流通、数据要素价值充分释放具有重要的意义。 01《方案》对完善数据流通安全治理体系意义重大 （一）贯彻党的二十届三中全会精神，落实“数据二十条”的重要举措 党的二十届三中全会提出，“建设和运营国家数据基础设施，促进数据共享。加快建立数据产权归属认定、市场交易、权益分配、利益保护制度，提升数据安全治理监管能力”。《中共中央 国务院关于构建数据基础制度更好发挥数据要素作用的意见》（以下简称“数据二十条”）提出，从数据产权、流通交易、收益分配、安全治理四个方面着力构建数据基础制度体系，提出建立安全可控、弹性包容的数据要素治理制度，明确政府在数据安全监督管理方面的关键作用，要求政府创新数据治理机制，压实企业的数据治理责任，充分发挥社会力量多方参与的协同治理作用。《方案》有效回应了数据流通中规则不清晰、安全责任界定难、数据流通安全成本高等痛点问题，对数据供给、流通、使用全过程中的数据安全治理做出了基础制度安排，符合党中央提出的国家数据基础设施建设战略要求，是贯彻党中央重要指示精神的具体体现。 （二）顺应经济社会高质量发展的必然要求 随着数字中国建设的加速推进，我国数字经济迈向了全面扩展期，数据成为了新的关键生产要素。数据高效流通可以有效促进信息资源共享，提高生产效率，优化资源配置，激发创新活力。数据流通在带来巨大的经济利益的同时也伴随着诸多安全风险。数据泄露、非法使用、恶意攻击等安全事件频发，不仅损害了个人隐私和企业利益，还可能会对国家安全造成危害。《方案》提出了数据流通安全治理的体系性框架，将安全贯穿数据供给、流通、使用全过程，完善了数据流通安全治理机制，推动数据高质量发展和高水平安全良性互动，加速数据要素的高质量开发利用，是顺应经济社会高质量发展的必然要求。 （三）统筹发展和安全为数据高效流通提供了坚实制度保障 数据作为数字经济时代的关键生产要素，其安全性和可靠性将直接影响到数据价值的释放，只有确保数据的安全性和完整性，才能充分发挥数据要素在经济增长和社会治理中的作用。数据安全是数据要素价值的重要保障，一旦数据泄露或被滥用，将严重损害数据所有者利益甚至威胁社会稳定，加强数据安全保护是充分释放数据要素价值的关键环节。《方案》完善了数据流通安全治理相关制度，明确了数据流通规则，强化了数据流通安全技术应用，丰富了数据流通安全服务供给，使数据要素的发展和数据安全相互促进、相互依存，不仅通过数据要素的发展保障数据安全，更通过数据安全技术的进步有力支持数据要素的高效利用。 02《方案》指明了数据流通安全治理的实现路径 （一）《方案》对数据流通“事前”的安全治理制度进行了设计 万事开头，制度先行。《方案》从制度层面对数据流通安全治理进行了详细准备。对企业开展数据流通需要依据的法规体系、应当履行的报告制度、必须接受的监督义务等提出了要求，鼓励企业对数据进行脱敏处理，并根据分类分级的结果开展数据流通交易。明确了公共数据流通过程中的数据提供方、数据接收方和授权运营机构的权责体系。明确个人数据流通需要取得个人同意或经过匿名化处理。从企业数据、公共数据、个人数据等入手，明晰企业数据流通的规范性和合规性、公共数据的责任界定、个人数据的流通安全保障。针对企业数据流通规则不清晰的问题，《方案》加快企业数据流通相关规则的制定和落实，明确数据流通交易的合规要求和监管职责，以及重要数据通过脱敏处理后可以进入流通的原则导向；针对公共数据流通各相关主体的安全责任不明晰的问题，《方案》明晰各相关主体的责任，强化各相关主体的安全防护要求；针对个人数据相关条款对匿名化的标准笼统，缺乏可操作性的问题，《方案》促进技术手段下的应用方法和效果评估等标准的建设。 （二）《方案》对数据流通“事中”的安全支撑进行了安排 针对数据流通过程中，担心数据价值泄露，数据权益受到损害的问题，《方案》从技术支撑入手，加强数据流通安全相关的技术创新，对于不涉及风险问题的一般数据，鼓励自行采取必要的安全措施进行数据流通；对于未认定为重要数据，但企业认为涉及重要经营信息的，鼓励数据提供方、数据接收方接入数据流通利用基础设施；对于重要数据，鼓励通过“原始数据不出域、数据可用不可见、数据可控可计量”等方式，依法依规实现数据价值开发。特别是对于中小企业，《方案》通过丰富数据流通安全服务供给，探索市场化机制解决路径，以扩大供给、支持安全服务企业向规模化、专业化、一体化方向发展等方式降低安全服务产品价格，丰富数据托管等服务供给、研究探索为数据安全提供保险保障的可行方案等方式为中小企业提供安全服务，促进数据产业和安全服务业繁荣发展。 （三）《方案》对数据流通“事后”的安全保障进行了规划 数据具有可复制、易传输、难追溯等特点，一旦数据泄露，整个链条上的所有主体均可能需要“自证清白”。《方案》支持融合应用数据水印、数据指纹、区块链等技术手段，实现数据流通过程中的取证和追责。针对数据滥用问题，强化对数据使用方的恶意行为管理，加大对侵犯个人隐私，利用数据开展垄断、不正当竞争等违法违规行为的打击力度，加强对重大风险的监测预警，持续增强风险分析、监控和处置的能力，防范数据安全风险。 03《方案》将推动我国数据流通安全治理再上新台阶 随着《网络安全法》《数据安全法》《个人信息保护法》等一系列法律法规的出台，我国已经初步形成了较为完整的数据安全法律法规体系。这些法律法规不仅强调了数据安全的重要性，还明确了数据分类分级保护制度、网络数据处理者的主体责任、个人信息保护的具体规则等，为数据安全治理提供了坚实的法律基础。2024年9月，国务院公布《网络数据安全管理条例》，从行政法规层级补充了现有立法框架，构建了“法律-行政法规-部门规章”的全位阶法律规范体系。 2023年10月国家数据局成立，负责协调推进数据基础制度建设，统筹数据资源整合共享和开发利用，统筹推进数字中国、数字经济、数字社会规划和建设等。日前，国家数据局会同有关部门适时出台《方案》，提出数据流通安全治理的体系框架，进一步细化落实数据流通的安全治理机制和规则，完善数据流通安全责任界定，实现促进数据要素高效流通、数据要素价值快速释放的目标，必将推动我国的数据流通安全治理再上新台阶，为促进数据要素高效流通奠定坚实基础，为繁荣数据市场、释放数据价值提供坚强保障。 来源（公众号）：北京数据
在当今信息化社会，数据已成为新的生产要素，其价值日益凸显。为了高效、安全地利用数据资源，业界不断探索和创新，催生了多种新型的数据流通和利用模式。其中，数场、可信数据空间、数联网、数据元件、区块链与隐私保护计算等概念正引领着数据流通和利用的新趋势。本文将详细解读这些概念，并探讨其现状及未来趋势。 一、数场 数场（Data Field）是依托开放性网络及算力和隐私保护计算、区块链等各类关联功能设施，面向数据要素提供线上线下资源登记、供需匹配、交易流通、开发利用、存证溯源等功能的一种综合性数据流通利用设施。 现状：数场可以应用于多个领域，如政务、金融、医疗、教育等。通过数场，不同主体可以便捷地获取所需数据资源，实现数据的共享和利用。例如，在政务领域，政府可以通过数场实现政务数据的开放和共享，提高政府服务效率和透明度。 未来趋势：随着数据要素市场的不断发展和完善，数场将扮演更加重要的角色。未来，数场将更加注重数据的标准化、安全性和隐私保护，为数据的高效流通和利用提供更加坚实的保障。 二、可信数据空间 可信数据空间（Trusted Data Spaces）是一类全新的数据流通利用基础设施，同时也是一个生态系统的概念。它以数据使用控制为核心，通过连接器等技术载体，实现数据的可信交付，保障数据流通中的“可用不可见”“可控可计量”目标。 现状：可信数据空间的应用场景广泛，包括企业、行业、城市、个人及跨境等类型。例如，国家数据局发布的《可信数据空间发展行动计划（2024—2028年）》提出，要培育推广不同层次的可信数据空间建设。温州已成功获批数据空间等6个国家数据基础设施建设试点，通过隐私计算、AI模型、云网融合等技术手段，为数据安全、合规、有序流通利用提供新的方案。 未来趋势：随着技术的不断进步和应用场景的不断拓展，可信数据空间将成为数据要素市场的重要载体。未来，可信数据空间将更加注重数据的互联互通和共享利用，推动数据要素市场的繁荣和发展。 三、数联网 数联网关注的重点在于数据如何定位、如何流通。它基于互联网发明人、图灵奖获得者罗伯特·卡恩博士发明的数字对象架构（DOA），实现数据的唯一标识、元数据管理和数字对象仓库等功能。 现状：数联网的概念和技术体系正在不断完善和成熟。目前，数联网已经在数字图书馆等领域取得了全球性的规模化应用，为数据的共享和利用提供了有力的支持。 未来趋势：随着数据要素市场的不断发展和完善，数联网将成为连接不同数据空间和数据要素的重要桥梁。未来，数联网将更加注重数据的标准化、安全性和隐私保护，为数据的高效流通和利用提供更加便捷和可靠的途径。 四、数据元件 数据元件（Data Component）是通过对数据脱敏处理后，根据需要由若干相关字段形成的数据集或由数据的关联字段通过建模形成的数据特征。 现状：数据元件的概念由中国电子陆志鹏提出，已经成为数据要素市场流通交易的新形态。通过数据元件，不同领域的数据可以实现标准化和规模化加工，提高数据的利用效率和价值。 未来趋势：随着数据要素市场的不断发展和完善，数据元件将成为数据要素市场的重要组成部分。未来，数据元件将更加注重数据的标准化、安全性和隐私保护，为数据的高效流通和利用提供更加可靠的支持。 五、区块链 区块链（Blockchain）作为一种去中心化的数据记录技术，具有高度的安全性和透明性。它通过分布式账本技术，实现数据的不可篡改和可追溯。 现状：区块链技术已经在金融、供应链、医疗、能源、公共管理等多个领域得到了广泛应用。例如，在供应链管理中，区块链可以用来记录和追踪货物的生产、运输和销售过程。 未来趋势：随着技术的不断进步和应用场景的不断拓展，区块链将成为数据要素市场的重要支撑技术。未来，区块链将更加注重与其他技术的融合和创新，为数据的高效流通和利用提供更加安全、可靠和便捷的支持。 六、隐私保护计算 隐私保护计算是面向隐私信息全生命周期保护的计算理论和方法，涵盖信息搜集者、发布者和使用者在信息产生、感知、发布、传播、存储、处理、使用、销毁等全生命周期过程的所有计算操作。 现状：隐私保护计算技术已经在金融、医疗、教育等多个领域得到了广泛应用。例如，在医疗领域，隐私保护计算技术可以用于安全存储病人数据，确保数据隐私和安全。 未来趋势：随着数据要素市场的不断发展和完善，隐私保护计算将成为数据要素市场的重要保障技术。未来，隐私保护计算将更加注重技术的创新和应用场景的拓展，为数据的高效流通和利用提供更加全面的隐私保护支持。综上所述，数场、可信数据空间、数联网、数据元件、区块链与隐私保护计算等概念正引领着数据流通和利用的新趋势。随着技术的不断进步和应用场景的不断拓展，这些概念和技术将为数据要素市场的繁荣和发展提供更加坚实的支撑和推动力量。 来源（公众号）：AI战略数字转型
文 | 中国电子技术标准化研究院党委书记 刘贤刚 近日国家发展改革委、国家数据局等部门联合印发《关于完善数据流通安全治理 更好促进数据要素市场化价值化的实施方案》（以下简称《方案》），为充分释放数据价值提供了重要制度保障。 01 深刻领会《方案》对更好发挥数据要素作用的重要意义 党中央、国务院高度重视发挥数据要素价值。习近平总书记多次强调，要发挥数据的基础资源作用和创新引擎作用，加快形成以创新为主要引领和支撑的数字经济。 （一）《方案》是落实党中央重要决策部署的关键举措 党的二十届三中全会提出“加快建立数据产权归属认定、市场交易、权益分配、利益保护制度，提升数据安全治理监管能力，建立高效便利安全的数据跨境流动机制”等保障数据要素安全流通的重点任务。《方案》明确提出全面贯彻总体国家安全观，统筹数据发展和安全，坚持系统思维、底线思维，将安全贯穿数据供给、流通、使用全过程，为数据流通安全治理提供了工作原则和目标。 （二）《方案》是应对数据流通利用风险的迫切需求 以数据为关键要素的数字经济具有高创新性、广覆盖性、强渗透性，数据大规模流通过程就是多源、多方数据融合过程，一旦被泄露或滥用，可能带来个人隐私、商业秘密等数据泄露问题，甚至可能对国家安全带来挑战。《方案》就如何以成本最小化实现安全最优化，提出了落实国家数据分类分级保护制度、数据流通中的安全治理规则、加强数据流通安全技术应用和产业培育、完善权益保护和责任界定机制等具体举措。 （三）《方案》是促进数据高效流通利用的重要保障 数据相比传统生产要素，流动起来更为便捷，跨地域、跨国界流动的特点也更加明显；但由于其数据的易复制性、易获取性，在数据流通方面，“不敢”“不愿”“不会”的问题比较突出，数据要素价值未得到充分释放。数据安全可信流通才能实现数据高效利用，《方案》为数据“供得出、流得动、用得好”探索提出了安全制度方案，对数据资源安全开发利用具有里程碑意义。 02《方案》对数据流通安全治理提出了明确的工作任务 数据流通安全治理规则是数据基础制度的重要内容。《方案》以“到2027年底，规则明晰、产业繁荣、多方协同的数据流通安全治理体系基本构建，数据合规高效流通机制更加完善，治理效能显著提升”为目标，提出了责任义务、安全要求等体系化任务部署。 （一）以数据分类分级为前提，让安全的数据流通 数据分类分级是推进数据管理，开展数据流通利用的前提和基础，目的是实现分类管理、分级保护、突出重点、保住重点。《方案》提出经脱敏等技术处理为一般数据的，可按照一般数据开展流通交易；对于不涉及风险问题的一般数据，鼓励自行采取必要安全措施进行流通利用。目的在于解决一般数据不敢流通的问题，充分释放相对安全的一般数据流通活力。 （二）以数据安全能力为基础，让数据安全的流通 安全的数据基础设施、清晰的界定权责是让数据安全动起来的关键。《方案》提出了支持数据流通安全技术创新、数据供需双方接入使用数据流通利用基础设施、加强关联风险识别管控等具体要求，明确了数据提供方、数据接收方、数据授权运营机构的责任义务。为解决数据流通环节多、场景多、主体多带来的数据泄露、权责不清等问题，提供了制度和技术方案，构建了安全可靠、监管有效的数据流通信任基础。 （三）以个人数据流通保障为重点，让个人数据发挥更大价值 个人数据是我国海量数据规模中的重要组成部分，在数据要素市场中有着不可替代的作用。《方案》立足于个人数据流通场景存在的授权同意难、个人信息泄露等突出问题，提出了研制个人信息匿名化标准、采用国家网络身份认证公共服务、健全个人信息保护投诉、举报、受理、处置渠道等举措，在个人数据安全流通的过程中，将个人数据权益实现好、维护好、发展好。 （四）以自由贸易试验区为试点，对新型治理模式先行先试 自由贸易试验区承担着国家战略性的创新试点任务，北京、天津、上海、广东等地自由贸易试验区，在数据分类分级、数据出境管理清单等数据制度进行落地探索。《方案》提出围绕数据流通交易溯源机制、重点场景安全治理标准、重点场景安全责任界定机制等，支持在自由贸易试验区（港）等地方开展先行先试，探索新型治理模式，提高治理效能。 03 充分发挥好数据标准对《方案》落地实施的支撑作用 《方案》多处对数据标准提出了具体要求和明确任务，在《方案》落地过程中，进一步发挥好数据标准的规范性和引领性作用，做好数据标准体系研究、重点标准研制、标准应用实施等工作。 （一）做好数据标准体系建设 《方案》提出“完善数据流通安全标准”。前不久，《国家数据标准体系建设指南》正式印发，提出了数据标准体系建设及落实落地的目标要求，同时设置“安全保障”专章，对数据基础设施安全、数据要素市场安全、数据流通安全等流通安全治理方面提出了明确标准任务。需要不断深化重点方向标准化研究，不断细化完善数据标准体系框架，为数据高效安全流通利用筑牢标准根基。 （二）加快重点急需标准研制 《方案》提出“制定个人信息匿名化相关标准规范，明确匿名化操作规范、技术指标和流通环境要求”“重点场景安全治理标准”。标准研制应坚持问题导向、急用先行，紧扣国家关于数据要素流通等重大战略部署，围绕《方案》要求，抓紧研制个人信息匿名化、数据交易服务安全、数据流通安全能力等重点标准，提升数据标准对数据安全治理监管能力建设的支撑保障作用。 （三）深入开展标准应用实施 《方案》提出数据分类分级和重要数据识别、提升企业数据安全治理能力、重点行业领域数据安全风险监测等重点任务，这些任务落地都需要标准提供技术支撑。继续深入推进《数据安全技术 数据分类分级规则》《信息安全技术 数据安全能力成熟度模型》《数据安全技术 数据安全风险评估方法》等标准的应用实施，强化各方的数据安全标准化意识，提升组织安全能力，推广优秀标准实践案例，为业界提供标准实现参考。 来源（公众号）：北京数据
文 | 中国政法大学副校长、教授，数据法治实验室主任 时建中 数据流通安全治理规则是数据基础制度的重要内容，是实现高质量数据更大范围、更高效率、更加有序流通的前提，是充分释放数据价值的制度条件，是推动建设高水平数据市场的保障。国家数据局会同有关部门制定发布的《关于完善数据流通安全治理 更好促进数据要素市场化价值化的实施方案》（以下简称《方案》）全面贯彻总体国家安全观，统筹发展和安全，对于建立健全数据流通安全治理机制、提升数据安全治理能力、促进数据要素合规高效流通利用具有重要意义。《方案》坚持系统思维、底线思维，凸显了战略思维、法治思维，立足“安全”、落脚“发展”，明确了七项主要任务，以成本最小化实现安全最优化，推动数据高质量发展和高水平安全良性互动，加速构建繁荣且有序的数据市场，为充分释放数据价值、不断做强做优做大我国数字经济、构筑国家竞争新优势提供坚实支撑。 01 明晰数据流通安全规则，营造有序数据流通环境 规则是秩序的基石。《方案》将明晰数据流通安全规则标准、压实数据流通安全责任、强化数据流通权益保障作为重点任务，通过建设安全可信的制度环境助力营造稳定有序的数据流通环境。在规则设计的部署上，《方案》始终坚持以数据分类分级保护为基本原则，以数据安全标准体系建设为重点，细化了《数据安全法》第17条、第21条等有关规定，夯实了《方案》的法治基础。 其一，《方案》以数据分类分级保护原则为抓手，探索不同类型、不同风险等级数据流通规则的差异化设计方案，聚焦不同的数据安全保障重点，落实数据流通安全保障措施，压实数据流通安全责任。针对企业数据，《方案》明晰了重要数据与一般数据的差异化处理规则。构建了数据处理者依规识别、申报、采取必要安全措施保护重要数据的制度；针对政务数据，《方案》区分了数据提供方和数据接收方的数据流通安全管理责任原则，明确了公共数据授权运营机构的安全管理责任；针对个人数据，《方案》细化了《个人信息保护法》中“知情同意”相关规则及“匿名化处理”有关规定。同时，《方案》提出以国家网络身份认证公共服务等多种方式，以制度创新强化个人数据流通保障。 其二，《方案》强化了数据流通安全相关的标准建设，例如，制定或完善个人信息匿名化相关标准规范、数据流通安全标准、重点场景安全治理标准，健全数据流通安全治理机制，规范和促进数据流通。在贯彻落实《方案》、推动数据安全标准体系建设过程中，需要把握好“三组”关系：一是国家标准、地方标准和团体标准的关系；二是强制性标准和推荐性标准的关系；三是通用标准和特定应用场景标准的关系。强化数据安全标准底层互通性，切实发挥好数据标准的引领性作用，提高数据安全治理效能。 02 创新数据流通安全技术，提升数据安全治理效率 数智技术既是法治的对象，也是赋能法治的工具。《数据安全法》第16条规定国家支持数据开发利用和数据安全技术研究，数据安全技术与数据开发利用密不可分。《方案》将加强数据流通安全技术应用、支持数据流通安全技术创新作为重点任务、重要环节，本身就是一种创新。信息是数据的内容，数据是信息的载体。只有同步推进数据内容安全保护技术和数据载体安全保护技术的开发应用，方能有效且全面地支撑数据安全治理，促进数据流通发展。 在数据内容安全保护技术方面，《方案》不仅强调了数据脱敏、匿名化、数字水印等常见技术手段在保护国家安全、个人隐私和公共安全上的重要作用，而且提出了要融合运用数据指纹、区块链等新型技术手段，以实现数据流转过程留痕、数据交易全程追溯，高效支撑数据流通中的取证和定责，提升数据安全治理效能。 在数据载体安全保护技术方面，应以推动顶得上、稳得住的数据基础设施建设为重点。数据基础设施既是保障数据安全的能力底座，又是支撑构建全国一体化数据市场的重要载体。《方案》落实党的二十届三中全会所提出的“建设和运营国家数据基础设施，促进数据共享”的要求，对于数据流通利用基础设施的接入和使用，按照数据分类分级保护的原则，依法作出了制度安排。尤为值得肯定的是，《方案》提出“对于未认定为重要数据，但企业认为涉及重要经营信息的，鼓励数据提供方、数据接收方接入和使用数据流通利用基础设施，促进数据安全流动。”数据接入是任何形式数据处理和使用的前提，保障数据接入安全是数据流通利用基础设施的重要功能。在数据基础设施建设与应用过程中，应坚持最大幅度降低接入成本、提供接入的技术便利、公平对待所有接入企业等原则，保障数据安全，促进数据开发利用。 03 打造数据流通安全服务，强化市场主体交易信心 我国数据产存转化率低，数据产得出却难流动，看起来海量用起来不多，关键原因在于过高数据流通风险成本与较低数据流通收益之间的矛盾，导致市场主体对数据流通交易普遍缺乏信任、且信心不足。针对数据流通的现状，只有降本增信，才能提质增效。在总体要求中，《方案》提出“以成本最小化实现安全最优化”是化解数据流通堵点的正确之道。在主要任务中，《方案》提出“丰富数据流通安全服务供给”，贯彻“以服代管”的思想理念，对保障数据流通全过程全环节的安全具有重要意义，标志着我国在数据流通安全治理理念和思路转型上迈出了重要一步。具体而言，《方案》一方面积极健全数据流通安全服务内容、充实服务供给，以培育健全数据流通安全检测评估、安全审计等服务，提升数据流通过程中的主体信任；以丰富数据托管等服务供给，研究探索为数据安全提供保险保障的可行方案，加强数据流通过程中的风险应对信心。《方案》另一方面鼓励支持数据流通安全服务创新、繁荣服务市场，通过强化数据安全服务的基础理论研究和核心技术攻关，加速数据安全服务发展专业化、规模化和一体化，实现服务增量，提升服务效能。值得强调的是，在数据流通安全服务多态性发展和规模性扩增的过程中，仍需以市场现实需求为导向、生产应用场景为牵引，更好地发挥市场作用，不可忽视数据安全服务有效竞争在促进数据安全服务高质量创新方面的重要功能。 04 加强数据流通安全执法，维护数据市场运行秩序 数据流通安全执法对保障数据流通过程安全、维护数据市场运行秩序具有显著功能。其一，通过严厉打击数据违法使用行为，防范化解数据流通安全风险；其二，维护数据流通各方主体权益，优化数据市场运行环境；其三，执法是最好的普法，通过发挥典型执法的示范效应，培育数据安全流通的市场文化。加强数据流通安全执法效能关键在于执法能力建设。 《方案》中明确指出要研究完善数据流通安全事故或纠纷处置机制，提升流通风险应对能力。在理解把握和贯彻落实时，首先，应当建立对执法本身的监督机制，避免机械执法、选择性执法、运动式执法等；其次，应当加强执法机构间的协同机制，明确权责清单、推动执法信息共享、强化跨行业领域执法合作等；最后，应当完善执法透明度机制，合理披露执法过程信息、适时开展执法情况通报等。数据流通安全执法应始终秉承为民执法、依法执法、规范执法，在法治轨道上推进数据流通和数据市场建设。 安全是发展的前提，发展是安全的保障。以高水平的数据安全体系建设，保障数据依法有序自由流通，充分发挥我国海量数据规模和丰富应用场景优势，实现数据高质量发展和高水平安全良性互动、相得益彰，才能持续繁荣数据市场，为培育发展新质生产力注入强劲动能。 来源（公众号）：北京数据
DEEPSEEK作为智能一款助手，在数据治理体系中具有深远的影响。它通过提供智能化、自动化和高效化的解决方案，推动企业在数据治理变革与领域的优化。以下是EPSEEK对数据治理体系影响的多角度分析： 一、战略层面：推动数据治理目标的明确与实现 1. 数据价值挖掘 DEEPSEEK强大的数据分析通过能力，帮助企业识别数据中的潜在价值，并将其转化为可操作的业务洞察。这有助于企业在制定数据治理战略时更加聚焦于核心目标。 2. 数据驱动决策 DEEPSEEK支持实时数据分析和预测建模，为企业提供科学的决策依据。这使得数据治理不仅仅是技术层面的工作，而是成为企业战略的重要组成部分。 3. 数字化转型助力 DEEPSEEK通过智能化的数据治理工具，帮助企业加速数字化转型进程。它能够将分散的数据资源整合为统一的数据资产，为企业的数字化战略提供坚实基础。 二、组织层面：优化数据治理的组织架构与协作 1. 跨协作部门 DEEPSEEK支持多源数据的整合与分析，打破了传统数据治理中各部门之间的信息孤岛。通过统一的数据平台，企业可以跨实现部门的高效协作。 2. 角色分工优化 DEEPSEEK通过自动化工具（如数据清洗、标准化、验证等），减少了人工干预的需求。这使得数据治理团队能够将更多精力投入到战略规划和高价值工作中。 3.数据文化塑造 DEEPSEEK通过提供直观的数据可视化和报告功能，帮助企业培养“以数据为中心”的文化。这种文化能够员工推动更加主动参与地数据工作治理。 三、制度层面：完善数据治理的政策与流程 1. 数据质量管理 DEEPSEEK通过内置的数据清洗、去重和标准化功能，帮助企业建立完善的数据质量管理流程。这使得企业能够更好地满足行业标准和监管要求。 2. 数据安全与隐私保护 DEEPSEEK支持数据加密、访问控制和隐私保护技术（如匿名化和脱敏）。这有助于企业建立符合法规（如《个人信息保护法》、GDPR等）的数据安全制度。 3. 合规与审计 DEEPSEEK提供实时监控和审计功能，帮助企业记录数据处理的全过程。这不仅提升了企业的合规性，还为审计提供了可靠的支持。 四、执行层面：提升数据治理的效率与效果 1. 自动化工作流 DEEPSEEK通过自动化工具（如数据清洗、转换、加载等），显著提升了数据治理的效率。这使得企业能够更快地完成数据整合和分析任务。 2. 实时监控与反馈 DEEPSEEK支持实时数据监控和异常检测功能。这使得企业能够在问题发生时快速响应，避免潜在风险对企业造成重大影响。 3. 持续改进机制 DEEPSEEK通过机器学习和自然语言处理技术，能够不断优化自身的算法和模型。这使得数据治理体系能够随着业务需求的变化而持续改进。 五、技术层面强化：数据治理的技术支撑 1. AI与大数据技术融合 DEEPSEEK基于先进的AI技术和大数据分析能力，能够处理海量、复杂的数据源。这使得企业在面对多样化数据时更具技术优势。 2. 灵活的扩展性 DEEPSEEK支持多种数据源的接入和集成（如结构化数据、非结构化数据等），并且能够根据企业的实际需求进行灵活配置。这使得治理体系数据更具扩展性和适应性。 3. 云服务与安全性 DEEPSEEK依托云服务提供技术支持，确保企业在享受高效计算资源的同时，还能保障数据的安全性和可靠性。 六、其他影响：推动数据治理体系的创新与变革 1. 降低治理成本 DEEPSEEK通过自动化和智能化工具，显著降低了企业在数据治理中的时间和人力成本。这使得中小企业也能够轻松实现高效的数据治理。 2. 提升用户体验 DEEPSEEK通过自然语言处理技术，能够更以贴近用户的方式提供数据服务。这使得数据治理体系更加业务贴近需求，提升了用户的满意度。 3. 应对未来挑战 DEEPSEEK通过持续的技术更新和功能优化，帮助企业应对未来的数据治理挑战（如伦理AI、数据主权等）。这使得企业的数据治理体系更具前瞻性和可持续性。 总结 DEEPSEEK对数据治理体系的影响是全方位的。它不仅提升了数据治理的效率和效果，还推动了企业在战略、组织、制度和技术层面的变革与创新。通过智能化和自动化的手段，DEEPSEEK帮助企业构建了一个更加高效、安全和可持续的数据治理体系，为企业的数字化转型提供了强有力的支持。 来源(公众号）：数据治理体系
spark sql 2.4 新增了高阶函数功能，允许在数组类型中像 scala/python 一样使用高阶函数 背景 复杂类型的数据和真实数据模型相像，但是使用sql操作较为困难，一般需要借助于 explod/collect_list 等方法，或者使用 scala / python 编写UDF，但是对每个方法都要定义并且注册，较为繁琐，其中 python udf 的性能由于需要在 JVM 和 Python 进程中进行序列化，效率更低。 例如现在有这样一种需求，对 t1 表中某个 array 字段 values 的每个元素加1 1. 只使用 sql 实现 此类方法会带来 shuffle 的开销，collect_list 也不能保证数据的顺序，同时要保证 group 字段全局唯一，否则结果会出错。 2. 使用 udf 的方式 使用 scala 定义 udf 或者使用 python 定义 udf 在 sql 中使用 udf 3. 使用高阶函数的方式 三种方式的性能对比图: 使用 Array 高阶函数 目前支持 transform / filter / exists / agregate / zip_with 方法 id arr_values nested_values 1 [1,2,3] [[1,2],[3,4]] 1. transform 对一个数组应用 function 产生另一个数组 如果 lambda function 中有两个参数，第一个参数为数组中的元素，第二个参数代表该元素的索引(从0开始) 2. filter 过滤出数组中符合条件的元素 3. exists 数组中的一个或多个元素是否满足条件 4. aggregate 给定初始值，并对数组中所有的元素都应用 function ，如果需要的话还可以加上 finish function 5. zip_with 将两个数组根据 function 合并为一个数组，较短的那个数组会以填充 null 的方式匹配较长的数组 复杂类型内置函数 spark 2.4 增加了大量的内置函数 1.array: array_distinct / array_intersect / array_union / array_except 等 2.map: map_form_arrays / map_from_entries / map_concat 3.array & map : element_at / cardinality 总结 1.spark sql 高阶函数可以避免用户维护大量的 udf ，且提高了性能，增强了复杂类型的处理能力。 2.collect_list / collect_set 返回的结构为 array ，可以直接使用高阶函数进行操作。 来源（公众号）：五分钟学大数据
