国内综合档案馆电子档案存储情况分析
2018/9/3 16:09:01 点击：
国内综合档案馆电子档案存储情况分析
2018-08-23中国档案史金
电子档案凭借完整性、共享性、便于传输、便于利用等优势，已成为国家档案资源的重要组成部分。随着信息技术的进步和档案数字化工作的开展，电子档案的存储量大幅增加。如何长期安全有效地存储电子档案成为档案部门亟待解决的问题。鉴于此，国家档案局档案科学技术研究所成立课题组，对国内多家综合档案馆进行调研，了解其在存储格式、载体选择、技术应用和数据组织等方面的工作，分析电子档案存储技术的特点和存在问题，并提出相关建议。
概况
1.数据特点
电子档案数据来源广泛，主要包括档案数字化、电子政务平台、内部办公软件、通用字处理软件、业务软件等数据，其中通过扫描、数字照相、摄像等数字化后产生的数据所占比例较大；电子档案存储量大幅增加，各地综合档案馆的电子档案存储容量已经从GB级达到TB级，甚至PB级；各种文件类型特点鲜明，图像类文件较大、数量较多、
占用的存储空间最大，文本类文件较小、数量最多、占用的存储空间较小，音频和视频类文件最大、数量较少、占用存储空间较大。
2.存储情况
在存储载体方面，使用的存储介质主要是光盘、磁带、磁盘。存储设备主要是磁盘阵列、磁带库及光盘库。存储介质的类型主要是DVD-R、LTO磁带、SATA盘和SAS盘，使用的主要品牌有索尼、JVC、莱德、紫光、昆腾、惠普、IBM、希捷、西部数据等。在存储技术方面，在线存储和离线存储是电子档案存储的主要方式，主要使用的存储技术是SAN技术，以及少量的NAS和DAS技术。考虑到数据安全、施工难度以及技术成熟度等问题，云存储技术的应用普
及度不高。
3.标准规范
在电子档案存储方面具有统一适用性的标准规范较少，主要是推荐性标准，如《电子文件归档与管理规范》和《磁性载体档案管理与保护规范》对存档载体的选择和使用提出了建议；缺乏存储载体使用方面的标准，如《电子文件归档光盘技术要求和应用规范》是目前唯一在介质层面对数据可靠性进行系统规范的标准性文件。
问题
1.存储格式种类繁多，非结构化数据量比重较大
根据调研，档案部门所使用的存储格式近20种，使用比例较高的存储格式有：TXT、DOC、XML、PDF、TIFF、JPEG、DBF、XLS、WAV、MP3、AVI、MP4等文件格式，这些不方便用数据库二维逻辑表来表现的数据都是非结构化的数据，大量的非结构化数据给电子档案存储的性能、安全和稳定性等提出了很高的要求。此外，非结构化数据的存储多采用文件系统进行保存，虽然这种方式实现简单，但无法实现文件的事务性访问，不便于数据的备份、恢复、迁移等。
2.存储介质的可靠性难以确定
存储介质无明确使用寿命。电子档案存储介质的使用年限由外部因素和内部因素2个方面决定：外部因素由保存环境（温湿度、磁场、尘埃、光照、有害气体等）、使用频度和使用方法等因素决定；内部因素由存储设备自身各项指标决定，如，光盘盘基的材料、记录层和染料层的材料，磁带带基的材料、磁层记录介质的稳定性，磁盘盘片、磁头的材料等。目前，存储介质出现问题的比例较高，种类多样，没有明确特征和趋势，其中数据无法读取的情况较多。
3.技术标准和管理规范不完善
在调研过程中我们发现，存储载体选择、使用、保存、维护等方面的标准很少，除光盘以外，磁带、磁带库、磁盘、磁盘阵列都没有形成系统的标准体系来规范存储工作，部分标准需要修订。由于存储设备在使用过程中问题多样，预见性差，没有确定的维护周期和检测方法，这种情况持续下去必然成为电子档案安全存储的巨大隐患。
4.已有技术标准未得到及时应用
目前，国家已经颁布了一些关于电子档案存储方面的标准，但由于宣传力度不够、技术水平较低、资金相对短缺等原因，相关标准并没有被广泛采纳。如，在存储格式方面，《电子文件归档与管理规范》中规定了文字型电子文件、扫描型电子文件、音频类电子文件、视频类和多媒体电子文件的通用格式，而在调研中我们发现，除了扫描类和音频类电子文件与规范要求相一致以外，文字型和视频类电子文件大多采用了规范要求以外的多种存储格式；在存储载体使用方面，《电子文件归档光盘技术要求和应用规范》中详细介绍了光盘的选择、使用、保存、维护和检测等方面的内容，而在调研中我们发现，很多单位在使用光盘存储时并没有依照该标准。
5.核心技术被国外厂商控制
调查显示，电子档案的存储介质和存储设备多为国外品牌，国产品牌仅占很小份额，同时，生产存储设备的核心技术基本由外国公司掌握。在这种情况下，不仅是存储设备的市场受到外国控制，更重要的是电子档案保密性和安全性受到严重威胁。近年来，美国“棱镜门”事件、海康威视设备被境外IP地址控制事件以及勒索病毒爆发事件等为电
子档案安全存储工作敲响了警钟。为了保证电子档案的安全可靠，要尽快建立安全保障体系，防止信息泄露的情况发生。
建议
1.政策方面
(1)建立电子档案存储的综合决策与信息反馈机制电子档案的存储工作必须加强统一领导与协调。一是要建立全国电子档案存储综合决策机构，统一组织全国电子档案存储攻关工作，为电子档案存储工作制定规划，并为相关科研机构提供决策服务；二是要建立全国统一的电子档案存储信息网络，不但可以了解全国各级档案馆的电子档案存储状况，也可以收集电子档案存储方面的数据信息；三是要加强电子档案存储部门间的合作和技术交流，尤其要学习引进国外先进存储技术和网络技术，及时交流成果，并在技术、设备和人员等方面达成共享。
(2)制定电子文件存储工作流程和管理办法
为了使电子档案存储工作顺利进行，必须实行制度化和规范化管理，电子档案存储的各个部门要保持统一和协调，使存储工作正常有序地运行。关于存储工作的管理可以参考以下几个方面：制定适宜的存储策略，采用在线存储、离线存储等管理方式，实现电子档案在不同存储系统中的迁移和转换；所使用的电子档案存储系统应经过检测；电
子档案应定期进行数据读取和检验；根据实际需求，制定电子档案管理工作制度。
(3)加大宣传力度，扩大已有成果的影响力
加强对现有文件、标准、技术等成果的宣传和贯彻力度，提高其推广和实施效果。通过网络、报刊等媒体扩大宣传，同时，组织编写相关指南、手册及教材等指导性材料，为用户解难答疑，促进现有文件和标准的执行。另外，还可以组织专门培训班，开展各种类型的学术活动，深化交流，有效扩大已有成果的影响力。
2.标准规范方面
(1)制定存储设备的技术标准
为了保证电子档案存储的长期性、安全性和有效性，存储设备检测标准的制定和检测设备的研制成为电子档案存储标准化的趋势。此类标准的制定可以从性能参数、使用要求、存储寿命、检测标准、数据迁移策略等方面入手，通过数据直观反映存储设备的运行情况和存储数据的保存情况，使电子档案存储有法可依、有据可查。
(2)制定存储介质的使用规范
由于存储介质结构复杂，其许多制造技术和检测方法国内并没有完全掌握，因此制定一套完善的标准体系比较困难。但是，我们可以从存储介质使用方面入手，制定相应的使用规范，如在数据迁移、检测标准、检测周期、保存环境等方面提出要求，减少存储介质在使用过程中受到的损害。
(3)制定数据迁移的技术标准
数据迁移是电子档案长期存储工作的重要组成部分。更换存储载体、系统升级、数据备份等情况都需要进行数据迁移。数据迁移工作的重点就是要保证迁移数据的完整性、准确性、一致性和安全性。然而，数据迁移工作种类多样、情况复杂，在数据迁移过程中容易出现问题。为了保证数据迁移工作的顺利进行，必须实现数据迁移的标准化和规范化。目前，常用的数据迁移类型包括：基于主机的数据迁移、数据备份及恢复、基于存储的数据迁移、应用软件迁移等。我们可以根据数据迁移类型的特点，制定相应的标准，从而规范操作，解决一些实际问题。
3.技术方面
(1)开展存储介质的可靠性研究
档案部门在注重存储介质性能的同时，更加注重存储介质的可靠性，只有了解存储介质使用寿命或数据存储性能，才能从技术上保证电子档案的长期存储。目前，有关存储介质可靠性方面的研究较少，应加大开展存储介质可靠性的研究力度，探索影响电子档案存储的关键指标，开展存储介质的相关试验和测试工作，为档案部门合理使用电子
档案存储介质提供依据。
(2)研究适合档案部门使用的海量数据存储技术
近年来，随着电子档案数据量的大幅增加，海量数据存储技术需求突显。从调研结果来看，图像类及视频类电子档案存储量增长幅度较大。这就要求档案部门跟踪研究海量数据（视频类、图像类文件）的存储技术，研究不同存储载体的工作原理、性能参数、技术特点、市场因素等，做好海量数据存储的技术储备工作。
(3)开展电子文件长期保存数据格式的研究
数据格式直接影响电子档案的原始性、凭证性和价值性。调研显示，数据格式存在种类繁多、非结构化数据量比重较大等问题，我们必须掌握国家标准规定的数据格式，了解相关行业通用的、开放的格式标准，选择适合电子档案长期保存的数据格式，开展其在档案行业的应用研究。
参考文献：
1.冯惠玲.电子文件管理教程[M].中国人民大学出版社,2001.
2.刘家真.电子文件管理理论与实践[M].科学出版社,2003.
3.方雷江.存储技术应用现状调查[D].长江理工大学,2014.
4.颜晓栋.电子文件的长期保存研究[D].武汉大学,2004.
5.唐跃进,万丽娟.数字档案信息存储与灾难恢复研究[J].档案学通
讯,2011(2).
6.冯丽伟.电子档案存储技术前期研究[J].中国档案,2015(1).
作者单位：国家档案局科研所
- 上一篇：“档案解密”与“档案开放”有什么不同？ 2018/9/4
- 下一篇：2018.9.3日新闻早餐三分钟 2018/9/3
