作者jakeyyu·2021-11-22 11:42

系统架构师·三甲医院

大数据时代，三甲医院PACS系统海量数据存储架构设计及挑战总结

字数 18213阅读 5712评论 1赞 7

**导读：**随着大数据时代的到来，当前医疗机构在PACS系统的架构设计和发展面临一个重要的问题，PACS系统架构如何设计和发展才能够满足三甲医院每日大规模患者影像资料的迅速查阅以及海量影像数据资料的长期安全保存。本期交流活动重点围绕PACS系统海量存储架构设计的技术路线，架构应该如何设计？挑战会有哪些？希望通过交流活动理清思绪，帮助更多准备升级改造或完善PACS系统的三甲医院提供更加清晰的选择决策逻辑和经验参考、从容应对建设挑战。

# 一、PACS系统未来如何设计海量存储架构，目前较为成熟的多元化存储的技术方案是否会考虑其中？

## 1、PACS系统存储架构如何设计才能具有更好的开放性、可扩展性、发展性、以及易用性？

如今，PACS系统作为医院信息化系统中一个重要的组成部分越来越被各级医院所重视，建设力度也是逐步加大。在国家指导下要求下，对PACS数据的保存时长做出了要求，面对长达几十年的数据保存要求下，对PACS系统的建设要求提高了。从医疗机构应用角度而言，系统需要存储非常大量的数据，一般从几百TB数量到PB数量级，存储设备架构以及软件架构需要使用很长时间，有很大概率会超出软件和硬件的生命周期，这就需要在建设中考虑到PACS系统架构的可扩展性，和必要时的重构。同时，PACS系统还需要提供高效的实时服务，近些年一些基于PACS系统图像的AI应用服务也蓬勃发展，这样度PACS系统的应用也提出了高要求。因此，如何设计架构使得在系统漫长的生命周期过程中，既能够保证基本的存储稳定性、可扩展性，又能够保障系统的易用性和发展性？

**嘉宾：wengping 系统工程师 , 戴尔**

目前最适合的架构是分级存储存储架构，既能满足性能需求，又能兼顾快速扩容和数据长期归档保存要求。戴尔科技的分级存储架构有两种：

1）传统SAN（PACS在线存储）+分布式NAS（PACS近线存储）+云（PACS归档存储）；

2）分布式SAN（PACS在线存储）+分布式NAS（PACS近线存储）+云（PACS归档存储）；

PACS应用性能要求高或者要支持AI应用时，SAN和分布式SAN存储可以选用全闪介质。

分布式NAS存储可以选择戴尔科技的 Isilon。Isilon可以从3个节点扩展到数百个节点，数十PB容量，而且硬件升级迭代不需要手工迁移数据。Isilon同时支持多协议访问，满足未来数据湖建设要求。云可以根据医院实际情况选择自建私有云，也可以选择公有云、行业云，并没有一个统一的标准。从实际情况看，大型医院选择自建的较多，小型医院选择公有云或行业云的较多。各级存储间的数据迁移可以由PACS应用实现，也可以通过戴尔产品自带的数据管理软件实现。戴尔科技的分级存储解决方案不仅能满足稳定性、可扩展性、易用性和发展性，还能提供完善的数据保护解决方案，防止PACS数据丢失，被病毒入侵等安全事件

**嘉宾：gaokakaxi 系统运维工程师 , 武汉同济医院**

PACS系统的存储架构在医院的信息化设计中，确实比较重要。由于数据量大，扩展性要求高，同时又要保证其性能，确实让不少医院感到头疼。在我院多年的PACS存储建设中，主要经历了以下几个阶段。服务器本地存储、集中存储和分布式存储三个阶段。

在PACS系统建设初期，由于数据量不大，CT等影像设备自带管理服务器，数据就存储在本地，方便医生工作站调阅，但是随着数据量的不断增大，这种方式很快就无法满足需求了。在数据量增加到TB级的时候，就需要考虑集中存储了，使用集中存储统一管理数据，根据国家要求购买备份设备并做好数据备份。但是随着数据量的不断增加，新的问题又出现了。集中存储的扩展能力有限，而且随着数据量的增加，性能也产生了瓶颈，在业务高峰期，很难满足医生数据调阅的需求。

为了应对这种变化，后来部署了分布式存储架构，以上这些问题都得到了很好的解决，而且还降低了建设成本。分布式存储最大的优势就是可以按需扩展，而且性能不会降低，还会随着扩展节点的增加而线性增长。很好的解决了PACS系统的数据存储问题。

另外，在目前云架构的趋势下，如果云存储的存储效率、成本、安全问题可以得到很好的解决的话，未来PACS存储或许采用云存储也是个不错的选择。

## 2、PACS影像数据存储数据量不断增长，未来存储架构设计如何考虑？

PACS影像数据存储的痛点源自影像数据的不断增长、海量文件以及对大量存储空间的需求。长期存储，运营成本高：《医疗机构管理条例实施细则》第53条要求门诊影像数据保存期不少于15年，住院影像数据保存期不得少于30年，医院通常不区分门诊和住院数据，超期后也不考虑删除，长期保存占用空间较大。因此医院的存储架构设计需要考虑到未来的不断扩展。

**嘉宾：wengping 系统工程师 , 戴尔**

目前最适合的架构是分级存储存储架构，既能满足性能需求，又能兼顾快速扩容和数据长期归档保存要求。戴尔科技的分级存储架构有两种：1）传统SAN（PACS在线存储）+分布式NAS（PACS近线存储）+云（PACS归档存储）；2）分布式SAN（PACS在线存储）+分布式NAS（PACS近线存储）+云（PACS归档存储）；以上两种方式在大型三甲医院都有应用案例。具体采用哪种方式还需要根据 PACS 应用的特点和具体需求来确定。至于云可以根据医院实际情况选择自建私有云，也可以选择公有云、行业云，并没有一个统一的标准。从实际情况看，大型医院选择自建的较多，小型医院选择公有云或行业云的较多。

**嘉宾：uckfeng 系统工程师 , 万达信息**

目前传统存储的水平扩展能力已经逐步难以满足医院越来越多、以及越来越快的影像数据的增长速度。所以越来越多的医院开始采用分布式存储的解决方案来保证15年数据存储的政策要求。

**嘉宾：jakeyyu 系统架构师 , 三甲医院**

未来存储设计除了考虑传统的SAN网络存储以外，分布式超融合架构也可以考虑，主要是使用成本的考虑

## 3、关于医院PACS系统的存储架构升级改造？

医院的PACS系统基本上是非结构化数据，数据量每年的增长幅度在20T左右，现在的架构是传统的VMware 虚拟化+SAN集中式存储架构，根据医院后续的发展，存储扩展需求很大。 后续是否可以考虑迁移到VMware 虚拟化+分布式存储架构上，以便有更好的存储可扩展性，不知分布式存储可否满足PACS系统的高I/O性能需求。

**嘉宾：wengping 系统工程师 , 戴尔**

迁移到VMware虚拟化+分布式存储架构上是完全可以的。有升级的大型三甲医院就是采用的这种架构，具体产品是戴尔科技的超融合VxRail+分布式NAS Isilon+云存储ECS。考虑到你院现有的数据规模，采用VxRail+Isilon架构即可，云存储可以以后或者二期建设再考虑。至于性能，建议收集现有SAN存储上的一周的性能参数，了解PACS应用真实的性能数据，这样选择分布式存储时有据可依。从医院的生产实践看，戴尔科技的分布式存储是完全满足各级医院的 PACS 性能需求的

**嘉宾：夏之曦 技术总监 , 马鞍山十七冶医院**

所有医院PACS都面临同样的问题，个人觉得分布式存储架构会是以后的架构变更主要趋势，对于非结构化数据暴增的可扩展性，设备的易维护性，冷热数据的优化处理等等各方面要优于传统的SAN存储

**嘉宾：Yilanzhu 系统架构设计师 , 某中医院系统架构师**

医院在线和近线PACS 图像存储原来都是使用的传统集中式存储系统，存储主控服务器成为系统性能的瓶颈，也是可靠性和安全性的焦点。原集中式存储的扩容限制条件很多，只能买指定的盘笼和专门的硬盘，价格昂贵，及时性也无法保证。为了提升PACS存储系统的性能，增强安全性，我院采用了分布式存储系统来进行存储扩容，分布式的存储方式均匀地负担了一台存储所承载的负荷，性能随着节点的增加而提高，实现了高可用性和更高IOPS。实施效果：

（1）通过后台测试，一个5000条结果的SQL语句，原数据库需要8S左右执行完，在新的数据库中，只需要2S左右就能执行完。

（2）高峰期医生工作站打开CT图像的时间从10秒以上变为不超过3秒。

（3）图像调阅服务器网络使用率从原来的70%-100% 降低到不超过25%。

（4）图像从在线存储（本次未升级）转存到近线存储（升级为分布式存储系统）的速度从15Mbps提升到20Mbps。

**嘉宾：diliangyu520 系统分析师 , 内蒙古医科大学附属医院**

使用分布式尽量做好性能测试，防止出现瓶颈，还要做好分布式存储的技术选型和硬件使用，不然正式用起来之后出现问题改架构是很痛苦的事

**嘉宾：coldwind21 系统运维工程师 , 汕头市中心医院**

趋势都是以分布式存储 或者 云存储为主，毕竟pacs影像的数据量大，保存时间长

**嘉宾：jimV5 存储工程师 , 金融保险**

应该让计算和存储解耦。20T的空间增速一点也不大。医院数据是需要长期保存的且重要，需要备份。当前市面上一块普通机械盘的容量都18TB了，硬盘厂商推销的jbod或者raid保护的RBOD，4u可以放106块硬盘。可用容量至少1pb ,20T增速可以用50年。构建一个私有云提供计算资源池，加入备份永久保存。非结构化存储资源池以制定高速与普通温存储及低速冷存储的分级资源池。这非常值得考虑。我司可以提供一整套解决方案。有需要随时联系。

**嘉宾：uckfeng 系统工程师 , 万达信息**

现在越来越多的医院已经或者将来已经越来越快的在考虑将影像数据往分布式存储架构上进行迁移，传统的集中存储不可避免会在生命周期的中后期都会存在一定的性能瓶颈，分布式存储可以较好的通过数量的优势解决一部分的性能瓶颈问题，也拥有更好的灵活性。

## 4、海量PACS存储能否上云？

目前大型三甲医院的PACS存储比较合适的存储架构是什么？是否能够实现云存储，如果上云那么在线、近线、离线存储需要怎样去设计，保障医院对PACS调阅的体验，谢谢！

**嘉宾：wengping 系统工程师 , 戴尔**

PACS 数据是长生命周期的数据，所以大型三甲的 PACS 存储架构推荐使用，主流大品牌，长生命周期的厂商，横线扩展的池化存储架构。上云可以，放在什么“地方”不重要，只要用资源的时候是云的感受，“埋单”的时候是云的感受，这就是云了。云可以在自己机房，可以在 IDC 。如果在远端 IDC ，带宽和安全是个问题，考虑清楚了可以上。自己机房有条件的话放在自己这里最好，利用一些灵活的基础架构订阅方式，完全可以实现“埋单”的时候也是云的感受。用资源的时候也是云的感受，同时又没有访问带宽和安全风险。在线，近线，离线投入的资源比例和调度策略完全看业务需求，调度方式可以用基础架构的相关功能来做，也可以用应用厂商来做，案例都有。您可以联系当地的我们的咨询顾问。

**嘉宾：gaokakaxi 系统运维工程师 , 武汉同济医院**

目前大型三甲医院的PACS存储架构主要有集中式存储架构和分布式存储架构。大部分医院还是以集中式SAN存储为主，近几年正逐渐向分布式存储进行迁移和过渡。是否能够实现云存储，还是主要看医院的PACS业务存储需求，主要考虑以下几个方面。

（1）、医院全部业务系统都部署在云上，例如上海某妇儿医院，已经实现全院信息系统云部署，当然也包括PACS系统，为了保证 PACS调阅 体验，需要加大云的带宽和数据存储性能。

（2）、医院部分业务上云，或者使用混合云架构。对于这类医院的业务，通常PACS系统是部署在本地的私有云的，因为PACS系统对数据存储和性能都有比较高的要求，使用本地私有云部署，可以在稳定、可靠性上更具有优势，可以保障 PACS调阅的体验

（3）、医院本地使用PACS系统存储，将PACS系统数据备份上云，因为本地进行数据存储和保管的成本可能会比较高，或者本地数据中心的面积有限等因素的制约，需要将离线数据上云存储。在这种情况下需要综合考虑成本和效率。例如，按存储5年寿命进行计算，考虑本地数据存储、管理等总体拥有成本，再比较上云5年的租赁成本进行综合分析，选择最优的方案。

**嘉宾：uckfeng 系统工程师 , 万达信息**

从目前的法律法规来讲上云存在一定数据安全风险，目前大部分的医院还是采用高性能的在线存储，以及大容量的近线存储本地部署的解决方案，离线存储则可使用磁带、光盘等离线介质进行存储保留。

**嘉宾：jakeyyu 系统架构师 , 三甲医院**

考虑到带宽，存储量，访问时效性、及时性不建议完全上云，可以有限度的上云做一些应用。

# 二、海量存储架构如何选型，选型考虑的技术要求有哪些

## 1、PACS存储的选型？

目前主流的软件定义分布式存储架构分为两种：

（1）基于普通服务器：将普通X86 服务器作为存储服务器，多台组成一个整体的虚拟存储设备，存储服务器不承载虚拟化应用，仅提供存储功能，请专家讲讲这方面的PACS的应用

（2）基于超融合一体机：将承载存储和虚拟化应用等全部整合进超融合一体机，在以软件控制，实现存储和计算资源的完全融合，无需增加虚拟服务器，请专家讲讲这方面的PACS的应用。

**嘉宾：Dell_zhangcan 架构师 , 戴尔科技**

（1）戴尔科技的PowerScale（以前叫Isilon）就是这样分布式存储，只提供存储空间给PACS应用，用于存储海量的影像数据，PACS应用服务器运行在SAN存储或者单独的虚拟化环境中。国内有300+以上的三甲医院采用PowerScale保存 PACS 影像数据；

（2）国内也有 200+ 以上的三甲医院采用戴尔科技的超融合一体机（VxRail）承载医院的核心应用。不过将 PACS 的影像数据也存储在超融合设备上的医院较少，因为这样无法做到计算资源和存储资源的单独扩展。更多的医院采用的是VxRail+PowerScale这样的全分布式架构，超融合产品VxRail上运行所有的业务虚拟机和存储数据库数据，分布式NAS 存储PowerScale上存储海量的PACS影像数据。这样的架构能很好地兼顾性能，容量、扩展性和成本要求。

**嘉宾：匿名用户**

PACS系统产生的数据为非结构化数据，所以应采用文件存储系统，或分布式文件系统进行保存。由于单体文件size不大，需要存储系统能提供大量小文件场景下的稳定带宽输出。

2、针对三甲医院PACS新一代系统建设，DellEMC现在有哪些新解决方案？

**嘉宾：wengping 系统工程师 , 戴尔**

针对新一代PACS戴尔科技有多种解决方案满足不同需求：

1）分级存储解决方案，解决PACS访问性能、海量数据管理和长期归档难题；

2）数据湖解决方案，满足多种PACS数据整合、数据管理、数据安全和数据再利用问题，消除数据孤岛，提高数据挖掘效率；

3）AIPACS解决方案，提供从服务器、网络、存储整体解决方案，满足 AI 应用平台的高性能、高扩展性和高稳定性要求；

4）PACS数据保护解决方案，因为数据量巨大，PACS数据保护不适于采用传统的备份解决方案。戴尔科技有完善和全面的PACS数据保护解决方案，有效防范物理设备故障，病毒入侵，人为误操作等等造成的数据丢失，数据破坏等。

## 3、PACS影像存储性能问题？

专家们好，想请教一下几个问题：

（1）我们在设计PACS影像存储时，最应该考虑存储哪方便的性能问题，例如吞吐量、IOPS、延时等等。（2）在实际生产环境中，PACS影像存储最大的性能瓶颈在哪方面？（3）刚刚看到EMC的解决方案，将近线的PACS影像数据保存在SAN存储中，历史的影响数据保存在分布式存储中的解决方案，这种方式是基于什么技术实现的？

**嘉宾：wengping 系统工程师 , 戴尔**

1）容量，性能和可扩展性都是需要考虑的方面，在线影像由于比较小，我们考虑IOPS，吞吐量和延迟。近线甚至归档，我们就考虑容量和可扩展性还有品牌生命力了。总的来说就是分场景，分层。

2）在实际生产中，比较容易性能体验不好的，就是对远期影像的调用慢和在线影像的响应时间长。解决方案还是适当增加在线影像的存储空间。

3）在这个方案的框架中，影像数据在各个产品中的流动是有应用软件来实现的。

**嘉宾：jakeyyu 系统架构师 , 三甲医院**

因为目前pacs系统的存储架构选用的三层架构居多，因此，三层包括在线，离线和归档，对于不同应用级别的存储其对性能的要求是不一样的，而且结合pacs系统的投资成本考虑，这种结构，性价比较高。例如归档存储，对其性能要求不高，归档存储不需要在线实时高吞吐量的访问。而在线存储的压力较大，需要满足日常医院内部大量的影像访问读取和写入，对其性能要求很高，同时对于pacs系统的网络架构，带宽的保证尤为重要。因此，我认为，按三级架构的需求，存储也可以按照性能高、中、低进行搭配，同时，生产过程中瓶颈容易出现在系统软件的算法层面和网络带宽，好的算法对于高并发的影像数据的存取调度有序，在提高系统效率方面起到很大作用，网络带宽充足可以保证并发业务数据传输的稳定性和快捷性。

## 4、小文件的低成本备份方案？

现在存在约100TB的文件 ，但大部分文件都不变。如果将每天增量进行自动备份，同时对比检查是否成功？备份可以采用低成本的，不需要双活。

**嘉宾：wengping 系统工程师 , 戴尔**

如果您的文件是 单个文件100 多 K 以上，而且需要长期保存（ 10 年以上）购置主流大品牌的带横向扩展的 NAS 存储即可，如果是十几 K 甚至更小的文件，如病案翻拍，缩略图之类的，如果总体体量小就用 BLOCK 存储，如果体量大，强烈建议使用对象存储，对象存储在处理小文件的场景有优势。影像数据我们推荐使用存储之间的复制进行保护，每次复制任务都会有日志表达这次复制是否成功。如果需要成本低，各大厂商都有性价比很高的入门级存储，需要注意的是，复制或者快照等主要功能还是需要的，不然迁移数据，是个大问题。为什么要主流大品牌，因为 PACS 影像是一个长生命周期的数据，“短命”的存储品牌会给以后带来麻烦，数据量大了，产品线没了，迁移出去都需要支持而得不到支持，绝望。

## 5、如何解决同一时间段的数据大量的读取？

浦东那么多社区医院同时传输数据和调取数据，对于核心节点的带宽和写入/读取数据要求很高，如何解决同一时间段的数据大量的读取？

**嘉宾：wengping 系统工程师 , 戴尔**

为了解决并发性能，从基础架构的层面，我们推荐使用分布式系统，但是我们同时也发现有些应用厂商在读写的时候只支持“单流”，所以也需要应用厂商在做文件读写的时候支持并发的读写。

**嘉宾：雷智 技术经理 , 某省农信**

这是典型的大流量、高并发场景，类似双11洪峰，根据互联网及金融行业的应对经验，大致有以下三个解决思路：

（1）技术架构层面。在数据读写方面，可以横向采取分区、分表策略，例如按照物理地点、医院类别、数据量大小等进行拆分，扩充物理节点数，增加数据库和磁盘IO。在核心节点带宽方面，可以纵向增加1-2级物理网络和系统节点，分散网络流量。此方法对系统架构改动量较大，实施风险较高，优化周期中等。

（2）技术产品层面。倚靠提升网络设备、磁盘读写、服务器性能等物理方式，以及使用分布式数据库、存储等新产品来解决当前性能瓶颈。此方案投资成本较高、实施风险较高，优化周期较长。

（3）管理措施层面。通过分时段、分片区等管理方式，降低数据传输及读写并发洪峰。此方案无投资成本和实施技术风险、但存在舆论风险并未从根本解决系统瓶颈。

建议以上方法可以多措并举，优先从管理措施层面有效引导前端数据分时分段传输，消解当前燃眉之急。同时研究方案1，2的可行性并抓紧优化。

**嘉宾：Dell_zhangcan 架构师 , 戴尔科技**

需要从两个方面解决这种大并发的问题

（1）PACS 应用做优化，最好实现读写分离和集群化，这样当并发量突然激增时，前端应用不会成为瓶颈，且能够弹性扩展满足高并发性能需求；

（2）采用分布式全闪存储满足大并发量的IO读写需求。分布式存储的特点在于前端读写的服务器数量越多，越能发挥分布式存储多节点架构的性能优势。

**嘉宾：jakeyyu 系统架构师 , 三甲医院**

这个是如何解决高并发，提高带宽的问题，特别是在院内图像信息的传输往往对带宽要求很高，这就要求在医院内部网络架构的设计中考虑数据吞吐量的问题，例如，在交换机层面楼层汇聚交换机采用万兆光交，园内所有链路统一光纤，诊室终端接入以及影像部门接入至少稳定在千兆传输速率，特别传输集中的部门，影像部门需要特殊照顾，采取扩大带宽的设备和链路。

**嘉宾：Yilanzhu 系统架构设计师 , 某中医院系统架构师**

网络带宽，只能解决数据通讯问题，没有从生产环境上解决问题，我在某医院设计时，采取了策略，数据分层存储，近期的数据可以存储在速率较高的SAS磁盘上，超过3个月的数据存储在NLSAS磁盘上，以提升整体数据存取效率。

**嘉宾：diliangyu520 系统分析师 , 内蒙古医科大学附属医院**

除了升级带宽及网络设备外，还建议增加硬件的负载均衡，这样可以有效解决拥堵问题，成本相对前者要低不少还节约时间。

**嘉宾：匿名用户**

个人感觉，这就是如何应对高并发问题，可以参考CDN网络，但是这会增加数据存储成本。如果是一步集中，估算一下所需带宽，也可以考虑分布式。

# 三、PACS如何兼顾业务需求和海量数据存储性能之间的需求

## 1、PACS存储如何兼顾容量需求和性能需求？

PACS存储对容量需求较大，许多单位建设初期主要考虑容量需求，采用NAS文件存储，但随着信息化建设的深化，当前影像系统对存储读写性能的需求也逐渐增大。因此在新的存储构架存在两个问题：（1）在新的PACS存储构架规划中，应该如何兼顾存储容量需求和性能？（2）对旧的历史数据应该如何处理？

**嘉宾：wengping 系统工程师 , 戴尔**

（1）处理这个问题各大厂商的核心思路都是：横向扩展，搭“积木”。“积木”有各种各样的，有的容量大，有的性能好，各种不同的砖头搭在一起，形成一个池子，按需分配，活在当下即可。PS：选个靠谱命长的厂商。（2）旧的历史数据最优选择是删了，具体有什么后果可以咨询一下“罗翔”老师。哈哈哈。。。需要长期保存的话，考虑好了网络带宽和安全合规问题，可以上云。自己机房有空间，可以用大容量低成本的“积木”存起来。该花的钱，逃不掉的。

## 2、pacs存储数据如何保存长期数据？

随着使用年限增加，PACS数据呈海量增长，但存储设备老化后，故障维修成本逐步增加。如何在建设新存储构架时，兼顾旧数据的存储迁移成本？

**嘉宾：wengping 系统工程师 , 戴尔**

解决这个问题核心技术思路：横向扩展，横向扩展，横向扩展，重要的事情说三遍。每年加新节点进去，每年踢老节点出来。全程在线，不影响业务。考虑这个问题的战略核心：品牌活得够长，活久见。甲方是个“常青树”，乙方不能是“短命鬼”

**嘉宾：diliangyu520 系统分析师 , 内蒙古医科大学附属医院**

几个思路，以做参考：迁移到云端，放云端存储，尤其是归档文件，3.5年内使用率非常低的那些可以空余出大量数据使用分布式存储，这样扩容调整比传统存储效率高很多，但要注意技术选型和硬件使用。

## 3、医改的不断深入，医院对数据的重视程度，现今PACS系统复杂的应用环境，如何设计海量存储架构？

现今PACS系统复杂的应用环境，如何设计一个在满足目前要求的PACS系统的海量存储方案，包括存储架构的选择、数据存放模式的确定、存储级别的划分和各级存储介质的确定以及与之对应的管理程序（包括备份、恢复、归档、备份检索、监控及预警功能）？

**嘉宾：Dell_zhangcan 架构师 , 戴尔科技**

根据 PACS 系统的数据量，数据保存期限，数据访问方式和访问性能要求。最合理的架构为分级存储架构，即：在线+近线+云存储架构。在线存储可以根据 PACS 应用特点选择全闪SAN存储或全闪分布式NAS存储，保存半年到一年以内数据；近线存储建议选择可以横向扩展的分布式NAS存储（如戴尔科技的PowerScale），保存1-3 年以内数据。这样既能兼顾 PACS 历史影像数据访问性能，简化海量数据管理，也能确保存储硬件升级迭代时无需手工迁移数据；

云存储可以根据医院具体情况选择自建私有云、行业云或者公有云，存储3年以上的归档数据。无论采用哪种云都需要确保以下几点：

1 ）云存储容量可以快速按需扩展；

2 ）存储上亿的文件数后不会导致文件访问性能下降或无法访问；

3 ）有满足三级等保要求的数据保护机制；

4 ）可以通过Http、FTP、RestAPI、Hadoop等多种方式访问到云中的数据；

戴尔科技有和产品配套的监控预警解决方案，满足设备运维和监控需求。

**嘉宾：Yilanzhu 系统架构设计师 , 某中医院系统架构师**

影像的上传下载采用文件传输协议( File Transfer Protocol，FTP) ，在部分场景支持优化定制的开发工具包( Software Development Kit，SDK) 。检查仪器采集的影像数据，以FTP 方式上传至分布式存储。检查报告工作站和临床医生工作站调阅时，先从DMZ 的ＲIS、EMＲ 数据库读取患者资料、检查结论等结构化数据项，然后发出影像下载请求。DICOM 网关内置统一的影像寻址排序规则，先至分布式存储下载，若找不到再被分配至集中式存储下载。面向互联网业务的微信掌上医院等移动应用通过网闸、防火墙设备，以SDK 接口获取并实时生成云胶片。管理后台设有定时任务，当分布式存储使用量即将到达上限时，计划任务会自动将影像以多线程流媒体方式转储到集中式存储，如图：
![](/home/attachment/202111/22/1245157_163755300485086.png)

## 4、PACS影像平台应用方案主要内容？

Dell PACS影像平台方案，在IAAS层提供了网络、存储、计算等方案，进一步，在PAAS层，是否有提供针对影像数据的整合、管理、应用开发套件等相关数据治理功能(元数据、血缘分析...等)、基于图像识别算法模型可扩展组件库以及支撑商业分析的中间件平台，可以为第三方应用开发厂商提供低代码应用数据开发平台，因为海量影像数据存储、分析涉及到性能、稳定性等问题，不光是底层存储、网络，还涉及到应用平台架构对存储访问、多级分析等等因素，未来的云原生解决方案，进化的一个重要目标是使开发人员以专注业务问题并提供出色应用解决方案，让花费在非功能性问题上的时间和精力更少，请问 Dell PACS影像平台解决方案，针对以上描述应对的方案有哪些。

**嘉宾：Dell_zhangcan 架构师 , 戴尔科技**

戴尔科技除了提供 IaaS 层的解决方案，也提供 PaaS 平台建设解决方案。具体到影像应用平台，我们有专门的数据管理平台解决方案，对海量数据进行快速分类、管理和检索，提供对基础架构平台的实时运维监控，动态显示容量、性能、设备等各种运行参数，减轻影像平台运维负担，让客户集中精力在应用开发、升级和运维上。

## 5、影像存储是否需要和常规医疗业务系统数据存储分开？

医院有各类大大小小的业务系统，往往从成本考虑会建设一套存储架构应用于各业务系统，对于数据增长较快的PACS影像是否有必要和其它业务系统存储分开？

**嘉宾：wengping 系统工程师 , 戴尔**

据统计医院数据的 90% 以上是 PACS 影像数据，而且增长速度远高于 HIS 、 EMR 、等数据库业务系统的数据。因此将 PACS 数据和常规医疗业务数据分开存储是有必要的，很多医院在生产实践中也是这样做的

**嘉宾：gaokakaxi 系统运维工程师 , 武汉同济医院**

根据我院的实际经验，建议分开进行存储。因为影像科室和其他科室相比，是一个相对比较独立的科室，在对数据的存储和使用上也有自己独立的数据管理流程。

另外，由于PACS系统通常数据量都比较大，而其他系统，例如核心HIS和EMR等系统的数据量只有几个TB ，每年数据量增加也就不到1TB。将 PACS系统数据和其他医疗业务系统分开，可以方便进行管理。而且即使对存储系统进行扩容，也不需要整体停机扩容，只需要扩容PACS存储就好了，对其他系统的影响会降到最低。

最后，PACS系统需要大容量，高扩展的数据存储方案。而HIS系统需要高性能，高可用性的数据存储方案，对存储架构的需求也完全不一样，建议分开存储比较好。

**嘉宾：jakeyyu 系统架构师 , 三甲医院**

PACS系统由于系统存储的内容的特殊性-以影像资料为主，分为管理系统的存储（一般是患者信息，检查报告等）和影像资料存储，因此，最好不要和其他医院核心业务共用存储，当然可以考虑PACS管理系统的数据库与核心业务共用存储。

**嘉宾：uckfeng 系统工程师 , 万达信息**

基本上大型三级医院对于影像存储的 IO访问量以及存储空间有着独立的性能以及安全性的要求。对于二级医院以及社区卫生服务中心则可以从成本以及性价比的角度出发对HIS、LIS、PACS存储进行合并，最终还是从医院的最终需求出发进行解决方案的设计。

# 四、其他方面

## 1、如何实现在线，近线和归档影像资料的分类管理与自动迁移？

当下医院存储的PACS图像分为三类，在线图像数据一般是1年内，访问最多，近线数据1-3年，访问较多，3年以上访问很少。如何根据分类，来设置存储方案，既方便快捷又经济实惠还能实现到期自动迁移？

**嘉宾：wengping 系统工程师 , 戴尔**

实现在线，近线和归档影像资料的分类管理与自动迁移主要有三种方案实现：（1）通过存储内置的功能特性实现，例如DellEMC Isilon存储系统可以根据时间、文件类型等不同维度来设定自动的迁移方案。好处是操作简单，工作量小，仅在存储端做一次规则设置，就可以一劳永逸，无额外的管理成本。对于软件应用不用做任何配置和改动，即使随着数据的增长需要对硬件进行扩容升级也不需要，没有任何负担。（2）通过PACS应用软件实现，主流的PACS应用软件都具备相关的功能，可以根据其自有的规则和定义对PACS数据分类，一般分为三类（在线、近线和归档）或二类（在线、归档），好处是基本没有对存储的功能要求，普通存储系统即可实现。但实施比较复杂，可能需要定制化开发，运维也比较受限，每次扩容还需要应用软件开发商配合，重新配置甚至二次开发，可能会产生额外的服务费用。（3）通过专门的归档软件实现，兼具了两者的好处，但会额外增加一笔软件成本。综上所述，不同的医院应根据自己的实际情况选择最合适的解决方案，充分考虑已有 PACS 系统的建设情况和3至5年内的规划，综合评估是否有利旧需求等各种因素。

**嘉宾：gaokakaxi 系统运维工程师 , 武汉同济医院**

在对PACS的数据分类存储上，通常超过一年左右的数据，就做近线或离线归档存储了。因为通常病人看病拍一次片子后，首次调阅后进行再次调阅的几率不是很高，而且在复检时还会再拍一次片子。在整个诊疗周期内，可能需要通过对比对不同时间段的病情进行同时调阅和处理，但是超过一年后，很少会再次进行全部调阅，可以根据本院的实际情况进行自动迁移处理。

根据存储架构的不同，进行迁移的方案也不同。 例如采用SAN集中存储，可以使用数据备份软件，设置相应的策略，设定数据保留时间， 实现定期的数据迁移。例如，超过1年的数据，自动复制到近线存储设备，超过3年的数据自动复制到离线存储设备。如果采用分布式存储或者其他存储，也可以选择存储自带的备份机制进行数据复制和管理，原理基本上都是一样的。

## 2、关于中小型三甲医院现有PACS系统扩容或者迁移至分布式存储的可行性？

本人所在单位为一家中小型三甲综合医院，PAC系统至今已用3年有余，现有影像资料主要存储SAN存储中，今年已经由于容量超过警戒位已经扩容一次，根据扩容的容量估计，顶多还可以再用3年。所以就存在一个问题，3年之后是再扩容还是选择现在较流行的分布式存储或者SDS（这两者我也没有具体差异优劣在哪里我还没有研究过，是否在市场上是同一类产品？）基于题干中几个核心的问题，扩容+数据利用+可维护性，加上分布式存储或者SDS的成熟稳定性，更计划倾向于迁移分布式存储或者SDS请问是否存在这种现有系统的迁移案列及相关可行性分析，对于SAN存储中的已有数据是否只作为利旧处理。分布式存储是否就完善的冷热数据处理机制以提高存储读取、系统调阅效率？

**嘉宾：Dell_zhangcan 架构师 , 戴尔科**

从您的问题看是可以将应用迁移到分布式存储上，比如戴尔科技的分布式NAS产品Isilon。Isilon有全闪节点、高性能节点和归档节点三个系列，数据可以按照指定的策略在三种节点间进行自动的数据迁移。Isilon也能实现全自动硬件升级迭代，即老的节点使用3-5年后，可以在集群中加入新的硬件节点，系统会自动将数据迁移新节点，最后手工将老节点移出集群。这样数据迁移，硬件的升级迭代和扩容都非常方便，而且无需前端PACS应用参与，对生产业务也没有影像。建议将老的 SAN 存储上的数据迁移出来，毕竟存储硬件总有退役的一天，最终这些数据也是要迁移到新存储中的。迁移工作越早做越好，否则当老设备过保或者故障率高发时再进行数据迁移会麻烦很多。当然也可以采用SAN+分布式存储的架构来解决性能、扩容和数据迁移问题。具体解决方案可以咨询戴尔当地的技术专家。

**嘉宾：匿名用户**

不知道您使用谁的PACS，可以给您大致说下我们这边的经验。之前也都是SAN，使用华为的存储，本身储存有SAS和固态，存储内部进行了分层，业务都是用固态，归档使用最慢的SAS。后来整个业务迁移云段使用SAS的CEPH，效果很差，后来全部改用固态才好转，所以选用分布式存储时一定要考虑好。

**嘉宾：Yilanzhu 系统架构设计师 , 某中医院系统架构师**

目前主流的软件定义分布式存储架构分为两种：

（1）基于普通服务器：将普通X86 服务器作为存储服务器，多台组成一个整体的虚拟存储设备，存储服务器不承载虚拟化应用，仅提供存储功能。

（2）基于超融合一体机：将承载存储和虚拟化应用等全部整合进超融合一体机，在以软件控制，实现存储和计算资源的完全融合，无需增加虚拟服务器

我为满足医院互联网医院业务系统数据存储应用需求, 以及后续存储规划策略和信息基础存储平台的搭建，采用分布式软件定义存储与虚拟化技术结合，将互联网医院应用部署在标准X86 服务器构成的服务器虚拟化上, 以保障业务应用的持续性；同时部署分布式软件定义存储，组建形成统一存储资源池, 为前端业务提供存储服务，它们之间通过万兆交换机做数据交换。

**嘉宾：wengping 系统工程师 , 戴尔**

分布式存储带来的性能收益是可以并发读写，但是前提也是需要应用软件支持并发读写而不是“单流”，不过往往一个分布式平台不是给一个应用场景使用的，而是一个池子，所以众多“单流”也会形成“并发”。分布式存储带来的收益还有一个就是生命周期长，可以不断横向扩展，滚动更新，很适合PACS影像数据这种数十年生命周期的产品，不过选择合作品牌的时候需要选择生命周期有保障的品牌。

**嘉宾：gaokakaxi 系统运维工程师 , 武汉同济医院**

根据我院的实际经验，建议不要再进行扩容了，尽早进行数据迁移。主要有以下几点原因：

（1）因为集中式存储是有性能瓶颈的，你扩容的盘柜越多，达到一个临界点，性能是会下降的。

（2）数据全部配满之后再进行扩容，数据迁移的难度会更大。大量的数据进行迁移，会极大的增加数据迁移的难度。

（3）现有存储使用的年限越久，存储故障的风险也会加大，一旦出现故障，数据损失的风险会更大。

（4）关于分布式存储或者SDS，属于同一类产品的不同说法。分布式存储基本都是属于SDS架构产品。

（5）目前分布式存储的性能和稳定性相比较于前几年已经有了很大的提高，从集中SAN存储迁移到分布式存储完全没有问题。可以使用数据备份软件、数据迁移工具等提高数据迁移效率，或者简单的使用FTP进行数据复制，甚至是对数据直接进行复制都是可以的。

（6）对于原有SAN存储，可以作为冷备数据存储或者利旧给其他系统使用。

（7）目前大部分的分布式存储都具备类似数据热点技术和缓存技术等冷热数据处理机制，可以提高整体性能和提高存储系统效率。

## 3、PACS归档问题？

三甲医院存在的PACS归档问题，例如二级归档，请专家针对PACS的归档问题，做一个详细的方案。

**嘉宾：gaokakaxi 系统运维工程师 , 武汉同济医院**

在PACS存储数据归档方面，要考虑医院的存储现状和数据量现状。

（1）如果现有医院的数据存储是集中存储，那么在做二级归档的时候，可以考虑采用大容量分布式存储来做，不建议再采购一个集中存储。首先分布式存储数据量扩展比较方便，可以按需扩容，不用担心数据存储问题。其次，分布式存储采购成本比较低，可以避免过多的增加医院预算。

（2）如果医院现有的存储是分布式存储，那么再做一个分布式存储的群集即可。两个集群之间使用数据备份软件做数据备份，可以完美的解决PACS数据归档问题。

（3）再从数据量来看，如果数据量不大，例如只有10几TB，在备份存储的选择上，可以选择备份一体机或基于分布式存储的备份设备，简单化、轻量化，可以快速解决数据备份问题。

（4）如果数据量达到上百TB级别，那么使用分布式存储进行归档是最佳的选择，成本可控，性能也有保障。

**嘉宾：Dell_zhangcan 架构师 , 戴尔科技**

PACS 数据归档要考虑以下几个问题：

1）是否需要快速访问到已经归档的数据？

2）硬件升级迭代时是否需要迁移数据？

3）归档设备上的数据是否需要提供容灾保护，防篡改保护，放勒索病毒攻击保护等？

4）归档设备上的数据是否要用于医疗大数据开发？

4、医院影像数据传输是通过政务网还是互联网？数据安全和泄露风险如何回避？

**嘉宾：uckfeng 系统工程师 , 万达信息**

目前主流医疗信息化的数据传输大部分是在当地的政务上进行数据传输，政务网像对于互联网在安全性上有着更高的标准，同时也满足当地政策法规的要求，同时传输起点和终点还可以用过用过vpn或者其他安全设备进行加密的措施。随着网络安全法以及数据安全法等国家层面的法律法规的颁布，已经公民个人隐私数据保护的意识越来越强，相信后续还会有更多关于数据安全的保护手段及措施进一步保护相关数据传输的安全性

**嘉宾：Yilanzhu 系统架构设计师 , 某中医院系统架构师**

如果业务是互联网医院下的影像查阅服务，建议走政务网，政务网的网络安全采用先进的云计算技术，能够将底层的物理设备资源虚拟化，共享网络防御系统的资源，具有很好的健壮性，能够为互联网安全服务提供强大计算处理支撑，非常易于部署和操作。数据安全和泄露，目前较好的手段是采用安全套接层(Secure SocketsLayer, SSL)或传输层安全(Transport Layer Security,TLS)协议以保护信息安全，同时规定任何在线访问须得到授权且经过验证。数据中心本身必须位于在安全隐秘的位置，配备24 小时监控网，操作人员须得到授权方可进入数据中心。

## 5、建设区域医联体下的 PACS影像平台解决方案？

以重点省、市建设区域以联体，以县为单位建设县域医共体，那么DELLPACS影像平台，怎么来处理这种区域多医疗机构的场景，以卫健委牵头统一建设数据中心、业务中心，那么PACS影像平台，针对全区域影像数据采集方案、数据灾备有什么针对性设计，因为基于影像数据医疗活动的访问只是业务的一部分，其它的业务场景如“远程会诊、分级诊疗、远程示教”等，甚至还包括基于影像数据的科研活动等，都会对区域医联体网络带宽形成一定要求。卫健委数据中心与各三甲医院的原有数据中心是一个怎样配合关系，PACS影像平台怎样来统筹管理。

**嘉宾：Yilanzhu 系统架构设计师 , 某中医院系统架构师**

放射影像系统区域PACS的架构系统整合HL-7标准接口整合医院信息系统、放射科信息登记系统及图像集传输PACS系统。医学图像经计算模 数转换成DICOM格式， 并遵际DICOM3.0标准接口进行传输，使院内各个科室和部门间实现医学图信息共享，并通过国际标准化接口接医联体区域PACS系统，进行远程疗服务。
![](/home/attachment/202111/22/1245157_163755289029979.png)

**嘉宾：Dell_zhangcan 架构师 , 戴尔科技**

从问题描述看可以理解为大的区域影像中心建设，除满足影像业务需求外，还要满足远程会诊、分级诊疗、教学和科研需求。这样大型的多功能影像中心可以采用多级存储 + 数据湖技术进行建设，具体的存储可以选择分布式存储。一级存储选择分布式全闪存储，存放半年至一年以内的在线影像数据，满足大规模影像应用数据读写需求；二级存储选择分布式高性能存储，存放 1 年至 3 年内的近线影像数据，满足历史数据快速访问需求和数据长期存储需求；三级存储选择分布式对象存储，建设区域云影像平台（也可以根据具体情况选择公有云或者行业云），存放所有的影像数据。满足院外数据访问，分级诊疗数据互联互通，以及数据归档和保护需求；三级存储组合在一起形成一个数据湖，湖内的数据同时供医教研和管理使用，不必进行繁琐的数据迁移工作；根据实际情况，卫健委可以整合下属三甲医院数据中心所有的数据，也可以只保留数据索引，仅在业务需要时从三甲医院调取数据。

# 五、达成的共识

（1）PACS系统更需要分级存储架构，目前以DellEMC为例，较为通用的两种分级存储架构包括：1）传统SAN（PACS在线存储）+分布式NAS（PACS近线存储）+云（PACS归档存储）；2）分布式SAN（PACS在线存储）+分布式NAS（PACS近线存储）+云（PACS归档存储）；

（2）随着数据量的不断增加，集中存储的扩展能力有限，性能在业务高峰时容易产生瓶颈，分布式存储架构较好的解决上述问题，还能降低建设成本。分布式存储可以按需扩展，而且性能不会降低，还会随着扩展节点的增加而线性增长。

（3）在解决同时间段大数据量并发的问题时，要从这几个方面入手：技术架构层面，优化PACS系统的网络架构，增加带宽，增加负载均衡，优化存储架构；应用优化层面，需要对系统应用层的设置进行优化，优化业务设置等方面。

（4）通过三种方案实现在线，近线和归档影像资料的分类管理与自动迁移：①通过存储内置的功能特性实现，例如DellEMC Isilon存储系统可以根据时间、文件类型等不同维度来设定自动的迁移方案；②通过PACS应用软件实现，主流的PACS应用软件都具备相关的功能，可以根据其自有的规则和定义对PACS数据分类，一般分为三类（在线、近线和归档）或二类（在线、归档）；③通过专门的归档软件实现，兼具了两者的好处，但会额外增加一笔软件成本。

（5）对于区域医联体PACS系统来说，由卫健委数据中心与三甲医院原有数据中心统筹管理建设，区域PACS的架构系统整合HL-7标准接口整合医院信息系统、放射科信息登记系统及图像集传输PACS系统。影像资料满足统一的DICOM格式，遵循DICOM3.0标准接口进行传输，使院内各个科室和部门间实现医学图信息共享，并通过国际标准化接口接医联体区域PACS系统，进行远程疗服务。

三甲医院 PACS 大数据存储

著作权归作者所有

如果觉得我的文章对您有用，请点赞。您的支持将鼓励我继续创作！

添加新评论1 条评论

BD销售管理广东紫晶
2021-12-06 19:14

还有蓝光

Ctrl+Enter 发表

匿名评论

大数据时代，三甲医院PACS系统海量数据存储架构设计及挑战总结

添加新评论1 条评论

作者其他文章

相关文章

相关问题

相关资料