大量视频数据上传服务器，如何避免错误？

上周有客户反映，自己的国外服务器“传视频文件到服务器总是提示错误、不成功”!同样是一个服务器传输问题，面对同一设备，大量文件数据同时传入服务器，出现错误，如何处理?在技术领域有个名词叫做“技术债

上周有客户反映，自己的国外服务器“传视频文件到服务器总是提示错误、不成功”!同样是一个服务器传输问题，支持2000人同时在线的视频服务器租用，面对同一设备，大量文件数据同时传入服务器，出现错误，如何处理?在技术领域有个名词叫做“技术债务”，指为了产品快速迭代，做了很多临时性的代码处理。

但是在未来的某一天，这些遗留问题都会以BUG方式体现出来，导致付出更大的维护成本，通俗点说就是“出来混迟早都得还”。当大量设备连接服务器，大量数据上传到服务器，服务器要如何提高处理能力，来处理这些数据，数据源为设备数据。

服务器处理数据可以从已下几个方面考虑：

1、排队列处理机制。数据涌入服务器，但还是能够区分先后顺序，按照数据传输时序将数据摘要排入队列，然后服务器按队列依次进行处理。

2、数据分类机制。数据分类和优先级处理一起使用，将数据按照不同的类型进行分类，例如，可以将设备状态分为一类数据，将监控数据分为一类数据，将操作员正常操作设备数据分为一类，将操作员非法操作设备分为一类等，将不同的类型，按照其重要程度，放入不同的优先级队列中，按照优先级队列依次去处理。

3、数据分流机制。对数据进行分层，分流管理，多级服务器进行区分，例如可以按如下进行区分，设备-学校服务器-市级服务器-省级服务器-中央服务器，这样分级分下来，每一层的数据同时访问量并不是很大。

服务器从以上方面可以考虑，上位机设备也可以进行优化，做好数据定义，可以分担服务器的压力，可以从以下几个方面来考虑。

①、闲时机制。上位机的数据非必要情况不采用实时数据传输，可以在本地储存数据，等待闲时上传。

②、分包机制。例如数据源做两种情况拆分，一种为数据量小于1M的小数据，一种为数据量大于1M的大数据。对大数据进行切片分包，分包进行传输，此操作需要服务器进行相应的处理，实际上是服务器降低了大数据处理优先级。

③、摘要机制。对于大数据的传输，可以制定合适的摘要数据，在大数据传输之前，先传输其摘要，通过服务器对摘要的判定，抉择该数据是否进行传输，从而提升其通信效率。

以客户的项目为例，某一外贸网站，一天访客数大约在10w左右，双十一期间会达到30w左右，仅交易数据量在客流*20w的量级，在早晚高峰期会达到2/3的流量，在没有采用分流的情况下，我们的服务器即使遇到海量数据和高并发情况，互联数据服务器处理能力无压力，不会出现阻塞!