反馈状态
产品模块
上线时间
参与状态
超大数据集能否分割为多个较小数据包,或者下载大文件时增加token的有效时间?
2
未解决
Open Datasets

由于网络带宽有限,下载KITTIRaw数据集中的residential数据包时无法成功下载。 连接格物钛时,平均下载速度在2MB/s到3MB/s之间,下载大小为254.8GB的该数据包总耗时在22至30小时,每次下载还未结束,链接就已经失效了。即使重新获取有效的下载链接,也需要重新开始。 我想到的解决方案有四个:

  1. 将过大数据包进行分卷压缩或者拆分为多个较小数据包。
  2. 给下载过大数据包的链接设置更长的token有效时间。
  3. 按照下载网速和数据包大小设置token过期时间。
  4. 将下载数据量作为token过期的判断依据,当下载数据量超过数据包大小的(1+x)倍时将token设为过期,其中x为冗余幅度。

感谢格物钛对广大研究者的支持。

Graviti_321381
2021-10-26
立即开始构建AI