arrow-left 超大数据集能否分割为多个较小数据包,或者下载大文件时增加token的有效时间?
ID:162
Graviti_321381
2021-10-26
participants
2

由于网络带宽有限,下载KITTIRaw数据集中的residential数据包时无法成功下载。 连接格物钛时,平均下载速度在2MB/s到3MB/s之间,下载大小为254.8GB的该数据包总耗时在22至30小时,每次下载还未结束,链接就已经失效了。即使重新获取有效的下载链接,也需要重新开始。 我想到的解决方案有四个:

  1. 将过大数据包进行分卷压缩或者拆分为多个较小数据包。
  2. 给下载过大数据包的链接设置更长的token有效时间。
  3. 按照下载网速和数据包大小设置token过期时间。
  4. 将下载数据量作为token过期的判断依据,当下载数据量超过数据包大小的(1+x)倍时将token设为过期,其中x为冗余幅度。

感谢格物钛对广大研究者的支持。

2 回复
格物钛-Chris
2021-10-28

我们已经收到您的反馈并开始解决,感谢您对格物钛的支持,请保持对此反馈的关注,后续的情况我们会再次与您同步

格物钛-Chris
2021-10-29

经测试,在下载开始后,下载链接不会自动失效,只有在传输中断的二次链接时会失效,请检查您的网络是否出现中断哈~

请向我们反馈此问题对您的重要程度
基本信息
反馈类型
问题反馈
产品模块
Open Datasets
反馈状态
未解决
上线时间
--
通知
立即开始构建AI