ossimport:阿里云对象存储数据转移工具

由于七牛云对象存储的测试域名有时限,过期之后会删除数据,所以在删除之前,必须把存放在上面的保存下来,想到已经开通了阿里云的oss,不如就想办法转过去吧。刚开始,准备基于官方的sdk自己写一个,后来找到了官方发布的一款工具OssImport,提供了很方便的转移数据的功能,省了不少事。OssImport工具可以将本地、其它云存储的数据迁移到OSS。

特点

  • 支持的丰富的数据源,有本地、七牛、百度BOS、AWS S3、Azure Blob、又拍云、腾讯云COS、金山KS3、HTTP、OSS等,并可根据需要扩展;
  • 支持断点续传;
  • 支持流量控制;
  • 支持迁移指定时间后的文件、特定前缀的文件;
  • 支持并行数据下载、上传;
  • 支持单机模式和分布式模式,单机模式部署简单使用方便,分布式模式适合大规模数据迁移。

运行环境

Java 1.7及以上

模式

单机模式:对于小于 30TB 的小规模数据迁移。
分布式模式:适用于大规模数据迁移。

使用方法

这里以windows下单机模式转移方式简单说明一下,运用里面提供了一键转移非常方便,本来准备在linux上使用的,不过没有java环境,只好本地使用。

  • 首先去官网下载最新的提供的工具,(单机下载地址)
  • 解压压缩包,根据你要转移的数据存放地址,对配置文件进行修改,比如七牛云的就按照七牛云的配置,修改/conf/local_job.cfg文件,官网有相关的配置实例。(七牛云配置实例)
  • 配置完成之后,运行import.bat文件,这是一个批处理文件,里面已经写好了运行相关的东西,一般配置没有错误,就能够执行成功,运行之后会出现两个窗口,不要关闭。
  • 如果没有配置java环境的,需要下载jkd进行环境配置,windows很简单,下载安装即可。
  • 此工具运行都是基于控制台的,但是也不涉及到什么命令。
|